城市多媒體大數(shù)據(jù)高效存儲與處理技術

最新的圖靈獎獲獎人是Dr. Michael Stonebraker，數(shù)據(jù)庫領域非常著名的專家之一，這也證明了大數(shù)據(jù)技術對產(chǎn)業(yè)而言非常重要，而智慧城市作為大數(shù)據(jù)實踐很有代表性。

大數(shù)據(jù)

是智能城市發(fā)展的助推劑

很多人經(jīng)常把智慧城市理解為城市信息化，實際上，智慧城市的含義遠不止于此。它應該是一個復雜的信息生態(tài)系統(tǒng)。這個生態(tài)系統(tǒng)包括三個環(huán)節(jié)，第一個環(huán)節(jié)就是感知，首先它能對大數(shù)據(jù)和城市信息進行感知。第二個環(huán)節(jié)就是要有一個計算能力超強的數(shù)據(jù)中心，能把感知到的數(shù)據(jù)進行處理。第三個環(huán)節(jié)往往是被忽略的，就是要有一個決策中心。我們現(xiàn)在在進行城市信息化建設時，往往是先定下來一個決策或規(guī)劃，然后再去實施，所有的系統(tǒng)是按照前期響應的目標逼近，這個思路是錯的，這也是智慧城市要遠遠大于城市信息化的原因。決策應該在后，就像人一樣，他首先要對周圍環(huán)境有一個感知，然后經(jīng)過大腦的處理，最后決定事情怎么做。所以我們現(xiàn)在的智慧城市或者智能城市，應該按照和人較類似的思路去對它進行管理和控制，這三個部分，特別是最后一個部分對于今后城市的管理是很有挑戰(zhàn)的事情。

以廣州外地車限行對策為例，2012年廣州就想解決擁堵問題，此前很多人認為擁堵原因在于路上行駛的車輛很多并不是本地牌照，廣州希望效仿北京的做法，在入京之前辦理通行證，限制外地車輛在京的逗留時間，以此來緩解交通壓力。廣州有關部門通過大數(shù)據(jù)的分析得知外地車在廣州可分成四類，一類是本地化使用，譬如深圳的車牌在廣州使用;第二是候鳥型;第三是偶發(fā)過境;第四是常發(fā)過境。分類之后，人們發(fā)現(xiàn)真正對本地早晚交通造成擁堵的，實際上是第一類。外地車的本地化使用數(shù)量約4.7萬輛/月，只占所有外地車（約357萬輛/月）的1.31%，基本可忽略不計。實際上即使把這些外地車限制住了，高峰時間只能解決1.31%的擁堵，因此上述政策的實施與否對解決交通擁堵現(xiàn)象并沒有太大意義。這也體現(xiàn)了大數(shù)據(jù)在做決策上的重要作用。

傳感器網(wǎng)絡

是智能城市的基礎

在整個智慧城市的生態(tài)鏈里，城市大數(shù)據(jù)傳感網(wǎng)絡和大數(shù)據(jù)中心是基礎。在這個系統(tǒng)里最主要的就是把數(shù)據(jù)實時、全方位地搜集，隨時隨地地感知，然后輸送到數(shù)據(jù)中心處理。

目前的智慧城市，其網(wǎng)絡都是碎片式的，沒有完全連起來，這是有問題的。所以一個比較理想的感知網(wǎng)它應包括剛才說的所有的數(shù)據(jù)和網(wǎng)絡，這其中每個單獨的信息都應實時匯聚到數(shù)據(jù)中心，真正形成一個網(wǎng)絡。

現(xiàn)在很多網(wǎng)絡大部分都是單獨存在的，最終要全連接起來需要不小的投入。譬如在感知網(wǎng)絡里，大家很容易想到交通系統(tǒng)里的一卡通以及各種交通工具的運行情況，把它們?nèi)糠诺匠鞘械臄?shù)據(jù)中心里?，F(xiàn)實中經(jīng)常出現(xiàn)一些套牌車的事情，中途一旦換掉了車牌，基本上目標就丟掉了。但是，如果用剛才所說的感知系統(tǒng)，我們就有辦法不僅感知車牌，而且感知車型等。

交通狀況的感知現(xiàn)在已經(jīng)深入到每一個人的生活當中了，如果我們想查查是否堵車，哪條路堵車，馬上打開導航，打開GPS，打開相關地圖軟件就能看到。這些信息都是從后臺統(tǒng)計而來的，后臺把包括出租車在內(nèi)的一些GPS信息或者個人的GPS信息，做一個數(shù)據(jù)統(tǒng)計分析，查看在某個區(qū)段，這些移動的物體的平均速度是多少，進而把整個交通狀況統(tǒng)計出來，有了這些我們對整個交通狀況就很容易感知。據(jù)統(tǒng)計分析，在所有的感知系統(tǒng)里，最大量的數(shù)據(jù)就是視頻數(shù)據(jù)。但這些數(shù)據(jù)現(xiàn)在都還沒有很好地利用起來。如果今后能加入攝像頭的監(jiān)控統(tǒng)計，以及地下的傳感器數(shù)據(jù)，把這些數(shù)據(jù)都加在一起做更準確的分析。

另外，城市里總有各種各樣的流行病的產(chǎn)生，流行病發(fā)展到什么程度，都是通過新聞里知道，但是現(xiàn)在通過醫(yī)保的統(tǒng)計可以分析這些情況。

污染是我們當前面臨的一個很大的問題，現(xiàn)在大家得知污染的情況更多的是從空氣指數(shù)，或從網(wǎng)站和手機軟件上看到的，但是信息量太小。現(xiàn)在通過大數(shù)據(jù)，把個人發(fā)動起來，在每個人家里裝一些檢測設備，讓可信的數(shù)據(jù)入網(wǎng)，通過采集的大數(shù)據(jù)準確定位污染源。

因此怎么樣把這個傳感器網(wǎng)絡真正建好，確是一個很大的挑戰(zhàn)。

大數(shù)據(jù)中心形成決策依據(jù)

當我們從感知網(wǎng)絡獲得了大量數(shù)據(jù)，就應當送到數(shù)據(jù)中心，這一過程并不難，但是到中心的數(shù)據(jù)怎樣形成決策，也就是怎樣把海量數(shù)據(jù)變成大數(shù)據(jù)，只有經(jīng)過整理可以使用的大規(guī)模的數(shù)據(jù)才能叫做大數(shù)據(jù)，否則只是海量數(shù)據(jù)，只是一個簡單的堆積。從技術上看，就是要過“三關”。

存儲 ?現(xiàn)在的存儲系統(tǒng)還不能做到把所有數(shù)據(jù)存儲下來，譬如現(xiàn)在大多數(shù)像智慧城市里的系統(tǒng)，都不敢存太多監(jiān)控視頻的數(shù)據(jù)，最大的系統(tǒng)大概也就存三個月就會被覆蓋。怎么樣讓數(shù)據(jù)能夠保存下來，這是一個技術挑戰(zhàn)，要么把數(shù)據(jù)文件壓縮到很小，要么把沒有用的數(shù)據(jù)丟棄。怎么樣壓的更小，就是做視頻編碼或者視頻壓縮，現(xiàn)在經(jīng)過30年的攻關，現(xiàn)在技術上應該說已經(jīng)做到每10年翻一番。從壓縮效率來看，每一代是前一代一倍，高清視頻第一代壓到150分之一，到第三代已經(jīng)做到300分之一，我們希望第四代壓到600分之一。這些技術還在進展，也確有做的不錯的。比如說在AVS這個領域，視頻編碼里我們在監(jiān)控視頻已經(jīng)比國外同樣水平效率更高一倍。HEVC就是第三代編碼技術，在極端的情況下，或比較苛刻的情況下，使壓縮效率提升40%，在寬松的情況下基本上就是兩倍了。

表達 ?存儲的數(shù)據(jù)要進行特征的抽取、比對和分析，就需要表達。特征的提取也是很關鍵的，比如機器學習或數(shù)據(jù)挖掘，其實這些算法最后效率的高與低都取決于表達能力強與弱。現(xiàn)在對于汽車的表達，已經(jīng)有一些很好的技術，譬如一些加強的SIFT特征的技術，可以把車牌和車型組合到一起進行表達，當出現(xiàn)車牌被換或者套牌車等，用這個技術表達一下就能識別，通過這種辦法也可以在更高層面進行壓縮。有了高效的存儲和表達，就可以做非?？焖俚臋z索或搜索。

計算 ?此外，最頂層我們就要進行場景的分析，最后形成決策的輔助，這就是大數(shù)據(jù)的處理，這個處理最核心的就是數(shù)據(jù)的關聯(lián)。因為傳感器的數(shù)據(jù)來自不同的攝像頭、不同的地點，怎么樣把時間、空間都關聯(lián)到一個空間上，這是非常難但是卻很重要的問題。譬如通過這種關聯(lián)我們可以進行分析跟蹤的技術，另外就是對多個攝像機進行對像的標識。

總而言之，整個智慧城市的生態(tài)鏈有三個比較重要的部分：傳感系統(tǒng)、大數(shù)據(jù)中心以及決策的環(huán)節(jié)。最后也是最關鍵的環(huán)節(jié)是決策形成的流程，它已經(jīng)超出了技術范疇，而是管理范疇，必須要由政策的制定者基于大數(shù)據(jù)形成決策，并進行落實，這是一個很大的挑戰(zhàn)，但我們做大數(shù)據(jù)的人要經(jīng)常向管理者灌輸這個理念，使他們對第三環(huán)節(jié)更重視，讓大數(shù)據(jù)真正體現(xiàn)它的好處。

（以上內(nèi)容系根據(jù)高文院士在“2015第七屆云計算大會”上的演講整理而成）