智慧城市大數(shù)據(jù)云服務(wù)平臺(tái)構(gòu)建

文/范可佳

隨著近年來城市化問題的不斷加重，如何解決城市問題，讓城市變得更加智慧，成為當(dāng)前城市發(fā)展的重要課題。聯(lián)合大數(shù)據(jù)、物聯(lián)網(wǎng)、云計(jì)算系統(tǒng)最終形成一個(gè)集中大系統(tǒng)，對人與物進(jìn)行控制、感知，同時(shí)借助新的理念開展城市規(guī)劃建設(shè)，幫助城市解決各種問題。

1　構(gòu)建大數(shù)據(jù)服務(wù)平臺(tái)

1.1　大數(shù)據(jù)的概念

由于云計(jì)算、物聯(lián)網(wǎng)的飛速發(fā)展，城市數(shù)據(jù)量在不斷增加，大量的數(shù)據(jù)中隱含了豐富的信息資源，亟待人們?nèi)パ芯亢桶l(fā)現(xiàn)。智慧城市是一個(gè)復(fù)雜的綜合體，集成了大量的數(shù)據(jù)信息。

大數(shù)據(jù)是發(fā)展城市的動(dòng)力之一，城市大數(shù)據(jù)由兩個(gè)要素構(gòu)成：

（1）城市數(shù)據(jù)，城市數(shù)據(jù)主要來自城市管理和城市運(yùn)轉(zhuǎn)，包括同城市運(yùn)營有關(guān)的大數(shù)據(jù)，這里的數(shù)據(jù)主要是工業(yè)化與城鎮(zhèn)化數(shù)據(jù)；

（2）農(nóng)業(yè)大數(shù)據(jù)，該類數(shù)據(jù)經(jīng)過信息化處理，就可以形成相應(yīng)的城市大數(shù)據(jù)。

大數(shù)據(jù)搭建的信息服務(wù)、數(shù)據(jù)資源管理、數(shù)據(jù)采集一體化服務(wù)平臺(tái)，不僅可以提供對外應(yīng)用服務(wù)，還可以實(shí)現(xiàn)對內(nèi)數(shù)據(jù)整合，將來源不同、應(yīng)用不同、類型不同的數(shù)據(jù)進(jìn)行統(tǒng)一化處理，同時(shí)對外進(jìn)行數(shù)據(jù)共享，開展信息服務(wù)，形成知識(shí)集中庫。

1.2　大數(shù)據(jù)的特點(diǎn)

隨著互聯(lián)網(wǎng)的不斷發(fā)展，大數(shù)據(jù)逐漸出現(xiàn)在人們的視野當(dāng)中，當(dāng)下階段，在大數(shù)據(jù)的助推下，很多企業(yè)得到了空前的發(fā)展，經(jīng)過近年來的行業(yè)總結(jié)，歸納出大數(shù)據(jù)的主要特點(diǎn)為：多樣性、規(guī)模性、準(zhǔn)確性、高速性、高值性。在這里，規(guī)模性主要是指大部分的數(shù)據(jù)規(guī)模都能達(dá)到PB、TB或是EB的程度。多樣性主要是指在大數(shù)據(jù)中包含有多種格式與形態(tài)的數(shù)據(jù)。高速性主要是指大數(shù)據(jù)通常需要在較短的時(shí)間內(nèi)獲得相應(yīng)的數(shù)據(jù)信息處理。準(zhǔn)確性主要是指大數(shù)據(jù)在實(shí)際的數(shù)據(jù)處理階段，一定要保證實(shí)際數(shù)據(jù)處理的準(zhǔn)確性，從而才能對其開展相應(yīng)的數(shù)據(jù)應(yīng)用。高值性主要是指，大數(shù)據(jù)所包含的數(shù)據(jù)價(jià)值有很多，可以通過數(shù)據(jù)挖掘與分析的方式來對其進(jìn)行有效開采，從而實(shí)現(xiàn)對大數(shù)據(jù)的精準(zhǔn)利用，最終為社會(huì)發(fā)展帶來巨大的商業(yè)價(jià)值。

1.3　以云計(jì)算為基礎(chǔ)的城市大數(shù)據(jù)模型

圖1顯示的是，以云計(jì)算為基礎(chǔ)的城市大數(shù)據(jù)模型，該圖展示了來自不同路徑的城市大數(shù)據(jù)被傳遞到數(shù)據(jù)庫中，經(jīng)過云計(jì)算平臺(tái)對數(shù)據(jù)的計(jì)算、發(fā)布、處理等操作，用戶可以通過相應(yīng)的接口對各種計(jì)算資源、數(shù)據(jù)資源進(jìn)行訪問。

圖2顯示了以云計(jì)算為基礎(chǔ)的城市大數(shù)據(jù)框架模型，從上到下依次為智慧城市云計(jì)算平臺(tái)、大數(shù)據(jù)中心、物聯(lián)網(wǎng)。下圖這一完整框架結(jié)構(gòu)，有助于智慧城市的構(gòu)建。

通過物聯(lián)網(wǎng)收集到最新的數(shù)據(jù)資料，然后再經(jīng)過網(wǎng)絡(luò)渠道將資料傳遞到大數(shù)據(jù)中心。運(yùn)用虛擬化等技術(shù)建立的云計(jì)算平臺(tái)，可以提供云計(jì)算、云存儲(chǔ)等相應(yīng)的服務(wù)。用戶可以借助應(yīng)用程序客戶端手機(jī)、瀏覽器、平板電腦等終端設(shè)備對云端資源進(jìn)行訪問。

2　城市大數(shù)據(jù)云服務(wù)平臺(tái)

2.1　關(guān)鍵問題

建設(shè)城市大數(shù)據(jù)云服務(wù)平臺(tái)是一項(xiàng)復(fù)雜的工程，需要重點(diǎn)解決的關(guān)鍵問題：

（1）理順城市應(yīng)用與云中數(shù)據(jù)的關(guān)系；

（2）構(gòu)建城市大數(shù)據(jù)云服務(wù)平臺(tái)，完成物聯(lián)網(wǎng)云端信息遷移，實(shí)現(xiàn)私有云和無線傳感網(wǎng)數(shù)據(jù)采集的對接；

（3）利用軟硬件資源，結(jié)合虛擬化技術(shù)，建立云存儲(chǔ)模式，完成對數(shù)據(jù)的組織；

（4）將SOA作為基礎(chǔ)框架建立虛擬化城市大數(shù)據(jù)云計(jì)算平臺(tái)，搜索調(diào)用機(jī)制，利用異構(gòu)計(jì)算來實(shí)現(xiàn)多元化的城市數(shù)據(jù)計(jì)算與訪問，從而對云計(jì)算平臺(tái)的性能提升進(jìn)行研究。

2.2　云存儲(chǔ)設(shè)計(jì)

以HDFS為基礎(chǔ)構(gòu)建云存儲(chǔ)平臺(tái)，存儲(chǔ)功能主要由數(shù)據(jù)庫與HDFS一起承擔(dān)。云存儲(chǔ)平臺(tái)的性能主要受云存儲(chǔ)功能模塊的影響，模塊對文件進(jìn)行大量的讀取，實(shí)際寫入效率的提升對于整個(gè)云存儲(chǔ)平臺(tái)來說十分重要。引進(jìn)Hadoop系統(tǒng)對整個(gè)文件當(dāng)中的元數(shù)據(jù)開展相應(yīng)的數(shù)據(jù)管理，有效避免保存在數(shù)據(jù)庫當(dāng)中的大量元數(shù)據(jù)信息與文件信息，受到來自服務(wù)器端的影響。運(yùn)用MapReduce技術(shù)對大數(shù)據(jù)的相關(guān)計(jì)算進(jìn)行處理。MapReduce技術(shù)主要是處理大數(shù)據(jù)中的并行計(jì)算問題，也是云計(jì)算當(dāng)中的主要技術(shù)，通常一個(gè)MapReduce有兩個(gè)部分構(gòu)成，映射函數(shù)與歸約函數(shù)。映射函數(shù)的主要作用是，實(shí)現(xiàn)對鍵值對數(shù)據(jù)的更新，歸約函數(shù)的作用主要是確保所有鍵值對中的每一組都能實(shí)現(xiàn)鍵組的共享。借助云平臺(tái)將大數(shù)據(jù)中的任務(wù)進(jìn)行分解，然后將其分別安排到不同的節(jié)點(diǎn)下面，通過相應(yīng)的并行計(jì)算來進(jìn)一步提升實(shí)際云平臺(tái)的性能。

圖1　

圖2　

3　結(jié)語

綜上所述，隨著城市經(jīng)濟(jì)的不斷發(fā)展，城市化問題也逐漸增多，為了更好的解決當(dāng)前的城市化問題，開展相應(yīng)的智慧城市建設(shè)，在實(shí)際城市發(fā)展建設(shè)中應(yīng)用大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)等聯(lián)合系統(tǒng)，建立相應(yīng)的大數(shù)據(jù)云服務(wù)平臺(tái)，通過對城市數(shù)據(jù)的采集，幫助其更好的分析當(dāng)前城市建設(shè)存在主要問題與主要緣由，如此，才能找到最佳的解決策略，幫助城市更好的進(jìn)行建設(shè)管理，從而才能進(jìn)一步促進(jìn)城市的健康長久發(fā)展，最終朝著“智慧城市”的方向逐漸邁進(jìn)。