大數(shù)據(jù)計(jì)算技術(shù)在電子政務(wù)領(lǐng)域的應(yīng)用

文/于海東

1 電子政務(wù)發(fā)展現(xiàn)狀

1.1 全球電子政務(wù)發(fā)展現(xiàn)狀

近年全球電子政務(wù)發(fā)展表現(xiàn)出明顯上升態(tài)勢。聯(lián)合國經(jīng)濟(jì)和社會事務(wù)部針對電子政務(wù)發(fā)布《聯(lián)合國電子政務(wù)調(diào)查報(bào)告》，兩年一版，在三個(gè)維度上收集數(shù)據(jù)和信息：電信基礎(chǔ)設(shè)施的充分性、提升和使用信息通信技術(shù)的人力資源能力、在線服務(wù)和內(nèi)容的可用性。在此基礎(chǔ)上通過電子政務(wù)發(fā)展指數(shù)（EGDI）對數(shù)據(jù)進(jìn)行跟蹤調(diào)查。EGDI是對三個(gè)標(biāo)準(zhǔn)化指標(biāo)取加權(quán)平均值的綜合指數(shù)，包括：

電信基礎(chǔ)設(shè)施指數(shù)，數(shù)據(jù)由聯(lián)合國國際電信聯(lián)盟提供。

人力資本指數(shù)，數(shù)據(jù)由聯(lián)合國教科文組織提供。

在線服務(wù)指數(shù)，數(shù)據(jù)由聯(lián)合國經(jīng)濟(jì)和社會事務(wù)部管理的一個(gè)獨(dú)立調(diào)查問卷提供。

2018年調(diào)查結(jié)果突顯電子政務(wù)正沿著積極、正向的水平持續(xù)發(fā)展，如圖1。

從2014年開始已有193個(gè)成員地區(qū)遞交了相關(guān)在線狀況。圖1中能夠看出2018年有40個(gè)國家電子政務(wù)發(fā)展指數(shù)達(dá)到非常高水平，占比21%，2016年有29個(gè)國家，而2003年只有10個(gè)國家。

另外，電子參與（E-participation）也從側(cè)面反映了發(fā)展情況，它基于電子參與度指數(shù)（EPI）來衡量。EPI指標(biāo)包括：

電子信息，線上信息展示能力。

電子磋商，線上商議。

電子決策，公共事務(wù)決策過程。

政務(wù)調(diào)查基于這三個(gè)指標(biāo)對世界各國展開調(diào)研，2018年越來越多的國家都在鼓勵(lì)民眾和商界合作貢獻(xiàn)思路和提供資料。

圖2中能夠看出，電子參與度指數(shù)達(dá)到非常高水平的國家，已從2016年的31個(gè)，上升到2018年的62個(gè)。指數(shù)低的國家從56個(gè)減少到35個(gè)。這些都體現(xiàn)了世界各國為推動未來政務(wù)發(fā)展、倡導(dǎo)社會公眾深層次參與所做的努力和承諾。

1.2 中國電子政務(wù)發(fā)展情況

20世紀(jì)80年代，我國政府開始使用計(jì)算機(jī)處理業(yè)務(wù)數(shù)據(jù)。90年代，從中央到地方各級黨政機(jī)關(guān)相繼開展自動化辦公，推動通信和網(wǎng)絡(luò)設(shè)施構(gòu)建。進(jìn)入21世紀(jì)，中國科技水平突飛猛進(jìn)，國家最高決策層的重要議程中加入了電子政務(wù)建設(shè)，政務(wù)工作進(jìn)一步提升。

十八大以來，電子政務(wù)建設(shè)迅速步入快車道。各級政府加大力度推進(jìn)職能轉(zhuǎn)變，辦事效率穩(wěn)步提高，服務(wù)水平顯著增強(qiáng)，更深層次實(shí)現(xiàn)了政務(wù)工作有效運(yùn)用。

這些年我國電子政務(wù)建設(shè)能力加快提升。2018年我國電子政務(wù)發(fā)展指數(shù)達(dá)到0.6811，全球排名第65位；其中在線服務(wù)指數(shù)0.8611，電信基礎(chǔ)設(shè)施指數(shù)0.4735，均達(dá)到全球較高水平；人力資本指數(shù)0.7088，降幅明顯。圖3展示了中國電子政務(wù)發(fā)展指數(shù)這些年變化情況。

另外，我國電子參與度指數(shù)0.9045，全球排名第29位，已經(jīng)達(dá)到非常發(fā)達(dá)水平。

總的來說，我國電子政務(wù)事業(yè)發(fā)展在多方面、多角度都取得了長足進(jìn)步。中國電子政務(wù)建設(shè)借力科學(xué)力量的進(jìn)步，順應(yīng)時(shí)代發(fā)展，緊隨國際電子政務(wù)前進(jìn)趨勢，未來還會有更大的上升空間。

2 大數(shù)據(jù)計(jì)算技術(shù)在電子政務(wù)領(lǐng)域的作用

2.1 大數(shù)據(jù)計(jì)算技術(shù)的基本特點(diǎn)

大數(shù)據(jù)需要更高層次的洞察力和思維來處理海量、多樣的信息資產(chǎn)?！洞髷?shù)據(jù)時(shí)代》中認(rèn)為大數(shù)據(jù)：不依賴于少量的樣本數(shù)據(jù)，而是分析與某事務(wù)相關(guān)的所有數(shù)據(jù)。

大數(shù)據(jù)計(jì)算技術(shù)則是大數(shù)據(jù)加工處理的核心過程。狹義的大數(shù)據(jù)計(jì)算技術(shù)可理解為大數(shù)據(jù)處理數(shù)據(jù)的核心技術(shù)引擎；而廣義的大數(shù)據(jù)計(jì)算技術(shù)則是運(yùn)用大數(shù)據(jù)手段對數(shù)據(jù)進(jìn)行提取、抽象、加工、優(yōu)化的信息化方式。

2.2 大數(shù)據(jù)計(jì)算技術(shù)的政務(wù)價(jià)值

電子政務(wù)具有多元特點(diǎn)。一方面，政務(wù)信息資源具有廣泛性。根據(jù)我國《政務(wù)信息資源共享管理暫行辦法》，政務(wù)信息資源是政務(wù)部門在履行職責(zé)過程中制作或獲取的，以一定形式記錄、保存的文件、資料、圖表和數(shù)據(jù)等各類信息資源。另一方面，政務(wù)工作還具有復(fù)雜性。通過信息技術(shù)管理政府掌握的數(shù)據(jù)資源，既需要宏觀策略，把控全局；又需要精細(xì)實(shí)施，找準(zhǔn)重點(diǎn)，讓信息化建設(shè)不留死角。

這種情況下大數(shù)據(jù)計(jì)算技術(shù)作為大數(shù)據(jù)的核心，對政務(wù)開展具有重要意義。大數(shù)據(jù)計(jì)算技術(shù)能從復(fù)雜的日常問題和業(yè)務(wù)需求中抽象出高層次概念，建立清晰的業(yè)務(wù)模型，為政務(wù)工作整理出順暢的推進(jìn)流程，加快業(yè)務(wù)處理速度。

3 大數(shù)據(jù)計(jì)算技術(shù)架構(gòu)

電子政務(wù)領(lǐng)域的大數(shù)據(jù)計(jì)算技術(shù)涉及如下幾方面的業(yè)務(wù)需求。

3.1 數(shù)據(jù)整合收集

政務(wù)數(shù)據(jù)分布廣，將數(shù)據(jù)由下游向上游、由分支向中心匯聚是業(yè)務(wù)推進(jìn)的必要條件。這部分處理一般與ETL關(guān)聯(lián)，還包含對數(shù)據(jù)的清洗。

3.2 業(yè)務(wù)匯總統(tǒng)計(jì)

圖1：2016年和2018年按照EGDI分組不同級別的國家數(shù)量及比例

圖2：2016年和2018年按照EPI分組不同級別的國家數(shù)量及比例

圖3：2004年至2018年中國電子政務(wù)發(fā)展指數(shù)變化情況

政務(wù)工作經(jīng)常需要對業(yè)務(wù)數(shù)據(jù)匯總統(tǒng)計(jì)，時(shí)間維度可能分日、周、月、年等，業(yè)務(wù)維度就更復(fù)雜，需要酌情處理。統(tǒng)計(jì)過程還需要數(shù)據(jù)校驗(yàn)，并對凹凸不平的統(tǒng)計(jì)結(jié)果復(fù)查。

3.3 服務(wù)流程運(yùn)營

通過大數(shù)據(jù)計(jì)算技術(shù)構(gòu)建起更貼心的服務(wù)工作很重要。運(yùn)營性質(zhì)的政務(wù)工作涉及很多公對公、公對私業(yè)務(wù)，不但要求流程化，而且需要做好日志記錄，保證有跡可循。

3.4 復(fù)雜事物提煉

一些復(fù)雜處理需要更深層次抽象計(jì)算，會與相關(guān)領(lǐng)域合作。在大數(shù)據(jù)、人工智能、區(qū)塊鏈、5G等新興技術(shù)迅速發(fā)展的今天，科技化服務(wù)民生，帶給民眾更好的生活體驗(yàn)已成現(xiàn)實(shí)。

政務(wù)領(lǐng)域大數(shù)據(jù)計(jì)算技術(shù)架構(gòu)如圖4。

4 大數(shù)據(jù)計(jì)算技術(shù)模式

4.1 離線數(shù)據(jù)計(jì)算

離線數(shù)據(jù)計(jì)算發(fā)展較早，在政務(wù)領(lǐng)域應(yīng)用廣泛。在網(wǎng)絡(luò)不穩(wěn)定的地區(qū)或時(shí)段，可通過錄入、拷貝等方式收集政務(wù)數(shù)據(jù)，統(tǒng)一處理；此外在實(shí)時(shí)性要求不高的場景，政府部門各級數(shù)據(jù)上報(bào)、階段性統(tǒng)計(jì)都會通過離線技術(shù)完成。

4.1.1 Hadoop

Hadoop是開源軟件搭建的穩(wěn)定的、可擴(kuò)展的分布式計(jì)算框架平臺，允許通過簡單模塊構(gòu)建集群環(huán)境，對海量數(shù)據(jù)做分布式處理。它可以從單一服務(wù)器擴(kuò)展到成千上萬的服務(wù)器集群，每臺服務(wù)器都在本地環(huán)境下提供計(jì)算和存儲。

4.1.2 Hive

Hive建立在分布式存儲環(huán)境上，是為了對大規(guī)模數(shù)據(jù)集的高效讀取、寫入以及處理而構(gòu)建的數(shù)據(jù)倉庫。Hive將結(jié)構(gòu)化數(shù)據(jù)映射成直觀的數(shù)據(jù)表，并且定義了類SQL查詢方法，即HQL，這也使得通過簡單SQL進(jìn)行查詢和計(jì)算成為可能。

4.2 實(shí)時(shí)數(shù)據(jù)計(jì)算

圖4：政務(wù)領(lǐng)域大數(shù)據(jù)計(jì)算技術(shù)架構(gòu)

有些政務(wù)場景要在數(shù)據(jù)產(chǎn)生時(shí)立刻捕獲處理，離線計(jì)算很難滿足。例如政府辦事服務(wù)大廳一般都要求數(shù)據(jù)實(shí)時(shí)生效；特定領(lǐng)域如電力、交通、金融、輿情等都要求對數(shù)據(jù)實(shí)時(shí)監(jiān)控、迅速處理，這也為實(shí)時(shí)數(shù)據(jù)計(jì)算提供了用武之地。

4.2.1 Storm

Storm是免費(fèi)開源的分布式實(shí)時(shí)計(jì)算系統(tǒng)，是最早流行起來的流計(jì)算技術(shù)系統(tǒng)。它可以輕松處理無邊界數(shù)據(jù)流，對實(shí)時(shí)產(chǎn)生的數(shù)據(jù)進(jìn)行計(jì)算，然后輸出結(jié)果。而且可使用多種語言開發(fā)。

4.2.2 Spark streaming

Spark是處理大規(guī)模數(shù)據(jù)的一款統(tǒng)一解析引擎，而Spark Streaming是Spark體系的核心組件之一，可以輕松構(gòu)建起具有擴(kuò)展性、容錯(cuò)性的流數(shù)據(jù)應(yīng)用。Spark Streaming將時(shí)間片段當(dāng)作處理單元，從Flume等應(yīng)用獲取數(shù)據(jù)并計(jì)算，將結(jié)果傳送至HDFS等環(huán)境。

4.2.3 Flink

Flink是針對有邊界和無邊界數(shù)據(jù)流進(jìn)行有狀態(tài)計(jì)算的技術(shù)框架和分布式處理引擎，是計(jì)算領(lǐng)域非常先進(jìn)的技術(shù)，被公認(rèn)為未來數(shù)據(jù)計(jì)算的首選。Storm延遲率低但吞吐量小，Spark Streaming吞吐量大但延遲率高，而Flink集兩者優(yōu)點(diǎn)于一身，做到低延遲高吞吐，還支持exactly once。

4.3 交互式計(jì)算

大數(shù)據(jù)技術(shù)推動政務(wù)工作快速發(fā)展，讓社會服務(wù)更加便利，而要想提高計(jì)算本身的高效性，特別是對已知數(shù)據(jù)做更加精細(xì)化分析，頻繁數(shù)據(jù)交互，并讓系統(tǒng)對分析快速響應(yīng)，最好的辦法就是使用交互式計(jì)算。

4.3.1 Impala

Impala是開源交互式數(shù)據(jù)查詢系統(tǒng)，能夠在Hadoop中處理商業(yè)智能的檢索。Impala支持SQL，查詢方便，可對HDFS、HBase等環(huán)境中PB級大數(shù)據(jù)進(jìn)行檢索，非常適合Hadoop集群環(huán)境的快速查詢。

4.3.2 Drill

Drill是Google Dremel的開源版本，是針對分布式海量數(shù)據(jù)快速檢索的低延遲查詢計(jì)算引擎，能夠處理幾乎所有非關(guān)系型數(shù)據(jù)庫、文件系統(tǒng)，包括HBase、MongoDB、HDFS等，支持上千節(jié)點(diǎn)PB級數(shù)據(jù)交互式智能場景分析。

5 電子政務(wù)與大數(shù)據(jù)發(fā)展展望

習(xí)近平總書記指出，要加快推進(jìn)電子政務(wù)，構(gòu)建全流程一體化在線服務(wù)平臺，更好解決企業(yè)和群眾反映強(qiáng)烈的辦事難、辦事慢、辦事繁的問題?？倳浀闹匾甘緸檎?wù)信息化展開增加了充沛動力，也是電子政務(wù)建設(shè)推進(jìn)所需要的深入遵循。

社會步伐迅猛邁進(jìn)，也對政務(wù)工作提出了新要求。電子政務(wù)不但要與大數(shù)據(jù)技術(shù)密切合作，深挖政務(wù)領(lǐng)域內(nèi)在價(jià)值，還要與人工智能、區(qū)塊鏈、5G等新興技術(shù)深入融合，讓信息更透明，數(shù)據(jù)更清晰，服務(wù)更完善，從而為百姓享受到更優(yōu)質(zhì)的公共服務(wù)提供便利。