基于大數(shù)據(jù)分析的政府?dāng)?shù)據(jù)開(kāi)放研究

摘? 要：政府和公共服務(wù)企業(yè)在工作過(guò)程中生成大量的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)增長(zhǎng)非?？?，形成海量數(shù)據(jù)集（以ZB為單位）的集合，數(shù)據(jù)匯總構(gòu)成政府“大數(shù)據(jù)”。文章利用大數(shù)據(jù)分析技術(shù)，對(duì)政府?dāng)?shù)據(jù)的開(kāi)放范圍和用戶行為等進(jìn)行分析，建立政府?dāng)?shù)據(jù)開(kāi)放質(zhì)量評(píng)估模型。依托模型提出政府?dāng)?shù)據(jù)開(kāi)放重點(diǎn)是界定各部門(mén)政務(wù)數(shù)據(jù)開(kāi)放范圍，優(yōu)先開(kāi)放民生領(lǐng)域數(shù)據(jù)，推進(jìn)政府?dāng)?shù)據(jù)的創(chuàng)新應(yīng)用。

關(guān)鍵詞：政府?dāng)?shù)據(jù);公共數(shù)據(jù);數(shù)據(jù)開(kāi)放;大數(shù)據(jù)分析

中圖分類(lèi)號(hào)：TP18? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2096-4706（2021）23-0134-04

Open Government Data Research Based on Big Data Analysis

GU Mingsheng

（Harbin Big Data Center， Haerbin? 150030， China）

Abstract： Government and public service enterprises generate a large amount of structured and unstructured data in the process of work. The data grows very fast， forming a collection of massive data sets （in ZB）， and the data summary constitutes the “big data” of the government. Using big data analysis technology， this paper analyzes the open scope and user behavior of government data， and establishes the evaluation model of government data open quality. Based on the model， it is proposed that the focus of open government data is to define the scope of open government data of various departments， give priority to opening up data in the field of people’s livelihood， and promote the innovative application of government data.

Keywords： government data; public data; open data; big data analysis

0? 引? 言

隨著我國(guó)信息技術(shù)在政務(wù)方面的深入應(yīng)用，政府管理部門(mén)通常會(huì)在實(shí)際工作中生成大量公共服務(wù)信息和個(gè)人信息。這些信息的大數(shù)據(jù)分析使社會(huì)受益，同時(shí)能服務(wù)經(jīng)濟(jì)社會(huì)[1]。因?yàn)樗拐?、企業(yè)能夠更好地掌控信息，為政府事項(xiàng)提供決策依據(jù)，為公眾數(shù)據(jù)查詢(xún)提供便捷服務(wù)，為企業(yè)經(jīng)營(yíng)生產(chǎn)提供便利。其中，典型應(yīng)用就是國(guó)內(nèi)電商網(wǎng)購(gòu)平臺(tái)，其通過(guò)大數(shù)據(jù)儲(chǔ)存、分析和采集等技術(shù)的應(yīng)用，商家可以快捷和高效分析數(shù)據(jù)[2-4]。使用數(shù)據(jù)算法，可以對(duì)公眾進(jìn)行精準(zhǔn)用戶畫(huà)像。商業(yè)機(jī)構(gòu)可以更快，更合理地做出的市場(chǎng)決策，同時(shí)針對(duì)性提供個(gè)性化服務(wù)[5]。

1? 國(guó)內(nèi)政府?dāng)?shù)據(jù)開(kāi)放漸成常態(tài)

截至2021年4月底，我國(guó)已有174個(gè)省級(jí)和城市的地方政府上線了數(shù)據(jù)開(kāi)放平臺(tái)，其中省級(jí)平臺(tái)18個(gè)，城市平臺(tái)156個(gè)。推進(jìn)政府?dāng)?shù)據(jù)開(kāi)放工作已成為各地加快數(shù)字政府建設(shè)的標(biāo)配，“開(kāi)放數(shù)據(jù)，蔚然成林”的愿景已初步實(shí)現(xiàn)。

現(xiàn)今，我國(guó)政府在線開(kāi)放數(shù)據(jù)供公眾訪問(wèn)，信息公開(kāi)已成為常態(tài)，在各級(jí)政府門(mén)戶網(wǎng)站上可以公開(kāi)查詢(xún)和下載。個(gè)人和企業(yè)對(duì)政府?dāng)?shù)據(jù)的查詢(xún)需求，促進(jìn)了開(kāi)放式政府的建設(shè)。開(kāi)放式政府表現(xiàn)為采用開(kāi)放式信息（信息公開(kāi)），以及公開(kāi)對(duì)話（互動(dòng)交流）等多種形式來(lái)實(shí)現(xiàn)政府的辦事透明度和責(zé)任制目標(biāo)。公眾也希望通過(guò)政府開(kāi)放數(shù)據(jù)，便于關(guān)注政策的制定和實(shí)施，監(jiān)督政府的各項(xiàng)財(cái)政資金支出，使政府采購(gòu)公開(kāi)透明。

2? 政府?dāng)?shù)據(jù)開(kāi)放質(zhì)量影響因素

根據(jù)數(shù)據(jù)生命周期理論，數(shù)據(jù)流動(dòng)包括采集、存儲(chǔ)、利用和過(guò)時(shí)被刪除。采集、存儲(chǔ)、利用這三個(gè)環(huán)節(jié)影響數(shù)據(jù)開(kāi)放的質(zhì)量。

2.1? 數(shù)據(jù)開(kāi)放平臺(tái)的設(shè)計(jì)概述

在保證數(shù)據(jù)安全前提下，政府?dāng)?shù)據(jù)經(jīng)過(guò)數(shù)據(jù)脫敏加工等手段，將數(shù)據(jù)按照文件列表方式發(fā)布，提供數(shù)據(jù)服務(wù)主要包括數(shù)據(jù)包下載、數(shù)據(jù)接口兩種方式。還可以提供各種在線數(shù)據(jù)處理工具，例如可視化，映射或數(shù)據(jù)過(guò)濾。政府應(yīng)當(dāng)吸引和鼓勵(lì)社會(huì)力量參與數(shù)據(jù)資源開(kāi)發(fā)利用，推動(dòng)創(chuàng)新創(chuàng)業(yè)發(fā)展。

公眾和企業(yè)可直接下載通用格式數(shù)據(jù)包或通過(guò)軟件接口進(jìn)行數(shù)據(jù)調(diào)用（數(shù)據(jù)包指的是將結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換成可機(jī)讀的文件格式，例如EXCEL、CSV、XML、RDF等，以及將非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行壓縮形成文件包，供下載使用;數(shù)據(jù)接口指的是將數(shù)據(jù)發(fā)布成API服務(wù)接口，供開(kāi)發(fā)者調(diào)用。）

對(duì)于數(shù)據(jù)量大的情況，逐條添加的方式不便于用戶操作，設(shè)計(jì)采用導(dǎo)入/導(dǎo)出功能來(lái)解決大批量數(shù)據(jù)輸入輸出的問(wèn)題。導(dǎo)入功能，支持excel和xml數(shù)據(jù)格式導(dǎo)入，提供了對(duì)應(yīng)的模板和控件;支持導(dǎo)出到excel和xml。方便復(fù)制便于機(jī)器讀取和開(kāi)展AI算法訓(xùn)練。系統(tǒng)架構(gòu)如圖1所示。

2.2? 政府大數(shù)據(jù)采集和存儲(chǔ)

總體流程分為三大部分，數(shù)據(jù)來(lái)源、數(shù)據(jù)加工、數(shù)據(jù)服務(wù)。政務(wù)數(shù)據(jù)和互聯(lián)網(wǎng)兩大數(shù)據(jù)，經(jīng)過(guò)數(shù)據(jù)預(yù)處理、質(zhì)量檢測(cè)、數(shù)據(jù)加工、接口管控進(jìn)入產(chǎn)品庫(kù)，產(chǎn)品庫(kù)針對(duì)不同的服務(wù)細(xì)分為開(kāi)放庫(kù)及分析庫(kù)，對(duì)外提供數(shù)據(jù)服務(wù)。流程圖如圖2所示。

采用大數(shù)據(jù)處理系統(tǒng)來(lái)解決開(kāi)放網(wǎng)站業(yè)務(wù)中海量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和處理問(wèn)題。海量結(jié)構(gòu)化存儲(chǔ)具有面向應(yīng)用開(kāi)發(fā)的、通用的存儲(chǔ)功能，它不但可以存儲(chǔ)應(yīng)用開(kāi)發(fā)所使用的結(jié)構(gòu)化及半結(jié)構(gòu)化數(shù)據(jù)，還可以對(duì)海量數(shù)據(jù)進(jìn)行實(shí)時(shí)的查詢(xún)，幫助用戶高效的管理數(shù)據(jù)，提高數(shù)據(jù)的安全性及可用性，更可以提供存儲(chǔ)空間的平滑擴(kuò)展。結(jié)合平臺(tái)分布式計(jì)算的強(qiáng)大運(yùn)算能力，還可以對(duì)海量數(shù)據(jù)進(jìn)行分析統(tǒng)計(jì)。

數(shù)據(jù)非結(jié)構(gòu)化存儲(chǔ)大數(shù)據(jù)處理系統(tǒng)利用Hadoop分布式系統(tǒng)架構(gòu)，以分布式PC服務(wù)器集群組成本地化分布式存儲(chǔ)環(huán)境，將互相連接在一起的服務(wù)器群所組成的一個(gè)分布式的并行存儲(chǔ)系統(tǒng)。可以存儲(chǔ)任何經(jīng)過(guò)數(shù)據(jù)交換平臺(tái)和在交換平臺(tái)上產(chǎn)生的數(shù)據(jù)，包括業(yè)務(wù)數(shù)據(jù)、消息包、日志數(shù)據(jù)、管理數(shù)據(jù)和用戶數(shù)據(jù)。為開(kāi)展大數(shù)據(jù)分析打下基礎(chǔ)。大數(shù)據(jù)處理系統(tǒng)基于開(kāi)源社區(qū)軟件Hadoop進(jìn)行功能增強(qiáng)，提供企業(yè)級(jí)大數(shù)據(jù)存儲(chǔ)、查詢(xún)和分析的統(tǒng)一平臺(tái)，幫助用戶快速構(gòu)建海量數(shù)據(jù)信息處理系統(tǒng)。

2.3? 數(shù)據(jù)開(kāi)放的應(yīng)用

各級(jí)政府部門(mén)工作中產(chǎn)生大量數(shù)據(jù)，通常情況下數(shù)據(jù)只在部門(mén)內(nèi)進(jìn)行交換共享，用于處理政務(wù)并提高效率。政府開(kāi)放數(shù)據(jù)方法應(yīng)該打破部門(mén)界限，政府的決策和行動(dòng)應(yīng)更加透明和公開(kāi)。

利用大數(shù)據(jù)分析技術(shù)對(duì)哈爾濱市政府?dāng)?shù)據(jù)開(kāi)放相關(guān)指標(biāo)進(jìn)行分析，生成數(shù)據(jù)開(kāi)放統(tǒng)計(jì)圖，如圖3所示。通過(guò)圖4可以看出共開(kāi)放1 170個(gè)數(shù)據(jù)集，數(shù)據(jù)量達(dá)到575萬(wàn)余條，用戶下載量達(dá)到22萬(wàn)余人次，同時(shí)開(kāi)放的還有4 138個(gè)數(shù)據(jù)文件，2 378個(gè)API數(shù)據(jù)接口和9個(gè)APP。

22萬(wàn)余人次的下載量可見(jiàn)公眾特別關(guān)注政府?dāng)?shù)據(jù)開(kāi)放，一直在尋找獲取政府?dāng)?shù)據(jù)的方法。政府對(duì)數(shù)據(jù)集披露確實(shí)促進(jìn)了社會(huì)進(jìn)步。同時(shí)公眾也會(huì)對(duì)政府提出更高的要求。例如：哪些政府部門(mén)不提供信息？哪個(gè)信息某個(gè)政府部門(mén)不提供此服務(wù)？某些重要信息是否會(huì)按時(shí)公布，信息類(lèi)型是否缺少？政府想要滿足公眾的期許，必須加大政府信息化建設(shè)，同時(shí)完成數(shù)據(jù)治理框架的搭建，否則政府難以解決傳統(tǒng)政府服務(wù)效率不高，導(dǎo)致公眾對(duì)數(shù)據(jù)難以有效獲取這方面的矛盾。

利用大數(shù)據(jù)分析，哈爾濱政府的數(shù)據(jù)開(kāi)放的14個(gè)領(lǐng)域中，經(jīng)濟(jì)建設(shè)、城市建設(shè)和民生服務(wù)三大領(lǐng)域的數(shù)據(jù)開(kāi)放量大、社會(huì)公眾關(guān)注度高。通過(guò)政府建立政務(wù)數(shù)據(jù)開(kāi)放目錄和數(shù)據(jù)開(kāi)放清單，界定各部門(mén)政務(wù)數(shù)據(jù)開(kāi)放范圍，實(shí)現(xiàn)推動(dòng)安全風(fēng)險(xiǎn)小、成熟度高、惠民效果明顯的數(shù)據(jù)優(yōu)先開(kāi)放的目的。

在依法加強(qiáng)安全保障和隱私保護(hù)的前提下，重點(diǎn)圍繞民生服務(wù)需求，實(shí)現(xiàn)可開(kāi)放政府?dāng)?shù)據(jù)向社會(huì)公眾集中、有序開(kāi)放和規(guī)范利用，提升開(kāi)放數(shù)據(jù)的數(shù)量、質(zhì)量、時(shí)效性和易用性，顯著提升公共數(shù)據(jù)的有效利用和深度開(kāi)發(fā)水平，促進(jìn)社會(huì)創(chuàng)新和信息經(jīng)濟(jì)發(fā)展。建設(shè)數(shù)據(jù)開(kāi)放網(wǎng)站，形成統(tǒng)一的門(mén)戶服務(wù)、數(shù)據(jù)開(kāi)放管理、安全脫敏、可控流通等功能。結(jié)合社會(huì)公眾需求，以可機(jī)讀批量下載方式，分級(jí)、分類(lèi)重點(diǎn)開(kāi)放企業(yè)登記、信用、交通、醫(yī)療、衛(wèi)生、就業(yè)、社保、地理、文化、教育、科技、知識(shí)產(chǎn)權(quán)、自然資源、農(nóng)業(yè)、林業(yè)、環(huán)境、安監(jiān)、質(zhì)量、統(tǒng)計(jì)、氣象等公共服務(wù)相關(guān)領(lǐng)域的非涉密公共數(shù)據(jù)。加強(qiáng)對(duì)經(jīng)濟(jì)社會(huì)重要領(lǐng)域社會(huì)化數(shù)據(jù)的采集匯聚，促進(jìn)政府?dāng)?shù)據(jù)與社會(huì)數(shù)據(jù)的關(guān)聯(lián)融合創(chuàng)新。

2.4? 數(shù)據(jù)開(kāi)放的應(yīng)用場(chǎng)景分析

開(kāi)放政府?dāng)?shù)據(jù)（OGD）是政府以任何形式發(fā)布沒(méi)有任何版權(quán)限制的數(shù)據(jù)集。現(xiàn)階段互聯(lián)網(wǎng)的普及和信息技術(shù)的運(yùn)用，公眾獲取數(shù)據(jù)信息的便利，也促進(jìn)政府進(jìn)行改革，實(shí)現(xiàn)信息開(kāi)放，政務(wù)公開(kāi)透明。由于政府開(kāi)放數(shù)據(jù)會(huì)帶來(lái)巨大經(jīng)濟(jì)利益和提高行政效率，許多國(guó)家都對(duì)開(kāi)放數(shù)據(jù)制定了相關(guān)標(biāo)準(zhǔn)和管理辦法。最常用的發(fā)布和使用方法是訪問(wèn)政府?dāng)?shù)據(jù)開(kāi)放門(mén)戶網(wǎng)站，任何公眾和企業(yè)都可以在數(shù)據(jù)開(kāi)放網(wǎng)站查詢(xún)信息，政府負(fù)責(zé)此類(lèi)門(mén)戶網(wǎng)站可以正常運(yùn)行，這是政府開(kāi)放數(shù)據(jù)的核心平臺(tái)。

通過(guò)對(duì)市級(jí)政府?dāng)?shù)據(jù)開(kāi)放門(mén)戶網(wǎng)站訪問(wèn)量進(jìn)行大數(shù)據(jù)分析，可見(jiàn)除去黑龍江外，北京、浙江的訪問(wèn)量較大。除去本省外的這兩地都是科技和經(jīng)濟(jì)發(fā)達(dá)地區(qū)，先進(jìn)發(fā)達(dá)地區(qū)對(duì)數(shù)據(jù)的利用需求較大。

如果對(duì)平臺(tái)用戶再進(jìn)行細(xì)分，政府?dāng)?shù)據(jù)開(kāi)放平臺(tái)用戶群體按類(lèi)型分為政府、事業(yè)單位、科研機(jī)構(gòu)、社會(huì)團(tuán)體、國(guó)私營(yíng)企業(yè)、個(gè)人等;按技術(shù)能力分為初級(jí)用戶和專(zhuān)業(yè)用戶，初級(jí)用戶包括普通民眾、一般企業(yè)、非專(zhuān)業(yè)用戶，專(zhuān)業(yè)用戶包括開(kāi)發(fā)者、分析師、業(yè)務(wù)專(zhuān)家;開(kāi)放網(wǎng)站針對(duì)不同的用戶提供不同層次的數(shù)據(jù)服務(wù)，針對(duì)初級(jí)用戶提供數(shù)據(jù)瀏覽、數(shù)據(jù)查詢(xún)和數(shù)據(jù)統(tǒng)計(jì)等功能，針對(duì)專(zhuān)業(yè)用戶提供接口服務(wù)、開(kāi)發(fā)者中心、數(shù)據(jù)再加工等功能。后期開(kāi)放網(wǎng)站針對(duì)不同技術(shù)能力的用戶提供不同的版本，針對(duì)初級(jí)用戶提供社會(huì)公眾版，針對(duì)專(zhuān)業(yè)用戶提供專(zhuān)業(yè)用戶版。積極探索并且針對(duì)不同用戶的需求，在財(cái)稅、金融、消費(fèi)、勞動(dòng)就業(yè)、產(chǎn)業(yè)運(yùn)行、市場(chǎng)監(jiān)管等領(lǐng)域進(jìn)行數(shù)據(jù)創(chuàng)新應(yīng)用的場(chǎng)景建設(shè)。如表1所示。

3? 結(jié)? 論

綜上所述，政府要把不斷滿足人民對(duì)美好生活的向往作為政府?dāng)?shù)據(jù)開(kāi)放建設(shè)的出發(fā)點(diǎn)和落腳點(diǎn)，堅(jiān)持人民主體定位，適應(yīng)人民新期待，回應(yīng)人民新需求，為人民群眾提供更加智能、更加便捷、更加優(yōu)質(zhì)的公共服務(wù)，做到政府?dāng)?shù)據(jù)開(kāi)放平臺(tái)建設(shè)為了人民、依靠人民，建設(shè)成果由人民共享，讓企業(yè)和群眾成為政府?dāng)?shù)據(jù)開(kāi)放平臺(tái)的推動(dòng)者、監(jiān)督者、受益者，切實(shí)增強(qiáng)人民群眾的幸福感、獲得感和滿意度。

以解決企業(yè)和群眾辦事的難點(diǎn)、堵點(diǎn)、痛點(diǎn)問(wèn)題為導(dǎo)向，從政府?dāng)?shù)據(jù)應(yīng)用場(chǎng)景入手，以業(yè)務(wù)需求牽引平臺(tái)建設(shè)、數(shù)據(jù)開(kāi)放治理、制度規(guī)范構(gòu)建、應(yīng)用創(chuàng)新，更好服務(wù)企業(yè)和群眾。

充分協(xié)調(diào)各部門(mén)、各區(qū)縣及社會(huì)各方面積極性，加強(qiáng)政府?dāng)?shù)據(jù)開(kāi)放平臺(tái)一體化建設(shè)和部署?；A(chǔ)設(shè)施、應(yīng)用支撐等集約化、一體化推進(jìn)，優(yōu)化資源配置，推動(dòng)形成縱向貫通、橫向協(xié)同的政府?dāng)?shù)據(jù)開(kāi)放新格局。

參考文獻(xiàn)：

[1] 趙陽(yáng)，姚正言.智慧城市建設(shè)發(fā)展現(xiàn)狀分析 [J].智能建筑與智慧城市，2019（8）：26-27+30.

[2] 吳班，程春明.生態(tài)環(huán)境大數(shù)據(jù)應(yīng)用探析 [J].環(huán)境保護(hù)，2016，44（Z1）：87-89.

[3] 張琳，陳軍.“智慧環(huán)?！苯ㄔO(shè)中關(guān)鍵問(wèn)題探討 [J].環(huán)境與可持續(xù)發(fā)展，2016，41（4）：58-59.

[4] 劉芳.智慧城市背景下的智慧環(huán)保建設(shè) [J].科技傳播，2017，9（3）：34-35.

[5] 成書(shū)悅.全球城市化進(jìn)程下智慧城市建設(shè)現(xiàn)狀和幾點(diǎn)思考 [C]//2019（第十四屆）城市發(fā)展與規(guī)劃大會(huì).鄭州：出版者不詳，2019：568-572.

作者簡(jiǎn)介：顧鳴聲（1975—），男，漢族，黑龍江人，高級(jí)工程師，碩士研究生，研究方向：教育信息化，軟件工程開(kāi)發(fā)設(shè)計(jì)，網(wǎng)絡(luò)安全管理以及大數(shù)據(jù)管理等。