數(shù)據(jù)可視化技術(shù)在政務(wù)大數(shù)據(jù)中的應(yīng)用研究

周建功

摘要：該文介紹了有關(guān)技術(shù)背景，分析了數(shù)據(jù)可視化技術(shù)的主要架構(gòu)、有關(guān)功能和具體應(yīng)用。運行結(jié)果表明：應(yīng)用可視化技術(shù)直觀和高效地呈現(xiàn)政務(wù)大數(shù)據(jù)、可以提高人們對數(shù)據(jù)獲取的時效性、準(zhǔn)確性和利用率，探索出在數(shù)據(jù)量高速增長的今天，高效利用數(shù)據(jù)的一種方法。

關(guān)鍵詞：可視化；數(shù)據(jù)；應(yīng)用

中圖分類號：TP311 文獻標(biāo)識碼：A 文章編號：1009-3044（2018）18-0273-02

1 引言

數(shù)據(jù)可視化是技術(shù)上較為高級的技術(shù)方法，而這些技術(shù)方法允許利用圖形、圖像處理、計算機視覺以及用戶界面，通過表達、建模和對立體、表面、屬性以及動畫的顯示，綜合利用認(rèn)知理論、科學(xué)信息、可視化以及人機交互技術(shù)，對數(shù)據(jù)加以可視化解釋。以輔助人們更為直觀和高效地洞悉大數(shù)據(jù)背后的信息、知識與智慧，為大腦減負(fù)，極大地降低了數(shù)據(jù)應(yīng)用的門檻。一方面，數(shù)據(jù)賦予可視化以意義；另一方面，可視化增加數(shù)據(jù)的靈性，兩者相輔相成，幫助人們從海量數(shù)據(jù)中提取知識、從知識中收獲價值。

2 可視化平臺技術(shù)邊界

2.1 可視化平臺基本呈現(xiàn)

數(shù)據(jù)可視化平臺用于對既有數(shù)據(jù)分析結(jié)果的快速呈現(xiàn)，把復(fù)雜抽象的數(shù)據(jù)結(jié)果，輕松化、直觀化、簡單化。在已經(jīng)建立數(shù)據(jù)倉庫基礎(chǔ)上，運用ETL工具，對數(shù)據(jù)完成抽取、清洗、轉(zhuǎn)換并建模、加工，形成一個個多維數(shù)據(jù)的情況下，可以直接部署大數(shù)據(jù)可視化技術(shù)進行報表配置和數(shù)據(jù)分析、呈現(xiàn)。將結(jié)果輸送至電腦終端、大屏終端、pad和手機終端等。

2.2 可視化平臺總體邏輯視圖

數(shù)據(jù)可視化專注于數(shù)據(jù)的可視，不僅要支持傳統(tǒng)圖表形式的數(shù)據(jù)可視，也要支持以3D技術(shù)、地理信息技術(shù)融合的大數(shù)據(jù)可視化，作為大數(shù)據(jù)應(yīng)用“最后一公里”的數(shù)據(jù)可視化，強調(diào)認(rèn)知、可視化、人機交互的交叉與融合，利用包括文本可視化、網(wǎng)絡(luò)可視化、時空數(shù)據(jù)可視化、多維數(shù)據(jù)可視化、關(guān)系圖譜數(shù)據(jù)可視化等在內(nèi)的多種可視化技術(shù)，將政府各項業(yè)務(wù)體系內(nèi)部各類多源、異構(gòu)、海量的數(shù)據(jù)以圖形的方式呈現(xiàn)出來。

2.3 關(guān)鍵技術(shù)

DAC數(shù)據(jù)訪問控制：支持連接各種數(shù)據(jù)源，包含RDBMS類、文本類、Hadoop/hive大數(shù)據(jù)平臺以及其他JDBC/ODBC數(shù)據(jù)源等。同時支持實時數(shù)據(jù)源，以及第三方Webservice、http、socket數(shù)據(jù)。

數(shù)據(jù)分析引擎：基于 Map Reduce 和 Stream Computing 理論開發(fā)的分布式系統(tǒng)架構(gòu)，支持對海量數(shù)據(jù)的高效處理和分析，數(shù)據(jù)查詢達到秒級響應(yīng)。采用NIO 內(nèi)存映射技術(shù)能夠盡量發(fā)揮機器系統(tǒng)的性能，所有的計算都會被以最優(yōu)化的方案轉(zhuǎn)化為庫內(nèi)計算，避免頻繁的 I/O 訪問數(shù)據(jù)庫，加快數(shù)據(jù)的計算速度，從而獲取最好的性能。高效的數(shù)據(jù)分析，提供多維分析引擎、分布式查詢引擎，支持靈活的多維分析、即席查詢，支持各種常見的函數(shù)，為了更好地理解數(shù)據(jù)，提供了自定義模型能力，可將以形成業(yè)務(wù)模型進行引用。

可視化設(shè)計器：基于瀏覽器的圖形化報表編排集成開發(fā)環(huán)境（IDE），內(nèi)置豐富的WEB交互組件、統(tǒng)計圖表組件、關(guān)系圖形組件、3D組件等，滿足各種多樣化的可視化呈現(xiàn)場景。

集成擴展框架：開放式的集成擴展框架，提供豐富的API和自定義組件開發(fā)規(guī)約，并提供豐富的可視化擴展組件庫，供用戶進行二次開發(fā)及自定義組件開發(fā)。

3 可視化技術(shù)在政務(wù)大數(shù)據(jù)的主要應(yīng)用

3.1 自助數(shù)據(jù)建模

傳統(tǒng)的基于數(shù)據(jù)倉庫的數(shù)據(jù)建模用戶只能用已經(jīng)創(chuàng)建好高質(zhì)量的數(shù)據(jù)倉庫，而在運用數(shù)據(jù)可視化技術(shù)下，用戶可以通過簡單的可視化操作，將數(shù)據(jù)庫中的數(shù)據(jù)表創(chuàng)建成待分析的數(shù)據(jù)模型，可以通過編寫SQL語句建立一張?zhí)摂M的表創(chuàng)建模型和定義虛擬表之間進行關(guān)聯(lián)，建立表與數(shù)據(jù)表和數(shù)據(jù)視圖關(guān)聯(lián)建模，把數(shù)據(jù)庫中的數(shù)據(jù)視圖作為一個虛擬的表創(chuàng)建數(shù)據(jù)模型。同時可視化提供的數(shù)據(jù)建模工具不依賴于客戶現(xiàn)有的數(shù)據(jù)環(huán)境，可以創(chuàng)建完全自定義的數(shù)據(jù)分析模型。而且提供了數(shù)據(jù)安全機制，讓用戶只能訪問自己受信任的數(shù)據(jù)模型，也可以通過授權(quán)方式共享給其他用戶使用，即保證了數(shù)據(jù)的訪問權(quán)限，也保證了開放共享。這樣一套更靈活的數(shù)據(jù)建模的混合方案，不僅能夠滿足星型模型和雪花模型還能滿足用戶自定義的數(shù)據(jù)模型的創(chuàng)建。

3.2 可視化編排

政務(wù)大數(shù)據(jù)可視化平臺設(shè)計UE是基于純JS代碼開發(fā)的IDE，可以在大多數(shù)瀏覽器下進行數(shù)據(jù)可視化設(shè)計，設(shè)計器可以編排適合移動端顯示的頁面，并提供分辨率自適應(yīng)功能，以確保編排的頁面能夠在一定范圍內(nèi)適應(yīng)多種不同分辨率的顯示終端。平臺提供的可視化組件，包括各種統(tǒng)計圖形、圖表組件等，用戶只需要通過簡單的拖拽和參數(shù)配置，即可創(chuàng)造出專業(yè)的數(shù)據(jù)分析報表、dashboard儀表盤、數(shù)據(jù)可視化大屏以及適用于移動設(shè)備的圖表頁面。為了在進行數(shù)據(jù)分析的同時，也能編排出一個完整的數(shù)據(jù)呈現(xiàn)WEB系統(tǒng)。大數(shù)據(jù)可視化平臺設(shè)計UE增加了獨有的WEB交互控件，可以設(shè)計出多樣化的，具備交互能力，可用于數(shù)據(jù)呈現(xiàn)、數(shù)據(jù)查詢、數(shù)據(jù)聯(lián)動、數(shù)據(jù)分析的全套WEB查詢系統(tǒng)。

3.3 多維數(shù)據(jù)分析

政務(wù)大數(shù)據(jù)可視化平臺能提供各種常見的OLAP分析操作，除基本的分組聚合外，還可以進任意多維度分析功能。如拖拽式自由分析，在多維數(shù)據(jù)分析一體化工作臺中，可以選擇任意數(shù)據(jù)模型中的任意維度、度量進行自主拖拽分析。同一個模型中，所有的數(shù)據(jù)已經(jīng)關(guān)聯(lián)在一起了，這就決定了多維及時分析的自由度。多層鉆取，在進行多維分析時，支持自由創(chuàng)建維度間的層級關(guān)系，構(gòu)建維度分級。將具備層級的維度應(yīng)用到各種圖表上，即可實現(xiàn)自動多層鉆取能力，逐層分析和查看各種數(shù)值情況。聚合，在數(shù)據(jù)分析工作中，除了對普通數(shù)據(jù)的維度、度量進行直接分析和觀察數(shù)據(jù)的整體效應(yīng)外，也能分析平均數(shù)、最大值、最小值等常見需求。自定義計算度量，度量（指標(biāo)）可以來自原始的數(shù)據(jù)字段，同時也可以是通過公式計算得來。大數(shù)據(jù)可視化平臺支持創(chuàng)建自定義計算字段。這些新增字段是通過原有的一個或者多個數(shù)據(jù)字段，采用普通的數(shù)學(xué)公式函數(shù)計算即可。動態(tài)查詢，用戶可以自由組合、動態(tài)添加各種查詢條件，滿足自助式的、靈活多變的查詢、數(shù)據(jù)分析需求。

3.4 支持集成框架和外部引用

數(shù)據(jù)可視化設(shè)計UE能夠非常方便地與其他應(yīng)用進行集成。提供專門的SDK組件、提供二次開發(fā)調(diào)用接口，讓開發(fā)者很容易就能進行二次開發(fā)。在平臺集成和客戶化功能方面，設(shè)計UE開發(fā)的報表是完全基于HTML5技術(shù)，可以靈活和第三方進行集成應(yīng)用和跨平臺部署。數(shù)據(jù)可視化平臺發(fā)布的報表工程、頁面，能通過URL或者API接口方式嵌入到第三方應(yīng)用系統(tǒng)。根據(jù)安全要求以及第三方系統(tǒng)特性，同時支持免登錄方式和權(quán)限認(rèn)證方式。

4 結(jié)束語

利用數(shù)據(jù)可視化技術(shù)展示政務(wù)服務(wù)中各項業(yè)務(wù)所形成的海量大數(shù)據(jù)，對政務(wù)服務(wù)平臺業(yè)務(wù)數(shù)據(jù)、運維數(shù)據(jù)以及其他數(shù)據(jù)進行系統(tǒng)對接、數(shù)據(jù)處理、視覺建模，將數(shù)據(jù)處理結(jié)果進行可視化編排，通過以直觀、清晰、易于理解并美觀的方式展，讓抽象的數(shù)據(jù)變得具體、直觀，從而很好地幫助機關(guān)工作人員和普通百姓更快地理解、利用數(shù)據(jù)，輔助各級政府進行業(yè)務(wù)決策、政策制定、資源分配和方便百姓網(wǎng)上辦事及查詢等，收到了比較好的效果。政務(wù)部門在選擇和部署業(yè)務(wù)智能和分析平臺時，利用數(shù)據(jù)可視化技術(shù)，讓數(shù)據(jù)與政務(wù)人員之間、數(shù)據(jù)與普通百姓之間、數(shù)據(jù)價值和部門業(yè)務(wù)之間真正實現(xiàn)“零距離”。