創(chuàng)新技術(shù)助力政務(wù)大數(shù)據(jù)

金星

今天我跟大家分享的主題是“創(chuàng)新技術(shù)助力政務(wù)大數(shù)據(jù)”，關(guān)鍵詞就是創(chuàng)新，看到“創(chuàng)新”這個詞很多人的感受都會不一樣，或者有的人覺得這是老生常談的話題，但其實我們平時談的創(chuàng)新大多是一些微創(chuàng)新，我今天想講的是真正的創(chuàng)新，跟微創(chuàng)新不一樣。

大數(shù)據(jù)創(chuàng)新從何做起

也許很多人都會懷疑我們國人到底沒有實力做真正的創(chuàng)新，我不做論斷，可以談一些現(xiàn)實情況。中國有很多技術(shù)實力可能較弱，如底層的芯片、操作系統(tǒng)，但是有一些地方我們其實要比國外強(qiáng)很多，比如報表。國外報表都是很簡單的，就像銀行的清單。但是我們國家的報表是非常復(fù)雜的，格式復(fù)雜，條目多，上面是表格，中間是圖，這樣的報表在世界上很罕見，幾乎找不到。

我們潤乾是做什么的呢？過去18年一直在做數(shù)據(jù)計算模型，解決大數(shù)據(jù)計算的核心難題，一是如何提高效能，把那些復(fù)雜計算變得簡單。二是怎么做得更快一些，提高效率。三是解決商業(yè)邏輯中面臨的人工成本的問題。我們真正的盈利是在技術(shù)創(chuàng)新上或者說數(shù)學(xué)模型算法上。

信息技術(shù)的發(fā)展其實是跟需求的驅(qū)動有很重要的關(guān)系，互聯(lián)網(wǎng)時代，到后來計算機(jī)用的多了，需要把數(shù)據(jù)連通起來，互聯(lián)網(wǎng)解決這個問題之后要打通各種數(shù)據(jù)，數(shù)據(jù)多了以后需要挖掘出價值，有更大的利益。

可以看到現(xiàn)在的趨勢就是大數(shù)據(jù)和人工智能，這很多人都聽說過，但是我們很多時候沒有搞清楚大數(shù)據(jù)和人工智能的關(guān)鍵，是數(shù)據(jù)量大嗎？大是它的特點，或者說很重要的特點，但最重要的特色并不是大。

那么真正的人工智能、大數(shù)據(jù)最重要的特色是什么呢？是數(shù)據(jù)計算。其實20年前一些大型的銀行、運(yùn)營商的數(shù)據(jù)量也非常大，但是當(dāng)時的數(shù)據(jù)并沒有現(xiàn)在復(fù)雜，需要的算法也很簡單?，F(xiàn)在的數(shù)據(jù)類型非常復(fù)雜，而且用戶的需求也發(fā)生了變化，比如要根據(jù)每個人的消費(fèi)情況總結(jié)出他的消費(fèi)習(xí)慣，甚至預(yù)測消費(fèi)行為，或者說要分析出哪一片區(qū)域或者哪一個年齡段消費(fèi)能力最強(qiáng)、貸款能力最強(qiáng)等。

政務(wù)大數(shù)據(jù)的現(xiàn)狀是什么呢？我理解有幾個特點：1.幾十個政府部門的共享數(shù)據(jù)模板；2.上千甚至更多的數(shù)據(jù)庫表，上萬甚至更多的共享數(shù)據(jù)字段模板；3.人口、法人、空間地理、宏觀經(jīng)濟(jì)、城市資源等多個基礎(chǔ)數(shù)據(jù)的數(shù)據(jù)模板和數(shù)據(jù)元；4.物聯(lián)感知數(shù)據(jù)、信用數(shù)據(jù)、開放數(shù)據(jù)、公共服務(wù)數(shù)據(jù)、社會治理網(wǎng)格化數(shù)據(jù)、電子證照等多個主題數(shù)據(jù)庫的數(shù)據(jù)模板；5.人口、法人、空間地理、宏觀經(jīng)濟(jì)、物聯(lián)網(wǎng)業(yè)務(wù)分析模型。針對這些現(xiàn)狀，概況一下有兩大業(yè)務(wù)需求：一是成百上千個常用數(shù)據(jù)需求處理作業(yè)；二是數(shù)據(jù)量巨大、數(shù)據(jù)源眾多。我們的解決方案是引入數(shù)據(jù)計算層—集算器。

集算器的創(chuàng)新應(yīng)用

我們在經(jīng)營報表的過程中，總能碰到用戶希望我們協(xié)助開發(fā)復(fù)雜報表。久而久之，我們發(fā)現(xiàn)，報表的復(fù)雜性不僅體現(xiàn)在格式上，而更多的是在數(shù)據(jù)方面，數(shù)據(jù)庫中的數(shù)據(jù)距離要呈現(xiàn)出來的數(shù)據(jù)還非常遙遠(yuǎn)，經(jīng)常需要很多步驟的復(fù)雜運(yùn)算才能得到。而報表工具只能解決呈現(xiàn)環(huán)節(jié)那一步的少量計算，對于進(jìn)入報表工具之前的數(shù)據(jù)計算則無能為力。這導(dǎo)致了雖然有強(qiáng)大的報表工具來解決格式及呈現(xiàn)環(huán)節(jié)的計算問題，而報表開發(fā)卻依然很難的現(xiàn)狀。對此，潤乾總結(jié)分析各種數(shù)據(jù)計算問題，設(shè)計了一套新的數(shù)據(jù)模型和相應(yīng)的程序語法，能夠更簡捷地描述報表數(shù)據(jù)源準(zhǔn)備的算法，這就是集算器的由來。

集算器IDE是專門為數(shù)據(jù)處理和開發(fā)設(shè)計的編程環(huán)境。集算器Server（集算服務(wù)器）是運(yùn)行在Java平臺上的數(shù)據(jù)計算型中間件，嵌入式接口為工程提供了便利的集成性，服務(wù)式接口為工程提供了高效的擴(kuò)展性。

集算器作為專業(yè)的報表數(shù)據(jù)源準(zhǔn)備中間件，將復(fù)雜的計算從報表剝離出來，有效降低開發(fā)難度、提高開發(fā)效率。集算器腳本可以與報表模板一起管理，能有效降低應(yīng)用管理的復(fù)雜度。

集算器是一款擁有完全自主知識產(chǎn)權(quán)，安全可控的軟件。在設(shè)計目標(biāo)上，集算器希望提升兩方面的效率：計算的描述效率和計算的執(zhí)行效率。這兩個效率非常重要，如果描述效率太低，就意味著開發(fā)成本太高，很難寫出程序進(jìn)行計算；而如果執(zhí)行效率低，則需要運(yùn)行很久才能得到結(jié)果，那實用價值也就會打折扣。

集算器的下一步是數(shù)據(jù)庫和數(shù)據(jù)倉庫，將演變成和傳統(tǒng)關(guān)系數(shù)據(jù)庫/數(shù)據(jù)倉庫正面競爭的產(chǎn)品。數(shù)據(jù)庫是指主要用于交易業(yè)務(wù)（OLTP）的產(chǎn)品，而數(shù)據(jù)倉庫則用于分析業(yè)務(wù)（OLAP）。目前許多商業(yè)數(shù)據(jù)庫把這兩個功能整合在一個產(chǎn)品中，但事實上這兩種需求有相當(dāng)程度的矛盾性，放在一起會出現(xiàn)顧此失彼的現(xiàn)象。OLTP更強(qiáng)調(diào)事務(wù)一致性、高并發(fā)但單任務(wù)數(shù)據(jù)量不大、計算復(fù)雜度也低；而OLAP則不需要考慮事務(wù)一致性、低并發(fā)但單任務(wù)數(shù)據(jù)量大、計算復(fù)雜度高。

（根據(jù)演講內(nèi)容整理，未經(jīng)本人審核）