數(shù)據(jù)挖掘深度決定大數(shù)據(jù)應(yīng)用價(jià)值

梅宏

所謂大數(shù)據(jù)，是信息化到一定階段之后必然出現(xiàn)的現(xiàn)象，是由于信息技術(shù)的不斷廉價(jià)化，以及互聯(lián)網(wǎng)及其延伸所帶來的無處不在的信息技術(shù)應(yīng)用所帶來的自然現(xiàn)象。基本上，大數(shù)據(jù)有四個(gè)驅(qū)動(dòng)力，即摩爾定律所驅(qū)動(dòng)的指數(shù)增長模式；技術(shù)低成本化驅(qū)動(dòng)的萬物數(shù)字化；寬帶移動(dòng)泛在互聯(lián)驅(qū)動(dòng)的人機(jī)物廣聯(lián)連接；云計(jì)算模式驅(qū)動(dòng)的數(shù)據(jù)大規(guī)模的匯聚。

目前，大數(shù)據(jù)正帶來新一波信息化浪潮?；仡櫺畔⒒l(fā)展過程，有兩個(gè)明顯的階段。第一階段始于PC機(jī)正式進(jìn)入市場，以單機(jī)應(yīng)用、數(shù)字化為特征，該階段核心業(yè)務(wù)的數(shù)字化工作主要依托PC機(jī)；第二階段是20世紀(jì)90年代中期至今，以聯(lián)網(wǎng)應(yīng)用為特征，網(wǎng)絡(luò)化推動(dòng)了數(shù)據(jù)大集中。

隨著企業(yè)全球化發(fā)展布局加快，我們正邁入信息化發(fā)展的第三階段，即以數(shù)據(jù)的深度挖掘和融合應(yīng)用為特征的智慧化。

大數(shù)據(jù)提供了人類認(rèn)識(shí)復(fù)雜系統(tǒng)的新思維、新手段，已成為提升國家綜合能力和保障國家安全的新利器。從信息技術(shù)視角來看，云計(jì)算、物聯(lián)網(wǎng)、大數(shù)據(jù)、移動(dòng)互聯(lián)網(wǎng)、人工智能等都屬于互聯(lián)網(wǎng)時(shí)代的信息新技術(shù)。從制造業(yè)視角，移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、GPS作為互聯(lián)網(wǎng)的延伸，更強(qiáng)調(diào)在制造業(yè)全價(jià)值鏈的提升與整合中信息的應(yīng)用；而在互聯(lián)網(wǎng)眼中，則更強(qiáng)調(diào)對傳統(tǒng)產(chǎn)業(yè)的影響、改造和升級(jí)，構(gòu)造新產(chǎn)品、新業(yè)務(wù)、新生態(tài)的力量。

我認(rèn)為，“互聯(lián)網(wǎng)+”本質(zhì)上是傳統(tǒng)行業(yè)或產(chǎn)業(yè)信息化的深度和泛在化，是孕育新興業(yè)態(tài)的平臺(tái)；是互聯(lián)網(wǎng)技術(shù)、模式和思想與傳統(tǒng)行業(yè)或產(chǎn)業(yè)的深入融合，將會(huì)促進(jìn)信息基礎(chǔ)設(shè)施的完善、數(shù)據(jù)資源的積累、新興業(yè)態(tài)的誕生和成長；“互聯(lián)網(wǎng)+”是信息化發(fā)展第三階段的基礎(chǔ)設(shè)置、思維模式和實(shí)施指南，數(shù)據(jù)的深度挖掘與融合應(yīng)用將是新一代信息化應(yīng)用的主要特征。

大數(shù)據(jù)可以從兩個(gè)角度來定義。從技術(shù)能力視角來看，大數(shù)據(jù)指的是規(guī)模超過現(xiàn)有數(shù)據(jù)庫工具獲取、存儲(chǔ)、管理和分析能力的數(shù)據(jù)集，同時(shí)并不是超過某特定數(shù)量級(jí)的數(shù)據(jù)集才是大數(shù)據(jù)。從數(shù)據(jù)內(nèi)涵視角來看，大數(shù)據(jù)是具備海量、高速、多樣、可變等特征的多維數(shù)據(jù)集，需要通過可伸縮的體系結(jié)構(gòu)實(shí)現(xiàn)高速的存儲(chǔ)、處理和分析。

大數(shù)據(jù)重構(gòu)IT架構(gòu)

大數(shù)據(jù)將給我們帶來哪些挑戰(zhàn)？我認(rèn)為最重要的應(yīng)該是思維模式的變化。通過大數(shù)據(jù)，我們能夠認(rèn)識(shí)復(fù)雜系統(tǒng)的新思維，促進(jìn)經(jīng)濟(jì)轉(zhuǎn)型，提升國家綜合能力，保障國家安全，提升政府治理能力以及服務(wù)民生、社會(huì)的能力。

目前來看，我覺得大數(shù)據(jù)已處于過熱狀態(tài)，有炒作之嫌。很多地方一窩蜂搞“大數(shù)據(jù)”，殊不知大數(shù)據(jù)不可能是解決一切問題的法寶，更不應(yīng)該成為各行各業(yè)的馬甲。真正的大數(shù)據(jù)應(yīng)該體現(xiàn)在多源數(shù)據(jù)的融合，絕不僅僅是數(shù)據(jù)的“海量”。而事實(shí)上，不少地方、行業(yè)搞的大數(shù)據(jù)，只是單一數(shù)據(jù)的簡單疊加，并不是真正的大數(shù)據(jù)。更何況，有的行業(yè)根本不需要大數(shù)據(jù)分析，也來湊熱鬧。

由此也帶來了一些問題。第一，宣傳過熱但我們對數(shù)據(jù)的認(rèn)識(shí)卻不到位；第二，投入過熱但資源浪費(fèi)現(xiàn)象明顯；第三，大數(shù)據(jù)定義業(yè)內(nèi)已有共識(shí)，但核心觀點(diǎn)、命題還存在很多爭議。例如如何定義數(shù)字化世界的大或小，如何更好地基于理論知識(shí)的突破來獲得數(shù)據(jù)分析結(jié)論。

此外，大數(shù)據(jù)現(xiàn)象的長期存在對我們的計(jì)算能力也在不斷提出挑戰(zhàn)。一是分析對象從過去經(jīng)過預(yù)處理的數(shù)據(jù)轉(zhuǎn)變?yōu)楝F(xiàn)在的原始數(shù)據(jù)，以前是樣本數(shù)據(jù)，現(xiàn)在是全數(shù)據(jù)，以前是單源單模態(tài)數(shù)據(jù)，現(xiàn)在是多源多模態(tài)數(shù)據(jù)，即分析對象發(fā)生了根本變化；二是分析需求發(fā)生了變化，我們現(xiàn)在需要高精度分析、復(fù)雜關(guān)聯(lián)的深層特征，以及大規(guī)模的復(fù)雜關(guān)聯(lián)；三是變化分析模型能力的變化，我們需要追求從表達(dá)力受限的低維數(shù)據(jù)到高信息量的高維數(shù)據(jù)，從弱表達(dá)力的簡單模型到強(qiáng)表達(dá)力的復(fù)雜模型。目前來看，絕大多數(shù)采用的大數(shù)據(jù)分析方法主要是可視化展現(xiàn)、統(tǒng)計(jì)分析，以及機(jī)器學(xué)習(xí)技術(shù)。而現(xiàn)在以通用性考慮為主的IT體系也很難滿足大數(shù)據(jù)的需求，有必要考慮對整個(gè)IT架構(gòu)進(jìn)行革命性重構(gòu)。

大數(shù)據(jù)三個(gè)應(yīng)用層次

大數(shù)據(jù)的價(jià)值已被廣泛認(rèn)知，并應(yīng)用在很多地方。例如，谷歌研發(fā)的無人駕駛汽車，不僅有實(shí)時(shí)感知系統(tǒng)，而且還有基于大數(shù)據(jù)的認(rèn)知網(wǎng)絡(luò)。比如小球滾到路口，根據(jù)大數(shù)據(jù)分析，可能后面還會(huì)跟著一個(gè)小孩，無人駕駛汽車就要注意避讓。

大數(shù)據(jù)應(yīng)用有這樣一個(gè)經(jīng)典案例：在美國沃爾瑪連鎖超市中，尿布和啤酒擺在一起出售，并且銷量雙雙增加了。原來，美國的婦女經(jīng)常會(huì)囑咐丈夫下班后為孩子買尿布。而丈夫買完尿布后又要順手買回自己愛喝的啤酒，因此啤酒和尿布在一起購買的機(jī)會(huì)很多。而正是商家通過對超市一年多原始交易數(shù)字進(jìn)行詳細(xì)分析，才發(fā)現(xiàn)了這對神奇的組合。

對當(dāng)下很火的大數(shù)據(jù)預(yù)測，也不能全信。比如大數(shù)據(jù)預(yù)測奧斯卡獎(jiǎng)，有其一定合理性。但是用大數(shù)據(jù)預(yù)測股市卻不能全信，因?yàn)檫@是一個(gè)開放系統(tǒng)，股民看到大數(shù)據(jù)分析后會(huì)有從眾心理，影響股市走向。

隨著大數(shù)據(jù)應(yīng)用案例不斷涌現(xiàn)，我們可將其分為四類，一是互聯(lián)網(wǎng)類數(shù)據(jù)，二是科學(xué)實(shí)驗(yàn)類數(shù)據(jù)，三是物聯(lián)網(wǎng)類數(shù)據(jù)，四是組織業(yè)務(wù)類數(shù)據(jù)。

大數(shù)據(jù)從應(yīng)用層次上又有三個(gè)劃分。第一個(gè)層次是關(guān)注當(dāng)前發(fā)生的現(xiàn)象，將發(fā)展態(tài)勢曲線描述出來，展現(xiàn)發(fā)展歷程；第二個(gè)層次是在分析的基礎(chǔ)上預(yù)測未來可能發(fā)生的現(xiàn)象，呈現(xiàn)事物發(fā)展趨勢；第三個(gè)層次則不僅是預(yù)測未來，而是通過做一個(gè)動(dòng)作對產(chǎn)生結(jié)果的預(yù)判來對當(dāng)前態(tài)勢的決策做出指導(dǎo)。

目前，大數(shù)據(jù)應(yīng)用呈三大特點(diǎn)。第一，從應(yīng)用層次上看，描述性、預(yù)測性的應(yīng)用較多，指導(dǎo)性應(yīng)用偏少；第二，從數(shù)據(jù)源角度看，基于單一數(shù)據(jù)源的數(shù)據(jù)較多，基于多態(tài)數(shù)據(jù)源的數(shù)據(jù)較少；第三，根據(jù)應(yīng)用需求將不同類型數(shù)據(jù)糅合在一起的應(yīng)用不多。

從以上三個(gè)特點(diǎn)來看，我認(rèn)為大數(shù)據(jù)應(yīng)用目前還處于初級(jí)階段，也就是說以智慧化為特征的信息化發(fā)展第三階段將會(huì)持續(xù)很長一段時(shí)間。個(gè)人樂觀估計(jì)、揣測，這一階段可能會(huì)持續(xù)二十年?；诮?jīng)濟(jì)學(xué)中的傳播理論，每個(gè)傳播都將持續(xù)50年左右時(shí)間。而從20世紀(jì)90年代開始，信息技術(shù)才真正成為推動(dòng)經(jīng)濟(jì)發(fā)展的重要驅(qū)動(dòng)力之一，照此方法推算，未來20多年大體還是IT的天下。

數(shù)據(jù)驅(qū)動(dòng)智能時(shí)代來臨

現(xiàn)在我們談的人工智能更多是以數(shù)據(jù)驅(qū)動(dòng)的智能為特征，是利用機(jī)器學(xué)習(xí)、統(tǒng)計(jì)分析方法從數(shù)據(jù)中發(fā)現(xiàn)規(guī)律。以2016年很熱的AlphaGo戰(zhàn)勝韓國名將李世石事件為例，網(wǎng)評(píng)很多，包括其對人類威脅的觀點(diǎn)。我認(rèn)為技術(shù)進(jìn)步更多還是減少人類智力或體力勞動(dòng)，其實(shí)離人工智能還很遠(yuǎn)。

人工智能本質(zhì)上是把人的智能的問題轉(zhuǎn)化為計(jì)算的問題，而計(jì)算智能還是要靠計(jì)算所產(chǎn)生的智能，要基于數(shù)據(jù)所產(chǎn)生的智能。

大家都很關(guān)注的一個(gè)命題是計(jì)算機(jī)是否真的能擁有人的智能。目前，我們看到的類腦智能好像是能解決一些問題，但這只是靠計(jì)算機(jī)強(qiáng)大的計(jì)算能力將這些問題轉(zhuǎn)變?yōu)閿?shù)據(jù)處理的問題，然后得出結(jié)論。

因此，我覺得類腦智能發(fā)展要經(jīng)過三個(gè)層次。第一個(gè)層次是傳統(tǒng)人工智能的方式，軟件加上知識(shí)庫，基于此做推理；第二個(gè)層次是要靠數(shù)據(jù)匯聚的方式去解決問題、找到結(jié)果，從數(shù)據(jù)中凝練一些東西，形成自演化的知識(shí)庫。

第三個(gè)層次可能是自演化的軟件加上自演化的過程。眾所周知，目前的軟件一旦完成編譯就無法更改了，那么自演化的軟件能否讓機(jī)器自己改代碼呢？目前肯定是不行的。但我們也在不斷嘗試，看是否能在某一特定環(huán)境下，解決軟件一些行為的改變。這也是計(jì)算機(jī)科學(xué)家共同的夢想。