對(duì)大數(shù)據(jù)產(chǎn)業(yè)未來發(fā)展的策略

黃佳

（南京市信息中心 江蘇省南京市 210009）

當(dāng)前，我們應(yīng)當(dāng)將大數(shù)據(jù)產(chǎn)業(yè)的未來發(fā)展作為一個(gè)關(guān)鍵課題，積極加強(qiáng)研究、探討與實(shí)踐，嘗試分別從技術(shù)、政策以及應(yīng)用三個(gè)層面，采取科學(xué)的發(fā)展策略，全方位提高大數(shù)據(jù)產(chǎn)業(yè)水平，使其能夠在社會(huì)生活、生產(chǎn)的信息化、數(shù)據(jù)化以及智能化建設(shè)中，發(fā)揮出更大的作用、價(jià)值。

1 大數(shù)據(jù)產(chǎn)業(yè)至今的發(fā)展歷程

所謂的“大數(shù)據(jù)”，從字面上解釋，指的是巨量的電子數(shù)據(jù)信息的集合，而從更深層次的技術(shù)運(yùn)行機(jī)制來講，其還包括了對(duì)巨量電子數(shù)據(jù)信息的存儲(chǔ)、分析、挖掘和應(yīng)用。通過對(duì)這些巨量的、碎片化的、無序的電子數(shù)據(jù)信息進(jìn)行存儲(chǔ)、分析與挖掘，我們可以從中發(fā)現(xiàn)各類數(shù)據(jù)關(guān)聯(lián)，并將其應(yīng)用于各個(gè)行業(yè)，以此推動(dòng)社會(huì)的發(fā)展與變革[1]。從大數(shù)據(jù)的概念出現(xiàn)至今，整個(gè)大數(shù)據(jù)產(chǎn)業(yè)經(jīng)過了三個(gè)發(fā)展階段。

1.1 起步階段

大數(shù)據(jù)的出現(xiàn)，必然是伴隨傳統(tǒng)信息化技術(shù)的全面普及與應(yīng)用而來的。1998年，在信息化技術(shù)已經(jīng)基本實(shí)現(xiàn)了全球普及的情況下，對(duì)信息化技術(shù)的深入研究依然沒有停止，反而加大了研究力度，此時(shí)在USENIX 大會(huì)上，SGI 首席科學(xué)家 John Masey 首次提出了“大數(shù)據(jù)”的概念，其重點(diǎn)強(qiáng)調(diào)了“數(shù)據(jù)”在未來信息化社會(huì)中的價(jià)值和重要性，因此建立巨量的數(shù)據(jù)信息集合，不過最開始的大數(shù)據(jù)定義也就僅限于此，還不包括對(duì)數(shù)據(jù)采集、存儲(chǔ)以及分析等方面的研究[2]。

1.2 發(fā)展階段

大數(shù)據(jù)的概念提出以來，也曾經(jīng)受到過質(zhì)疑，不少人認(rèn)為當(dāng)時(shí)的軟硬件技術(shù)，不足以實(shí)現(xiàn)大數(shù)據(jù)產(chǎn)業(yè)和應(yīng)用。但即使是如此，也有很多國(guó)內(nèi)外的信息化企業(yè)在大數(shù)據(jù)方面進(jìn)行了大量的探索、開發(fā)與研究、應(yīng)用，例如美國(guó)的google 公司，以及我國(guó)的阿里巴巴公司，均在大數(shù)據(jù)研發(fā)方面投入了巨大的人力、技術(shù)和資金成本，因此大數(shù)據(jù)的技術(shù)體系、標(biāo)準(zhǔn)構(gòu)架等，開始逐漸的完善起來。

1.3 成熟階段

從2011年開始，大數(shù)據(jù)技術(shù)逐步的投入應(yīng)用，并由此形成了大數(shù)據(jù)產(chǎn)業(yè)，數(shù)據(jù)流量成為了資金發(fā)展的一個(gè)重要基礎(chǔ)。如在我國(guó)，阿里巴巴公司的大數(shù)據(jù)產(chǎn)業(yè)布局便已經(jīng)相當(dāng)?shù)耐晟?，在今天已?jīng)被廣泛的應(yīng)用到了各個(gè)行業(yè)領(lǐng)域當(dāng)中，商業(yè)、教育、交通、物流以及醫(yī)療等等行業(yè)，都通過大數(shù)據(jù)的應(yīng)用，得到了推動(dòng)與變革。不過，大數(shù)據(jù)的潛能在當(dāng)前還沒有被完全的開發(fā)出來，未來的大數(shù)據(jù)產(chǎn)業(yè)發(fā)展依然會(huì)受到關(guān)注的關(guān)注與重視。

2 大數(shù)據(jù)產(chǎn)業(yè)的未來發(fā)展策略

2.1 技術(shù)策略

2.1.1 采集技術(shù)

大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展，是緊密依靠于技術(shù)的，只有在先進(jìn)的技術(shù)支撐下，大數(shù)據(jù)才能夠運(yùn)轉(zhuǎn)起來，并被應(yīng)用到各個(gè)行業(yè)領(lǐng)域。而在大數(shù)據(jù)產(chǎn)業(yè)的構(gòu)建中，最先需要考慮的問題便是如何采集數(shù)據(jù)，數(shù)據(jù)越多、價(jià)值越高，但采集難度必然也越大。為了使數(shù)據(jù)的采集更加高效，在未來應(yīng)當(dāng)分別發(fā)展好軟采、硬采兩種采集技術(shù)。所謂的軟采集，及主要依靠軟件進(jìn)行數(shù)據(jù)采集，需要建立統(tǒng)一的數(shù)據(jù)采集框架，通過在待采集數(shù)據(jù)的系統(tǒng)中預(yù)留接口，直接和大數(shù)據(jù)平臺(tái)的采集接口對(duì)接。這個(gè)統(tǒng)一的數(shù)據(jù)采集框架要能夠適應(yīng)多種多樣的數(shù)據(jù)源，并且能適應(yīng)大數(shù)據(jù)數(shù)據(jù)量大、更新快的特點(diǎn)，自動(dòng)對(duì)采集的數(shù)據(jù)進(jìn)行一些預(yù)處理，刪除重復(fù)數(shù)據(jù)，可靠快速地完成數(shù)據(jù)采集[3]。而硬采，則主要依靠各種專業(yè)的數(shù)據(jù)采集硬件，以低功耗、針對(duì)性、高效率的硬件運(yùn)行速度，實(shí)現(xiàn)對(duì)數(shù)據(jù)的采集。

2.1.2 存儲(chǔ)技術(shù)

如上所述，大數(shù)據(jù)是“巨量數(shù)據(jù)”的集合，而且數(shù)據(jù)量越大，其價(jià)值越高，尤其是在產(chǎn)業(yè)化發(fā)展的需求下，大數(shù)據(jù)的體積可以說更是沒有邊界，這就對(duì)存儲(chǔ)帶來了很大的難度與挑戰(zhàn)。目前，分布式文件系統(tǒng)、No SQL、New SQL 等被廣泛的應(yīng)用于大數(shù)據(jù)存儲(chǔ)，但是在未來，考慮到數(shù)據(jù)量的進(jìn)一步增大，訪問的進(jìn)一步增多，以及降低存儲(chǔ)成本的需求，還需要在存儲(chǔ)技術(shù)方面做出進(jìn)一步的提升，以適應(yīng)不斷提高的大數(shù)據(jù)需求[4]。再者，在存儲(chǔ)介質(zhì)方面，未來也還須得改進(jìn)，因?yàn)楝F(xiàn)目前的存儲(chǔ)介質(zhì)有效時(shí)間較短，如果要長(zhǎng)時(shí)間存儲(chǔ)大數(shù)據(jù)，就需要不斷的搬運(yùn)、轉(zhuǎn)移大數(shù)據(jù)，操作復(fù)雜而且成本高，因此需要具有更加長(zhǎng)時(shí)效性的存儲(chǔ)介質(zhì)，來進(jìn)行未來的大數(shù)據(jù)存儲(chǔ)。

2.1.3 分析技術(shù)

初步收集到的大數(shù)據(jù)信息，都是混亂的、無序的、碎片化的，簡(jiǎn)單來說并沒有直接應(yīng)用的價(jià)值，必須要通過高效率、專業(yè)性的數(shù)據(jù)分析，才能從中得到有價(jià)值的信息，因此對(duì)于大數(shù)據(jù)的分析技術(shù)，在未來還應(yīng)當(dāng)?shù)玫礁蟮奶嵘?。大?shù)據(jù)分析技術(shù)主要包括已有數(shù)據(jù)的分布式統(tǒng)計(jì)分析技術(shù)和未知數(shù)據(jù)的分布式挖掘、深度學(xué)習(xí)技術(shù)，通過這些技術(shù)把隱藏在大型數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)中的信息集中起來，進(jìn)行萃取、提煉，以找出所研究對(duì)象的內(nèi)在規(guī)律。目前常用的大數(shù)據(jù)分析及挖掘技術(shù)包括可視化分析、數(shù)理統(tǒng)計(jì)分析、情報(bào)檢索、機(jī)器學(xué)習(xí)、專家系統(tǒng)和模式識(shí)別等。隨著數(shù)據(jù)量的迅速膨脹，大數(shù)據(jù)分析挖掘日益復(fù)雜，如果采用普通單機(jī)進(jìn)行數(shù)據(jù)分析挖掘，性能無法滿足，如果采用高性能機(jī)來處理海量數(shù)據(jù)，則在軟硬件成本上可能無法承受。基于云計(jì)算平臺(tái)的數(shù)據(jù)分析挖掘可以在節(jié)約成本的前提下滿足性能需求，是大數(shù)據(jù)分析挖掘未來的重要發(fā)展方向。另外，機(jī)器學(xué)習(xí)、人工神經(jīng)網(wǎng)絡(luò)在未來將繼續(xù)成為大數(shù)據(jù)智能分析的核心技術(shù)[5]。

2.2 政策策略

2.2.1 政府政策

我國(guó)至今為了推動(dòng)大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展，已經(jīng)先后出臺(tái)實(shí)施了多項(xiàng)政策，如《關(guān)于組織實(shí)施促進(jìn)大數(shù)據(jù)發(fā)展重大工程的通知》、《生態(tài)環(huán)境下大數(shù)據(jù)建設(shè)總體方案》、《關(guān)于印發(fā)促進(jìn)國(guó)土資源大數(shù)據(jù)應(yīng)用發(fā)展實(shí)施意見》、《關(guān)于推進(jìn)水利大數(shù)據(jù)發(fā)展的指導(dǎo)意見》、《智慧城市時(shí)空大數(shù)據(jù)與云平臺(tái)建設(shè)技術(shù)大綱》等等。在未來，大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展，還需要國(guó)家從政策層面予以更大的幫助和指導(dǎo)，尤其是地方政府，應(yīng)當(dāng)認(rèn)識(shí)到大數(shù)據(jù)產(chǎn)業(yè)對(duì)地方經(jīng)濟(jì)的帶動(dòng)作用，根據(jù)地方的其他產(chǎn)業(yè)發(fā)展情況、發(fā)展需求，通過政策的規(guī)劃和指導(dǎo)，使地方大數(shù)據(jù)產(chǎn)業(yè)能夠迅速的發(fā)展起來，并與其他產(chǎn)業(yè)緊密結(jié)合，推動(dòng)地方產(chǎn)業(yè)整體同步發(fā)展。

2.2.2 國(guó)家法律

大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展，勢(shì)必會(huì)涉及到很多的社會(huì)倫理問題，其中最為敏感的一個(gè)問題便是個(gè)人的隱私權(quán)如何在大數(shù)據(jù)時(shí)代下得到有力的保護(hù)。為此，在未來為了促進(jìn)大數(shù)據(jù)產(chǎn)業(yè)的健康、常見發(fā)展，應(yīng)完善法律的建設(shè)需要對(duì)大數(shù)據(jù)時(shí)代下公民在網(wǎng)絡(luò)方面的知悉權(quán)、選擇權(quán)、控制權(quán)和安全請(qǐng)求權(quán)等，做出明確的立法規(guī)定，這樣才能更加全面的保護(hù)好公民的網(wǎng)絡(luò)信息安全。最后，還需要對(duì)侵害網(wǎng)絡(luò)隱私權(quán)的行為進(jìn)行分類，做好侵權(quán)行為的認(rèn)定工作。對(duì)于隱私權(quán)責(zé)任的承擔(dān)方面，要進(jìn)行細(xì)分，比如停止侵害、消除影響，或者是對(duì)受害人進(jìn)行賠償?shù)?。不能因?yàn)榇髷?shù)據(jù)的收集和發(fā)展，影響到個(gè)人合法權(quán)益[6]。

2.3 應(yīng)用策略

大數(shù)據(jù)產(chǎn)業(yè)本身并不能體現(xiàn)出實(shí)際的作用，其必須要被應(yīng)用到各個(gè)實(shí)在的行業(yè)領(lǐng)域當(dāng)中，才能產(chǎn)生出價(jià)值。因此，在未來還需要對(duì)大數(shù)據(jù)的應(yīng)用，加強(qiáng)研究、探索與發(fā)展，使其能夠與社會(huì)生活、生產(chǎn)全面的、深入的結(jié)合起來，這樣不僅有利于大數(shù)據(jù)產(chǎn)業(yè)本身的發(fā)展，同時(shí)也有利于整個(gè)社會(huì)的生活、生產(chǎn)發(fā)展。如隨著信息技術(shù)和人類生產(chǎn)生活交匯融合，未來大數(shù)據(jù)應(yīng)用的涉及面將會(huì)更廣泛，也更注重解決實(shí)際問題。

以電子商務(wù)為例，其通過對(duì)大數(shù)據(jù)技術(shù)的應(yīng)用，一方面是可以更加精準(zhǔn)的獲取客戶需求，為商品的生產(chǎn)、采購(gòu)等提供有價(jià)值的依據(jù)，另一方面是能夠更加精準(zhǔn)的投放廣告，對(duì)可能有需求的客戶提供廣告信息，進(jìn)而降低廣告成本，提高廣告效果；在金融行業(yè)當(dāng)中的話，通過對(duì)大數(shù)據(jù)技術(shù)的應(yīng)用，則可以實(shí)現(xiàn)對(duì)市場(chǎng)變化的預(yù)測(cè)，同時(shí)實(shí)現(xiàn)對(duì)市場(chǎng)的全方位監(jiān)管，這更有利于對(duì)金融風(fēng)險(xiǎn)的規(guī)避；在醫(yī)療領(lǐng)域當(dāng)中，通過對(duì)大數(shù)據(jù)技術(shù)的應(yīng)用，可以動(dòng)態(tài)的、及時(shí)的采集、監(jiān)測(cè)個(gè)人的健康數(shù)據(jù)信息，并與標(biāo)準(zhǔn)的健康數(shù)據(jù)信息進(jìn)行對(duì)比，發(fā)出健康方面的提示、預(yù)警；在物流行業(yè)、交通行業(yè)當(dāng)中，大數(shù)據(jù)技術(shù)的應(yīng)用則更加的廣泛，其可以幫助計(jì)算、優(yōu)化運(yùn)輸、交通路線，提高交通效率，降低運(yùn)輸成本。而且就未來的所有市場(chǎng)行業(yè)來講，在大數(shù)據(jù)技術(shù)的支撐下，都能夠?qū)崿F(xiàn)相互之間的深度交流、有機(jī)融合，有利于整個(gè)市場(chǎng)的共同發(fā)展[7]。

尤其是面對(duì)即將普及的5G 通信技術(shù)，大數(shù)據(jù)產(chǎn)業(yè)的應(yīng)用發(fā)展，應(yīng)當(dāng)進(jìn)一步深入終端和基層，嘗試為每一個(gè)個(gè)體提供優(yōu)質(zhì)的大數(shù)據(jù)信息服務(wù)，在合法、安全的前提下，允許個(gè)人進(jìn)行大數(shù)據(jù)的分析和運(yùn)用。

2.4 安全策略

通過政策和法律，還并不能完全的保障大數(shù)據(jù)安全，需要進(jìn)一步從技術(shù)層面采取安全策略，才能真正強(qiáng)化對(duì)大數(shù)據(jù)的安全保障。現(xiàn)目前，針對(duì)大數(shù)據(jù)的信息安全技術(shù)主要有數(shù)據(jù)細(xì)粒度訪問控制技術(shù)、數(shù)據(jù)加密技術(shù)、數(shù)據(jù)脫敏技術(shù)等，它們均能針對(duì)大數(shù)據(jù)信息安全的薄弱環(huán)節(jié)，以技術(shù)措施、技術(shù)手段，來消除安全隱患。如數(shù)據(jù)脫敏技術(shù)包括了靜態(tài)數(shù)據(jù)脫敏、動(dòng)態(tài)數(shù)據(jù)脫敏，它們各有技術(shù)特點(diǎn)，就靜態(tài)數(shù)據(jù)脫敏這項(xiàng)技術(shù)來說的話，其處理方式并不是實(shí)時(shí)的，具體由專門的脫敏組件，來幫助進(jìn)行脫敏處理，從而為用戶提供脫敏數(shù)據(jù)。在實(shí)踐當(dāng)中，采用這項(xiàng)技術(shù)，可以與大數(shù)據(jù)平臺(tái)相互獨(dú)立，即在大數(shù)據(jù)平臺(tái)之外，獨(dú)立的進(jìn)行脫敏處理等工作。并且整個(gè)脫敏過程，可以預(yù)先設(shè)定任務(wù)計(jì)劃安排，由其自動(dòng)進(jìn)行，將大數(shù)據(jù)平臺(tái)當(dāng)中的數(shù)據(jù)，脫敏后轉(zhuǎn)移到其他的數(shù)據(jù)存儲(chǔ)環(huán)境中去。在具體的工作當(dāng)中，應(yīng)當(dāng)根據(jù)大數(shù)據(jù)的實(shí)際應(yīng)用情況，如大數(shù)據(jù)平臺(tái)的技術(shù)結(jié)構(gòu)、應(yīng)用傳輸途徑、數(shù)據(jù)的敏感度等等，選擇相應(yīng)的技術(shù)方式，采取最可靠、最經(jīng)濟(jì)的安全策略。

3 結(jié)語

大數(shù)據(jù)產(chǎn)業(yè)在如今已經(jīng)形成規(guī)模，不過在未來其還有非常大的發(fā)展空間。對(duì)此我們應(yīng)當(dāng)加強(qiáng)研究、探討與實(shí)踐，要從技術(shù)、政策以及應(yīng)用等各方面，采取相應(yīng)的科學(xué)發(fā)展策略，進(jìn)一步提高大數(shù)據(jù)產(chǎn)業(yè)水平，使其能夠更加高效率、低成本，且安全、合法的應(yīng)用到社會(huì)方方面面，有力推進(jìn)社會(huì)的信息化、數(shù)據(jù)化、智能化建設(shè)。