大數(shù)據(jù)分析技術(shù)發(fā)展迅猛，機(jī)遇挑戰(zhàn)并存

人類社會(huì)已經(jīng)進(jìn)入大數(shù)據(jù)時(shí)代，大數(shù)據(jù)無處不在。通過分析行業(yè)內(nèi)和跨行業(yè)的大數(shù)據(jù)，能夠發(fā)現(xiàn)新的知識(shí)和規(guī)律，推動(dòng)行業(yè)發(fā)展進(jìn)步。2010年以來，阿里巴巴公司通過面向圖像、圖片和用戶數(shù)據(jù)的大數(shù)據(jù)分析技術(shù)，從10億量級(jí)的在線商品中發(fā)現(xiàn)假冒偽劣商品。美國(guó)帕蘭提爾(Palantir）公司通過對(duì)電話、網(wǎng)絡(luò)郵件、衛(wèi)星影像等大數(shù)據(jù)分析，協(xié)助中央情報(bào)局(CIA)獲取恐怖極端組織成員的位置信息等。就像借助于顯微鏡可以看清細(xì)胞結(jié)構(gòu)一樣，借助大數(shù)據(jù)分析技術(shù)可以分析人的行為、情感甚至思維，以及復(fù)雜系統(tǒng)運(yùn)行規(guī)律，甚至整個(gè)社會(huì)的運(yùn)行方式。

大數(shù)據(jù)分析的關(guān)鍵技術(shù)涉及大規(guī)模數(shù)據(jù)處理、機(jī)器學(xué)習(xí)、人工智能、認(rèn)知計(jì)算、數(shù)據(jù)挖掘、自然語言處理等多個(gè)學(xué)科領(lǐng)域，交織并覆蓋了數(shù)據(jù)的清洗融合、大規(guī)模處理框架、建模與分析、可視化的全過程。近年來，一系列大數(shù)據(jù)相關(guān)技術(shù)齊頭并進(jìn)地發(fā)展，帶來了分析能力的逐步提升。以Hadoop等分布式文件系統(tǒng)、Cassandra/HBase等NoSQL數(shù)據(jù)庫等為基礎(chǔ)的大數(shù)據(jù)存儲(chǔ)，以Kafka為代表的數(shù)據(jù)分發(fā)平臺(tái)，以MapReduce/Spark/Storm等為代表的大數(shù)據(jù)處理架構(gòu)，聯(lián)手為各行業(yè)的大數(shù)據(jù)解決方案提供了高可用性、高可擴(kuò)展的處理架構(gòu)，成為開源大數(shù)據(jù)分布式并行處理的主流方式之一。機(jī)器學(xué)習(xí)與人工智能的發(fā)展，特別是卷積神經(jīng)網(wǎng)絡(luò)(CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)、長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(LSTM)、雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(BLSTM)等深度學(xué)習(xí)方法的突破，顯著提高了圖像、音頻、視頻、文本等多模態(tài)大數(shù)據(jù)分析準(zhǔn)確性。知識(shí)圖譜(Knowledge Graph)與認(rèn)知計(jì)算的發(fā)展和應(yīng)用，提供了大數(shù)據(jù)時(shí)代千萬級(jí)、億級(jí)規(guī)模知識(shí)節(jié)點(diǎn)與關(guān)系的管理及處理能力。此外，眾包技術(shù)帶來了分解復(fù)雜問題并匯聚融合解決方案的重要手段；各種數(shù)據(jù)可視化技術(shù)為知識(shí)、信息提供了直觀解釋視角；數(shù)據(jù)匿名等隱私保護(hù)技術(shù)保護(hù)了大數(shù)據(jù)分析過程中用戶數(shù)據(jù)的安全和隱私等。上述大數(shù)據(jù)分析相關(guān)技術(shù)正在成為大數(shù)據(jù)驅(qū)動(dòng)的“知識(shí)經(jīng)濟(jì)”的重要驅(qū)動(dòng)力，在國(guó)家政治、經(jīng)濟(jì)、社會(huì)等各行業(yè)發(fā)揮著越來越重要的作用。

隨著大數(shù)據(jù)分析技術(shù)在各行業(yè)領(lǐng)域的進(jìn)一步應(yīng)用推廣，擺在我們面前的將是更多新的機(jī)遇與挑戰(zhàn)。例如，在綜合分析政策規(guī)劃相關(guān)領(lǐng)域大數(shù)據(jù)的基礎(chǔ)上，社會(huì)管理有望創(chuàng)新管理模式、提升管理效率；通過“量化一切”實(shí)現(xiàn)世界的數(shù)據(jù)化，可能改變?nèi)祟愄剿骱驼J(rèn)知世界的方式，帶來全新的“大數(shù)據(jù)世界觀”； “科學(xué)始于數(shù)據(jù)”的呼聲正在改變?nèi)藗兊目茖W(xué)觀和認(rèn)知觀，引發(fā)新的科學(xué)研究模式；當(dāng)商業(yè)資源能夠帶來商業(yè)利益的時(shí)候，金融、能源、交通、健康醫(yī)療等重要行業(yè)大數(shù)據(jù)就成為了國(guó)家重要的戰(zhàn)略資源，如何從國(guó)家安全層面對(duì)大數(shù)據(jù)進(jìn)行保護(hù)，也是亟待研究和解決的問題等。