情報分析中大數(shù)據(jù)分析技術與框架研究

王子剛

摘 要：隨著大數(shù)據(jù)時代的到來，人工智能技術的發(fā)展，面對國家安全與發(fā)展戰(zhàn)略、智庫戰(zhàn)略的需要。情報工作在新時代、新環(huán)境、新技術、新需求下，必須重新審視和定位學科的未來發(fā)展，重新規(guī)劃和設計情報工作的未來路徑。鑒于此，文章結合筆者多年工作經(jīng)驗，對情報分析中大數(shù)據(jù)分析技術與框架研究提出了一些建議，僅供參考。

關鍵詞：情報分析;大數(shù)據(jù)分析技術;框架研究

引言

情報對提升人們的生活品質、促進科技的創(chuàng)新與發(fā)展、保障人們的醫(yī)療和健康、促進工農業(yè)發(fā)展以及輔助政府決策等有積極作用且密切相關，可以說情報的應用領域無所不及。作為研究情報的采集、處理、分析和交流原理的，以及為各個領域提供情報的情報工作，其未來發(fā)展與科學發(fā)展的背景、國家安全與發(fā)展的背景、國際大環(huán)境背景有著緊密聯(lián)系。我們必須了解這些影響與情報工作發(fā)展的背景，把握機遇迎接挑戰(zhàn)。

1、大數(shù)據(jù)環(huán)境下情報分析對象特征

1.1來源多樣化

互聯(lián)網(wǎng)的各項應用成為大數(shù)據(jù)的主要來源。在互聯(lián)網(wǎng)的驅動下，電腦、智能手機、無線傳感器等終端設備無時無刻在產生著各種類型的數(shù)據(jù)，其來源類型從硬件、網(wǎng)絡媒體、數(shù)據(jù)類型三個維度進行劃分，硬件維度一般是由自然人部署或操作發(fā)布，網(wǎng)絡媒體維度則是直接面向用戶的互聯(lián)網(wǎng)應用。

1.2低價值密度

海量數(shù)據(jù)的多維度產生，尤其是社交網(wǎng)站和微信等相對主觀、自由的網(wǎng)絡媒體維度的存在，必然會稀釋數(shù)據(jù)本身的價值性。除了傳感器是采集的環(huán)境客觀數(shù)據(jù)，其他數(shù)據(jù)最初均由自然人主觀發(fā)布，其數(shù)據(jù)的可靠度和可信度殘次不齊。而目前還缺少對發(fā)布信息真實性的監(jiān)督。除此之外，這些數(shù)據(jù)中還存在諸多技術需要但與業(yè)務沒有直接價值的數(shù)據(jù)。這兩個因素加到一起就造成了總體價值密度低的問題。針對低價值密度的數(shù)據(jù)，進行情報分析之前需要剔除無價值的部分，然而傳統(tǒng)的數(shù)據(jù)管理技術難以實現(xiàn)此功能，這為情報分析帶來了前所未有的挑戰(zhàn)。

1.3在大數(shù)據(jù)環(huán)境下，情報工作發(fā)生巨大變化

情報工作在范圍、特征、作用、形式、對象等各個方面發(fā)生了巨大變化，其主戰(zhàn)場不僅僅是科技與安全領域，已經(jīng)拓展到社會經(jīng)濟、人類健康、生態(tài)環(huán)境、歷史文化等方方面面。情報工作將會在社會經(jīng)濟、科技創(chuàng)新、醫(yī)療衛(wèi)生、國家安全和提升人類的生活品質中發(fā)揮“耳目尖兵參謀”的作用。因此，與情報工作可以此為契機，將情報理論、技術和方法影響各個學科領域和決策領域，并逐步把各級（類）情報所建設成政府、行業(yè)和各個領域的重要智庫。

2、情報分析被弱化為數(shù)據(jù)分析的現(xiàn)狀

情報分析技術是情報技術的重要組成部分，情報工作的重要一環(huán)是情報分析，但情報學領域的絕大多數(shù)學者或從業(yè)人員將其弱化為數(shù)據(jù)分析，與計算機領域的相關工作幾乎沒有區(qū)別。事實上，數(shù)據(jù)分析是情報分析的基礎，兩者之間區(qū)別顯著：從數(shù)據(jù)對象維度來看，數(shù)據(jù)分析方法以處理單源數(shù)據(jù)為主，情報分析方法以處理關聯(lián)的全源數(shù)據(jù)為主;從產出結果來看，數(shù)據(jù)分析產出的是新信息、新知識，情報分析產出的是新智能;從分析起點維度來看，數(shù)據(jù)分析主要是數(shù)據(jù)驅動，情報分析主要是目標驅動;從分析方法維度來看，數(shù)據(jù)分析以定量分析為主，定性分析、歸納推理、演繹推理為輔，情報分析在產出新信息、新知識階段以定量分析為主，在智能產出階段以歸納推理、演繹推理為主;數(shù)據(jù)分析是情報分析的基礎，情報分析是基于全局的分析，所依據(jù)的數(shù)據(jù)對象是全部來源的數(shù)據(jù)，數(shù)據(jù)分析是基于局部的分析，所依據(jù)的數(shù)據(jù)對象通常是全部來源數(shù)據(jù)的子集;作為數(shù)據(jù)分析方法體系重要組成的大數(shù)據(jù)分析無法取代情報分析。

3、情報信息的大數(shù)據(jù)分析框架

3.1情報檢索

軍事情報檢索不同于簡單的文獻查找或數(shù)據(jù)檢索，通過手工檢索、機械檢索等方式檢索到的信息，還需在原始情報信息的基礎上對數(shù)據(jù)進行檢索和挖掘，獲得有用的軍事情報。此外，在檢索過程中需要有明確的檢索目標，從而提取出原始數(shù)據(jù)中包含的有用情報。

3.2情報提取

情報提取是指將原始數(shù)據(jù)進行清洗、比對、整合等操作后，通過數(shù)據(jù)挖掘等方法對數(shù)據(jù)進行分析。根據(jù)指揮、作戰(zhàn)、決策等不同軍事目的，從數(shù)據(jù)中獲取有用的情報信息。情報信息的提取能力，往往會影響到各國之間軍事政治力量的差距。

3.3數(shù)據(jù)融合

單一數(shù)據(jù)源獲得的信息往往無法滿足情報分析和決策支持的需求，軍事情報信息獲取途徑迥異、數(shù)據(jù)類型各不相同、數(shù)據(jù)表現(xiàn)形式多種多樣、信息之間的關系錯綜復雜。因此，需要對多源異構信息進行分析、優(yōu)化，即進行基于語義層面的數(shù)據(jù)融合。

3.4情報分析

傳統(tǒng)的數(shù)據(jù)挖掘算法不論在處理海量數(shù)據(jù)的速度上，還是在挖掘信息的能力上都已明顯無法滿足當前戰(zhàn)事分析的需要，當代軍事情報分析需要從已有海量數(shù)據(jù)中，通過多層變換，通過不可分的高階神經(jīng)網(wǎng)絡推導出能夠支撐決策和作戰(zhàn)指揮的結論。

3.5關聯(lián)分析法

對軍事情報而言，關聯(lián)分析法綜合了關聯(lián)規(guī)則挖掘方法、鏈接方法，以及非相關文獻知識發(fā)現(xiàn)方法，可以將多源異構數(shù)據(jù)按照關聯(lián)規(guī)則進行跨域關聯(lián)。再通過聚類分析、路徑分析等方法，對情報進行發(fā)掘。實踐證明，關聯(lián)分析法綜合考慮多種關聯(lián)因素，可以挖掘出單一數(shù)據(jù)源無法發(fā)現(xiàn)的情報信息。

3.6數(shù)據(jù)源

數(shù)據(jù)源是整個體系的最底層，是情報分析的基石。在大數(shù)據(jù)環(huán)境下，互聯(lián)網(wǎng)和物聯(lián)網(wǎng)兩類應用是主要的數(shù)據(jù)源。前者一般使用Web構建技術，而后者一般是通過無線傳感器來構建，目前Zigbee是公認的物聯(lián)網(wǎng)協(xié)議。這兩類應用的一般均會結合數(shù)據(jù)和文件存儲技術來構建，這與一般的信息系統(tǒng)通常情況下不存在明顯的差別。但是在運行過程中，這兩類應用會源源不斷地產生大量的數(shù)據(jù)，為情報分析提供大量數(shù)據(jù)的來源。

3.7數(shù)據(jù)服務

數(shù)據(jù)服務直接面向用戶，為用戶提供各類數(shù)據(jù)分析的接口。目前Web和App的相關開發(fā)方法是構建數(shù)據(jù)服務的主要方法。Web對應的技術除了基本的構建技術外，云計算是大數(shù)據(jù)時代構建服務接口的主流技術，通過調用云端的服務，用戶可以通過電腦、手機等互聯(lián)網(wǎng)終端隨時調用數(shù)據(jù)分析服務。App近年來主要的開發(fā)技術則以iOS和Android為主。

3.8多管理主體的情報協(xié)同

當相互關聯(lián)的多個管理行動同時發(fā)生時，管理主體需要協(xié)調相互之間的目標、規(guī)則和分工。不同情報活動的行動者單元在協(xié)調一致或不一致的情況下協(xié)同或分別運作，其生產的情報對各自管理主體之管理目標下的管理決策進行支撐。在管理主體協(xié)調產生共同目標的情況下，各行動者單元的情報活動及其產出結果具有協(xié)調一致的可能，如圖3中的模型。在管理主體不發(fā)生協(xié)調或者無法協(xié)調產生一致目標的情況下，根據(jù)某個行動者單元所產出的情報，其支撐引導的管理決策和行動將對其他行動者單元造成直接作用，這些作用反映為信息資源改變的一個部分，被納入進受到影響的其他行動者單元之中。

結束語

大數(shù)據(jù)時代的來臨，人工智能等先進技術將逐步進入情報領域。新時代、新技術、新環(huán)境、新思維為情報工作帶來新的活力，情報工作迎來了極好的發(fā)展機遇，我們必須砥礪奮進。我們相信，在廣大情報人的共同努力下，未來的與情報工作一定會得到更加快速繁榮的發(fā)展。

參考文獻：

[1]馬海群，孫瑞英.大數(shù)據(jù)時代國家情報工作生態(tài)演替趨勢研究[J].圖書與情報，2018（06）：1-7.

[2]王夢瑤.大數(shù)據(jù)背景下偵查創(chuàng)新研究[D].中國人民公安大學，2018.

[3]王煥新.大數(shù)據(jù)時代競爭情報對企業(yè)技術創(chuàng)新的影響[J].經(jīng)濟研究導刊，2018（34）：17+100.

[4]儲節(jié)旺，吳川徽，陳善姍，是沁，李章超.支撐創(chuàng)新的情報保障研究進展[J].進展，2018，12（00）：217-247.

[5]唐曉波，鄭杜，翟夏普.基于大數(shù)據(jù)智能的競爭情報系統(tǒng)模型研究[J].情報理論與實踐，2018，41（11）：133-137+160.