一種基于Python的信息安全情報收集工具

邵云蛟　吳麗莎　張凱　吳屏

摘 要：目前，公司信息安全情報收集工作主要依靠人工方式進(jìn)行。主要由運(yùn)維人員每日登陸相關(guān)信息安全資訊網(wǎng)站或接收由綠盟、啟明等安全廠商發(fā)送的信息安全情報信息，這種方式效率低下，耗時耗力。

關(guān)鍵詞：Python；終端監(jiān)控；安全管理

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A 文章編號：1671-2064（2018）13-0019-01

為了提升公司信息安全情報的收集效率，實(shí)時掌握網(wǎng)絡(luò)安全態(tài)勢[1]，公司研發(fā)了基于Python的信息安全情報收集工具。工具可通過網(wǎng)絡(luò)爬蟲[2]從百度、360等5家搜索引擎，F(xiàn)reebuf、Rapid7等4家信息安全資訊網(wǎng)站的對接，并實(shí)現(xiàn)了與綠盟、啟明、天融信等6家信息安全廠商信息安全情報服務(wù)的對接，通過自動化手段[3]完成信息安全情報收集工作。

1 工具原理及功能

工具使用MVC框架，從功能上分為3層。分別為數(shù)據(jù)收集層、分析處理層、用戶接口層。

數(shù)據(jù)收集層由網(wǎng)絡(luò)爬蟲模塊及郵件接收模塊構(gòu)成，主要用于完成原始信息安全情報數(shù)據(jù)的收集。

分析處理層的核心模塊為文字處理模塊，該模塊會對信息安全情報進(jìn)行分詞處理，并進(jìn)行熱點(diǎn)詞分析。

用戶接口層由安全預(yù)警模塊構(gòu)成，該模塊會將經(jīng)過篩選的需要運(yùn)維人員關(guān)注的信息安全情報鏈接推送該信息安全運(yùn)維專用郵箱，以便于運(yùn)維人員查閱。

具體功能模塊如下：

1.1 網(wǎng)絡(luò)爬蟲模塊

網(wǎng)絡(luò)爬蟲模塊使用Python Requests Scrapy標(biāo)準(zhǔn)功能，實(shí)現(xiàn)對Google、百度、Bing、Yahoo、NHN五個搜索引擎的對接。分別利用這五個搜索引擎檢索“漏洞”、“計(jì)算機(jī)病毒”、“木馬”、“后門”、“蠕蟲”、“信息安全大事件”等11個關(guān)鍵詞的前100條記錄，并爬取Freebuf、Rapid7等4家信息安全專業(yè)資訊網(wǎng)站最新安全資訊，并將獲取的網(wǎng)頁文字?jǐn)?shù)據(jù)發(fā)送給文字分析模塊。

1.2 文字分析模塊

文字分析模塊主要負(fù)責(zé)對網(wǎng)絡(luò)爬蟲模塊爬取的信息安全文字情報進(jìn)行分析。文字分析模塊的主要功能如下：

（1）利用Python jieba、matplotlib、wordcloud、snownlp庫提取信息安全情報標(biāo)題的關(guān)鍵字。

（2）文檔在搜索引擎的排序在很大程度上反應(yīng)了該文檔在互聯(lián)網(wǎng)上的熱度或點(diǎn)擊率，文字分析某塊會自動分析出熱度不斷上升的文檔。

（3）由于不同搜索引擎對于同一文檔的檢索熱度變化會有所不同。因此，我們確定了Google>百度>Bing>Yahoo>NHN的底層判斷邏輯。文檔的最終熱度變化以靠前的搜索引擎為準(zhǔn)。

（4）文字分析模塊具有關(guān)鍵字統(tǒng)計(jì)分析功能，該模塊可以提煉出每個文檔的關(guān)鍵詞，并針對熱度上升的帖子，進(jìn)行關(guān)鍵詞的統(tǒng)計(jì)，提煉出當(dāng)前的熱點(diǎn)關(guān)鍵詞，供信息安全運(yùn)維人員參考。

（5）信息安全運(yùn)維人員每天針對hot_status狀態(tài)為UP的情報進(jìn)行查看。根據(jù)近兩個月的運(yùn)行結(jié)果，每天被標(biāo)記為UP的文檔數(shù)據(jù)約50-100條。通過對文檔名稱進(jìn)行人工識別后，有價值的情報約占5%-10%，在文檔篩選過程中，信息安全運(yùn)維人員可將無用的文檔標(biāo)記為“不關(guān)注”，這樣該文檔的熱度值將始終為100（數(shù)值越大熱度越低，100為最大值），進(jìn)而降低后續(xù)情報識別的工作量。信息安全情報查看界面如圖1，圖2。

1.3 安全預(yù)警模塊

安全預(yù)警模塊實(shí)現(xiàn)了與公司短信平臺及郵件系統(tǒng)的對接，每日將信息安全情報摘要短信發(fā)送給信息安全運(yùn)維人員，并將帶有信息安全情報鏈接的郵件發(fā)送給信息安全情報專用郵箱，以便于運(yùn)維人員快速查閱。

2 結(jié)語

通過利用該工具，信息安全運(yùn)維人員的情報收集效率大幅提升。之前，公司專人每周一利用1天時間進(jìn)行人工信息安全情報收集工作，且覆蓋面不足，極易造成遺漏?，F(xiàn)在通過自動化手段，單人15分鐘內(nèi)就可完成前一天的信息安全情報數(shù)據(jù)分析工作。同時，該系統(tǒng)的熱點(diǎn)關(guān)鍵詞提醒功能還可以輔助信息安全運(yùn)維人員進(jìn)行人工信息安全情報收集。極大的提升了工作效率以及信息安全情報收集工作的實(shí)時性。

參考文獻(xiàn)

[1]溫曉勇.基于網(wǎng)絡(luò)爬蟲技術(shù)的情報信息搜索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].北京大學(xué)，2013.

[2]薛麗敏，吳琦，李駿.面向?qū)Ｓ眯畔@取的用戶定制主題網(wǎng)絡(luò)爬蟲技術(shù)研究[J].信息網(wǎng)絡(luò)安全，2017，（2）：12-21.

[3]沈壽忠.基于網(wǎng)絡(luò)爬蟲的SQL注入與XSS漏洞挖掘[D].西安電子科技大學(xué)，2009.