面向敏感信息檢測(cè)的Web綜合漏洞掃描器實(shí)現(xiàn)

呂寶路 梁景普 歐翰琪 陳濤

摘要：互聯(lián)網(wǎng)的開(kāi)放性和自由性使得黑客更容易獲取到敏感信息，造成網(wǎng)絡(luò)安全問(wèn)題的發(fā)生。企業(yè)通常利用Web掃描器實(shí)現(xiàn)安全評(píng)估檢測(cè)，但是這些傳統(tǒng)掃描器檢測(cè)重點(diǎn)為常見(jiàn)安全漏洞類(lèi)型，如SQL注入、XSS攻擊、文件上傳等，對(duì)于敏感信息的檢測(cè)程度不足。為此，該文將以傳統(tǒng)Web安全掃描器為基礎(chǔ)，以加強(qiáng)檢測(cè)企業(yè)敏感信息為目的，采用主機(jī)存活判斷、端口掃描、指紋識(shí)別和漏洞掃描技術(shù)實(shí)現(xiàn)面向敏感信息檢測(cè)的Web綜合漏洞掃描器，用于掃描易于暴露的敏感信息及網(wǎng)站中可能存在的安全漏洞。同時(shí)實(shí)現(xiàn)了最新漏洞消息推送功能，最終生成安全報(bào)告供開(kāi)發(fā)人員修復(fù)使用，有效保障Web應(yīng)用的安全性。

關(guān)鍵詞：敏感信息泄露;漏洞掃描;python掃描器;漏洞推送;安全工具

中圖分類(lèi)號(hào)：TP399? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2020）23-0030-03

Abstract： The openness and freedom of the Internet make it easier for hackers to obtain sensitive information and cause network security problems. Enterprises usually use web scanners to implement security assessment detection， but these traditional scanners focus on common types of security vulnerabilities， such as SQL injection， XSS attack， file upload， etc.， which are not enough for sensitive information detection. Therefore， based on the traditional web security scanner， aiming at strengthening the detection of enterprise sensitive information， this paper uses host survival judgment， port scanning， fingerprint identification and vulnerability scanning technology to realize the web comprehensive vulnerability scanner for sensitive information detection， which is used to scan sensitive information that is easy to be exposed and the possible security vulnerabilities in the website. At the same time， it realizes the latest vulnerability message push function， and finally generates a security report for developers to repair and use， which effectively guarantees the security of web applications.

Key words： sensitive information disclosure; vulnerability scanning; python scanner; vulnerability push; security tools

1 引言

隨著互聯(lián)網(wǎng)的發(fā)展，越來(lái)越多的行業(yè)融入互聯(lián)網(wǎng)，以互聯(lián)網(wǎng)平臺(tái)為媒介與用戶(hù)交流，導(dǎo)致企業(yè)資產(chǎn)易于從外部訪(fǎng)問(wèn)[1]。在企業(yè)迅速發(fā)展的過(guò)程中，業(yè)務(wù)面臨著越來(lái)越多，越來(lái)越復(fù)雜的局面，用戶(hù)的權(quán)益和信息價(jià)值相應(yīng)也越來(lái)越高，企業(yè)面臨的安全挑戰(zhàn)就越來(lái)越大，敏感信息泄露的問(wèn)題需要得到重視。敏感信息（或敏感數(shù)據(jù)）是指不當(dāng)使用或未經(jīng)授權(quán)被人接觸或修改后，會(huì)產(chǎn)生不利于國(guó)家和組織的負(fù)面影響和利益損失，或不利于個(gè)人依法享有的個(gè)人隱私的所有信息，常見(jiàn)的敏感信息有，姓名、身份證號(hào)碼、住址、電話(huà)等[2]。由于互聯(lián)網(wǎng)的易訪(fǎng)問(wèn)性，黑客可以較為容易得獲取敏感信息。與此同時(shí)，由于企業(yè)員工安全防護(hù)意識(shí)不足[3]（只注重實(shí)現(xiàn)功能而忽略了開(kāi)發(fā)組件中的一些易于泄露的接口等），開(kāi)發(fā)代碼頻繁迭代，忽略了信息的脫敏處理導(dǎo)致信息泄露的安全風(fēng)險(xiǎn)層出不窮[4]。安全事件發(fā)生后，造成了用戶(hù)對(duì)企業(yè)的不信任，給企業(yè)的形象和價(jià)值構(gòu)成巨大的影響，企業(yè)還會(huì)面臨嚴(yán)重的財(cái)務(wù)、法律或問(wèn)責(zé)風(fēng)險(xiǎn)。

安全事件頻發(fā)的根本原因，大多數(shù)是因?yàn)橐恍┵~號(hào)密碼等敏感信息易于泄露的問(wèn)題。所以企業(yè)加強(qiáng)信息安全保護(hù)建設(shè)已刻不容緩，加強(qiáng)敏感信息的檢測(cè)至關(guān)重要。通常企業(yè)會(huì)利用安全掃描器自動(dòng)地檢查Web應(yīng)用程序的安全弱點(diǎn)和風(fēng)險(xiǎn)，而現(xiàn)有的安全掃描器主要檢測(cè)目標(biāo)為Web應(yīng)用程序中常見(jiàn)的安全漏洞類(lèi)型，忽視了互聯(lián)網(wǎng)發(fā)展帶來(lái)的新型業(yè)務(wù)安全漏洞威脅。同時(shí)當(dāng)有重大安全漏洞出現(xiàn)時(shí)，企業(yè)獲取信息預(yù)警較慢，對(duì)已知漏洞的了解低于黑客，這個(gè)時(shí)間差提升了企業(yè)易受攻擊的風(fēng)險(xiǎn)，傳統(tǒng)掃描器不具備此預(yù)警功能。

為此，本文提出了面向企業(yè)敏感信息檢測(cè)的Web綜合型漏洞掃描器的實(shí)現(xiàn)，包含對(duì)傳統(tǒng)漏洞SQL注入，XSS攻擊這兩類(lèi)高頻出現(xiàn)漏洞[5]的檢測(cè)功能，還有面向企業(yè)敏感信息檢測(cè)功能，通過(guò)插件利用已知腳本檢測(cè)網(wǎng)站漏洞，并具備CVE（漏洞披露）信息推送功能，提升Web掃描器檢測(cè)水平。

2 系統(tǒng)設(shè)計(jì)

本系統(tǒng)設(shè)計(jì)了一個(gè)Linux平臺(tái)下的，基于異步編程、多線(xiàn)程使用Python語(yǔ)言實(shí)現(xiàn)的高效率、可拓展性較好的自動(dòng)化掃描器[6]。

系統(tǒng)工作流程為，對(duì)用戶(hù)輸入的命令參數(shù)和url解析，判斷url是否正確。如果正確掃描器則通過(guò)爬蟲(chóng)模塊構(gòu)造http請(qǐng)求，基本信息掃描模塊從返回的響應(yīng)信息中識(shí)別網(wǎng)站指紋信息[7]，與已知漏洞指紋匹配，調(diào)用對(duì)應(yīng)的檢測(cè)腳本分析。同時(shí)，爬蟲(chóng)模塊對(duì)目標(biāo)網(wǎng)址進(jìn)行深度爬蟲(chóng)，提取網(wǎng)頁(yè)源碼中的鏈接，對(duì)每個(gè)鏈接進(jìn)行漏洞掃描，將結(jié)果存放到數(shù)據(jù)庫(kù)。輸出模塊從數(shù)據(jù)庫(kù)讀取信息，以良好的頁(yè)面展示效果呈現(xiàn)給用戶(hù)[8]。

2.1 輸入解析模塊

用戶(hù)輸入目標(biāo)的方式有可以有多種形式（單一網(wǎng)址，網(wǎng)址文件，ip地址），系統(tǒng)通過(guò)對(duì)用戶(hù)輸入的不同參數(shù)進(jìn)行解析從而調(diào)用相應(yīng)函數(shù)，獲取目標(biāo)url。

2.2 信息掃描模塊

信息掃描模塊主要是為了識(shí)別網(wǎng)站指紋信息，做到與已知漏洞匹配從而更好地進(jìn)行漏洞檢測(cè)，識(shí)別高危服務(wù)。信息掃描模塊分為基本信息掃描和敏感信息掃描?；拘畔呙铻樽R(shí)別網(wǎng)站指紋信息，如網(wǎng)站使用的中間件、開(kāi)發(fā)語(yǔ)言、操作系統(tǒng)類(lèi)型，是否存在cdn和waf。敏感信息掃描識(shí)別開(kāi)放端口及其對(duì)應(yīng)的系統(tǒng)服務(wù)、目錄文件。還包括經(jīng)爬蟲(chóng)功能后獲得的網(wǎng)站源碼，檢測(cè)其中的js文件、html注釋中是否存在如電話(huà)號(hào)碼、郵箱等信息。

2.3 漏洞檢測(cè)模塊

漏洞檢測(cè)模塊分為SQL注入和XSS攻擊檢測(cè)，以及已知高危漏洞檢測(cè)模塊。掃描器會(huì)對(duì)獲取的url進(jìn)行注入點(diǎn)識(shí)別，構(gòu)造包含注入判斷請(qǐng)求的http數(shù)據(jù)包，解析返回響應(yīng)包信息識(shí)別是否存在漏洞。高危漏洞檢測(cè)則通過(guò)Web指紋信息與已知的漏洞庫(kù)匹配檢測(cè)，識(shí)別漏洞是否存在，將最終結(jié)果添加到數(shù)據(jù)庫(kù)中。

2.4 漏洞信息更新模塊

掃描器通過(guò)時(shí)間設(shè)置的規(guī)定，定時(shí)爬取集成了CVE信息的網(wǎng)站，識(shí)別CVE編號(hào)，依據(jù)編號(hào)請(qǐng)求NVD（國(guó)家漏洞數(shù)據(jù)庫(kù)（美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院））獲取漏洞詳細(xì)信息，輸出結(jié)果報(bào)告。

3 具體實(shí)現(xiàn)

3.1 爬蟲(chóng)模塊

系統(tǒng)根據(jù)用戶(hù)輸入的參數(shù)調(diào)用對(duì)應(yīng)的處理函數(shù)，解析獲取目標(biāo)url。在爬蟲(chóng)開(kāi)始之前，需要判斷目標(biāo)主機(jī)是否存活。如果目標(biāo)輸入的是url則通過(guò)域名解析判斷，如果是ip則根據(jù)操作系統(tǒng)類(lèi)型判斷，Windows調(diào)用ping檢測(cè)Linux調(diào)用nmap來(lái)判斷主機(jī)存活情況[9]。目標(biāo)url存活的情況下，通過(guò)網(wǎng)站根頁(yè)面分析html源碼，提取標(biāo)簽中的url，將域名與目標(biāo)不同的url（說(shuō)明不是同站鏈接）過(guò)濾后，保存到列表中。對(duì)于不含域名的鏈接則添加目標(biāo)網(wǎng)站域名（常見(jiàn)于站內(nèi)跳轉(zhuǎn)鏈接如：artists.php？artist=1，通過(guò)添加域名拼接成完整的訪(fǎng)問(wèn)地址），將能夠正常訪(fǎng)問(wèn)的url添加到列表中，然后去重整理列表。重復(fù)訪(fǎng)問(wèn)url列表，通過(guò)廣度優(yōu)先爬蟲(chóng)盡可能多地獲取url。

3.2 敏感信息檢測(cè)

遍歷訪(fǎng)問(wèn)爬蟲(chóng)獲取的url列表，解析提取網(wǎng)頁(yè)源碼，通過(guò)正則匹配獲取js文件、html注釋內(nèi)容中包含的敏感資產(chǎn)信息（密碼、電話(huà)號(hào)碼、郵箱等）。同時(shí)使用socket發(fā)包探測(cè)常見(jiàn)端口，從返回頭信息中獲取網(wǎng)站指紋與指紋庫(kù)匹配獲得端口服務(wù)指紋。結(jié)合敏感文件字典構(gòu)造http請(qǐng)求，通過(guò)返回狀態(tài)碼判斷是否存在敏感文件泄露情況。

3.3 漏洞檢測(cè)

3.3.1 SQL注入檢測(cè)

SQL注入功能基于爬蟲(chóng)模塊獲取網(wǎng)站鏈接，然后通過(guò)對(duì)http解析請(qǐng)求識(shí)別鏈接中的各個(gè)參數(shù)，對(duì)參數(shù)添加測(cè)試判斷語(yǔ)句構(gòu)造url，根據(jù)請(qǐng)求返回網(wǎng)頁(yè)內(nèi)容是否和原始網(wǎng)頁(yè)請(qǐng)求內(nèi)容一致進(jìn)行判斷。如果不一致則存在SQL注入漏洞，再通過(guò)預(yù)先定義的數(shù)據(jù)庫(kù)特征字典正則匹配判斷數(shù)據(jù)庫(kù)類(lèi)型。

3.3.2 XSS攻擊檢測(cè)

從爬蟲(chóng)模塊獲取url，解析參數(shù)并添加測(cè)試關(guān)鍵詞形成新的url，構(gòu)造http請(qǐng)求，然后識(shí)別返回網(wǎng)頁(yè)源碼中是否存在關(guān)鍵詞。如果存在說(shuō)明網(wǎng)頁(yè)執(zhí)行了相應(yīng)語(yǔ)句，證明XSS漏洞存在。

3.3.3 已知高危漏洞檢測(cè)

將Web指紋信息與漏洞資料庫(kù)中指紋進(jìn)行匹配，如一致則調(diào)用檢測(cè)腳本輸出檢測(cè)結(jié)果。

3.4 最新漏洞預(yù)警

先設(shè)置關(guān)注漏洞列表，如果沒(méi)有則默認(rèn)為空，即獲取所有最新CVE漏洞，否則為獲取指定漏洞信息。通過(guò)爬蟲(chóng)功能請(qǐng)求指定網(wǎng)站獲取每日最新CVE漏洞的url地址，將結(jié)果存放到url列表。遍歷url列表，爬蟲(chóng)功能獲取url的CVE描述信息，將與關(guān)注漏洞列表一致的url存儲(chǔ)為一個(gè)新的列表。爬蟲(chóng)從新列表中獲取url請(qǐng)求NVE，從返回結(jié)果中提取漏洞描述信息。其中，獲取的CVE描述為英文，通過(guò)python翻譯模塊轉(zhuǎn)換為中文，最終輸出包含漏洞編號(hào)、漏洞描述、NVE鏈接詳情的html格式報(bào)告。

4 實(shí)驗(yàn)分析

4.1 測(cè)試對(duì)比

本漏洞掃描器對(duì)專(zhuān)門(mén)用來(lái)檢測(cè)掃描器能力的試驗(yàn)站點(diǎn)http：//testphp.vulnweb.com/進(jìn)行了測(cè)試，通過(guò)和xray、AWVS掃描器對(duì)比，發(fā)現(xiàn)本掃描器對(duì)于敏感信息的檢測(cè)具備優(yōu)勢(shì)。

并且截至目前，成功獲取到了2020年的最新CVE漏洞描述。

4.2 結(jié)果分析

通過(guò)以上測(cè)試對(duì)比，本系統(tǒng)已經(jīng)具備了安全漏洞檢測(cè)能力。相比于其他掃描器，針對(duì)敏感信息檢測(cè)的能力更勝一籌，能夠在一定程度上解決因敏感信息泄露引起的安全問(wèn)題。

5 結(jié)語(yǔ)

本文針對(duì)越來(lái)越多的敏感信息泄露事件引起的安全問(wèn)題，實(shí)現(xiàn)了面向敏感信息檢測(cè)的Web綜合漏洞掃描器，通過(guò)實(shí)驗(yàn)分析達(dá)到了預(yù)期目標(biāo)，可以成功檢測(cè)到敏感文件并提供信息報(bào)告，對(duì)檢測(cè)Web安全有重大的使用價(jià)值。不過(guò)本掃描器還需不斷改進(jìn)，如對(duì)于使用了異步更新機(jī)制的目標(biāo)網(wǎng)站獲取鏈接能力，POST請(qǐng)求參數(shù)的解析等還需加強(qiáng)[10]，進(jìn)步空間還很大。希望通過(guò)本掃描器的實(shí)現(xiàn)為Web安全漏洞掃描器的設(shè)計(jì)提供一些簡(jiǎn)單幫助，保障網(wǎng)絡(luò)安全。

參考文獻(xiàn)：

[1] 趙孟，譚玉波.網(wǎng)絡(luò)安全評(píng)估技術(shù)綜述[J].計(jì)算機(jī)科學(xué)與應(yīng)用，2015，5（1）：18-24.

[2] 羅力.社交網(wǎng)絡(luò)中用戶(hù)個(gè)人信息安全保護(hù)研究[J].圖書(shū)館學(xué)研究，2012（14）：36-40，76.

[3] 陳春宏，徐百萍，艾霞霞，等.安全意識(shí)的定義、重要性及改善措施研究[J].安防技術(shù)，2019，7（1）： 7-14.

[4] 郝子希.基于滲透技術(shù)的Web應(yīng)用漏洞掃描器設(shè)計(jì)與實(shí)現(xiàn)[D].上海：東華大學(xué)，2018.

[5] 郭錫泉，陳香錫.強(qiáng)化網(wǎng)絡(luò)安全和安全情報(bào)意識(shí)，共筑網(wǎng)絡(luò)安全防線(xiàn)——基于OWASP和CNCERT相關(guān)項(xiàng)目的分析[J].網(wǎng)絡(luò)空間安全，2020，11（2）：66-74.

[6] 牛詠梅.面向Web應(yīng)用的漏洞掃描器的設(shè)計(jì)與實(shí)現(xiàn)[J].南陽(yáng)理工學(xué)院學(xué)報(bào)，2018，10（6）：66-69.

[7] 郎智哲，封筱宇，董齊芬.淺談Web滲透測(cè)試的信息收集[J].計(jì)算機(jī)時(shí)代，2017（8）：13-16.

[8] 盧志科，康曉鳳，眭楨屹，等.Web應(yīng)用漏洞掃描檢測(cè)系統(tǒng)[J].軟件導(dǎo)刊，2019（8）：186-190，195.

[9] 易文平.Web掃描網(wǎng)絡(luò)數(shù)據(jù)特征淺析[J].宜春學(xué)院學(xué)報(bào)，2014，36（12）：51-52.

[10] 張燁青.Web應(yīng)用安全漏洞掃描器爬蟲(chóng)技術(shù)的改進(jìn)與實(shí)現(xiàn)[D].北京：北京郵電大學(xué)，2014.

【通聯(lián)編輯：代影】