網(wǎng)絡(luò)虛擬社區(qū)文本內(nèi)容敏感詞過濾系統(tǒng)研究

高文+李榮華+陳昌奇+胡航+李文超

摘 要：針對網(wǎng)絡(luò)虛擬空間中出現(xiàn)的敏感詞不良信息如何減少的問題，以武漢科技大學(xué)論壇為代表的虛擬社區(qū)入手，針對論壇半結(jié)構(gòu)化的內(nèi)容特征，對于用戶輸入的文本內(nèi)容采用字符串匹配算法設(shè)計(jì)了一套敏感詞的過濾系統(tǒng)，該系統(tǒng)針對文本信息進(jìn)行了有效過濾，對于虛擬社區(qū)敏感詞不良信息的減少起到了一定的效果。

關(guān)鍵詞：虛擬社區(qū)；文本信息；敏感詞；過濾系統(tǒng)

中圖分類號：TB

文獻(xiàn)標(biāo)識碼：A

doi：10.19311/j.cnki.1672-3198.2017.16.093

1 概述

中國互聯(lián)網(wǎng)絡(luò)信息中心（CNNIC）發(fā)布了第38次《中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》（以下簡稱《報(bào)告》），《報(bào)告》顯示，截至2016年6月，中國網(wǎng)民規(guī)模達(dá)7.10億，上半年新增網(wǎng)民2132萬人，增長率為3.1%，我國互聯(lián)網(wǎng)普及率達(dá)51.7%，與2015年底相比提高1.3個(gè)百分點(diǎn)，超過全球平均水平3.1個(gè)百分點(diǎn)，超過亞洲平均水平8.1個(gè)百分點(diǎn)。由以上數(shù)據(jù)不難發(fā)現(xiàn)，我國現(xiàn)階段互聯(lián)網(wǎng)發(fā)展水平無論是從規(guī)模還是網(wǎng)民數(shù)量上都呈現(xiàn)出較強(qiáng)的增長趨勢，客觀上對于過濾技術(shù)的研究與發(fā)展起到了一定的推動(dòng)作用。

互聯(lián)網(wǎng)同時(shí)還具有資源共享、實(shí)時(shí)交互性、個(gè)性化、虛擬化等特點(diǎn)，其中尤其以實(shí)時(shí)交互性與虛擬化的特點(diǎn)為突出，正如前面提到的，中國網(wǎng)民規(guī)模已達(dá)7.10億之多，用戶范圍廣，數(shù)量大，而且互聯(lián)網(wǎng)的實(shí)時(shí)交互性拉近了人們彼此間的距離，促成了論壇等社交工具的誕生。然而網(wǎng)絡(luò)的虛擬性導(dǎo)致人們不必在意交談對象的構(gòu)成，可以隨心所欲表達(dá)自己的觀點(diǎn)，這種現(xiàn)象也在一定程度上導(dǎo)致網(wǎng)絡(luò)言論質(zhì)量的參差不齊，甚至出現(xiàn)一些低俗污穢言論。因此對于網(wǎng)絡(luò)環(huán)境凈化平臺的需求由此而生。

由于時(shí)間及能力有限，并結(jié)合虛擬社區(qū)這一特殊信息載體，本文只針對網(wǎng)絡(luò)凈化平臺下的敏感詞過濾進(jìn)行相關(guān)分析及研究。

2 相關(guān)理論與技術(shù)

2.1 網(wǎng)頁文本提取和分類技術(shù)

2.1.1 HTML標(biāo)簽分析

HTML文檔主要由和兩部分標(biāo)簽組成。標(biāo)簽主要是用來標(biāo)記文檔標(biāo)題、作者等特征項(xiàng)內(nèi)容，部分則是HTML文檔主體的記錄。每一部分都有相對而言特征值較為明顯的子標(biāo)簽，如：中的