垃圾郵件過濾技術(shù)分析

王 雪

（國家新聞出版廣電總局202臺，西藏拉薩 850030）

0 引言

互聯(lián)網(wǎng)發(fā)展迅猛，已經(jīng)滲透到人們工作和生活中。伴隨著互聯(lián)網(wǎng)的普及，電子郵件已經(jīng)成為人們?nèi)粘９ぷ骱蜕畹闹匾耐ㄐ攀侄?，而且已?jīng)成為人們?nèi)粘＝涣鞯囊环N重要途徑。然而，除了包含有用信息的電子郵件外，互聯(lián)網(wǎng)中還充斥著大量的垃圾郵件（spare mail）。當(dāng)前，大量垃圾郵件的出現(xiàn)已經(jīng)成為互聯(lián)網(wǎng)的一個相當(dāng)嚴(yán)重的問題。數(shù)量巨大的、無用的，甚至包含有害信息的電子郵件在互聯(lián)網(wǎng)中傳播。這不僅消耗了大量的網(wǎng)絡(luò)資源，而且威脅到郵件系統(tǒng)中用戶的信息安全，對郵件服務(wù)商也造成了嚴(yán)峻的挑戰(zhàn)。人們研究、開發(fā)各種有效技術(shù)措施來阻止垃圾郵件的傳播，建設(shè)健康、和諧的互聯(lián)網(wǎng)環(huán)境，已經(jīng)成為當(dāng)前網(wǎng)絡(luò)安全研究的重要內(nèi)容之一。

1 垃圾郵件的分類

垃圾郵件種類非常多，而且形式變化多端?？梢园凑諆?nèi)容分類，也可按照發(fā)送及傳播方式分類。

按照電子郵件內(nèi)容主要可分為以下6類：

（1）用于商品廣告、促銷的商業(yè)垃圾郵件；

（2）包含非法、反動宣傳內(nèi)容的垃圾郵件；

（3）包含暴力、色情等不良信息的垃圾郵件；

（4）包含病毒信息的垃圾郵件；

（5）包含詐騙、恐嚇內(nèi)容的垃圾郵件；

（6）包含其他內(nèi)容的垃圾垃圾。

按照發(fā)送及傳播方式主要可分為以下4類：

（1）通過傳播方自己購買或租用的郵件服務(wù)器，直接利用端口25，直接發(fā)送到用戶郵箱的垃圾郵件；

（2）利用非法手段，通過合法的郵件服務(wù)器，間接發(fā)送到用戶郵箱的垃圾郵件；

（3）利用偽造手段，向服務(wù)器發(fā)送不可能投遞成功的郵件，造成郵件服務(wù)器自動產(chǎn)生“投遞失敗信件”，從而將郵件返回發(fā)送給用戶的垃圾郵件；

（4）利用垃圾郵件傳播前指定中繼服務(wù)器等發(fā)送路徑的手段，造成垃圾郵件在發(fā)送路徑的每一個中繼服務(wù)器都會耗費巨大的網(wǎng)絡(luò)資源，從而將以消耗網(wǎng)絡(luò)資源為目的的鏈?zhǔn)街欣^垃圾郵件發(fā)送給用戶。

2 垃圾郵件的傳播機(jī)理

隨著互聯(lián)網(wǎng)和電子郵件技術(shù)的發(fā)展，垃圾郵件傳播技術(shù)也在同步發(fā)展，如果想徹底解決垃圾郵件問題，就必須首先了解垃圾郵件的傳播機(jī)理。一般的電子郵件傳輸協(xié)議均采用簡單郵件傳輸協(xié)議，即SMTP。因為SMTP不需要任何認(rèn)證步驟，所以無論電子郵件從哪里發(fā)出和發(fā)送目的地，都會順利地接收并發(fā)送。垃圾郵件傳播可分為以下4個主要步驟：

（1）垃圾郵件制作者利用SMTP協(xié)議將垃圾郵件發(fā)送至郵件服務(wù)器；

（2）郵件服務(wù)器根據(jù)接收到的電子郵件接收地址，采用SMTP協(xié)議把郵件轉(zhuǎn)發(fā)給郵件接收服務(wù)器；

（3）郵件接收服務(wù)器將收到的垃圾郵件放到接收者的郵箱；

（4）垃圾郵件接收者通過自己的郵箱接收郵件。

垃圾郵件發(fā)送和接收的整個過程均不需進(jìn)行認(rèn)證，所以垃圾郵件制作者就可以選擇互聯(lián)網(wǎng)上每一臺SMTP服務(wù)器發(fā)送垃圾郵件，以達(dá)到傳播垃圾郵件的目的。

垃圾郵件的出現(xiàn)和泛濫對人們的工作和生活造成了極大的不便和威脅，因此，部分郵件服務(wù)提供商為了驗證郵件發(fā)送者的身份，會要求對郵件發(fā)送者或郵件服務(wù)器進(jìn)行認(rèn)證。于是，一種新的郵件傳輸協(xié)議，即ESMTP協(xié)議就被提出來了，它是在SMTP的基礎(chǔ)上，對其功能進(jìn)行了一些改進(jìn)。然而，ESMTP協(xié)議對郵件接收與發(fā)送郵件服務(wù)器間的合法性不進(jìn)行確認(rèn)，漏洞仍然存在。

3 阻止垃圾郵件傳播的過濾技術(shù)

當(dāng)前，國內(nèi)外的反垃圾郵件技術(shù)和產(chǎn)品多種多樣，其中涉及的垃圾郵件過濾技術(shù)也不盡相同。通過總結(jié)市場上的反垃圾郵件技術(shù)和產(chǎn)品，垃圾郵件過濾技術(shù)可大致分為3種：IP地址過濾技術(shù)、SMTP協(xié)議過濾技術(shù)、內(nèi)容過濾技術(shù)。其中，內(nèi)容過濾技術(shù)是當(dāng)前和未來垃圾郵件過濾技術(shù)的主要研究方向。

正常的電子郵件一般由3部分構(gòu)成：郵件地址、郵件主題、郵件內(nèi)容。這3部分內(nèi)容所包含的信息正是垃圾郵件過濾技術(shù)分析、判斷的依據(jù)。因為這3部分內(nèi)容均是以文本形式，所以垃圾郵件的分析與判斷，其本質(zhì)上是文本分類技術(shù)，而文本分類技術(shù)的核心就是關(guān)鍵詞的統(tǒng)計與提取。因此，從理論上說，內(nèi)容過濾技術(shù)的核心是電子郵件中文本包含的關(guān)鍵詞的統(tǒng)計與提取。

因為垃圾郵件的數(shù)量、種類越來越多，過濾技術(shù)需要的計算量越來越大，所以人們將機(jī)器學(xué)習(xí)方法應(yīng)用到垃圾郵件內(nèi)容過濾技術(shù)中，主要包括2種方法：基于規(guī)則方法；基于統(tǒng)計方法?；谝?guī)則方法：首先分析郵件內(nèi)容中包含的特征，然后將分析得到的特征與垃圾郵件的特征進(jìn)行比較，從而發(fā)現(xiàn)并判斷出垃圾郵件?；诮y(tǒng)計方法：分析得到電子郵件中某種信息的概率，然后統(tǒng)計待判斷電子郵件中該類信息的概率，從而得出結(jié)論。下面將詳細(xì)介紹以上2種方法。

3.1 基于規(guī)則方法

基于規(guī)則方法首先分析電子郵件的標(biāo)題、內(nèi)容等信息，然后將分析得到的特征與待判斷的電子郵件中相關(guān)特征間的關(guān)聯(lián)關(guān)系，就可以得出郵件是否是垃圾郵件的判斷。當(dāng)新的電子郵件到達(dá)的時候，通過計算、判斷關(guān)聯(lián)關(guān)系來判定它是否是垃圾郵件?；谝?guī)則方法中最具有代表性的是IBM公司的C-K系統(tǒng)，通過模式匹配方法，總結(jié)出相關(guān)特征，從而用來判斷、確定新郵件是否是垃圾郵件。

因為需要通過分析已有的垃圾郵件，才能得到需要的關(guān)聯(lián)關(guān)系，而這些關(guān)聯(lián)關(guān)系僅能反映出以前的垃圾郵件的相關(guān)特征。所以，當(dāng)新的垃圾郵件產(chǎn)生以后，需要獲取這些新的垃圾郵件，再次分析、總結(jié)，得到更新的關(guān)聯(lián)關(guān)系。因此，基于規(guī)則方法在實際使用中，必須保證關(guān)聯(lián)關(guān)系的實時、準(zhǔn)確。隨著垃圾郵件種類和數(shù)量的不斷增長，必然造成關(guān)聯(lián)關(guān)系越來越多、越來越復(fù)雜，最終影響垃圾郵件分析、判斷的效率。當(dāng)前，基于規(guī)則方法主要有 4 種：（1）Boosting法；（2）SA 評分系統(tǒng)；（3）粗糙集法；（4）決策樹法。

3.2 基于統(tǒng)計方法

基于統(tǒng)計方法主要有5種。

3.2.1 k-NN法

k-NN法，即k鄰近法，該方法利用與待判斷樣本相近的幾個樣本，判定新樣本的類別。k鄰近法的基本思想是：如果新樣本與k個最相近樣本中大多數(shù)樣本屬于相同的類別，那么新樣本也應(yīng)該歸類于這個類別。

3.2.2 Winnow法

Winnow法，即線性分類器，該方法利用樣本訓(xùn)練，找出某個類別中包含的特征權(quán)重向量 w=（w1，w2，…，wn），然后設(shè)定閾值 θ。設(shè)新樣本為 x=（x1，x2，…，xn），如果 wT·x＞θ，則判斷新樣本屬于該類別；否則，判斷新樣本不屬于該類別。

3.2.3 SVM法

SVM法，即支持向量機(jī)法，該方法利用構(gòu)造出來的最優(yōu)線性分類面來進(jìn)行分類。首先把樣本空間線性映射到另一個空間，然后在新空間中構(gòu)造出最優(yōu)線性分類面。

3.2.4 Rocchio法

Rocchio法，即相關(guān)反饋法，該方法利用訓(xùn)練集給各類別構(gòu)造一個自己的原始向量，然后將所有新樣本向量化，最后計算正例向量和反例向量的加權(quán)差作為類別向量。

3.2.5 Bayes法

Bayes法，即貝葉斯法，該方法利用對大量已知類別的郵件的分析，統(tǒng)計、提取出最具代表性的關(guān)鍵詞作為特征，得到統(tǒng)計分布模型。當(dāng)新郵件到來時，分析它的特征，從而推算出新郵件是垃圾郵件的概率。因為貝葉斯法過濾垃圾郵件所依賴的訓(xùn)練集中的垃圾郵件和非垃圾郵件是由垃圾郵件過濾者自己設(shè)定的，所以垃圾郵件制造者無法判斷出訓(xùn)練結(jié)果。而且貝葉斯法過濾垃圾郵件某種程度上具有自主學(xué)習(xí)能力，所以目前貝葉斯法過濾垃圾郵件使用最為廣泛。

［1］羅倩，秦玉平，王春立.反垃圾郵件技術(shù)綜述［J］.渤海大學(xué)學(xué)報，2008（4）：385-389.

［2］潘文峰.基于內(nèi)容的垃圾郵件過濾研究［D］.北京：中國科學(xué)院計算技術(shù)研究所，2004.

［3］王濤，裘國永，何聚厚.基于改進(jìn)Naive Bayes的垃圾郵件過濾模型研究［J］.計算機(jī)工程與應(yīng)用，2007（13）：186-190.