垃圾短信分析及治理技術研究

［劉誠 陳曦 吳文波］

1 引言

垃圾短信多年來一直是社會頑疾，詐騙、賭博、色情、騷擾、報復、暴力、廣告等垃圾短信的泛濫，擾亂他人安寧生活、敗壞社會風氣，給用戶、運營商和社會帶來很大的危害。

電信運營商作為垃圾短信治理的主體，近年來一直在與垃圾短信進行斗爭，并取得了一定的成效，有效遏制了垃圾短信泛濫的局面。但目前的整治效果離用戶、社會和政府的期望還有一定的差距，需要電信運營商擔負起更大的社會責任，在現(xiàn)有治理成果的基礎上進一步加大整治力度，更好地保護民眾的隱私和財產(chǎn)安全，還用戶一個清朗空間。

2 垃圾短信的概念和類型

2.1 垃圾短信的概念

垃圾短信是指未經(jīng)用戶同意而發(fā)送的用戶不愿意接收的短信，或用戶不能根據(jù)自己的意愿拒絕接收的短信。垃圾短信有以下4 個方面特點。

（1）短信內容不合法。短信中含有詐騙內容、暴力色情內容、釣魚網(wǎng)站鏈接等違反法律、法規(guī)的內容。

（2）短信成批量發(fā)送。垃圾短信發(fā)送者通過手機、互聯(lián)網(wǎng)或者消息群發(fā)器，針對一個或者大批量的手機號碼批量群發(fā)，實現(xiàn)廣告推廣或轟炸騷擾的目的。

（3）違背接收者的主觀意志。部分商業(yè)短信未經(jīng)過短信接收者的同意而發(fā)送，且含有強制性的服務條款，違反了《通信短息服務管理規(guī)定》的規(guī)定?！锻ㄐ哦滔⒎展芾硪?guī)定》明確規(guī)定商業(yè)短信服務提供者必須給與短信接收者選擇權，明確清楚告知用戶如何拒收此短信，也就是我們日常在接到各類網(wǎng)購或商家短信最后顯示的“回復TD 退訂”此類字眼。

（4）客觀上對信息接收者造成騷擾。大量垃圾短信，不但影響用戶正常工作和生活，還會影響手機的正常使用。

2.2 垃圾短信的類型

垃圾短信形勢、內容復雜多樣，大致可分以下幾類。

（1）政治類

政治類短信主要是境外反華勢力為實現(xiàn)分裂中華民族所采用的手段，發(fā)送號碼多為境外號碼，通過發(fā)送的顛倒黑白、詆毀國家、破壞民族團結等信息，影響社會安定、民族團結。

（2）欺詐類

欺詐類短信以騙取用戶錢財為目的，主要手段為冒充領導、親人、朋友加微信、冒充銀行政務平臺、編造中獎信息等，短信內容一般附帶微信、QQ、電話號碼、非法網(wǎng)絡鏈接。用戶一旦中了圈套，輕則泄露個人身份和銀行卡等信息，重則面臨巨大的財產(chǎn)損失。此類短信危害最大，是治理的重中之重。

（3）騷擾類

騷擾類短信內容主要是催還款、教育推廣、淘寶求好評、房產(chǎn)裝修廣告等，發(fā)送號碼多為點對點。此類短信危害性相對詐騙短信要輕，但特別讓人反感且容易引起用戶投訴。

3 垃圾短信治理技術研究

針對目前垃圾短信形式多樣、快速變化且危害巨大的情況，某運營商在傳統(tǒng)的主叫號碼黑名單屏蔽、短信內容關鍵字過濾的基礎上，還使用了以下幾種新技術進行垃圾短信治理，并取得了很好的治理效果。

3.1 實時滑動窗口分析技術研究

在垃圾短信防治工作中，短信行為是判斷一條短信是否為垃圾短信的重要依據(jù)。以前的技術只能對過去1 小時甚至更長時間內的短信行為進行分析和聚類，但此技術有兩大缺點，①計算效率低下；② 因為計算滯后導致錯過最佳治理時效，所以治理效果很一般，很容易讓垃圾短信群發(fā)者找到攔截漏洞。

為了解決此問題，某運營商在垃圾短信防治系統(tǒng)新采用了實時滑動窗口分析技術，將原本需要1 小時后才能準確計算的發(fā)送行為，壓縮至分鐘級甚至秒級，極大減少行為分析采樣所需要的時間，有效縮短計算延后窗口時長，為治理詐騙短信爭取到寶貴時間。

實時滑動窗口分析是一種改善海量數(shù)據(jù)時間窗口計算的優(yōu)化算法。其基本原理是，系統(tǒng)將時間窗口拆分成固定個數(shù)的小時間窗口，且通常將時間窗口及計算結果保存在內存中以提高系統(tǒng)性能。以5 分鐘時間窗口為例，假定單位時間窗口時長度為1 分鐘，系統(tǒng)計算5 分鐘短信發(fā)送行為需要在保留5 個單位時間窗口，當系統(tǒng)計數(shù)到第6 個時間窗口時，從前5 個單位時間窗口快速匯總分析計算出5分鐘短信發(fā)送行為后并丟棄第一個時間窗口，后面的分析依此類推?；瑒哟翱趯崟r分析技術原理，如圖1 所示。

圖1 基于時間窗口的滾動計算示意圖（滑動窗口）

采用滑動窗口實時分析技術從全量信息中動態(tài)計算主被叫號碼離散系數(shù)、發(fā)送時序、歸屬地分布、內容特征等，實時分析高達數(shù)十萬維特征信息，系統(tǒng)通過決策樹等多個智能算法綜合判斷疑似詐騙短信行為及發(fā)送號碼。系統(tǒng)不內置任何特定關鍵詞、號碼及詐騙信息判斷標準，而是實時從當前海量發(fā)送信息中分析和學習信息發(fā)行為及特征并聚類分析，進而實時發(fā)現(xiàn)全新的詐騙短信內容及號碼源。某運營商基于自研的實時大數(shù)據(jù)分析框架，實現(xiàn)實時攔截與主動發(fā)現(xiàn)并行分析，高效解決詐騙短彩實時治理中的趨勢分析與策略發(fā)現(xiàn)及時性等關鍵問題。

3.2 木馬病毒短信防治技術研究

木馬病毒短信有兩個基本特征：①內容中含有網(wǎng)址；②群發(fā)傳播行為。用戶點擊病毒短信中的網(wǎng)址，將觸發(fā)病毒短信執(zhí)行其后續(xù)破壞策略，如惡意扣費、耗盡流量、讀取通訊錄自我擴散等。

某運營商根據(jù)木馬病毒短信上述兩個特征，通過判斷網(wǎng)址是否正常、木馬病毒智能攔截、病毒短信聯(lián)動封堵、病毒短信智能提醒和病毒短信聯(lián)動協(xié)同手段，如圖2 所示。

圖2 智能預警、智能攔截、智能聯(lián)封、智能提醒和智能協(xié)同等5 個智能化模型

下面就這幾種手段進行說明。

（1）對短信中的網(wǎng)址進行分析，判斷網(wǎng)址是否包含木馬病毒

① 網(wǎng)址提?。禾崛《绦艃热葜械木W(wǎng)址，積累成網(wǎng)址標簽庫，初步評定這個網(wǎng)址的嫌疑級別；

② 行為分析：針對上述網(wǎng)址，根據(jù)其初定嫌疑級別，進行行為跟蹤分析，若呈現(xiàn)“網(wǎng)狀發(fā)送形態(tài)”，則可標定其嫌疑級別為“高”；

③ 網(wǎng)址檢測：若含有網(wǎng)址短信發(fā)送不具有“網(wǎng)狀發(fā)送形態(tài)”，或者不明顯，則通過網(wǎng)絡爬蟲爬取相應網(wǎng)址網(wǎng)站內容并進行檢測（或通過接口調用具備此功能的系統(tǒng)）。

（2）木馬病毒智能攔截

根據(jù)病毒短信分析預警結果，建立兩個針對病毒短信的樣本攔截樣本庫：

① 利用嫌疑級別為“高”的病毒短信告警信息構建黑內容樣本庫，實現(xiàn)基于與庫樣本文字匹配分析攔截；

② 利用嫌疑級別為“高”、“中”的病毒短信告警信息構建智能分詞樣本庫，實現(xiàn)基于與庫樣本相識程度分析攔截。

（3）病毒短信聯(lián)動封堵

根據(jù)病毒短信分析預警結果，把嫌疑級別為“高”的網(wǎng)址推送至WAP 網(wǎng)關，實現(xiàn)聯(lián)動封堵，避免網(wǎng)址被更多用戶訪問，從而掐斷手機病毒破壞性觸發(fā)的途徑。

（4）病毒短信智能提醒

根據(jù)所建立的網(wǎng)址標簽庫，分析識別出手機中毒用戶，并主動向該用戶發(fā)送一條告知信息（含中毒情況和處理方法等），以提升用戶感知。

（5）病毒短信聯(lián)動協(xié)同

通過郵件、短信等方式把病毒短信預警信息、智能攔截情況、聯(lián)動封堵情況、智能提醒情況等推送至10000 號、12321 等部門實現(xiàn)信息共享。

通過構建智能預警、智能攔截、智能聯(lián)封、智能提醒和智能協(xié)同等5 個智能化模型，實現(xiàn)全流程一體化，自動發(fā)現(xiàn)并過濾病毒短信，消除用戶手機中毒的安全隱患，降低社會危害。在各類消息安全監(jiān)控系統(tǒng)應用場景中，極大提高了病毒短信的識別準確率，為遏制病毒短信傳播提供了可靠的技術保障。

3.3 基于貝葉斯算法內容分類技術研究

詐騙短信發(fā)送者通常會囤積大量號碼，在群發(fā)詐騙信息時，會依據(jù)短信回執(zhí)或發(fā)送至內部測試卡中測試是否可成功發(fā)送，如發(fā)送失敗及時調整發(fā)送內容，因此使得傳統(tǒng)的黑名單策略、流量限制策略和關鍵詞策略收效甚微。

針對這種情況，人工首先收集大量詐騙樣本信息，然后根據(jù)樣本信息進行分類（貸款類、ETC 類、招聘類、中獎詐騙、冒充熟人、航空詐騙等），在垃圾短信防治平臺中建立豐富的詐騙信息樣本庫。在詐騙信息樣本庫建立完成后，平臺對新收到的短彩信，通過貝葉斯算法、詞向量等文本語義分類算法與樣本庫進行相似度匹配，識別詐騙信息，通過設置不同的攔截相似度，實現(xiàn)對類型相同但內容頻繁變換的短信實行智能攔截，如圖3 所示。

圖3 詐騙信息智能攔截處理示意圖

根據(jù)條件概率和樸素貝葉斯算法的假定，計算未知樣本在各類中的后驗概率：

后驗概率的最大值所對應的類即為該未知樣本的分類：

由以上步驟可知，樸素貝葉斯分類模型的實現(xiàn)，主要分為4 個部分：

因此，可以根據(jù)訓練集來計算某已知文本類的先驗概率，再計算其后驗概率，對后續(xù)新的文本類進行分析預測，在已知的分類概率的條件下，由此可得待處理文本屬于某一類概率值，最后取其中的最大值，將待處理文本歸類到最大值的那類中。需要說明的是，類別之間是相互獨立的，模型具有收斂性。樸素貝葉斯算法閾值分類流程如圖4 所示。

圖4 樸素貝葉斯算法閾值分類流程圖

貝葉斯算法速度較快、正確率較高，但也存在誤判的情況。算法基于條件獨立性假設，認為每個屬性對類屬性影響相同，但事實并非如此，有些屬性對分類影響大而有些屬性對分類影響較小。如果把與分類無關的、冗余的以及被噪聲污染的屬性和其他屬性視為同等地位，將會導致分類的準確率下降。

為減少屬性間的影響，引入以基本短語為單位的分詞方法。結合基本短語構成算法，并根據(jù)基本短語的定義實現(xiàn)由詞到基本短語的轉換。

實驗結果：

為清晰表達比較結果，引入了幾個參數(shù)，定義如下。

SP 反映垃圾短信過濾系統(tǒng)的可靠性，側重安全性；SR 反映垃圾短信過濾系統(tǒng)的效率，側重有效性；F 則綜合兩者的指標，側重綜合性能。

以短信為例進行試驗，其中正常短信1032 條，垃圾短信375 條。以短語為單位得到特征項數(shù)為20783，其中BaseNP（基本名詞短語）為13 542，BaseVP（基本動詞短語）有7241 個，而以詞為單位得到特征項數(shù)為173 657。這樣降低樣本空間規(guī)模，縮減計算量，提高系統(tǒng)效率，如圖5所示。

圖5 按詞分析、按短語分析效果對比圖

4 結束語

本文介紹了垃圾短信概念和類型，并詳細介紹了某運營商在垃圾短信治理中所使用的技術。某運營商判斷今后垃圾短信發(fā)送會呈現(xiàn)出的場景化、精準化、智能化的特點，此外隨著5G 消息的商用，融合語音、圖片、視頻等內容的短信越來越多，這也給治理帶來了更大的挑戰(zhàn)和困難。某運營商在今后的垃圾短信治理工作中，將引入人工智能等技術，提高場景化語義分析能力，并增加語音、圖片、視頻的分析能力。