基于中文分詞的預(yù)警短信審核平臺(tái)

陳焯堅(jiān) 廖鎮(zhèn)強(qiáng) 吳志純 何小玲

摘要：隨著網(wǎng)絡(luò)技術(shù)的快速發(fā)展，越來越多的預(yù)警短信可以通過網(wǎng)絡(luò)終端進(jìn)行大范圍傳播，其傳播速度快，覆蓋范圍廣，成為人們接收預(yù)警信息的一種非常重要方式。然而人們?cè)谙硎軐?shí)時(shí)預(yù)警短信時(shí)，還需要面對(duì)垃圾預(yù)警短信的騷擾，嚴(yán)重影響預(yù)警短信的功能性，因此提出基于中文分詞的預(yù)警短信審核平臺(tái)，來過濾垃圾預(yù)警短信。通過對(duì)基于中文分詞的預(yù)警短信審核平臺(tái)進(jìn)行硬件、軟件設(shè)計(jì)，結(jié)合試驗(yàn)分析表明，提出的基于中文分詞的預(yù)警短信審核平臺(tái)，具有較高的實(shí)用性，相比常規(guī)預(yù)警短信發(fā)布平臺(tái)，能夠有效過濾掉80%垃圾短信。

關(guān)鍵詞：中文分詞；預(yù)警短信；審核平臺(tái)；實(shí)時(shí)性

中圖分類號(hào)：TP303 文獻(xiàn)標(biāo)識(shí)碼：A

引言

預(yù)警短信多應(yīng)用在天氣預(yù)報(bào)等自然災(zāi)害預(yù)警領(lǐng)域，對(duì)人們出行、生活有著重要的導(dǎo)向意義。大多數(shù)預(yù)警短信都是基于Internet網(wǎng)絡(luò)終端，依托中心數(shù)據(jù)庫服務(wù)器，通過短信平臺(tái)發(fā)送出來的。人們?cè)诮邮疹A(yù)警短信的同時(shí)，也會(huì)受到垃圾短信的干擾，因此提出基于中文分詞的預(yù)警短信審核平臺(tái)。通過短信審核平臺(tái)對(duì)垃圾短信進(jìn)行過濾，解決電信系統(tǒng)的頑疾，改善移動(dòng)通信業(yè)的負(fù)面影響。首先利用中文分詞技術(shù)，實(shí)現(xiàn)對(duì)預(yù)警短信發(fā)布前的快速檢驗(yàn)。然后利用以往的歷史數(shù)據(jù)，對(duì)預(yù)警短信進(jìn)行分析入庫，沒有出現(xiàn)在庫中的詞語給予提示。最后基于正則表達(dá)式驗(yàn)證發(fā)布時(shí)間，完成基于中文分詞的預(yù)警短信審核平臺(tái)的工作流程設(shè)計(jì)。

1基于中文分詞的預(yù)警短信審核平臺(tái)硬件設(shè)計(jì)

首先選擇GSM Modem，作為預(yù)警短信審核平臺(tái)的工業(yè)級(jí)調(diào)制解調(diào)器，通過USB接口或RS232串口，使其與Internet網(wǎng)絡(luò)終端計(jì)算機(jī)進(jìn)行連接，同時(shí)使用AT指令控制GSM Modem。選擇基于Windows系統(tǒng)的短信中間件，采用數(shù)據(jù)庫接口方式，對(duì)其進(jìn)行接口連接，應(yīng)用MySQL作為平臺(tái)的數(shù)據(jù)庫，設(shè)計(jì)的預(yù)警短信審核平臺(tái)硬件模式如圖1所示[1]。其中，短信服務(wù)中間件主要負(fù)責(zé)建立4個(gè)共享數(shù)據(jù)庫表，這些數(shù)據(jù)庫表都是面向客戶系統(tǒng)的，分別是接收記錄表、已發(fā)送記錄表、待發(fā)送任務(wù)表以及時(shí)間記錄表。

通過腳本程序，將預(yù)警短信要發(fā)送的內(nèi)容、發(fā)送時(shí)間、接收人手機(jī)號(hào)以及發(fā)送優(yōu)先級(jí)進(jìn)行存儲(chǔ)，完成預(yù)警短信實(shí)時(shí)發(fā)送。

基于中文分詞的預(yù)警短信審核平臺(tái)，還要加入中文分詞模塊，通過該模塊對(duì)預(yù)警短信進(jìn)行審核。中文分詞模塊是實(shí)現(xiàn)預(yù)警短信文本審核的基礎(chǔ)，通過中文分析模塊，可以達(dá)到Internet網(wǎng)絡(luò)終端計(jì)算機(jī)自動(dòng)識(shí)別語句含義的效果，從而完成基于中文分詞的預(yù)警短信審核平臺(tái)硬件設(shè)計(jì)。

2基于中文分詞的預(yù)警短信審核平臺(tái)軟件設(shè)計(jì)

基于中文分詞的預(yù)警短信審核平臺(tái)軟件設(shè)計(jì)，即平臺(tái)工作流程設(shè)計(jì)，首先通過中文分詞模塊中的中文分詞算法，對(duì)預(yù)警短信中的實(shí)意詞進(jìn)行提取，通過實(shí)意詞準(zhǔn)確地把握預(yù)警短信的特征，根據(jù)預(yù)警短信的特征判斷即將發(fā)送的預(yù)警短信是否為垃圾短信。常規(guī)短信審核模塊無法對(duì)特殊符號(hào)進(jìn)行審核，而中文分詞技術(shù)可以將“*”、“$”、“￥”等特殊符號(hào)進(jìn)行過濾，對(duì)短信內(nèi)容進(jìn)行分詞，實(shí)現(xiàn)對(duì)預(yù)警短信發(fā)布前的快速檢驗(yàn)[2]。

然后利用以往的歷史數(shù)據(jù)，即MySQL數(shù)據(jù)庫中的歷史預(yù)警短信信息，對(duì)預(yù)警短信進(jìn)行分析入庫，設(shè)計(jì)的分析入庫程序的流程，首先初始化讀取預(yù)警短信中的最新短信ID，然后訪問數(shù)據(jù)庫，判斷接收記錄表中的短信ID是否大于最新短信ID，接下來從接收記錄表中讀取短信，匹配預(yù)警短信關(guān)鍵詞，如果匹配不成功，則表明為垃圾短信，給予提示，刪除。如果匹配成功，將目標(biāo)號(hào)碼和短信，錄入待發(fā)送任務(wù)表，存入txt文件，形成新的短信ID。

通過對(duì)中文分詞的預(yù)警短信審核平臺(tái)工作流程進(jìn)行設(shè)計(jì)，完成平臺(tái)軟件部分設(shè)計(jì)，結(jié)合平臺(tái)硬件設(shè)計(jì)，實(shí)現(xiàn)基于中文分詞的預(yù)警短信審核平臺(tái)整體設(shè)計(jì)。

3試驗(yàn)分析

為了保證本文提出的基于中文分詞的預(yù)警短信審核平臺(tái)有效性，進(jìn)行試驗(yàn)分析。試驗(yàn)過程中，事先編寫100條預(yù)警短信，其中還有10條為垃圾短信，平均分成兩組，一組基于Internet網(wǎng)絡(luò)終端計(jì)算機(jī)，依托中心數(shù)據(jù)庫服務(wù)器，通過常規(guī)預(yù)警短信平臺(tái)發(fā)送出來；另一組通過本文設(shè)計(jì)的基于中文分詞的預(yù)警短信審核平臺(tái)發(fā)送出來，進(jìn)行試驗(yàn)對(duì)比分析。對(duì)比兩次試驗(yàn)結(jié)果，并將試驗(yàn)數(shù)據(jù)呈現(xiàn)在同一數(shù)據(jù)圖表中。

3.1數(shù)據(jù)準(zhǔn)備

為了保證試驗(yàn)過程的準(zhǔn)確性，對(duì)試驗(yàn)參數(shù)進(jìn)行設(shè)置，試驗(yàn)數(shù)據(jù)設(shè)置結(jié)果如表1所示。

試驗(yàn)首先，將100條預(yù)警短信存入txt文件，按照表1要求設(shè)置基于Internet網(wǎng)絡(luò)終端計(jì)算機(jī)以及中心數(shù)據(jù)庫服務(wù)器，然后按照設(shè)定的預(yù)警短息發(fā)送時(shí)間，進(jìn)行相關(guān)性操作。在相同試驗(yàn)環(huán)境，相同影響參數(shù)下，讓常規(guī)預(yù)警短信發(fā)送平臺(tái)、本文提出的審核平臺(tái)動(dòng)作，進(jìn)行試驗(yàn)分析。最后將結(jié)果進(jìn)行加權(quán)處理，匯總在圖一張圖表中。

3.2試驗(yàn)結(jié)果分析

利用第三方數(shù)據(jù)記錄軟件，得出試驗(yàn)結(jié)果如圖2所示：

根據(jù)圖2試驗(yàn)結(jié)果匯總圖，對(duì)試驗(yàn)結(jié)果匯總整理后，得出常規(guī)預(yù)警短信平臺(tái)無法對(duì)垃圾短信進(jìn)行過濾，而本文設(shè)計(jì)的預(yù)警短信審核平臺(tái)，能夠有效減少垃圾短信80%發(fā)出量，有效改善移動(dòng)通信業(yè)的負(fù)面影響。

4 結(jié)語

本文提出了基于中文分詞的預(yù)警短信審核平臺(tái)，通過對(duì)基于中文分詞的預(yù)警短信審核平臺(tái)進(jìn)行硬件、軟件設(shè)計(jì)，結(jié)合試驗(yàn)分析表明，本文提出的基于中文分詞的預(yù)警短信審核平臺(tái)，具有較高的實(shí)用性，相比常規(guī)預(yù)警短信發(fā)布平臺(tái)，能夠有效過濾掉80%垃圾短信。希望本文能為預(yù)警短信審核研究提供參考價(jià)值。

參考文獻(xiàn)

[1] 姚茂建，李晗靜，呂會(huì)華，et al. 基于BI_LSTM_CRF神經(jīng)網(wǎng)絡(luò)的序列標(biāo)注中文分詞方法[J]. 現(xiàn)代電子技術(shù)，2019，42（01）：103-107.

[2] 王黎. 基于人為干預(yù)因素角度的反恐情報(bào)預(yù)警信息系統(tǒng)解決方案[J]. 情報(bào)雜志，2017（04）：37-44+64.

（作者單位：廣東省佛岡縣氣象局）