基于Attention-CNN的武器裝備語(yǔ)料分類(lèi)方法?

王明乾 鄧 鵬 倪 林

（國(guó)防科技大學(xué)信息通信學(xué)院 西安 710100）

1 引言

武器裝備是現(xiàn)代化軍事力量的重要組成部分，隨著科學(xué)技術(shù)的不斷發(fā)展，各類(lèi)新型武器裝備層出不窮［1］，武器裝備也越來(lái)越復(fù)雜，功能逐步擴(kuò)展，其裝備類(lèi)型、型號(hào)、性能、參數(shù)、作戰(zhàn)效能也多種多樣。武器裝備信息來(lái)源更加廣泛、形式更加多樣、處理更加復(fù)雜，其獲取、處理、存儲(chǔ)對(duì)于武器裝備的研究論證、開(kāi)發(fā)以及作戰(zhàn)運(yùn)用具有重要作用。過(guò)去依靠人工獲取、處理武器裝備情報(bào)信息的方法遠(yuǎn)遠(yuǎn)不能滿足當(dāng)其處理大量信息的需求，如何高效管理、挖掘海量的信息資源，使用自動(dòng)化手段提高武器裝備信息處理能力對(duì)于為高新武器裝備研發(fā)、作戰(zhàn)運(yùn)用提供信息保障具有重要意義。

當(dāng)前我軍處理武器裝備語(yǔ)料信息主要通過(guò)情報(bào)人員人工進(jìn)行，無(wú)法滿足對(duì)當(dāng)前從互聯(lián)網(wǎng)海量信息資源中發(fā)現(xiàn)、獲取、處理、分析信息的需求。因此，利用當(dāng)前先進(jìn)的計(jì)算機(jī)技術(shù)，研究高效自動(dòng)化的武器裝備語(yǔ)料發(fā)現(xiàn)、獲取、分析、處理技術(shù)成為當(dāng)前武器裝備語(yǔ)料研究領(lǐng)域的重要方向。國(guó)內(nèi)相關(guān)研究工作起步的時(shí)間相對(duì)比較晚，研究成果也比較零散。最近幾年，才逐步出現(xiàn)面向武器裝備語(yǔ)料的挖掘技術(shù)的相關(guān)研究。2015年，傅暢等［2］設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)包括采集，處理，存儲(chǔ)與檢索的web軍事情報(bào)挖掘模型，提出了一種面向軍事情報(bào)應(yīng)用的文本聚類(lèi)方法。2018年，陳亮［1］利用SVM等算法研究了武器裝備語(yǔ)料的分類(lèi)，建成一個(gè)完全面向軍事領(lǐng)域并具備相當(dāng)規(guī)模，適合各類(lèi)電子文本信息應(yīng)用處理的軍事資源語(yǔ)料庫(kù)；丁君怡等［3］提出基于開(kāi)源數(shù)據(jù)的武器裝備知識(shí)圖譜構(gòu)建方法。2019年，周彬彬等［4］設(shè)計(jì)了一種基于軍語(yǔ)詞典的自動(dòng)擴(kuò)展的軍事語(yǔ)料實(shí)體特征提取框架，構(gòu)建一個(gè)較大規(guī)模的高質(zhì)量軍事語(yǔ)料庫(kù)；齊玉東等［5］基于biRNN的不均衡數(shù)據(jù)集擴(kuò)展方法對(duì)海軍軍械不均衡文本數(shù)據(jù)集處理進(jìn)行了均衡、擴(kuò)展處理，有效提高了文本分類(lèi)的性能。2020年，陳奡等［6］基于開(kāi)源獲取的軍事百科知識(shí)采用K最近鄰（KNN）、支持向量機(jī)（SVM）、神經(jīng)網(wǎng)絡(luò)（RNN）及其他機(jī)器學(xué)習(xí)算法開(kāi)展軍事裝備知識(shí)分類(lèi)研究，以支撐軍事裝備知識(shí)圖譜的構(gòu)建和應(yīng)用；齊玉東等［7］改進(jìn)了傳統(tǒng)的一維卷積神經(jīng)網(wǎng)絡(luò)，設(shè)計(jì)了海軍軍事文本分類(lèi)模型。

研究發(fā)現(xiàn)，當(dāng)前武器裝備情報(bào)研究面臨的主要問(wèn)題如下：1）信息化程度不高，主要工作仍然依靠人工完成，導(dǎo)致處理效率較低，遠(yuǎn)遠(yuǎn)不能滿足當(dāng)前海量開(kāi)源信息處理的需求；2）沒(méi)有專(zhuān)用的挖掘工具、可視化分析工具，分析工作效果不理想，對(duì)情報(bào)挖掘能力不足；3）情報(bào)知識(shí)關(guān)聯(lián)利用不夠。情報(bào)分類(lèi)作為武器裝備情報(bào)搜集完成后的關(guān)鍵一步，其將不同類(lèi)別的裝備情報(bào)按類(lèi)別進(jìn)行劃分，方便研究人員進(jìn)一步分析研究，從而提高情報(bào)分析針對(duì)性。因此，如何將武器裝備情報(bào)快速準(zhǔn)確劃分到對(duì)應(yīng)類(lèi)別，對(duì)于提升武器裝備情報(bào)獲取、分析效率具有重要意義。本文在抓取互聯(lián)網(wǎng)開(kāi)源武器裝備語(yǔ)料的基礎(chǔ)上，研究了武器裝備語(yǔ)料的文本分類(lèi)工作，為提高我軍武器裝備情報(bào)收集處理能力提供幫助。

2 語(yǔ)料庫(kù)構(gòu)建

2.1 構(gòu)建流程

武器裝備語(yǔ)料的內(nèi)容具有很強(qiáng)的專(zhuān)業(yè)性，文本中包含大量武器裝備領(lǐng)域?qū)I(yè)詞匯且篇幅較長(zhǎng)，內(nèi)容繁雜，這給文本分類(lèi)帶來(lái)巨大的挑戰(zhàn)。針對(duì)上述問(wèn)題，本文首先利用網(wǎng)絡(luò)爬蟲(chóng)技術(shù)、文本預(yù)處理技術(shù)，從門(mén)戶網(wǎng)站抓取大量武器裝備相關(guān)信息，并對(duì)武器裝備文本信息進(jìn)了清洗，提取了其對(duì)應(yīng)標(biāo)簽作為樣本類(lèi)別，構(gòu)建了武器裝備領(lǐng)域的語(yǔ)料庫(kù)，本文的樣本是從環(huán)球軍事網(wǎng)抓取，一共抓取網(wǎng)頁(yè)5843份，其獲取流程如圖1所示。

圖1 武器裝備語(yǔ)料獲取流程

本文采用了Scrapy［8］爬蟲(chóng)框架完成了環(huán)球軍事門(mén)戶網(wǎng)站的URL獲取、調(diào)度管理、網(wǎng)頁(yè)獲取、網(wǎng)頁(yè)解析等功能，并對(duì)網(wǎng)頁(yè)信息進(jìn)行了去除非法字符、去除鏈接、去除圖片等清洗工作。

2.2 武器裝備類(lèi)別

武器裝備語(yǔ)料自動(dòng)化分類(lèi)方法是為了輔助研究人員更好地對(duì)武器裝備情報(bào)進(jìn)行分析，因此本文采用了較為符合研究人員公共認(rèn)知的武器裝備類(lèi)別，作為研究對(duì)象。其是按照武器裝備的使用領(lǐng)域?qū)ξ淦餮b備進(jìn)行了類(lèi)別劃分，具體分類(lèi)情況如表1所示。

表1 武器裝備分類(lèi)表

2.3 樣本分布

首先對(duì)抓取到的武器裝備語(yǔ)料分布進(jìn)行簡(jiǎn)單分析，其中每類(lèi)文本的數(shù)量如圖2所示。

圖2 武器裝備語(yǔ)料獲取流程

采集到的武器裝備語(yǔ)料包含9個(gè)類(lèi)別：飛行器、艦船艦艇、槍械與單兵、坦克裝甲車(chē)輛、火炮、爆炸物、導(dǎo)彈武器、太空裝備。每種類(lèi)別的裝備語(yǔ)料的數(shù)量差異較大，其中飛行器類(lèi)的樣本數(shù)量最多有1330篇，太空裝備類(lèi)樣本數(shù)量最少366篇，數(shù)量差別比較大，樣本有較高的不均衡性，對(duì)于分類(lèi)的效果具有一定影響。

2.4 關(guān)鍵詞分析

使用文本清理、分詞處理武器裝備語(yǔ)料之后，使用TFIDF［9］算法計(jì)算每個(gè)類(lèi)別詞語(yǔ)對(duì)于各個(gè)類(lèi)別的重要性，選取其中軍事特征明顯的詞匯按照關(guān)鍵詞的重要性排序后，取排序前十的關(guān)鍵詞，如表2所示。

表2 每個(gè)類(lèi)別top10軍事相關(guān)關(guān)鍵詞

由表可見(jiàn)，武器裝備語(yǔ)料具有專(zhuān)用名詞多、時(shí)代特征明顯、特有的軍事表達(dá)方式等方面的特點(diǎn)，這對(duì)于更好地提取文本特征，實(shí)現(xiàn)準(zhǔn)確分類(lèi)會(huì)有所幫助。

3 分類(lèi)模型

本文在數(shù)據(jù)預(yù)處理的基礎(chǔ)上，采用深度學(xué)習(xí)的方法對(duì)武器裝備語(yǔ)料分類(lèi)進(jìn)行了研究，采用的基本神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包括CNN、GRU、Attention，并對(duì)其進(jìn)行組合、調(diào)參，并提出了效果較好的Attention-CNN模型，有效解決了文本特征空間高維度、高稀疏性等問(wèn)題，取得了較好的分類(lèi)效果。相關(guān)網(wǎng)絡(luò)結(jié)構(gòu)及改進(jìn)模型描述如下。

3.1 詞嵌入層

使用深度學(xué)習(xí)模型對(duì)文本數(shù)據(jù)進(jìn)行學(xué)習(xí)，首先要將文本數(shù)據(jù)轉(zhuǎn)換為模型可以處理的表達(dá)方式。詞嵌入層（Embeding）［10］可以將詞語(yǔ)轉(zhuǎn)換為具有語(yǔ)義信息的固定長(zhǎng)度向量。其輸入為文本序列，輸出為向量表示的文本序列s=（w1，w2，… wi，… ωn），其中n為文本序列中單詞的個(gè)數(shù)，wi為第i個(gè)單詞對(duì)應(yīng)的單詞向量。向量的值是在模型訓(xùn)練的過(guò)程中訓(xùn)練得到的，包含了文本的詞級(jí)語(yǔ)義信息。

3.2 輸出層

輸出層處于模型的最后一層，之前的特征處理層將文本的語(yǔ)義信息抽取完成后，將所有的語(yǔ)義特征通過(guò)全連接層組合并轉(zhuǎn)換為輸出向量，通過(guò)激活函數(shù)（softmax）后計(jì)算出文本屬于各個(gè)類(lèi)別的概率。最后選擇模型輸出的概率最大的類(lèi)別作為模型預(yù)測(cè)的結(jié)果。

3.3 雙向門(mén)循環(huán)單元網(wǎng)絡(luò)

門(mén)循環(huán)單元 GRU（Gate Recurrent Unit）［11］是循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）［12］的變體。RNN基于序列結(jié)構(gòu)，利用循環(huán)操作整合序列信息，可以對(duì)任意長(zhǎng)度的序列進(jìn)行編碼。由于RNN只能保留短期記憶，為處理較長(zhǎng)序列的依賴(lài)問(wèn)題，產(chǎn)生了一些改進(jìn)，長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（LSTM）、門(mén)循環(huán)單元（GRU）等，其利用門(mén)機(jī)制對(duì)序列信息進(jìn)行管理，從而記憶重要的長(zhǎng)期依賴(lài)信息。由于RNN是單向傳遞的，考慮到文本信息不僅依賴(lài)前面的文本，也依賴(lài)后面的文本，因此提出了雙向的循環(huán)神經(jīng)網(wǎng)絡(luò)。本文使用了雙向門(mén)循環(huán)單元網(wǎng)絡(luò)（BiGRU）進(jìn)行了實(shí)驗(yàn)，其結(jié)構(gòu)如圖3所示。

圖3 BiGRU網(wǎng)絡(luò)結(jié)構(gòu)

前向的 GRUL依次輸入“我”、“愛(ài)”、“中國(guó)”的詞嵌入向量得前向句子級(jí)特征向量hL。后向的GRUR依次輸入“中國(guó)”、“愛(ài)”、“我”得到后向句子級(jí)特征向量hR。最后將前向和后向的句子向量拼接得到作為句子特征向量，并輸入全連接層進(jìn)行分類(lèi)。

3.4 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）最初用來(lái)提取圖像特征［13］，其由卷積層與池化層組成。Kim等［14］借鑒CNN的思想，將其應(yīng)用于文本段落的多分類(lèi)問(wèn)題，其將段落中單詞的詞向量拼接成矩陣，選取大小不同的卷積核對(duì)其進(jìn)行信息提取，這樣即提取了單詞的語(yǔ)義，也考慮了不同長(zhǎng)度的上下文信息。池化層包括最大池化、平均池化等方式，用來(lái)提取文本序列的全局特征，可以保留重點(diǎn)文本語(yǔ)義，同時(shí)減少模型計(jì)算量。本文采用了定長(zhǎng)子序列最大池化的方法，即將文本特征序列分成等長(zhǎng)的子序列并對(duì)其進(jìn)行最大池化，并將結(jié)果按原序列順序拼接起來(lái)，從而得到比全局最大池化更豐富的文本信息，其結(jié)構(gòu)如圖4所示。

圖4 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

本文選用了卷積核大小為3、4兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)來(lái)提取句子特征，對(duì)長(zhǎng)度為4的子序列進(jìn)行最大池化，進(jìn)行拼接后作為句子特征矩陣，展開(kāi)為特征向量后輸入全連接層進(jìn)行文本分類(lèi)。

3.5 注意力機(jī)制

CNN只能處理局部上下文特征，而GRU對(duì)于關(guān)鍵信息的提取能力不足。注意力機(jī)制（Atten?tion）［15］可以為文本中每個(gè)單詞賦予權(quán)重，衡量單詞的重要程度，即把注意力放到文本的關(guān)鍵信息提取上，弱化不重要的信息，其結(jié)構(gòu)如圖5所示。

圖5 Attention結(jié)構(gòu)

將輸入序列編碼Source中元素作為看作Key、Value對(duì)，將Target中的元素看作查詢(xún)Query。At?tention機(jī)制的計(jì)算主要分三個(gè)步驟：

1）計(jì)算Query和Key的相關(guān)性，得到Key對(duì)于Value值的權(quán)重；

2）對(duì)1）中計(jì)算的權(quán)重進(jìn)行歸一化；

3）使用歸一化權(quán)重對(duì)Value進(jìn)行加權(quán)求和，得到Attention值。

計(jì)算過(guò)程中相關(guān)性可以選擇不同的計(jì)算方法來(lái)計(jì)算，本文使用了點(diǎn)積的計(jì)算方法，注意力也稱(chēng)為點(diǎn)積注意力。當(dāng)注意力層輸入Source與Target相同時(shí)，計(jì)算的注意力使句子對(duì)自身的注意力，被稱(chēng)為自注意力，本文中Attention模型采用自注意力模型對(duì)嵌入層輸出的矩陣提取句子級(jí)特征矩陣，展開(kāi)為句子特征向量后，輸入全連接層進(jìn)行分類(lèi)。

3.6 Attention-CNN模型

本文將CNN與Attention串聯(lián)構(gòu)成了Atten?tion-CNN（Attention、CNN組合）模型用于武器裝備語(yǔ)料分類(lèi)，模型結(jié)構(gòu)如圖6所示。

圖6 Attention-CNN網(wǎng)絡(luò)結(jié)構(gòu)

Attention-CNN模型結(jié)合了Attention與CNN的兩方面優(yōu)勢(shì)，首選使用CNN層對(duì)局部的文本上下文特征進(jìn)行提取，然后使用Attention來(lái)提取文本的長(zhǎng)序列依賴(lài)，兩種基本模型結(jié)構(gòu)可以進(jìn)行很好的互補(bǔ)，從而提高分類(lèi)效果。

4 實(shí)驗(yàn)

為驗(yàn)證基于改進(jìn)的一維卷積神經(jīng)網(wǎng)絡(luò)的文本分類(lèi)模型的性能，本文基于爬蟲(chóng)抓取的武器裝備語(yǔ)料庫(kù)設(shè)計(jì)文本分類(lèi)實(shí)驗(yàn)，并使用CNN，LSTM，Atten?tion，Attention-CNN（Attention、CNN組合），Att-LSTM（Attention、LSTM組合），BiGRU-CNN（BiGRU、CNN組合）等方法進(jìn)行對(duì)比。使用Python語(yǔ)言采用基于tensorflow框架的keras實(shí)現(xiàn)具體模型。

4.1 實(shí)驗(yàn)流程

首先對(duì)武器裝備語(yǔ)料進(jìn)行預(yù)處理，通過(guò)文本清洗、分詞等手段統(tǒng)一文本格式、構(gòu)建文本序列。然后選取詞頻高于5的單詞作為特征詞典，實(shí)現(xiàn)特征降維。然后進(jìn)行文本表示，使文本變?yōu)橛?jì)算機(jī)能夠處理的邏輯單位。訓(xùn)練階段，將訓(xùn)練集文本與相應(yīng)的標(biāo)簽輸入到模型中，通過(guò)計(jì)算模型損失以及反向傳播算法更新模型參數(shù)，完成模型訓(xùn)練。測(cè)試階段使用模型對(duì)測(cè)試集文本的類(lèi)別進(jìn)行預(yù)測(cè)，預(yù)測(cè)結(jié)果與文本實(shí)際類(lèi)別進(jìn)行對(duì)比，使用不同評(píng)價(jià)指標(biāo)對(duì)其進(jìn)行分析和評(píng)價(jià)。

4.2 文本預(yù)處理

數(shù)據(jù)集預(yù)處理階段使用使用正則表達(dá)式去除特殊字符，使用jieba分詞工具進(jìn)行分詞，截取詞頻最高的10000個(gè)單詞構(gòu)成詞典。然后采用填補(bǔ)、截短的方式將文本轉(zhuǎn)換為長(zhǎng)度為300的定長(zhǎng)序列。

4.3 評(píng)價(jià)指標(biāo)

本文選用了分類(lèi)算法比較經(jīng)典的評(píng)價(jià)指標(biāo)準(zhǔn)確度（Precision）、召回率（Recall）和F1-score值，對(duì)于單個(gè)類(lèi)別其計(jì)算公式如下：

其中，TP為實(shí)際為正例，被預(yù)測(cè)為正例的樣本數(shù)量。FP為實(shí)際為負(fù)例，被預(yù)測(cè)為正例的樣本數(shù)量。FN為實(shí)際為正例，被預(yù)測(cè)為反例的樣本數(shù)量。本文使用所有類(lèi)別標(biāo)簽結(jié)果的加權(quán)平均后的評(píng)價(jià)指標(biāo)值作為衡量模型綜合性能的指標(biāo)。

4.4 模型對(duì)比

實(shí)驗(yàn)將Attention-CNN模型與其他5種模型進(jìn)行了對(duì)比，其中包括BiGRU、CNN、Attention三種單類(lèi)別網(wǎng)絡(luò)結(jié)構(gòu)模型，及BiGRU-CNN、Att-BiGRU兩種復(fù)合網(wǎng)絡(luò)結(jié)構(gòu)模型。各模型分類(lèi)效果對(duì)比如表3所示。

表3 各模型分類(lèi)效果對(duì)比

由表可知，在武器裝備語(yǔ)料數(shù)據(jù)集上，深度學(xué)習(xí)模型均取得了不錯(cuò)的分類(lèi)效果。其中，Atten?tion-CNN模型的分類(lèi)效果最佳。對(duì)于單模型At?tention效果最好，CNN次之，BiGRU效果最差，這是由于本文選取文本長(zhǎng)度300，Attention對(duì)文本長(zhǎng)期依賴(lài)提取較好，CNN較好地提取了文本的短期依賴(lài)，而B(niǎo)iGRU模型在提取長(zhǎng)文本的特征時(shí)前期輸入文本的信息會(huì)隨著序列長(zhǎng)度增加有所丟失，因此效果比另外兩個(gè)模型略差。對(duì)于復(fù)合模型，BiG?RU-CNN與Att-BiGRU模型效果均優(yōu)于BiGRU模型，但是分別弱于CNN與Attention模型，分析其原因是由于文本特征經(jīng)過(guò)BiGRU層提取時(shí)由于序列較長(zhǎng)損失了前期輸入的序列信息。Attention-CNN復(fù)合模型效果優(yōu)于所有模型，說(shuō)明在本文武器裝備語(yǔ)料數(shù)據(jù)集上，Attention和CNN層具有良好的互補(bǔ)左右，首先由CNN根據(jù)短期上下文依賴(lài)提取語(yǔ)義信息，然后由Attention根據(jù)長(zhǎng)期依賴(lài)及文本的重要性提取語(yǔ)義信息，從而提取出對(duì)于分類(lèi)更全面、關(guān)鍵的語(yǔ)義信息。

5 結(jié)語(yǔ)

本論文深入調(diào)查了網(wǎng)絡(luò)爬蟲(chóng)技術(shù)、文本分類(lèi)技術(shù)及其在武器裝備語(yǔ)料獲取處理方面的運(yùn)用。通過(guò)實(shí)驗(yàn)分析，利用爬蟲(chóng)技術(shù)從互聯(lián)網(wǎng)上抓取了開(kāi)源武器裝備語(yǔ)料構(gòu)建了語(yǔ)料庫(kù)；對(duì)語(yǔ)料進(jìn)行了預(yù)處理分析了武器裝備語(yǔ)料的特點(diǎn)及其對(duì)分類(lèi)的影響；構(gòu)建了基于Attention-CNN的面向武器裝備語(yǔ)料分類(lèi)模型，并與多個(gè)基準(zhǔn)模型進(jìn)行了對(duì)比，驗(yàn)證了模型的效果。本文的研究對(duì)于提升我軍高效管理、挖掘海量的信息資源，使用自動(dòng)化手段提高武器裝備相關(guān)信息處理能力，對(duì)高新武器裝備研發(fā)、作戰(zhàn)運(yùn)用提供信息保障具有重要意義。