基于高精度多階段網(wǎng)絡(luò)的X 光圖像違禁品檢測(cè)

李 純，張洪斌，李嘉毅，謝啟勝（通信作者）

（北京首都國(guó)際機(jī)場(chǎng)股份有限公司 北京 101317）

0 引言

隨著交通運(yùn)輸業(yè)的快速發(fā)展，安全檢查的壓力也日漸增大。以廣州市為例，在航空運(yùn)輸方面，2017 年廣州白云國(guó)際機(jī)場(chǎng)的年旅客吞吐量已突破6 500 萬(wàn)人次。在城市軌道交通方面，2019 年廣州地鐵的日均客流量達(dá)到906.8萬(wàn)人次。在鐵路運(yùn)輸方面，僅2019 年廣州南站的日均列車(chē)?？看螖?shù)約為800 趟，日均發(fā)送旅客量和到達(dá)旅客量均超過(guò)20 萬(wàn)人。

為應(yīng)對(duì)日益增長(zhǎng)的安檢需求，本文提出了一種違禁品檢測(cè)系統(tǒng)，用于從X 光安檢圖像上檢測(cè)違禁品［1］。在該系統(tǒng)中，X 射線(xiàn)設(shè)備對(duì)需要安檢的物品進(jìn)行圖像采集，利用深度學(xué)習(xí)檢測(cè)算法對(duì)圖像中的違禁品進(jìn)行檢測(cè)，安檢人員根據(jù)系統(tǒng)檢測(cè)結(jié)果進(jìn)行進(jìn)一步查驗(yàn)。相較于純?nèi)斯ひ曈X(jué)檢測(cè)，該違禁品檢測(cè)系統(tǒng)效率更高、成本更低，能夠?qū)崿F(xiàn)對(duì)槍支、刀具、毒品等違禁品的高精度檢測(cè)。

1 研究與應(yīng)用現(xiàn)狀

1.1 基于深度學(xué)習(xí)的目標(biāo)檢測(cè)技術(shù)

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)模型一般分為一階段算法和二階段模型，前者以YOLO（you only look once）和SSD（system specification description）等模型為代表，而后者以Faster R-CNN 模型為代表。其中，一階段模型最大的優(yōu)勢(shì)在于速度快，更能夠適用于對(duì)實(shí)時(shí)性有較高要求的應(yīng)用場(chǎng)景，而二階段模型首先在第一個(gè)階段用主干網(wǎng)絡(luò)預(yù)測(cè)出一些目標(biāo)區(qū)域建議，然后在第二階段利用分類(lèi)網(wǎng)絡(luò)進(jìn)行分類(lèi)和回歸。相較于一階段模型，二階段模型往往速度較低，但具有較高的精度優(yōu)勢(shì)。然而，傳統(tǒng)的二階段模型也存在一些問(wèn)題。兩個(gè)階段所提取的信息是不同的。第一，傳統(tǒng)的模型不能適應(yīng)兩個(gè)階段網(wǎng)絡(luò)信息的差異；第二，傳統(tǒng)的二階段模型用全連接層輸出所有的物體檢測(cè)結(jié)果，但不同的物體類(lèi)別會(huì)在網(wǎng)絡(luò)中存在競(jìng)爭(zhēng)；第三，在傳統(tǒng)二階段模型中，不同物體類(lèi)別信息難以分離，很難重新訓(xùn)練單一物體類(lèi)別或者擴(kuò)展新的物體類(lèi)別。

1.2 安檢圖像智能分析中的應(yīng)用

在安檢圖像智能分析應(yīng)用方面，國(guó)內(nèi)已有諸多科研機(jī)構(gòu)、安檢設(shè)備制造商以及安防解決方案提供商提出了針對(duì)安檢X 光機(jī)的智能識(shí)別算法和產(chǎn)品［2－3］。在其模型中，少量使用了傳統(tǒng)的非深度學(xué)習(xí)的傳統(tǒng)計(jì)算機(jī)視覺(jué)算法［4－5］，而更加廣泛地應(yīng)用了基于深度學(xué)習(xí)的目標(biāo)檢測(cè)、圖像分割以及圖像分類(lèi)技術(shù)。除此之外，還應(yīng)用特征融合、注意力機(jī)制等新的技術(shù)手段。算法的接入方式也包括原始圖像信號(hào)的直接接入和視頻流接入兩種主要方式。

2 基于多階段網(wǎng)絡(luò)特性的多分類(lèi)網(wǎng)絡(luò)

2.1 違禁品檢測(cè)流程

本文采用的違禁品檢測(cè)系統(tǒng)結(jié)構(gòu)如圖1 所示。該系統(tǒng)由違禁品識(shí)別模型訓(xùn)練和違禁品檢測(cè)兩個(gè)流程組成。

圖1 X 光機(jī)違禁品檢測(cè)系統(tǒng)結(jié)構(gòu)

模型訓(xùn)練流程在線(xiàn)下完成，主要包括樣本采集、標(biāo)注、模型訓(xùn)練等環(huán)節(jié)，通過(guò)迭代方式不斷吸收新樣本、改進(jìn)模型，以實(shí)現(xiàn)模型性能的持續(xù)提升。在識(shí)別流程中，智能識(shí)別系統(tǒng)以原始圖像信號(hào)和視頻信號(hào)兩種方式獲取圖像，經(jīng)必要的圖像處理后，將結(jié)果提交給預(yù)先訓(xùn)練好的違禁品檢測(cè)模型進(jìn)行識(shí)別。獲得識(shí)別結(jié)果后，以報(bào)警框的方式對(duì)相關(guān)人員進(jìn)行違禁品展示報(bào)警［6］。圖2 展示了利用違禁品檢測(cè)系統(tǒng)檢測(cè)違禁品的輸出。

圖2 利用違禁品檢測(cè)系統(tǒng)檢測(cè)出違禁品的示例

2.2 多分類(lèi)網(wǎng)絡(luò)結(jié)構(gòu)

圖3 展示了多分類(lèi)網(wǎng)絡(luò)的整體結(jié)構(gòu)。該模型包含兩個(gè)階段：第一階段利用主干網(wǎng)絡(luò)提取圖像整體特征，并通過(guò)區(qū)域提取網(wǎng)絡(luò)提取區(qū)域，該區(qū)域中的特征在二階段網(wǎng)絡(luò)中進(jìn)行處理。第二階段，分類(lèi)分支網(wǎng)絡(luò)在一階段網(wǎng)絡(luò)中提取錨點(diǎn)和區(qū)域，在二階段網(wǎng)絡(luò)中進(jìn)一步處理信息，生成分類(lèi)結(jié)果并回歸邊界框以確定最終物體位置。這種網(wǎng)絡(luò)結(jié)構(gòu)既靈活又可訓(xùn)練，適用于聯(lián)合訓(xùn)練和分割任務(wù)［7－8］。

圖3 多分類(lèi)網(wǎng)絡(luò)結(jié)構(gòu)

2.3 多分類(lèi)網(wǎng)絡(luò)訓(xùn)練

不同的數(shù)據(jù)集有不同的信息特點(diǎn)，因此也應(yīng)采取不同的訓(xùn)練方式。Pascal 數(shù)據(jù)集中的圖像為彩色圖像，相較于違禁品的灰度圖像有更多的信息量。因此，需要采用凍結(jié)主干網(wǎng)絡(luò)參數(shù)的訓(xùn)練方式，以避免分類(lèi)分支網(wǎng)絡(luò)之間的競(jìng)爭(zhēng)。凍結(jié)主干網(wǎng)絡(luò)的訓(xùn)練過(guò)程包括3 個(gè)步驟：在第一步中，訓(xùn)練一個(gè)二階段網(wǎng)絡(luò)（比如Faster R-CNN 網(wǎng)絡(luò)）；在第二步中，凍結(jié)主干網(wǎng)絡(luò)參數(shù)作為多分類(lèi)網(wǎng)絡(luò)中主干網(wǎng)絡(luò)的參數(shù)；第三步為訓(xùn)練多分類(lèi)網(wǎng)絡(luò)中分類(lèi)分支網(wǎng)絡(luò)的參數(shù)。

本文采用圖4 所示的流程重新訓(xùn)練多分類(lèi)網(wǎng)絡(luò)。訓(xùn)練完多分類(lèi)網(wǎng)絡(luò)之后，凍結(jié)主干網(wǎng)絡(luò)的參數(shù)，重新訓(xùn)練分類(lèi)分支網(wǎng)絡(luò)。在第一次訓(xùn)練參數(shù)的分類(lèi)分支網(wǎng)絡(luò)以及重新訓(xùn)練參數(shù)的分類(lèi)分支網(wǎng)絡(luò)中，多分類(lèi)網(wǎng)絡(luò)選擇檢測(cè)精度有優(yōu)勢(shì)的網(wǎng)絡(luò)作為選定的分類(lèi)分支網(wǎng)絡(luò)輸出檢測(cè)結(jié)果。

圖4 多分類(lèi)網(wǎng)絡(luò)的重新訓(xùn)練過(guò)程

3 多分類(lèi)網(wǎng)絡(luò)實(shí)驗(yàn)

本文采用采集的違禁品X 光數(shù)據(jù)集以及Pascal 數(shù)據(jù)集對(duì)多分類(lèi)網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)。違禁品X 光數(shù)據(jù)集包含灰度圖，而Pascal 數(shù)據(jù)集則包含彩色圖。由于數(shù)據(jù)集的信息差異，采用不同的訓(xùn)練過(guò)程訓(xùn)練這兩個(gè)數(shù)據(jù)集。Pascal 數(shù)據(jù)集采用凍結(jié)主干的方式進(jìn)行訓(xùn)練，而違禁品X 光數(shù)據(jù)集則利用直接訓(xùn)練的方法訓(xùn)練多分類(lèi)網(wǎng)絡(luò)。

多分類(lèi)網(wǎng)絡(luò)主干網(wǎng)絡(luò)根據(jù)Swin Transformer［9］的主干網(wǎng)絡(luò)結(jié)構(gòu)。在實(shí)驗(yàn)過(guò)程中，運(yùn)用Swin Transformer 主干網(wǎng)絡(luò)結(jié)構(gòu)的多分類(lèi)網(wǎng)絡(luò)與采用Swin Transformer 主干網(wǎng)絡(luò)結(jié)構(gòu)的Faster R-CNN 網(wǎng)絡(luò)進(jìn)行效果對(duì)比。采用Swin Transformer 主干網(wǎng)絡(luò)結(jié)構(gòu)的Faster R-CNN 網(wǎng)絡(luò)的具體網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示。

圖5 采用Swin Transformer 結(jié)構(gòu)的Faster R-CNN 網(wǎng)絡(luò)

相對(duì)于傳統(tǒng)的Faster R-CNN 等二階段網(wǎng)絡(luò)，多分類(lèi)網(wǎng)絡(luò)可以顯著提升檢測(cè)精度，尤其是對(duì)于X 光的灰度圖像。此外，多分類(lèi)網(wǎng)絡(luò)可以靈活地重新訓(xùn)練特定的物體類(lèi)別并保證每種檢測(cè)物體類(lèi)別的檢測(cè)精度。

3.1 Pascal 數(shù)據(jù)集實(shí)驗(yàn)

在Pascal 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，評(píng)估了多分類(lèi)網(wǎng)絡(luò)的性能。實(shí)驗(yàn)中采用了特定的網(wǎng)絡(luò)結(jié)構(gòu)，如圖6 所示。主干網(wǎng)絡(luò)和分類(lèi)分支網(wǎng)絡(luò)均采用了Swin Transformer 的網(wǎng)絡(luò)結(jié)構(gòu)。在分類(lèi)分支網(wǎng)絡(luò)中，全物體類(lèi)別分類(lèi)分支網(wǎng)絡(luò)輸出所有物體類(lèi)別的檢測(cè)結(jié)果，而擴(kuò)展分類(lèi)分支網(wǎng)絡(luò)則提升了單個(gè)物體類(lèi)別的檢測(cè)準(zhǔn)確度。在所使用的網(wǎng)絡(luò)中，主干網(wǎng)絡(luò)與全物體類(lèi)別分類(lèi)分支網(wǎng)絡(luò)的連接方式與傳統(tǒng)的二階段網(wǎng)絡(luò)相同。

圖6 訓(xùn)練Pascal 數(shù)據(jù)集時(shí)所用的多分類(lèi)網(wǎng)絡(luò)

由于Pascal 數(shù)據(jù)集彩色圖的復(fù)雜性，直接用多分類(lèi)網(wǎng)絡(luò)訓(xùn)練會(huì)導(dǎo)致數(shù)據(jù)集不收斂。Pascal 數(shù)據(jù)集采用的訓(xùn)練流程包括3 個(gè)步驟：第一步，訓(xùn)練一個(gè)Swin Transformer 主干網(wǎng)絡(luò)結(jié)構(gòu)的Faster R-CNN 網(wǎng)絡(luò)；第二步，凍結(jié)Faster RCNN 網(wǎng)絡(luò)的主干網(wǎng)絡(luò)，繼承Faster R-CNN 網(wǎng)絡(luò)中對(duì)應(yīng)的參數(shù)作為全物體類(lèi)別分類(lèi)分支網(wǎng)絡(luò)的參數(shù)；第三步，針對(duì)不同的物體類(lèi)別，使用不同的擴(kuò)展分類(lèi)分支網(wǎng)絡(luò)進(jìn)行訓(xùn)練。如果針對(duì)某個(gè)物體類(lèi)別的擴(kuò)展分類(lèi)分支網(wǎng)絡(luò)在檢測(cè)方面相較于全物體類(lèi)別分類(lèi)分支網(wǎng)絡(luò)表現(xiàn)更好，本文會(huì)保留該擴(kuò)展分類(lèi)分支網(wǎng)絡(luò)，并使用其具有更高檢測(cè)精度的結(jié)果來(lái)替代全物體類(lèi)別分類(lèi)分支網(wǎng)絡(luò)對(duì)應(yīng)類(lèi)別的檢測(cè)結(jié)果。如果針對(duì)某個(gè)物體類(lèi)別的擴(kuò)展分類(lèi)分支網(wǎng)絡(luò)并沒(méi)有展現(xiàn)出更高的檢測(cè)精度，本文將視全物體類(lèi)別分類(lèi)分支網(wǎng)絡(luò)對(duì)應(yīng)類(lèi)別的檢測(cè)結(jié)果為整個(gè)多分類(lèi)網(wǎng)絡(luò)的檢測(cè)結(jié)果。因此，整個(gè)多分類(lèi)網(wǎng)絡(luò)的檢測(cè)結(jié)果可以確保不弱于原始的Faster R-CNN 網(wǎng)絡(luò)。Pascal 數(shù)據(jù)集實(shí)驗(yàn)檢測(cè)結(jié)果如表1 所示，由平均精度均值（mean average precision， mAP）進(jìn)行度量。

表1 Faster R-CNN 網(wǎng)絡(luò)與多分類(lèi)網(wǎng)絡(luò)檢測(cè)精確度對(duì)比

3.2 違禁品X 光數(shù)據(jù)集實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證多分類(lèi)網(wǎng)絡(luò)的效果，本文使用違禁品X 光數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)。該數(shù)據(jù)集包含了35 萬(wàn)張灰度圖像，其中包括7 種需要檢測(cè)的違禁物品，包括電池、步槍、手槍、刀具、相機(jī)、香水和香煙。

針對(duì)違禁品X 光數(shù)據(jù)集，本文直接對(duì)多分類(lèi)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并根據(jù)圖4 所示的流程重新訓(xùn)練分類(lèi)分支網(wǎng)絡(luò)。重新訓(xùn)練后，步槍、刀具和相機(jī)的檢測(cè)精度得到了提高，因此本文采用重新訓(xùn)練的結(jié)果來(lái)提升物品檢測(cè)的準(zhǔn)確度。違禁品X 光數(shù)據(jù)集的檢測(cè)結(jié)果如表2 所示，多分類(lèi)網(wǎng)絡(luò)顯著提升了檢測(cè)精度。例如，手槍的召回率從60%提高到86.13%，同時(shí)誤報(bào)率為0。刀具的召回率從85.58%提高到93.47%。通過(guò)重新訓(xùn)練，在誤報(bào)率下降的同時(shí)，刀具的召回率進(jìn)一步提高到96.03%。

表2 對(duì)比Faster R-CNN 網(wǎng)絡(luò)和多分類(lèi)網(wǎng)絡(luò)的檢測(cè)準(zhǔn)確度

對(duì)于多分類(lèi)網(wǎng)絡(luò)而言，違禁品X 光數(shù)據(jù)集在檢測(cè)準(zhǔn)確度的提升方面表現(xiàn)較Pascal 數(shù)據(jù)集更為顯著。在處理違禁品X 光數(shù)據(jù)集時(shí)，本文直接對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，從而使整個(gè)網(wǎng)絡(luò)在檢測(cè)精度上協(xié)調(diào)一致地提升。相比之下，在處理Pascal 數(shù)據(jù)集時(shí)，本文采用了凍結(jié)主干網(wǎng)絡(luò)的訓(xùn)練方式。這種方法避免了不同物品類(lèi)別之間的相互影響，但無(wú)法提升主干網(wǎng)絡(luò)本身的性能表現(xiàn)。

4 結(jié)語(yǔ)

綜上所述，隨著人工智能技術(shù)的快速發(fā)展，其在安防等領(lǐng)域的應(yīng)用日益廣泛。本文提出了一種基于人工智能技術(shù)的違禁品檢測(cè)系統(tǒng)，利用X 光安檢設(shè)備收集圖像，并通過(guò)人工智能技術(shù)進(jìn)行違禁品的檢測(cè)，從而提高工作效率并降低人力成本。

本文提出了一種高精度的多分類(lèi)網(wǎng)絡(luò)，用于違禁品檢測(cè)系統(tǒng)中的違禁品檢測(cè)任務(wù)。多分類(lèi)網(wǎng)絡(luò)利用深度學(xué)習(xí)網(wǎng)絡(luò)在不同階段提取不同信息特征的優(yōu)勢(shì)，采用不同的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)物體進(jìn)行檢測(cè)。實(shí)驗(yàn)結(jié)果表明，多分類(lèi)網(wǎng)絡(luò)在公開(kāi)數(shù)據(jù)集上展現(xiàn)出良好的檢測(cè)精度，并在使用的違禁品X光圖像上表現(xiàn)出極佳的性能。