行李安檢禁限帶物品識(shí)別多標(biāo)簽圖像分類算法

胡本翼，彭凱貝，張 馳，呂曉軍，劉躍虎

（1. 西安交通大學(xué) 人工智能學(xué)院，西安 710049；2. 中國(guó)鐵道科學(xué)研究院集團(tuán)有限公司 電子計(jì)算技術(shù)研究所，北京 100081）

行李安檢是公共軌道交通社會(huì)治安防控體系建設(shè)的重要內(nèi)容。針對(duì)禁限帶物品（簡(jiǎn)稱：違禁品）的行李安檢智能識(shí)別技術(shù)有助于高安檢效率，降低安檢勞動(dòng)強(qiáng)度，尤其對(duì)于公共軌道交通公交化運(yùn)營(yíng)以及應(yīng)對(duì)高峰時(shí)段安檢具有重要的應(yīng)用價(jià)值[1～2]。

1 行李X光安檢圖像的特點(diǎn)

與可見(jiàn)光成像的自然圖像不同，行李安檢圖像是由X射線穿過(guò)不同密度材料的物品后，根據(jù)透射光強(qiáng)度，通過(guò)相應(yīng)算法著色生成。

行李中互相重疊的物品會(huì)改變一些區(qū)域的透射光強(qiáng)度，形成X光偽彩色圖像特有的影像混疊現(xiàn)象，即原本因遮擋而無(wú)法看見(jiàn)的物體會(huì)以迥異的形態(tài)重新出現(xiàn)[3]。如圖1所示，相互堆疊的物品在X光圖像中呈現(xiàn)典型的影像混疊現(xiàn)象。

圖1 行李安檢圖像的物品影像混疊現(xiàn)象

行李安檢圖像識(shí)別的難點(diǎn)在于：（1）X光透射成像使物品間遮擋關(guān)系呈現(xiàn)為影像混疊，減弱了物品圖像邊緣、顏色等特征的可辨識(shí)性；（2）違禁品種類豐富、材料構(gòu)成復(fù)雜、成像角度多變，造成不同類物品圖像差異小，同類物品圖像差異大的特點(diǎn)；（3）物品圖像物理尺寸變化較大。

2 行李X光安檢圖像多標(biāo)簽分類算法

針對(duì)行李X光安檢圖像的特性，采用圖像多標(biāo)簽分類深度神經(jīng)網(wǎng)絡(luò)框架，引入圖像注意力機(jī)制，在行李物品堆疊的復(fù)雜場(chǎng)景中準(zhǔn)確定位違禁品關(guān)鍵區(qū)域，以提升算法的細(xì)粒度辨識(shí)能力；在此基礎(chǔ)上，引入能夠動(dòng)態(tài)融合各層預(yù)測(cè)結(jié)果的元選擇網(wǎng)絡(luò)，在物品視覺(jué)特征劇烈變化的條件下，自適應(yīng)地融合多層信息，較為準(zhǔn)確地預(yù)測(cè)圖像中是否存在違禁品。

2.1 算法描述

行李安檢圖像違禁品識(shí)別任務(wù)的特點(diǎn)是：圖像中可能出現(xiàn)的違禁品種類和數(shù)量不確定。本文將該問(wèn)題建模為一個(gè)多標(biāo)簽分類問(wèn)題，即假設(shè)數(shù)據(jù)集中可能出現(xiàn)有C類違禁品，給定輸入行李安檢圖像x，深度神經(jīng)網(wǎng)絡(luò)g輸 出對(duì)應(yīng)的C維向量yNC，即

2.2 算法流程

在深度卷積網(wǎng)絡(luò)架構(gòu)的基礎(chǔ)上，構(gòu)建主干網(wǎng)絡(luò)、注意力分支、元融合分支，算法流程如圖2所示。

圖2 算法流程示意

（1）主干網(wǎng)絡(luò)通過(guò)基于ResNet50的特征金字塔提取2個(gè)分支共享的卷積特征；

（2）注意力分支模塊融合共享的卷積特征與原始輸入圖像，生成注意力掩膜，用于對(duì)金字塔特征進(jìn)行篩選，以便在嚴(yán)重混疊情況下區(qū)分違禁品，并鎖定物品細(xì)微特征，保證算法的細(xì)粒度辨識(shí)能力；

（3）元融合分支基于質(zhì)量改善過(guò)的特征金字塔，通過(guò)外部神經(jīng)知識(shí)引導(dǎo)的元融合預(yù)測(cè)物品類別。

2.2.1 金字塔主干網(wǎng)絡(luò)

在實(shí)際安檢場(chǎng)景中，違禁品種類多，且物理尺寸差異大。而卷積網(wǎng)絡(luò)在前向傳遞過(guò)程中，隨著層次的加深，卷積特征感受野越來(lái)越大，特征分辨率會(huì)越來(lái)越小。因此，僅使用單層特征圖無(wú)法兼顧大尺寸物品和小尺寸物品的識(shí)別需求。

特征金字塔架構(gòu)[4]將低分辨率的高層語(yǔ)義特征與高分辨率的低層細(xì)節(jié)特征進(jìn)行連接，使所有尺度下的特征圖都具有豐富的語(yǔ)義信息。在金字塔架構(gòu)前向傳遞的過(guò)程中，把不改變特征圖大小的層歸為一個(gè)階段，并將每個(gè)階段最后一層輸出作為該階段的特征抽取結(jié)果，由此構(gòu)成特征金字塔，如圖3所示。

圖3 特征金字塔架構(gòu)

特征金字塔架構(gòu)自上而下地對(duì)特征進(jìn)行上采樣處理，并將其與下層特征進(jìn)行融合，得到融合了不同語(yǔ)義層信息的新特征圖，以有效地處理不同尺寸特征圖所蘊(yùn)含語(yǔ)義信息懸殊的問(wèn)題。

2.2.2 注意力分支

由于行李安檢圖像中各種物品圖像特征相互糾纏，同時(shí)各類物品圖像缺乏紋理信息，只能通過(guò)顏色、形狀等低層視覺(jué)信息進(jìn)行識(shí)別，增加了違禁品辨識(shí)難度。此外，各種違禁品的類間差別小，類內(nèi)差別大，進(jìn)一步增加了細(xì)粒度識(shí)別的難度。

為此，在特征金字塔架構(gòu)上增加注意力掩膜，使網(wǎng)絡(luò)能在復(fù)雜背景下定位關(guān)鍵區(qū)域,避免復(fù)雜背景帶來(lái)的干擾與混淆；同時(shí)，鎖定具有區(qū)分度的關(guān)鍵區(qū)域，為后續(xù)的細(xì)粒度識(shí)別奠定基礎(chǔ)。為了解決物品識(shí)別嚴(yán)重依賴顏色、形狀等低層視覺(jué)信息的問(wèn)題，多批次引入原始輸入圖像，能夠在分辨率不斷丟失的前向傳遞過(guò)程中，不斷補(bǔ)充關(guān)鍵的低層視覺(jué)線索，其架構(gòu)如圖4所示。

圖4 注意力分支架構(gòu)示意

具體地，對(duì)輸出的第l級(jí)金字塔特征pl，利用注意力分支產(chǎn)生相應(yīng)掩膜來(lái)預(yù)測(cè)該級(jí)所有違禁品的區(qū)域位置。在主干網(wǎng)絡(luò)輸出的最大空間尺度特征圖的基礎(chǔ)上，通過(guò)堆疊上采樣模塊構(gòu)造注意力分支。其中，每個(gè)上采樣模塊由1個(gè)雙線性上采樣層（用于擴(kuò)展空間大?。?、4個(gè)膨脹卷積層（用于提取感受野更大的特征）和1個(gè)1×1卷積層（作為輸出層）組成。

在每次上采樣前，將特征與重新縮放的輸入圖像沿通道拼接；注意力分支輸出預(yù)測(cè)掩膜后，再將多層金字塔特征同時(shí)與其對(duì)應(yīng)的注意力掩膜相乘，以改善多尺度特征圖。

2?.2.3 元融合分支

為了解決行李安檢圖像的物品影像混疊和尺寸大小變化問(wèn)題，有效的信息融合機(jī)制是關(guān)鍵。對(duì)于混疊現(xiàn)象較為輕微的物品，可直接通過(guò)高層語(yǔ)義信息識(shí)別；對(duì)于混疊現(xiàn)象比較嚴(yán)重的物品，則需要借助顏色、形狀等低層視覺(jué)信息。另一方面，小尺寸物品需要使用感受野小的低層特征來(lái)識(shí)別，而大尺寸物品則應(yīng)借助感受野大的高層特征來(lái)發(fā)現(xiàn)。由于不同層級(jí)特征對(duì)物品辨識(shí)的作用不同，用于融合各層級(jí)預(yù)測(cè)結(jié)果的權(quán)重應(yīng)動(dòng)態(tài)地產(chǎn)生。

傳統(tǒng)融合策略往往通過(guò)自定義或采用全連接層直接輸出融合權(quán)重，缺乏有效的信號(hào)監(jiān)督，容易產(chǎn)生權(quán)重偏差現(xiàn)象。已有研究表明，在其它X光安檢圖像數(shù)據(jù)集訓(xùn)練出的CNN模型，會(huì)在給定X光安檢圖像數(shù)據(jù)集上表現(xiàn)出更強(qiáng)的適應(yīng)性[5]。因此，本文利用其它網(wǎng)絡(luò)學(xué)到的外部神經(jīng)知識(shí)，對(duì)各層級(jí)預(yù)測(cè)結(jié)果進(jìn)行動(dòng)態(tài)融合，以避免權(quán)重偏差現(xiàn)象。

如圖5所示，元融合架構(gòu)首先池化金字塔特征，使其具有7×7的空間大?。辉谕ǖ纻?cè)拼接合并后，將其傳遞至元選擇網(wǎng)絡(luò)，輸出每一維均以服從0～1分布的多維向量作為軟融合權(quán)重，以增強(qiáng)網(wǎng)絡(luò)在復(fù)雜場(chǎng)景下對(duì)多階段信息自適應(yīng)融合能力，從而提升算法在物品圖像混疊和尺寸變化場(chǎng)景下的物品分類性能。

圖5 元融合架構(gòu)與元選擇網(wǎng)絡(luò)

2.3 多階段損失函數(shù)定義

鑒于網(wǎng)絡(luò)涵蓋多個(gè)分支與任務(wù)，本文提出的算法采用多階段損失函數(shù)：

（1）注意力分支網(wǎng)絡(luò)訓(xùn)練階段：采用均方誤差函數(shù)（MSE）衡量注意力掩膜真值與預(yù)測(cè)值的差異，以抑制圖像背景、突出前景，從而準(zhǔn)確定位關(guān)鍵物品區(qū)域。

（2）元融合分支網(wǎng)絡(luò)訓(xùn)練階段：多標(biāo)簽分類網(wǎng)絡(luò)采用二進(jìn)制交叉熵（BCE，Binary Cross Entropy）函數(shù)，確保網(wǎng)絡(luò)能同時(shí)準(zhǔn)確地預(yù)測(cè)多類違禁物品；元選擇網(wǎng)絡(luò)使用標(biāo)準(zhǔn)交叉熵（CE，Cross Entropy）函數(shù)來(lái)衡量融合權(quán)重真值與預(yù)測(cè)值的差異，以獲取不同層級(jí)特征的最優(yōu)加權(quán)組合，損失函數(shù)定義為

其中，λ為控制元選擇損失項(xiàng)的強(qiáng)度。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

在2個(gè)X光行李安檢圖像公共數(shù)據(jù)集SIXray和OPIXray[6]上進(jìn)行實(shí)驗(yàn)，并與現(xiàn)有方法對(duì)比，針對(duì)注意力和元融合機(jī)制進(jìn)行消融實(shí)驗(yàn)驗(yàn)證，就本文提出算法對(duì)違禁品的辨識(shí)能力進(jìn)行量化分析。

SIXray是近幾年使用比較廣泛的公用X光安檢圖像數(shù)據(jù)集，共包含1 059 231幅X光圖像，其中8 929幅圖像包含槍械、刀具、鉗子、剪刀和扳手等5類常見(jiàn)違禁品，如圖6所示。按照SIXray數(shù)據(jù)集推薦的數(shù)據(jù)劃分策略，將其中7 496幅圖像作為訓(xùn)練數(shù)據(jù)，其他1 433幅用于測(cè)試。

圖6 SIXray數(shù)據(jù)集包含5種違禁品

為了驗(yàn)證算法對(duì)類內(nèi)差異的辨識(shí)能力，選擇折疊刀、直刃刀、剪刀、美工刀和多功能刀5種刀具類實(shí)例，共計(jì)8 885幅圖像的OPIXray數(shù)據(jù)集（如圖7所示），將其中80%（即7 109幅）圖像作為訓(xùn)練集，剩余20%（即1 776幅）圖像作為測(cè)試數(shù)據(jù)。

圖7 OPIXray數(shù)據(jù)集包含5類刀具

3.2 網(wǎng)絡(luò)參數(shù)設(shè)置

本文算法只選取特征金字塔的最高3層，即式（2）中， l f3,4,5g， λ取0.1。為了驅(qū)動(dòng)網(wǎng)絡(luò)訓(xùn)練，由經(jīng)驗(yàn)生成掩膜真值和元融合真值。

對(duì)于掩膜真值，在實(shí)例級(jí)標(biāo)注基礎(chǔ)上，為每個(gè)邊界框生成一個(gè)內(nèi)嵌橢圓，其中橢圓內(nèi)像素設(shè)置為255，其余像素設(shè)置為0。

對(duì)于元融合真值，利用預(yù)先訓(xùn)練好的CHR（Class-balanced Hierarchical Refinement）模型對(duì)每張圖像進(jìn)行處理，得到所有層級(jí)金字塔特征的分類損失；元融合真值是一個(gè)獨(dú)熱向量，其維度與特征金字塔層數(shù)相同，1表示該層級(jí)特征產(chǎn)生的分類損失最小，否則為0。

3.3 算法訓(xùn)練階段劃分

本文算法訓(xùn)練分2個(gè)階段：

（1）區(qū)域定位階段：僅使用少部分實(shí)例級(jí)標(biāo)注數(shù)據(jù)訓(xùn)練注意力任務(wù)，此時(shí)只更新主干網(wǎng)絡(luò)和注意力分支參數(shù)，共訓(xùn)練350輪，初始學(xué)習(xí)率為1 e-5，每過(guò)100輪衰減10倍；

（2）類別辨識(shí)階段：在完成第一階段訓(xùn)練之后，繼續(xù)在大量圖像級(jí)標(biāo)注數(shù)據(jù)上對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，此過(guò)程將更新網(wǎng)絡(luò)所有參數(shù)，共訓(xùn)練150輪，初始學(xué)習(xí) 率為5 e-2，每經(jīng)過(guò)30輪衰減10倍。

3.4 算法識(shí)別準(zhǔn)確率對(duì)比分析

選取被廣泛應(yīng)用的ResNet50和對(duì)應(yīng)特征金字塔架構(gòu)的Res50-FPN作為實(shí)驗(yàn)比較的基準(zhǔn)方法，并與同樣基于特征金字塔架構(gòu)、且在SIXray數(shù)據(jù)集上表現(xiàn)最好的CHR方法進(jìn)行對(duì)比；實(shí)驗(yàn)結(jié)果采用均值平均精度（mAP， mean Average Precision）作為識(shí)別準(zhǔn)確率評(píng)價(jià)指標(biāo)，實(shí)驗(yàn)結(jié)果如表1所示。

表1 多標(biāo)簽分類算法識(shí)別準(zhǔn)確率對(duì)比

由表1可知，相較于基準(zhǔn)方法ResNet50、ResNet50-FPN和目前最優(yōu)的CHR方法，本文算法具有2個(gè)優(yōu)勢(shì)。

（1）提升識(shí)別準(zhǔn)確率

本文算法對(duì)所有具體類別違禁品的識(shí)別準(zhǔn)確率均取得最佳結(jié)果；其中，在SIXray數(shù)據(jù)集上準(zhǔn)確率平均提高2.82%，在OPIXray數(shù)據(jù)集上準(zhǔn)確率平均提高3.10%。

（2）具有細(xì)粒度識(shí)別能力

在OPIXray數(shù)據(jù)集上，對(duì)形狀外觀極為相似的5種刀具的識(shí)別準(zhǔn)確率均有顯著提升；其中，直刃刀的識(shí)別率提高7.95%，表明本文算法可以較為準(zhǔn)確地辨識(shí)違禁品的細(xì)微差異，對(duì)X光安檢圖像影像混疊具備一定的抗干擾能力。

3.5 算法有效性分析

3.5.1 注意力機(jī)制的有效性

表2是針對(duì)本文算法中圖像注意力機(jī)制額消融實(shí)驗(yàn)結(jié)果。

表2 圖像注意力機(jī)制對(duì)算法準(zhǔn)確率的影響

可以看出，無(wú)論是否使用元融合機(jī)制，注意力機(jī)制總能帶來(lái)算法準(zhǔn)確率提升，說(shuō)明注意力在處理X 光安檢圖像的影像混疊現(xiàn)象發(fā)揮了作用，表明區(qū)域定位可以有效提高算法在影像混疊場(chǎng)景下的物品辨識(shí)能力，聚焦于前景有助于算法學(xué)習(xí)細(xì)粒度物品的可辨識(shí)特征；注意力掩膜預(yù)測(cè)與掩膜真值的可視化對(duì)比的部分結(jié)果如圖8所示。

圖8 注意力掩膜預(yù)測(cè)與掩膜真值的可視化對(duì)比

以上對(duì)比表明：在存在復(fù)雜混疊的X光圖像背景下，基于低層視覺(jué)信息的圖像注意力機(jī)制有助于準(zhǔn)確定位違禁物品區(qū)域，為后續(xù)的類別辨識(shí)奠定基礎(chǔ)。

3.5.2 元融合策略的有效性

為了驗(yàn)證元融合的有效性，對(duì)門(mén)控融合、直覺(jué)元融合 （MF-I） 和本文算法采用的神經(jīng)元融合（MF-N）3種策略進(jìn)行消融實(shí)驗(yàn)，在SIXray數(shù)據(jù)集和OPIXray數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表3所示。

表3 不同融合策略的消融實(shí)驗(yàn)結(jié)果

由表3可知：

（1）在3種融合策略中，神經(jīng)元融合的性能最好；

（2）相比于專家直覺(jué)給出的標(biāo)簽（即MF-I），由神經(jīng)網(wǎng)絡(luò)知識(shí)提供的標(biāo)簽（即MF-N）能夠更好地利用金字塔特征，從而獲得更好的泛化性能；

（3）MF-I在OPIXray數(shù)據(jù)集上的性能略有降低，原因可能是OPIXray數(shù)據(jù)集中違禁品的物理尺寸比SIXray數(shù)據(jù)集中的違禁品要小很多，由于先驗(yàn)知識(shí)與實(shí)際情況不匹配，故造成性能下降。

4 結(jié)束語(yǔ)

針對(duì)行李X光安檢圖像固有屬性與特點(diǎn)，提出基于原始輸入圖像信息的注意力機(jī)制，用于定位關(guān)鍵物品區(qū)域、減輕影像混疊狀態(tài)下背景干擾，還能夠挖掘細(xì)粒度可辨識(shí)特征；針對(duì)傳統(tǒng)無(wú)監(jiān)督學(xué)習(xí)可能造成的權(quán)重偏置現(xiàn)象，提出基于外部神經(jīng)知識(shí)的動(dòng)態(tài)元融合，對(duì)多層級(jí)特征的選擇融合進(jìn)行優(yōu)化。實(shí)驗(yàn)表明，本文提出的算法可有效避免物品圖像影像混疊干擾，通過(guò)對(duì)網(wǎng)絡(luò)多階段預(yù)測(cè)的自適應(yīng)融合，提升了對(duì)物品影像混疊和尺寸變化較大的行李安檢圖像的識(shí)別能力，有效提升了違禁品識(shí)別率。

在實(shí)際的行李安檢場(chǎng)景中，由于系統(tǒng)硬件資源與安檢人員精力均有限，可能無(wú)法應(yīng)對(duì)本文算法對(duì)外部模型依賴較強(qiáng)、訓(xùn)練流程相對(duì)繁瑣等問(wèn)題，影響算法的應(yīng)用效果。因此，如何挖掘模型本身豐富的多尺度特征信息，解耦對(duì)外部模型的深度依賴，以及簡(jiǎn)化模型訓(xùn)練與推理流程，將是下一階段的研究重點(diǎn)。