基于加權(quán)分類和樣本合成的卷煙圖像精細(xì)識(shí)別

韋泰丞 劉雁兵 陳浩 趙弘胤

摘要：為解決采集的卷煙圖像數(shù)據(jù)類別分布不均衡、樣本數(shù)量少帶來(lái)的識(shí)別率低的問(wèn)題，提出了一種基于加權(quán)分類損失和樣本合成的卷煙圖像精細(xì)識(shí)別模型。針對(duì)類別數(shù)量長(zhǎng)尾分布問(wèn)題，設(shè)計(jì)了一種新型的加權(quán)分類損失函數(shù)，用于增強(qiáng)對(duì)不同卷煙類別的學(xué)習(xí)能力；針對(duì)部分卷煙類別樣本數(shù)量少，在不增加采集成本情況下提出了一種高質(zhì)量卷煙虛擬樣本生成方法，極大地緩解了某些卷煙數(shù)據(jù)量不足、識(shí)別精度低下的問(wèn)題。模型在大規(guī)模真實(shí)測(cè)試集上進(jìn)行測(cè)試，卷煙的識(shí)別平均精確率達(dá)到95%。證明對(duì)于不同的復(fù)雜場(chǎng)景，模型的魯棒性強(qiáng)，可以在圖像翻轉(zhuǎn)、倒置的情況下準(zhǔn)確識(shí)別出不同卷煙類別，能夠滿足零售終端卷煙自動(dòng)化識(shí)別的需求，為建設(shè)終端評(píng)價(jià)系統(tǒng)提供了算法與模型支持。

關(guān)鍵詞：深度學(xué)習(xí)；神經(jīng)網(wǎng)絡(luò)；目標(biāo)檢測(cè)；卷煙識(shí)別；數(shù)據(jù)擴(kuò)增；長(zhǎng)尾分布

中圖分類號(hào)：TP391.4文獻(xiàn)標(biāo)志碼：A文章編號(hào)：1008-1739（2022）23-65-8

0引言

零售終端是零售產(chǎn)業(yè)鏈的重要組成部分，是零售商品實(shí)現(xiàn)最終銷售的關(guān)鍵環(huán)節(jié)。零售終端對(duì)于零售商品的品牌培育、產(chǎn)品銷售的作用愈發(fā)凸顯，了解自主品牌和其他工業(yè)公司品牌在零售終端的陳列狀況，根據(jù)零售終端總體情況針對(duì)性實(shí)施營(yíng)銷策略，對(duì)促進(jìn)品牌培育、擴(kuò)大品牌銷售和影響力十分重要。

近年來(lái)，人工智能技術(shù)在零售行業(yè)發(fā)展迅速，以圖像識(shí)別為代表的人工智能技術(shù)，給零售行業(yè)帶來(lái)了巨大的變動(dòng)與機(jī)遇。生鮮超市、智能便利店、無(wú)人貨架、自助售貨機(jī)等新概念遍地開(kāi)花，這些都離不開(kāi)以圖像識(shí)別為基礎(chǔ)的技術(shù)支撐，通過(guò)店鋪內(nèi)安裝攝像頭設(shè)備，實(shí)現(xiàn)客流統(tǒng)計(jì)、客流分析，同時(shí)準(zhǔn)確地把握顧客的年齡、性別和喜好，識(shí)別新老顧客，實(shí)現(xiàn)精準(zhǔn)的營(yíng)銷推廣活動(dòng)；通過(guò)店鋪陳列與客流停留時(shí)長(zhǎng)的分析，優(yōu)化店鋪布局和產(chǎn)品陳列方式，實(shí)現(xiàn)店鋪銷售額的提升。

在煙草零售行業(yè)中，傳統(tǒng)人工方式進(jìn)行在銷商品統(tǒng)計(jì)時(shí)面臨統(tǒng)計(jì)效率低、識(shí)別誤差大、人工成本高等問(wèn)題，每次統(tǒng)計(jì)需要較長(zhǎng)的統(tǒng)計(jì)周期，往往沒(méi)有辦法即時(shí)得到銷售信息等關(guān)鍵內(nèi)容，而通過(guò)人工智能等前沿技術(shù)對(duì)卷煙零售店中在銷的卷煙信息進(jìn)行采集和分析，可以幫助煙草工商企業(yè)更高效、及時(shí)地獲取卷煙在銷品類、規(guī)格以及不同卷煙的銷售情況。本文針對(duì)卷煙零售終端統(tǒng)計(jì)在銷商品時(shí)所面臨的統(tǒng)計(jì)效率低、數(shù)據(jù)長(zhǎng)尾分布、識(shí)別誤差大、人工成本高等問(wèn)題，通過(guò)計(jì)算機(jī)視覺(jué)和人工智能技術(shù)，構(gòu)建了一種加權(quán)分類和樣本合成的精細(xì)識(shí)別模型，主要貢獻(xiàn)有以下3點(diǎn)：

①為了更好地提取圖像中物體的特征信息，對(duì)網(wǎng)絡(luò)結(jié)構(gòu)的Backbone部分進(jìn)行了修改，使用分組級(jí)聯(lián)的結(jié)構(gòu)替換了網(wǎng)絡(luò)中的殘差模塊，增大了模型的感受野，幫助更好地提取物體的細(xì)節(jié)特征。

②提出一種針對(duì)樣本分布不均衡的分類損失函數(shù)，在訓(xùn)練過(guò)程中動(dòng)態(tài)地根據(jù)分類器對(duì)不同類別的正負(fù)梯度和得分調(diào)節(jié)損失的權(quán)重，有效提升數(shù)量稀少類別的識(shí)別精度。

③針對(duì)訓(xùn)練中樣本數(shù)量少的類別，提出高質(zhì)量虛擬樣本生成技術(shù)，在數(shù)據(jù)預(yù)處理階段生成大量多樣化的稀少類別虛擬樣本，緩解了樣本不均衡問(wèn)題。

1相關(guān)工作

1.1相關(guān)背景

目標(biāo)檢測(cè)任務(wù)是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)基礎(chǔ)任務(wù)，其目的是對(duì)輸入的圖像或視頻中出現(xiàn)的物體進(jìn)行分類和定位。目標(biāo)檢測(cè)作為場(chǎng)景理解的重要組成部分，廣泛應(yīng)用于現(xiàn)代生活的許多領(lǐng)域，如安全領(lǐng)域、軍事領(lǐng)域、交通領(lǐng)域、醫(yī)療領(lǐng)域和生活領(lǐng)域。當(dāng)前的目標(biāo)檢測(cè)方法可以劃分為三大類：基于傳統(tǒng)方法的目標(biāo)檢測(cè)方法、基于深度學(xué)習(xí)的雙階段目標(biāo)檢測(cè)方法和基于深度學(xué)習(xí)的單階段目標(biāo)檢測(cè)方法。

傳統(tǒng)目標(biāo)檢測(cè)算法主要基于手工方式提取特征，該方法用于從指定區(qū)域中提取特征，再把得到的特征輸入線性SVM分類器進(jìn)行檢測(cè)。由于傳統(tǒng)方法需要通過(guò)滑動(dòng)窗口來(lái)獲取候選區(qū)域，且特征提取算法往往需要通過(guò)手工設(shè)計(jì)，這類方法存在識(shí)別效果不佳、準(zhǔn)確率不高、計(jì)算量較大、運(yùn)算速度慢等缺陷，所以一直沒(méi)有很好地應(yīng)用。

以YOLO[1-3]系列為代表的單階段目標(biāo)檢測(cè)算法不需要區(qū)域候選框生成，而是將檢測(cè)任務(wù)視為一個(gè)回歸問(wèn)題，直接通過(guò)卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)物體的類別和位置坐標(biāo)值，并對(duì)檢測(cè)的性能進(jìn)行了優(yōu)化[4]。隨后提出的RetinaNet[5]，SSD[6]等模型，加入了多尺度融合機(jī)制，提升了不同尺度下的物體和小目標(biāo)的檢測(cè)精度。這類方法的特點(diǎn)是檢測(cè)速度快、模型參數(shù)量小，但是受限于輸入尺寸無(wú)法在卷煙密集場(chǎng)景下取得很好的檢測(cè)效果。

而雙階段模型近年來(lái)大部分基于Faster-RCNN[7]，Cascade-RCNN[8]等，雙階段目標(biāo)檢測(cè)器主要由以下2個(gè)階段構(gòu)成：從圖中生成候選區(qū)域，對(duì)候選區(qū)域提取特征經(jīng)過(guò)分類和回歸層得到最終的分類和回歸結(jié)果。這類方法利用滑動(dòng)窗口和錨框生成手段，對(duì)圖像中密集出現(xiàn)的卷煙目標(biāo)可以有很好的檢測(cè)效果，但是面對(duì)長(zhǎng)尾分布的數(shù)據(jù)，會(huì)由于不均衡的數(shù)據(jù)分布導(dǎo)致對(duì)樣本數(shù)量少的類別檢測(cè)效果不佳，影響整體性能表現(xiàn)。

1.2卷煙圖像識(shí)別的技術(shù)現(xiàn)狀

近年來(lái)，人工智能技術(shù)[9]在煙草行業(yè)發(fā)展迅速。其中，洪金華等[10]使用YOLOv3模型對(duì)煙蟲(chóng)進(jìn)行檢測(cè)；高震宇等[11]使用卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)煙絲物質(zhì)組成；肖雷雨等[12]利用深度學(xué)習(xí)技術(shù)檢測(cè)煙梗形態(tài)；鄧超等[13]利用深度學(xué)習(xí)構(gòu)建卷煙投放預(yù)測(cè)模型。在卷煙零售端，也有利用深度學(xué)習(xí)方法進(jìn)行場(chǎng)景文本識(shí)別[14-15]，梁冬等[16]提出了基于圖像識(shí)別技術(shù)的卷煙零售數(shù)據(jù)采集方法；單宇翔等[17]提出了基于深度學(xué)習(xí)的復(fù)雜場(chǎng)景中卷煙煙盒檢測(cè)與識(shí)別方法，這些方法利用關(guān)鍵點(diǎn)檢測(cè)與分割方法進(jìn)行了探索并取得了一定的效果，但對(duì)于大規(guī)模多類別的卷煙識(shí)別效果仍有待提高。在國(guó)外，卷煙識(shí)別任務(wù)主要關(guān)注于吸煙行為的檢測(cè)[18]，對(duì)于卷煙種類識(shí)別任務(wù)還處于探索階段。

卷煙識(shí)別任務(wù)需要對(duì)零售店鋪中出現(xiàn)的卷煙煙盒進(jìn)行定位和識(shí)別，該任務(wù)目前仍面臨許多挑戰(zhàn)。由于零售終端行業(yè)在各個(gè)城市發(fā)展各不相同，卷煙零售店鋪可能包含了超市、便利店、直營(yíng)店鋪等各種類型，店鋪條件的差異導(dǎo)致采集的煙盒圖像差異巨大。同時(shí)，由于沒(méi)有統(tǒng)一的行業(yè)采集標(biāo)準(zhǔn)，采集圖片受到采集人員、采集設(shè)備、光照等因素的影響，使得采集圖像規(guī)格各異，其中出現(xiàn)的遮擋、過(guò)曝、過(guò)暗、拍攝角度不同等都會(huì)使得同一個(gè)類別卷煙煙盒的外在特征產(chǎn)生很大差異。另外，由于卷煙品牌數(shù)量眾多，新品迭代更新快，部分品牌的卷煙外觀差異非常小，對(duì)檢測(cè)器性能提出了更高的要求。如何在密集出現(xiàn)、相鄰擺放的場(chǎng)景中很好地區(qū)分不同品種的卷煙是一個(gè)很大的挑戰(zhàn)。此外，由于卷煙種類繁多，在采集時(shí)很難均衡地對(duì)每個(gè)類別進(jìn)行采樣，而受限于人工標(biāo)注的成本，如何在數(shù)據(jù)量不充分且存在不均衡卷煙種類分布的情況下，得到對(duì)所有類別良好的檢測(cè)性能是該任務(wù)面臨的第二個(gè)挑戰(zhàn)。

2基于加權(quán)分類損失和樣本生成的卷煙精細(xì)識(shí)別方法

2.1整體模型架構(gòu)

由于卷煙識(shí)別需要在復(fù)雜多樣的環(huán)境下對(duì)多種類別的卷煙進(jìn)行識(shí)別，對(duì)于網(wǎng)絡(luò)的特征提取能力有很大的要求，傳統(tǒng)Faster-RCNN網(wǎng)絡(luò)使用的特征提取模塊的卷積核感受野較小，對(duì)圖像中某些細(xì)節(jié)特征提取能力不足，因此本文利用分組級(jí)聯(lián)的Res2net[19]模塊替換了原始網(wǎng)絡(luò)中的卷積模塊，增強(qiáng)了網(wǎng)絡(luò)的特征提取能力。針對(duì)卷煙數(shù)據(jù)類別存在的樣本不均衡問(wèn)題，從數(shù)據(jù)與模型2個(gè)角度出發(fā)，設(shè)計(jì)了可以根據(jù)梯度自適應(yīng)調(diào)節(jié)損失權(quán)重的類別自適應(yīng)加權(quán)損失，以提升稀少類別的分類性能；同時(shí)提出卷煙虛擬樣本生成技術(shù)，對(duì)稀少的數(shù)據(jù)類別進(jìn)行擴(kuò)增，有效改善了樣本分布不均衡的問(wèn)題。模型的整體架構(gòu)如圖1所示。

首先使用虛擬樣本生成技術(shù)，抽取樣本數(shù)量少的類別，經(jīng)過(guò)隨機(jī)數(shù)據(jù)增強(qiáng)后得到多樣化的樣本，通過(guò)一定的排列規(guī)則與背景場(chǎng)景構(gòu)造虛擬樣本，并和原始數(shù)據(jù)一起送入模型進(jìn)行訓(xùn)練。隨后模型會(huì)將輸入圖片經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)得到特征圖，特征圖通過(guò)區(qū)域候選網(wǎng)絡(luò)得到大量可能包含目標(biāo)的候選框，并經(jīng)過(guò)RoI池化層進(jìn)一步壓縮特征得到候選框的特征圖。最后在得到的特征圖后連接2個(gè)全連接層對(duì)物體類別和位置進(jìn)行預(yù)測(cè)。模型在訓(xùn)練過(guò)程中使用類別自適應(yīng)加權(quán)損失動(dòng)態(tài)調(diào)節(jié)各個(gè)類別的正負(fù)梯度，使得每個(gè)類別都可以得到較好的訓(xùn)練，經(jīng)過(guò)多個(gè)輪次的訓(xùn)練后，得到最終的卷煙精細(xì)識(shí)別模型。

2.2分組級(jí)聯(lián)特征提取模塊

為了使Faster-RCNN模型更好地契合卷煙檢測(cè)場(chǎng)景，解決對(duì)于多種不同卷煙類別的精確識(shí)別，需要更好地提取圖像中卷煙煙盒的外在特征信息。針對(duì)上述問(wèn)題，本文使用分組級(jí)聯(lián)的方式重新設(shè)計(jì)了網(wǎng)絡(luò)Backbone模塊中的殘差模塊。圖2展示了Backbone網(wǎng)絡(luò)結(jié)構(gòu)，圖像依次經(jīng)過(guò)幾個(gè)卷積模塊，得到包含目標(biāo)特征的特征圖，其中每個(gè)卷積模塊由若干個(gè)BottleNeck殘差模塊堆疊而成。通過(guò)引入殘差結(jié)構(gòu)，解決了隨著網(wǎng)絡(luò)深度增加，而性能下降的“退化”問(wèn)題；另一方面，利用2個(gè)1×1卷積進(jìn)行降維與升維操作，有效降低了卷積操作的計(jì)算量。

為了進(jìn)一步增強(qiáng)網(wǎng)絡(luò)對(duì)于圖像中物體細(xì)節(jié)特征的提取能力，使用Res2net模塊替換了Conv1，Conv2_x，Conv3_x，Conv4_x，Conv5_x中所有的BottleNeck結(jié)構(gòu)。將通過(guò)原有的3×3卷積替換為了更細(xì)粒度的按照通道維度分組的3×3卷積核結(jié)構(gòu)，通道的不同組之間會(huì)進(jìn)行信息的交互，4的輸出中包含了2，3，4維度的所有信息，同時(shí)由于經(jīng)過(guò)了多個(gè)3×3卷積核，使得網(wǎng)絡(luò)輸出相較于原始的BottleNeck結(jié)構(gòu)擁有更大的感受野，從而能夠更好地提取圖像中豐富的細(xì)節(jié)特征信息。

2.3類別自適應(yīng)加權(quán)損失

由于不同品牌、規(guī)格卷煙的上架率不同，采集到的數(shù)據(jù)集存在嚴(yán)重的類別不均衡問(wèn)題。不同類別樣本數(shù)目的不均衡會(huì)影響模型對(duì)于該類別的識(shí)別效果，進(jìn)而影響模型整體精度。經(jīng)過(guò)對(duì)數(shù)據(jù)集的分析，發(fā)現(xiàn)卷煙圖像樣本的數(shù)據(jù)分布符合長(zhǎng)尾分布，如圖3所示。這是一種數(shù)據(jù)分布不均衡的問(wèn)題，少數(shù)的幾個(gè)卷煙類別占據(jù)數(shù)據(jù)集中很大的比重，而許多類別只有很少的數(shù)據(jù)量，導(dǎo)致訓(xùn)練過(guò)程中大量來(lái)自頭部類別的負(fù)向梯度淹沒(méi)尾部類別的正向梯度，從而導(dǎo)致檢測(cè)模型在尾部類別上的精度下降嚴(yán)重。

為了解決這一問(wèn)題，本文設(shè)計(jì)了類別自適應(yīng)加權(quán)損失來(lái)解決卷煙數(shù)據(jù)集中的類別不均衡問(wèn)題。類別自適應(yīng)加權(quán)損失通過(guò)保留網(wǎng)絡(luò)對(duì)于容易混淆類別之間的抑制梯度來(lái)保留網(wǎng)絡(luò)對(duì)于易混淆類別的判別力，同時(shí)在訓(xùn)練過(guò)程中減小頭部類別對(duì)于尾部類別過(guò)多的負(fù)向抑制梯度。損失函數(shù)通過(guò)動(dòng)態(tài)加權(quán)的方式在訓(xùn)練中自適應(yīng)地調(diào)節(jié)權(quán)重的大小，使得網(wǎng)絡(luò)可以在訓(xùn)練過(guò)程中根據(jù)不同類別的學(xué)習(xí)狀況自適應(yīng)地進(jìn)行調(diào)整。

2.4高質(zhì)量卷煙虛擬樣本生成

由于采集的卷煙種類繁多，部分卷煙類別由于上柜率較低，在采集到的圖像中涵蓋這些類別的圖像數(shù)量較少，導(dǎo)致在模型訓(xùn)練時(shí)該類別無(wú)法得到充分的訓(xùn)練，影響到模型檢測(cè)的效果。為緩解該問(wèn)題，加入了卷煙虛擬樣本生成技術(shù)，對(duì)采集數(shù)量較少的卷煙類別圖像進(jìn)行數(shù)據(jù)擴(kuò)增。由于在銷卷煙圖像排列有規(guī)律、場(chǎng)景固定，基于以上特點(diǎn)，利用Copy-and-Paste方法，將卷煙樣本依照類別間關(guān)系粘貼到背景圖像上，得到人工生成的虛擬樣本，并將其加入到數(shù)據(jù)集中訓(xùn)練模型，從而提高對(duì)于真實(shí)圖像中數(shù)量少的卷煙類別的識(shí)別能力和性能，如圖4所示。

考慮到人工收集的數(shù)據(jù)遠(yuǎn)少于真實(shí)數(shù)據(jù)集中的數(shù)據(jù)，為了增強(qiáng)虛擬樣本方法生成圖像的多樣性，在每一次擴(kuò)充過(guò)程中加入了圖像尺度隨機(jī)抖動(dòng)、基于HSV顏色空間的數(shù)據(jù)增強(qiáng)、隨機(jī)翻轉(zhuǎn)等圖像增強(qiáng)手段，增加圖像的豐富度：①尺度隨機(jī)抖動(dòng)，將收集到的待擴(kuò)增的圖像大小隨機(jī)在0.5～1.5的倍率選擇一個(gè)系數(shù)進(jìn)行放縮變化。②基于HSV空間的數(shù)據(jù)增強(qiáng)，將圖像從RGB空間轉(zhuǎn)為HSV空間，隨后從色相、飽和度、亮度這3個(gè)維度值對(duì)圖像進(jìn)行微調(diào)，調(diào)節(jié)范圍保持在0.8～1.2，模仿不同光照下的采集圖像，為了不生成過(guò)于失真的圖像，在較小的范圍內(nèi)進(jìn)行調(diào)節(jié)，從而進(jìn)一步增強(qiáng)了擴(kuò)增圖像的多樣性，RGB到HSV轉(zhuǎn)換如式（11）～式（14）所示，其中R，G，B代表紅綠藍(lán)3個(gè)顏色通道，每種亮度各分為256階亮度。H代表色相，用角度度量取值為0°～360°，從紅色開(kāi)始按逆時(shí)針?lè)较蛴?jì)算，紅色為0°，綠色為120°，藍(lán)色為240°，轉(zhuǎn)換如式（11）和式（12）所示；S代表飽和度，表示顏色接近光譜色的程度，取值為0%～100%，值越大代表顏色越飽和，其轉(zhuǎn)換如式（13）所示；V代表亮度，表示顏色的明亮程度，通常取值為0%（黑），100%（白），其轉(zhuǎn)換如式（14）所示。③隨機(jī)翻轉(zhuǎn)，隨機(jī)對(duì)擴(kuò)增卷煙的實(shí)例進(jìn)行水平翻轉(zhuǎn)操作，增強(qiáng)模型的魯棒性。以上所有增強(qiáng)操作都取=0.5的概率，隨機(jī)對(duì)圖像進(jìn)行擴(kuò)增組合，使每一次生成的圖像都是不同數(shù)據(jù)增強(qiáng)方法的隨機(jī)組合。因此，即使僅通過(guò)少量采集圖像，也能擴(kuò)增出大量多樣化的虛擬樣本，有效解決某些類別樣本數(shù)量少的問(wèn)題。

3數(shù)據(jù)與評(píng)價(jià)指標(biāo)

3.1實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)數(shù)據(jù)使用山東泰安卷煙零售終端采集到的前柜、背柜圖像。圖像中包含店鋪在銷的不同品牌卷煙煙盒陳列圖像，其中包含的卷煙種類共計(jì)207。對(duì)1 200家店鋪進(jìn)行了數(shù)據(jù)采樣，通過(guò)手機(jī)、相機(jī)等設(shè)備對(duì)經(jīng)營(yíng)店鋪的前柜、背柜進(jìn)行拍攝采樣。采樣時(shí)采取正面俯拍的角度進(jìn)行拍攝，減少大角度傾斜的拍攝情況，對(duì)每家店鋪不重復(fù)地采集前柜數(shù)據(jù)2～3張，背柜數(shù)據(jù)2～3張。按要求匯總后經(jīng)過(guò)數(shù)據(jù)清洗，去除部分拍攝質(zhì)量低（模糊、過(guò)曝、過(guò)暗）的圖像，最終得到用于訓(xùn)練與測(cè)試的卷煙圖像共計(jì)5 000張。

3.2實(shí)驗(yàn)方法

實(shí)驗(yàn)使用采集到的店鋪前柜、背柜圖像共5 000張，將其劃分為訓(xùn)練集和測(cè)試集，訓(xùn)練集包含圖像4 500張，測(cè)試集包含圖像500張。訓(xùn)練集作為訓(xùn)練數(shù)據(jù)用于訓(xùn)練卷煙精細(xì)識(shí)別模型。測(cè)試集用于評(píng)估模型的精確率以及各類別的識(shí)別效果。本文基于目標(biāo)檢測(cè)雙階段模型Faster R-CNN，以原始Faster R-CNN訓(xùn)練結(jié)果作為基線，通過(guò)實(shí)驗(yàn)對(duì)比驗(yàn)證了分組級(jí)聯(lián)特征提取模塊的有效性，對(duì)本文提出的類別自適應(yīng)加權(quán)損失、高質(zhì)量虛擬樣本在長(zhǎng)尾分布下尾部類別數(shù)據(jù)的作用進(jìn)行了驗(yàn)證。

3.3實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

針對(duì)卷煙圖像識(shí)別效果的評(píng)價(jià)，需要根據(jù)模型對(duì)卷煙的類別信息和位置信息進(jìn)行綜合評(píng)價(jià)。為了更好地評(píng)價(jià)模型性能，依據(jù)單類別識(shí)別平均精確率（AveragePrecision，AP）和全部類別平均精確率（mean Average Precision，mAP）對(duì)煙盒識(shí)別模型進(jìn)行評(píng)估，計(jì)算如下：

4實(shí)驗(yàn)結(jié)果

4.1實(shí)驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)采用Faster-RCNN模型為基礎(chǔ)，加入特征金字塔結(jié)構(gòu)從而更好地提取圖像中的語(yǔ)義信息，采用2.3節(jié)的類別自適應(yīng)加權(quán)損失函數(shù)和2.4節(jié)中高質(zhì)量卷煙虛擬樣本生成方法增強(qiáng)后的數(shù)據(jù)集進(jìn)行模型的訓(xùn)練。為了增強(qiáng)模型的魯棒性，在訓(xùn)練中加入了多尺度訓(xùn)練和隨機(jī)旋轉(zhuǎn)的數(shù)據(jù)增強(qiáng)，模型共經(jīng)過(guò)72個(gè)訓(xùn)練周期的迭代，使用隨機(jī)梯度下降法對(duì)模型進(jìn)行優(yōu)化，初始學(xué)習(xí)率設(shè)置為0.01，在第44和第60個(gè)訓(xùn)練周期時(shí)將學(xué)習(xí)率縮放為原來(lái)的1/10。實(shí)驗(yàn)運(yùn)行使用的顯卡為4塊GeForce GTX 1080 Ti。模型訓(xùn)練的損失曲線如圖5所示?？梢钥闯?，當(dāng)?shù)喆螢?0 000時(shí)，損失值趨于穩(wěn)定收斂。

4.2測(cè)試結(jié)果分析

選取原始Faster-RCNN模型作為基準(zhǔn)進(jìn)行對(duì)比測(cè)試，結(jié)果如表1所示。由表1可以看出，在相同的模型骨架和不使用數(shù)據(jù)擴(kuò)增的情況下，相對(duì)比基準(zhǔn)網(wǎng)絡(luò)與分類層微調(diào)訓(xùn)練的方法，加入類別自適應(yīng)加權(quán)損失后，模型取得了最優(yōu)的效果，可以在原始模型上提高平均識(shí)別精確率2.1個(gè)百分點(diǎn)。而使用數(shù)據(jù)擴(kuò)增后數(shù)據(jù)集進(jìn)行訓(xùn)練的方式可以使模型性能進(jìn)一步提升，相對(duì)于原始數(shù)據(jù)訓(xùn)練，取得了7.2個(gè)百分點(diǎn)的提升。最終，加入替換模型骨架為具有更強(qiáng)特征提取能力的Res2net網(wǎng)絡(luò)結(jié)構(gòu)，綜合使用數(shù)據(jù)擴(kuò)增和類別自適應(yīng)加權(quán)損失取得了最優(yōu)效果，可以在200余類卷煙種類下，達(dá)到95%的模型識(shí)別精度，同時(shí)具有較強(qiáng)的泛化性，可以應(yīng)對(duì)密集場(chǎng)景和旋轉(zhuǎn)、顛倒圖像的卷煙識(shí)別。