多尺度區(qū)域特征的細(xì)粒度分類(lèi)算法研究

熊昌鎮(zhèn)， 蔣 杰

(北方工業(yè)大學(xué) 城市道路交通智能控制技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室 北京 100144)

0 引言

細(xì)粒度檢測(cè)任務(wù)是對(duì)具有相同結(jié)構(gòu),但是存在一些細(xì)微差異的對(duì)象進(jìn)行識(shí)別,這需要提取表征對(duì)象細(xì)微差異的特征才能實(shí)現(xiàn)正確的識(shí)別.傳統(tǒng)的特征表示有灰度特征、顏色特征[1]、梯度直方圖特征[2]、費(fèi)舍爾向量特征[3]、核描述子[4]等特征,但這些傳統(tǒng)的特征在細(xì)粒度識(shí)別方法上都無(wú)法取得良好的效果.隨著深度學(xué)習(xí)的興起,產(chǎn)生了一些與深度學(xué)習(xí)相關(guān)的細(xì)粒度分類(lèi)和檢測(cè)的成果,如Yang等[5]使用GoogleNet[6]研究了CompCars數(shù)據(jù)集在各卷積模型下的精細(xì)分類(lèi)效果.Sochor等[7]提出一種使用車(chē)輛的3D 矩形標(biāo)注信息，及視角向量等附加信息作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，來(lái)進(jìn)行車(chē)型精細(xì)識(shí)別的方法,取得了良好的效果.Lin等[8]通過(guò)車(chē)輛的部分零件定位信息擬合出車(chē)輛的3D模型,從而將車(chē)輛的3D信息用于細(xì)粒度分類(lèi),取得了較好的分類(lèi)效果.Sermanet等[9]研究了注意力模型在細(xì)粒度分類(lèi)中的應(yīng)用.Xiao等[10]研究了在卷積神經(jīng)網(wǎng)絡(luò)中用兩級(jí)注意力模型來(lái)進(jìn)行細(xì)粒度分類(lèi)的工作,從而有效避免了使用代價(jià)較大的包圍盒標(biāo)注以及部分零件標(biāo)注的工作.Gavves等[11]研究了費(fèi)舍爾向量表征目標(biāo)部分零件定位信息來(lái)進(jìn)行細(xì)粒度分類(lèi)的方法,取得了不錯(cuò)的結(jié)果.Berg等[2]對(duì)每對(duì)關(guān)鍵點(diǎn)學(xué)習(xí)一個(gè)描述子,從而學(xué)習(xí)到一系列有高度差異性的中間特征用于識(shí)別.Chai等[3]發(fā)現(xiàn)聯(lián)合學(xué)習(xí)局部定位和前景分割信息有助于細(xì)粒度分類(lèi)任務(wù).Branson等[12]發(fā)現(xiàn)集成低層和高層的特征可以有效地改善細(xì)粒度識(shí)別.Simon等[13]提出一系列神經(jīng)激活的方法,可以通過(guò)無(wú)監(jiān)督學(xué)習(xí)來(lái)學(xué)習(xí)部分零件模型.Krause等[14]在無(wú)監(jiān)督學(xué)習(xí)的條件下,通過(guò)共同分割的方法生成部分零件來(lái)進(jìn)行細(xì)粒度的識(shí)別.

隨著神經(jīng)網(wǎng)絡(luò)模型的不斷優(yōu)化,目標(biāo)檢測(cè)領(lǐng)域的研究也取得了很多成果,特別是基于區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法,即RCNN[15].在此基礎(chǔ)上出現(xiàn)了SPPNET[16]、FAST-RCNN[17]、FASTER-RCNN[18]等改進(jìn)的算法.從傳統(tǒng)的目標(biāo)檢測(cè)算法到最新的FASTER-RCNN等目標(biāo)檢測(cè)算法和模型的快速更新,IMAGENET數(shù)據(jù)集的檢測(cè)精度和檢測(cè)時(shí)間得到很大提升.最重要的識(shí)別精度、定位準(zhǔn)確性、實(shí)時(shí)性幾個(gè)方面都得到了較大的提升.還有一些深度學(xué)習(xí)目標(biāo)檢測(cè)的算法采用回歸的方法,如YOLO[19]和SSD[20].YOLO將輸入圖像分成S×S個(gè)格子,每個(gè)格子負(fù)責(zé)檢測(cè)落入該格子的物體,選擇目標(biāo)窗口和原來(lái)標(biāo)記窗口的交疊率最高的檢測(cè)框作為物體檢測(cè)輸出.SSD 是基于一個(gè)前向傳播 CNN 網(wǎng)絡(luò),產(chǎn)生一系列固定大小的包圍盒檢測(cè)框,判斷每一個(gè)檢測(cè)框中包含物體實(shí)例的可能性,最后采用一個(gè)非極大值抑制算法得到最終的預(yù)測(cè)結(jié)果.

Sun等[21]研究了在FASTER-RCNN框架下將樣本送入卷積網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并對(duì)輸入卷積網(wǎng)絡(luò)訓(xùn)練的圖像做多尺度縮放，又利用串聯(lián)多個(gè)卷積特征層的池化結(jié)果作為最后的池化層做人臉細(xì)粒度識(shí)別的任務(wù).Zhang等[22]研究了基于部分區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)方法，并基于部分區(qū)域卷積網(wǎng)絡(luò)的特征進(jìn)行細(xì)粒度檢測(cè),即將RCNN改進(jìn)用于細(xì)粒度檢測(cè),取得了很好的結(jié)果.唐斯琪等[23]研究了一種基于特征圖融合的多列卷積神經(jīng)網(wǎng)絡(luò)的人群密度估計(jì)算法,取得了較好的效果.朱威威等[24]提出了一種魯棒性自適應(yīng)模糊C均值算法，得到了更好的圖像分割質(zhì)量.

為了避免圖像背景對(duì)細(xì)粒度識(shí)別算法的影響,以及定位表征目標(biāo)物體全局信息和局部特征信息的多尺度區(qū)域,從而構(gòu)建并組合更能表征目標(biāo)特性的高維度特征向量.本文在FASTER-RCNN框架下,在文獻(xiàn)[22]的基礎(chǔ)上，提出一種基于多尺度區(qū)域卷積特征的細(xì)粒度分類(lèi)算法.首先利用多尺度區(qū)域數(shù)據(jù)集對(duì)FASTER-RCNN框架下的模型進(jìn)行微調(diào)訓(xùn)練，產(chǎn)生多個(gè)網(wǎng)絡(luò)模型,檢測(cè)出物體的多尺度區(qū)域特征,然后使用包圍盒約束和海倫約束將多尺度區(qū)域特征整合在一起，訓(xùn)練支持向量機(jī)分類(lèi)器進(jìn)行細(xì)粒度的圖像識(shí)別.

1 多尺度區(qū)域特征分類(lèi)算法

1.1 多尺度區(qū)域信息標(biāo)注

為了微調(diào)多個(gè)區(qū)域尺度的FASTER-RCNN的網(wǎng)絡(luò)模型,需要對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行多尺度目標(biāo)區(qū)域標(biāo)注.將檢測(cè)的目標(biāo)區(qū)域分為3個(gè)尺度,最內(nèi)層的尺度為p0區(qū)域,中間的尺度為p1區(qū)域,最外圍的部分為完整的目標(biāo)區(qū)域.目標(biāo)區(qū)域包含p1和p0區(qū)域,p1區(qū)域包含p0區(qū)域.其中最內(nèi)層p0區(qū)域的標(biāo)注信息和中間部分p1區(qū)域的標(biāo)注信息分別為

1.2 包圍盒約束的算法

根據(jù)多尺度區(qū)域互相包含的關(guān)系,可以對(duì)檢測(cè)的結(jié)果進(jìn)行包圍盒約束算法優(yōu)化.為有效篩選出準(zhǔn)確包含多尺度區(qū)域信息的檢測(cè)框,并使得檢測(cè)出的多尺度區(qū)域檢測(cè)框的質(zhì)量和檢測(cè)的定位準(zhǔn)確度有所提高,需要設(shè)計(jì)p1區(qū)域包含在物體目標(biāo)區(qū)域內(nèi),p0區(qū)域包含在p1區(qū)域內(nèi),即

Δbox(X)=Tbox(p0)Tbox(p1)Tp1(p0)≠0.

設(shè)置ε值為10,選擇滿(mǎn)足上述關(guān)系的檢測(cè)框，并且優(yōu)先選擇FASTER-RCNN檢測(cè)的包含目標(biāo)物體得分概率分?jǐn)?shù)依大到小排序靠前的檢測(cè)框.式中box表示檢測(cè)到的完整目標(biāo)區(qū)域.

1.3 海倫約束算法

由于包圍盒約束僅能確定各尺度區(qū)域的包含關(guān)系,無(wú)法很好將所有尺度區(qū)域的檢測(cè)框中心點(diǎn)約束在同一個(gè)像素點(diǎn).各尺度區(qū)域檢測(cè)框的中心點(diǎn)即為各區(qū)域檢測(cè)框?qū)蔷€的交點(diǎn),而將所有尺度檢測(cè)框中心點(diǎn)約束在同一個(gè)像素點(diǎn)可以求出檢測(cè)位置更精確的檢測(cè)框,平面上不在同一條直線上的3個(gè)點(diǎn)唯一確定一個(gè)外接圓,故而首先計(jì)算多尺度區(qū)域的中心點(diǎn)坐標(biāo).目標(biāo)物體的檢測(cè)中心點(diǎn)坐標(biāo)計(jì)算公式、目標(biāo)物體中間層區(qū)域檢測(cè)框p1的中心點(diǎn)坐標(biāo)公式以及目標(biāo)物體最內(nèi)層區(qū)域檢測(cè)框p0的中心點(diǎn)坐標(biāo)公式分別為

各中心點(diǎn)坐標(biāo)之間的距離分別用a、b、c表示.定義a為最內(nèi)層區(qū)域p0中心點(diǎn)和最外圍的目標(biāo)整體區(qū)域中心點(diǎn)的距離;定義b為中間層區(qū)域p1中心點(diǎn)和最外圍的目標(biāo)整體區(qū)域中心點(diǎn)的距離;定義c為最內(nèi)層區(qū)域p0中心點(diǎn)和中間層區(qū)域p1中心點(diǎn)的距離.計(jì)算各中心點(diǎn)坐標(biāo)之間的距離公式分別為

各尺度區(qū)域中心點(diǎn)組成的三角形的周長(zhǎng)的一半用p表示,計(jì)算連接各中心坐標(biāo)的三角形的外接圓面積用S表示,即

設(shè)置面積S的最大值為120，即計(jì)算出的面積S的大小不能超過(guò)120,挑選FASTER-RCNN提取的候選框中包含物體得分概率分?jǐn)?shù)排序靠前，且滿(mǎn)足海倫檢測(cè)約束條件的目標(biāo)物體和各尺度區(qū)域檢測(cè)框.

1.4 多尺度區(qū)域特征分類(lèi)器

在用包圍盒約束算法和海倫約束算法進(jìn)行多尺度目標(biāo)定位優(yōu)化后,采用多尺度區(qū)域模型分別提取目標(biāo)的3個(gè)尺度區(qū)域的特征.每個(gè)尺度區(qū)域的特征為4 096維,將3個(gè)4 096維的特征串聯(lián)組合后形成12 288維的特征,然后使用支持向量機(jī)訓(xùn)練分類(lèi)器.

2 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)的平臺(tái)為Ubuntu16.04系統(tǒng)下的Matlab R2015b,所有的實(shí)驗(yàn)均在配置為Intel Core i5-4590 CPU,GTX1070 GPU,內(nèi)存為8 GB的臺(tái)式電腦上完成.實(shí)驗(yàn)中所用的車(chē)型數(shù)據(jù)集為CompCars數(shù)據(jù),實(shí)驗(yàn)共使用其中的431個(gè)類(lèi)型不同的汽車(chē)模型,共計(jì)20 673張圖片,隨機(jī)抽取70%的圖片作為訓(xùn)練數(shù)據(jù)集,30%的圖片為測(cè)試數(shù)據(jù)集.實(shí)驗(yàn)所用的鳥(niǎo)類(lèi)數(shù)據(jù)集為Caltech-UCSD鳥(niǎo)類(lèi)數(shù)據(jù)集,共使用鳥(niǎo)類(lèi)數(shù)據(jù)集圖片11 788張,共200個(gè)類(lèi)別.其中50%的圖片作為訓(xùn)練集,50%的圖片作為測(cè)試集.實(shí)驗(yàn)所用的網(wǎng)絡(luò)模型為ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的牛津大學(xué)幾何視覺(jué)組(visual geometry group,VGG)的VGG-19模型.在此模型的基礎(chǔ)上進(jìn)行網(wǎng)絡(luò)微調(diào)得到3個(gè)尺度區(qū)域特征的模型.微調(diào)訓(xùn)練的參數(shù)采用分階段學(xué)習(xí)率,在模型訓(xùn)練15萬(wàn)次迭代之前采用0.001的學(xué)習(xí)率,在模型訓(xùn)練15萬(wàn)次迭代之后設(shè)置學(xué)習(xí)率為0.000 1.

圖1實(shí)線矩形框和虛線矩形框分別顯示了3個(gè)尺度的目標(biāo)定位結(jié)果和采用包圍盒和海倫約束前后的結(jié)果.圖1(a)和(d)表示整體目標(biāo)區(qū)域定位的結(jié)果，圖1(b)和(e)表示p1區(qū)域定位的結(jié)果，圖1(c)和(f)表示p0區(qū)域定位的結(jié)果.圖1(a)的車(chē)型圖片的整體目標(biāo)區(qū)域定位的結(jié)果存在偏差,圖1(d)和(e)的鳥(niǎo)類(lèi)圖片的整體目標(biāo)區(qū)域定位的結(jié)果存在偏差,采用2種約束優(yōu)化的定位的結(jié)果用虛線矩形框顯示,可以看出約束優(yōu)化后的結(jié)果定位更加精確.從圖1(c)和(f)的區(qū)域檢測(cè)結(jié)果可以看出，最小尺度的區(qū)域基本上消除了背景的影響或者只有少量的背景信息.并且由圖可知算法構(gòu)建的最小尺度的特征信息很好反映了目標(biāo)物體中心矩形區(qū)域的局部信息,算法構(gòu)建的中間層區(qū)域特征信息反映了較大范圍的目標(biāo)局部信息,算法構(gòu)建的最大尺度的特征信息即為目標(biāo)的全局信息,是一種比較普適的方法.

圖1 目標(biāo)檢測(cè)約束算法前后效果圖Fig.1 Pictures before and after target detection constraint algorithm

本文算法在Caltech-UCSD鳥(niǎo)類(lèi)數(shù)據(jù)集和CompCars車(chē)型數(shù)據(jù)集精細(xì)化分類(lèi)的結(jié)果如下所述.在Caltech-UCSD鳥(niǎo)類(lèi)數(shù)據(jù)集中只用單個(gè)目標(biāo)整體區(qū)域的特征的分類(lèi)準(zhǔn)確率為0.753,僅使用包圍盒約束算法優(yōu)化并將3個(gè)尺度區(qū)域特征組合訓(xùn)練分類(lèi)器進(jìn)行分類(lèi)的準(zhǔn)確率為0.791,僅使用海倫約束算法優(yōu)化的分類(lèi)準(zhǔn)確率為0.805；組合包圍盒約束和海倫約束優(yōu)化后的分類(lèi)準(zhǔn)確率為0.828.在CompCars車(chē)型數(shù)據(jù)集上只用單個(gè)目標(biāo)整體區(qū)域的特征的分類(lèi)準(zhǔn)確率為0.852,僅使用包圍盒約束算法優(yōu)化并將3個(gè)尺度區(qū)域特征組合訓(xùn)練分類(lèi)器進(jìn)行分類(lèi)的準(zhǔn)確率為0.898,僅使用海倫約束算法優(yōu)化的分類(lèi)準(zhǔn)確率為0.903,組合包圍盒約束和海倫約束優(yōu)化后的分類(lèi)準(zhǔn)確率為0.935.實(shí)驗(yàn)表明提出的算法有效地構(gòu)建了高維度的特征信息，提高了細(xì)粒度分類(lèi)的準(zhǔn)確度,提出的包圍盒約束算法和海倫約束算法能進(jìn)一步提高細(xì)粒度分類(lèi)的準(zhǔn)確率,相比未使用高維度特征信息的包圍盒約束算法和海倫約束算法之前,在Caltech-UCSD鳥(niǎo)類(lèi)數(shù)據(jù)集上準(zhǔn)確率提高7.5%,在CompCars數(shù)據(jù)集上準(zhǔn)確率提高8.3%.

本文算法與其他算法在Caltech-UCSD鳥(niǎo)類(lèi)數(shù)據(jù)集上的對(duì)比結(jié)果如下所述.Berg等[2]采用梯度直方圖特征方法的準(zhǔn)確率為0.568；Chai等[3]采用費(fèi)舍爾向量特征方法的準(zhǔn)確率為0.594；Gavves等[11]采用費(fèi)舍爾向量表征目標(biāo)部分零件定位信息來(lái)進(jìn)行細(xì)粒度分類(lèi)的準(zhǔn)確率為0.627；Lin等[22]采用基于部分區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)方法和基于部分區(qū)域卷積網(wǎng)絡(luò)特征的準(zhǔn)確率為0.739；Branson等[12]采用集成底層和高層特征的方法的準(zhǔn)確率為0.757；Simon等[13]采用一系列神經(jīng)激活的方法,并通過(guò)無(wú)監(jiān)督學(xué)習(xí)來(lái)學(xué)習(xí)部分零件模型的方法的準(zhǔn)確率為0.810； Krause等[14]采用在無(wú)監(jiān)督學(xué)習(xí)的條件下,通過(guò)共同分割的方法生成部分零件來(lái)進(jìn)行細(xì)粒度的識(shí)別的準(zhǔn)確率為0.820；本文算法的準(zhǔn)確率為0.828,比Zhang等[8]的算法提高了8.9%.相比于其他的性能較優(yōu)的算法,如Branson[12]、Simon[13]、Krause[14]的算法也有一個(gè)較好結(jié)果，驗(yàn)證了本文算法的有效性.本文算法與其他算法在CompCars數(shù)據(jù)集上的對(duì)比結(jié)果如下所述.其中AlexNet的分類(lèi)準(zhǔn)確率為0.819,CaffeNet的分類(lèi)準(zhǔn)確率為0.816,GoogLeNet的分類(lèi)準(zhǔn)確率為0.912,本文算法比最優(yōu)的GoogLeNet模型算法的結(jié)果多了2.3%,在CompCars數(shù)據(jù)集上取得了很好的結(jié)果,也驗(yàn)證了本文算法的有效性.

3 結(jié)論

本文提出了一種多尺度區(qū)域特征的精細(xì)目標(biāo)分類(lèi)方法.該方法通過(guò)訓(xùn)練3個(gè)尺度的區(qū)域特征卷積網(wǎng)絡(luò)，并檢測(cè)3個(gè)尺度的區(qū)域位置,通過(guò)包圍盒約束和海倫約束方法優(yōu)化目標(biāo)定位區(qū)域,然后提取3個(gè)尺度的區(qū)域特征訓(xùn)練支持向量機(jī)分類(lèi)器.在Caltech-UCSD鳥(niǎo)類(lèi)數(shù)據(jù)集上和CompCars數(shù)據(jù)集上的實(shí)驗(yàn)表明，采用多尺度區(qū)域標(biāo)注信息分別訓(xùn)練卷積網(wǎng)絡(luò)模型來(lái)進(jìn)行多尺度區(qū)域特征分類(lèi)算法是有效的.采用包圍盒約束算法和海倫約束算法的目標(biāo)分類(lèi)算法在Caltech-UCSD鳥(niǎo)類(lèi)數(shù)據(jù)集及CompCars數(shù)據(jù)集上準(zhǔn)確率都有較大的提高.相比于AlexNet、CaffeNet在CompCars數(shù)據(jù)集上實(shí)驗(yàn)的算法,優(yōu)勢(shì)更加明顯,說(shuō)明本文提出的算法是非常有效的.后續(xù)研究考慮加入其他輔助信息(如顏色信息)進(jìn)行細(xì)粒度的任務(wù)研究.