Faster R-CNN模型改進及機翼標記檢測應(yīng)用

惠小強，劉 歡 ，楊小寶

(1.西安郵電大學 物聯(lián)網(wǎng)與兩化融合研究院，陜西 西安 710061；2.西安郵電大學 電子工程學院，陜西 西安 710121)

機翼作為飛機最關(guān)鍵的部件之一，易于變形和損壞[1]。對于機載武器，機翼變形除了影響飛行安全，還會影響武器對目標的命中性能，必須監(jiān)視變形前后的狀態(tài)，以修正機翼變形引起的對準誤差，避免影響命中性能[2-3]。機翼在設(shè)計時，不僅要堅固，還要考慮其韌性，在一定角度內(nèi)的彎曲是沒有問題的，一般可以承受3個重力加速度的過載，在飛機機翼靜力實驗中，機翼向上擺動的彎曲變形幅度非常大[4]。在飛行過程中，機翼主要受到彎矩作用產(chǎn)生彈性變形，當飛機進行加速、減速、俯沖或者轉(zhuǎn)彎等變速飛行時，氣流會產(chǎn)生氣動力及力矩，使飛機受到的加速度大于或小于此時的重力加速度，給機翼帶來不期望的附加過載，從而易于發(fā)生疲勞損壞。

機翼扭曲檢測方式隨著航空事業(yè)的發(fā)展也逐漸多樣化，主要歸結(jié)為分布式、激光和視覺等3種測試方法。分布式測試方法通過分布在機翼關(guān)鍵測試部位的加速度傳感器進行測量，同時處理加速度計的輸出便能得到對應(yīng)的模態(tài)參數(shù)。但是，激勵狀態(tài)下的非穩(wěn)定性等因素，將影響機翼變形模態(tài)參數(shù)的判別而使顫振參數(shù)的判別不易。同時，該方法為接觸式獨立點測量，測試點數(shù)較少，導(dǎo)致資源未能充分利用[5]。激光測試方法通過使用激光照射到翼面的反射靶標進行測量，翼面反射回的光束從探測器傳至信號處理器，逐點對單個靶標進行監(jiān)測，最終依據(jù)其他信息獲得翼面的震動參數(shù)。但該方法穩(wěn)定性差，測量點數(shù)較少，且會受到較大的干擾，使用并不廣泛[6]。視覺測試方法主要包括模型變形視頻測量[7]和基于圖像相關(guān)的機翼顫振測量兩類技術(shù)。第一類技術(shù)主要通過機翼上的發(fā)光二極管(Light Emitting Diode，LED)特征點和Optotrak公司的飛行撓曲測量技術(shù)對機翼變形進行測量。第二類技術(shù)不但能通過非接觸式實現(xiàn)，還能夠全場測量，實時性強。該技術(shù)是在二維計算的基礎(chǔ)上獲得散斑圖像，然后進行圖像識別、定位及立體視覺測量而獲取數(shù)據(jù)。

近年來，計算機視覺領(lǐng)域飛速發(fā)展，深度學習方法廣泛使用并取得了一定的成果。為了探討目標檢測卷積神經(jīng)網(wǎng)絡(luò)對飛機機翼變形檢測的適用性，對更快區(qū)域神經(jīng)網(wǎng)絡(luò)(Faster Region Convolutional Neural Network，F(xiàn)aster R-CNN)模型[8-9]加以改進，并應(yīng)用于機翼關(guān)鍵標記點位置檢測。首先，選用殘差網(wǎng)絡(luò)ResNet101代替Faster R-CNN模型中的視覺幾何組(Visual Geometry Group，VGG)16網(wǎng)絡(luò)作為特征提取的骨干網(wǎng)絡(luò)，并添加屬性分類器[10]預(yù)測屬性類別。利用模型對每一時刻標記點的類別、屬性以及位置信息進行分析，通過多種特征檢測方法判斷標志點，以減少誤檢，提高檢測準確度。其次，通過構(gòu)建特征圖聯(lián)合[11-13]策略，將僅提取特征提取網(wǎng)絡(luò)的最后一層特征圖，改為由多層網(wǎng)絡(luò)融合的同時具有細節(jié)信息和豐富語義信息的特征圖，充分利用不同層卷積網(wǎng)絡(luò)的優(yōu)勢，將其與區(qū)域生成網(wǎng)絡(luò)(RegionProposal Network，RPN)結(jié)合，選擇適合機翼標志點的錨尺寸生成適用的檢測框。最后，使用雙線性插值法精確池化策略，減小原模型中的候選區(qū)域池化中的兩次量化過程造成的原圖中目標像素的丟失，以期更優(yōu)質(zhì)地完成機翼標志點檢測任務(wù)。

1 Faster R-CNN模型

Faster R-CNN模型包含RPN和快速區(qū)域卷積網(wǎng)絡(luò)兩個組件，其結(jié)構(gòu)如圖1所示。

圖1 Faster R-CNN模型網(wǎng)絡(luò)結(jié)構(gòu)

Faster R-CNN使用RPN提取候選區(qū)域[14]。該層通過softmax網(wǎng)絡(luò)判斷錨框?qū)儆趯ο蟮母怕市畔ⅲ倮每蚧貧w修正錨得到精確的建議框，其核心思想即通過卷積神經(jīng)網(wǎng)絡(luò)CNN產(chǎn)生候選區(qū)域建議框。

經(jīng)卷積網(wǎng)絡(luò)卷積得到的末層的特征圖，對其中的滑動窗口通過不同尺度和比例預(yù)測k=12個候選區(qū)域，使得每個空間窗口能映射到一個長度為512的向量，將512維的特征向量分別用1×1的卷積核進行降維后送入?yún)^(qū)域回歸層和區(qū)域分類層兩個同級的全連接層中。其中：一個全連接層中通過softmax對錨分類獲得前景和背景，在每個空間窗口的位置建議框的最大可能數(shù)量為k，則分類層輸出2k的分數(shù)預(yù)測每個候選框是或不是目標的概率；另一個全連接層用于計算錨的邊框回歸后的偏移量，以得到精確的建議框，回歸層輸出維度為4k，編碼k個回歸框的坐標。RPN原理[14]如圖2所示。在RPN的訓練中，使用反向傳播和梯度下降法訓練區(qū)域建議網(wǎng)絡(luò)，候選區(qū)域若與真值框的交并比(Intersection Over Union，IOU)值最大或者與真值框的IOU值大于0.7，則判定為目標。當候選區(qū)域與真值框的IOU值小于0.3，則判定為不是目標。

圖2 RPN原理

定義損失函數(shù)為

(1)

(2)

(3)

其中：(x,y,w,h)為邊界框的中心點坐標以及寬和高；(xa，ya，wa，ha)為預(yù)測框的中心點坐標以及寬和高；(x*,y*,w*,h*)為真實機翼標志點邊框的中心點坐標以及寬和高。當候選區(qū)域是cross時的回歸定位損失函數(shù)表示為

其中，R是smooth L1函數(shù)，表示為

(4)

待檢測圖像經(jīng)過卷積網(wǎng)絡(luò)提取特征后，送入RPN網(wǎng)絡(luò)生成標簽框，利用ROI平均池化網(wǎng)絡(luò)將不同尺寸的特征映射到固定長度的向量。將池化后輸出的結(jié)果分別輸入到由全連接網(wǎng)絡(luò)組成的分類層和回歸層，分類層對RPN網(wǎng)絡(luò)建議的目標通過Softmax進行分類，回歸層對目標位置進行回歸，最后由非極大值抑制(Non-Maximum Suppression，NMS)輸出檢測結(jié)果。

2 改進的Faster R-CNN模型

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

針對機翼標志點圖像的分辨率較低、圖像較小等特點，對Faster R-CNN模型進行改進。在模型訓練中采用分類性能高的殘差網(wǎng)絡(luò)ResNet-101代替原視覺幾何組(Visual Geometry Group,VGG)16網(wǎng)絡(luò)作為特征提取的基礎(chǔ)主干網(wǎng)絡(luò)。殘差網(wǎng)絡(luò)的殘差連接使得訓練更深層次的網(wǎng)絡(luò)成為可能，改善了VGG16網(wǎng)絡(luò)中隨著深度的增加帶來的梯度消失問題，同時降低了出現(xiàn)過擬合問題的可能性。殘差網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 Resnet殘差網(wǎng)絡(luò)結(jié)構(gòu)

圖3 中F(X)為殘差映射，X為神經(jīng)網(wǎng)絡(luò)的輸入，ReLu為激活函數(shù)。將待檢測的飛機機翼標志點圖片通過卷積網(wǎng)絡(luò)提取倒數(shù)第二層卷積網(wǎng)絡(luò)的卷積特征圖，并獲取最后一個卷積層輸出的特征圖，分別輸入后面的區(qū)域生成網(wǎng)絡(luò)和檢測子網(wǎng)絡(luò)中，同時，添加兩個新的層輸出目標及其屬性類別。

2.2 屬性檢測

為了訓練更準確的檢測模型，利用多特征檢測方法檢測飛機機翼標志點的位置，即在模型中添加屬性檢測分支(Attribute Detection Branch，ADB)，使得模型在訓練的過程中不斷學習屬性特征。在全連接層中，除了預(yù)測目標類別，還會預(yù)測目標的顏色類別，增強輸出特征的表達能力。最后，采用判別器得到類別、屬性以及同時滿足條件的機翼標志點信息。包含屬性分支的飛機機翼標志點檢測模型分支如圖4所示。

圖4 飛機機翼標志點檢測模型分支

模型從底層網(wǎng)絡(luò)開始學習機翼圖像的類別和屬性特征，這些特征在全連接層被抽象為更多維特征的向量分別輸入到分類器中，以預(yù)測檢測概率超過IOU置信度的類別對象及其概率，然后將其結(jié)果輸出。為了預(yù)測輸出結(jié)果對應(yīng)的屬性，將平均池化后的卷積特征與學習到的類別對象結(jié)合起來，將其結(jié)果輸入到一個外加的輸出層中，該輸出層是每個屬性類別的Softmax分布。最后，采用判別器判斷輸出的類別標簽中滿足機翼標志點屬性特征的標簽，使用多種特征檢測判斷標志點，排除與機翼標志點特征相似的標簽，從而減少誤檢情況，提高檢測準確度。

2.3 特征融合

在飛機機翼檢測模型中，標志點圖像的尺寸相對較小，經(jīng)過特征提取網(wǎng)絡(luò)映射到特征圖上時標志點目標會非常小，難以利用深層特征提取豐富的語義信息。因此，對于標志點的檢測和識別，需要進一步提高檢測準確度。通過對特征金字塔17[22]思想的分析與實驗，針對機翼標志點的定位任務(wù)，構(gòu)建新的特征圖聯(lián)合策略(Feature Fusion Strategy，F(xiàn)FS)。首先對Resnet101網(wǎng)絡(luò)的后4個階段有選擇性的融合，然后對融合后的每一層新的特征進行預(yù)測，最后再對所有的結(jié)果進行融合。

Resnet101網(wǎng)絡(luò)可分為5個階段，每個階段的最后一個卷積層稱為C1—C5，將后4個階段的特征進行有選擇性地融合。首先，使用1×1×256的卷積核卷積C4特征圖改變維度，使其通道數(shù)變?yōu)?56，同時使用1×1×256的卷積核卷積C2特征圖，修改其通道數(shù)為256，然后將C2與C4特征使用加性融合函數(shù)進行融合。為了防止上采樣造成的混疊效應(yīng)，使用3×3的卷積核卷積融合后的特征，生成一個新的特征P2。使用相同的原理融合C5和C3得到P3，同時將C4和C5分別使用1×1×256的卷積和卷積，使其通道數(shù)變?yōu)?56，充分利用不同層卷積網(wǎng)絡(luò)的優(yōu)勢，將每層生成的新特征圖與RPN網(wǎng)絡(luò)結(jié)合，選擇適合機翼標志點的錨尺寸生成適用的檢測框。由于原始Faster R-CNN網(wǎng)絡(luò)使用k=9個錨框生成感興趣區(qū)域，默認的錨框尺度和縱橫比分別是{1282，2562，5122}和{2∶1，1∶1，1∶2}，這適合于大尺寸目標或者大規(guī)模的標志性圖像，對于機翼標志點檢測并不合理。因此，在特征融合模塊 (Feature Fusion Module，F(xiàn)FM)中，將每一個金字塔層級{P2，P3，P4，P5}對應(yīng)的錨尺度設(shè)置為{322，642，1282，2562}，以適應(yīng)飛機機翼標志點的檢測。將每個部分生成的區(qū)域建議框輸入到ROI池化層中，獲得一系列7×7的特征圖塊，將其進行融合后的特征圖輸入到后面的檢測網(wǎng)絡(luò)進行分類和回歸。飛機機翼標志點檢測框架如圖5所示。

圖5 飛機機翼標志點檢測框架

3 實驗

3.1 實驗環(huán)境及參數(shù)設(shè)置

在操作系統(tǒng)為Win10，處理器為英特爾XeonW-2155@3.30 GHz，顯卡為NVIDIA GeForce GTX 1080Ti環(huán)境下實驗，使用Python 3.7編程語言、PyTorch 1.3深度學習框架及CUDA 10.0 GPU加速平臺。

飛機機翼變形檢測模型的訓練數(shù)據(jù)批尺寸為32，初始學習率為0.001，使用梯度下降法對模型進行優(yōu)化，模型訓練迭代的次數(shù)為60 000次，設(shè)置模型保存策略為每迭代一輪保存一次模型，選取精確度最高的模型。模型超參數(shù)中學習率的設(shè)置采用不斷更新策略，即開始時設(shè)置一個初始的學習率0.001，步長設(shè)置為5，衰減率設(shè)為0.1，使得模型的學習率隨著訓練迭代的次數(shù)逐漸衰減。該策略能夠有效地提高機翼標志點檢測模型的精確度，使得模型能夠更快地收斂。

3.2 實驗數(shù)據(jù)

為了提升模型訓練效果，建立VOC格式的專有數(shù)據(jù)集FlyCross_Data訓練模型。使用相機拍攝來自不同現(xiàn)實場景的飛機機翼的標志點圖像，如拉伸、翻轉(zhuǎn)、強光和暗光等，其分辨率為1 920×1 080，格式為JPG格式，F(xiàn)lyCross_Data數(shù)據(jù)集中典型數(shù)據(jù)圖像如圖6所示。

圖6 FlyCross_Data數(shù)據(jù)集典型數(shù)據(jù)圖像

采用數(shù)據(jù)增強技術(shù)擴充訓練數(shù)據(jù)，從而防止過擬合問題并提高網(wǎng)絡(luò)的性能。選擇部分拍攝的圖片進行拉伸、裁剪以及對裁剪圖片進行翻轉(zhuǎn)等處理，將這些圖片組成原圖集。利用Rectlabel工具人工標注原圖集，如圖7所示，每幅圖中的標記都會被唯一的標注框所確定，然后對數(shù)據(jù)集圖片重新命名，并編寫代碼將圖片生成對應(yīng)的訓練集、驗證集和測試集?？倶颖竟? 500個，其中2 000個作為訓練集，300個作為驗證集，200個作為測試集，主文件分別由train.txt、test.txt和val.txt組成。

圖7 FlyCross_Data數(shù)據(jù)集標注結(jié)果圖

在PASCAL VOC 2007和專有數(shù)據(jù)集FlyCross_Data上進行實驗。PASCAL VOC 2007數(shù)據(jù)集中包含20類，共9 963張經(jīng)過標注的圖片，24 640個標注對象。使用遷移學習的思想，首先使用大規(guī)模的公共數(shù)據(jù)集PASCAL VOC 2007實現(xiàn)模型預(yù)訓練，學習圖像底層通用的視覺特征，為網(wǎng)絡(luò)提供一個良好的初始值。然后，凍結(jié)共同參數(shù)，初始化新的關(guān)鍵參數(shù)，即調(diào)整全連接層的輸出通道數(shù)。最后，遷移訓練的參數(shù)在專有數(shù)據(jù)集FlyCross_Data中訓練機翼標志點檢測模型，并使用驗證集驗證模型訓練的效果。

3.3 評價指標

將分辨率為1 920×1 080的RGB圖像加載到訓練好的神經(jīng)網(wǎng)絡(luò)模型中，進行端到端的運算，并采用平均精度均值(mAP)作為機翼標志點檢測模型的評價指標評估模型的性能。mAP與精確率和召回率有關(guān)，精確率反應(yīng)模型預(yù)測樣本的精確度，召回率反應(yīng)模型對正樣本的覆蓋能力。以精確率為縱軸，召回率為橫軸作圖，得到準確率-召回率曲線，即“P-R曲線”，“P-R曲線”下與坐標軸圍成的面積越大說明模型越好。

3.4 實驗結(jié)果與分析

3.4.1 特征提取網(wǎng)絡(luò)選擇

分別對比VGG16、ResNet50和ResNet101網(wǎng)絡(luò)基于Faster R-CNN在機翼標志點檢測分類結(jié)果，如表1所示，平均精度均值mAP值越大說明模型越好。

表1 不同模型在專有數(shù)據(jù)集下mAP值對比

由表1可知，使用殘差網(wǎng)絡(luò)代替原始的VGG16作為機翼標志點特征提取的基礎(chǔ)網(wǎng)絡(luò)，效果有所提升。3種模型的平均精度均值分別為70.7%、74.9%和77.6%。其中，ResNet101網(wǎng)絡(luò)的表現(xiàn)最好，其與原始VGG16相比提高了6.9%，因此選擇ResNet101作為機翼標志點檢測模型的基礎(chǔ)特征提取網(wǎng)絡(luò)。

3.4.2 不同模型檢測性能對比

在模型中添加屬性檢測分支，使用多種特征檢測的方法提取機翼標志點的位置。模型分別用sigmoid交叉熵和softmax交叉熵測量訓練誤差。對于類別預(yù)測的評估，使用每幅圖像得分高于0.05的所有預(yù)測框計算每個類的真陽性和假陽性標簽，并使用標簽將IOU閾值匹配為0.7。對于屬性預(yù)測的評估，將屬性檢測標記為陽性和陰性，評分閾值為0.05，然后為每個屬性計算真陽性和假陽性標簽。對于每幅圖像，找出類別檢測值高于0.7的檢測，合并所有IOU高于這些框的檢測，采用判決器判斷類別和屬性信息同時滿足條件的標簽框，利用多種特征方法檢測判斷標志點，減少誤檢情況，并使用這些標簽計算結(jié)果框權(quán)重的mAP值。由表2可以看出，ResNet101網(wǎng)絡(luò)下的Faster R-CNN添加了屬性分支后的模型與原始模型相比，精確度提高了8.6%；與ResNet101網(wǎng)絡(luò)下的原模型相比，精確度提高了1.7%，達到了79.3%，耗時也最小。這主要受益于改進模型的多特征檢測判斷能減少誤檢情況，使得在處理飛機機翼標志點圖片的數(shù)據(jù)集上，具有更好的檢測結(jié)果。

為了適應(yīng)機翼標志點尺寸較小而難以檢測的缺點，將特征融合與Faster R-CNN及RPN網(wǎng)絡(luò)相結(jié)合引入模型中，由表1可知，其識別率與原始Faster R-CNN模型相比提高了9.2%，達到了79.9%。與基于ResNet101網(wǎng)絡(luò)下的Faster R-CNN并添加了屬性分支的模型相比，提高了0.6%。這主要因為機翼標志點圖形較小，模型結(jié)合了深層豐富的語義特征，中間有補充性的特征以及淺層高分辨率的細節(jié)特征，能夠有效提高網(wǎng)絡(luò)對機翼標志點的檢測。由此可見，改進模型與原始模型相比，在機翼標志點檢測模型中的精確度有顯著提升。從檢測時間角度分析，添加了屬性分支并構(gòu)建融合策略結(jié)合的模型與添加了屬性分支的模型相比增加了0.07s，這是因為在進行特征融合時使得特征維度由原本的1 024降至了256維。圖8為在專有數(shù)據(jù)集上對原始模型和改進模型進行評估的結(jié)果?？梢钥闯?，改進模型P-R曲線與坐標軸圍成的面積較大，效果更好。

圖8 不同模型評估結(jié)果

使用包含經(jīng)過拉伸、遮擋、強光和暗光等處理的專有數(shù)據(jù)集圖片訓練各模型，對不同環(huán)境中各種模型的實驗結(jié)果如表2所示。改進模型與原始模型在不同環(huán)境下的識別對比結(jié)果如圖9所示?？梢钥闯?，添加了屬性分支并對特征進行融合結(jié)合的模型，在強光、暗光和邊緣等不同環(huán)境下都有較好地檢測效果，并且在強光等環(huán)境下其檢測框更準確且誤檢情況減少，如圖9(a)所示。因此，改進模型提供了更高的精度和魯棒性。

表2 不同環(huán)境下實驗結(jié)果對比

4 結(jié)語

采用深度學習中的目標檢測技術(shù)處理機翼變形檢測的問題。通過對比VGG16、ResNet50及ResNet101等3種特征提取網(wǎng)絡(luò)對機翼標志點檢測模型的影響，選用ResNet101作為骨干網(wǎng)絡(luò)。針對檢測結(jié)果中存在的誤檢情況，在Faster R-CNN模型中添加屬性分類器，使得模型在訓練的過程中不斷學習屬性特征，增強輸出特征的表達能力。構(gòu)建多層特征圖聯(lián)合策略，結(jié)合淺層特征與深層特征的不同特點，充分利用了不同層卷積網(wǎng)絡(luò)的優(yōu)勢，并將其與RPN網(wǎng)絡(luò)結(jié)合，選擇適合機翼標志點的錨尺寸生成適用的檢測框。最后，采集包含標志點的飛機機翼圖像數(shù)據(jù)，自主構(gòu)建機翼標志點檢測專有數(shù)據(jù)集。實驗結(jié)果表明，改進模型相較于原始Faster R-CNN模型檢測精確度提升了9.2%，呈現(xiàn)了良好的檢測效果。