基于改進(jìn)Faster R-CNN 的農(nóng)田殘膜識(shí)別方法

張學(xué)軍，黃爽，靳偉，2，鄢金山，2，史增錄，2，周鑫城，張朝書(shū)

（1.新疆農(nóng)業(yè)大學(xué) 機(jī)電工程學(xué)院，新疆 烏魯木齊 830052；2.新疆農(nóng)業(yè)工程裝備創(chuàng)新設(shè)計(jì)實(shí)驗(yàn)室重點(diǎn)實(shí)驗(yàn)室，新疆烏魯木齊 830052；3.阿拉爾市天典農(nóng)機(jī)制造有限責(zé)任公司，新疆 阿拉爾 843300）

地膜覆蓋技術(shù)自引入中國(guó)至今已有40 余年的歷史[1]，廢棄在農(nóng)田里的地膜長(zhǎng)年積累，若沒(méi)有及時(shí)回收則會(huì)造成種子腐爛、阻斷營(yíng)養(yǎng)運(yùn)輸，直接影響農(nóng)作物產(chǎn)量.針對(duì)殘膜回收問(wèn)題，目前國(guó)內(nèi)已研發(fā)設(shè)計(jì)出百余種不同工作形式的殘膜回收機(jī).其中部分殘膜回收機(jī)械的回收率高達(dá)90%以上[2-8]，但回收率似乎已經(jīng)到達(dá)“瓶頸期”，很難有進(jìn)一步突破.因此，通過(guò)圖像識(shí)別的方法快速識(shí)別出農(nóng)田里遺留的殘膜，是研制人工智能殘膜回收機(jī)，提高殘膜回收率的關(guān)鍵.

近年來(lái)，圖像識(shí)別技術(shù)已經(jīng)廣泛應(yīng)用于農(nóng)業(yè)領(lǐng)域，已有研究人員對(duì)地膜進(jìn)行了識(shí)別.梁長(zhǎng)江等[9]通過(guò)無(wú)人機(jī)采集農(nóng)田地膜圖像，利用幾種傳統(tǒng)的圖像分割算法對(duì)地膜進(jìn)行識(shí)別，結(jié)果表明迭代閾值分割算法對(duì)地膜的識(shí)別率最高.朱秀芳等[10]利用無(wú)人機(jī)獲取影像并提取紋理信息，結(jié)合傳統(tǒng)的分割方法得到了地膜分布面積.吳雪梅等[11]利用無(wú)人機(jī)采集煙地不同時(shí)期的殘膜，提出了一種基于顏色特征的識(shí)別方法.江水泉等[12]利用直方圖閾值分割方法確定閾值，聯(lián)合邊緣檢測(cè)和區(qū)域填充，分離出了殘膜圖像.上述文獻(xiàn)大多通過(guò)無(wú)人機(jī)航拍獲取地膜信息，用于評(píng)估當(dāng)?shù)氐沫h(huán)境污染程度，很難直接將識(shí)別方法應(yīng)用于農(nóng)田殘膜的撿拾中.文獻(xiàn)[12]雖然運(yùn)用傳統(tǒng)的圖像識(shí)別方法識(shí)別出了殘膜，但同時(shí)也丟失了部分殘膜信息，增加了定位誤差.傳統(tǒng)的識(shí)別方法依賴(lài)于閾值的選擇，適應(yīng)性不強(qiáng)，魯棒性較差，況且地膜與農(nóng)田背景信息相近，邊界區(qū)分不明顯，無(wú)固定輪廓特征，加大了檢測(cè)難度.卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）抗干擾能力強(qiáng)，能將目標(biāo)從復(fù)雜背景中提取出來(lái)，依靠數(shù)據(jù)本身的特征屬性進(jìn)行自主學(xué)習(xí)，在區(qū)分相近目標(biāo)方面具有顯著效果.目前卷積神經(jīng)網(wǎng)絡(luò)已廣泛應(yīng)用于無(wú)人駕駛[13-14]、植株病蟲(chóng)害識(shí)別[15-16]、品種分類(lèi)[17-18]、航空航天[19]、災(zāi)害預(yù)警[20]、垃圾分類(lèi)[21]、行為監(jiān)測(cè)[22-23]、醫(yī)療診斷[24-25]等方面.

針對(duì)地膜與背景干擾物相近，識(shí)別難度大等問(wèn)題.引入卷積神經(jīng)網(wǎng)絡(luò)，選擇目前檢測(cè)精度最佳的Faster R-CNN 網(wǎng)絡(luò)[26]，通過(guò)增加322和642的錨點(diǎn)尺寸，提出了一種適用于農(nóng)田殘膜的檢測(cè)方法，最終實(shí)現(xiàn)殘膜的快速、自動(dòng)識(shí)別.

1 數(shù)據(jù)采集與處理

1.1 數(shù)據(jù)采集

本文以新疆農(nóng)業(yè)大學(xué)與新疆阿拉爾市天典農(nóng)機(jī)制造有限公司聯(lián)合研制的11MS-1850 型殘膜回收機(jī)工作后遺留在農(nóng)田表面的殘膜為研究對(duì)象，于2019 年9 月至10 月，使用索尼WX500 采集殘膜圖像，分辨率為3 648 像素×2 736 像素，分別在晴天和陰天共采集1 648 幅殘膜圖像，為了確保殘膜圖像的多樣性，樣本中含有不同土壤濕度、不同光照強(qiáng)度下殘余不等片數(shù)的殘膜圖像.采集時(shí)相機(jī)鏡面與地面平行，距地面高度為80～110 cm.11MS-1850 型殘膜回收機(jī)如圖1 所示，部分殘膜圖像樣本如圖2 所示.

圖1 11MS-1850 型殘膜回收機(jī)Fig.1 11MS-1850 residual film recovery machine

圖2 部分殘膜圖像樣本Fig.2 Partial residual film image samples

1.2 數(shù)據(jù)集制作

2 試驗(yàn)條件與方法

2.1 軟件與硬件

本文的試驗(yàn)條件為：Window10 操作系統(tǒng)，計(jì)算機(jī)配置為Intel（R）Core（TM）i7-10750H 處理器，顯卡為GeForce GTX1650，8 G 內(nèi)存，512 GB 固態(tài)硬盤(pán).編程環(huán)境為python3.6.2，torch1.5.0、torchvision0.6.0、cuda10.0、cudnn7.4.1.5.標(biāo)注工具為L(zhǎng)abelImg.

2.2 試驗(yàn)方法

2.2.1 基于Faster R-CNN 的殘膜檢測(cè)框架

Faster R-CNN 網(wǎng)絡(luò)模型是在Fast R-CNN 模型的基礎(chǔ)上引入了RPN 區(qū)域建議網(wǎng)絡(luò)（Region Proposal Networks），從而通過(guò)反向傳播和隨機(jī)梯度下降來(lái)實(shí)現(xiàn)端到端的訓(xùn)練.Faster R-CNN 殘膜檢測(cè)框架如圖3 所示.

圖3 基于Faster R-CNN 的殘膜檢測(cè)框架圖Fig.3 Framework of remnant film inspection based on Faster R-CNN

在殘膜檢測(cè)過(guò)程中主要分為四部分，即殘膜特征提取部分、候選區(qū)域建議網(wǎng)絡(luò)（RPN）、ROI Pooling感興趣區(qū)域池化部分、殘膜與背景二分類(lèi)回歸部分.基于Faster R-CNN 的殘膜檢測(cè)環(huán)節(jié)如下：

1）由主干特征提取網(wǎng)絡(luò)提取殘膜特征，獲得特征圖用于RPN 和Fast R-CNN 共享.

2）RPN 網(wǎng)絡(luò)利用3×3 的滑動(dòng)窗口，遍歷整個(gè)特征圖，其中Softmax 分類(lèi)器主要用于區(qū)分殘膜和背景信息，邊框回歸主要用于調(diào)整建議框的4 個(gè)參數(shù)（即建議框的中心點(diǎn)x 軸和y 軸坐標(biāo)及其寬和高），Proposals 對(duì)獲得的建議框進(jìn)行初步的篩選，最大程度上找到含有殘膜的區(qū)域.

3）ROI Pooling 同時(shí)獲得特征圖及建議框，隨后利用建議框在特征圖上進(jìn)行截取，為了將獲取到大小不同的特征圖調(diào)整至分類(lèi)器所需的尺寸，對(duì)其進(jìn)行歸一化處理，獲得固定大小.

第一，新型農(nóng)村合作醫(yī)療明確政府籌資機(jī)制。傳統(tǒng)的農(nóng)村合作醫(yī)療在政府的籌資機(jī)制方面模糊不清，未明確政府的職責(zé)權(quán)限。新型農(nóng)村合作醫(yī)療制度明確實(shí)行“農(nóng)民個(gè)人繳費(fèi)、集體扶持和政府資助相結(jié)合的籌資機(jī)制，各級(jí)政府要根據(jù)實(shí)際需要和財(cái)力狀況安排資金，按實(shí)際參加合作醫(yī)療的人數(shù)補(bǔ)助定額給與資助”。新農(nóng)合在政府職責(zé)方面的明確為新農(nóng)合制度的實(shí)施提供了前提條件。

4）利用分類(lèi)和回歸網(wǎng)絡(luò)判斷截取到的特征圖中是否包含殘膜信息并對(duì)建議框進(jìn)行調(diào)整，獲得最終的檢測(cè)框.

由于殘膜無(wú)固定形狀，因此在本文中認(rèn)為殘膜外接矩形的中心點(diǎn)坐標(biāo)即近似為殘膜的位置坐標(biāo)，從而實(shí)現(xiàn)對(duì)殘膜的檢測(cè)和定位.

2.2.2 評(píng)價(jià)指標(biāo)

本文旨在識(shí)別殘膜回收機(jī)工作后遺留在田間的殘膜并確定其位置信息.在執(zhí)行機(jī)構(gòu)撿拾過(guò)程中，允許殘膜中心位置坐標(biāo)存在較小誤差.因此在本研究中認(rèn)為只要檢測(cè)框中含有殘膜信息并且與其重疊區(qū)域大于75%，即視為有效檢測(cè).為了評(píng)估殘膜識(shí)別檢測(cè)網(wǎng)絡(luò)的性能，選擇準(zhǔn)確率P（precision）、召回率R（recall）、總體精度F1作為評(píng)價(jià)指標(biāo)，其公式為：

式中：R 為召回率；P 為準(zhǔn)確率；F1為總體精度；TP為正確識(shí)別殘膜的樣本數(shù)量；FP為錯(cuò)誤識(shí)別殘膜的樣本數(shù)量；FN為未檢測(cè)出殘膜的樣本數(shù)量.

2.2.3 模型訓(xùn)練

采用近似聯(lián)合訓(xùn)練方式進(jìn)行訓(xùn)練，為了加速網(wǎng)絡(luò)訓(xùn)練，將殘膜圖像統(tǒng)一至600 像素×600 像素，為了降低因數(shù)據(jù)樣本不足對(duì)網(wǎng)絡(luò)訓(xùn)練的影響，本文選取在ImageNet 數(shù)據(jù)集上訓(xùn)練好的權(quán)重進(jìn)行遷移學(xué)習(xí)，利用殘膜數(shù)據(jù)集對(duì)預(yù)訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行微調(diào)，初始學(xué)習(xí)率lr=0.005，每隔5 步衰減一次學(xué)習(xí)率，設(shè)定衰減倍率因子ganma=0.1，動(dòng)量momentum=0.9，weight_decay=0.000 5，訓(xùn)練批次epoch=2 000，每訓(xùn)練100 個(gè)epoch 保存一次訓(xùn)練權(quán)重，最后選擇最優(yōu)權(quán)重用于驗(yàn)證集進(jìn)行驗(yàn)證，訓(xùn)練過(guò)程采用GPU 加速訓(xùn)練.

2.2.4 改進(jìn)NMS 算法

非極大值抑制（Non-Maximum Suppression，NMS）可以根據(jù)分?jǐn)?shù)矩陣和邊界框的坐標(biāo)信息，從中找到置信度較高的矩形框.但該方法過(guò)度依賴(lài)于閾值的選擇，若閾值選擇不當(dāng)則會(huì)導(dǎo)致目標(biāo)漏檢或誤檢，對(duì)于檢測(cè)目標(biāo)出現(xiàn)重疊、遮擋的情況，該方法只保留得分最高的檢測(cè)窗口也會(huì)導(dǎo)致目標(biāo)漏檢[27].雙閾值算法可有效降低單閾值對(duì)算法整體性能的影響，其流程圖如圖4 所示.A={a1，a2，…，ac}為殘膜候選框的集合，S={s1，s2，…，sc}為候選框?qū)?yīng)的置信度得分集合，D 為最終候選框的集合，dc和dt為設(shè)定的雙閾值，其閾值以測(cè)試集殘膜圖像為目標(biāo)，將精確率作為評(píng)價(jià)指標(biāo)，采用聯(lián)合調(diào)參法確定，如表1 所示，當(dāng)取dc=0.3，dt=0.9 時(shí)算法效果最佳.M 為得分最高的檢測(cè)窗口.首先在集合A 中找出得分最高的檢測(cè)窗口將其放入D 中并在A 中將其刪除，隨后比較對(duì)于任意的候選框及M 的交并比與閾值dc和dt的大小，若小于dc則保留當(dāng)前候選框及對(duì)應(yīng)得分；若大于dt則刪除當(dāng)前候選框及對(duì)應(yīng)得分；若兩者都不滿(mǎn)足則對(duì)當(dāng)前候選框得分分配相應(yīng)的權(quán)重.重復(fù)執(zhí)行以上操作，直至集合A 為空集，輸出最終的候選框及其得分.

圖4 雙閾值算法流程圖Fig.4 Flow chart of double threshold algorithm

表1 不同閾值組合精確率對(duì)比結(jié)果Tab.1 Comparison results of accuracy of different threshold combinations %

2.2.5 主干特征提取網(wǎng)絡(luò)的選擇

Faster R-CNN 網(wǎng)絡(luò)在殘膜特征檢測(cè)過(guò)程中需要選用已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)來(lái)增加網(wǎng)絡(luò)的深度，提取更抽象的圖像特征，以提高模型的檢測(cè)能力獲得理想的檢測(cè)效果.但隨著網(wǎng)絡(luò)級(jí)數(shù)的增加，梯度消失和爆炸問(wèn)題也隨之產(chǎn)生.He 等[28]在保留網(wǎng)絡(luò)深度的基礎(chǔ)上提出了殘差網(wǎng)絡(luò)（Residual Network），使網(wǎng)絡(luò)中的冗余層進(jìn)行恒等映射，有效解決了因網(wǎng)絡(luò)層數(shù)增多引發(fā)的梯度消失問(wèn)題，殘差網(wǎng)絡(luò)結(jié)構(gòu)單元如圖5 所示.

圖5 殘差單元Fig.5 Residual unit

該殘差單元可以表示為：

對(duì)任意深度的L 則有：

式（5）具有良好的反向傳播特性，假定損失為ε，根據(jù)鏈?zhǔn)角髮?dǎo)法則可以得到：

式中：F（Xi，Wi）即為殘差，當(dāng)F（Xi，Wi）為0 時(shí)即為恒等映射.其中在求導(dǎo)連加過(guò)程中不可能為負(fù)數(shù)，因此保證了該節(jié)點(diǎn)參數(shù)更新不會(huì)發(fā)生梯度消失或梯度爆炸現(xiàn)象.

特征提取網(wǎng)絡(luò)的選擇對(duì)模型的整體性能有著重要的影響.常見(jiàn)的特征提取網(wǎng)絡(luò)有VGG16[29]、ResNet50[30]、ResNet101[31]等.為了選取適用于本研究的主干特征提取網(wǎng)絡(luò)，保證其他參數(shù)不變，分別使用VGG16、VGG19、ResNet34、ResNet50、ResNet101、SqueezeNet、AlexNet 網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)對(duì)測(cè)試集圖像進(jìn)行檢測(cè)，結(jié)果見(jiàn)表2.

表2 特征提取網(wǎng)絡(luò)對(duì)比試驗(yàn)結(jié)果Tab.2 Comparison test results of feature extraction network

由表2 可知，當(dāng)AlexNet 和SqueezeNet 作為特征提取網(wǎng)絡(luò)時(shí)，雖然檢測(cè)速度很快但精度較低，這是由于網(wǎng)絡(luò)結(jié)構(gòu)比較簡(jiǎn)單，能夠提取到的殘膜特征有限.而使用VGG 和ResNet 系列作為特征提取網(wǎng)絡(luò)總體精度均達(dá)到80%以上，其中ResNet101 總體精度最高，達(dá)到了89.02%，檢測(cè)單幅運(yùn)行時(shí)間為342.61 ms，相對(duì)于ResNet101，ResNet50 總體精度雖然下降了0.75%，單幅檢測(cè)速度卻縮短了85.73 ms.綜合考慮并結(jié)合本研究試驗(yàn)條件及研究對(duì)象，最終選擇ResNet50 作為主干特征提取網(wǎng)絡(luò).

2.2.6 更改錨點(diǎn)尺寸

殘膜回收機(jī)工作后遺留在農(nóng)田表面的殘膜存在條狀大膜和細(xì)小的殘膜碎片，尺度變化較大.而Faster R-CNN 模型的原有錨點(diǎn)尺寸為{1282，2562，5122}，對(duì)小目標(biāo)檢測(cè)不夠靈敏，直接應(yīng)用在殘膜的識(shí)別中容易出現(xiàn)漏識(shí)別的情況.為了使Faster RCNN 檢測(cè)模型更適用于殘膜的檢測(cè)，統(tǒng)計(jì)殘膜數(shù)據(jù)集中的殘膜像素面積，由圖6 可以看出，殘膜的像素面積主要集中在1002～3502之間，考慮到模型的綜合檢測(cè)能力，依然保留5122的尺寸，并在原有錨點(diǎn)尺寸的基礎(chǔ)上增加322和642的尺度參數(shù)，使得每個(gè)錨點(diǎn)對(duì)應(yīng)15 個(gè)候選窗口.

圖6 殘膜面積統(tǒng)計(jì)Fig.6 Statistics of residual film area

為了驗(yàn)證本文改進(jìn)算法的有效性，將改進(jìn)后的Faster R-CNN 模型與原模型（特征提取網(wǎng)絡(luò)均為ResNet50）在測(cè)試集上對(duì)殘膜進(jìn)行檢測(cè)，結(jié)果見(jiàn)表3.

表3 檢測(cè)對(duì)比結(jié)果Tab.3 Detection and comparison results

3 結(jié)果分析

3.1 定量分析

由表3 可知，更改錨點(diǎn)尺寸后，改進(jìn)Faster RCNN 模型在準(zhǔn)確率、召回率、總體精度上分別增加1.29%、0.67%和0.97%，但在單幅檢測(cè)時(shí)間上增加了27.25 ms，主要原因一是由于每個(gè)錨點(diǎn)對(duì)應(yīng)的候選框數(shù)量增加，運(yùn)算量也隨之增大；二是雙閾值算法比非極大值抑制算法更復(fù)雜，檢測(cè)時(shí)間則消耗在多余候選框的篩除中.雖然檢測(cè)時(shí)間有所增加，但是依然滿(mǎn)足實(shí)時(shí)檢測(cè)的要求.部分殘膜檢測(cè)結(jié)果如圖7 所示.檢測(cè)模型在自然條件下識(shí)別殘膜的過(guò)程中取得了比較理想的檢測(cè)結(jié)果，如圖7（g）（h）所示，即使在細(xì)小的殘膜碎片和殘留棉花的干擾下，檢測(cè)框也能夠較準(zhǔn)確的框選殘膜信息.但在檢測(cè)存在些許粘連的殘膜時(shí)，出現(xiàn)了重復(fù)檢測(cè)的情況，如圖7（i）所示，這是由于在標(biāo)注此類(lèi)樣本時(shí)，標(biāo)注準(zhǔn)則不一致導(dǎo)致的（即標(biāo)注時(shí)有時(shí)認(rèn)定為一整片殘膜，有時(shí)認(rèn)定為幾片殘膜），后期可增加此類(lèi)樣本數(shù)量并統(tǒng)一標(biāo)注準(zhǔn)則進(jìn)行規(guī)避.

圖7 殘膜檢測(cè)結(jié)果Fig.7 Residual film detection results

3.2 特征圖分析

為了更直觀地了解ResNet50 特征提取網(wǎng)絡(luò)提取殘膜特征的過(guò)程，對(duì)特征提取的部分中間過(guò)程進(jìn)行可視化操作.只顯示Conv1、Layer1 和Layer3 前36個(gè)通道的灰度圖，為了便于觀察將輸出的特征圖統(tǒng)一到相同大小，特征圖可視化結(jié)果如圖8 所示.殘膜圖像經(jīng)過(guò)Conv1 卷積之后得到的特征圖能夠較好的展現(xiàn)原圖的紋理和輪廓信息.隨著網(wǎng)絡(luò)深度的增加ResNet50 能夠提取更抽象的殘膜特征，經(jīng)過(guò)多層網(wǎng)絡(luò)的共同表達(dá)，殘膜特征能夠被完整的提取出來(lái).

圖8 特征圖可視化結(jié)果Fig.8 Visualization results of feature map

4 結(jié)論

1）本文基于卷積神經(jīng)網(wǎng)絡(luò)Faster R-CNN 提出了一種農(nóng)田殘膜識(shí)別方法.為了選取特征提取網(wǎng)絡(luò)，對(duì)VGG16、VGG19、ResNet34、ResNet50、ResNet101、SqueezeNet、AlexNet 進(jìn)行對(duì)比試驗(yàn).最終選取ResNet50 作為特征提取網(wǎng)絡(luò).

2）采用雙閾值算法替代傳統(tǒng)的NMS 算法，弱化了單閾值對(duì)算法的影響，降低了漏識(shí)別率.

3）為了提高檢測(cè)模型對(duì)細(xì)小殘膜碎片的靈敏度，增加了322和642的尺度參數(shù)，降低了漏識(shí)別率，從而提高了檢測(cè)模型的召回率和總體精度.改進(jìn)后的Faster R-CNN 準(zhǔn)確率為90.13%、召回率為88.37%、總體精度為89.24%、單幅檢測(cè)時(shí)間為284.13 ms，使得通過(guò)機(jī)器視覺(jué)方法撿拾殘膜，提高殘膜回收機(jī)的回收率成為可能.

4）雖然改進(jìn)Faster R-CNN 模型在殘膜的檢測(cè)精度方面有所提升，但提升幅度不夠顯著，檢測(cè)時(shí)間也有所增加.今后將在提高殘膜檢測(cè)精度的基礎(chǔ)上，繼續(xù)優(yōu)化雙閾值算法，提高模型的檢測(cè)速度，同時(shí)進(jìn)行嵌入式開(kāi)發(fā)研究，以期早日將殘膜識(shí)別技術(shù)投入生產(chǎn).

將改進(jìn)Faster R-CNN 運(yùn)用到實(shí)際殘膜的撿拾過(guò)程，包含殘膜的檢測(cè)、空間位置信息定位與撿拾部件拾取等部分.當(dāng)檢測(cè)出圖像中的殘膜信息后，將矩形框的中心點(diǎn)位置坐標(biāo)換算成殘膜的空間位置坐標(biāo)，將坐標(biāo)信息傳送至執(zhí)行機(jī)構(gòu)（機(jī)械手或氣吸裝置）實(shí)現(xiàn)殘膜的補(bǔ)收，增加殘膜回收機(jī)的回收效率.可為殘膜回收機(jī)加裝補(bǔ)收裝置提供理論基礎(chǔ)，最終達(dá)到提高殘膜回收機(jī)回收效率的目的.