基于X-ray和RGB圖像融合的實(shí)蠅侵染柑橘無損檢測

李善軍 宋竹平 梁千月 孟 亮 余勇華 陳耀暉

(1.華中農(nóng)業(yè)大學(xué)工學(xué)院， 武漢 430070； 2.農(nóng)業(yè)農(nóng)村部長江中下游農(nóng)業(yè)裝備重點(diǎn)實(shí)驗(yàn)室， 武漢 430070)

0 引言

實(shí)蠅是全球植物檢疫性有害生物，也是我國很多柑橘產(chǎn)區(qū)危害最嚴(yán)重的害蟲[1]，每年造成的損失占我國柑橘產(chǎn)業(yè)總產(chǎn)值的10%～20%，嚴(yán)重時(shí)可達(dá)50%[2]，在柑橘采后早期分選階段準(zhǔn)確地識別實(shí)蠅侵染柑橘是降低貯藏風(fēng)險(xiǎn)的關(guān)鍵。傳統(tǒng)的實(shí)蠅侵染柑橘檢測方法為有損操作，需要人工將柑橘剖開后進(jìn)行判斷[3]，過程繁瑣且耗時(shí)較長，檢測結(jié)果的準(zhǔn)確性也難以保證。無損檢測技術(shù)是指在無損狀態(tài)下，通過檢測與水果品質(zhì)相關(guān)性較高的理化指標(biāo)，對水果的病變[4]、風(fēng)味[5]等內(nèi)部特性進(jìn)行篩選與分級。同時(shí)，現(xiàn)代柑橘商品化處理生產(chǎn)線將柑橘鮮果的防腐、清洗、打蠟、分級等環(huán)節(jié)集成到了一條自動(dòng)化流水線中，與傳統(tǒng)的人工處理相比，大幅度降低了人力成本并提高了生產(chǎn)效率，是全球柑橘產(chǎn)業(yè)采后處理的發(fā)展趨勢[6]。所以，研發(fā)適配于柑橘生產(chǎn)線的實(shí)蠅侵染果在線無損檢測方法，對于增強(qiáng)柑橘生產(chǎn)的自動(dòng)化程度、提高鮮果的品質(zhì)等級以及降低產(chǎn)業(yè)的經(jīng)濟(jì)風(fēng)險(xiǎn)有重要意義。

針對實(shí)蠅侵染柑橘，國內(nèi)外學(xué)者已經(jīng)嘗試了多種無損檢測技術(shù)進(jìn)行檢測。實(shí)蠅侵染柑橘的過程可以大致分為兩個(gè)階段：在侵染早期，蟲卵被實(shí)蠅產(chǎn)入柑橘內(nèi)部后逐漸孵化；而在侵染晚期，幼蟲會破壞柑橘表皮形成明顯的病斑。利用機(jī)器視覺技術(shù)，研究者們開發(fā)了基于顏色特征的機(jī)器學(xué)習(xí)算法[7]、基于灰度閾值的蟲害部位分割策略[8]以及基于大數(shù)據(jù)的深度學(xué)習(xí)方法[9]，對侵染晚期的柑橘實(shí)現(xiàn)了較高的檢測精度。但是，由于侵染早期柑橘的表皮在可見光下沒有明顯特征，圖像技術(shù)不再適用。文獻(xiàn)[10-11]開發(fā)了基于金屬氧化物傳感器的電子鼻，能夠?qū)?shí)蠅侵染柑橘釋放的氣體產(chǎn)生差別較明顯的電信號，然而該方法采樣效率較低，難以實(shí)現(xiàn)快速檢測。近紅外光譜[12]和高光譜[13]技術(shù)因其較高的檢測效率，已經(jīng)被廣泛應(yīng)用于蔬果品質(zhì)在線無損檢測中。文獻(xiàn)[14-15]分別對基于近紅外光譜和高光譜的蟲害侵染水果檢測研究進(jìn)行了總結(jié)，發(fā)現(xiàn)這些方法的檢測準(zhǔn)確率往往不高，其原因是光譜技術(shù)通常只會提取水果某一部分的光譜信息，而對蟲害侵染果的準(zhǔn)確篩查需要檢測水果的全部內(nèi)部結(jié)構(gòu)?；赬-ray的DR(Digital radiography)成像技術(shù)和CT(Computed tomography)成像技術(shù)可以完全穿透柑橘類水果，為蟲害侵染水果檢測提供新的方案。文獻(xiàn)[16]探討了DR成像用于水果檢測的可能性，發(fā)現(xiàn)X-ray在穿透水果的過程中會發(fā)生衰減，因此衰減形成的對比度差異反映了水果內(nèi)部結(jié)構(gòu)特征，同時(shí)該技術(shù)的采樣與成像速度均較快。但是，DR技術(shù)的圖像精度較低，且每幅圖像采集的信息量比較有限，因此準(zhǔn)確識別水果內(nèi)部的微小蟲害侵染部位非常困難。文獻(xiàn)[17-18]分別研究了不同蟲齡米象侵染粒內(nèi)微觀結(jié)構(gòu)變化過程、儲糧米象生長階段檢測。文獻(xiàn)[19]基于濾波反投影法等算法將2D-X-ray圖像重建為3D-CT圖像，精度可達(dá) 2.60 μm， 能夠?qū)崿F(xiàn)更精準(zhǔn)的蟲害侵染水果檢測。文獻(xiàn)[20]利用CT技術(shù)可視化了蟲害侵染水果的過程，但該技術(shù)的重建過程耗時(shí)較長，難以應(yīng)用于柑橘生產(chǎn)線中進(jìn)行在線檢測。

上述蟲害侵染水果檢測研究中，研究者們僅使用單模態(tài)數(shù)據(jù)對水果進(jìn)行無損檢測，無法同時(shí)保障高采樣效率與高檢測精度。實(shí)蠅侵染柑橘的內(nèi)部、外部病變特征復(fù)雜，具有高采樣效率的單源數(shù)據(jù)難以準(zhǔn)確描述其侵染部位特征信息，極易導(dǎo)致檢測模型漏檢誤檢。多模態(tài)數(shù)據(jù)融合方法可將不同模態(tài)的數(shù)據(jù)按照某特定標(biāo)準(zhǔn)處理，充分挖掘更多的數(shù)據(jù)信息，且該方法目前已廣泛應(yīng)用于農(nóng)產(chǎn)品檢測領(lǐng)域[21]，可使識別率總體提高2%～5%[22]。因此，本文提出一種基于RGB和X-ray序列多模態(tài)數(shù)據(jù)融合的實(shí)蠅侵染柑橘檢測策略，模擬柑橘生產(chǎn)線檢測的實(shí)際情況，融合多角度實(shí)蠅侵染柑橘的內(nèi)外部信息并結(jié)合深度學(xué)習(xí)技術(shù)，在保障高采樣效率的同時(shí)，實(shí)現(xiàn)對處于不同侵染時(shí)期柑橘的高精度無損檢測。

1 材料與方法

1.1 試驗(yàn)材料及設(shè)備

研究中使用的試驗(yàn)材料為受實(shí)蠅侵染的溫州蜜柑，如圖1所示，采于湖北省宜昌市夷陵區(qū)溫州蜜柑產(chǎn)區(qū)，采摘后的柑橘樣本運(yùn)送至華中農(nóng)業(yè)大學(xué)柑橘X射線成像實(shí)驗(yàn)室。

圖1 樣本和X-ray系統(tǒng)組成示意圖Fig.1 Citrus sample and schematic of X-ray system1.實(shí)蠅侵染柑橘X-ray圖像 2.X-ray射線源 3.旋轉(zhuǎn)臺 4.探測器

1.2 總體思路

在實(shí)際柑橘采后分選過程中，如圖2所示，柑橘被放置在傳送帶上運(yùn)輸，傳送帶上的旋轉(zhuǎn)滾輪與柑橘果實(shí)摩擦帶動(dòng)柑橘果實(shí)發(fā)生旋轉(zhuǎn)，無損檢測裝置的圖像采集單元可對不同旋轉(zhuǎn)角度的柑橘進(jìn)行數(shù)據(jù)采集，數(shù)據(jù)處理單元綜合考慮不同角度的柑橘特征信息對柑橘是否有侵染缺陷進(jìn)行判斷，由分選機(jī)構(gòu)在生產(chǎn)線末端對實(shí)蠅侵染柑橘剔除。以實(shí)蠅侵染柑橘為研究對象，模擬柑橘商品化生產(chǎn)線上搭載農(nóng)業(yè)X光機(jī)的檢測柑橘過程，構(gòu)建滿足柑橘生產(chǎn)線實(shí)際要求的在線無損檢測方法，柑橘滾動(dòng)通過農(nóng)業(yè)X光機(jī)時(shí)會旋轉(zhuǎn)360°，在此過程中采得6幅實(shí)蠅侵染柑橘的DR和RGB時(shí)序圖像。

圖2 柑橘生產(chǎn)線無損檢測數(shù)據(jù)采樣過程Fig.2 Non-destructive data sampling process for citrus production line1.X光射線源 2、4.CCD相機(jī) 3.射線源 5.蟲眼界面 6.探測器 7.傳送帶 8.健康界面

1.3 數(shù)據(jù)采集及預(yù)處理

1.3.1數(shù)據(jù)集采集

柑橘X射線成像實(shí)驗(yàn)室的室內(nèi)溫度為26℃、相對濕度為50%，成像前2 h送入室內(nèi)以平衡外部環(huán)境對樣本的干擾。將實(shí)蠅侵染柑橘放置在載物臺處的低密度聚苯乙烯泡沫支架上，支架在掃描過程起

到穩(wěn)定作用，使柑橘果軸大致與旋轉(zhuǎn)軸重合，防止柑橘旋轉(zhuǎn)過程中轉(zhuǎn)出成像區(qū)域引起圖像缺失。實(shí)蠅侵染柑橘X-ray數(shù)據(jù)由微焦點(diǎn)計(jì)算機(jī)斷層掃描儀(Nano Voxe2000型，天津三英公司)采得，RGB數(shù)據(jù)由網(wǎng)絡(luò)攝像頭(GuceeHD98型，谷客公司)采得，在X-ray射線源曝光的同時(shí)進(jìn)行CCD相機(jī)曝光，同時(shí)使用20 W的環(huán)形LED燈在數(shù)據(jù)采集空間內(nèi)增強(qiáng)和平衡照明條件。圖3展示了數(shù)據(jù)采集過程。對于每個(gè)樣本，掃描的角度步長為60°，樣品繞旋轉(zhuǎn)臺中心軸定軸旋轉(zhuǎn)360°，可獲得6幅沿射線源發(fā)射方向的X-ray DR和RGB時(shí)序圖像。

圖3 數(shù)據(jù)采集過程Fig.3 Data collection process1.RGB相機(jī) 2.X-ray射線源 3.旋轉(zhuǎn)臺 4.柑橘樣本

每個(gè)柑橘的真實(shí)感染程度由3位接受過培訓(xùn)的人員分別在顯微鏡(VHX-6000型，日本基恩士公司)下剖開觀察后進(jìn)行判斷?；陲@微鏡觀察結(jié)果，將未發(fā)現(xiàn)任何內(nèi)部結(jié)構(gòu)損傷的柑橘標(biāo)記為健康柑橘，存在幼蟲對內(nèi)部結(jié)構(gòu)破壞但外表皮完整的柑橘標(biāo)記為侵染早期感染，果皮外表面已經(jīng)有明顯損害的柑橘標(biāo)記為侵染晚期柑橘，從大量樣本中篩得健康柑橘300個(gè)，早期侵染柑橘321個(gè)，晚期侵染柑橘283個(gè)。圖4展示了健康和實(shí)蠅侵染柑橘RGB和X-ray圖像。按照6∶2∶2的比例將這些柑橘的X-ray DR和RGB時(shí)序圖像劃分為訓(xùn)練集、驗(yàn)證集與測試集。

圖4 實(shí)蠅侵染柑橘RGB和X-ray圖像Fig.4 Citrus infested by Bactrocera dorsalis RGB and X-ray image

1.3.2數(shù)據(jù)集預(yù)處理

在實(shí)際生產(chǎn)線檢測過程中，柑橘在生產(chǎn)線承載果杯上旋轉(zhuǎn)，圖像采集受光線、角度等因素影響。為擴(kuò)增數(shù)據(jù)集的樣本量提高網(wǎng)絡(luò)模型的魯棒性和泛化性，本研究使用旋轉(zhuǎn)、錯(cuò)切、移位、亮度、銳度5種數(shù)據(jù)增強(qiáng)操作，對訓(xùn)練集中的時(shí)序圖像進(jìn)行增強(qiáng)，數(shù)據(jù)增強(qiáng)效果如圖5所示。

圖5 數(shù)據(jù)增強(qiáng)效果Fig.5 Effects of data augmentation

1.4 多模態(tài)數(shù)據(jù)融合

1.4.1多模態(tài)融合策略

針對實(shí)蠅侵染柑橘，RGB圖像可從外部描述其表皮病變特征，X-ray圖像可從內(nèi)部描述其橘瓣缺失特征，采用內(nèi)外結(jié)合的多模態(tài)數(shù)據(jù)融合策略，可有效彌補(bǔ)單模態(tài)數(shù)據(jù)特征信息不足的缺陷。早期實(shí)蠅侵染柑橘表皮上蟲孔不明顯，判別結(jié)果易受到其它病灶點(diǎn)和污漬影響，如炭疽病、黃斑病等，同時(shí)X-ray圖像中的內(nèi)部結(jié)構(gòu)損傷也比較輕微，兩種數(shù)據(jù)相互補(bǔ)充可以獲得更加完整的實(shí)蠅侵染特征表達(dá)；晚期實(shí)蠅侵染柑橘表皮蟲孔處已表現(xiàn)出較為明顯的水漬斑，在X-ray圖像上也呈現(xiàn)出因橘瓣結(jié)構(gòu)性破壞而產(chǎn)生的異變區(qū)域，兩種數(shù)據(jù)互相驗(yàn)證能夠獲得更高精度的檢測效果。另外，RGB圖像上蟲孔的位置和X-ray圖像上的啃噬區(qū)域呈高度相關(guān)性，多模態(tài)數(shù)據(jù)融合策略可將實(shí)蠅侵染柑橘的RGB和X-ray數(shù)據(jù)信息進(jìn)行互補(bǔ)重構(gòu)，利用不同模態(tài)數(shù)據(jù)的關(guān)聯(lián)性挖掘更復(fù)雜更精確的特征信息。選擇早期融合中的圖像融合和特征融合方法開展基于多模態(tài)數(shù)據(jù)融合的實(shí)蠅侵染柑橘檢測方法研究。

1.4.2圖像融合方法

對CNN網(wǎng)絡(luò)進(jìn)行修改，使網(wǎng)絡(luò)可以同時(shí)接受6通道的多模態(tài)實(shí)蠅侵染柑橘序列圖像，如圖6所示。CNN-LSTM(Convolutional neural networks-long short-term memory)網(wǎng)絡(luò)可按照特定編號形式，同時(shí)輸入尺寸為224×224×3且角度配準(zhǔn)后的RGB和X-ray時(shí)序圖像，經(jīng)由CNN對同一角度的實(shí)蠅侵染柑橘RGB圖像和X-ray圖像同時(shí)進(jìn)行特征提取，由LSTM單元綜合運(yùn)算所有角度的深度特征信息并輸出檢測結(jié)果。試驗(yàn)時(shí)將預(yù)訓(xùn)練參數(shù)導(dǎo)入改進(jìn)后的模型，并將RGB通道參數(shù)進(jìn)行加權(quán)處理賦予X-ray 通道，可提升網(wǎng)絡(luò)收斂速度，避免陷入局部最小值。

圖6 圖像融合Fig.6 Image fusion

1.4.3特征融合方法

改進(jìn)后的特征融合網(wǎng)絡(luò)仍用CNN作為特征提取網(wǎng)絡(luò)，將尺寸為224×224×3且成像角度相同的RGB和X-ray圖像作為輸入，并分別分配一個(gè)CNN網(wǎng)絡(luò)以提取RGB圖像特征和X-ray圖像特征，提取后的深度特征在最后一層卷積層上并聯(lián)以實(shí)現(xiàn)特征融合，如圖7所示。融合后的特征圖將被送入該角度對應(yīng)的LSTM單元進(jìn)行運(yùn)算，上一角度LSTM單元也會將運(yùn)算結(jié)果傳入本單元，以實(shí)現(xiàn)實(shí)蠅侵染柑橘的全面無損檢測。

1.5 檢測模型與評價(jià)指標(biāo)

1.5.1實(shí)蠅侵染柑橘檢測模型

本研究構(gòu)建的CNN-LSTM模型結(jié)構(gòu)如圖8所示。CNN對輸入的圖像序列進(jìn)行特征提取，以CNN提取的特征作為LSTM的輸入，構(gòu)建CNN-LSTM模型。該方法以6幅X-ray和RGB圖像為輸入，每幅圖像間隔60°，相當(dāng)于柑橘滾動(dòng)60°拍攝一幅圖像，對于每幅圖像都會分配一個(gè)CNN模型進(jìn)行特征提取，ResNet18最后一層輸出的1 000個(gè)深度特征，最終獲取6×1 000的二維矩陣信息。隨后6×1 000的矩陣將被同時(shí)送入LSTM模型中，LSTM模型先對0°圖像特征進(jìn)行計(jì)算，隨后將0°圖像過濾后的特征傳入下一個(gè)LSTM單元，此時(shí)60°圖像特征將會結(jié)合0°圖像特征信息進(jìn)行LSTM單元運(yùn)算，輸出信息繼續(xù)送往下一個(gè)LSTM單元，最終LSTM將會考慮 0°～360° 之間的6幅圖像信息輸出分類結(jié)果。以序列圖像作為模型的輸入可以解決由于柑橘本身厚度引起的X射線衰減而導(dǎo)致的圖像差異和單幅實(shí)蠅侵染柑橘RGB圖像的侵染特征遺漏問題。即某一幀圖像中出現(xiàn)蟲孔特征和實(shí)蠅啃噬特征，CNN-LSTM模型將會識別出該特征，從而實(shí)現(xiàn)整個(gè)柑橘的實(shí)蠅侵染檢測。

圖8 實(shí)蠅侵染柑橘檢測模型Fig.8 Detection model of citrus infested by Bactrocera dorsalis

1.5.2損失函數(shù)

在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中，為了獲得最優(yōu)的模型輸出結(jié)果，應(yīng)使得網(wǎng)絡(luò)輸出的預(yù)測值不斷逼近真實(shí)值，交叉熵用于衡量預(yù)測值和真實(shí)值概率分布之間的距離，該距離可被當(dāng)作網(wǎng)絡(luò)模型的損失函數(shù)。本研究模型訓(xùn)練時(shí)所使用的損失函數(shù)為交叉熵?fù)p失函數(shù)[23](CrossEntropy loss function)，該損失函數(shù)常被用于神經(jīng)網(wǎng)絡(luò)分類問題[24-26]。

1.5.3評價(jià)指標(biāo)

本研究采用準(zhǔn)確率作為模型檢測精度的評價(jià)指標(biāo)。準(zhǔn)確率被定義為

(1)

式中n——柑橘樣本數(shù)據(jù)集數(shù)量

I——模型檢測精度

x——輸入的柑橘X-ray圖像

f(xi)——檢測模型輸出的柑橘類別

yi——柑橘果實(shí)序列中的真實(shí)類別

柑橘果實(shí)序列x為輸入經(jīng)過的視覺模型預(yù)測結(jié)果f(xi)，將f(xi)與真實(shí)類別yi進(jìn)行對比，如果相同記為1，不同記為0，最后對n個(gè)樣本求平均得到檢測準(zhǔn)確率。

1.5.4模型訓(xùn)練

初始學(xué)習(xí)率設(shè)置為1×10-5，batch_size設(shè)置為4，lstm_hidden_size設(shè)置為128，lstm_layers設(shè)置為2，dropout_rate設(shè)置為0.2，循環(huán)次數(shù)(Epoch)設(shè)置為200。訓(xùn)練過程中，優(yōu)化器使用Adam算法。

1.5.5試驗(yàn)平臺

本研究試驗(yàn)基于Windows 10操作系統(tǒng)，GPU為GeForce RTX 3080Ti(8 GB顯存)，處理器為AMD Ryzen 7 5800H CPU 3.20 GHz，運(yùn)行內(nèi)存為32 GB。模型的搭建與訓(xùn)練驗(yàn)證通過Python語言實(shí)現(xiàn)，基于PyTorch深度學(xué)習(xí)框架，并行計(jì)算框架使用CUDA 11.0。

2 結(jié)果與分析

由于實(shí)時(shí)檢測中對檢測效率的要求較高，本研究選擇ResNet、GoogleNet、SqueezeNet、MobileNet輕量化卷積神經(jīng)網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)，構(gòu)建CNN-LSTM實(shí)蠅侵染柑橘檢測模型。為驗(yàn)證本文提出的實(shí)蠅侵染柑橘檢測模型性能和多模態(tài)數(shù)據(jù)融合方法的有效性，不同的網(wǎng)絡(luò)在相同數(shù)據(jù)集和試驗(yàn)環(huán)境下進(jìn)行測試，根據(jù)檢測后的結(jié)果對模型的準(zhǔn)確率、參數(shù)量、浮點(diǎn)運(yùn)算量和檢測時(shí)間進(jìn)行計(jì)算，試驗(yàn)結(jié)果如表1所示。

從表1可知，針對每個(gè)CNN特征提取網(wǎng)絡(luò)，多模態(tài)數(shù)據(jù)融合模型的檢測準(zhǔn)確率高于單模態(tài)X-ray和RGB數(shù)據(jù)模型的檢測準(zhǔn)確率，在實(shí)蠅侵染柑橘序列數(shù)據(jù)集上的檢測準(zhǔn)確率均在90%以上。基于圖像融合方法構(gòu)建的檢測模型中，ResNet18-LSTM的檢測準(zhǔn)確率、模型參數(shù)量和浮點(diǎn)運(yùn)算量均高于其它3種模型，該模型具有更大的參數(shù)量和模型復(fù)雜度，使其具有更優(yōu)異的特征提取能力，準(zhǔn)確率達(dá)到97.3%，檢測時(shí)間為2.662 s。相較于單模態(tài)檢測方法，圖像融合方法在第1個(gè)卷積層對通道疊加后的蟲橘圖像做卷積處理，在第1個(gè)卷積層上添加了另一模態(tài)的三通道參數(shù)，該操作導(dǎo)致了模型參數(shù)量和浮點(diǎn)運(yùn)算量的提升，輸入共12幅X-ray和RGB時(shí)序圖像數(shù)據(jù)導(dǎo)致了網(wǎng)絡(luò)模型的檢測時(shí)間延長?；谔卣魅诤蠘?gòu)建的檢測模型中，各模型檢測準(zhǔn)確率同樣優(yōu)于單模態(tài)檢測方法，但是低于圖像融合檢測方法，同時(shí)需要花費(fèi)更多的檢測時(shí)間，GoogleNet-LSTM檢測時(shí)間達(dá)到4.187 s。這是由于特征融合方法中對RGB圖像和X-ray圖像分別分配一個(gè)CNN網(wǎng)絡(luò)以提取圖像特征，使模型的浮點(diǎn)運(yùn)算量提升至單模態(tài)方法的兩倍，需要更多GPU存儲空間和算力，同時(shí)雙CNN的結(jié)構(gòu)易使得網(wǎng)絡(luò)在訓(xùn)練過程中過擬合而導(dǎo)致檢測準(zhǔn)確率下降。在針對單模態(tài)方法的消融試驗(yàn)中，分別以6幅224×224×3實(shí)蠅侵染X-ray序列圖像和6幅RGB序列圖像作為輸入進(jìn)行對比。不同輸入的單模態(tài)方法模型參數(shù)量和浮點(diǎn)運(yùn)算量相同，檢測時(shí)間也均在0.797～0.887 s 之間。因此，相較于僅使用單模態(tài)X-ray和RGB數(shù)據(jù)的方法，本研究所提的多模態(tài)數(shù)據(jù)融合的實(shí)蠅侵染柑橘檢測方法在檢測準(zhǔn)確率方面有明顯提升，同時(shí)由于檢測模型參數(shù)量與浮點(diǎn)運(yùn)算量更大，需要更多的運(yùn)算時(shí)間。

表1 不同卷積神經(jīng)網(wǎng)絡(luò)模型性能對比Tab.1 Performance comparison of different convolutional neural network models

為了進(jìn)一步驗(yàn)證多模態(tài)方法對特征的提取與結(jié)合的合理性，本研究采用Grad-CAM(Class activation mapping，CAM)對網(wǎng)絡(luò)模型進(jìn)行可視化分析。以檢測精度最高的ResNet18-LSTM網(wǎng)絡(luò)為例，將ResNet18特征提取網(wǎng)絡(luò)最后一次卷積后提取到的特征進(jìn)行可視化，更加直觀地展示多模態(tài)數(shù)據(jù)融合方法的關(guān)鍵判別特征。圖9所示熱力圖反映了不同位置像素點(diǎn)對輸出結(jié)果的影響程度，橙紅色的高亮區(qū)域表示該區(qū)域的像素點(diǎn)對最終分類結(jié)果影響更大，在網(wǎng)絡(luò)的決策分類中占有更高權(quán)重。從實(shí)蠅侵染柑橘RGB和X-ray圖像的熱力圖中可以看出，檢測模型可以憑借實(shí)蠅侵染關(guān)鍵特征識別柑橘受否侵染。實(shí)蠅侵染柑橘RGB類激活可視化熱力圖上高亮區(qū)域主要集中在蟲孔附近位置，這表明網(wǎng)絡(luò)更加關(guān)注蟲孔附近的區(qū)域，蟲孔是網(wǎng)絡(luò)檢測的關(guān)鍵特征；實(shí)蠅侵染柑橘X-ray類激活可視化熱力圖上高亮區(qū)域主要集中在內(nèi)部實(shí)蠅啃噬區(qū)域，這表明實(shí)蠅啃噬區(qū)域在網(wǎng)絡(luò)分類決策時(shí)占有較高權(quán)重，網(wǎng)絡(luò)也關(guān)注到了實(shí)蠅啃噬區(qū)域這一關(guān)鍵特征。因此，實(shí)蠅侵染柑橘RGB上呈現(xiàn)出的蟲孔和X-ray上呈現(xiàn)出的實(shí)蠅侵染區(qū)域可作為網(wǎng)絡(luò)模型檢測的關(guān)鍵判別特征，多模態(tài)數(shù)據(jù)融合策略可將實(shí)蠅侵染柑橘的RGB和X-ray數(shù)據(jù)信息進(jìn)行互補(bǔ)，利用不同模態(tài)數(shù)據(jù)的關(guān)聯(lián)性挖掘更復(fù)雜更精確的特征信息，有效提升網(wǎng)絡(luò)模型的檢測性能。

圖9 實(shí)蠅侵染柑橘類激活可視化分析Fig.9 Class activation heatmaps of citrus infestation by Bactrocera dorsalis

在本研究中多模態(tài)數(shù)據(jù)融合方法使得網(wǎng)絡(luò)模型的檢測準(zhǔn)確率提升8個(gè)百分點(diǎn)，該方法融合了12幅實(shí)蠅侵染柑橘RGB和X-ray序列圖像，綜合了實(shí)蠅侵染柑橘全角度的內(nèi)外部特征信息對柑橘進(jìn)行侵染診斷，但多幅圖像的輸入導(dǎo)致多模態(tài)融合后的檢測時(shí)間增加，使得模型有更高的GPU存儲空間和算力要求。針對該問題，本課題組擬在后續(xù)的研究中進(jìn)行進(jìn)一步的探索，在侵染檢測計(jì)算方面，設(shè)置并行計(jì)算模式提高運(yùn)算單元硬件配置，以滿足同時(shí)檢測多個(gè)柑橘樣本的運(yùn)算需求。從農(nóng)業(yè)X光機(jī)無損檢測裝備方面進(jìn)行結(jié)構(gòu)優(yōu)化，設(shè)置多通道的柑橘傳輸軌道，增大RGB相機(jī)和X-ray射線源照射角，延長數(shù)據(jù)采集時(shí)的曝光距離，使得單幅圖像中能包含更多的柑橘樣本圖像，如圖10所示。

圖10 檢測裝置布置示意圖Fig.10 Schematic layout of detection device

3 結(jié)論

(1)構(gòu)建CNN-LSTM實(shí)蠅侵染柑橘檢測模型，以實(shí)蠅侵染柑橘RGB和X-ray序列圖像作為檢測模型的輸入，可模擬柑橘在生產(chǎn)線檢測的條件下對實(shí)蠅侵染柑橘進(jìn)行全面準(zhǔn)確識別。

(2)提出的多模態(tài)數(shù)據(jù)融合實(shí)蠅侵染柑橘方法比單模態(tài)檢測方法檢測性能更加優(yōu)異，準(zhǔn)確率提升8個(gè)百分點(diǎn)，表明利用多模態(tài)信息之間的互補(bǔ)性可獲取更全面的特征表達(dá)，彌補(bǔ)了單模態(tài)特征信息不足的問題，使檢測模型能提取到足量的實(shí)蠅侵染關(guān)鍵判別特征，提升實(shí)蠅侵染柑橘檢測模型的檢測能力，對全面篩查實(shí)蠅侵染問題數(shù)據(jù)融合很有必要。ResNet18-LSTM檢測準(zhǔn)確率最高，多模態(tài)的圖像融合和特征融合方法檢測準(zhǔn)確率分別達(dá)到97.3%和95.7%，但模型復(fù)雜度高；而MobileNetV2-LSTM的檢測準(zhǔn)確率為95.4%，其參數(shù)量和浮點(diǎn)運(yùn)算量約為ResNet18-LSTM的1/3、1/6，有望應(yīng)用在存儲量、運(yùn)算能力不足的終端檢測設(shè)備上，為柑橘生產(chǎn)線檢測系統(tǒng)搭建提供了可能性。

(3)深度學(xué)習(xí)方法進(jìn)行實(shí)蠅侵染柑橘檢測是可行的，通過可視化進(jìn)一步驗(yàn)證了RGB圖像上的實(shí)蠅侵染孔部位，以及X-ray圖像上像素點(diǎn)灰度較低的特征區(qū)域是模型檢測實(shí)蠅侵染的關(guān)鍵判別特征。

(4)傳統(tǒng)的檢測實(shí)蠅侵染主要依賴人工檢測，不僅檢測效率低下、無法重復(fù)且屬于有損檢測方式。本研究使用實(shí)蠅侵染柑橘X-ray和RGB圖像判別可實(shí)現(xiàn)實(shí)蠅侵染柑橘快速無損檢測。