高光譜成像結(jié)合SIS與RFS的藍(lán)莓腐爛病檢測

何 寬， 田有文*， 喬世成， 姚 萍， 古文君

(1. 沈陽農(nóng)業(yè)大學(xué) 信息與電氣工程學(xué)院， 遼寧 沈陽 110866； 2. 遼寧省農(nóng)業(yè)信息化工程技術(shù)研究中心， 遼寧 沈陽 110866.)

1 引 言

藍(lán)莓學(xué)名越橘，深藍(lán)色漿果，原產(chǎn)于美國，國內(nèi)主要分布于東北和西南地區(qū)[1]。藍(lán)莓富含花青素、維生素，具有極高的營養(yǎng)保健價(jià)值[2]，深受人們喜愛。但藍(lán)莓采后易患腐爛病，影響藍(lán)莓的可食用性，降低了藍(lán)莓的加工品質(zhì)和商業(yè)價(jià)值[3]。故病害藍(lán)莓的分揀是藍(lán)莓銷售或加工前的一個(gè)重要環(huán)節(jié)。傳統(tǒng)的藍(lán)莓病害檢測通常為理化分析檢測或人工肉眼檢測。前者檢測時(shí)間長，且具有破壞性。后者檢測效率低、誤差大。這兩者都難以滿足藍(lán)莓在線分揀的要求。因此，研究藍(lán)莓病害無損檢測技術(shù)對藍(lán)莓的在線實(shí)時(shí)分揀、提高藍(lán)莓行業(yè)自動化水平和生產(chǎn)效益具有重要意義和應(yīng)用價(jià)值。

國內(nèi)外一些研究學(xué)者利用機(jī)器視覺和高光譜成像等無損檢測技術(shù)對水果的病害進(jìn)行無損檢測[4-23]，并且取得了一定的效果。Georgina等[7]利用機(jī)器視覺技術(shù)提取柑橘顏色、形狀及紋理等14類特征，并采用分類回歸樹(CART)、樸素貝葉斯(NB)、多層感知器(MLP)模型對柑橘潰瘍病、黑斑病和結(jié)痂病進(jìn)行無損檢測，Shubhangi等[8]利用機(jī)器視覺技術(shù)對石榴進(jìn)行病害檢測,實(shí)驗(yàn)使用k-均值和閾值圖像分割方法提取石榴病變區(qū)域。利用離散小波變換方法提取病變部位的一組視覺特征作為支持向量機(jī)(SVM)模型的輸入矢量，對石榴進(jìn)行病害識別。Sun[20]利用高光譜成像系統(tǒng)獲取無損、輕度腐爛、中度腐爛、重度腐爛桃子的高光譜圖像，采用閾值分割法來識別桃子病害區(qū)域，并采用連續(xù)投影法(SPA)提取6個(gè)特征波長，建立偏最小二乘判別分析(PLS-DA)模型進(jìn)行病害識別，進(jìn)一步提高了桃子腐爛病害識別率。Folch-Fortuny等[21]利用高光譜成像技術(shù)獲取感興趣區(qū)域光譜數(shù)據(jù)，利用排列測試法提取5個(gè)特征波長并采用多路偏最小二乘回歸判別分析模型對真菌感染的柑桔病害檢測柑桔腐爛病。劉思伽等[22]利用高光譜成像技術(shù)獲取蘋果光譜數(shù)據(jù)，采用閾值分割法分割出蘋果病害區(qū)域并提取高光譜數(shù)據(jù)，采用連續(xù)投影算法從全波長中提取3個(gè)特征波長，建立線性判別分析、支持向量機(jī)和BP人工神經(jīng)網(wǎng)絡(luò)模型對蘋果病害進(jìn)行檢測。黃鋒華等[23]采用高光譜成像技術(shù)對中油9號油桃的裂紋果、銹病果、異形果和暗傷果進(jìn)行檢測判別。研究提取了10條特征波長，進(jìn)行主成分分析得到前10個(gè)主成分值。利用閾值分割方法等分割出油桃病害區(qū)域并提取紋理特征。最后將主成分值和6項(xiàng)紋理指標(biāo)(均值、對比度、相關(guān)性、能量、同質(zhì)性、熵值)紋理值融合建立極限學(xué)習(xí)機(jī)(ELM)模型對外部缺陷樣本和完好樣本進(jìn)行檢測判別。

上述研究中，無論采用機(jī)器視覺技術(shù)還是高光譜成像技術(shù)，都需要將柑橘、石榴等中型水果的病害區(qū)域從正常區(qū)域中分割出來。因?yàn)樯鲜鏊『^(qū)域與正常區(qū)域顏色特征對比明顯，采用閾值分割很容易將病害區(qū)域分割出來。而藍(lán)莓的表皮顏色較深，其正常區(qū)域與病害區(qū)域顏色特征相近，利用常規(guī)的閾值分割法難以將藍(lán)莓病害有效分割。因此，本研究根據(jù)藍(lán)莓正常區(qū)域與病害區(qū)域的光譜相對反射率的差異，提出光譜信息分割法(SIS)來分割病害區(qū)域。另外，藍(lán)莓正常區(qū)域和病害區(qū)域在可見光范圍內(nèi)的光譜相對反射率存在差異，并且藍(lán)莓正常區(qū)域和病害區(qū)域在近紅外范圍內(nèi)的光譜相對反射率也存在差異，故本研究提出區(qū)域特征篩選法(RFS),將藍(lán)莓光譜相對反射率分成可見光第一區(qū)域(450～760 nm)和近紅外第二區(qū)域(760～1 000 nm)進(jìn)行研究，再結(jié)合CARS與SPA算法提取出特征波長，最后用RVM模型與RBF神經(jīng)網(wǎng)絡(luò)模型對藍(lán)莓病害進(jìn)行檢測，為實(shí)現(xiàn)快速、無損的藍(lán)莓病害在線檢測、分揀提供理論支持。

2 實(shí) 驗(yàn)

2.1 實(shí)驗(yàn)材料

藍(lán)莓樣本采摘于沈陽市鐵西經(jīng)濟(jì)技術(shù)開發(fā)區(qū)彰驛站街道彰驛站村時(shí)圣藍(lán)莓種植基地，采摘時(shí)間為2017年7月。藍(lán)莓樣本選擇果形勻稱、大小相近、腐爛面積占總面積15%以內(nèi)、無明顯霉斑的輕微腐爛病害藍(lán)莓220個(gè)，正常藍(lán)莓100個(gè)。采后利用高光譜成像系統(tǒng)采集所有藍(lán)莓的高光譜圖像。

2.2 實(shí)驗(yàn)設(shè)備

本實(shí)驗(yàn)采集藍(lán)莓高光譜圖像的高光譜成像系統(tǒng)如圖1所示，其組成部分為高光譜成像光譜儀(ImSpector V10 E，Spectral Imanging Ltd，F(xiàn)inland)，面陣CCD相機(jī)(IGV-B1410M，IMPERX indorporated，USA)，精密位移控制平臺(IRCP0076-1 COM，臺灣)，無光暗箱(120 cm×50 cm×140 cm)，兩個(gè)150 W光纖鹵素?zé)?3900Illuminatior，Illumination Technologies，Inc.美國)，一臺計(jì)算機(jī)(DELL Vostro 5560D-1528)。高光譜成像系統(tǒng)的光譜采集范圍是400～1 000 nm，光譜分辨率為1.27 nm，一共472個(gè)波段。

圖1 高光譜成像系統(tǒng)示意圖Fig.1 Schematic diagram of hyperspectral imaging system

2.3 高光譜圖像采集

藍(lán)莓圖像采集前調(diào)整高光譜成像系統(tǒng)，調(diào)整鏡頭光圈確定合適焦距，采集反射率99%的白板的白色標(biāo)定圖像RW和蓋上鏡頭蓋的全黑標(biāo)定圖像RD。將藍(lán)莓樣本20個(gè)按照5排4列擺放在位移臺上。為確保圖像不失真，位移臺速度控制為1.7 mm·s-1。最后通過高光譜圖像采集系統(tǒng)獲取藍(lán)莓樣本的高光譜圖像，并分割出單個(gè)藍(lán)莓高光譜圖像，如圖2所示。

圖2 藍(lán)莓高光譜圖像

2.4 藍(lán)莓高光譜圖像處理

采集高光譜圖像時(shí)，由于暗電流的存在會使光源強(qiáng)度不均勻從而導(dǎo)致高光譜圖像產(chǎn)生噪聲，因此需要對高光譜圖像進(jìn)行黑白板校正，并按照公式(1)計(jì)算得到校正后的高光譜圖像I以消除噪聲:

(1)

式中RS為藍(lán)莓的原始高光譜圖像反射率，RW為全白校正圖像反射率，RD為全黑校正圖像反射率，I為校正后的藍(lán)莓高光譜圖像反射率。

本實(shí)驗(yàn)處理藍(lán)莓高光譜圖像選用ENVI 4.8(Rese archSystem Inc.，美國)、Matlab 7.1(The MathWorksInc.，美國)軟件。ENVI用于光譜數(shù)據(jù)和圖像的提取，Matlab用于光譜數(shù)據(jù)處理、圖像分割、特征波長的提取以及模型的建立。

2.5 實(shí)驗(yàn)流程

本實(shí)驗(yàn)的藍(lán)莓病害檢測實(shí)驗(yàn)流程為：首先獲取藍(lán)莓高光譜圖像；然后圖像分割確定感興趣區(qū)域，提取光譜相對反射率，篩選特征波長；最后利用模型對藍(lán)莓病害進(jìn)行檢測。具體操作流程如圖3所示。

圖3 藍(lán)莓病害檢測處理流程圖Fig.3 Processing flow chart of blueberry disease detection

3 實(shí)驗(yàn)結(jié)果與討論

3.1 高光譜曲線分析

從圖2中可以看出在波長400～450 nm范圍內(nèi)，藍(lán)莓病害區(qū)域與正常區(qū)域的光譜數(shù)據(jù)存在噪聲。為了不影響后續(xù)檢測的準(zhǔn)確率，本研究去除該范圍波段的光譜數(shù)據(jù)。另外在可見光波段(450～760 nm)范圍內(nèi)，藍(lán)莓病害區(qū)域的光譜相對反射率比藍(lán)莓正常區(qū)域的光譜相對反射率稍大一些。而在近紅外波段(760～1 000 nm)范圍內(nèi)，藍(lán)莓正常區(qū)域的光譜相對反射率比藍(lán)莓病害區(qū)域的光譜相對反射率大。藍(lán)莓病害區(qū)域與正常區(qū)域光譜相對反射率存在差異的原因是由于藍(lán)莓正常區(qū)域與藍(lán)莓病害區(qū)域顏色稍微有些差異，而且藍(lán)莓病變腐爛使藍(lán)莓病害區(qū)域主要成分及理化性質(zhì)發(fā)生改變，從而使光譜反射率發(fā)生變化。因此采用450～1 000 nm波段范圍的光譜數(shù)據(jù)建立模型檢測藍(lán)莓的病害。

3.2 感興趣區(qū)域分割

藍(lán)莓顏色為深藍(lán)色，病害部分與表皮顏色相近，采用閾值分割方法容易把正常區(qū)域誤當(dāng)作病害區(qū)域分割出來。本實(shí)驗(yàn)分割圖像時(shí)，由于866.5 nm波段圖像中藍(lán)莓病害區(qū)域與正常區(qū)域差異相對明顯，所以實(shí)驗(yàn)選擇866.5 nm波段圖像作為特征圖像進(jìn)行分割。再利用閾值分割對866.5 nm波段藍(lán)莓圖像進(jìn)行二值化，得到圖像如圖4(c)所示。然后用該二值化圖像對高光譜圖像進(jìn)行掩膜得到圖4(d)，再對圖4(d)進(jìn)行閾值分割，閾值設(shè)定為0.65，得到病害區(qū)域分割圖像，如圖4(e)所示。最后，對圖4(e)圖像進(jìn)行腐蝕膨脹，實(shí)現(xiàn)病害區(qū)域分割,如圖4(f)所示。由該圖可看出常規(guī)的閾值分割法未能比較完整地分割出藍(lán)莓病害區(qū)域，并將部分正常區(qū)域當(dāng)作病害也分割出來。所以，本研究根據(jù)藍(lán)莓正常區(qū)域與病害區(qū)域光譜信息的差異，提出了光譜信息分割法SIS，利用光譜信息將藍(lán)莓病害區(qū)域從藍(lán)莓正常區(qū)域中分割出來。實(shí)驗(yàn)同樣選擇866.5 nm波段圖像。該波段下背景的光譜相對反射率為0.05左右，光譜相對反射率較小。故提取866.5 nm波段圖像所有像素點(diǎn)的光譜相對反射率，并求其平均值g=0.21作為藍(lán)莓分割閾值。比較藍(lán)莓圖像每個(gè)像素點(diǎn)的光譜相對反射率與分割閾值的大小，若該像素點(diǎn)的光譜相對反射率小于0.21，該像素點(diǎn)的光譜相對反射率賦值為1，該像素點(diǎn)的像素值賦值為255；若該像素點(diǎn)的光譜相對反射率大于等于0.21，該像素點(diǎn)的光譜相對反射率不變，該像素點(diǎn)的像素值也不變。得到藍(lán)莓分割圖像，如圖5(c)所示。

圖4 閾值分割結(jié)果Fig.4 Result of threshold segmentation method

圖5 光譜信息分割結(jié)果

在866.5 nm波段，藍(lán)莓正常區(qū)域的光譜相對反射率均大于0.35，病害區(qū)域的光譜相對反射率在0.3左右，且均小于0.35，故設(shè)定藍(lán)莓病害區(qū)域的分割閾值為0.35。比較圖5(c)藍(lán)莓圖像每個(gè)像素點(diǎn)的光譜相對反射率與藍(lán)莓病害分割閾值的大小，若該像素點(diǎn)的光譜相對反射率小于0.35，該像素點(diǎn)的像素值賦值為1；若該像素點(diǎn)的光譜相對反射率大于等于0.35，該像素點(diǎn)的像素值賦值為0。藍(lán)莓病害分割圖像如圖5(d)所示。因?yàn)樗{(lán)莓邊緣正常區(qū)域的光譜相對反射率有一部分小于0.35，導(dǎo)致將藍(lán)莓邊緣正常區(qū)域分割出來，所以再對圖4(d)進(jìn)行腐蝕膨脹運(yùn)算得到最終分割后的藍(lán)莓病害圖像，如圖5(e)所示。

從分割結(jié)果可看出，本研究提出的光譜信息圖像分割法能夠準(zhǔn)確分割出藍(lán)莓病害區(qū)域，解決了由于藍(lán)莓正常區(qū)域與病害區(qū)域顏色特征相近難以有效分割病害區(qū)域的問題。

3.3 提取特征波長

根據(jù)前面的藍(lán)莓分割圖像，5×5大小區(qū)域提取光譜數(shù)據(jù)并求其平均值以代替該區(qū)域的平均光譜相對反射率。

由于光譜存在小鋸齒噪聲，所以采用Savitzky-Golay平滑方法對光譜曲線進(jìn)行平滑處理，為后續(xù)研究提供理想數(shù)據(jù)。

原始高光譜圖像光譜數(shù)據(jù)維數(shù)大，信息量冗余，增加了檢測模型計(jì)算量，降低了檢測模型性能，需要對其進(jìn)行降維，提取特征波長。根據(jù)可見光范圍(450～760 nm)和近紅外范圍(760～1 000 nm)內(nèi)病害區(qū)域的光譜相對反射率和正常區(qū)域的光譜相對反射率分別存在不同的差異，本研究提出區(qū)域特征篩選法(RFS)，將光譜分成可見光第一區(qū)域波段(450～760 nm)和近紅外第二區(qū)域波段(760～1 000 nm)，然后再采用CARS與SPA算法分別對兩個(gè)區(qū)域的光譜信息提取特征波長，并提取出特征波長對應(yīng)的光譜相對反射率[24-26]。采用區(qū)域特征篩選法方法的優(yōu)點(diǎn)在于強(qiáng)制減少了近乎一半維數(shù)，降低了CARS與SPA算法的篩選工作量。特征波長的篩選結(jié)果如表1所示。

表1 特征波長提取Tab.1 Feature wavelength extraction

3.4 檢測結(jié)果與討論

本研究采用RVM和RBF神經(jīng)網(wǎng)絡(luò)兩種模型檢測病害藍(lán)莓，模型輸出為1和0兩種結(jié)果，1表示正常藍(lán)莓，0表示病害藍(lán)莓。將220個(gè)正常藍(lán)莓和100個(gè)病害藍(lán)莓分成訓(xùn)練集和測試集，其中訓(xùn)練集樣本數(shù)量選60個(gè)正常藍(lán)莓和140個(gè)病害藍(lán)莓，測試集樣本數(shù)量選擇40個(gè)正常藍(lán)莓和80個(gè)病害藍(lán)莓。

采用RBF模型檢測時(shí)，隱含層的徑向基函數(shù)采用高斯函數(shù)作為傳遞函數(shù)，輸出層的傳遞函數(shù)為線性函數(shù)，分布常數(shù)speed為10。采用RVM模型檢測時(shí)，內(nèi)核函數(shù)采用高斯函數(shù)，核長度尺度為1，最大迭代次數(shù)為1 000。選擇第一區(qū)域特征波長的光譜相對反射率、第二區(qū)域特征波長的光譜相對反射率、第一區(qū)域和第二區(qū)域特征波長組合的光譜相對反射率分別作為RVM模型和RBF模型的輸入矢量，比較不同模型的檢測效果。檢測結(jié)果如表2所示。

表2 藍(lán)莓病害檢測結(jié)果Tab.2 Result of blueberry disease detection

從采用不同區(qū)域特征波長的相對反射率矩陣進(jìn)行檢測的結(jié)果來看，第一區(qū)域與第二區(qū)域組合的識別模型檢測結(jié)果最好，第二區(qū)域的模型次之，第一區(qū)域模型檢測結(jié)果最差。根據(jù)前面的高光譜曲線分析，藍(lán)莓的病害區(qū)域與正常區(qū)域的光譜相對反射率在近紅外范圍的差異比可見光范圍的差異要大很多，因而正常區(qū)域與病害區(qū)域在近紅外范圍內(nèi)的光譜特征差異更明顯，所以檢測模型在近紅外范圍的檢測效果要比可見光范圍的檢測效果好。兩個(gè)區(qū)域組合的特征波長光譜相對反射率則能更全面地表達(dá)出藍(lán)莓的病害區(qū)域與正常區(qū)域之間的差異，所以第一區(qū)域與第二區(qū)域特征波長組合的模型檢測效果最好。

通過比較CARS與SPA兩種方法提取特征波長的模型檢測效果來看，CARS提取特征波長在訓(xùn)練集和測試集中的檢測效果要比SPA提取特征波長的檢測效果好。CARS提取特征長的檢測效果較好可能是因?yàn)镃ARS提取的特征波長基本分布在正常藍(lán)莓光譜曲線與病害藍(lán)莓光譜曲線相對反射率差異較大的波段，SPA提取的特征波長則大多數(shù)分布在正常藍(lán)莓光譜曲線與病害藍(lán)莓光譜曲線相對反射率差異較小的波段。

通過比較RVM和RBF模型檢測藍(lán)莓病害的檢測結(jié)果，可以看出RBF的檢測效果比RVM的檢測效果要好。這可能是RVM模型中懲罰項(xiàng)會隨著距離的增大而增大，懲罰因子越大，該項(xiàng)所占的權(quán)重越大，使得訓(xùn)練會盡可能地將所有樣本點(diǎn)擬合，從而產(chǎn)生過擬合現(xiàn)象，導(dǎo)致置信區(qū)間較小對，對預(yù)測數(shù)據(jù)產(chǎn)生誤判[27]。RBF模型具有任意逼近的能力，其網(wǎng)絡(luò)可以自動增加神經(jīng)元直到滿足精度要求為止，這使得RBF模型的檢測結(jié)果要準(zhǔn)確得多[28]。

Gabriel等[29]利用機(jī)器視覺技術(shù)對腐爛藍(lán)莓進(jìn)行無損檢測，檢測準(zhǔn)確率達(dá)到98%，效果較好，但是該實(shí)驗(yàn)檢測的病害藍(lán)莓都是存在霉斑菌落覆蓋較多、腐爛程度較嚴(yán)重的藍(lán)莓，藍(lán)莓病害圖像與藍(lán)莓正常圖像的紋理特征差異明顯，利用機(jī)器視覺技術(shù)容易識別病害，而對于輕微腐爛的藍(lán)莓并沒有進(jìn)行檢測。本文則是采用高光譜成像結(jié)合SIS與RFS方法對輕微腐爛藍(lán)莓進(jìn)行無損檢測，其訓(xùn)練集和測試集的病害檢測效果比較理想。

4 結(jié) 論

本研究通過高光譜成像技術(shù)對采后藍(lán)莓的腐爛病進(jìn)行病害檢測，研究結(jié)論如下：

(1)本研究提出的基于光譜信息圖像分割法(SIS)利用866.5 nm波段下的光譜相對反射率對該波段下的藍(lán)莓圖像進(jìn)行分割，達(dá)到了準(zhǔn)確分割藍(lán)莓病害區(qū)域的效果。

(2)本研究提出的區(qū)域特征篩選法(RFS)根據(jù)病害區(qū)域與藍(lán)莓正常區(qū)域的光譜相對反射率在可見光與近紅外光譜范圍內(nèi)的不同差異，將光譜分成可見光第一區(qū)域和近紅外第二區(qū)域兩個(gè)光譜范圍，有效地選擇出了第一區(qū)域與第二區(qū)域組合的7個(gè)特征波長(655.8,710.9,752.2,759.9,761.2,866.5,969.7 nm)，提高了檢測模型的病害檢測效果。

(3)通過比較RVM和RBF模型檢測藍(lán)莓病害的檢測結(jié)果，可知檢測模型CARS-RBF的檢測結(jié)果最好，達(dá)到了比較理想的檢測效果，能夠滿足在線檢測要求。

本文提出的高光譜成像結(jié)合SIS和RFS研究方法對提高藍(lán)莓腐爛分揀的準(zhǔn)確性、保證藍(lán)莓深加工產(chǎn)品的品質(zhì)以及提升藍(lán)莓產(chǎn)業(yè)自動化分揀水平具有參考意義。