汪 靚,楊 宇,黃 敏,朱啟兵
(江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院 輕工過程先進(jìn)控制教育部重點(diǎn)實(shí)驗(yàn)室,無錫 214122)
油桃作為一種鮮果,因富含營養(yǎng)物質(zhì)、色澤艷麗,深受消費(fèi)者喜愛。收獲、運(yùn)輸和搬運(yùn)過程中過度的機(jī)械負(fù)荷或擠壓會(huì)導(dǎo)致油桃的機(jī)械損傷[1]。油桃的損傷組織容易滋生病菌,不僅降低了其食用價(jià)值,也容易交叉感染正常水果,導(dǎo)致潛在的經(jīng)濟(jì)損失[2-4]。因此,在收獲后的處理過程中,盡早發(fā)現(xiàn)和清除損傷的油桃至關(guān)重要。油桃在損傷的早期階段,其損傷區(qū)域較小,且損傷區(qū)域顏色多呈現(xiàn)淺褐色,與正常組織的顏色相似,給其早期檢測帶來困難。
目前,以紅綠藍(lán)三原色(red,green,blue,RGB)成像、高/多光譜成像和結(jié)構(gòu)光反射成像等技術(shù)為代表的光學(xué)檢測技術(shù)被廣泛用于水果表面的損傷檢測。由于RGB成像技術(shù)只能采集可見光范圍內(nèi)的物體圖像,并通過物體顏色和紋理變化實(shí)現(xiàn)損傷檢測的,當(dāng)水果表面顏色復(fù)雜多變,或早期損傷區(qū)域的顏色和紋理與正常組織的變化較小時(shí),其檢測的效果仍然偏低[5]。相比于RGB成像技術(shù),高/多光譜成像技術(shù)可以一次性獲取可見光及短波近紅外范圍內(nèi)的被測對(duì)象信號(hào),從而提供了被測對(duì)象更為豐富的信息,因此被廣泛用于水果表面機(jī)械損傷等目標(biāo)檢測領(lǐng)域[6-8]。高/多光譜圖像采集系統(tǒng)通常價(jià)格昂貴,數(shù)據(jù)采集和處理時(shí)間長,系統(tǒng)的實(shí)時(shí)性難以滿足實(shí)際需求。同時(shí),系統(tǒng)在采集圖像時(shí)易遭受鏡面反射和水果表面光澤的影響而形成眩光偽影,增加數(shù)據(jù)的可變性。當(dāng)損傷的區(qū)域正好處于高亮區(qū)域時(shí),光斑掩蓋水果的損傷區(qū)域,容易導(dǎo)致誤判[9]。近年來,結(jié)構(gòu)光反射成像(structured illumination reflectance imaging,SIRI)技術(shù)被引入到水果的損傷檢測領(lǐng)域。SIRI使用正弦調(diào)制的結(jié)構(gòu)光,通過改變正弦光照模式的空間頻率控制光穿透水果組織的深度,采集的原始圖像經(jīng)過解調(diào)和一系列的數(shù)學(xué)運(yùn)算,以增強(qiáng)損傷區(qū)域和正常組織之間的對(duì)比度,最終達(dá)到提高檢測效果的目的。LI等人[10]使用SIRI系統(tǒng)分別在4個(gè)空間頻率(0mm-1,0.10mm-1,0.15mm-1和0.25mm-1)下采集0°、120°和240°相移反射圖像;隨后將每個(gè)空間頻率下的三相位移反射圖像解調(diào)為交流分量圖像和直流分量圖像,并計(jì)算對(duì)應(yīng)頻率下的生成比率圖像(損傷和正常區(qū)域?qū)Ρ榷仍鰪?qiáng)的圖像);最后利用邊緣檢測算法和形態(tài)學(xué)運(yùn)算(膨脹和腐蝕)在生成比率圖像上完成蘋果機(jī)械損傷的檢測。結(jié)果表明:該檢測技術(shù)的準(zhǔn)確率達(dá)到70%~100%,而傳統(tǒng)平面照明下的檢測準(zhǔn)確率僅達(dá)到0%~50%。SIRI系統(tǒng)使用的照明模式可以提供損傷區(qū)域的深度信息,根據(jù)采集的圖像可在水果被撞擊后的數(shù)小時(shí)內(nèi)確定損傷區(qū)域,但其采集的圖像的質(zhì)量與成像系統(tǒng)光照的空間頻率有關(guān),而空間頻率的選取需經(jīng)過多次調(diào)整,實(shí)際檢測過程中的昂貴時(shí)間消耗導(dǎo)致其難以滿足快速檢測的需要。
偏振信息(偏振角和偏振度)是光的另外一類基本屬性。當(dāng)一束光子照射到被測物體時(shí),被測物體的某些物理特性(如粗糙度、形狀、材料、缺陷等)會(huì)導(dǎo)致入射光子偏振信息的變化,對(duì)該偏振信息的有效獲取為目標(biāo)探測與識(shí)別提供了另一維度的有效信息[11]。同時(shí),與RGB成像系統(tǒng)相比,采用基于偏振成像技術(shù)獲得的偏振圖像含有豐富的細(xì)節(jié)信息,可以改善強(qiáng)光照背景下目標(biāo)與背景區(qū)域的對(duì)比度,從而有利于被測物體中的感興趣區(qū)域分割與識(shí)別[12]。近年來,偏振成像技術(shù)已經(jīng)被廣泛應(yīng)用于生物醫(yī)學(xué)檢測[13]、目標(biāo)探測[14-15]、工業(yè)缺陷檢測[16]領(lǐng)域。在農(nóng)產(chǎn)品缺陷檢測方面,WANG等人[17]基于0°,45°,90°和-45° 4個(gè)偏振方向下的偏振圖像和斯托克斯矢量參數(shù)獲得皮蛋外殼裂紋的偏振度圖像,并提取圖像的裂紋長度、均方比、偏度和峰度4個(gè)特征參數(shù),采用k均值聚類算法識(shí)別皮蛋外殼裂紋,完好皮蛋識(shí)別率為100%,裂紋皮蛋識(shí)別率為88.3%。就已有的文獻(xiàn)來看,利用偏振成像技術(shù)進(jìn)行油桃的機(jī)械損傷檢測還未見報(bào)道??紤]到油桃在發(fā)生機(jī)械損傷后,表面會(huì)存在一定程度的形變,從而導(dǎo)致其損傷區(qū)域的偏振信息與正常組織存在差異(反映在不同偏振方向下的圖像強(qiáng)度差異)[18],因此本文中嘗試將偏振成像技術(shù)引入到油桃的機(jī)械損傷早期檢測,以解決傳統(tǒng)RGB圖像由于油桃表面顏色復(fù)雜所導(dǎo)致的缺陷檢測精度偏低問題,為后期基于偏振成像技術(shù)的油桃品質(zhì)在線檢測與分級(jí)系統(tǒng)的開發(fā)提供理論依據(jù)。
實(shí)驗(yàn)樣本為產(chǎn)自大連的“國慶一號(hào)”油桃,該油桃的外表面同時(shí)具有紅和黃等多種顏色,其表皮的機(jī)械損傷較難檢測,具有一定的代表性。從市場上購買105個(gè)表面沒有明顯機(jī)械損傷、且直徑范圍在60mm~80mm的油桃作為實(shí)驗(yàn)樣本,選取75個(gè)油桃均采用人工模擬的方法制造損傷(具體的操作工序參考LU等人[19]制作蘋果損傷樣本的策略),其余30個(gè)油桃不制造損傷。受損后的油桃置于2℃的冰箱冷藏室中保存,并在2h后開始采集油桃的偏振圖像。為了減少油桃相互擠壓導(dǎo)致表面凹陷,影響后期的數(shù)據(jù)采集,本研究利用泡沫分裝盒包裝損傷樣本后再放入冰箱;另外,為了避免冰箱內(nèi)殘留物質(zhì)和果實(shí)表面小水珠對(duì)數(shù)據(jù)集的干擾,在采集圖像之前,使用實(shí)驗(yàn)室專用的無塵擦拭紙擦拭油桃。樣本采集在室內(nèi)(室溫為26°C±1°C)進(jìn)行。使用上述策略采集105個(gè)樣本的偏振圖像,選取其中30個(gè)樣本的偏振圖像(20個(gè)損傷油桃的圖像和10個(gè)正常油桃的圖像)用于提取正負(fù)樣本,其余偏振圖像用于測試分類模型的性能。
目前偏振成像系統(tǒng)主要包括分時(shí)型、分振幅型、分孔徑型和分焦平面型4類,相比于其它3類偏振成像系統(tǒng),分焦平面偏振成像系統(tǒng)可以實(shí)現(xiàn)4張偏振圖像的同時(shí)采集、處理和顯示,其偏振圖像的獲取由一個(gè)成像單元完成,不存在視場偏差,具有集成度高、體積小和實(shí)時(shí)性好等優(yōu)點(diǎn)[20],是目前偏振成像領(lǐng)域的研究熱點(diǎn)。因此,本研究中利用該系統(tǒng)作為圖像數(shù)據(jù)的采集系統(tǒng)。如圖1所示,整個(gè)系統(tǒng)主要由5個(gè)部分組成:內(nèi)置彩色偏振傳感器(Sony IMX250MYR CMOS color)的分焦平面偏振相機(jī)(TRI050S-QC, LUCID Vision Labs,Canada);工業(yè)相機(jī)通用鏡頭(M2514-MP2 2/3inch f25.0mm F1.4-16C,Computar,Japan);LED24V的光源(GH-R180-0-W,五鈴光學(xué),China);帶有偏振圖像采集軟件(Arena View,LUCID Vision Labs,Canada)的臺(tái)式計(jì)算機(jī)(DESKTOP-FCN3P0H,Intel(R)Core(TMi7-9700CPU@3.00GHz));提供實(shí)驗(yàn)操作環(huán)境的樣品臺(tái)和支撐架。其中,分焦平面偏振傳感器通常由焦平面?zhèn)鞲衅骱臀⑵衿嚵袠?gòu)成,在微偏振片陣列中,每2×2個(gè)像元組成一個(gè)超像元,偏振方向分別對(duì)應(yīng)0°,45°,90°和135°。
Fig.1 Schematic diagram of division of focal plane polarization imaging system
在進(jìn)行偏振圖像采集之前,首先調(diào)整系統(tǒng)參數(shù),以確保采集的圖像清晰不失真。經(jīng)過多次調(diào)整和優(yōu)化,將鏡頭放置在距離油桃表面400mm的位置。在采集圖像時(shí),將油桃的受損面擺放在相機(jī)下方的樣品臺(tái),其損傷區(qū)域隨機(jī)分布在所獲取的圖像中。此外,本次試驗(yàn)也在相同的條件下采集了部分樣本的RGB圖像,以用于比較RGB相機(jī)和偏振相機(jī)對(duì)于損傷區(qū)域的識(shí)別能力(采集的各偏振方向的偏振圖像的分辨率為1224×1024,RGB圖像的分辨率為2592×1944)。利用偏振成像系統(tǒng)采集的損傷油桃圖像如圖2所示。
Fig.2 Physical map of bruised nectarines
光波在介質(zhì)表面反射或折射產(chǎn)生偏振態(tài)的變化,偏振態(tài)又與目標(biāo)材質(zhì)、折射率、粗糙度及成像角度相關(guān)[21]。分焦平面偏振成像系統(tǒng)能同時(shí)獲取4個(gè)偏振方向下的偏振圖像,通過獲取的偏振圖像,利用斯托克斯矢量S完成對(duì)目標(biāo)偏振態(tài)的解析[22],即:
(1)
式中,s0表示光的總強(qiáng)度,s1表示水平方向線偏振光的強(qiáng)度,s2表示對(duì)角方向線偏振光的強(qiáng)度,s3表示圓偏振光的強(qiáng)度,一般情況下,在自然大氣背景中,圓偏振分量極少,分量s3可以忽略。I0°,I45°,I90°,I135°表示光通過方向角度分別為0°,45°,90°和135°的偏振片的強(qiáng)度。通過斯托克斯矢量,可以求解出偏振光的偏振角:
(2)
偏振態(tài)的解析涉及到斯托克斯矢量的計(jì)算,該過程會(huì)引入視場誤差和噪聲,從而影響偏振角圖像的質(zhì)量和精度,所以本研究基于分焦平面偏振相機(jī)采集的原始偏振圖像構(gòu)建油桃機(jī)械損傷檢測模型。構(gòu)建的油桃機(jī)械損傷檢測流程包含訓(xùn)練和測試兩個(gè)過程(如圖3所示)。對(duì)于訓(xùn)練過程,首先,采用雙線性插值[23]和低照度增強(qiáng)(low-light image enhancement,LIME)算法[24]對(duì)4個(gè)角度(0°,45°,90°和135°)下的原始偏振圖像進(jìn)行預(yù)處理;利用最大類間方差法(Otsu法)[6]將水果區(qū)域從背景中分割出來,在分割后的圖像中提取正、負(fù)樣本(損傷區(qū)域和非損傷區(qū)域像素),利用像素的顏色特征構(gòu)建最小二乘支持向量機(jī)(least squares support vector machine,LSSVM)分類模型(簡稱color-LSSVM model),同時(shí)提取像素的灰度共生矩陣(gray-level co-occurrence matrix,GLCM)特征構(gòu)建LSSVM紋理分類模型(簡稱GLCM-LSSVM model)。當(dāng)模型訓(xùn)練完成后,在預(yù)處理后的測試樣本上執(zhí)行Otsu法分割提取前景區(qū)域(油桃),將前景區(qū)域內(nèi)所有像素的顏色特征輸入到color-LSSVM model中進(jìn)行初步篩選;提取由color-LSSVM model分類器識(shí)別為“損傷”的每個(gè)像素的GLCM特征,并輸入GLCM-LSSVM model完成“損傷”像素(由color-LSSVM model識(shí)別得到)的再次分類(上述模型結(jié)構(gòu)簡稱為分類器串聯(lián)模型,記為color-LSSVM→GLCM-LSSVM model);最后,對(duì)串聯(lián)模型的最終輸出進(jìn)行形態(tài)學(xué)閉運(yùn)算處理,以完成油桃損傷區(qū)域的檢測。
Fig.3 Detection flow chart of mechanical bruise of nectarines
1.4.1 偏振圖像的預(yù)處理 成像系統(tǒng)同時(shí)獲取4個(gè)偏振方向下的彩色偏振圖像,每張圖像的分辨率為1224×1024,一個(gè)樣本包含125萬個(gè)像素??紤]到工業(yè)技術(shù)的實(shí)時(shí)性,首先利用雙線性插值算法對(duì)偏振圖像進(jìn)行8倍下采樣處理,從而減小偏振圖像重構(gòu)的運(yùn)行時(shí)間,以提高整體計(jì)算的運(yùn)行速度,同時(shí)去除圖像中部分噪聲[10]。另外,油桃是橢球體,在均勻光照下,油桃邊緣的亮度要低于中心區(qū)域,亮度上的差異會(huì)導(dǎo)致油桃邊緣和背景難以區(qū)分。即在油桃與背景的交界處,顏色較深的無損傷區(qū)域可能被錯(cuò)誤識(shí)別為背景;受損的組織與背景混淆,產(chǎn)生漏檢。在偏振圖像的預(yù)處理階段有必要利用一種有效方法解決油桃和背景交界處由于低光照而難以區(qū)分的問題。LIME算法側(cè)重于圖像的光照分量,通過求解R、G和B三通道中每個(gè)像素的最大值構(gòu)造光照?qǐng)D,并利用光照結(jié)構(gòu)對(duì)光照?qǐng)D進(jìn)行細(xì)化,旨在通過估計(jì)低光照?qǐng)D像的光照?qǐng)D來增強(qiáng)原始圖像,解決圖像中存在的低亮度、低對(duì)比度、噪聲、偽影等問題[24]。因此,本研究中使用簡單而有效的LIME算法以提高油桃邊緣區(qū)域的光照強(qiáng)度,去除油桃果形對(duì)檢測方法的影響。
1.4.2 基于像素特征的LSSVM分類模型 顏色特征是水果質(zhì)量檢測和分級(jí)的基礎(chǔ),從偏振圖像上可提取的12個(gè)顏色特征(每張偏振圖像R、G、B三通道下的顏色特征)能為檢測技術(shù)提供豐富的顏色信息。在實(shí)際應(yīng)用過程中,由于油桃表皮顏色的高度復(fù)雜性,無監(jiān)督方法難以區(qū)分油桃上損傷區(qū)域和深色的無損傷區(qū)域,這使得檢測任務(wù)的誤檢率和漏檢率較高。有監(jiān)督分類方法從樣本中學(xué)習(xí)顏色特征與像素正、負(fù)性的關(guān)系,并訓(xùn)練分類器,具有出色的檢測性能。LSSVM作為一種建立在統(tǒng)計(jì)學(xué)習(xí)理論上的判別分類器,可以根據(jù)有限的樣本信息在模型的復(fù)雜性和學(xué)習(xí)能力之間尋求最佳折衷。它通過核函數(shù)變換將非線性問題轉(zhuǎn)化為高維數(shù)據(jù)的線性問題,并在變換后的高維空間中求其最優(yōu)分類面。因此,本研究中選擇LSSVM訓(xùn)練辨別損傷和正常像素的二元分類器。利用LSSVM構(gòu)建color-LSSVM model的過程為:將12個(gè)顏色特征下已知類別標(biāo)簽的像素點(diǎn)作為以徑向基函數(shù)為核函數(shù)的LSSVM的輸入數(shù)據(jù),并通過五折交叉驗(yàn)證和自動(dòng)尋優(yōu)的方式獲得核參數(shù)與超參數(shù)的最優(yōu)值,得到分類模型color-LSSVM model。當(dāng)待測樣本數(shù)據(jù)輸入color-LSSVM model后,圖像的像素被識(shí)別為正(有損傷)像素和負(fù)(無損傷)像素。
由于油桃顏色復(fù)雜,而基于顏色特征的分類器類間可分離性較低,單純地利用12個(gè)顏色特征會(huì)導(dǎo)致待測樣本數(shù)據(jù)中的部分無損傷像素被判別為損傷像素。油桃損傷區(qū)域會(huì)發(fā)生輕微形變,這種變化將反應(yīng)到某個(gè)角度下的偏振圖像上相應(yīng)區(qū)域的紋理特征變化。因此,本研究中選用GLCM的4個(gè)定量統(tǒng)計(jì)屬性[25]描述油桃的紋理特征,以區(qū)分損傷和非損傷區(qū)域,對(duì)比度、均勻性、能量和相關(guān)性分別對(duì)應(yīng)以下公式:
(3)
(4)
(5)
(6)
式中,L為定義的圖像灰度級(jí)數(shù)目;i,j=0,1,2,…,L-1;μx、μy、σx和σy分別是GLCM矩陣中行和列之和的平均值和標(biāo)準(zhǔn)差;P(i,j)是歸一化的灰度共生矩陣。
分類模型構(gòu)造過程為:首先,針對(duì)每一個(gè)像素點(diǎn),提取以其為中心的3×3區(qū)域;隨后,提取每個(gè)通道對(duì)應(yīng)區(qū)域的4個(gè)GLCM紋理特征,并將所有通道下的GLCM特征拼接為48維的GLCM紋理特征;最后,將該紋理特征的數(shù)據(jù)輸入LSSVM中,獲得基于GLCM特征的分類模型GLCM-LSSVM model,該分類器以徑向基函數(shù)為核函數(shù),核參數(shù)和超參數(shù)以五折交叉驗(yàn)證和自動(dòng)尋優(yōu)的方式獲取最優(yōu)值。
本研究中采用精確率(precision)p和召回率(recall)r兩個(gè)指標(biāo)評(píng)價(jià)檢測方法的性能。精確率(查準(zhǔn)率)定義為正確檢測到的油桃損傷的區(qū)域量占全部識(shí)別為油桃損傷的區(qū)域量的比例;召回率(查全率)定義為正確檢測到的油桃損傷的區(qū)域量占全部實(shí)際為油桃損傷的區(qū)域量的比例。兩個(gè)性能評(píng)價(jià)指標(biāo)的具體表達(dá)式如下式所示:
(7)
(8)
式中,tTP定義為實(shí)際是損傷且預(yù)測為損傷的區(qū)域量,fFP定義為實(shí)際是無損傷且預(yù)測為損傷的區(qū)域量,nFN定義為實(shí)際是損傷且預(yù)測為無損傷的區(qū)域量。
本節(jié)中比較了基于顏色特征的油桃偏振圖像和普通RGB圖像的檢測結(jié)果;在此基礎(chǔ)上,分析了color-LSSVM model、GLCM-LSSVM model和color-LSSVM→GLCM-LSSVM model串聯(lián)模型的分類性能;最后,討論了不同分類器組合的檢測性能。所有檢測方法搭配相同的數(shù)據(jù)預(yù)處理方法,且相關(guān)參數(shù)設(shè)置相同,所有方法均基于MATLAB完成。
與RGB圖像相比,偏振圖像除了提供顏色信息外,還可以提供偏振信息,有利于提高油桃機(jī)械損傷的檢測精度。圖4中給出了損傷油桃的RGB圖像和0°偏振方向下的偏振圖像及其損傷截面處(如圖4a、圖4e、圖4j中的直線所示)的像素灰度值對(duì)比圖(縱坐標(biāo)代表圖像單通道下的像素灰度值,無單位;橫坐標(biāo)代表像素坐標(biāo)/地址,無單位)。從圖4a和圖4e中可以看出,油桃的兩個(gè)損傷區(qū)域分別位于深色(D1)和眩光(D2)區(qū)域。對(duì)于RGB圖像,在深色區(qū)域中,損傷區(qū)域和正常區(qū)域(如圖4b~圖4d中的像素區(qū)間D1和S1所示)的R、G和B通道的像素灰度值相似;在眩光區(qū)域(如圖4b~圖4d中的像素區(qū)間G1、G2和D2所示),兩種組織的3個(gè)通道的像素灰度值接近255。對(duì)于偏振圖像,圖4e中直線標(biāo)記區(qū)域內(nèi)R、G和B通道的像素灰度值如圖4f~圖4h所示。比較圖4b~圖4d和圖4f~圖4h,可以看出,0°偏振圖像上灰度值為255的像素遠(yuǎn)少于RGB圖像上的像素,即可以通過偏振圖像提取眩光區(qū)域的顏色特征。此外,圖4中給出了利用原始偏振圖像計(jì)算得到的受損油桃的偏振角圖像及其偏振角(無單位)。從圖4j可以看出,對(duì)于偏振角圖像,人眼目視系統(tǒng)能夠更清楚地觀察到損傷區(qū)域和正常區(qū)域;從圖4k可以看出,眩光或深色區(qū)域中損傷部位的偏振角與正常區(qū)域的偏振角顯著不同。綜上所述,偏振圖像可以減少油桃深色區(qū)域和眩光的干擾,并且可以為損傷油桃的檢測提供有效的偏振信息。
Fig.4 a,e,j—schematic diagram of a bruised nectarine appearance and section on RGB,0° polarization, polarization angle images b,c,d(f,g,h) —gray values of the R, G, B channels in the area marked by a yellow straight line on Fig.4a (Fig.4e) i—polarization images of bruised nectarine at 0°, 45°, 90°, 135° k—polarization angle in the area marked by a yellow straight line on Fig.4j
Fig.5 Classification results based on polarization image and RGB image
圖5中給出了基于RGB顏色特征和原始偏振圖像顏色特征構(gòu)建的color-LSSVM model分類器對(duì)油桃的識(shí)別結(jié)果。其中,圖5a~圖5c為帶損傷的油桃,圖5d為無損傷的油桃??紤]到RGB圖像和偏振圖像的分辨率不同,在提取RGB圖像的像素顏色特征前,對(duì)RGB圖像進(jìn)行下采樣,使其分辨率和偏振圖像的分辨率保持一致(1224×1024)。從圖5可觀察到油桃的外表皮顏色復(fù)雜多變,且油桃表面光照分布不均勻,分類器中存在大量將油桃的正常組織像素識(shí)別為損傷像素,且識(shí)別出的像素點(diǎn)分布不集中的現(xiàn)象,而基于原始偏振圖像的color-LSSVM model分類器的識(shí)別效果要遠(yuǎn)優(yōu)于基于RGB圖像的color-LSSVM model分類器。然而,從圖5可以看出,對(duì)于偏振圖像來說,單純的color-LSSVM model也將一些正常部位(見圖5a、圖5b、圖5c實(shí)線矩形框)識(shí)別為損傷區(qū)域。這些錯(cuò)誤識(shí)別的區(qū)域多位于水果的邊緣部位,這是因?yàn)椋河吞业倪吘壊课缓蛽p傷區(qū)域同時(shí)呈現(xiàn)較低的亮度,僅利用顏色特征容易將處于邊緣的正常區(qū)域識(shí)別為損傷區(qū)域。為此需要引入更多的特征來減少分類器對(duì)邊緣區(qū)域的誤識(shí)別。
在損傷初期,損傷區(qū)域的輕微形變可由偏振圖像呈現(xiàn)[23],這種形變導(dǎo)致?lián)p傷區(qū)域和正常區(qū)域的紋理特征不同。因此,本研究中提取紋理特征(GLCM特征)并訓(xùn)練GLCM-LSSVM model分類器。圖6中給出了color-LSSVM model、GLCM-LSSVM model以及color-LSSVM→GLCM-LSSVM model串聯(lián)模型的識(shí)別效果。從圖6中可以看出,單純利用color-LSSVM model會(huì)在邊緣區(qū)域產(chǎn)生誤識(shí)別現(xiàn)象(如圖中的實(shí)線矩形框所示),這與圖5的發(fā)現(xiàn)是一致的;單純使用GLCM-LSSVM model雖然可以減少邊緣像素的誤識(shí)別現(xiàn)象,但難以區(qū)分損傷區(qū)域與花萼/果梗區(qū)域(如圖中的虛線矩形框所示)。這是因?yàn)椋哼@兩類區(qū)域的紋理特征與正常區(qū)域相差更為明顯,GLCM-LSSVM model將這兩類區(qū)域內(nèi)的像素劃分為損傷像素的“易識(shí)別”樣本。當(dāng)采用兩種分類器串聯(lián)模型的時(shí)候,可以實(shí)現(xiàn)正常油桃和損傷油桃的有效識(shí)別。
Fig.6 Classification results based on different polarization image features
第2.2節(jié)中利用偏振圖像的顏色和紋理特征分別構(gòu)建了color-LSSVM model、GLCM-LSSVM model分類器,并通過串聯(lián)這兩個(gè)分類器構(gòu)建了color-LSSVM→GLCM-LSSVM model串聯(lián)模型。在具體應(yīng)用時(shí),還可以采用顏色和紋理特征融合+分類器((color+GLCM)-LSSVM model)或兩個(gè)分類器并聯(lián)(color-LSSVM+GLCM-LSSVM model)的模型結(jié)構(gòu)。圖7、表1中分別給出了這3種分類器結(jié)構(gòu)的檢測結(jié)果視覺與分類性能對(duì)比。從圖中可以看出,特征融合模型對(duì)正常像素的識(shí)別能力較弱,容易產(chǎn)生區(qū)域的誤分割現(xiàn)象;而color-LSSVM→GLCM-LSSVM model和color-LSSVM+GLCM-LSSVM model的識(shí)別結(jié)果要優(yōu)于特征融合模型,兩者的區(qū)域識(shí)別結(jié)果基本一致。
從表1可看出,color-LSSVM→GLCM-LSSVM model的精確率達(dá)到95.68%、召回率達(dá)到93.29%,均高于其它幾種方案,這說明該方案可以將油桃表面的實(shí)際損傷區(qū)域基本檢測出來,同時(shí)可以盡可能少地將正常組織區(qū)域誤識(shí)別為損傷區(qū)域。從表1還可以看出,3種分類器模型對(duì)油桃損傷區(qū)域的檢測召回率基本處于同一檢測等級(jí),這說明基于偏振圖像的樣本數(shù)據(jù)集,多特征(顏色、紋理)模型的分層使用或融合多特征得到的單一模型均可以有效識(shí)別出油桃的實(shí)際損傷區(qū)域。此外,color-LSSVM→GLCM-LSSVM model從原理層面來看,相當(dāng)于將兩個(gè)分類器結(jié)果進(jìn)行“與”(即乘法)操作,但是,這種策略首先利用顏色特征去除圖像上正常區(qū)域的像素,省去了其它方案提取部分正常區(qū)域像素的GLCM特征的過程,縮減了GLCM特征提取的時(shí)間,所以,在實(shí)際檢測任務(wù)中,color-LSSVM→GLCM-LSSVM model更高效。
Fig.7 Detection results based on different structure of classifiers
Table 1 Testing data statistics of nectarine samples
本文中采用偏振成像技術(shù)對(duì)油桃機(jī)械損傷區(qū)域與正常組織之間的早期分類識(shí)別問題展開研究。
(1)分焦平面偏振成像技術(shù)通過采集不同偏振方向下的偏振圖像,可以增強(qiáng)油桃早期輕微損傷部位與正常組織的對(duì)比度,同時(shí),可以減弱油桃表面高亮區(qū)域的光照強(qiáng)度,更好地突出顏色和紋理特征,有利于后期的特征提取。
(2)利用LSSVM獨(dú)立訓(xùn)練顏色特征和紋理特征分類模型,并采用串行的方式(color-LSSVM→GLCM-LSSVM model)對(duì)油桃測試樣本進(jìn)行識(shí)別,可以有效降低誤識(shí)別的概率,提高實(shí)驗(yàn)的分類精度,最終,總體精確率達(dá)到95.68%,召回率達(dá)到93.29%。
(3)本文中的識(shí)別模型精度依賴于特征的提取,隨著深度學(xué)習(xí)技術(shù)的發(fā)展,如何利用深度網(wǎng)絡(luò)實(shí)現(xiàn)缺陷區(qū)域的端到端檢測將是下一步需要研究的課題。