基于近紅外相機(jī)成像的紅提串缺陷檢測(cè)

高 升

(青島理工大學(xué)信息與控制工程學(xué)院，山東 青島 266520)

褐斑及損傷腐爛果為紅提葡萄常見的表面缺陷，直接影響著葡萄植株的生長(zhǎng)發(fā)育、產(chǎn)量品質(zhì)、商品價(jià)格、營養(yǎng)價(jià)值[1-2]。傳統(tǒng)的外部品質(zhì)檢測(cè)方法為人工根據(jù)經(jīng)驗(yàn)進(jìn)行檢測(cè)，存在勞動(dòng)強(qiáng)度大、主觀性強(qiáng)、標(biāo)椎不統(tǒng)一等諸多弊端。

目前，機(jī)器視覺被廣泛應(yīng)用于水果外觀品質(zhì)的檢測(cè)研究[3-6]，杜永忠等[7]設(shè)計(jì)了一種基于機(jī)器視覺的圣女果表面缺陷檢測(cè)方法，并建立了對(duì)大小的分級(jí)，該分級(jí)系統(tǒng)綜合分級(jí)準(zhǔn)確率為98.4%。王昭[8]利用機(jī)器視覺技術(shù)對(duì)櫻桃的表面圖像信息進(jìn)行提取，并根據(jù)圖像處理算法實(shí)現(xiàn)對(duì)櫻桃表面缺陷的識(shí)別。邵志明等[9]提出了一種基于近紅外相機(jī)成像技術(shù)和圖像閾值分割方法的蘋果表面早期損傷檢測(cè)方法。針對(duì)葡萄外部品質(zhì)的研究，陳英等[10]采用投影面積法等方法計(jì)算果穗大小和形狀參數(shù)，利用機(jī)器視覺技術(shù)設(shè)計(jì)了葡萄檢測(cè)分級(jí)系統(tǒng)，果穗顏色和大小分級(jí)的準(zhǔn)確率分別為90.0%和88.3%。袁雷明[11]利用機(jī)器視覺和近紅外光譜等技術(shù)對(duì)巨峰葡萄的內(nèi)外品質(zhì)進(jìn)行快速無損檢測(cè)，并實(shí)現(xiàn)品質(zhì)的分級(jí)。周文靜等[12]利用機(jī)器視覺技術(shù)開發(fā)了可判別葡萄果穗成熟度的算法，實(shí)現(xiàn)了果穗成熟度的判別。肖壯等[13]提出了一種基于機(jī)器視覺的尺寸分級(jí)方法。施行等[14]提出基于機(jī)器視覺檢測(cè)的分級(jí)方法，實(shí)現(xiàn)整串紅提的緊實(shí)度無損檢測(cè)和分級(jí)，對(duì)130串紅提串進(jìn)行緊實(shí)度檢測(cè)與分類，分級(jí)正確率達(dá)到94.6%。Min等[15]利用機(jī)器視覺技術(shù)建立葡萄大小識(shí)別模型，模型的準(zhǔn)確率接近90%。Kaburlasos等[16]利用機(jī)器視覺技術(shù)實(shí)現(xiàn)了葡萄成熟判別。以上研究主要集中在葡萄果粒尺寸、果串形狀、果粒顏色、果粒紋理、果穗緊實(shí)度、成熟度等方面，而對(duì)紅提葡萄表面缺陷果的研究還未見報(bào)道。

研究擬融合近紅外相機(jī)成像的近紅外和彩色圖像信息建立褐斑及損傷腐爛檢測(cè)方法，以期為紅提葡萄分級(jí)挑選提供參考。

1 材料與圖像采集系統(tǒng)設(shè)計(jì)

1.1 試驗(yàn)材料

紅提樣本試驗(yàn)當(dāng)天采于湖北省武漢市當(dāng)?shù)仄咸褕@。共采集120串紅提串，其中表面有缺陷的樣本90串，表面完好的樣本30串。挑選表面有缺陷紅提串60串作為訓(xùn)練集，每串葡萄正反兩面拍照，共得到120張樣本圖像，該樣本用于缺陷模型的建立。對(duì)所建模型進(jìn)行驗(yàn)證實(shí)驗(yàn)時(shí)，剩下的樣本(30串完好紅提串，30串具有表面缺陷的紅提串)作為測(cè)試集，用于所建模型效果的檢驗(yàn)。

1.2 圖像采集系統(tǒng)設(shè)計(jì)

丹麥JAI公司生產(chǎn)的型號(hào)為AD-080GE，像素為1 024×768，雙通道近紅外相機(jī)(分辨率為1 024×768，幀率為30 fps，能同時(shí)采集彩色(Red-Green-Blue，RGB)圖像和近紅外(near infrared，NIR)圖像。鏡頭為日本Kowa公司生產(chǎn)的型號(hào)為L(zhǎng)M6NC3的鏡頭，分辨率為120/100。飛利浦T5環(huán)形熒光燈光源，環(huán)形燈管直徑為16 mm，外徑為245 mm，功率為32 W。

為避免外界光線的干擾，利用不銹鋼的制作采集的暗箱，暗箱尺寸大小為600 mm×400 mm×400 mm。暗室右側(cè)面安裝環(huán)形光源，近紅外相機(jī)和鏡頭安裝于環(huán)形光源的中間位置。紅提葡萄串通過頂端的掛鉤懸掛于可移動(dòng)的平臺(tái)上，可移動(dòng)平臺(tái)可通過手動(dòng)調(diào)節(jié)移動(dòng)平臺(tái)調(diào)節(jié)葡萄串與鏡頭的距離。

2 缺陷檢測(cè)技術(shù)方法或原理

由圖2(a)和圖2(d)可以看出，在褐斑和損傷腐爛紅提串RGB圖像中，紅提串顏色為紫紅色，與背景的黑色顏色差距不大，且紅提串中果粒之間的顏色差距較小，果粒邊緣不太清晰，且紅提串表面的果粉與紅提串缺陷均呈白色，顏色相互干擾，較難進(jìn)行區(qū)分，果梗部分呈綠色與背景顏色差距明顯，能夠清晰地被區(qū)分；NIR圖像中紅提串部分為白色，背景為黑色，兩者在顏色上差距很大，從圖2(b)和圖2(e)可以看出，果粒的輪廓明顯，但其果粒與果梗顏色相近，故在RGB圖像中進(jìn)行果梗的去除，NIR圖像中進(jìn)行果粒的輪廓提取。圖2(c)和圖2(f)中的紅框?yàn)楹职呒t提串局部放大圖和損傷腐爛紅提串局部放大圖，殘缺呈現(xiàn)為圓形或條形的凹坑，兩種表面缺陷均在NIR圖像中更為明顯，因此選擇在NIR圖像中進(jìn)行分析研究。

1.紅提串 2.暗箱 3.紅提串掛鉤 4.計(jì)算機(jī) 5.環(huán)形光源 6.近紅外相機(jī)和鏡頭

圖2 紅提串缺陷原始圖像

2.1 褐斑及損傷腐爛的輪廓圖像提取

2.1.1 邊緣檢測(cè)及二值化 在葡萄串的NIR圖像中，既包含葡萄果粒輪廓明顯，又包含表面缺陷的輪廓信息。對(duì)NIR圖像利用Soble算子處理后可以清晰提取出葡萄果粒褐斑及損傷腐爛處的邊緣，效果較好，故采用Soble算子提取葡萄輪廓，Soble算子邊緣檢測(cè)處理后的圖像如圖3(b)所示。然后采用最大類間方差法(OTSU大津法)獲得自適應(yīng)閾值，得到褐斑及損傷腐爛葡萄串二值化圖像如圖4(a)和圖4(b)所示。

圖3 Soble算法邊緣檢測(cè)

2.1.2 去除紅提串輪廓 經(jīng)過以上處理，已獲得清晰的紅提串輪廓，其中褐斑及損傷腐爛的輪廓是要提取的對(duì)象，需去除葡萄果粒的輪廓以及果梗，僅留下褐斑及損傷腐爛區(qū)域，由于葡萄串果粒外輪廓及果梗基本是一個(gè)連通域，其總體面積遠(yuǎn)大于蟲害及殘缺，所以可考慮將所有葡萄果粒的輪廓連接起來，去除面積的大連通域便可去除葡萄果粒的輪廓及果梗。閉運(yùn)算對(duì)圖像輪廓具有平滑作用，能有效去除圖像中的小孔洞，彌補(bǔ)輪廓的缺口和狹長(zhǎng)區(qū)域，采用閉運(yùn)算將葡萄果粒輪廓連接之后，通過去除大連通域剔除葡萄果粒的輪廓以及果梗。經(jīng)過多次試驗(yàn)發(fā)現(xiàn)，消除面積的閾值設(shè)置為2 500可去除葡萄果粒外輪廓而不對(duì)表面缺陷造成干擾。褐斑及損傷腐爛葡萄串閉運(yùn)算處理后結(jié)果如圖4(c)和圖4(d)所示。

圖4 紅提串輪廓圖片

2.1.3 去除小面積斑點(diǎn) 通過上述處理后圖像中只剩下蟲害及殘缺部分和少量小面積噪聲，對(duì)于圖像中小面積斑點(diǎn)可直接去除。設(shè)定去除小面積的閾值為10，可去除像素點(diǎn)小于10的斑點(diǎn)，有效地去除了少量的小面積噪聲。

2.1.4 去除果梗 通過以上處理，圖像中基本上只剩下蟲害及殘缺區(qū)域和一些小面積噪聲，然而對(duì)于某些紅提串圖像中還有一些果梗沒有去除，這是由于某些單一果梗未與大連通域連在一起，少量果梗的形狀與殘缺及蟲害無太大差別，所以會(huì)干擾到蟲害及殘缺區(qū)域的提取，應(yīng)予以去除。

由彩色圖像可知，果梗的顏色為綠色與葡萄其他位置顏色差別較大，果梗位置G分量占比較大。通過試驗(yàn)對(duì)比了G—B、2G—R—B、歸一化超綠法(2g—r—b)[13-14]對(duì)圖像的處理效果，發(fā)現(xiàn)2g—r—b提取果梗的效果最好，其中r、g、b的計(jì)算式見式(1)～式(3)。

(1)

(2)

(3)

式中：

R——圖像的紅色分量；

G——圖像的綠色分量；

B——圖像的藍(lán)色分量；

r——?dú)w一化后的紅色分量；

g——?dú)w一化后的綠色分量；

b——?dú)w一化后的藍(lán)色分量。

2g—r—b去除綠色果梗方法：分別提取紅提RGB圖像的R、G、B三分量值并將其轉(zhuǎn)換為r、g、b，通過2g—r—b的色差計(jì)算，提取出果梗的灰度圖，通過Otsu閾值法選取出最佳閾值，并將灰度圖轉(zhuǎn)為二值圖，表面缺陷去除果梗效果如圖5(a)和圖5(b)所示。

2.2 紅提串缺陷的判別模型

通過以上傳統(tǒng)圖像處理后，已基本提取缺陷區(qū)域，但仍然有一些線性果粒邊緣沒有去除如圖5(c)和圖5(d)所示，含有線性果粒邊緣的褐斑和損傷腐爛紅提串在彩色圖像中的判別效果如圖5(e)和圖5(f)所示，部分果粒邊緣未與整串葡萄邊緣連接起來，所以去除大連通域時(shí)未將其去除，且部分線性噪聲的面積與表面缺陷的面積相當(dāng)，無法直接用面積特性進(jìn)行去除。表面缺陷連通域比線性果粒邊緣更趨近于一個(gè)圓形或者矩形，在圓形度、外接矩形長(zhǎng)寬比和矩形度有一定的區(qū)別，但部分邊緣信息外形為線條狀，與斑點(diǎn)外形類似，直接運(yùn)用單一形態(tài)特征較難實(shí)現(xiàn)分類。對(duì)破損區(qū)域的識(shí)別中，已有學(xué)者[17]利用連通域的區(qū)域圓形度積、區(qū)域的長(zhǎng)徑、短徑和長(zhǎng)寬比等特征參數(shù)來實(shí)現(xiàn)對(duì)裂紋進(jìn)行分類。綜上提取每個(gè)連通域的圓形度、外接矩形長(zhǎng)寬比和矩形度3個(gè)參數(shù)值作為區(qū)分線狀噪聲和蟲害及殘缺區(qū)域的特征參數(shù)。從處理后的圖像中提取斑點(diǎn)噪聲和破損區(qū)域共200個(gè)，表1為統(tǒng)計(jì)的區(qū)域圓形度、長(zhǎng)寬比和矩形度的參數(shù)分布，發(fā)現(xiàn)兩類區(qū)域的各個(gè)形狀特征參數(shù)無法通過設(shè)定簡(jiǎn)單的閾值比較將其區(qū)分出來，需要借助分類模型進(jìn)行識(shí)別。

表1 表面缺陷和果粒邊緣區(qū)域的形狀特征參數(shù)分布

圖5 紅提串缺陷判別

2.3 基于BP神經(jīng)網(wǎng)絡(luò)模型和支持向量機(jī)模型的區(qū)域類型表面缺陷判別

將挑選出來的紅提串訓(xùn)練集樣本(具有表面缺陷的紅提串60串)，每串葡萄正反兩面拍照，共得到120張樣本圖像，按照上述圖像處理方法分別提取紅提串表面缺陷區(qū)域并得到每個(gè)表面缺陷區(qū)域的圓度、長(zhǎng)寬比和矩形度信息，一個(gè)表面缺陷區(qū)域的圓度、長(zhǎng)寬比和矩形度特征信息組成一組缺陷區(qū)域樣本數(shù)據(jù)，120張照片共得到400組缺陷區(qū)域樣本數(shù)據(jù)。校正集和訓(xùn)練集按照3∶1比例將400組樣本數(shù)據(jù)分為300個(gè)校正集樣本和100個(gè)預(yù)測(cè)集樣本，300個(gè)校正集數(shù)據(jù)用于建立分類模型，100個(gè)預(yù)測(cè)集數(shù)據(jù)用于驗(yàn)證分類模型的準(zhǔn)確率。

校正集300個(gè)樣本，38個(gè)判斷錯(cuò)誤，校正集分類結(jié)果準(zhǔn)確率達(dá)87.33%，預(yù)測(cè)集100個(gè)樣本，16個(gè)判斷錯(cuò)誤，預(yù)測(cè)集分類結(jié)果準(zhǔn)確率達(dá)84.00%。

2.3.2 基于支持向量機(jī)模型的表面缺陷判別 支持向量機(jī)(SVM)模型被廣泛應(yīng)用于二分類和多維非線性分類問題，SVM的實(shí)現(xiàn)原理為利用選擇的核函數(shù)將輸入向量映射到一個(gè)高維數(shù)特征空間，并在該空間中構(gòu)造一個(gè)最優(yōu)分類超平面[19-21]。選取RBF核函數(shù)，其主要參數(shù)包括懲罰參數(shù)c和參數(shù)g。當(dāng)均方誤差(MSE)為0.076 6時(shí)，均方誤差較小，模型準(zhǔn)確率高，此時(shí)懲罰因子c=48.502 9，核函數(shù)參數(shù)g=0.189 5。

校正集300個(gè)樣本，32個(gè)判斷錯(cuò)誤，校正集分類結(jié)果準(zhǔn)確率達(dá)89.33%，訓(xùn)練集100個(gè)樣本，12個(gè)判斷錯(cuò)誤，訓(xùn)練集分類結(jié)果準(zhǔn)確率達(dá)88.00%，表明SVM模型分類效果好于BP模型分類效果，研究選取SVM模型進(jìn)行分類，表面缺陷和果粒邊緣區(qū)域類型判別結(jié)果如表2所示。

表2 表面缺陷和果粒邊緣區(qū)域類型判別結(jié)果

2.3.3 模型比較與分析 通過兩種分類方法建立了兩種分類模型，由以上分析得兩種模型的準(zhǔn)確率均達(dá)到90%以上，同時(shí)考慮到檢測(cè)時(shí)間問題，BP神經(jīng)網(wǎng)絡(luò)模型需要296 ms，SVM模型僅需要252 ms，且BP神經(jīng)網(wǎng)絡(luò)所獲參數(shù)每次都會(huì)變化，SVM模型更為穩(wěn)定，所以SVM模型更能滿足快速檢測(cè)的生產(chǎn)線的要求，故選擇SVM模型進(jìn)行區(qū)域判別。

2.3.4 結(jié)果驗(yàn)證與分析 通過SVM模型可以對(duì)圖像中各個(gè)連通區(qū)域進(jìn)行判別，將所有標(biāo)簽為1(即線狀果粒邊緣)的像素置為0即可消除所有線狀果粒邊緣。褐斑及損傷腐爛紅提串通過SVM算法剔除果粒邊緣結(jié)果如圖4(g)和圖4(h)所示，褐斑和損傷腐爛紅提串在彩色圖像中的判別效果如圖4(i)和圖4(j)所示。

3 實(shí)際應(yīng)用效果

為了驗(yàn)證上述圖像處理步驟識(shí)別褐斑及損傷腐爛的準(zhǔn)確性，進(jìn)行驗(yàn)證實(shí)驗(yàn)，將挑選出來的測(cè)試集60個(gè)葡萄串(包含30個(gè)表面完好和30個(gè)表面缺陷)樣本，每個(gè)樣本拍攝正反兩次，共拍攝120張圖像，正反兩張圖像都沒有褐斑及損傷腐爛的才能判斷為完好果串。將需要驗(yàn)證的樣本通過上述步驟進(jìn)行圖像處理，得到面積S(二值圖像中像素值為1的面積)的值，若S=0時(shí)，則判斷為完好葡萄串；當(dāng)S>0時(shí)，則判斷為褐斑及損傷腐爛。完好葡萄串和褐斑及損傷腐爛分類結(jié)果如表3所示。

表3 完好紅提串和缺陷紅提串分類結(jié)果

在驗(yàn)證過程中發(fā)現(xiàn)少數(shù)完好葡萄的表面斑點(diǎn)較多或葡萄表面附著水珠被誤判成了蟲害及殘缺，所以完好葡萄串的識(shí)別率較低。從驗(yàn)證結(jié)果來看，研究使用的處理方法效果較好，完好葡萄和褐斑及損傷腐爛的正確識(shí)別率分別達(dá)到90.00%和93.33%，對(duì)總體60個(gè)樣本的整體識(shí)別率達(dá)91.67%，滿足對(duì)葡萄串外部品質(zhì)快速、高準(zhǔn)確率的要求。

4 結(jié)論

研究建立的表面缺陷和果粒邊緣神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)分類判別模型，支持向量機(jī)模型的判別效果明顯好于神經(jīng)網(wǎng)絡(luò)模型的判別效果，在針對(duì)紅提串缺陷和部分果粒邊緣的判別中，所提取的圓形度、外接矩形長(zhǎng)寬比和矩形度的3個(gè)特征，支持向量機(jī)更適合分類判別，可為以后線性邊緣信息的剔除提供一定的參考。后期可在此基礎(chǔ)上深入研究褐斑及損傷腐爛的識(shí)別，并結(jié)合紅提商品的價(jià)值、果農(nóng)的經(jīng)驗(yàn)建立缺陷(褐斑及損傷腐爛)紅提串程度評(píng)價(jià)體系，直接實(shí)現(xiàn)紅提串的缺陷程度的評(píng)價(jià)。并通過該體系，實(shí)現(xiàn)紅提串缺陷程度的自動(dòng)化智能分級(jí)。