基于機(jī)器視覺的淡水魚去鱗損傷無損檢測識別方法

閆朋濤，王昆倫，孫家亮，張學(xué)雨，王碧堯，王慧慧*

1. 大連工業(yè)大學(xué)機(jī)械工程與自動化學(xué)院（大連 116034）；2. 國家海洋食品工程技術(shù)研究中心（大連 116034）

隨著人們生活水平的提高，對于高品質(zhì)魚蛋白的需求量在逐年增加，淡水魚類含有豐富的蛋白質(zhì)，其產(chǎn)量在魚類總產(chǎn)量中約占73%[1-2]。2017年漁業(yè)年鑒顯示，2016年全國淡水魚類養(yǎng)殖量達(dá)約3 179.3萬 t，比2015年增長約100.5萬 t，隨著淡水魚需求量的逐年增長，淡水魚產(chǎn)量與前處理過程的不匹配狀態(tài)已嚴(yán)重制約相關(guān)行業(yè)的發(fā)展，提高淡水魚加工自動化、智能化水平顯得尤為重要。淡水魚前處理加工過程的關(guān)鍵工序主要包括去鱗、去臟、去頭。其中，去鱗損傷是影響產(chǎn)品外觀品質(zhì)、減少貨架期的重要因素，目前對去鱗損傷的檢測還主要依賴人工完成，是制約淡水魚加工裝備自動化、智能化主要原因之一。

近年來伴隨著人工智能的崛起，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)得到了極大的發(fā)展。計算機(jī)技術(shù)和相關(guān)硬件設(shè)備的進(jìn)步為機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的應(yīng)用提供了硬件基礎(chǔ)。計算機(jī)視覺作為一種新興的技術(shù)，依托計算機(jī)高速運(yùn)算的優(yōu)勢和相關(guān)圖像采集設(shè)備性能的提高，在食品加工與產(chǎn)品品質(zhì)檢測方面有著廣泛的應(yīng)用。同時，與機(jī)器視覺相關(guān)的設(shè)備正朝著快速、無損、高精度、高自動化等方向發(fā)展[11,13-14]。目前已經(jīng)在蔬菜、水果等無損檢測中得到了越來越多的研究和應(yīng)用[12,16,20]。王樹文等[3]利用圖像采集設(shè)備將采集的圖像利用圖像處理的方法得到番茄缺陷的特征參數(shù)，建立BP神經(jīng)網(wǎng)絡(luò)模型，最終實現(xiàn)了對番茄損傷的自動檢測和分類；李順琴等[4]基于計算機(jī)視覺提取橙子的大小顏色和表面特征，通過建立RBF神經(jīng)網(wǎng)絡(luò)模型，實現(xiàn)對橙子的自動化檢測和分級也取得了不錯的效果；李錦衛(wèi)等[5]通過計算機(jī)視覺技術(shù)，利用灰度截留分割和十色模型對馬鈴薯的表面缺陷和有芽進(jìn)行了研究，通過計算機(jī)視覺技術(shù)建立的該檢測方法可以快速有效的檢測出馬鈴薯的表面缺陷。

研究面向機(jī)械式去鱗過程，基于機(jī)器視覺和圖像處理技術(shù)建立淡水魚去鱗損傷自動識別算法模型，實現(xiàn)了淡水魚去鱗損傷的快速、無損檢測。

1 材料與方法

1.1 試驗材料

研究以鯉魚為例展開相關(guān)試驗。試驗用鯉魚購置于大連長興水產(chǎn)市場，挑選的為鱗片無損傷的鮮活鯉魚，經(jīng)過去頭、去臟后放入帶冰的保溫箱中迅速運(yùn)回實驗室。使用刮板式去鱗機(jī)進(jìn)行樣品的去鱗操作試驗，隨機(jī)選取帶有去鱗損傷的鯉魚進(jìn)行圖像采集，為后續(xù)的處理提供數(shù)據(jù)支持。

1.2 儀器設(shè)備與圖像數(shù)據(jù)的采集

利用機(jī)器視覺系統(tǒng)裝置采集每個樣本相應(yīng)的圖像數(shù)據(jù)，該系統(tǒng)裝置主要由工業(yè)相機(jī)、鹵素?zé)艄庠?、工控裝置等組成，曝光時間為10 ms，物距50 cm，所采圖像分辨率為960×1 400 pixel2，圖像的位深度為24，圖像格式為BMP。

針對具有去鱗損傷的圖像，在損傷圖像處選取30×25 pixel2大小的矩形區(qū)域作為損傷的感興趣區(qū)域（ROI），在正常魚體圖像處選取30×25 pixel2大小的矩形區(qū)域作為無損傷ROI區(qū)域。

1.3 圖像處理與模型搭建

1.3.1 圖像顏色模型的選擇和預(yù)處理

為獲取圖像中ROI的特征，計算機(jī)對彩色圖像的處理需要根據(jù)應(yīng)用目的的不同選用不同的彩色模型，研究采用應(yīng)用較為普遍的RGB顏色模型[9-10]。

對數(shù)字圖像進(jìn)行多分辨率分析時，小波變換能夠在空間頻率域進(jìn)行局部化分析，通過伸縮平移等運(yùn)算操作對圖像的像素信號函數(shù)進(jìn)行細(xì)化，能夠?qū)崿F(xiàn)空間頻率信號的自動分析。方法具有低熵、多分辨率性、去相關(guān)性，基數(shù)選擇靈活等特點，對尖峰和突變信號具有良好的保護(hù)作用。因此，研究采用閾值小波變換進(jìn)行圖像去除噪聲處理，并與原始圖像處理效果進(jìn)行對比分析。

1.3.2 神經(jīng)網(wǎng)絡(luò)建模

廣義神經(jīng)網(wǎng)絡(luò)（GRNN）是一種建立于非線性回歸分析基礎(chǔ)之上的徑向基神經(jīng)網(wǎng)絡(luò)[6-7]，其具有較強(qiáng)的非線性映射能力和全局收斂性，具有較簡單的網(wǎng)絡(luò)結(jié)構(gòu)，較強(qiáng)的魯棒性和容錯性；徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)（RBF）是一種基于高斯函數(shù)的非線性映射的神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)將數(shù)據(jù)轉(zhuǎn)化到高維空間，實現(xiàn)高維空間線性可分，網(wǎng)絡(luò)訓(xùn)練時間較短，不易產(chǎn)生局部最優(yōu)解[8]。GRNN、RBF網(wǎng)絡(luò)已廣泛應(yīng)用于食品品質(zhì)的分級預(yù)測[7,18]。研究建立基于GRNN和RBF網(wǎng)絡(luò)的魚加工損傷預(yù)測模型，并針對預(yù)測的準(zhǔn)確率、建模時間進(jìn)行對比分析。模型輸入層神經(jīng)元由所采集樣品的圖像特征構(gòu)成，輸出層神經(jīng)元由0、1構(gòu)成，分別代表完好魚體表面和損傷魚體表面。選擇100個30×25 pixel2圖像來構(gòu)建預(yù)測模型，其中50個為完好魚體表面圖像，50個為損傷魚體表面圖像，標(biāo)記好后，分層按比例選取這100個圖像中的60個圖像用于模型的訓(xùn)練，40個圖像用于模型的驗證。

1.3.3 損傷區(qū)域識別驗證與可視化

利用上述模型實現(xiàn)完好魚體區(qū)域與損傷魚體區(qū)域的預(yù)測，在此基礎(chǔ)上對圖像進(jìn)行圖像二值化處理，其中完好魚體的圖像部分賦值為0，損傷魚體的圖像部分賦值為1，通過形態(tài)學(xué)圖像處理區(qū)域聯(lián)通和小區(qū)域去除[9-10]的方法降低消除預(yù)測過程中產(chǎn)生的誤差。在此基礎(chǔ)上，利用二值圖像數(shù)據(jù)特點，通過預(yù)測圖像與原始樣本圖像的乘法運(yùn)算，實現(xiàn)損傷區(qū)域的可視化。利用預(yù)測損傷區(qū)域與實際損傷區(qū)域面積相對誤差比驗證模型精確度，比值公式如式1所示，其結(jié)果值越接近100%說明模型預(yù)測越準(zhǔn)確。

式中：p1為預(yù)測所得損傷區(qū)域的圖像面積，p2為原圖像實際損傷區(qū)域的面積，P為鯉魚的預(yù)測損傷區(qū)域與實際損傷區(qū)域的接近程度百分比即準(zhǔn)確率。

1.3.4 數(shù)據(jù)處理

研究利用Matlab 2011a（The Math Works Inc．，美國）軟件，進(jìn)行識別模型的建立和損傷區(qū)域圖像仿真等相關(guān)運(yùn)算和操作。

2 結(jié)果與討論

2.1 圖像去噪分析

圖1為預(yù)處理圖像，其中圖1（a）為原始圖像，（b）為經(jīng)小波去噪處理后圖像，比較兩圖像效果，去噪圖與原圖差別不大，說明由于暗箱和光源的設(shè)置較為合理，消除了大量的光照和噪聲的影響，為減少圖像處理的時間，提高分析檢測的速度，故選擇原始圖像直接進(jìn)行后續(xù)分析與建模等相關(guān)運(yùn)算。

圖1 預(yù)處理圖像

2.2 圖像區(qū)域的劃分與分析

從原始圖像中可以看出，圖像主要由背景、正常魚體區(qū)域、損傷魚體的區(qū)域構(gòu)成，背景、正常魚體部分、損傷魚體部分顏色差別較大，如圖2所示，魚體的正常區(qū)域不同部位顏色值存在差別。為了消除這種影響，根據(jù)觀察和分析可將魚分割成三個部分，分別研究其顏色值變化情況。如圖3所示，魚體圖像包含背景、魚腹、魚背、魚尾、損傷區(qū)域五部分，分別在五部分內(nèi)選取30×25 pixel2大小的圖像塊，計算其R、G、B平均值（圖4），魚腹、魚尾、魚背、背景區(qū)域的R、G、B平均值逐漸降低，損傷區(qū)域的R平均值與魚尾相似，G平均值與魚尾背相似，B平均值與魚背相似。說明破損區(qū)域顏色值與其它區(qū)域顏色值存在差異，可以此為特征進(jìn)行破損區(qū)域識別的研究。

圖2 魚體分割圖像

圖3 ROI區(qū)域

圖4 R、G、B平均值

2.3 預(yù)測模型的搭建及分析

在15條鯉魚圖像中隨機(jī)選取魚背、魚腹、魚尾共計50個圖像塊，損傷區(qū)域50圖像塊，分別進(jìn)行R、G、B平均值的計算，以此作為輸入建立魚加工損傷預(yù)測模型，并分別選擇GRNN和RBF網(wǎng)絡(luò)構(gòu)建此模型。

GRNN網(wǎng)絡(luò)的輸入層神經(jīng)元個數(shù)為3，對應(yīng)所選圖像塊的R、G、B平均值。隱層神經(jīng)元的個數(shù)由訓(xùn)練樣本通過自適應(yīng)練習(xí)確定。在擴(kuò)展常數(shù)的選取方面，針對100個圖像塊的GRNN網(wǎng)絡(luò)擴(kuò)展常數(shù)展開試驗，當(dāng)該網(wǎng)絡(luò)的擴(kuò)展常數(shù)越大時，所得擬合函數(shù)越平滑，但需要大量神經(jīng)元用以適應(yīng)其快速的變化，反之，選擇較小的擴(kuò)展常數(shù)，也需要較大數(shù)量得神經(jīng)元適應(yīng)緩慢變化的函數(shù)，通過上述100個圖像塊進(jìn)行試驗發(fā)現(xiàn)，擴(kuò)展常數(shù)取3時，基于GRNN網(wǎng)絡(luò)的魚加工損傷預(yù)測模型分級效果最好，預(yù)測速度最快。該網(wǎng)絡(luò)的輸出神經(jīng)元為2個，分別對應(yīng)正常魚體圖像和損傷區(qū)域。

RBF網(wǎng)絡(luò)的輸入層神經(jīng)元個數(shù)為3，同樣對應(yīng)所選圖像塊的R、G、B平均值。隱層神經(jīng)元由自適應(yīng)確定。針對100個圖像塊的RBF網(wǎng)絡(luò)擴(kuò)展常數(shù)展開試驗，當(dāng)RBF網(wǎng)絡(luò)擴(kuò)展常數(shù)選擇17.5時，網(wǎng)絡(luò)預(yù)測效果最好、速度最快。RBF網(wǎng)絡(luò)輸出層同GRNN網(wǎng)絡(luò)。

針對前述GRNN和RBF網(wǎng)絡(luò)，選擇60個圖像塊進(jìn)行網(wǎng)絡(luò)訓(xùn)練，其中30個為正常魚體圖像，30個為損傷魚體圖像；選擇40個圖像塊進(jìn)行網(wǎng)絡(luò)預(yù)測，其中20個為正常魚體圖像，20個為損傷魚體圖像，預(yù)測結(jié)果如表1所示。預(yù)測結(jié)果表明，上述兩種網(wǎng)絡(luò)預(yù)測魚損傷區(qū)域都有較高的準(zhǔn)確率，其中GRNN和RBF網(wǎng)絡(luò)識別正常區(qū)域都是100%，針對損傷區(qū)域的預(yù)測，GRNN網(wǎng)絡(luò)預(yù)測準(zhǔn)確率為100%，RBF網(wǎng)絡(luò)預(yù)測準(zhǔn)確率相對較差（80%）。

表1 GRNN網(wǎng)絡(luò)和RBF網(wǎng)絡(luò)識別正常與損傷結(jié)果

為驗證魚加工損傷預(yù)測模型的應(yīng)用效果，選取十五幅具有機(jī)械損傷的魚體圖像，通過圖像處理中的特征提取[11]，計算出相應(yīng)部分所占像素點的多少作為面積，進(jìn)一步通過p值的計算結(jié)果作為損傷識別的準(zhǔn)確率。如表2所示，基于GRNN網(wǎng)絡(luò)的p值平均值為0.941；基于RBF網(wǎng)絡(luò)的p值平均值為0.836。說明兩種神經(jīng)網(wǎng)絡(luò)都可以較好實現(xiàn)魚損傷區(qū)域的自動識別，其中GRNN網(wǎng)絡(luò)模型識別效果更優(yōu)。光照不均勻、損傷多樣性等因素可能是造成識別誤差的主要原因[8]。區(qū)域可視化結(jié)果，其中a1和b1分別是GRNN和RBF網(wǎng)絡(luò)模型識別出魚體損傷的區(qū)域，a2和b2分別是GRNN和RBF網(wǎng)絡(luò)模型經(jīng)過圖像處理中區(qū)域聯(lián)通和小區(qū)域去除得到的相關(guān)二值圖像，a3和b3分別是GRNN和RBF網(wǎng)絡(luò)模型獲得的魚體狀況可視化效果圖，可視化的結(jié)果同樣證明了GRNN和RBF網(wǎng)絡(luò)模型可以很好的識別出損傷區(qū)域，但是GRNN網(wǎng)絡(luò)模型預(yù)測出的損傷區(qū)域通過對比則更接近實際損傷區(qū)域。

表2 GRNN和 RBF網(wǎng)絡(luò)識別仿真損傷區(qū)域與實際損傷區(qū)域面積比值

圖5 基于GRNN網(wǎng)絡(luò)和RBF網(wǎng)絡(luò)識別損傷區(qū)域可視化

3 結(jié)論

研究針對面向淡水魚加工過程中的去鱗損傷檢測問題，展開有關(guān)魚去鱗損傷自動識別的關(guān)鍵技術(shù)研究，建立了基于計算機(jī)視覺技術(shù)的魚去鱗損傷無損檢測方法。根據(jù)魚正常區(qū)域與損傷區(qū)域顏色差異性，將魚樣本圖像劃分為魚腹、魚背、魚尾、損傷和背景五部分，提取不同區(qū)域的ROI，針對魚體顏色RGB值的變化進(jìn)行相關(guān)的統(tǒng)計學(xué)分析[15,17,19]。利用樣本圖像R、G、B值的差異等特點建立基于GRNN和RBF網(wǎng)絡(luò)的魚損傷區(qū)域預(yù)測模型，實現(xiàn)了魚的正常與損傷區(qū)域的識別，識別模型準(zhǔn)確率分別為98%和80%。為驗證上述模型的可行性，進(jìn)行了損傷區(qū)域可視化研究，計算預(yù)測損傷區(qū)域與實際損傷區(qū)域的相對面積比的準(zhǔn)確率值（p），最終，基于GRNN網(wǎng)絡(luò)的p值平均值為0.941，基于RBF網(wǎng)絡(luò)的p值平均值為0.836，結(jié)果表明GRNN網(wǎng)絡(luò)識別效果較好且優(yōu)于RBF網(wǎng)絡(luò)。上述研究為開發(fā)魚損傷區(qū)域快速檢測設(shè)備提供了數(shù)據(jù)支持和可行的檢測方法。