基于機器視覺的櫻桃形狀及大小檢測技術(shù)

裴悅琨，葉家敏，姜艷超，連明月，韓心新，谷宇

1.大連大學遼寧省北斗高精度位置服務技術(shù)工程實驗室（大連 116622）；2.大連大學大連市環(huán)境感知與智能控制重點實驗室（大連 116622）

櫻桃的形狀和大小是櫻桃品質(zhì)的重要表現(xiàn)。通常，櫻桃的優(yōu)質(zhì)表面特征能激發(fā)消費者的購買欲，促進果農(nóng)收益最大化。櫻桃在花芽分化過程中遇到高溫干旱天氣，果實極易畸變成單柄聯(lián)體雙果、單柄聯(lián)體三果甚至單柄聯(lián)體四果[1]。這種畸形果口感酸澀，大大降低了商用價格。因此，為提升經(jīng)濟效益，有必要對畸形果進行剔除，對正常果進行尺寸分級。目前我國對櫻桃的分揀分級依賴人工實現(xiàn)，存在主觀性強、勞動密度大、耗時長且不夠準確等缺點，提出基于機器視覺的櫻桃分揀分級，以達到精準分揀、高效分級的目的。

機器視覺在形狀檢測中應用廣泛，如黃桃表面缺陷檢測、芒果大小檢測、番茄裂果、馬鈴薯畸形檢測，雖然檢測速度快且精度高，但是算法針對性強，不具有廣泛應用性[2-5]。對桃子、番茄的果、花、莖檢測，雖可實現(xiàn)戶外實時檢測，但受環(huán)境影響較大，精度低且對樣本需求量較大[6-7]。柚子、獼猴桃的大小檢測為果形指標量化提供了方法和理論依據(jù)，但需對果形姿態(tài)進行確定，有一定的局限性[8-9]。荔枝、蘋果、草莓的形狀大小檢測，在確保精度時無法同時做到高效檢測[10-12]?；ü狡茡p檢測算法雖然速度上有一定的優(yōu)勢，但正確率上卻稍有缺陷[13]。也有一些研究綜合考慮了各方面因素，速度和精度均達到了不錯的效果。如對楊梅、草莓進行形狀大小檢測，尤其是對草莓的檢測，將草莓的幾何形狀類比成風箏檢測其大小，并以頂點為基點，計算邊界和長軸的角度，實現(xiàn)了草莓尖端是標準錐形還是平坦形識別[14-15]。

雖然檢測水果品種廣泛，但對櫻桃果形的識別技術(shù)少之甚少。因此，以櫻桃為研究對象，提出一種以機器視覺為基礎(chǔ)的歐式距離法，在保證高正確率的同時高效率地檢測櫻桃果形。主要圍繞2個關(guān)鍵問題展開：1）針對檢測出櫻桃果實進行畸形判別；2）針對檢測出櫻桃果實進行尺寸分級。

1 試驗系統(tǒng)搭建

基于計算機視覺的分級系統(tǒng)由硬件和軟件兩個部分組成。硬件系統(tǒng)用于采集櫻桃圖像，軟件部分對圖像進行處理。

硬件系統(tǒng)主要由照明系統(tǒng)、CMOS攝像機、吸光背景布、POE千兆網(wǎng)卡、計算機等組成，如圖1所示。照明系統(tǒng)包含圓頂光源和控制器。圓頂光源將內(nèi)嵌的高強度白色LED燈珠的發(fā)光，經(jīng)圓頂內(nèi)壁漫反射到被測物體表面上，在很大程度上避免了櫻桃表面的反射和底部陰影，且有利于提高被測物體的輪廓、斑點等細節(jié)的清晰度，進而提高檢測精度?？刂破骶哂型接|發(fā)模式，將其與相機觸發(fā)輸出接口相連可以通過相機快門同步觸發(fā)頻閃信號。CMOS相機、鏡頭及網(wǎng)卡均為主流的工業(yè)級產(chǎn)品。

軟件部分采用模塊化設(shè)計思想，在MATLAB環(huán)境下完成。主要工作流程如圖2所示，包括圖像采集、圖像增強、邊緣檢測、確定果蒂、畸形檢測以及尺寸分級。

圖1 硬件系統(tǒng)圖

圖2 圖像處理流程圖

2 圖像處理

2.1 圖像增強、二值化

為了能使得圖片更加適合該研究，首先對原圖使用直方圖均衡化，增強原圖的對比度，強化櫻桃自身輪廓和細節(jié)等。研究的重點在于櫻桃的果體形態(tài)，并不涉及顏色信息，故將彩色圖進行降維處理，即二值化操作，大大簡化數(shù)據(jù)運算量。

2.2 果梗、果體分離

通過研究櫻桃果梗所占像素寬度，選用13×13的結(jié)構(gòu)元素對二值圖進行形態(tài)學開運算，達到去除果梗的目的。由于噪聲的影響，果體邊緣不平滑且果體內(nèi)外部存在一些細小噪聲，采用3×3的結(jié)構(gòu)元素對果體二值圖進行形態(tài)學閉運算來平滑邊界、去除果體內(nèi)部噪聲，得到高質(zhì)量果體。最后，使用完整二值圖減去果體得到果梗。

如圖3所示，畸形果千姿百態(tài)，檢測關(guān)鍵因素之一是果體的邊緣信息。通過對比多種邊緣算子，最后確定Canny算子效果最優(yōu)，分別對果體、果梗提取邊界信息。

2.3 確定果蒂

此次研究所提出的創(chuàng)新算法是以果蒂為基點，而果蒂是櫻桃果體與果梗相連接的地方，故需先通過圖像處理確定果蒂的位置。將得到果梗、果體邊界信息進行相交，進而確定果蒂的位置。

圖3 常見畸形櫻桃圖

3 畸形檢測

3.1 面積缺陷法[16]

在已搭建好的硬件設(shè)備上進行櫻桃圖像采集，對櫻桃圖片進行預處理和二值化等操作。櫻桃表面光滑易反光，依據(jù)反光面積占櫻桃總面積比，得到畸形指數(shù)，根據(jù)畸形指數(shù)區(qū)分正常果和畸形果。

果體畸形的櫻桃反光面積為Ad，不考慮畸形的櫻桃面積為As，畸形指數(shù)DA按式（1）計算。

3.2 歐氏距離法

首先，采用8連通像素跟蹤法順時針提取果體邊界像素坐標，再對果體邊界坐標順序進行調(diào)整，調(diào)整為以果蒂為起始點。然后，以果蒂為基點，順時針依次與果體邊界像素坐標計算歐氏距離：

式中：（x0,y0）為果蒂坐標，（xi,yi）為邊界順時針第i個像素坐標，d為兩坐標的歐式距離。最后，對求得的歐式距離繪制成波形圖。

從理論上來看：

1) 正常果體以果蒂為基準點，順時針與邊界做歐氏距離后并繪制出的波形圖上存在一個很淺的波谷，少數(shù)較為圓潤的果體甚至連波谷都沒有。

2) 畸形果體以果蒂為基準點，順時針與邊界做歐氏距離后繪制的波形圖上會呈現(xiàn)出一個、兩個甚至三個較深的波谷。

因此從波形圖的波谷深淺程度著手，將果體存在畸形的剔除。波形圖只需要大致走向即可，故采用五點均值法達到平滑波形的作用，避免細小波峰、波谷的干擾，如式（3）所示。

平滑波形后，尋找波形圖中的最高波峰和相鄰最深波谷的位置，也就是波形圖中的最大值Jmax和相鄰極小值中的最小值Jmin，對這兩個數(shù)值進行歸一化處理，并計算其差值：

式中：C為波形圖中波谷的深淺程度，最后將差值C與預先定義好的閾值Cth進行比較：

4 尺寸分級

櫻桃經(jīng)過畸形檢測后，系統(tǒng)將果形正常的櫻桃進行尺寸分級。尺寸分級能夠?qū)⒋笮∠嘟臋烟覛w為一類，便于加工處理、包裝存儲等，況且對果農(nóng)而言根據(jù)尺寸分級從而價格分檔更能提升經(jīng)濟效益。尺寸檢測是根據(jù)國際標準以垂直于果軸最寬果莖所得值，因此采用果莖法將正常櫻桃分為特級、一級、二級、三級。

在櫻桃去除果梗后，根據(jù)歐氏距離波形圖首先確定櫻桃的果萼位置。連接果蒂和果萼，即為果軸，順時針依次與邊界像素構(gòu)成三角形。通過使用海倫公式計算三角形面積，并找出果軸兩側(cè)最大面積三角形，從而確定垂直于櫻桃果軸的最寬果莖點：

式中：a為果蒂與果萼的距離，b為果蒂與邊界的距離，c為邊界與果萼的距離，s為三角形面積。然后將最寬果莖計算值與實際游標卡尺測量值做一元線性回歸，計算估算值與實際測量值的誤差百分比，以及誤差百分比的均方根，從而確定一元回歸方程的精度：

最后，對櫻桃尺寸進行分級，根據(jù)市面櫻桃大小，參考美國、加拿大櫻桃分級標準，將櫻桃分級，其中L為櫻桃直徑最寬距離：

5 試驗結(jié)果分析

試驗中選擇的樣本櫻桃為市場上備受歡迎的“美早”，具有果梗粗短、果大質(zhì)優(yōu)、豐產(chǎn)早熟等特點，國內(nèi)主要產(chǎn)地為遼寧大連。硬件平臺搭建完成之后，所有櫻桃圖像采集都是在一個標準下進行的。

5.1 畸形檢測對比分析

5.1.1 面積法檢測

基于面積法檢測，選擇200個櫻桃樣本進行批量處理，試驗結(jié)果如表1所示，針對果體畸形檢測的正確率為88%。由于光照等環(huán)境條件無法一模一樣，故驗證結(jié)果可能與前人結(jié)果有稍許不同。

5.1.2 歐氏距離法檢測

圖4為典型不同類型櫻桃檢測圖。圖4（a）、（b）分別為畸形果和正常果的二值化圖，圖4（c）為根據(jù)圖4（a）所繪制的波形圖，圖4（d）為根據(jù)圖4（b）所繪制的波形圖，波形圖的最高波峰和相鄰最低波谷均使用星號標注。因此，要想精確區(qū)分果體是否正常，確定合適的閾值是首要關(guān)鍵任務。

圖4 典型不同類型櫻桃檢測圖

首先，選用特點分明的50個果體正常的櫻桃和50個有果體畸形的櫻桃進行研究，來確定一個合理的閾值用于后續(xù)試驗的果體檢測，發(fā)現(xiàn)：

1) 果體正常的櫻桃波谷深度平均值為0.008 4，最大值為0.019 5，方差為3.060 8×10-5；

2) 果體畸形的櫻桃波谷深度平均值為0.650 1，最小值為0.302 2，方差為0.026 4。

可見畸形果體的波谷最小值是正常果體波谷深度最大值的15倍，且根據(jù)正常果所繪制的波形圖較為平緩，故將閾值設(shè)置為（0.019 5+0.302 2）/5=0.064 34，即Cth=0.064 34。

基于此，我們進行果體畸形檢測試驗，選擇200個櫻桃樣本進行批量處理，試驗結(jié)果如表1所示，正確率達到100%。

表1 畸形檢測對比試驗

經(jīng)過試驗對比，發(fā)現(xiàn)在櫻桃果體畸形檢測方面，提出的歐氏距離法效果在檢測速度和正確率上均明顯高于傳統(tǒng)的面積法。

5.2 尺寸檢測

首先，對78個正常果體櫻桃分別使用游標卡尺進行果莖測量和使用圖像處理計算櫻桃的最寬果莖，并將最寬果莖計算值與實際測量值做一元線性回歸擬合，如圖5所示，得到一元回歸方程：

式中：x為圖像中最寬果莖計算值，f(x)為估計值。根據(jù)一元回歸方程得到每個櫻桃最寬果莖的估計值與測量值計算可知，果莖的均方根誤差為2.752 0%，其精度為97.248%?；诖?，選擇120個樣本櫻桃進行批量處理，進行尺寸分級，結(jié)果如表2所示。

圖5 線性回歸擬合圖

表2 尺寸分級

6 結(jié)語

研究是以機器視覺為基礎(chǔ)，搭建了一個櫻桃果形檢測、尺寸分級系統(tǒng)。首先，通過CMOS相機對櫻桃進行圖像采集；其次，使用MATLAB圖像進行預處理；然后，利用提出的新算法——歐式距離法，對果體是否畸形進行檢測；最后，采用果莖法對正常果進行尺寸分級。試驗表明，歐氏距離法檢測果體畸形在準確率和速度上均優(yōu)于傳統(tǒng)算法，分別為100%和528個/min，且尺寸分級準確率為93.3%，具有良好的實際應用價值。