基于OpenCV的動態(tài)葡萄干色澤實時識別

劉星星，王爍爍，徐麗明，袁全春，馬 帥，于暢暢，牛 叢，陳 晨，袁訓(xùn)騰，曾 鑒

基于OpenCV的動態(tài)葡萄干色澤實時識別

劉星星，王爍爍，徐麗明※，袁全春，馬 帥，于暢暢，牛 叢，陳 晨，袁訓(xùn)騰，曾 鑒

（中國農(nóng)業(yè)大學(xué)工學(xué)院，北京 100083）

為了實現(xiàn)新疆吐魯番地區(qū)“無核白”葡萄干的自動化色澤識別，該文利用OpenCV對無核白葡萄干的表面色澤識別進(jìn)行研究，設(shè)計了一套可以實時、動態(tài)、多條輸送通道同時處理的葡萄干色澤識別設(shè)備。為保證葡萄干色澤特征提取的正確率，對實時獲取的每一幀圖像進(jìn)行預(yù)處理，獲得平滑無孔洞的葡萄干二值圖像；去除每一幀二值圖像兩側(cè)邊緣處不完整的葡萄干輪廓，從而保證獲取葡萄干的完整色澤信息；定義圖像上、下2部分掩膜，并分別僅保留圖像右側(cè)第一個葡萄干輪廓，利用上、下掩膜對每一幀圖像分別處理，實現(xiàn)2條輸送帶上葡萄干的同時識別，以提高葡萄干色澤識別效率；在HSV空間下對保留的圖像右側(cè)第一顆葡萄干提取各通道的均值，以綠色、黃色、褐色葡萄干各40粒進(jìn)行測試取值，統(tǒng)計數(shù)據(jù)并分析，確定色調(diào)通道值23、亮度通道值80為閾值進(jìn)行葡萄干色澤識別；以3種顏色葡萄干各150粒分3次進(jìn)行試驗，結(jié)果表明，綠、黃、褐色葡萄干的識別正確率分別為89.33%，92.00%和96.67%，識別效率為21s/百粒葡萄干，識別方法簡單有效。該方法的識別效率高于人工分選方式的110s/百粒葡萄干，但識別正確率低于人工分選方式的100%；相比于現(xiàn)有研究方法對各色葡萄干93%以上的識別正確率，該識別方法對褐色葡萄干的識別正確率較高，但對黃、綠色葡萄干的識別正確率較低；市場上現(xiàn)有的葡萄干分級設(shè)備使用的識別方法幾乎無法區(qū)分黃、綠色葡萄干，與其相比，該文提供了一個可以較好區(qū)分黃、綠色葡萄干的方法。該文基于OpenCV設(shè)計的葡萄干色澤識別算法具有分選可行性和較好的識別正確率，可為后續(xù)分選執(zhí)行機構(gòu)和控制系統(tǒng)的搭建提供算法基礎(chǔ)，為葡萄干色選的商業(yè)化提供算法參考。

農(nóng)產(chǎn)品加工；圖像處理；OpenCV；顏色空間；葡萄干；色澤識別

0 引 言

中國葡萄干總產(chǎn)量為15～16萬t，是世界上最大的綠色葡萄干生產(chǎn)國之一，全國90%以上的葡萄干均來自于新疆，葡萄制干品種主要以“無核白”為主[1-3]。在葡萄干生產(chǎn)加工到銷售之前，由于葡萄干生產(chǎn)企業(yè)在加工及貯藏過程中對葡萄干的含水率以及儲藏溫度等條件把控不到位，使得原本綠色的葡萄干會出現(xiàn)或多或少的黃化甚至褐化現(xiàn)象，影響葡萄干的商品價值[4-6]，所以需要對葡萄干進(jìn)行色澤分級后推向市場。

現(xiàn)有葡萄干的分級工作大部分由人工完成，工作量大、效率低、人工成本高且由于人的主觀評價標(biāo)準(zhǔn)不同使得分級后的葡萄干質(zhì)量參差不齊，嚴(yán)重制約了新疆地區(qū)葡萄干產(chǎn)業(yè)的規(guī)模化發(fā)展。因此，目前急需實現(xiàn)葡萄干的自動化分級[7]。Angadi等對手持?jǐn)z像頭拍攝到的葡萄干圖片提取顏色特征，并利用人工神經(jīng)網(wǎng)絡(luò)分類器建立分級模型并對葡萄干進(jìn)行識別，識別正確率達(dá)到95%[8]。Okamur等對葡萄干圖片進(jìn)行預(yù)處理、提取顏色特征，利用貝葉斯分類器進(jìn)行多級分選，取得了良好的效果[9]。Mollazade等試驗對比了人工神經(jīng)網(wǎng)絡(luò)、支持向量機、決策樹、貝葉斯分類器4種算法對葡萄干色澤和大小的識別正確率[10]。Yu等利用最小平方支持向量機、線性判別分析的方法對葡萄干實現(xiàn)了基于顏色和紋理組合特征的分類[11]。劉小英等利用VPMCD和基于稀疏表示方法進(jìn)行樣本訓(xùn)練并進(jìn)行葡萄干等級檢測，分級效果明顯，識別正確率達(dá)到100%[12-13]。雪合拉提·木塔力甫等通過提取葡萄干特征值并建立BP神經(jīng)網(wǎng)絡(luò)色澤分級模型，識別正確率達(dá)94.62%[14]。唐晶磊等同樣采用類似上述方法建立分級鑒定模型，實現(xiàn)93％的分級正確率[15]。以上方法的實現(xiàn)步驟均為采集圖像、圖像預(yù)處理、特征提取、建立分類器模型實現(xiàn)分級，需要花費較多時間制作數(shù)據(jù)集用于分類器的訓(xùn)練且大部分方法為靜態(tài)識別。而目前市場上用于葡萄干分級的商業(yè)化產(chǎn)品大多基于CCD傳感器對采集到的圖像利用加權(quán)平均的方法灰度化，直接通過不同顏色葡萄干表面的亮度差異設(shè)定閾值進(jìn)行分級，此算法實現(xiàn)簡單、速度快，但由于黃、綠葡萄干表面亮度相近，無法很好地對其進(jìn)行區(qū)分。

針對上述問題，本文以吐魯番地區(qū)的“無核白”葡萄干為研究對象，研究運動狀態(tài)下的葡萄干色澤識別算法，對序列幀動態(tài)圖像中的每一幀圖像進(jìn)行相對簡單、有效的處理，以實現(xiàn)實時、動態(tài)、多條輸送通道條件下不同顏色葡萄干的色澤識別、提高識別效率并對不同顏色葡萄干有較好的區(qū)分效果。

1 圖像識別系統(tǒng)的搭建和葡萄干圖像的采集

1.1 葡萄干表面色澤識別系統(tǒng)的搭建

區(qū)分不同顏色葡萄干表面色澤之間的差異是實現(xiàn)葡萄干的自動化識別的重要方式，根據(jù)無核葡萄干分級標(biāo)準(zhǔn)NY/T 705-2003[16]，將其分為綠色果粒（主色調(diào)為綠色、黃綠色）、黃色果粒（主色調(diào)為黃色）、褐色果粒（主色調(diào)為褐色、深褐色），褐色果粒一般伴隨滲糖、霉?fàn)€、蟲蛀等現(xiàn)象。

本文搭建的葡萄干表面色澤自動識別系統(tǒng)，如圖1所示。工作時，葡萄干投放機構(gòu)將葡萄干逐個投放在輸送帶上，輸送帶在閉環(huán)步進(jìn)電機的帶動下勻速運動，從而帶動上面的葡萄干依次進(jìn)入圖像處理區(qū)域，即光源箱內(nèi)部區(qū)域（圖1b）；由OpenCV攝像頭驅(qū)動程序打開OV2710型工業(yè)相機實時拍攝圖像，計算機通過USB接口協(xié)議接收圖像信息并進(jìn)行后續(xù)處理和分析；最后由氣動執(zhí)行機構(gòu)將識別后的葡萄干吹落至相應(yīng)的收集箱。其中，光源箱的作用是給工業(yè)相機提供相對密閉的拍攝環(huán)境，避免外界環(huán)境干擾；光源采用T8一體式LED白光燈管，使得圖像處理區(qū)域的光照強度為7 000 lux左右；散光布的作用是防止葡萄干上的雜光或多余的反射光映入鏡頭并記錄在圖像中。

1.OV2710 USB工業(yè)相機 2.氣動噴口 3.計算機 4.光源箱 5. 葡萄干投放機構(gòu) 6.閉環(huán)步進(jìn)電機 7.LED光源 8.散光布 9.同步輸送帶

1.2 葡萄干RGB圖像的采集

選取綠、黃、褐色葡萄干各40粒，由葡萄干投放機構(gòu)將其置于同步帶上，在閉環(huán)步進(jìn)電機的帶動下依次經(jīng)過圖像采集區(qū)域。

利用OpenCV庫函數(shù)驅(qū)動工業(yè)相機獲取圖像，為保證圖像的流暢程度，設(shè)置幀率為30幀/s。圖2為獲取的某一幀RGB圖像，OpenCV默認(rèn)橫向為軸，豎向為軸，所獲得的圖像為800×600（像素）。限于所使用工業(yè)相機的硬件性能，僅對圖像處理區(qū)域中間2條葡萄干輸送帶進(jìn)行拍攝，以保證采集到清晰的葡萄干圖像，為保證所使用的120粒葡萄干全部被拍攝到，共采集60幅圖像。

圖2 葡萄干RGB圖像的采集

2 基于OpenCV的圖像處理

2.1 圖像預(yù)處理

圖像預(yù)處理的目的是改善圖像數(shù)據(jù)，抑制不需要的變形和增強某些對于后處理有重要作用的圖像特征[17]。圖像預(yù)處理步驟如下：

1）原始RGB葡萄干圖像灰度化?；叶然菫榱藟嚎s圖像數(shù)據(jù)、減少處理時間并且增強前景與背景的對比度?；叶葓D像與RGB彩色圖像之間的映射關(guān)系為

Gray

(

x

,

y

)=

T

(

R

(

x

,

y

),

G

(

x

,

y

),

B

(

x

,

y

))（1）

式中(,)表示灰度值，(,)、(,)、(,)表示、、分量值?；叶然椒ㄒ话阌凶畲笾捣?、平均值法、加權(quán)平均法和分量法等全局映射法。最大值法是將原彩色圖像的、、三通道的亮度最大值作為灰度圖像灰度值；平均法即采用、、通道的平均值作為灰度值；加權(quán)平均法給3個通道分別賦予不同的加權(quán)系數(shù)實現(xiàn)灰度化；分量法直接采用某一通道的值作為灰度值[18]。經(jīng)試驗發(fā)現(xiàn)利用分量法得到的灰度圖像前景與背景差別最為明顯且程序?qū)崿F(xiàn)較為簡單，故本文采用分量法首先獲得、、三通道灰度圖（圖3a、3c、3e），并分別計算其灰度直方圖（圖3b、3d、3f）。其中通道有明顯的雙峰結(jié)構(gòu)，且峰值相距較遠(yuǎn)（圖3f），適合進(jìn)行后續(xù)的二值化處理。

2）閾值分割。閾值分割處理一般看作是灰度圖像的二值化處理，輸出圖像只有2種灰度值：0和255。圖像分割方法基于圖像中前景與背景的像素值差異，通過設(shè)定合適的閾值實現(xiàn)目標(biāo)與背景的分割，提取圖像中有用的信息，常用方法有全局閾值分割和自適應(yīng)閾值分割[19]。本文搭建的葡萄干色澤識別系統(tǒng)的光線條件相對均勻且所選取的通道灰度圖的前景與背景灰度級相差較大（圖3f），故選取處理時間短、速度快的全局閾值分割進(jìn)行二值化操作，其計算公式如下：

其中為輸入圖像，設(shè)其高為，寬為，(,)代表圖像中第行第列的灰度值，其中0≤，0≤<；全局閾值分割后的輸出圖像為，(,)表示輸出圖像中第行第列的灰度值。由于后續(xù)處理步驟需得到葡萄干的顏色信息，故應(yīng)使葡萄干輪廓區(qū)域的灰度值為255，背景區(qū)域的灰度值為0，全局閾值分割進(jìn)行二值化分割公式為

通過圖3f可知，其分割最佳閾值在48~64之間，本文取55為分割閾值。利用OpenCV的全局閾值分割函數(shù)Threshold()完成圖像的二值化處理，效果如圖4所示。

圖4 閾值分割后圖像

3）形態(tài)學(xué)處理。獲得原圖像的二值圖像后，葡萄干輪廓邊緣存在“毛刺”，不夠平滑，如圖5a中的A區(qū)域，本文利用形態(tài)學(xué)處理方法對分割區(qū)域的輪廓進(jìn)行調(diào)整，平滑“毛刺”以獲得最理想的效果。形態(tài)學(xué)運算的基本方法有膨脹和腐蝕[20]。本文采用形態(tài)學(xué)開運算處理方法，即先腐蝕后膨脹的迭代運算過程，其計算公式如下：

式中(,)為腐蝕或膨脹后得到的灰度值，(+′,+′)為指定內(nèi)核的大小，內(nèi)核中心參考點位置為(′,′)，其值為(′,′)。

經(jīng)試驗可知，開運算時采用橢圓形、內(nèi)核尺寸為5×5的卷積核，可有效消除二值圖像中出現(xiàn)在葡萄干輪廓周邊的小范圍“255值”區(qū)域，并且可使得類似圖5a中A區(qū)域的“毛刺”和其他葡萄干輪廓的邊緣更加平滑。處理后結(jié)果如圖5b所示。

注：A區(qū)域為二值化后葡萄干輪廓存在的“毛刺”，A′區(qū)域為平滑“毛刺”后得到的輪廓。

2.2 邊緣不完整葡萄干輪廓的處理

由于葡萄干在輸送帶上面連續(xù)輸送，使得幾乎每一幀圖像中都有不完整的葡萄干圖像存在，故為獲取每個葡萄干完整的顏色信息以保證識別的正確率，需要對預(yù)處理后的二值圖像進(jìn)行去除不完整葡萄干輪廓操作。常用的實現(xiàn)方法是通過遍歷圖像中所有像素，找到二值圖像中的所有輪廓，利用冒泡排序法根據(jù)輪廓位置進(jìn)行排序；然后找到圖像中最左（右）邊輪廓的最左（右）極值點的坐標(biāo)，與圖像左（右）邊緣坐標(biāo)比較，最后若輪廓與相關(guān)方向的坐標(biāo)一致，則從輪廓序列中去除此輪廓[21-23]。此方法處理步驟較多，對于尺寸大的圖像處理效率低，故本文運用對圖像進(jìn)行邊緣擴(kuò)充、漫水填充、裁剪的方法實現(xiàn)圖像邊緣不完整葡萄干輪廓的去除，如圖6所示。具體實現(xiàn)步驟如下：

1）圖像邊界擴(kuò)充。首先對經(jīng)過預(yù)處理的二值圖像進(jìn)行邊界擴(kuò)充，為減對處理速度的影響，擴(kuò)充值不宜過大，只需滿足漫水填充的要求即可，且可以形成一個完整的封閉區(qū)域，本文上、下、左、右擴(kuò)展像素數(shù)設(shè)置為10，擴(kuò)充邊緣類型采用常量法，即對擴(kuò)充得到的邊界進(jìn)行常量像素值填充，為保證與邊緣不完整輪廓的葡萄干灰度值相同，填充值為255（圖6a方框圈定區(qū)域）。擴(kuò)充后的二值圖像大小為820×620（像素）。

2）漫水填充。選擇擴(kuò)充后的二值圖像為操作對象，為保證漫水填充時不影響原二值圖像中的完整葡萄干輪廓，漫水填充算法的起始點應(yīng)在邊界擴(kuò)充區(qū)域內(nèi)，故坐標(biāo)設(shè)為（5,5），為將不完整葡萄干輪廓填充為與底面灰度值一致，從而去除不完整葡萄干輪廓，填充值與底面灰度值一致，設(shè)為0（圖6b方框圈定區(qū)域）,圖像邊緣不完整葡萄干輪廓區(qū)域（圖6a中A、B、C）經(jīng)漫水填充后得到去除（圖6b中A′、B′、C′）。

3）圖像裁剪。創(chuàng)建一個矩形類Rect對象，其變量為、、width、height，分別表示矩形左上角點的坐標(biāo)和矩形的寬、高。由于邊界擴(kuò)充值為10（像素），故取相同尺寸進(jìn)行圖像裁剪，設(shè)置（,）=（10,10），width、height為原二值圖像尺寸，得到800×600（像素）的二值圖像（圖6c）。此時A′、B′、C′已得到濾除且尺寸相比于原二值圖像不變。

注：A、B、C為圖像中不完整葡萄干輪廓的區(qū)域，A′、B′、C′為不完整葡萄干輪廓去除后的區(qū)域。

2.3 多輸送通道識別掩膜的建立

在氣動執(zhí)行機構(gòu)工作時，需要分別對2條輸送帶上的葡萄干進(jìn)行氣吹操作且互不干擾，所以在圖像處理階段需要在采集到的每一幀圖像上劃分出不同的處理區(qū)域；而每一處理區(qū)域存在多個葡萄干，若同時對區(qū)域內(nèi)的所有葡萄干進(jìn)行色澤識別，會增加程序返回的數(shù)據(jù)量和處理時間，故圖像處理時僅識別每一條輸送通道最靠近圖像右側(cè)邊緣處的完整葡萄干。本文采用掩膜分別對2條輸送通道最靠近圖像右側(cè)邊緣處的完整葡萄干進(jìn)行同時識別，步驟如下：

1）建立上、下區(qū)域掩膜。利用OpenCV中Rect函數(shù)對原圖像進(jìn)行矩形劃分。設(shè)置Rect類的4個變量分別為0、0、width、height/2，得到上區(qū)域掩膜，命名為掩膜（圖7a）；設(shè)置變量分別為0，height/2，width，height/2，得到下區(qū)域掩膜，命名為掩膜（圖7c）。其中width、height分別為原圖像寬、高尺寸即800和600像素。

2）找尋最靠近圖像右側(cè)邊緣處的完整葡萄干輪廓。首先利用OpenCV的輪廓查找函數(shù)findCountours()分別對掩膜、進(jìn)行處理，返回一個有序的點集（僅保存輪廓的拐點信息）集合，每一個點集即是一個輪廓；利用最小外接矩形函數(shù)minAreaRect()分別對每個區(qū)域所找到的輪廓進(jìn)行包圍，保存最小外接矩形對角線交點的坐標(biāo)作為該葡萄干輪廓重心的坐標(biāo)；分別比較上、下區(qū)域掩膜所保存的每個葡萄干輪廓重心的坐標(biāo)值并保留其最大值，則坐標(biāo)最大的葡萄干輪廓即為最靠近圖像右側(cè)邊緣處的第一個完整葡萄干輪廓；創(chuàng)建2個尺寸大小和掩膜、一樣的全零圖像，利用輪廓繪制函數(shù)drawContours()將此輪廓繪制在全零圖像的相應(yīng)位置上，為保留此輪廓的顏色信息方便后續(xù)的去背景處理，顏色填充值為255，得到僅保留最靠近圖像右側(cè)邊緣處的完整葡萄干輪廓的上、下區(qū)域掩膜，分別命名為掩膜、（圖7b、7d）。

圖7 多通道識別掩膜的建立

2.4 識別閾值的確定

2.4.1 顏色模型的選擇

若想將葡萄干的顏色特征值表示出來，需要利用顏色空間模型對彩色加以說明。RGB顏色模型是面向硬件的一種模型，其基于三原色紅、黃、藍(lán)而構(gòu)成[24]。但RGB模型不是直觀的顏色模型，顏色之間的視覺差異不能采用該顏色空間中2個顏色點之間的距離來表示[25]。HSV空間模型是根據(jù)顏色的直觀特性創(chuàng)建的一種顏色空間，也稱六角錐體模型，、、分別表示顏色的色調(diào)、飽和度、亮度，相比于RGB模型更符合人眼對事物的感知特性，消除了、、分量間的相關(guān)性[26-28]。所以本文在HSV顏色空間模型下描述葡萄干的顏色特征。

首先在原RGB圖像建立上、下ROI區(qū)域，其方法與建立掩膜、相同，且尺寸一致。然后將上、下ROI區(qū)域分別從RGB模型轉(zhuǎn)化為HSV模型，其轉(zhuǎn)換公式如下：

式中、、表示HSV空間下各分量值，、、表示三原色各分量值。顏色空間轉(zhuǎn)換完成后如圖8所示。

圖8 HSV空間下相對應(yīng)的ROI區(qū)域

2.4.2 HSV分量均值的提取與分析

利用OpenCV中的各通道均值函數(shù)mean()和掩膜、（圖7b、7d）作為模板對上、下ROI區(qū)域（圖8a、8b）進(jìn)行操作，得到HSV空間下的三通道均值[29-31]。其中掩膜、為mean()的第二個參數(shù)，起屏蔽作用，對上、下ROI區(qū)域除最靠近圖像右側(cè)邊緣的第一個完整葡萄干輪廓外的其他輪廓進(jìn)行屏蔽。假設(shè)最靠近圖像右側(cè)邊緣的第一個完整葡萄干輪廓區(qū)域內(nèi)總像素數(shù)為，第個分量的第個像素為x，各通道均值計算公式如下：

為方便觀察并統(tǒng)計，在原圖像上將所識別的葡萄干利用外接矩形函數(shù)rectangle()進(jìn)行框定并且把獲得的、、分量均值分別輸出打印在圖像上，如圖9所示。

注：方框上部數(shù)值由上到下分別為、、通道均值。

Note: The upper value of the box is the mean value of H, s and V channels from top to bottom.

圖9 獲取、、三通道均值

Fig.9 Gets mean value of,andchannels

分別選取綠、黃、褐色葡萄干各40粒，通過葡萄干投放機構(gòu)依次投放在2條輸送通道上經(jīng)過圖像識別區(qū)域（圖1b），對每個葡萄干統(tǒng)計5幀圖像的、、分量值，分別以每個分量的5組數(shù)據(jù)平均值作為該葡萄干相應(yīng)通道的最終像素值，每種顏色的葡萄干得到40組數(shù)值，共120組數(shù)值。利用MATLAB對獲得的數(shù)據(jù)繪制三維離散點圖，如圖10所示。由所統(tǒng)計的數(shù)據(jù)和圖10可知，對于綠色、黃色和褐色的葡萄干，分量值數(shù)據(jù)重合度較高，不適合作為葡萄干色選的閾值設(shè)定；綠色和黃色葡萄干的分量值重合度較高，但綠色葡萄干的分量值大都在23以上，黃色葡萄干的分量值大都在23以下，所以以=23作為分選綠、黃葡萄干的閾值；褐色葡萄干的分量值與綠、黃葡萄干均有較大部分的重合度，但分量值大都在80以下，綠、黃葡萄干的分量值大都在80以上，所以以=80可作為分選褐色葡萄干和綠、黃葡萄干的閾值。

圖10 綠色、黃色和褐色葡萄干的H、S、V分量三維分布圖

通過上述分析閾值原則設(shè)定為：當(dāng)≥23且≥80時，識別葡萄干顏色為綠色；當(dāng)＜23且≥80時，識別葡萄干顏色為黃色；否則，識別葡萄干顏色為褐色。

3 葡萄干色澤識別算法驗證試驗和結(jié)果分析

3.1 試驗方法

為了驗證該葡萄干色澤識別算法的正確率，隨機選取綠、黃、褐色葡萄干各150粒，利用所搭建的葡萄干表面色澤識別系統(tǒng)（圖1）對每種顏色葡萄干分3次進(jìn)行試驗，共進(jìn)行9次試驗，得到每一種顏色葡萄干的正確識別個數(shù)、識別正確率和每識別100粒葡萄干所花費的時間，將試驗數(shù)據(jù)與人工分選結(jié)果進(jìn)行對比統(tǒng)計，結(jié)果如表1。試驗前首先完成攝像頭的初始化操作和LED燈管的光照強度和角度的調(diào)整，啟動步進(jìn)電機，完成葡萄干投放、同步帶輸送、CCD工業(yè)相機拍攝、計算機圖像處理等步驟，對每一個葡萄干進(jìn)行實時色澤識別，同時得到葡萄干的顏色信息和坐標(biāo)信息。

表1 試驗結(jié)果統(tǒng)計

3.2 結(jié)果與分析

由表1可知，綠色葡萄干的識別正確率為89.33%，黃色葡萄干的識別正確率為92.00%，褐色葡萄干的識別正確率為96.67%，在雙通道作業(yè)模式下，其識別效率為21 s/百粒；識別正確率低于人工100%的識別正確率，但識別效率高于110 s/百粒葡萄干的單人處理效率，但人工識別有其固有的缺陷，成本高、作業(yè)效率低、主觀判斷差別大，不可能長時間保持著較高的識別正確率，雖本文方法的識別正確率低于人工識別正確率，但也可達(dá)到無核葡萄干各個等級的分級正確率要求[16]，且雙通道下識別效率遠(yuǎn)高于人工識別效率，通過增加輸送通道數(shù)量，可使分選效率更高。已有研究方法對各色葡萄干的識別正確率在93%以上，基于人工神經(jīng)網(wǎng)絡(luò)和VPMCD的識別正確率甚至達(dá)到100%[7-15]。由于褐色葡萄干顏色較深，表面亮度較低，相比于黃、綠葡萄干，褐色葡萄干色澤識別度最為明顯，而對于黃色、綠色葡萄干而言，顏色均較淺，兩者的表面亮度相差較小，需通過色調(diào)之間的差異進(jìn)行區(qū)分，故相比于已有的研究方法，本文色澤識別方法對褐色葡萄干的識別正確率較高，對黃、綠色葡萄干識別正確率較低，但現(xiàn)有實現(xiàn)方法的特征提取過程需要花費時間制作色澤特征數(shù)據(jù)集，并建立分級模型，根據(jù)經(jīng)驗和試驗結(jié)果選取特征參數(shù)。特征參數(shù)選取不恰當(dāng)會大大影響分類的正確率且分類算法可移植性低，需要為不同種類葡萄干的分級選取不同的色澤特征參數(shù)建立分級模型，增加了研發(fā)的成本和周期[7]，并且均為靜態(tài)識別。本文省去制作數(shù)據(jù)集并訓(xùn)練特征模型的步驟，算法簡單、參數(shù)修改方便，僅需修改識別閾值就可以實現(xiàn)不同種類葡萄干在不同硬件條件下的動態(tài)色澤識別，方便算法移植。市場上現(xiàn)有的葡萄干分級設(shè)備出于分類速率的考量，大多只能實現(xiàn)2級分類，利用葡萄干灰度化后其表面的亮度差異來完成分級，但黃、綠色葡萄干灰度化后表面亮度值相差較小，使得黃、綠色葡萄干無法達(dá)到較好的分級效果，通過試驗可知，與之相比，本文方法對于區(qū)分黃、綠色葡萄干有較好的效果，并且可以同時區(qū)分開3種不同顏色的葡萄干。

在進(jìn)行驗證試驗過程中綠色葡萄干被識別為褐色葡萄干的情況較多，分析可知，主要原因是由于所選的個別葡萄干本身的形態(tài)特征所決定，被錯誤識別的綠色葡萄干個頭均比較小，其表面主色調(diào)為黃綠色，顏色較深，且個別葡萄干表面還有小范圍褐斑，葡萄干兩端尤其是原果梗部位本身就是深顏色，葡萄干在運動姿態(tài)下，果梗部位能被攝像頭清晰拍到，故在識別過程中易被錯誤識別為褐色葡萄干；其次是由于硬件系統(tǒng)的試驗環(huán)境因素，圖像處理區(qū)域中間部分光線較亮，可達(dá)到7 000 lux以上，但圖像處理區(qū)域兩側(cè)邊緣處光照強度明顯低于中間區(qū)域，光照強度為6 500 lux左右，使得葡萄干表面亮度變暗，即分量值降低，從而錯誤識別為褐色葡萄干。

4 結(jié) 論

本文基于OpenCV開源函數(shù)庫，利用計算機視覺技術(shù)對葡萄干的色澤識別算法進(jìn)行了研究，得到的主要結(jié)論如下：

1）對獲取的葡萄干圖像進(jìn)行預(yù)處理，利用分量法和顏色直方圖選取通道圖像并以灰度值55作為閾值進(jìn)行全局閾值分割。

2）提出了一種邊緣不完整葡萄干輪廓的濾除方法；通過建立上、下ROI區(qū)域和比較圖像中所有的葡萄干輪廓的中心坐標(biāo)，制作了僅保留每一幀圖像最靠近圖像右側(cè)邊緣處完整葡萄干輪廓的多通道掩膜，從而實現(xiàn)對多個葡萄干同時進(jìn)行識別。

3）對各色葡萄干共120粒進(jìn)行了、、通道均值的提取，通過MATLAB繪圖分析得到色調(diào)通道為23和亮度通道為80的識別閾值，并對各色葡萄干各150粒進(jìn)行了試驗驗證，得到綠、黃、褐色葡萄干的識別正確率分別為89.33%、92.00%和96.67%，識別效率為21 s/百粒。本文方法對實現(xiàn)葡萄干的色澤識別具有可行性，可為葡萄干的商業(yè)化分級提供算法參考。

[1]謝輝，張雯，伍新宇，等. 新疆葡萄干生產(chǎn)研究現(xiàn)狀及展望[J]. 北方園藝，2015(21)：182－184.

Xie Hui, Zhang Wen, Wu Xinyu, et al. Present situation and prospect of Xinjiang raisin production[J]. Northern Horticulture, 2015(21): 182－184. (in Chinese with English abstract)

[2]熱孜婭·阿布力孜. 新疆葡萄產(chǎn)業(yè)發(fā)展及相關(guān)問題之研究[J]. 農(nóng)村經(jīng)濟(jì)與科技，2018，29(4)：166－168.

Rezia·abrizi. Research on the development of grape industry and related problems in Xinjiang[J]. Rural Economy and Science and Technology, 2018, 29(4): 166－168. (in Chinese with English abstract)

[3]亓桂梅，李旋，趙艷俠，等. 2017年世界葡萄干生產(chǎn)及流通概況[J]. 中外葡萄與葡萄酒，2018(2)：60－65.

Qi Guimei, Li Xuan, Zhao Yanxia, et al. Production and circulation of world raisins in 2017[J]. Sino-Overseas Grapevine & Wine, 2018(2): 60－65. (in Chinese with English abstract)

[4]朱文慧，車鳳斌，鄭素慧，等. 不同貯藏溫度對無核白葡萄干貯期顏色變化的影響[J]. 新疆農(nóng)業(yè)科學(xué)，2015，52(12)：2208－2214.

Zhu Wenhui, Che Fengbin, Zheng Suhui, et al. The effect of different temperatures storage on color changes of thompson seedless raisin[J]. Xinjiang Agricultural Sciences, 2015, 52(12): 2208－2214. (in Chinese with English abstract)

[5]鄭素慧，車鳳斌，朱文慧，等. 水分含量對無核白葡萄干貯期品質(zhì)及生理變化的影響[J]. 新疆農(nóng)業(yè)科學(xué)，2015，52(10)：1808－1813.

Zheng Suhui, Che Fengbin, Zhu Wenhui, et al. Effect of different moisture contents on the quality and physiological changes of seedless raisins during storage[J]. Xinjiang Agricultural Sciences, 2015, 52(10): 1808－1813. (in Chinese with English abstract)

[6]黨轉(zhuǎn)轉(zhuǎn). 新疆葡萄干市場競爭力及市場潛力研究[D]. 烏魯木齊：新疆農(nóng)業(yè)大學(xué)，2016.

Dang Zhuanzhuan. Market Competitiveness and Market Potential of Raisin in Xinjiang[D]. Urumqi: Xinjiang Agricultural University, 2016. (in Chinese with English abstract)

[7]劉星星，徐麗明，袁全春，等. 葡萄干自動分級技術(shù)現(xiàn)狀與發(fā)展趨勢[J]. 農(nóng)業(yè)裝備與車輛工程，2018，56(11)：11－15.

Liu Xingxing, Xu Liming, Yuan Quanchun, et al. Status and outlook of raisin auto-classification technology[J]. Agricultural Equipment & Vehicle Engineering, 2018, 56(11): 11－15. (in Chinese with English abstract)

[8]Angadi S A, Hireoudar N. A cost effective algorithm for grading raisins using image processing[J]. International Journal of Recent Trends in Engineering & Research, 2016, 2(7) : 20－27.

[9]Okamura N K, Delwiche M J, Thompson J F. Raisin grading by machine vision[J]. Transactions of the ASAE, 1993, 36(2): 485－492.

[10]Mollazade K, Omid M, Arefi A. Comparing data mining classifiers for grading raisins based on visual features[J]. Computers and Electronics in Agriculture, 2012, 84: 124－131.

[11]Yu Xinjie, Liu Kangsheng, Wu Di, et a1. Raisin quality classification using least squares support vector machine (LSSVM) based on combined color and texture features[J]. Food and Bioprocess Technology, 2012, 5(5): 1552－1563.

[12]劉小英，張健，楊蜀秦，等. 基于人工神經(jīng)網(wǎng)絡(luò)與VPMCD的葡萄干等級檢測方法研究[J]. 現(xiàn)代電子技術(shù)，2016，39(12)：18－21. Liu Xiaoying, Zhang Jian, Yang Shuqin, et a1. Research on raisin grade detection method based on artificialneural network and VPMCD[J]. Modern Electronic Technology, 2016, 39(12): 18－21. (in Chinese with English abstract)

[13]劉小英，秦振濤，楊蜀秦，等. 基于稀疏表示的葡萄干品質(zhì)分級[J]. 江蘇農(nóng)業(yè)科學(xué)，2016，44(8)：421－423.

Liu Xiaoying, Qin Zhentao, Yang Shuqin, et a1. Quality grading of raisin based on sparse representation[J]. Jiangsu Agricultural Sciences, 2016, 44(8): 421－423. (in Chinese with English abstract)

[14]雪合拉提·木塔力甫，李俊偉，郭俊先，等. 無核白葡萄干機器視覺色澤分級研究[J]. 農(nóng)機化研究，2015(5)：24－28. Xuehelati·mutalifu, Li Junwei, Guo Junxian, et al.Prediction of the weight of wuhebai grape by machine vision techniques[J]. Journal of Agricultural Mechanization Research, 2015(5): 24－28. (in Chinese with English abstract)

[15]唐晶磊，景旭，何東健，等. 基于BP神經(jīng)網(wǎng)絡(luò)的葡萄干分級技術(shù)的研究[J]. 農(nóng)機化研究，2007(11)：51－53.

Tang Jinglei, Jing Xu, He Dongjian, et al.Research of classification of raisin based on BP networks[J]. Journal of Agricultural Mechanization Research, 2007(11): 51－53. (in Chinese with English abstract)

[16]NYT/705-2003，無核葡萄干分級標(biāo)準(zhǔn)[S]. 北京：中國標(biāo)準(zhǔn)出版社，2004.

[17]劉保安. 基于MATLAB的車牌圖像預(yù)處理應(yīng)用[J]. 電腦迷，2019(2)：11，13.

Liu Baoan. Application of license plate image preprocessing based on MATLAB[J]. Computer Addict, 2019(2): 11, 13. (in Chinese with English abstract)

[18]顧梅花，蘇彬彬，王苗苗，等. 彩色圖像灰度化算法綜述[J]. 計算機應(yīng)用研究，2019，36(5)：1286－1292.

Gu Meihua, Su Binbin, Wang Miaomiao, et al. Survey on decolorization methods[J]. Application Research of Computers, 2019, 36(5): 1286－1292. (in Chinese with English abstract)

[19]湯朋文，陶華敏，肖山竹，等. 幾種常用圖像分割算法自適應(yīng)性的分析比較[J]. 數(shù)字技術(shù)與應(yīng)用，2016(5)：140，143.

Tang Pengwen, Tao Huamin, Xiao Shanzhu, et al.Analysis and comparison of self adaptability of several commonly used image segmentation algorithms[J]. Digital Technology and Application, 2016(5): 140, 143. (in Chinese with English abstract)

[20]何曉軍，徐愛功，李玉，等. 利用HSI空間相似性的彩色形態(tài)學(xué)圖像處理方法[J]. 計算機科學(xué)，2019，46(4)：285－292.

He Xiaojun, Xu aigong, Li Yu, et al. Color morphology image processing method using similarity in HSI space[J]. Computer Science, 2019, 46(4): 285－292. (in Chinese with English abstract)

[21]周軍，郭俊先，張靜，等. 基于機器視覺的核桃仁動態(tài)分級研究[J]. 新疆農(nóng)業(yè)科學(xué)，2018，55(5)：901－911.

Zhou Jun, Guo Junxian, Zhang Jing, et al. Study on dynamic grading method of walnut kernel based on machine vision[J]. Xinjiang Agricultural Sciences, 2018, 55(5): 901－911. (in Chinese with English abstract)

[22]蔡建，周軍，史建新，等. 基于機器視覺的核桃仁分級方法[J]. 江蘇農(nóng)業(yè)科學(xué)，2018，46(5)：158－161.

Cai Jian, Zhou Jun, Shi Jianxin, et al. Walnut kernel grading method based on machine vision[J]. Jiangsu Agricultural Sciences, 2018, 46(5): 158－161. (in Chinese with English abstract)

[23]蔡建. 基于機器視覺技術(shù)的核桃仁顏色與完整度分級研究[D]. 烏魯木齊：新疆農(nóng)業(yè)大學(xué)，2017.

Cai Jian. Research on Walnut Color and Integrity Classification Based on Machine Vision Technology[D]. Urumqi: Xinjiang Agricultural University, 2017. (in Chinese with English abstract)

[24]高達(dá)睿. 基于顏色和形狀特征的茶葉分選研究[D]. 合肥：中國科學(xué)技術(shù)大學(xué)，2016.

Gao Darui. Study on Tea Sorting Based on Color and Shape Characteristics[D]. Hefei: University of Science and Technology of China, 2016. (in Chinese with English abstract)

[25]溫芝元，曹樂平. 最優(yōu)RGB線性組合顏色模型目標(biāo)檢測方法[J]. 計算機工程與應(yīng)用，2015(18)：218－223.

Wen Zhiyuan, Cao Leping. Optimal linear combination of RGB color model target detection method[J]. Computer Engineering and Applications, 2015(18): 218－223. (in Chinese with English abstract)

[26]侯賓，張文志，戴源成，等. 基于OpenCV的目標(biāo)物體顏色及輪廓的識別方法[J]. 現(xiàn)代電子技術(shù)，2014(24)：76－79. Hou Bin, Zhang Wenzhi, Dai Yuancheng, et al. Method of objects’ color and contour recognition based on OpenCV[J]. Modern Electronics Technique, 2014(24): 76－79. (in Chinese with English abstract)

[27]鄧明俐. 散煙特征提取與自動分級方法研究[D]. 洛陽：河南科技大學(xué)，2015.

Deng Mingli. Study on Feature Extraction and Automatic Classification of Smoke[D]. Luoyang: Henan University of Science and Technology, 2015. (in Chinese with English abstract)

[28]李俊峰. 基于RGB色彩空間自然場景統(tǒng)計的無參考圖像質(zhì)量評價[J]. 自動化學(xué)報，2015(9)：1601－1615.

Li Junfeng. Quality evaluation of unreferenced image based on RGB color space natural scene statistics[J]. Acta Automatica Sinica, 2015(9): 1601－1615. (in Chinese with English abstract)

[29]馬建華. 枸杞機器視覺分級分選機的研制[D]. 銀川：寧夏大學(xué)，2017.

Ma Jianhua. Development of Machine Vision Grading Machine for Lycium Barbarum[D]. Yinchuan: Ningxia University, 2017. (in Chinese with English abstract)

[30]王紅雨，尹午榮，汪梁，等. 基于HSV顏色空間的快速邊緣提取算法[J]. 上海交通大學(xué)學(xué)報，2019，53(7)：765－772.

Wang Hongyu, Yin Wurong, Wang Liang, et al. Fast edge extraction algorithm based on HSV color space[J]. Journal of Shanghai Jiaotong University, 2019, 53(7): 765－772. (in Chinese with English abstract)

[31]于桓. 基于機器視覺的番茄顏色分級檢測研究[J]. 機電技術(shù)，2015(4)：75－77.

Yu Huan. Research on tomato color grading detection based on machine vision[J]. Electromechanical Technology, 2015(4): 75－77. (in Chinese with English abstract)

Real time color recognition of moving raisin based on OpenCV

Liu Xingxing, Wang Shuoshuo, Xu Liming※, Yuan Quanchun, Ma Shuai, Yu Changchang, Niu Cong, Chen Chen, Yuan Xunteng, Zeng Jian

(,100083,)

In order to realize the automatic colour and lustre recognition of “seedless white” raisins in Turpan, Xinjiang,in this paper, OpenCV open source function library was used as an image processing tool, a multi-channel moving raisin color and lustre real-time recognition algorithm was proposed. In order to ensure the accuracy of raisin colour and lustre feature extraction, it is necessary to preprocess every image acquired in real time. In this paper, component method was used to obtain the gray scale image of each image, the gray histogram of RGB image components was obtained by OpenCV open source function library, and finally the-channel gray scale image was selected for threshold segmentation through observation. Through the-channel gray histogram, 55 was selected as the segmentation threshold, and the image after threshold segmentation was obtained, i.e. binary image. Through morphological operation, the binary image was processed by etching first and then expanding, and the smooth and burr free binary image of raisin was obtained. A method to remove the incomplete raisin outline at the two sides of each binary image was proposed. The complete color information of raisin was obtained by the image boundary expansion, overflow filling and image clipping of binary image.The pper and lower area mask were established, and each frame image was processed separately by the mask, the image segmentation was realized, and the raisins on the two conveyor belts was recognized at the same time, and the recognition processing efficiency was improved.The rightmost contour of upper and lower region was found by traversing every raisin contour in the image, and only the rightmost raisin was recognized in the process of processing each frame of the image (the synchronized conveyor belt was transported from left to right), so as to simplify the data processing.In HSV space, the mean value of each channel was extracted from the first raisin on the rightmost of the two synchronized conveyor belt, and 40 raisins of green, yellow and brown were tested for value taking. Statistical data were analyzed and plotted with MATLAB, the results were that the threshold value ofcomponent was 23, and that ofcomponent was 80, which were used to identify and sort the raisins of three colors.150 raisins of each color were selected were selected for the validation test, and each color was divided into three groups, 50 raisins in each group,9 groups of tests were conducted.The results showed that the average recognition accuracy of green raisins was 89.33%, that of yellow raisins was 92.00%, and that of brown raisins was 96.67%, the recognition efficiency was 21 s/100 raisins, the method was simple and effective.The recognition efficiency of this method was higher than 110 s / 100 raisins of manual sorting, but the recognition accuracy was lower than 100% of manual sorting. Compared with the existing research methods, the recognition accuracy of this method for brown raisins was higher, but the recognition accuracy for yellow and green raisins was lower. The current raisin grading equipment in the market can hardly distinguish the yellow and green raisins, the paper provides a better method to distinguish the yellow and green raisins. The raisin colour and lustre recognition algorithm based on OpenCV open source function library was feasible and accurate, the coordinate information, colour and lustre information of the identified raisins were obtained, which provided the algorithm basis for the construction of the subsequent sorting actuator and control system, and provides the reference for the commercialization of raisin colour and lustre selection.

agriculture products; image processing; OpenCV; color space; raisin; color recognition

劉星星，王爍爍，徐麗明，袁全春，馬 帥，于暢暢，牛 叢，陳 晨，袁訓(xùn)騰，曾 鑒. 基于OpenCV的動態(tài)葡萄干色澤實時識別[J]. 農(nóng)業(yè)工程學(xué)報，2019，35(23)：177－184.doi：10.11975/j.issn.1002-6819.2019.23.022 http://www.tcsae.org

Liu Xingxing, Wang Shuoshuo, Xu Liming, Yuan Quanchun, Ma Shuai, Yu Changchang, Niu Cong, Chen Chen, Yuan Xunteng, Zeng Jian. Real time color recognition of moving raisin based on OpenCV[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(23): 177－184. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.23.022 http://www.tcsae.org

2019-08-06

2019-11-18

現(xiàn)代農(nóng)業(yè)產(chǎn)業(yè)技術(shù)體系建設(shè)專項資金資助（CARS-29）

劉星星，副教授，主要從事圖像處理技術(shù)研究。Email：liuxingxing56285@163.com

徐麗明，教授，博士生導(dǎo)師，主要從事生物生產(chǎn)自動化技術(shù)與裝備研究。Email：xlmoffice@126.com

10.11975/j.issn.1002-6819.2019.23.022

TP312; S24

A

1002-6819(2019)-23-0177-08