孟繁佳 羅 石 孫 紅 李民贊
(中國農(nóng)業(yè)大學現(xiàn)代精細農(nóng)業(yè)系統(tǒng)集成研究教育部重點實驗室,北京 100083)
玉米是世界上主要糧食作物之一,我國是玉米生產(chǎn)和消費大國,玉米產(chǎn)量多年位居中國糧食產(chǎn)量首位[1]。玉米種子發(fā)生霉變,種植后不但不能發(fā)芽,還會造成霉菌蔓延,污染更多種子。篩除霉變種子是玉米制種生產(chǎn)中的必備環(huán)節(jié),降低同一批種子帶菌率,進而提高種子發(fā)芽率對保障玉米生產(chǎn)和產(chǎn)量具有重要意義[2]。
以酶聯(lián)免疫吸附法和免疫親和層析法為代表的免疫分析法[3-5]以及以高效液相色譜法[6-7]和氣相色譜法[8]為代表的儀器探測理化分析法被認為是高精度檢測種子真菌毒素的手段。但儀器設備價格高昂、測試過程復雜等限制了這些方法在種子生產(chǎn)環(huán)節(jié)的應用。由于缺少霉變種子快速篩選裝置,長期以來主要依靠人工目測分選霉變玉米種子[9]。該方法依賴人工經(jīng)驗、效率低且錯檢率高。因此,研發(fā)霉變玉米種子快速篩選裝置、提高種子在線分選效率是目前玉米制種和種子貯藏急需解決的問題。
機器視覺技術已被廣泛應用于農(nóng)產(chǎn)品品質(zhì)檢測中[10-13]。其中,針對作物種粒霉變檢測的研究取得了較大的進展[14-17]。褚璇等[18]基于黃曲霉毒素在紫外光照射下發(fā)出黃綠色熒光的特性,利用圖像處理技術實現(xiàn)了對含黃曲霉毒素玉米種粒的檢測。張楠楠等[19]基于圖像HSV空間的H分量及V分量,設計了一種玉米種粒霉變程度分級方法。趙炎等[20]基于機器視覺技術發(fā)現(xiàn)了霉變玉米真菌毒素含量與圖像HSI空間分量之間的正負相關性。王僑[21]基于機器視覺技術分析了玉米種粒RGB顏色特征,確定了霉變玉米的檢測指標。文獻[22-24]利用機器視覺技術實現(xiàn)了農(nóng)產(chǎn)品分級與分選,其中蘇葉分選準確率為90.09%,圣女果分級準確率為98.4%,蘋果分揀準確率為73%~96%。目前,將利用機器視覺技術檢測霉變玉米種子的研究成果運用于實際生產(chǎn)線的研究鮮見報道。
本文利用機器視覺技術設計一種玉米種子實時檢測分選裝置。基于圖像HSV空間顏色劃分提出以顏色像素占比為判定閾值的霉變玉米種子識別算法,設計種子逐粒分離機構,將玉米種子單?;?,以便于玉米種子排序與分選。
霉變玉米種子實時檢測分選裝置硬件部分主要由進料單元、檢測單元、分選單元及控制系統(tǒng)組成。裝置整機結構如圖1所示,其中,1~4構成裝置進料單元主體,5、6構成裝置檢測單元主體,7~10及12、14構成裝置分選單元主體。
1.2.1進料單元
進料單元將玉米種子逐粒分離至檢測單元。進料單元包括機架、進料漏斗、伸縮桿、傳動環(huán)、種子逐粒分離機構。其中,種子逐粒分離機構如圖2所示,可實現(xiàn)玉米種子單粒化,包括種子分離盤、二級齒輪結構、電源、傳動軸、直流無刷電機、電機驅(qū)動及微控單元、軸承座。
1.2.2分選單元
分選單元用于對霉變玉米種子進行分選剔除。分選單元包括機架、電磁閥、導管支架、擋光板、PU氣管、空氣壓縮機。分選單元結構如圖3所示,其中擋光板用于防止分選單元機架兩側光電傳感器產(chǎn)生對射干擾。2個電磁閥組成3種工作氣路,分別為待機、左側剔除、右側剔除。
1.2.3控制系統(tǒng)
控制系統(tǒng)用于控制玉米種子進料、檢測、排序、分選。控制系統(tǒng)包括開關電源、電磁閥、光源、通信與控制模塊、計算機、工業(yè)相機??刂葡到y(tǒng)框圖如圖4所示。通信與控制模塊由MSP430單片機、光電傳感器、繼電器組成,負責接收光電傳感器信號、控制繼電器及與計算機實現(xiàn)雙向通信。
1.2.4裝置工作參數(shù)
電動輥筒的工作電壓為24 V DC,功率為200 W,運動速度為1.5~15 m/min;直動式電磁閥工作電壓為24 V DC,功率為5 W,最高頻率為5 Hz;繼電器模塊工作電壓為5 V,高電平觸發(fā);相機分辨率設置為1 280像素×768像素,幀率為60 f/s;光源工作電壓為24 V DC,功率為60 W,色溫3 000 K;計算機處理器主頻2.71 GHz,內(nèi)存8 GB,Windows10操作系統(tǒng)。
霉變玉米種子實時檢測裝置工作流程圖如圖5所示。具體流程如下:①開機。②MSP430單片機初始化,開啟光源,調(diào)節(jié)空氣壓縮機至0.3 MPa,開啟攝像頭,自動對焦至獲取清晰圖像。③人工上料至進料漏斗,由進料單元將玉米種子分為等間距的兩列,進入檢測單元。光電傳感器1對玉米種子進行計數(shù)。④相機采集圖像,基于Matlab 2014b搭建的上位機處理并輸出識別結果。⑤MSP430單片機接收分選信號,并控制直動式電磁閥,控制氣路工作狀態(tài),實現(xiàn)霉變玉米種子剔除。即MSP430單片機對比光電傳感器2、3計數(shù)序號與分選信號,若相同,則激活執(zhí)行機構對應工作狀態(tài),若不相同,則視為正常種子。⑥下料。
以霉變玉米種子與正常玉米種子顏色特征的差異作為霉變玉米種子識別算法的設計依據(jù),對玉米種子圖像像素點進行顏色劃分并統(tǒng)計不同顏色的像素數(shù)占圖像像素數(shù)百分比Pa,最后設定閾值Pt判定霉變玉米種子,算法流程如圖6所示。
對位于檢測單元的玉米種子原始圖像(圖7)進行霉變玉米種子識別時發(fā)現(xiàn),單幅圖像多粒玉米種子霉變識別的關鍵點是單粒玉米種子圖像提取及單粒玉米種子像素顏色分布統(tǒng)計。因此,本文對原始圖像(圖7)進行感興趣區(qū)域提取(圖8a),并利用大津法[25]進行閾值分割(圖8b),然后設置形態(tài)學結構進行開閉操作,獲得初步降噪圖像(圖8c),從圖中可以看出,部分區(qū)域仍然存在噪聲,對分離玉米種子背景形成了一定障礙。但是,可以發(fā)現(xiàn)噪聲面積遠小于玉米種子面積。在此基礎上對初步降噪圖像進行基于連通域的區(qū)域標記,并對區(qū)域面積進行篩選,篩選公式為
(1)
式中g′c,i——降噪后區(qū)域i的灰度
gc,i——降噪前區(qū)域i的灰度
Ac,i——第i個區(qū)域的面積
At——面積閾值
N——連通域數(shù)量
經(jīng)過篩選將噪聲灰度置0,同時將面積降噪結果作為掩膜位圖,將感興趣區(qū)域作為掩膜原圖進行圖像掩膜,達到玉米種子背景分離的目的(圖8d)。掩膜公式為
(2)
其中
(3)
式中i、j——掩膜圖像坐標值
Seg(i,j)——掩膜標志位
gmask(i,j)——掩膜位圖灰度
imga,R(i,j)——感興趣區(qū)域R通道灰度
imga,G(i,j)——感興趣區(qū)域G通道灰度
imga,B(i,j)——感興趣區(qū)域B通道灰度
img′a,R、img′a,G、img′a,B——掩膜后R、G、B三通道分量
·——圖像位與運算符號
對掩膜結果進行二次標記,對每個種子區(qū)域進行標記賦值。獲取每個連通域的最小外接矩形,并將每個外接矩形區(qū)域保存為單幅圖像(圖9),然后對單粒種子圖像進行二值化并進行腐蝕膨脹消除種子內(nèi)部孔洞,結合
(4)
式中x、y——單粒玉米種子圖像像素坐標
S(x,y)——單粒玉米種子圖像任一點(x,y)處標記值
g(x,y)——單粒玉米種子圖像任一點(x,y)處灰度
對單粒玉米種子圖像背景像素進行標記,在統(tǒng)計種子圖像像素顏色分布時,對背景像素不進行統(tǒng)計。
霉變玉米種子與正常玉米種子在系統(tǒng)中的對比圖像如圖10所示,表面顏色存在明顯差異。
由于圖像采集環(huán)境為封閉環(huán)境,采用光源為色溫3 000 K的暖色LED光源,顯色指數(shù)接近90(接近日光顯色指數(shù)),且在進行顏色劃分時,需要綜合參考像素點的H、S、V值,所以對單粒玉米種子圖像進行像素顏色統(tǒng)計時選用經(jīng)驗化顏色空間分量表進行HSV空間顏色劃分,如表1所示。
表1 HSV顏色空間分量范圍Tab.1 Component range of HSV color space
根據(jù)玉米種子圖像的顏色像素統(tǒng)計可知,白色、橙色及黃色的像素數(shù)并不具備區(qū)分性,如圖11所示。所以霉變特征顏色不包含上述分類中的白、橙、黃3種顏色,最終確定霉變特征顏色為黑、灰、紅、綠、青、藍、紫7種顏色。
對特征顏色像素進行統(tǒng)計,統(tǒng)計公式為
(5)
式中i——玉米種子序號
Pixf,sum(i)——第i個玉米種子霉變特征顏色像素總數(shù)
Pix,sum(i)——第i個單粒玉米種子圖像像素總數(shù)
pa(i)——第i個單粒玉米種子圖像霉變特征顏色像素百分比
設定閾值為Pt,pa(i)高于該閾值時判定為霉變玉米種子。
經(jīng)試驗驗證得出感興趣區(qū)域圖像坐標原點為原始圖像坐標點(100,0),長800像素,寬500像素時,區(qū)域提取效果最佳,At取200像素時,降噪效果最佳。Pt取1%時,霉變玉米種子識別準確率最高。
上位機對采集到的玉米種子圖像進行霉變識別,由下位機執(zhí)行霉變玉米種子分選。本文基于識別算法提出了一種玉米種子排序策略,使下位機能夠正確識別上位機發(fā)送的分選信號,實現(xiàn)實時精確分選。
試驗中發(fā)現(xiàn),單幅圖像中同一列種子的排序并非按照原始圖像(圖7)的空間順序進行區(qū)域標記。區(qū)域標記算法是從圖像坐標原點自上往下、自左向右對連通域進行區(qū)域標記,由于玉米種子外形的不規(guī)則性,單列種子標記值并不符合其空間位置。為此,根據(jù)其中心坐標值在掩膜處理后對單列種子進行區(qū)域再賦值,得到符合空間順序的圖像標記序號。
圖像標記序號作為分選信號傳輸至單片機后,需轉(zhuǎn)換成為分選序號
(6)
式中s1——左列分選序號
s2——右列分選序號
Si——圖像標記序號
t——圖像采集次數(shù)
t由光電傳感器1計數(shù)值決定,計數(shù)值能夠整除4(即檢測單元存在8粒未被檢測的種子)則進行圖像采集。光電傳感器2及光電傳感器3計數(shù)值為兩列玉米種子實時序號。
為驗證裝置穩(wěn)定性與可靠性,對樣機進行了試驗,裝置樣機如圖12所示。2019年12月10日裝置搭建完成,并進行了系統(tǒng)調(diào)試與試驗測試。試驗樣品從大自然金果種業(yè)購買,樣品為無包衣劑試驗用鄭單958玉米種子,購得的試驗用種表面均無霉變特征。選取100粒正常玉米種子,于恒溫28℃放置于馬鈴薯葡萄糖瓊脂培養(yǎng)基中,進行霉變處理,3 d后去除覆蓋于玉米種子表面的菌絲,干燥處理后得到霉變玉米種子。試驗針對霉變玉米種子識別算法的可靠性及準確率進行測試。
以2019年12月20日的試驗為例進行分析,分別選取鄭單958玉米品種的正常玉米種子與培養(yǎng)所得的霉變玉米種子各40粒,采用手動進料方式,在表2的工作狀態(tài)1下進行試驗。算法驗證試驗結果如圖13所示。
表2 裝置分選結果Tab.2 Device separation results
通過圖13可以看出,pa(i)閾值設定為1%時,霉變玉米種子識別準確率為100%,正常玉米種子識別準確率為95%。試驗中出現(xiàn)誤檢測是由于檢測箱光源為環(huán)形放置,光源從側面照射玉米種子,若個別種子胚面凹陷過深則采集的種子圖像存在黑色陰影,被誤識別為霉變特征,改進光源放置方式后該情況得到改善。
以2019年1月10日的試驗為例,選取鄭單958玉米品種的正常玉米種子80粒與霉變玉米種子20粒。為了驗證裝置在不同速度下的分選準確率及可靠性,采用手動進料方式,在不同傳送帶速度下進行裝置分選試驗,并與霉變玉米種子人工分選進行對比(由于分選樣品較少,假定人工分選準確率為100%)。
裝置分選準確率Ac計算公式為
(7)
式中M——霉變種子正確分選數(shù)量,粒
L——正常種子錯誤分選數(shù)量,粒
通過表2可以看出,裝置能夠成功分選霉變玉米種子,且裝置分選準確率最低為94%,最高分選速率為680粒/min。試驗表明,相較于人工分選,準確率略有降低,分選效率得到了極大的提升??傮w來看,本文設計的分選裝置能夠?qū)崿F(xiàn)對霉變玉米種子的實時分選,分選效率遠高于人工分選且準確率較高。
試驗主要針對霉變玉米種子識別算法的可靠性及分選裝置分選效率及準確率進行驗證,試驗中發(fā)現(xiàn)裝置分選效率可從以下兩方面進行改進:
(1)上位機圖像處理程序采集圖像需200 ms左右,處理單幅圖像需要約500 ms,試驗測得玉米種子最小間距為0.03 m,圖像感興趣區(qū)域長度為0.15 m,則允許傳送帶最大速度為14 m/min。理論上可以通過提高圖像處理速度來加快傳送帶速度。
(2)玉米種子之間的最小間距由光電傳感器的感應范圍決定。本裝置使用的光電傳感器是以檢測到玉米種子最低點為目的,光電傳感器的信號接收端接收信號范圍較大,為避免誤排序,單列種子之間需要存在最小間距??梢酝ㄟ^優(yōu)化光電傳感器來減小單列種子之間最小間距,增加單幅圖像處理種子個數(shù)。
(1)在硬件系統(tǒng)中,設計了裝置的機械結構及控制系統(tǒng),解決了玉米種子單?;白詣虞斔汀⒎诌x問題。
(2)在軟件系統(tǒng)中,提出了基于機器視覺的霉變玉米種子識別算法和玉米種子排序策略,通過軟硬件模塊的實時通信,實現(xiàn)了玉米種子實時檢測及玉米種子準確排序。
(3)試驗表明,該裝置對單幅圖像的采集及處理時間約為0.7 s,分選速率最高為680粒/min,總體分選準確率不低于94%。