基于電磁振動(dòng)與卷積神經(jīng)網(wǎng)絡(luò)的玉米品質(zhì)精選裝置

權(quán)龍哲，王建宇，王 旗，肖云瀚，馮槐區(qū)

(東北農(nóng)業(yè)大學(xué) 工程學(xué)院，黑龍江 哈爾濱 150030)

玉米是我國(guó)主要的農(nóng)作物之一，玉米種子作為最基本的農(nóng)業(yè)生產(chǎn)資料，提高其品質(zhì)是保證玉米種植業(yè)產(chǎn)量的關(guān)鍵[1].因此，控制玉米育種質(zhì)量、自動(dòng)檢測(cè)玉米種子品質(zhì)對(duì)提高玉米生產(chǎn)過(guò)程中的自動(dòng)化水平、玉米單產(chǎn)量以及確保玉米在我國(guó)糧食生產(chǎn)中的戰(zhàn)略地位具有重要意義[2].利用機(jī)器視覺(jué)技術(shù)[3]可對(duì)玉米籽粒特征指標(biāo)進(jìn)行定量描述，為實(shí)現(xiàn)玉米籽粒的快速有效檢測(cè)提供有效的解決途徑[4].目前，國(guó)內(nèi)外相關(guān)領(lǐng)域的學(xué)者利用機(jī)器視覺(jué)技術(shù)提取玉米籽粒圖像的顏色、幾何、紋理等特征參數(shù)，結(jié)合線(xiàn)性分類(lèi)器、非線(xiàn)性分類(lèi)器、神經(jīng)網(wǎng)絡(luò)等理論對(duì)玉米籽粒的品質(zhì)鑒定[2,5-7]、品種分類(lèi)[8-9]、精選與分級(jí)裝置[6,10-11]進(jìn)行相對(duì)較多研究.雖然上述研究已經(jīng)取得不錯(cuò)效果，但傳統(tǒng)方法特征建模過(guò)程繁瑣，并且基于電磁振動(dòng)的玉米籽粒在線(xiàn)自動(dòng)精選分級(jí)裝置的研究較為少見(jiàn).雖然作為機(jī)器視覺(jué)重要分支的深度學(xué)習(xí)[12-13]技術(shù)在人臉對(duì)齊[14]、車(chē)牌字符識(shí)別[12]、農(nóng)業(yè)領(lǐng)域[15-16]的應(yīng)用讓研究者看到了新的方向，但經(jīng)典深度學(xué)習(xí)網(wǎng)絡(luò)模型對(duì)硬件苛刻的要求使其在農(nóng)業(yè)領(lǐng)域的應(yīng)用難以推廣.因此針對(duì)上述問(wèn)題，文中基于電磁振動(dòng)理論、自動(dòng)控制原理與深度學(xué)習(xí)技術(shù)提出一種適用于玉米籽粒品質(zhì)自動(dòng)精選分級(jí)裝置，并在試驗(yàn)中取得了良好的識(shí)別效果.

1 玉米籽粒精選機(jī)械系統(tǒng)搭建

為實(shí)現(xiàn)玉米籽粒的精確檢測(cè)與分選，本研究自制了基于電磁振動(dòng)的玉米籽粒精選試驗(yàn)平臺(tái)，如圖 1所示.平臺(tái)基于電磁振動(dòng)理論、自動(dòng)控制原理及深度學(xué)習(xí)技術(shù)進(jìn)行機(jī)械傳送、分選控制和圖像識(shí)別系統(tǒng)的設(shè)計(jì).傳輸系統(tǒng)包括玉米粒群落料單元、電磁給料單元；控制系統(tǒng)包括控制單元和分選收集單元；視覺(jué)系統(tǒng)包括恒定光強(qiáng)視覺(jué)單元.

圖1 基于電磁振動(dòng)的玉米籽粒精選平臺(tái)

1.1 工作原理

基于電磁振動(dòng)的玉米籽粒精選平臺(tái)的工作原理，如圖 2所示.輔助喂料箱內(nèi)的玉米籽粒經(jīng)過(guò)排種器后多數(shù)以玉米粒群或少數(shù)單個(gè)玉米籽粒的形式進(jìn)入速度差異式電磁振動(dòng)給料機(jī)的傳送軌道前端，經(jīng)由運(yùn)動(dòng)速度前慢后快的傳送軌道整列與分離后形成單個(gè)玉米籽粒流，進(jìn)入恒定光強(qiáng)視覺(jué)系統(tǒng)的圖像采集區(qū)域.通過(guò)恒定光強(qiáng)視覺(jué)系統(tǒng)中的CMOS工業(yè)相機(jī)對(duì)玉米籽粒進(jìn)行圖像采集后，將該玉米籽粒圖像通過(guò)USB數(shù)據(jù)線(xiàn)傳輸至計(jì)算機(jī)進(jìn)行識(shí)別，通過(guò)RS232串口把識(shí)別結(jié)果返回下位機(jī)89C52進(jìn)行分選處理，下位機(jī)控制單元根據(jù)返回的處理結(jié)果，控制電磁鐵動(dòng)作完成玉米籽粒的自動(dòng)分選.

圖2 基于電磁振動(dòng)的玉米籽粒精選平臺(tái)的工作原理

1.2 下位機(jī)控制單元設(shè)計(jì)

本研究中整個(gè)基于電磁振動(dòng)的玉米籽粒批量精選平臺(tái)屬于下位機(jī)，下位機(jī)電源采用24 V開(kāi)關(guān)電源供電.下位機(jī)的控制中心由上位計(jì)算機(jī)USB串口供電和控制.控制器選用STC89系列單片機(jī)，其主要配置是11.0592 MHz晶振，芯片型號(hào)89C52.步進(jìn)電機(jī)驅(qū)動(dòng)器(TB6600)由開(kāi)關(guān)電源供電、受單片機(jī)控制.步進(jìn)電機(jī)(57BYG250D)由驅(qū)動(dòng)器供電和控制，用于控制排種器實(shí)現(xiàn)玉米粒群落料.電磁激振器由調(diào)壓式電磁調(diào)節(jié)器(SDVC10-S)供電和控制，用于實(shí)現(xiàn)玉米粒群分離與籽粒給料.分選收

集單元的分選撥片由電磁鐵控制，電磁鐵由受單片機(jī)控制的繼電器控制，繼電器由開(kāi)關(guān)電源供電，用于實(shí)現(xiàn)玉米籽粒品質(zhì)的分選.

1.3 恒定光強(qiáng)視覺(jué)單元設(shè)計(jì)

視覺(jué)單元選用LCD光源(白光6 000 K，LED燈帶2835，歐普照明，中國(guó))；選用CMOS相機(jī)(M30B，長(zhǎng)沙大影電子科技有限公司，中國(guó))和固定光圈(f 1.6)的變焦(6～60 mm)鏡頭(0660 MV，長(zhǎng)沙大影電子科技有限公司，中國(guó)).暗箱由黑色亞光亞克力板組成，如圖 1所示.在恒定光強(qiáng)視覺(jué)系統(tǒng)的暗箱內(nèi)以順光、固定角度對(duì)玉米籽粒進(jìn)行圖像采集，拍攝距離為40 mm，鏡頭視場(chǎng)約為55×41 mm2，獲取圖像的像素尺寸為640×480，如圖 3a所示.使用Matlab軟件開(kāi)發(fā)圖像預(yù)處理、檢測(cè)算法和在線(xiàn)分選軟件.提取圖3a中位于兩紅色矩形框內(nèi)籽粒的裁剪圖見(jiàn)圖3b.為去除背景和圖像噪點(diǎn)，使用半徑為4個(gè)像素的圓盤(pán)算子對(duì)玉米籽粒圖像的R，G通道灰度圖進(jìn)行腐蝕膨脹；然后對(duì)灰度圖進(jìn)行OTSU分割處理；再使用半徑為7個(gè)像素的圓盤(pán)算子對(duì)二值圖進(jìn)行腐蝕膨脹；最后將二值圖像合并得到背景去除掩模見(jiàn)圖3c.將掩模與裁剪圖做差得到預(yù)處理結(jié)果見(jiàn)圖3d.

圖3 基于形態(tài)學(xué)處理的玉米籽粒背景去除

2 玉米籽粒精選檢測(cè)模型設(shè)計(jì)

卷積神經(jīng)網(wǎng)絡(luò)[14,17](CNN)作為深度學(xué)習(xí)中應(yīng)用最廣泛的網(wǎng)絡(luò)模型之一，是一種由多個(gè)卷積層、探測(cè)層、池化層以及全連接層等網(wǎng)絡(luò)結(jié)構(gòu)交替組成的人工神經(jīng)網(wǎng)絡(luò).通過(guò)對(duì)AlexNet，ZFNet，VGG，GoogLeNet，ResNet等圖像分類(lèi)模型和R-CNN，F(xiàn)ast R-CNN，F(xiàn)aster R-CNN等目標(biāo)檢測(cè)模型分析[18]，發(fā)現(xiàn)雖然這些網(wǎng)絡(luò)模型可通過(guò)相互融合組成新模型的方式，使圖像分類(lèi)和目標(biāo)檢測(cè)任務(wù)的檢測(cè)精度在公共數(shù)據(jù)集或者自制的數(shù)據(jù)中逐步提高，但是這些網(wǎng)絡(luò)模型結(jié)構(gòu)復(fù)雜、參數(shù)量巨大，需高性能工作站支持才可進(jìn)行訓(xùn)練和測(cè)試.因此，現(xiàn)階段這些網(wǎng)絡(luò)模型不適合在實(shí)際農(nóng)業(yè)領(lǐng)域中進(jìn)行玉米籽粒品質(zhì)檢測(cè)的應(yīng)用.考慮到玉米籽粒品質(zhì)精選檢測(cè)對(duì)檢測(cè)精度和實(shí)時(shí)性的要求，為實(shí)現(xiàn)玉米籽粒品質(zhì)的有效檢測(cè)，本研究設(shè)計(jì)了一種精簡(jiǎn)、分層次的網(wǎng)絡(luò)模型，如圖 4所示.玉米籽粒精選檢測(cè)模型基于Faster R-CNN[19]搭建，由2個(gè)特征共享的網(wǎng)絡(luò)結(jié)構(gòu)組成.當(dāng)整張玉米籽粒圖像輸入到網(wǎng)絡(luò)入口后，共享卷積網(wǎng)絡(luò)部分會(huì)對(duì)該圖像進(jìn)行卷積、池化處理，得到該玉米籽粒圖像的卷積特征圖；然后將玉米籽粒特征圖傳給RPN生成候選區(qū)域；最后在ROI池化層后面加上Fast R-CNN對(duì)玉米籽粒進(jìn)行檢測(cè)與定位.經(jīng)試驗(yàn)確定本研究玉米品質(zhì)檢測(cè)網(wǎng)絡(luò)模型具體參數(shù)配置，如表1所示.

圖4 玉米品質(zhì)檢測(cè)網(wǎng)絡(luò)模型

表1 玉米品質(zhì)檢測(cè)網(wǎng)絡(luò)模型具體配置

2.1 RPN網(wǎng)絡(luò)優(yōu)化

RPN網(wǎng)絡(luò)僅僅對(duì)區(qū)域建議進(jìn)行目標(biāo)和背景的概率分類(lèi).因?yàn)楸粯?biāo)記為目標(biāo)和背景的樣本數(shù)量和比例，會(huì)對(duì)檢測(cè)網(wǎng)絡(luò)的分類(lèi)準(zhǔn)確性造成影響，所以在網(wǎng)絡(luò)訓(xùn)練時(shí)需要對(duì)正負(fù)樣本的這2個(gè)參數(shù)進(jìn)行調(diào)整.本研究數(shù)據(jù)集中的玉米籽粒在整個(gè)圖像中所占的比例大，因此，為平衡正、負(fù)樣本的比例設(shè)置RPN負(fù)樣本范圍為0到0.3，正樣本范圍為0.7到1.0.試驗(yàn)結(jié)果表明模型檢測(cè)效果良好.

2.2 訓(xùn)練與測(cè)試

通過(guò)反向傳播和隨機(jī)梯度下降法(動(dòng)量值設(shè)置為0.9)對(duì)整個(gè)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行端到端的訓(xùn)練.整個(gè)卷積神經(jīng)網(wǎng)絡(luò)在Faster R-CNN網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行訓(xùn)練，并且對(duì)于不重要的新增的卷積神經(jīng)網(wǎng)絡(luò)中的網(wǎng)絡(luò)層參數(shù)使用函數(shù)的默認(rèn)值進(jìn)行初始化，其余網(wǎng)絡(luò)自帶參數(shù)使用網(wǎng)絡(luò)框架的默認(rèn)參數(shù)進(jìn)行初始化.本研究采用一種分步訓(xùn)練策略：前兩步采用1×10-5的學(xué)習(xí)率對(duì)RPN網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練；然后在接下來(lái)的兩步網(wǎng)絡(luò)訓(xùn)練中將學(xué)習(xí)率縮小至1×10-6，繼續(xù)進(jìn)行迭代訓(xùn)練.結(jié)果表明該訓(xùn)練策略有利于快速有效地進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練.

3 結(jié)果與討論

3.1 試驗(yàn)環(huán)境與評(píng)價(jià)標(biāo)準(zhǔn)

本研究在Windows系統(tǒng)環(huán)境下Matlab版代碼進(jìn)行測(cè)試，具體的配置為Windows10 64位，Matlab R2017b，Intel 酷睿i7-6700HQ，NVIDIA GeForce GTX 960M(顯存2 GB)、系統(tǒng)內(nèi)存8 GB.由于本研究屬于目標(biāo)檢測(cè)范疇，因此，采用AP，mAP[19]來(lái)評(píng)估模型整體性能，采用準(zhǔn)確率P，召回率R，誤報(bào)率FPR，加權(quán)調(diào)和平均值F1來(lái)評(píng)估模型的分類(lèi)性能[15,20].參考文獻(xiàn)[6]研究，結(jié)合文中試驗(yàn)樣機(jī)的特殊性，采用檢測(cè)準(zhǔn)確率(判斷正確的籽粒數(shù)/總籽粒數(shù)×100%)、有效分選率(分選正確的優(yōu)良籽粒數(shù)/執(zhí)行分選動(dòng)作的籽粒數(shù)×100%)作為系統(tǒng)樣機(jī)的評(píng)價(jià)標(biāo)準(zhǔn).

3.2 玉米籽粒精選檢測(cè)的樣本采集和數(shù)據(jù)集

本研究以鄭單958玉米籽粒為研究對(duì)象并設(shè)計(jì)了玉米籽粒樣本采集試驗(yàn)，包括玉米穗分選和玉米籽粒分選.穗選：在農(nóng)場(chǎng)上晾曬玉米果穗時(shí)，將作為正樣本的玉米果穗與混雜、成熟不好、病蟲(chóng)、霉?fàn)€等作為負(fù)樣本玉米果穗分開(kāi)后曬干脫粒.結(jié)合前人的研究[5-6]對(duì)本研究的玉米籽粒進(jìn)行粒選和分類(lèi)：在上述玉米果穗中選出顏色飽滿(mǎn)、大小適中、粒形均勻的玉米籽粒作為優(yōu)良玉米籽粒樣本；剩余大小不均、蟲(chóng)蝕、病斑、破碎、生霉、熱損傷等玉米籽粒作為剔除籽粒樣本，如圖 5所示.在暗箱內(nèi)進(jìn)行樣本采集，時(shí)間為2017年11月，經(jīng)1.3節(jié)預(yù)處理后可得4種形態(tài)的單顆玉米籽粒：種尖指朝下(圖5a)和種尖指朝上(圖5b)的籽粒胚面、種尖指朝下(圖5c)和種尖指朝上(圖5d)的籽粒胚乳面.通過(guò)以重心為核心的簡(jiǎn)潔算法對(duì)它進(jìn)行姿態(tài)調(diào)整后，統(tǒng)一裁剪為圖5b，d兩種像素為352×352的圖像.隨后標(biāo)記圖像中玉米籽粒的類(lèi)別以及位置：優(yōu)良玉米籽粒胚面與胚乳面、剔除籽粒胚面與胚乳面4大類(lèi)(剔除籽粒胚面簡(jiǎn)稱(chēng)剔胚，剔除籽粒胚乳面簡(jiǎn)稱(chēng)剔胚乳，優(yōu)良玉米籽粒胚面簡(jiǎn)稱(chēng)優(yōu)胚，優(yōu)良玉米籽粒胚乳面簡(jiǎn)稱(chēng)優(yōu)胚乳，共2 212幅圖像，其中優(yōu)良玉米籽粒各626幅，剔除籽粒各480幅).位置標(biāo)記示例如圖 5所示，優(yōu)良玉米籽粒集中的優(yōu)良玉米籽粒(圖5e)；剔除籽粒集中的大小不均籽粒(圖5f)、蟲(chóng)蝕籽粒(圖5g)、破損籽粒(圖5h)、發(fā)霉籽粒(圖5i)、熱損傷籽粒(圖5j).

圖5 玉米籽粒數(shù)據(jù)集及部分樣本示例

3.3 模型整體訓(xùn)練效果評(píng)估

為驗(yàn)證本研究網(wǎng)絡(luò)模型的性能，隨機(jī)選取玉米籽粒數(shù)據(jù)集80%的數(shù)據(jù)用于訓(xùn)練，剩余20%數(shù)據(jù)用于驗(yàn)證.使用AP，mAP對(duì)4種網(wǎng)絡(luò)模型整體性能進(jìn)行參數(shù)評(píng)估，剔胚、剔胚乳、優(yōu)胚和優(yōu)胚乳的AP分別為76.03%，86.43%,92.05%和97.60%，模型的mAP為88.03%，對(duì)優(yōu)良籽粒的mAP為94.83%，模型大小僅為5.83 MB.對(duì)比分析模型檢測(cè)4類(lèi)玉米籽粒的P-R曲線(xiàn)，如圖 6所示.結(jié)果表明：玉米品質(zhì)檢測(cè)網(wǎng)絡(luò)模型穩(wěn)定，對(duì)優(yōu)良玉米籽粒有更好的識(shí)別效果.

圖6 檢測(cè)模型的P-R曲線(xiàn)

3.4 分類(lèi)檢測(cè)試驗(yàn)

使用P，R，F(xiàn)PR以及F1值對(duì)模型多分類(lèi)檢測(cè)性能進(jìn)行的定量分析和評(píng)價(jià)，結(jié)果如表2所示，由表2可知，模型總體分類(lèi)檢測(cè)性能良好.對(duì)優(yōu)良玉米籽粒的識(shí)別能力更強(qiáng)，P，R，F(xiàn)PR以及F1值分別為98.75%，94.84%，3.78%和96.85%.對(duì)剔除籽粒識(shí)別效果較差的原因是模型在檢測(cè)時(shí)出現(xiàn)較多剔除籽粒類(lèi)內(nèi)錯(cuò)誤，可能原因是：① 由于在剔除籽粒數(shù)據(jù)集的建立時(shí)，考慮到模型不需要識(shí)別出不同剔除籽粒確切類(lèi)型(如大小不均、蟲(chóng)蝕、破損等)，因此將它們歸為一類(lèi).這些不同籽粒所具有的特征導(dǎo)致剔除籽粒的特征變得復(fù)雜、互有交叉，使模型對(duì)剔除籽粒識(shí)別效果呈現(xiàn)出不穩(wěn)定或較差的原因.② 有些屬于被剔除的玉米籽粒處于類(lèi)間的特殊位置，胚乳面和胚面特征之間相似度極大，即使按分類(lèi)標(biāo)準(zhǔn)來(lái)進(jìn)行判斷也不容易確定其類(lèi)別.但是這種錯(cuò)誤不會(huì)影響模型對(duì)優(yōu)良玉米籽粒的檢測(cè)精度.

表2 模型分類(lèi)性能試驗(yàn)結(jié)果 %

3.5 檢測(cè)速度分析

檢測(cè)速度對(duì)玉米品質(zhì)檢測(cè)網(wǎng)絡(luò)模型的部署有極大的影響.在有限的計(jì)算機(jī)硬件條件下，文中又訓(xùn)練了4種不同網(wǎng)絡(luò)入口的模型，并對(duì)9種不同像素圖像(32×32至352×352像素)進(jìn)行了速度測(cè)試，如表3所示.隨著模型網(wǎng)絡(luò)入口與圖像尺寸差距減小，模型檢測(cè)速度逐漸提升，最快可達(dá)42.74 幅· s-1.

表3 檢測(cè)速度試驗(yàn)結(jié)果 幅· s-1

注：模型-32是指32×32像素的模型，以此類(lèi)推；空白表示程序錯(cuò)誤，模型無(wú)法運(yùn)行.

3.6 樣機(jī)試驗(yàn)

試制的玉米籽粒品質(zhì)精選試驗(yàn)樣機(jī)，如圖 7所示.當(dāng)配重質(zhì)量為0.3 kg、安裝傾角為0°、系統(tǒng)振幅為0.36 mm時(shí)，機(jī)械系統(tǒng)的整列分離性能最好，試驗(yàn)樣機(jī)視覺(jué)檢測(cè)和電磁分選的精度最高.啟動(dòng)樣機(jī)對(duì)優(yōu)良玉米籽粒和剔除籽粒(各500粒)進(jìn)行樣機(jī)檢測(cè)試驗(yàn).結(jié)果顯示：玉米籽粒品質(zhì)精選試樣樣機(jī)對(duì)優(yōu)良玉米籽粒的實(shí)際檢測(cè)準(zhǔn)確率為96.50%，與傳統(tǒng)方法[6]相比有0.5%的提升；實(shí)際有效分選率為97.51%.

圖7 基于電磁振動(dòng)的玉米籽粒精選樣機(jī)試驗(yàn)

4 結(jié) 論

1) 設(shè)計(jì)了基于電磁振動(dòng)、自動(dòng)控制的玉米籽粒精選平臺(tái)，可實(shí)現(xiàn)玉米籽群的自動(dòng)分離與籽粒品質(zhì)的分選.

2) 設(shè)計(jì)了基于卷積神經(jīng)網(wǎng)絡(luò)的玉米品質(zhì)精選檢測(cè)模型，可實(shí)現(xiàn)玉米籽粒品質(zhì)的自動(dòng)檢測(cè)，模型大小為5.83 MB，對(duì)計(jì)算機(jī)硬件要求低；模型的mAP為88.03%，總體分類(lèi)檢測(cè)性能良好；對(duì)優(yōu)良玉米籽粒的識(shí)別能力強(qiáng)，P，R，F(xiàn)PR，F(xiàn)1值分別為98.75%，94.84%，3.78%和96.85%.

3) 設(shè)計(jì)并試制了玉米品質(zhì)精選樣機(jī)，樣機(jī)對(duì)玉米籽粒的實(shí)際檢測(cè)準(zhǔn)確率為96.50%，與傳統(tǒng)方法相比有0.5%的提升，實(shí)際有效分選率為97.51%.