玉米籽粒完整性識別的深度學(xué)習(xí)方法

魏英姿，譚龍?zhí)铮瑲W陽海飛，趙祉淇

(1.沈陽理工大學(xué) 信息科學(xué)與工程學(xué)院，沈陽 110159;2.盤錦市高級中學(xué) 2015級15班，遼寧 盤錦 124010)

?

玉米籽粒完整性識別的深度學(xué)習(xí)方法

魏英姿1，譚龍?zhí)?，歐陽海飛1，趙祉淇2

(1.沈陽理工大學(xué) 信息科學(xué)與工程學(xué)院，沈陽 110159;2.盤錦市高級中學(xué) 2015級15班，遼寧 盤錦 124010)

為滿足正確識別玉米籽粒完整性的需要，提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的智能識別方法。本網(wǎng)絡(luò)結(jié)合池化和降采樣操作，基于卷積原理進(jìn)行構(gòu)建。通過對直接輸入的灰度圖像進(jìn)行卷積操作，逐層挖掘圖像的深層特征，實現(xiàn)對單玉米籽粒圖像的特征抽象和特征降維，再通過一個全連接網(wǎng)絡(luò)，智能識別單玉米籽粒完整性特征。采用反向傳播網(wǎng)絡(luò)對相同的樣本進(jìn)行對照實驗。實驗結(jié)果表明，深度卷積神經(jīng)網(wǎng)絡(luò)能對籽粒圖像進(jìn)行有效地特征降維，使深度學(xué)習(xí)網(wǎng)絡(luò)達(dá)到較高的識別準(zhǔn)確率，滿足準(zhǔn)確識別玉米籽粒完整性特征的需要。

玉米籽粒；完整性識別；卷積神經(jīng)網(wǎng)絡(luò)；特征降維

籽粒完整性的檢測和識別，是全自動篩選優(yōu)良玉米種子必不可少的環(huán)節(jié)[1-2]。識別大量形態(tài)不一的玉米籽粒品質(zhì)，對模式識別模型和方法都提出了較高的要求。目前，玉米籽粒品質(zhì)的自動化檢測和識別方法，主要有基于特定圖像特征的方法和基于神經(jīng)網(wǎng)絡(luò)的方法兩大類。其中，基于神經(jīng)網(wǎng)絡(luò)的識別方法，又可以分為淺層神經(jīng)網(wǎng)絡(luò)和深層神經(jīng)網(wǎng)絡(luò)兩類模型。張俊雄等[3]通過對R通道分量圖像在水平和垂直方向進(jìn)行Sobel算子邊緣檢測，研究玉米種子的裂紋識別。史中輝等[4]通過13個幾何特征和12個顏色特征檢測玉米籽粒品質(zhì)。Zayas等[5]通過形態(tài)學(xué)參數(shù)和統(tǒng)計判別函數(shù)，從破碎籽粒中識別完整籽粒。這些方法屬于基于特定圖像特征的方法，它們都需要人工確定用于籽粒品質(zhì)識別的圖像學(xué)特征。萬鵬等[6]建立基于8個幾何特征的BP網(wǎng)絡(luò)，識別完整玉米籽粒和破碎玉米籽粒。王瑤[7]以籽粒的大小、飽滿度、健康度、破損率和含雜率等特征作為評價指標(biāo)，建立隸屬度函數(shù)，實現(xiàn)玉米籽粒的品質(zhì)識別。這些方法屬于基于淺層神經(jīng)網(wǎng)絡(luò)的方法。淺層網(wǎng)絡(luò)特別適合解決一些簡單的強(qiáng)約束問題，對一些復(fù)雜的實際應(yīng)用問題，其解決能力會很有限。當(dāng)用淺層神經(jīng)網(wǎng)絡(luò)解決識別任務(wù)時，也需要向網(wǎng)絡(luò)輸入特定的圖像學(xué)特征。因此，上述兩類方法的識別效果依賴于給定特征的有效性，如果特征選擇不當(dāng)，識別效果就會大打折扣。不同的是，淺層神經(jīng)網(wǎng)絡(luò)，尤其是誤差反向傳播(Back Propagation,BP)神經(jīng)網(wǎng)絡(luò)，能同時接受并綜合利用多個給定特征進(jìn)行識別，因此BP網(wǎng)絡(luò)能取得相對較好的識別效果。

深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network，DNN)在處理自然信號和自然圖像等方面具有很好的效果[8]。與淺層神經(jīng)網(wǎng)絡(luò)不同，DNN不必明確指定一種或多種圖像特征作為網(wǎng)絡(luò)的輸入特征，可以直接以圖像作為輸入。依據(jù)指定的學(xué)習(xí)規(guī)則，本網(wǎng)絡(luò)能充分利用圖像本身蘊含的信息，自動抽象和提取特征。深度神經(jīng)網(wǎng)絡(luò)著重于設(shè)計抽象圖像特征的學(xué)習(xí)規(guī)則，目前常用的學(xué)習(xí)規(guī)則有稀疏編碼、深度卷積等。此外，玉米粒圖像大數(shù)據(jù)的存在，使深度神經(jīng)網(wǎng)絡(luò)更適合處理玉米籽粒完整性識別的問題。

本文以識別玉米籽粒完整性特征為研究目標(biāo)，采用基于卷積的特征抽象學(xué)習(xí)規(guī)則，構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)(CNN Deep Neural Network)，并將深度卷積網(wǎng)絡(luò)的識別效果與標(biāo)準(zhǔn)單隱層BP網(wǎng)絡(luò)的識別效果進(jìn)行比較，表明深度卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)越性。

1 卷積神經(jīng)網(wǎng)絡(luò)模型的理論

1.1 CNN網(wǎng)絡(luò)卷積核的確定

通過卷積核的卷積運算，CNN網(wǎng)絡(luò)能自動抽象和提取圖像的特征。如果卷積核為N×N維，則核中含有N2+1個待調(diào)參數(shù)。卷積核矩陣如式(1)所示。

(1)

式中：kij(1≤i≤m,1≤j≤n)為核矩陣(i,j)位置的權(quán)重參數(shù)，通常m、n為奇數(shù)且m=n，即核K為方陣。進(jìn)行卷積操作時，先將核K順時針旋轉(zhuǎn)180度，得到變換后的核矩陣KR，如式(2)。

(2)

考慮到數(shù)據(jù)分布的平衡性，輸入特征圖MI中的待處理像素放在KR的中心，進(jìn)行內(nèi)積運算得到卷積操作誘導(dǎo)局部域vC，如式(3)。

(3)

用非線性函數(shù)對誘導(dǎo)局部域vC進(jìn)行硬限幅操作，將數(shù)據(jù)歸一化到[-1,1]區(qū)間。原理見式(4)。

mO=f(vC+b)

(4)

式中：f(·)為非線性硬限幅函數(shù)，通常選擇sigmoid函數(shù)或tanh函數(shù)；b為一偏置值；mO為經(jīng)過卷積和硬限幅操作后得到的輸出特征。輸入特征圖的邊緣像素不會與卷積核的中心重合，若輸入特征圖MI為Im×In維，卷積核KR為Rm×Rn維，則輸出特征圖MO為(Im-Rm+1)×(In-Rn+1)維。

用于卷積運算的卷積核，既可按權(quán)值共享原則設(shè)計，又可按非權(quán)值共享原則設(shè)計，其中權(quán)值共享是指一個輸出特征圖通過一個而非多個卷積核對輸入特征圖的卷積得到。顯然，相比于非權(quán)值共享型卷積核，權(quán)值共享型卷積核的待調(diào)參數(shù)數(shù)量更少，而且卷積操作更簡單。本文的CNN深度網(wǎng)絡(luò)按權(quán)值共享的方案設(shè)計卷積核，采用隨機(jī)初始化的方法確定核權(quán)重初始值。

1.2 CNN深度網(wǎng)絡(luò)的降采樣

降采樣[9]的作用是對輸入圖像進(jìn)行特征降維，可通過均值池化和等間隔采樣的圖像縮小來實現(xiàn)。均值池化[10]是一種特殊的卷積操作，其核矩陣為各位置權(quán)重值均相同的方陣。本文選用的核矩陣KM如式(5)所示。

(5)

(6)

(7)

1.3 CNN深度網(wǎng)絡(luò)的參數(shù)調(diào)節(jié)與批量學(xué)習(xí)

依據(jù)梯度下降法可進(jìn)行CNN深度網(wǎng)絡(luò)的權(quán)重參數(shù)調(diào)節(jié)。本文以均方差函數(shù)作為梯度下降法的代價函數(shù)，如式(8)所示。

e=o-y

(8)

(9)

式中：ei為誤差向量e的第i項分量；n為誤差向量e的分量個數(shù)；乘積項0.5用于平衡梯度下降的求導(dǎo)系數(shù)；o和y分別為深度網(wǎng)絡(luò)輸出層神經(jīng)元的網(wǎng)絡(luò)輸出和期望輸出。

為使本深度網(wǎng)絡(luò)具有更好的泛化性能，本文采用批訓(xùn)練[11]的方法。即對于批量大小為Batchsize的批，先將Batchsize個樣本進(jìn)行前向傳播后，再進(jìn)行一次反向傳播來調(diào)整網(wǎng)絡(luò)權(quán)值參數(shù)。另外，通過隨機(jī)抽取方法使不同的樣本隨機(jī)組合，使得到的每個訓(xùn)練批具有更好的隨機(jī)性。

1.4 CNN深度網(wǎng)絡(luò)輸入的特點 圖1為BP網(wǎng)絡(luò)與CNN網(wǎng)絡(luò)的識別原理比較圖。

圖1 BP網(wǎng)絡(luò)與CNN網(wǎng)絡(luò)識別原理比較

從圖1可以看出，應(yīng)用BP網(wǎng)絡(luò)等傳統(tǒng)淺層網(wǎng)絡(luò)解決識別問題時，需人工預(yù)先從圖像中提取一些特征作為其輸入；而CNN深度網(wǎng)絡(luò)則直接以圖像作為網(wǎng)絡(luò)的輸入，并且通過卷積和降采樣操作自動學(xué)習(xí)圖像中的有用信息。這是兩者在網(wǎng)絡(luò)輸入和處理機(jī)制方面的重要不同之處。另外，相比BP網(wǎng)絡(luò)，CNN網(wǎng)絡(luò)受人為干預(yù)更少，其識別目標(biāo)特征的效果會更好。

2 數(shù)據(jù)準(zhǔn)備

2.1 提取單籽粒圖像

采集玉米籽粒圖像時，為避免籽粒間的粘連，本研究通過機(jī)械振動方法實現(xiàn)玉米籽粒在背景板上離散分布。

BP神經(jīng)網(wǎng)絡(luò)和CNN深度網(wǎng)絡(luò)的輸入數(shù)據(jù)都基于單籽粒圖像得到，因此需對多籽粒圖像進(jìn)行單籽粒化的分割和提取。分割和提取的步驟如下：

步驟1 將多籽粒圖像進(jìn)行灰度化處理；

步驟2 以50為灰度閾值將灰度圖像二值化；

步驟3 對二值圖像進(jìn)行貼標(biāo)簽操作，區(qū)分不同的前景目標(biāo)，即得到不同的單玉米籽粒域；

步驟4 將同號的單玉米籽粒提取出來，得到單玉米籽粒圖像，確定其最小外界矩形的尺寸l×w，其中l(wèi)和w為單個籽粒最小外接矩形的長和寬；

步驟5 對各單玉米籽粒圖像進(jìn)行0.25×max{l,n}的純黑色背景域的擴(kuò)展，并編號保存單玉米籽粒圖像。

當(dāng)運行卷積運算時，圖像畫面邊框上的像素?zé)o法被模板覆蓋。為防止損失籽粒邊緣的重要特征信息，并盡量使籽粒區(qū)域大、背景區(qū)域小，需對截取的單籽粒圖像進(jìn)行背景擴(kuò)展。文中，單籽粒圖像背景擴(kuò)展尺寸選擇50。為提高訓(xùn)練CNN深度網(wǎng)絡(luò)對旋轉(zhuǎn)不變性的識別能力，本文還對各單籽粒圖像進(jìn)行π/4的旋轉(zhuǎn)變換。

2.2 歸一化灰度圖像的獲取

按上述方法得到單籽粒圖像后，為適應(yīng)CNN網(wǎng)絡(luò)的規(guī)格和減少網(wǎng)絡(luò)處理的數(shù)據(jù)量，還需要對圖像進(jìn)行縮小和尺寸歸一化。本文通過這兩項操作，將各單籽粒圖像處理成28×28的等規(guī)格灰度圖像，具體效果如圖2a和圖2b所示。

本文采用有監(jiān)督方法[12]訓(xùn)練神經(jīng)網(wǎng)絡(luò)，需對各樣本的期望輸出進(jìn)行標(biāo)記。將粒形完整的籽粒圖像和粒形殘缺的籽粒圖像的輸出值分別標(biāo)記為1和0。由于需要向CNN神經(jīng)網(wǎng)絡(luò)直接輸入圖像數(shù)據(jù)，把上述28×28等規(guī)格小圖像依次轉(zhuǎn)換為單維向量，并生成訓(xùn)練樣本文件和測試樣本文件。本研究的訓(xùn)練樣本Train_x為3040條向量構(gòu)成的784×3040維矩陣，訓(xùn)練樣本的期望輸出Train_y為1×3040維矩陣，測試樣本Test_x為456條向量構(gòu)成784×456維矩陣，測試樣本的期望輸出Test_y為1×456維矩陣。

圖2 歸一化操作前后的單籽粒圖像

3 構(gòu)建神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

3.1 構(gòu)建單隱層BP網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)8個輸入特征及其計算方法如表1所示。從文獻(xiàn)[6]可知，表1的8項幾何特征是BP網(wǎng)絡(luò)識別籽粒完整性的關(guān)鍵特征。基于這些特征，構(gòu)建“輸入層->單隱層->輸出層”3層BP網(wǎng)絡(luò)結(jié)構(gòu)。輸入層神經(jīng)元個數(shù)為8，隱層神經(jīng)元個數(shù)為15，輸出層神經(jīng)元個數(shù)為1。輸入層和隱層間的硬限幅函數(shù)選擇sigmoid函數(shù)，隱層和輸出層間的硬限幅函數(shù)選擇purelin函數(shù)。BP網(wǎng)絡(luò)最大迭代步數(shù)設(shè)定為500。

表1 BP神經(jīng)網(wǎng)絡(luò)8個輸入項[6]

3.2 深度卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)建

本文的CNN網(wǎng)絡(luò)采用“輸入層->第I卷積層->第I降采樣層->第II卷積層->第II降采樣層->全連接層->分類器的輸出層”7層網(wǎng)絡(luò)結(jié)構(gòu)，每層的神經(jīng)元個數(shù)依次選為784、6×576、6×144、6×12×64、6×12×16、192、1。批訓(xùn)練的批量Batchsize=40，卷積核K的尺寸為5×5，第I降采樣層和第II降采樣層的均值池化矩陣同式(5)。第I卷積層和第II卷積層分別采用6個和6×12個不同的卷積核，對前一輸入層神經(jīng)元進(jìn)行卷積操作。本網(wǎng)絡(luò)的硬限幅函數(shù)選擇sigmoid函數(shù)，訓(xùn)練批次設(shè)置為10。 對CNN深度網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測試，步驟如下：

步驟1 依次設(shè)置深度網(wǎng)絡(luò)第1層～第5層的屬性為‘i’、‘c’、‘s’、‘c’、‘s’，并初始化各卷積核的初始權(quán)重值；

步驟2 讀入數(shù)據(jù)文件，用Train_x和Train_y訓(xùn)練CNN網(wǎng)絡(luò)，得到訓(xùn)練收斂圖；

步驟3 用Test_x和Test_y對已訓(xùn)練的CNN網(wǎng)絡(luò)進(jìn)行測試；

步驟4 統(tǒng)計識別錯誤的樣本數(shù)，計算網(wǎng)絡(luò)的識別錯誤率。

4 實驗結(jié)果及分析

實驗仿真環(huán)境：Win XP系統(tǒng)，CPU：Intel(R)Core(TM)2 Duo CPU E7200 Processor 2.53 GHz,2G內(nèi)存，Matlab 2012b。

4.1 BP網(wǎng)絡(luò)仿真實驗

用3040個訓(xùn)練樣本訓(xùn)練BP網(wǎng)絡(luò)，得到訓(xùn)練誤差變化曲線如圖3所示。

圖3 BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練誤差變化曲線

從圖3可見，經(jīng)500次迭代訓(xùn)練后，BP網(wǎng)絡(luò)收斂，其訓(xùn)練誤差約為0.12。利用456個測試樣本對已訓(xùn)練的BP網(wǎng)絡(luò)進(jìn)行測試，識別錯誤樣本有128個，如圖4所示，得到的識別率為71.930%。

圖4 BP網(wǎng)絡(luò)錯誤識別的樣本

4.2 CNN深度網(wǎng)絡(luò)仿真實驗

首先構(gòu)建CNN網(wǎng)絡(luò)并初始化它的78個尺寸為5×5的卷積核，其中4個卷積核的初始化結(jié)果如圖5所示。

用3040個訓(xùn)練樣本訓(xùn)練CNN深度網(wǎng)絡(luò)。經(jīng)過CNN深度網(wǎng)絡(luò)特征抽象，得到部分特征數(shù)據(jù)如圖6所示。圖7a是部分測試樣本的灰度圖，用訓(xùn)練好的CNN網(wǎng)絡(luò)對其進(jìn)行卷積操作，得到的結(jié)果如圖7b所示。CNN網(wǎng)絡(luò)訓(xùn)練誤差變化曲線如圖8所示。

圖5 部分卷積核的初始化結(jié)果

圖6 CNN深度網(wǎng)絡(luò)抽象出的特征數(shù)據(jù)

圖7 CNN網(wǎng)絡(luò)對灰度圖像的卷積結(jié)果

圖8 CNN網(wǎng)絡(luò)訓(xùn)練誤差變化曲線

圖9 CNN網(wǎng)絡(luò)錯誤識別的樣本

從圖8可見，CNN深度網(wǎng)絡(luò)達(dá)到的訓(xùn)練精度約為91.760%。用456個測試樣本對網(wǎng)絡(luò)進(jìn)行測試，識別錯誤樣本有17個，如圖9所示，得到的識別精度為96.271%。和傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)相比，CNN深度神經(jīng)網(wǎng)絡(luò)的識別準(zhǔn)確率更高。

5 結(jié)論

為解決基于特定圖像特征和淺層神經(jīng)網(wǎng)絡(luò)等傳統(tǒng)方法在識別玉米籽粒完整性特征上的不足，提出了解決籽粒完整性識別的一種新思路。通過引入深度卷積學(xué)習(xí)網(wǎng)絡(luò)，模擬視覺感知的層次結(jié)構(gòu)，建立多隱層的特征抽象和特征降維的神經(jīng)網(wǎng)絡(luò)模型。該模型可直接從大量單籽?；叶葓D像數(shù)據(jù)中獲取深層信息，提高了籽粒完整性特征識別的準(zhǔn)確性。本文深入研究了深度網(wǎng)絡(luò)中均值池化和降采樣的特征降維實現(xiàn)原理，對比分析單隱層BP網(wǎng)絡(luò)和深度CNN網(wǎng)絡(luò)在實現(xiàn)效果上的不同。通過對3040個訓(xùn)練數(shù)據(jù)和456個測試數(shù)據(jù)的識別實驗，驗證了基于深度卷積神經(jīng)網(wǎng)絡(luò)方法識別玉米籽粒完整性特征的有效性，且深度CNN網(wǎng)絡(luò)比傳統(tǒng)淺層BP網(wǎng)絡(luò)的識別準(zhǔn)確率更高。籽粒完整性識別實驗分析、實驗結(jié)果與理論分析基本相符。

[1]孫莎,洪英,鄧?yán)^忠,等.計算機(jī)視覺在種子品質(zhì)檢測和分級中的應(yīng)用[J].農(nóng)機(jī)化研究,2008(7):175-178.[2]劉利莎,趙敏.玉米高產(chǎn)保障之良種優(yōu)選技術(shù)[J].農(nóng)業(yè)開發(fā)與裝備,2014(6):104-104.

[3]張俊雄,荀一,李偉,等.基于形態(tài)特征的玉米種子表面裂紋檢測方法[J].光學(xué)精密工程,2007,15(6):951-956.

[4]史中輝,趙秀艷,于廣洋,等.基于圖像處理的玉米種子特征參數(shù)提取系統(tǒng)[J].農(nóng)機(jī)化研究,2011,33(10):166-170.

[5]Zayas I,Converse H,Steele J.Discrimination of whole from broken corn kernels with image analysis[J].Trans of the ASAE,1990,33(5):1642-1646.

[6]萬鵬,孫鐘雷,宗力.基于計算機(jī)視覺的玉米粒形檢測方法[J].中國糧油學(xué)報,2011,26(5):107-110.

[7]王瑤.種子分類與檢測的圖像分割與識別[D].長春:吉林大學(xué),2007.

[8]Vinyals O,Jia Y,Deng L,et al.Learning with recursive perceptual representations[C]//Advances in Neural Information Processing Systems.South Lake Tahoe,2012:2825-2833.[9]Dilan R A,Koku A B,Konukseven E I.Rapid training data generation from image sequences for pattern recognition[C]//2011 IEEE International Conference on Mechatronics.Istanbul,2011:457-462.

[10]王勇,趙儉輝,章登義,等.基于稀疏自編碼深度神經(jīng)網(wǎng)絡(luò)的林火圖像分類[J].計算機(jī)工程與應(yīng)用,2014(24):173-177.

[11]Takéhiko Nakama.Theoretical analysis of batch and on-line training for gradient descent learning in neural networks[J].Neurocomputing,2009,73(1/3):151-159.[12]Shusen Zhou,Qingcai Chen,Xiaolong Wang,et al.Convolutional Deep Networks for Visual Data Classification[J].Neural processing letters,2013,38(1):17-27.

(責(zé)任編輯：馬金發(fā))

Recognition of Maize Seed Integrity Based on Deep Neural Network

WEI Yingzi1,TAN Longtian1,OUYANG Haifei1，ZHANG Zhiqi2

(1.Shenyang Ligong University,Shenyang 110159,China; 2.Class 15 grade 2015,Panjin senior high school,Panjin 124000,China)

To meet the demand for recognizing maize seed integrity correctly,an intelligent method is proposed,which is based on deep convolutional neural network.This deep learning neural network is built and combined with pooling and down-sampling disposal.Single maize seed gray images pass through the network directly,and in-depth features are abstracted layer by layer by a series of convolution operations.In addition,feature dimension of images can be reduced,and the meaningful features can be extracted.Then the integrity features are recognized intelligently by a fully connected network.In addition,a contrast experiment based on back propagation network is also made on the same samples.Experimental results show that deep convolutional neural network can get better recognition rate by reducing feature dimensions effectively.This method can well meet the requirements for recognition of maize seed integrity.

maize seed;integrity recognition;convolutional neural network;feature dimension reduction

2015-11-02

國家自然科學(xué)基金資助項目(61373089)；遼寧省自然科學(xué)基金資助項目(2014020083)；遼寧省農(nóng)業(yè)攻關(guān)及成果產(chǎn)業(yè)化項目(201404236)

魏英姿(1973—)，女，教授，博士，研究方向：模式識別、機(jī)器人學(xué)等。

1003-1251(2016)04-0001-06

TP391

A