基于深度信念網(wǎng)絡(luò)的多品種水稻生物量無損檢測

段凌鳳 潘井旭 郭子龍 劉海北 覃建祥 柯希鵬

(1.華中農(nóng)業(yè)大學(xué)工學(xué)院， 武漢 430070； 2.華中農(nóng)業(yè)大學(xué)作物遺傳改良國家重點(diǎn)實(shí)驗(yàn)室， 武漢 430070)

0 引言

水稻是世界上最主要的糧食作物之一，高產(chǎn)一直是水稻育種與栽培的重要目標(biāo)[1-2]。水稻生長發(fā)育中的生物量積累是經(jīng)濟(jì)產(chǎn)量(以下簡稱產(chǎn)量)的物質(zhì)基礎(chǔ)[3-4]。不同品種生物量積累動(dòng)態(tài)規(guī)律[5-6]及各生育階段生物量與產(chǎn)量的關(guān)系不一致[7]，連續(xù)測量不同品種的水稻生物量，對研究不同品種生物量積累動(dòng)態(tài)和水稻產(chǎn)量形成規(guī)律、指導(dǎo)水稻生產(chǎn)及育種具有現(xiàn)實(shí)意義。

近年來，已有學(xué)者在基于圖像特征的作物生物量測量模型構(gòu)建上進(jìn)行了探索研究。梁淑敏等[7]以植株圖像周長為表征因子，建立了玉米鮮生物量測量模型。更多研究則基于植株不同角度下投影面積構(gòu)建生物量測量模型，如基于頂視投影面積[8]、基于2幅互呈90°的側(cè)視投影面積[9]、基于頂視投影面積與2幅互呈90°側(cè)視投影面積[10-13]，以及基于多幅側(cè)視投影面積平均值與頂視投影面積[14-15]等。研究表明，僅基于植株投影面積無法建立準(zhǔn)確有效的多品種全生育期生物量測量模型[13]。通過加入其他表征因子，如綠色比[16]、株齡[17]、株高及分蘗數(shù)[18]等，可提高生物量測量模型的精度。然而，這些研究的對象大多為處于營養(yǎng)生長早期的少量品種，構(gòu)建的模型品種及生育期適應(yīng)性較差。另外，上述研究均基于傳統(tǒng)的回歸分析建模，不足以描述圖像特征與生物量之間復(fù)雜的非線性關(guān)系。

自從HINTON等[19]開創(chuàng)性地提出深度信念網(wǎng)絡(luò)以來，基于大數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)技術(shù)以其優(yōu)越的性能及充足的生理學(xué)基礎(chǔ)而廣泛地應(yīng)用于各個(gè)領(lǐng)域[20-26]。深度學(xué)習(xí)的優(yōu)勢在于可以直接將原始數(shù)據(jù)輸入到模型中，而不需要單獨(dú)對特征進(jìn)行選擇與變換，由模型通過學(xué)習(xí)給出合適的特征表示[27]。從理論上來說，將原始圖像輸入深度學(xué)習(xí)網(wǎng)絡(luò)即可得到很好的檢測結(jié)果，但本研究中的原始圖像尺寸非常大(2 452像素×2 056像素)，現(xiàn)有網(wǎng)絡(luò)無法處理，若直接壓縮則會(huì)造成很多圖像細(xì)節(jié)丟失。另外，即使壓縮到適合現(xiàn)有網(wǎng)絡(luò)的圖像尺寸(如224像素×224像素)，對于這么多的參數(shù)輸入，需要更多樣本(數(shù)十萬甚至數(shù)百萬)才能得到較好的效果。因此，本研究采用先提取圖像特征、再建模的方式。深度信念網(wǎng)絡(luò)(Deep belief network, DBN)首先對網(wǎng)絡(luò)進(jìn)行無監(jiān)督預(yù)訓(xùn)練，然后通過反向傳播(Back propagation,BP)算法對網(wǎng)絡(luò)進(jìn)行微調(diào)，尤其適用于有標(biāo)簽樣本的數(shù)量有限情況下的學(xué)習(xí)問題。深度信念網(wǎng)絡(luò)具備層次化特征學(xué)習(xí)與表達(dá)的能力，在探索分析輸入、輸出間復(fù)雜非線性關(guān)系上具有獨(dú)特優(yōu)勢[28]。

圖像特征和水稻生物量間具有復(fù)雜的非線性關(guān)系，深度信念網(wǎng)絡(luò)是解決這一問題的有效工具。本研究使用深度信念網(wǎng)絡(luò)進(jìn)行生物量建模的另一個(gè)重要原因在于，研究中有大量無標(biāo)簽樣本，而深度信念網(wǎng)絡(luò)能充分利用無標(biāo)簽樣本提高模型性能，是研究水稻生物量測量模型的有力工具。本研究首先通過圖像分析從原始水稻圖像中提取生物量相關(guān)圖像特征，然后引入深度信念網(wǎng)絡(luò)，構(gòu)建適用于多品種水稻生殖生育期的水稻生物量模型。

1 材料與方法

1.1 成像系統(tǒng)

本研究中的圖像采集裝置如圖1所示。水稻植株由工業(yè)輸送線自動(dòng)輸送至檢測區(qū)域，電動(dòng)旋轉(zhuǎn)臺(tái)帶動(dòng)水稻旋轉(zhuǎn)一周，由彩色工業(yè)相機(jī)(AVT Stingray F-504)采集水稻圖像，圖像尺寸為2 452像素×2 056像素。每盆植株每次采集14個(gè)不同角度下的可見光圖像。采集到的圖像將自動(dòng)傳輸至工作站。

圖1 圖像采集裝置Fig.1 Image acquisition equipment1.旋轉(zhuǎn)臺(tái) 2.控制器 3.相機(jī) 4.工作站

1.2 試驗(yàn)材料與圖像采集

本研究的試驗(yàn)材料為存在廣泛自然變異的483份水稻核心種質(zhì)資源。樣本種植于直徑為22 cm的塑料盆中。試驗(yàn)設(shè)置對照組(N)和干旱脅迫組(D)，每個(gè)組設(shè)置4個(gè)重復(fù)，共483×2×4=3 864個(gè)樣本。對照組正常澆水，種植于露天環(huán)境下，而脅迫組種植在溫室中，于孕穗期進(jìn)行干旱脅迫。

當(dāng)水稻樣本長至孕穗期時(shí)，對脅迫組所有品種的4個(gè)重復(fù)采集圖像。隨后，脅迫組斷水進(jìn)行脅迫。采用TRIME-PICO32型土壤水分測量儀(IMKO Micromodultechnik GmbH, Ettlingen, 德國) 測量土壤含水率。當(dāng)土壤含水率降至15%時(shí)，給脅迫組澆水，使土壤含水率保持在15%的水平5 d。再次采集脅迫組和對照組所有樣本的水稻圖像，并對脅迫組和對照組所有品種的兩個(gè)重復(fù)進(jìn)行有損人工測量獲取水稻地上部分干物質(zhì)量。復(fù)水后對脅迫組和對照組正常澆水，于成熟期進(jìn)行第3次水稻圖像采集，并對脅迫組和對照組所有品種的兩個(gè)重復(fù)進(jìn)行有損人工測量獲取水稻地上部分干物質(zhì)量。由于部分樣本在測量中出現(xiàn)人為失誤，最終具有人工測量干物質(zhì)量數(shù)據(jù)的有標(biāo)簽樣本為3 811個(gè)，僅有圖像而無人工測量干物質(zhì)量數(shù)據(jù)的無標(biāo)簽樣本為3 829個(gè)。

1.3 圖像處理及性狀提取

1.3.1圖像處理

圖像采集完成后進(jìn)行處理，主要步驟如下：①圖像閾值分割。首先將圖像轉(zhuǎn)換到HSL顏色空間，利用HSL顏色空間固定閾值分割法分割圖像，提取圖像的L分量，設(shè)定閾值為100。去除小區(qū)域后得到水稻植株二值圖像。②提取顏色分量。利用二值圖像和原始RGB圖像進(jìn)行掩模操作，獲取植株的RGB圖像，提取水稻植株圖像的超綠分量(GEx)和超紅分量(REx),若某像素的GEx值大于預(yù)定義GEx閾值，REx值小于預(yù)定義REx閾值，則該像素被分割為植株綠色部分。提取i2組分，測定水稻植株的黃色部分。各顏色分量的計(jì)算公式為

(1)

(2)

(3)

GEx=2g-r-b

(4)

REx=1.4r-b

(5)

i2=0.5R-0.5B

(6)

式中R、G、B——彩色RGB圖像的R、G、B分量

r、g、b——?dú)w一化R、G、B分量

③檢測水稻植株邊緣和最小外接矩形。利用IMAQ EdgeDetection VI提取水稻植株邊緣，并利用IMAQ Particle Analysis VI檢測水稻植株最小外接矩形(圖2)。

圖2 水稻植株邊緣和最小外接矩形檢測Fig.2 Detection of edge and border of rice plants

1.3.2圖像特征提取

基于處理好的水稻圖像，對每個(gè)植株共提取57個(gè)圖像特征，分別為：

株高(HP)：將水稻拉直后測量得到的高度。

分蘗數(shù)(NT)：分蘗的數(shù)目。

綠色投影面積(AG)：植株綠色部分的像素?cái)?shù)。

莖稈面積(AST)：莖稈像素?cái)?shù)。

植株投影面積(A)：植株像素?cái)?shù)。

綠色比(RGLA)：綠色投影面積與植株投影面積的比值。

植株密度(C1～C6)：將圖像分為若干個(gè)尺寸為5像素×5像素的子圖像，計(jì)算每個(gè)子圖像內(nèi)的前景像素比例。像素點(diǎn)的密度定義為該像素點(diǎn)所在子圖像中的前景像素?cái)?shù)占子圖像總像素?cái)?shù)的比例。對植株180°范圍的圖像(本研究中為7幅)進(jìn)行同樣處理，以這些圖像得到的密度均值作為植株密度。根據(jù)子圖像內(nèi)的前景像素比例，將子圖像劃分為6個(gè)不同水平，分別為水平1(0～10%)、水平2(10%～20%)、水平3(20%～40%)、水平4(40%～60%)、水平5(60%～80%)、水平6(80%～100%)。統(tǒng)計(jì)不同前景像素比例水平中所含子圖像數(shù)占所有子圖像數(shù)的比例，計(jì)算得到6個(gè)不同植株密度水平，分別記為C1、C2、C3、C4、C5、C6[29]。

周長面積比(RPA)：植株周長與植株投影面積之比，其中周長為植株邊緣像素的數(shù)目。

分形維數(shù)1(DF1)：由植株原始圖像計(jì)算得到的分形維數(shù)。

植株外接矩形高(H)：植株最小外接矩形的高度。

植株外接矩形寬(W)：植株最小外接矩形的寬度。

植株占空比(RPB)：植株面積與其最小外接矩形面積的比值。

高寬比(RHW)：植株外接矩形高與植株外接矩形寬的比值。

分形維數(shù)2(DF2)：以植株最小外接矩形為邊界裁剪圖像后計(jì)算的分形維數(shù)。

深綠色面積(ADG)：植株深綠色部分的前景像素?cái)?shù)。

植株相對頻數(shù)(F1～F14)：本文共采集了植株360°旋轉(zhuǎn)范圍內(nèi)的14幅圖像，每幅側(cè)視圖對應(yīng)不同的植株角度，側(cè)視圖中相同的像素點(diǎn)位置在不同的側(cè)視角度下對應(yīng)著不同的植株位置。統(tǒng)計(jì)側(cè)視圖像中每個(gè)像素點(diǎn)處出現(xiàn)前景像素(植株像素)的次數(shù)。本實(shí)驗(yàn)共14幅側(cè)視圖，即前景像素出現(xiàn)次數(shù)為0～14。不考慮前景像素出現(xiàn)次數(shù)為0的像素?cái)?shù)，統(tǒng)計(jì)圖像中出現(xiàn)i次前景像素的像素點(diǎn)的個(gè)數(shù)，根據(jù)統(tǒng)計(jì)的個(gè)數(shù)，計(jì)算出現(xiàn)i次前景像素的相對頻率，得到14個(gè)分布頻率特征，記為特征F1、F2、F3、F4、F5、F6、F7、F8、F9、F10、F11、F12、F13、F14[30]。

淺綠色面積(ALG)：植株淺綠色部分的前景像素?cái)?shù)。

綠色等級(jí)(GC)：植株顏色等級(jí)分為深綠色和淺綠色，分別用1和0表示。當(dāng)植株深綠色面積大于淺綠色面積時(shí)為1，否則為0。

直方圖特征：均值M、標(biāo)準(zhǔn)差S、三階矩MU3、平滑度R、熵E、一致性U[29]。

灰度-梯度共生矩陣特征T1～T15：T1、T2、T3、T4、T5、T6、T7、T8、T9、T10、T11、T12、T13、T14、T15分別為相關(guān)、小梯度優(yōu)勢、大梯度優(yōu)勢、能量、灰度分布不均勻性、梯度分布不均勻性、灰度平均值、梯度平均值、灰度熵、梯度熵、混合熵、差分矩、逆差分矩、灰度均方差、梯度均方差[30]。

表1為各時(shí)期57個(gè)特征的平均值及各特征與生物量之間的相關(guān)性。從表中可以看出，大多數(shù)特征與生物量之間具有極顯著的相關(guān)性。

2 水稻生物量無損檢測模型構(gòu)建

2.1 數(shù)據(jù)預(yù)處理及性能評(píng)價(jià)

本研究中有標(biāo)簽樣本3 811個(gè)，無標(biāo)簽樣本3 829個(gè)，深度信念網(wǎng)絡(luò)能充分利用無標(biāo)簽樣本提高模型性能，是研究水稻生物量測量模型的有力工具。將有標(biāo)簽樣本隨機(jī)劃分為訓(xùn)練集和測試集，其中訓(xùn)練樣本3 000個(gè)，測試樣本811個(gè)。為了消除不同水稻生物量特征數(shù)據(jù)量綱的差異，提高訓(xùn)練收斂速度，利用Matlab工具箱中的mapminmax函數(shù)將數(shù)據(jù)歸一化至[0,1]區(qū)間。

本文采用決定系數(shù)R2(Coefficient of determination)、平均相對誤差(Mean absolute percent error，MAPE)、相對誤差絕對值的標(biāo)準(zhǔn)差(Standard deviation of absolute percent error，SAPE)來判斷所構(gòu)建模型的性能。計(jì)算公式為

(7)

(8)

(9)

式中VAPEi——第i個(gè)樣本的相對誤差絕對值

VMAPE——平均相對誤差

VSAPE——相對誤差絕對值的標(biāo)準(zhǔn)差

yai——第i個(gè)樣本的生物量系統(tǒng)測量值

ymi——第i個(gè)樣本的生物量人工測量值

n——樣本數(shù)量

2.2 基于多元線性回歸的水稻生物量模型構(gòu)建

通過逐步線性回歸法對水稻生物量數(shù)據(jù)進(jìn)行回歸分析，并通過方差膨脹因子(Variance inflation factor, VIF)進(jìn)行共線性檢驗(yàn)，當(dāng)某個(gè)回歸變量的VIF小于10時(shí)，認(rèn)為建立的回歸模型無顯著的共線性。最終從57個(gè)特征值中篩選出4個(gè)特征值，并利用SPSS對其進(jìn)行共線性檢驗(yàn)，確定無共線性。最終構(gòu)建的逐步線性回歸模型方程為

Y=0.072+1.185X1-0.224X2-0.270X3-0.224X4

(10)

式中Y——植株干物質(zhì)量

X1——三階矩X2——株高

X3——莖稈面積

X4——植株外接矩形高

該模型測試集的R2為0.807 6、MAPE為22.15%、SAPE為37.53%。

2.3 基于深度信念網(wǎng)絡(luò)的水稻生物量模型構(gòu)建

線性回歸模型的性能相對較差，為了提高模型性能，構(gòu)建基于深度信念網(wǎng)絡(luò)的生物量模型。

DBN模型訓(xùn)練中可見層數(shù)據(jù)類型、隱含層層數(shù)、隱含層節(jié)點(diǎn)數(shù)、學(xué)習(xí)率、迭代次數(shù)、動(dòng)量都會(huì)對模型性能產(chǎn)生影響，本文分別測試其對DBN模型性能的影響。

(1)可見層數(shù)據(jù)類型

分別測試可見層數(shù)據(jù)類型為高斯型和概率型時(shí)對DBN模型性能的影響，結(jié)果表明高斯型模型的R2為0.925 9，MAPE為11.60%，SAPE為18.00%；概率型模型的R2為0.906 9，MAPE為14.51%，SAPE為33.18%，高斯型數(shù)據(jù)類型性能優(yōu)于概率型。

(2)隱含層層數(shù)

DBN隱含層層數(shù)很大程度上影響著DBN模型的性能。選擇5種不同DBN隱含層層數(shù)，分別測得它們對DBN模型性能的影響，結(jié)果如表2所示。當(dāng)隱含層層數(shù)為3時(shí)，模型性能最優(yōu)。

(3)隱含層節(jié)點(diǎn)數(shù)

分別選擇8種不同的隱含層節(jié)點(diǎn)數(shù)測試其對DBN模型性能的影響，結(jié)果如表3所示。從結(jié)果可以看出，隱含層節(jié)點(diǎn)數(shù)為70-70-70時(shí)，模型性能最優(yōu)。

(4)學(xué)習(xí)率

DBN訓(xùn)練中選擇合適的學(xué)習(xí)率可以有效提高參數(shù)學(xué)習(xí)的收斂速度和學(xué)習(xí)性能。首先設(shè)置受限玻爾茲曼機(jī)(Restricted Boltzmann machines, RBM)預(yù)訓(xùn)練的學(xué)習(xí)率為0.1，然后測試BP算法不同學(xué)習(xí)率對DBN模型性能的影響。表4和表5分別為學(xué)習(xí)率隨迭代次數(shù)改變(式(11))和不隨迭代次數(shù)改變對模型性能的影響。結(jié)果顯示，學(xué)習(xí)率隨迭代次數(shù)改變且初始學(xué)習(xí)率為0.2時(shí)，DBN訓(xùn)練的精度高，建立的模型更準(zhǔn)確。

表1 各時(shí)期特征均值與生物量之間的相關(guān)性分析Tab.1 Correlation analysis of feature values for each period and biomass

注：** 表示極顯著(P<0.001)；*表示顯著(0.001

表2 隱含層層數(shù)對DBN模型性能的影響Tab.2 Influence of hidden layer number on performance of DBN model

表3 隱含層節(jié)點(diǎn)數(shù)對DBN模型性能的影響Tab.3 Influence of hidden layer neuron number on performance of DBN model

(11)

式中l(wèi)i——迭代次數(shù)i時(shí)的學(xué)習(xí)率

l0——初始學(xué)習(xí)率

i——迭代次數(shù)

表4 DBN訓(xùn)練中學(xué)習(xí)率隨迭代次數(shù)改變對DBN模型性能的影響Tab.4 Influence of learning rate which varied with change of iterations on performance of DBN model

(5)迭代次數(shù)

迭代次數(shù)對模型性能有較大的影響。從迭代次

表5 DBN訓(xùn)練中學(xué)習(xí)率不隨迭代次數(shù)改變對DBN模型性能的影響Tab.5 Influence of learning rate which did not vary with change of iterations on performance of DBN model

數(shù)50～2 000之間選擇9種不同的迭代次數(shù)，分別測試其對DBN模型性能的影響，結(jié)果如表6所示。從表中可知，當(dāng)DBN模型迭代次數(shù)為200時(shí)，模型性能最優(yōu)。

表6 迭代次數(shù)對DBN模型性能的影響Tab.6 Influence of different numbers of iteration on performance of DBN model

(6)動(dòng)量

為了測試動(dòng)量對性能的影響，分別測試了動(dòng)量隨迭代次數(shù)改變(式(12))和不隨迭代次數(shù)改變對DBN模型性能的影響。結(jié)果表明，可變動(dòng)量條件下DBN的R2為0.929 9，MAPE為11.19%，SAPE為18.36%；固定動(dòng)量條件下DBN的R2為0.915 4，MAPE為12.70%，SAPE為23.34%。

(12)

式中mi——第i次迭代的動(dòng)量

綜上，最終確定了性能最優(yōu)的DBN模型，即可見層數(shù)據(jù)類型為高斯型，隱含層層數(shù)為3層，隱含層節(jié)點(diǎn)數(shù)為70-70-70，學(xué)習(xí)率為0.2，迭代次數(shù)為200，動(dòng)量隨迭代次數(shù)改變而改變。

2.4 DBN模型與回歸模型性能比較

圖3為DBN模型與回歸模型對測試集處理性能比較的結(jié)果。

分析圖3可知，DBN模型R2較線性回歸模型增加了0.122 3，MAPE和SAPE分別降低了10.96個(gè)百分點(diǎn)和19.17個(gè)百分點(diǎn)，因此DBN模型具有更優(yōu)的擬合效果。

圖3 DBN模型及回歸模型性能比較Fig.3 Comparison of performance between DBN model and regression model

3 結(jié)論

(1)對不同品種水稻核心種質(zhì)資源進(jìn)行圖像采集，并利用HSL顏色空間固定閾值分割法分割圖像，對處理后的圖像進(jìn)行特征提取，每個(gè)植株共獲得57個(gè)水稻特征值。

(2)通過逐步線性回歸方法構(gòu)建水稻生物量回歸模型，模型測試集的R2為0.807 6、MAPE為22.15%、SAPE為37.53%。

(3)通過反復(fù)試驗(yàn)構(gòu)建一組可見層數(shù)據(jù)類型為高斯型、隱含層層數(shù)為3、隱含層節(jié)點(diǎn)數(shù)為70-70-70、學(xué)習(xí)率為0.2、迭代次數(shù)為200的多品種生物量無損檢測DBN模型，模型測試集R2為0.929 9，MAPE為11.19%，SAPE為18.36%。

(4)將回歸模型與DBN模型的性能進(jìn)行對比，結(jié)果表明，DBN模型具有更優(yōu)的訓(xùn)練結(jié)果。