基于玉米冠層原位監(jiān)測的全生育期葉色建模及其應(yīng)用

杜建軍，袁 杰，王傳宇，郭新宇※（1. 北京市農(nóng)林科學(xué)院，北京農(nóng)業(yè)信息技術(shù)研究中心，北京 100097；2. 數(shù)字植物北京重點(diǎn)實(shí)驗(yàn)室，北京 100097；. 首都師范大學(xué)信息工程學(xué)院，北京 100048）

基于玉米冠層原位監(jiān)測的全生育期葉色建模及其應(yīng)用

杜建軍1,2，袁 杰3，王傳宇1,2，郭新宇1,2※
（1. 北京市農(nóng)林科學(xué)院，北京農(nóng)業(yè)信息技術(shù)研究中心，北京 100097；2. 數(shù)字植物北京重點(diǎn)實(shí)驗(yàn)室，北京 100097；3. 首都師范大學(xué)信息工程學(xué)院，北京 100048）

針對田間玉米冠層葉色變化難以定量描述問題，該文利用田間原位冠層監(jiān)測系統(tǒng)，在攝像機(jī)自動曝光模式下連續(xù)采集多個(gè)玉米品種的冠層圖像，揭示了復(fù)雜天氣條件對圖像和玉米冠層顏色的影響。利用概率密度統(tǒng)計(jì)分析方法分別計(jì)算玉米6個(gè)關(guān)鍵生育期的冠層亮度-色度分布，并針對冠層色度具有明確變化趨勢且分離度較高的冠層亮度區(qū)間，建立了全生育期玉米冠層葉色模型。進(jìn)而，基于該模型建立了適合不同玉米生育期的冠層圖像自動分割方法，將玉米全生育期的冠層圖像分割精度提升到82.6%，并揭示了不同品種玉米在葉片發(fā)育過程中冠層葉色與葉齡的相關(guān)性，利用登海605和農(nóng)大108的冠層葉色預(yù)測出的生育期葉齡均方根誤差RMSE（root mean squared error，RMSE）分別為1.14和1.41葉。試驗(yàn)結(jié)果表明，該文建立的玉米冠層葉色模型能夠較好描述玉米關(guān)鍵生育期的冠層葉色變化規(guī)律，對玉米冠層圖像分割、生育期估計(jì)、玉米品種表型鑒定具有重要意義。

圖像分割；圖像分析；顏色；模型；玉米冠層；表型性狀；特征提?。粰C(jī)器視覺

0 引 言

隨著基因測序技術(shù)快速發(fā)展及多種植物全基因組測序工作的完成，作物表型已成為研究作物基因型-表型-環(huán)境三者關(guān)系亟待突破的瓶頸，目前各類作物表型高通量檢測技術(shù)研究受到重視[1-2]。作物表型特征直接反映了作物的生長狀態(tài)、趨勢和發(fā)育程度，其中作物顏色是最重要的表型特征之一。受內(nèi)在基因控制，作物在不同生長階段呈現(xiàn)出特定顏色，同時(shí)太陽輻射[3-4]、病蟲害侵襲[5-7]、土壤中微量元素（氮、磷、鉀、鈣等）的缺失[8-9]等外界環(huán)境因素也會對作物顏色產(chǎn)生顯著影響。農(nóng)業(yè)生產(chǎn)中，作物顏色特征是農(nóng)業(yè)專家或農(nóng)民對田間作物長勢長相進(jìn)行判斷的主要依據(jù)之一，比如作物顏色偏黃可能是缺氮、呈現(xiàn)褐色可能是缺磷、葉片邊緣漸退綠色可能是缺鉀等。然而，這種傳統(tǒng)作物表型觀測方式存在較強(qiáng)主觀性和隨意性，難以對作物顏色表型特征進(jìn)行定量化描述和分析。

近年，基于作物顏色特征的機(jī)器視覺、圖像處理等技術(shù)已在農(nóng)業(yè)科研和生產(chǎn)管理領(lǐng)域中得到廣泛應(yīng)用。利用作物顏色特征來分割或者標(biāo)記感興趣植株是作物表型檢測常用方法[10-16]。Pérez-Orti等[17]利用作物與雜草顏色的差異性來去除圖像分割中的雜草干擾，以便準(zhǔn)確估算出作物冠層覆蓋度。Yu等[18]在HSI顏色空間中進(jìn)行作物像素色度統(tǒng)計(jì)分析，提出的HI方法在一定程度上克服了亮度變化對冠層色度的影響。翟瑞芳等[19]評估了自然光照對油菜圖像分割影響的問題，利用多種方法分割不同天氣下油菜圖像，認(rèn)為高斯HI顏色算法對光照條件變化不敏感，且能夠取得較好分割效果。上述方法將不同生育期作物圖像進(jìn)行統(tǒng)一考慮，但未考慮到作物生長過程中自身顏色變化情況。進(jìn)一步，通過分析作物顏色分布、變化規(guī)律，可以揭示出作物顏色特征與作物生育期、生理和生化狀態(tài)的關(guān)系。張立周等[20]利用圖像處理技術(shù)進(jìn)行玉米氮素營養(yǎng)診斷，為玉米合理施肥提供技術(shù)支持；徐勝勇等[21]使用顏色直方圖反向投影特征解釋了油菜缺素情況；Cai等[22]通過計(jì)算圖像中黃色與綠色比率分析了小麥葉片的衰老過程；宋振偉等[23]根據(jù)冠層色度值下降極值點(diǎn)確定冬小麥的灌漿期。然而，上述研究大多未充分考慮作物顏色特征所受大田復(fù)雜環(huán)境因素的影響，這使得構(gòu)建的各種作物顏色表示和模型缺乏定量描述的依據(jù)。視覺觀察與定量分析均表明，田間復(fù)雜環(huán)境對玉米冠層色度具有明顯影響，且玉米冠層色度在不同生育期具有顯著差異。迄今為止，田間復(fù)雜環(huán)境下作物顏色及其變化規(guī)律的定量研究仍然是一個(gè)難點(diǎn)。

針對上述問題，本文在田間搭建了玉米冠層圖像數(shù)據(jù)采集系統(tǒng)，原位、連續(xù)獲取關(guān)鍵生育期的玉米冠層圖像序列，結(jié)合氣象、生育期等條件對玉米冠層葉色進(jìn)行定量化分析，通過建立玉米冠層葉色統(tǒng)計(jì)模型，揭示田間環(huán)境下玉米冠層葉色連續(xù)變化規(guī)律，從而為作物長勢監(jiān)測、長相評價(jià)、病害蟲監(jiān)控與防治等提供依據(jù)。

1 材料與方法

1.1 數(shù)據(jù)獲取

試驗(yàn)田位于北京市農(nóng)林科學(xué)院內(nèi)，試驗(yàn)材料為登海605（DH605）和農(nóng)大（ND108）2個(gè)品種，于2016年6月12日分別在2個(gè)獨(dú)立小區(qū)（5 m×5 m）播種。每個(gè)獨(dú)立小區(qū)部署一套冠層圖像采集裝置，如圖1所示，于播種之日開始數(shù)據(jù)采集，至9月22日數(shù)據(jù)采集截止。其中成像裝置采用?？低暩咔寰W(wǎng)絡(luò)攝像機(jī)（DS-2CD5052F，500萬像素）和鏡頭（HV1140D-8MPIR，自動光圈、手動定焦、12 mm焦距），攝像頭光軸垂直向下，距離地面高5 m。在玉米整個(gè)生育期內(nèi)連續(xù)拍攝圖像，并通過Wifi傳送到遠(yuǎn)程服務(wù)器上存儲，圖像拍攝間隔設(shè)置為1 h，存儲格式為JPEG圖像類型，大小為1 920×1 080像素。利用氣象墑情站實(shí)時(shí)獲取光照、溫度、濕度和土壤墑情數(shù)據(jù)，同步保存到遠(yuǎn)程服務(wù)器。另外，為了研究玉米葉色與其生育期關(guān)系，在玉米出苗至吐絲期間每天定時(shí)（16:00）人工測量并記錄各小區(qū)內(nèi)玉米植株的表型參數(shù)，包括葉齡、株高等。本文以登海605品種為例介紹玉米冠層圖像數(shù)據(jù)集及冠層葉色建模方法。

圖1 田間原位玉米冠層圖像采集系統(tǒng)Fig.1 In-situ image acquisition system for maize canopy in field

1.2 冠層圖像數(shù)據(jù)集

本文利用OpenCV完成玉米冠層圖像處理，并將獲取的RGB圖像轉(zhuǎn)換到HSV進(jìn)行顏色分析。HSV是根據(jù)顏色直觀特性創(chuàng)建的一種顏色空間，包括色度（H, [0°,360°]）、飽和度（S, [0,1]）與亮度（V, [0,1]）分量，其中色度表示顏色類別、飽和度表示顏色純度、亮度表示顏色明暗。與常用的RGB顏色空間相比，HSV直觀表示了顏色的明暗、色調(diào)和鮮艷程度，更有利于進(jìn)行顏色之間定量比較。為圖像表示和存儲方便，OpenCV通常將HSV的值域轉(zhuǎn)換為[0, 180]，[0, 255]和[0, 255]。本文中，圖像亮度和色度是指整張圖像的V和H分量均值，分別表示為IV（image value）和IH（image hue）；冠層亮度和色度是指玉米冠層像素的V和H分量均值，分別表示為CV（canopy value）和CH（canopy hue）。玉米冠層像素是人工監(jiān)督分割出的僅包含玉米冠層的圖像像素，所有非玉米冠層像素在圖像中均設(shè)置為背景像素0。

攝像機(jī)數(shù)據(jù)采集模式設(shè)置自動曝光模式拍攝，以保證攝像機(jī)在不同光照條件也能清晰成像。為了明確攝像機(jī)內(nèi)參及自然光照條件變化對作物顏色的影響，選取典型的晴天（7月13日）和陰天（7月14日）連續(xù)2 d的圖像序列進(jìn)行分析，如圖2所示。晴天和陰天條件下玉米冠層葉色差異明顯，由于相鄰2 d內(nèi)玉米生長導(dǎo)致的葉色自然變化較小，因此可認(rèn)為玉米冠層顏色主要受天氣、光照等環(huán)境條件影響。同時(shí)，對太陽輻射傳感器（SOLPYR）實(shí)時(shí)獲取的太陽輻射量（solar radiation, SR）進(jìn)行分析發(fā)現(xiàn)，晴天的輻射峰值為陰天的2.66倍。進(jìn)一步對晴天和陰天條件下的IV、IH、CV和CH進(jìn)行定量化計(jì)算和分析，為方便顯示太陽輻射與圖像統(tǒng)計(jì)值之間的關(guān)系，根據(jù)晴天和陰天的太陽輻射值最大值對太陽輻射進(jìn)行等比例縮放，統(tǒng)一到[0，255]值域區(qū)間，如圖3所示。在晴天條件下，13:00點(diǎn)左右太陽輻射量達(dá)到最大值（1 948 μmol/(m2·s)，對應(yīng)圖3a中最大值），而在早上和晚上太陽輻射量較低，全天呈現(xiàn)正態(tài)分布；陰天條件下，太陽輻射量絕對值（732 μmol/(m2·s)，對應(yīng)圖3b中最大值）較低、分布無規(guī)律。

圖2 不同天氣條件下的冠層圖像序列Fig.2 Canopy image sequence under different weather conditions

無論晴天還是陰天，圖像亮度（IV）值和冠層色度（CH）值變化幅度不大，分別保持在160和60左右。圖像色度（IH）值和冠層亮度值（CV）受太陽輻射量影響較大。晴天條件下，太陽輻射量與冠層亮度呈現(xiàn)明顯負(fù)相關(guān)（SR越大時(shí)CV值越小）。分別對圖2中玉米冠層圖像序列進(jìn)行統(tǒng)計(jì)分析，得到晴天和陰天條件下的所有冠層像素的CH值分布如圖3c所示，發(fā)現(xiàn)CH值分布范圍較廣，但基本集中在[30, 99]區(qū)間內(nèi)，其中晴天CH均值為65.59、標(biāo)準(zhǔn)差為8.34；陰天CH均值為67.77、標(biāo)準(zhǔn)差為9.91。太陽輻射差異導(dǎo)致玉米冠層CH均值及方差的漂移，且陰天中玉米冠層CH值略高于晴天。

圖3 太陽輻射對圖像和冠層顏色分量的影響Fig.3 Effects of solar radiation on color components of image and canopy

為了定量化分析玉米不同生育期（growth stage, GS）的冠層葉色與太陽輻射之間的關(guān)系，建立對應(yīng)不同生育期的6組玉米冠層圖像數(shù)據(jù)集，每組數(shù)據(jù)集中選擇該生育期內(nèi)約20張圖像，并將這些圖像獲取時(shí)間的均值作為該生育期對應(yīng)的玉米生長時(shí)間，如表1所示。其中，天氣條件分成晴天和陰天2種類型；玉米關(guān)鍵生育期分別為4葉期（L4 stage）、9葉期（L9 stage）、16葉期（L16 stage）、吐絲期（silk stage）、透明期（blister stage）和乳熟期（milk stage）6個(gè)關(guān)鍵生育期，對應(yīng)玉米生長時(shí)間分別為第15、32、52、72、91和101天。上述玉米冠層圖像數(shù)據(jù)集不僅反映了不同天氣條件對冠層葉色影響，也反映了不同生育期的冠層葉色自然變化，因此可用于其后的玉米冠層葉色建模。

1.3 冠層葉色建模

如圖3所示，在田間復(fù)雜成像環(huán)境下，太陽輻射（SR）對圖像色度（IH）、冠層亮度（CV）影響較大，而對圖像亮度（IV）和冠層色度（CH）影響較小，體現(xiàn)了在田間環(huán)境下自動拍攝成像的特點(diǎn)。為了定量化描述玉米冠層亮度（CV）和冠層色度（CH）之間的關(guān)系，將表1所示的6組玉米冠層圖像數(shù)據(jù)集的所有冠層像素融合在一起進(jìn)行統(tǒng)計(jì)分析可知，玉米冠層的平均亮度值為154.45，其分布范圍如圖4a所示。試驗(yàn)表明，在冠層像素集中的CV區(qū)間內(nèi)，各個(gè)CV值對應(yīng)的像素CH分布均近似符合正態(tài)分布，當(dāng)CV值等于154時(shí)，冠層像素的CH值分布如圖4b所示。

表1 玉米冠層葉色分析圖像數(shù)據(jù)集圖像數(shù)量Table 1 Maize canopy image datasets for color analysis

圖4 全生育期玉米冠層像素統(tǒng)計(jì)分析Fig.4 Statistical analysis of maize canopy pixels in whole growing stage

因此，在相同CV值條件下將CH分布規(guī)律表示為概率密度函數(shù)形式

式中μ是CH期望值，2σ是CH方差。采用極大似然法計(jì)算出各個(gè)CV條件下CH的均值與方差

式中n為像素樣本數(shù)量，CHi表示第i個(gè)像素的CH值，i=1,2,…,n 。

本文分別對玉米6個(gè)關(guān)鍵生育期內(nèi)作物像素進(jìn)行統(tǒng)計(jì)分析，并計(jì)算出所有亮度條件（亮度為0除外）下各生育期內(nèi)作物像素CH均值，如圖4c所示。從圖4可以發(fā)現(xiàn)：1）在各生育期，田間環(huán)境下太陽輻射量導(dǎo)致CV改變，進(jìn)而影響到CH均值，這使得CV與CH之間存在復(fù)雜映射關(guān)系；2）在各生育期，CV位于[80, 200]區(qū)間的像素在總像素中占比均超過77%，且該區(qū)間內(nèi)玉米冠層亮度-色度（CV-CH）曲線變化趨勢明確，區(qū)分度較高；3）當(dāng)CV值在[1, 80）和（80，255]區(qū)間時(shí)，各生育期的CH變化復(fù)雜且嚴(yán)重交叉，使得該區(qū)間不適合進(jìn)行CH量化比較與分析。

對不同生育期而言，CV值在[80, 200]區(qū)間從4葉期到乳熟期的冠層像素量占比分別為86.11%、88.02%、77.53%、76.80%、73.80%和77.35%。因此，在該亮度區(qū)間內(nèi)對玉米6個(gè)生育期CH值進(jìn)行統(tǒng)計(jì)分析，利用CH均值建立關(guān)鍵生育期的玉米冠層葉色模型，如圖5所示。

圖5 玉米全生育期冠層葉色模型Fig.5 Maize canopy color model (MCCM) in whole growth stage

圖5 揭示了玉米關(guān)鍵生育期的冠層葉色變化趨勢，可以看出冠層CH值從苗期開始逐步減小，在HSV的顏色表中體現(xiàn)為從綠色向黃色逐漸靠近。然而，玉米生長到52 d左右（16葉期前后），玉米冠層CH值出現(xiàn)拐點(diǎn)并逐漸增加。這可能是因?yàn)橛衩字仓晟L發(fā)育初期為營養(yǎng)生長階段，利用光合作用持續(xù)積累有機(jī)物使得作物顏色逐漸加深，即CH值逐步減小。在16葉期后，玉米開始從營養(yǎng)生長過度到生殖生長，這個(gè)階段屬于營養(yǎng)生長與生殖生長同時(shí)并進(jìn)時(shí)期，不僅包含根莖葉的分化和生長，而且包含了生殖器官幼穗的分化和生長[24]，葉片中養(yǎng)分逐漸消耗導(dǎo)致冠層CH值增大。

2 冠層葉色模型分析與應(yīng)用

2.1 冠層葉色模型

在田間復(fù)雜環(huán)境下，實(shí)現(xiàn)玉米各生育期的冠層圖像自動分割存在2個(gè)難點(diǎn)，即不同天氣條件會對玉米冠層亮度和色度造成影響，同時(shí)玉米生長、發(fā)育和成熟過程中葉片顏色也會持續(xù)改變。目前，大部分基于顏色特征的分割算子未考慮作物自身顏色差異及其在生長發(fā)育過程中顏色的自然變化，采用單一顏色算子往往難以處理不同玉米生育期葉片顏色的變化。因此，玉米冠層葉色模型對實(shí)現(xiàn)田間環(huán)境下玉米冠層圖像自動分割具有指導(dǎo)意義。另外，玉米16葉期前的冠層色度存在明顯下降趨勢，這種趨勢伴隨著玉米葉片的逐步生長發(fā)育，因此玉米52 d前冠層色度模型有助于實(shí)現(xiàn)基于圖像的玉米生育期估計(jì)、玉米品種顏色表型鑒定。

本文從玉米冠層圖像分割和葉齡預(yù)測2個(gè)方面詳細(xì)討論玉米冠層葉色模型的應(yīng)用。

2.2 冠層圖像分割

圖6a顯示了同一監(jiān)測小區(qū)中玉米群體在6個(gè)關(guān)鍵生育期的冠層圖像序列，可以發(fā)現(xiàn)玉米冠層顏色持續(xù)發(fā)生改變，尤其吐絲期前各個(gè)生育階段冠層顏色變化較明顯。針對不同生育期玉米冠層顏色特征，本文基于玉米冠層葉色模型建立了適合玉米各生育期的冠層圖像分割方法（maize canopy color model for segmentation，MCCM-S）。

圖6 6個(gè)關(guān)鍵生育期的玉米冠層圖像及分割結(jié)果Fig.6 Inputted and segmented images of maize canopy at 6 key growth stages

在玉米冠層葉色建模中，生成的各生育期的冠層CV-CH曲線（圖4c）揭示了玉米關(guān)鍵生育期的CH與CV值的統(tǒng)計(jì)特征，可為各個(gè)生育期的玉米冠層圖像分割確定最佳分割閾值。本文采用的MCCM-S方法的核心思想是玉米每個(gè)生育期中各個(gè)CV值定義測度函數(shù)()iΨ，從而為輸入圖像中像素()Pi確定最佳閾值范圍，其中i為圖像按一維數(shù)組存儲的像素序號。該測度函數(shù)表征輸入像素()Pi在確定CV值條件下，其CH值與CV-CH曲線之間的距離

式中CH()i代表像素()Pi對應(yīng)的CH值，?μ和?σ分別代表對應(yīng)CV值的冠層CH均值和標(biāo)準(zhǔn)差。()iΨ越大表示該像素為作物的概率越小，因此可通過設(shè)置閾值T判斷像素是否屬于作物，即若()iΨ小于等于T則判定該像素代表作物，否則為背景。適合玉米不同生育期的閾值具有較大差異，為簡化起見，本文通過多次試驗(yàn)確定了2個(gè)閾值范圍：16葉期前閾值區(qū)間為（2.8, 3.2），16葉期后閾值區(qū)間為（3.6, 3.9）。

分別以6種分割方法，即植被顏色指數(shù)（color index of vegetation extraction，CIVE）[25]、超綠（excess green，ExG）[26]、超綠減超紅（excess green-excess red，ExGR）[27-28]、植被算子（vegetation，VEG）[29]、色度（H）和基于玉米冠層葉色模型的分割方法（MCCM-S），對不同生育期玉米冠層圖像進(jìn)行分割。其中H分割方法是僅利用HSV顏色空間下的H分量進(jìn)行分割，閾值范圍設(shè)定為前文樣本數(shù)據(jù)統(tǒng)計(jì)出的玉米冠層色度區(qū)間[30, 99]。并利用參數(shù)λ[30]表示冠層圖像分割精度。

式中Bo和Fo是采用人工監(jiān)督方式分割出背景和作物圖像，作為參考圖像；Bt和Ft分別是利用6種分割方法分割出背景和作物圖像，作為結(jié)果圖像；Bo∩Bt表示背景的參考圖像和結(jié)果圖像的交集圖像；|Fo∩Ft|為目標(biāo)的參考圖像和結(jié)果圖像的交集圖像；|Bo|+|Fo|代表了整幅圖像。利用玉米冠層圖像分割方法得到的結(jié)果如圖6b所示。顏色分割算法對不同生育期玉米冠層圖像的分割性能如圖7所示。H與MCCM-S分割算法對玉米苗期及9葉期圖像的分割精度較差，而對16葉期、吐絲期、透明期和乳熟期圖像的分割精度則高于其他算法。前4個(gè)顏色算子（CIVE、ExG、ExGR和VEG）是基于RGB顏色空間像素級別的分割方法，在玉米苗期的分割精度均超過98%，但是隨著玉米生長到9葉期后，玉米冠層顏色的變化導(dǎo)致這些算法分割精度顯著降低，其中CIVE算子在玉米透明期的分割精度僅為21.6%。通常，玉米生長會伴隨著G分量相對含量的逐步降低，而基于RGB的顏色算子通常是設(shè)定固定閾值來進(jìn)行像素有效性判定，這就使得各種依賴G分量的顏色算子對玉米生長后期逐步失效。相較而言，玉米9葉期后采用H可以獲得比基于RGB顏色算子更高的分割精度，在玉米透明期的分割精度最低為63.35%，原因是HSV顏色空間中H分量受天氣、生育期等因素影響相對較小。同時(shí)，MCCM-S方法顯示出比H更高的分割精度，玉米全生育期最低分割精度達(dá)82.6%，這可能是由于MCCM-S利用統(tǒng)計(jì)分析方法計(jì)算出了玉米在各種亮度下色度的變化范圍，進(jìn)而可為圖像分割提供更加合理的色度區(qū)間，這有利于提升玉米冠層的分割精度。

圖7結(jié)果為田間玉米冠層圖像自動分割提供了依據(jù)，在玉米生長到9葉期以前利用基于RGB顏色空間的分割算法可以獲得較好分割結(jié)果，而在9葉期以后優(yōu)先采用基于HSV顏色空間的分割方法，尤其是本文提出的MCCM-S方法。利用圖1所示的田間原位冠層圖像采集裝置，可以遠(yuǎn)程實(shí)時(shí)獲取玉米冠層圖像序列，結(jié)合上面提出的分割策略實(shí)現(xiàn)玉米結(jié)構(gòu)和顏色表型特征解析，對田間玉米長勢長相監(jiān)測、病蟲害預(yù)測預(yù)警均具有重要應(yīng)用價(jià)值。

圖7 玉米全生育期6種算法分割精度Fig.7 Segmentation accuracy of 6 algorithms in whole growth stage

2.3 葉齡預(yù)測

基于圖1所示玉米冠層圖像采集系統(tǒng)獲取玉米4葉期、9葉期和16葉期的圖像序列，分別統(tǒng)計(jì)和繪制登海605和農(nóng)大108在16葉期前玉米冠層葉色變化趨勢，如圖8所示?？梢园l(fā)現(xiàn)，玉米葉片生長發(fā)育期的冠層CH均值變化趨勢明顯，且隨著新葉不斷出現(xiàn)，CH值逐漸降低；登海605和農(nóng)大108的冠層葉色差異明顯，農(nóng)大108冠層CH值要高于登海605，而在葉片生長發(fā)育后期，CH值逐漸趨同。

圖8 不同品種玉米在葉片生長發(fā)育期的冠層葉色變化Fig.8 Canopy hue (CH) changes of different maize cultivars during leaf growing stages

在玉米葉片發(fā)育階段（從出苗到吐絲期間），每天定時(shí)人工統(tǒng)計(jì)2個(gè)監(jiān)測小區(qū)中玉米群體葉齡（emerged leaf number，ELN），每個(gè)群體測量9株，然后取平均值作為當(dāng)天玉米實(shí)測葉齡。分別對玉米實(shí)測葉齡進(jìn)行擬合，得到葉齡線性回歸方程為

式中x表示生長天數(shù)，ELNDH和ELNND分別表示登海605和農(nóng)大108的實(shí)際葉齡。2個(gè)玉米品種葉齡擬合的相關(guān)系數(shù)分別為0.999 7和0.995 6，表明回歸直線能夠較好地表示玉米葉片生長發(fā)育狀態(tài)，而且玉米葉片在該階段基本保持約3 d出現(xiàn)一片新葉的生長速度，其中農(nóng)大108的葉片發(fā)育速度略高于登海605。

玉米冠層葉色與玉米葉齡指數(shù)（已出葉片數(shù)占主莖總?cè)~數(shù)的百分?jǐn)?shù)）均是玉米田間表型重要參數(shù)，但是否存在定量關(guān)系還有待揭示。根據(jù)圖8顯示的登海605和農(nóng)大108的玉米冠層葉色變化規(guī)律，可假設(shè)玉米冠層葉色近似為二次曲線分布。因此，可結(jié)合式（6）為玉米品種建立基于玉米冠層葉色的葉齡預(yù)測式

在登海605和農(nóng)大108的玉米冠層圖像序列中，按時(shí)間次序分別選擇8張和7張圖像來測試玉米冠層CH值與葉片生長發(fā)育時(shí)間的關(guān)系。首先計(jì)算出圖像中玉米冠層的CH均值，然后利用式（7）計(jì)算出預(yù)測葉齡，預(yù)測葉齡與人工實(shí)測葉齡的關(guān)系如圖9所示。根據(jù)Person相關(guān)系數(shù)分析預(yù)測葉齡與人工實(shí)測葉齡的相關(guān)性

式中n為所用圖像數(shù)量，(xi,yi)(i=1,2,…,n )為圖像對應(yīng)預(yù)測葉齡和實(shí)測葉齡值對，和分別為預(yù)測葉齡和實(shí)測葉齡均值。登海605和農(nóng)大108的葉齡預(yù)測值與人工實(shí)測值間進(jìn)行配對樣本t檢測，在顯著水平α=0.05下，相關(guān)系數(shù)為0. 985和0. 951，表明預(yù)測方法和人工實(shí)測方法的結(jié)果具有較高相關(guān)性。葉齡預(yù)測值均方根誤差RMSE（root mean squared error）分別為1.14和1.41葉，表明基于玉米冠層葉色模型預(yù)測玉米葉齡的平均誤差在2葉以內(nèi)。

圖9 登海605和農(nóng)大108玉米品種的預(yù)測葉齡與實(shí)測葉齡關(guān)系Fig.9 Relationship between predicted and measured ELN (emerged leaf number) for DH605 and ND108 maize cultivars

3 結(jié) 論

本文利用田間原位搭建的冠層監(jiān)測系統(tǒng)，原位、連續(xù)獲取玉米關(guān)鍵生育期的冠層圖像序列，進(jìn)而結(jié)合氣象、生育期等條件實(shí)現(xiàn)玉米關(guān)鍵生育期的冠層葉色變化的統(tǒng)計(jì)分析。在HSV顏色空間下，揭示了不同太陽輻射量對玉米冠層葉色的影響，并結(jié)合概率統(tǒng)計(jì)分析方法建立了玉米全生育期的冠層葉色統(tǒng)計(jì)模型。該模型反映了田間環(huán)境下玉米冠層葉色連續(xù)變化特征，依據(jù)此模型設(shè)計(jì)的玉米冠層圖像分割方法將玉米全生育期的冠層圖像分割精度提高到82.6%，為田間玉米長勢自動監(jiān)測及冠層圖像分割提供了實(shí)用方法。該模型也有助于實(shí)現(xiàn)對玉米冠層圖像中品種、葉齡等內(nèi)容的理解，玉米冠層葉色具有一定品種相關(guān)性關(guān)系，但其變化趨勢基本一致，結(jié)果也表明冠層葉色與玉米葉齡存在較強(qiáng)相關(guān)性，利用冠層葉色預(yù)測葉齡的誤差在2葉內(nèi)。

玉米冠層葉色模型在長勢監(jiān)測、長相評價(jià)、病害蟲監(jiān)控與防治中具有重要應(yīng)用價(jià)值。本文僅僅對玉米生長發(fā)育的關(guān)鍵生育期進(jìn)行了冠層葉色定量分析，對玉米葉片衰老過程未涉及。另外，田間作物顏色表型，不僅直接受到植物自身生理生化機(jī)制調(diào)控，也受到光照、溫度、濕度等環(huán)境因素影響，冠層葉色模型也受到攝像機(jī)內(nèi)參、作物生育期圖像數(shù)據(jù)集的影響，這些問題還需進(jìn)一步的研究與探索。

[1] Fiorani F, Schurr U. Future scenarios for plant phenotyping[J]. Annual Review of Plant Biology, 2013, 64(1): 267-291.

[2] Andrade-Sanchez P, Gore M A, Heun J T, et al. Development and evaluation of a field-based high-throughput phenotyping platform[J]. Functional Plant Biology, 2014, 41(1): 68-79.

[3] 祝振敏，張永賢，金小龍，等. 光源光強(qiáng)對顏色對比度的影響研究[J]. 華東交通大學(xué)學(xué)報(bào)，2013(1)：1-4. Zhu Zhenmin, Zhang Yongxian, Jin Xiaolong, et al. Effects of illumination intensity on color contrast[J]. Journal of East China Jiaotong University, 2013(1): 1-4. (in Chinese with English abstract)

[4] 顧金梅，吳雪梅，陳永安，等. 光照強(qiáng)度對煙葉顏色特征向量的影響[J]. 安徽農(nóng)業(yè)大學(xué)學(xué)報(bào)，2015，42(2)：322-326. Gu Jinmei, Wu Xuemei, Chen Yongan, et al. Influence of light intensity on color features of the flue-cured tobacco leaf[J]. Journal of Anhui Agricultural University, 2015, 42(2): 322-326. (in Chinese with English abstract)

[5] 李源，陳江文，黃玉珠，等. 基于RGB線性組合模型的柑橘果實(shí)為害狀識別[J]. 中國農(nóng)學(xué)通報(bào)，2016，32(7)：79-84. Li Yuan, Chen Jiangwen, Huang Yuzhu, et al. Citrus fruit disease and insect pest recognition based on linear combination of RGB color model[J]. Journal of Integrative Agriculture, 2016, 32(7): 79-84. (in Chinese with English abstract)

[6] 苗騰，郭新宇，溫維亮，等. 基于圖像處理的作物病害狀態(tài)表觀三維模擬方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2016，34(7)：181-186. Miao Teng, Guo Xinyu, Wen Weiliang, et al. Three dimensional visual simulation method of crop disease state based on image[J]. Transactions of the Chinese Society ofAgricultural Engineering (Transactions of the CSAE), 2016, 34(7): 181-186. (in Chinese with English abstract)

[7] 刁智華，王歡，宋寅卯，等. 復(fù)雜背景下棉花病葉害螨圖像分割方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2013，29(5)：147-152. Diao Zhihua, Wang Huan, Song Yinmao, et al. Segmentation method for cotton mite disease image under complex background[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(5): 147-152. (in Chinese with English abstract)

[8] Carmona V, Costa L, Filho A. Symptoms of nutrient deficiencies on cucumbers[J]. International Journal of Plant & Soil Science, 2015, 8(6): 1-11.

[9] 張凱兵，章愛群，李春生. 基于HSV空間顏色直方圖的油菜葉片缺素診斷[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2016，32(19)：179-187. Zhang Kaibing, Zhang Aiqun, Li Chunsheng. Nutrient deficiency diagnosis method for rape leaves using color histogram on HSV space[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(19): 179-187. (in Chinese with English abstract)

[10] Gitelson A A, Vi?a A, Arkebauer T J, et al. Remote estimation of leaf area index and green leaf biomass in maize canopies[J]. Geophysical Research Letters, 2003, 30(30): 335-343.

[11] Nieuwenhuizen A T, Tang L, Hofstee J W, et al. Colour based detection of volunteer potatoes as weeds in sugar beet fields using machine vision[J]. Precision Agriculture, 2007, 8(6): 267-278.

[12] Georgee M, Jo?ocamargo N. Verification of color vegetation indices for automated crop imaging applications[J]. Computers & Electronics in Agriculture, 2008, 63(2): 282-293.

[13] Khojastehnazhand M, Omid M, Tabatabaeefar A. Determination of orange volume and surface area using image processing technique[J]. International Agrophysics, 2009, 23(3): 237-242.

[14] Montes J M, Technow F, Dhillon B S, et al. High-throughput non-destructive biomass determination during early plant development in maize under field conditions[J]. Field Crops Research, 2011,121(2):268-273.

[15] Araus J L, Cairns J E. Field high-throughput phenotyping: the new crop breeding frontier[J]. Trends in Plant Science, 2014, 19(1): 52-61.

[16] Kazmi W, Garcia-Ruiz F J, Nielsen J, et al. Detecting creeping thistle in sugar beet fields using vegetation indices[J]. Computers & Electronics in Agriculture, 2015, 112: 10-19.

[17] Pérez-Ortiz M, Pe?aa J M, Gutiérrez P A, et al. Selecting patterns and features for between and within- crop-row weed mapping using UAV-imagery[J]. Expert Systems with Applications, 2016, 47: 85-94.

[18] Yu Zhenghong, Cao Zhiguo, Wu Xi, et al. Automatic image-based detection technology for two critical growth stages of maize: Emergence and three-leaf stage[J]. Agricultural and Forest Meteorology, 2013, 174-175: 65-84.

[19] 翟瑞芳，方益杭，林承達(dá)，等. 基于高斯HI顏色算法的大田油菜圖像分割[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2016，32(8)：142-147. Zhai Ruifang, Fang Yihang, Lin Chengda, et al. Segmentation of field rapeseed plant image based on Gaussian HI color algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(8): 142-147. (in Chinese with English abstract)

[20] 張立周，王殿武，張玉銘，等. 數(shù)字圖像技術(shù)在夏玉米氮素營養(yǎng)診斷中的應(yīng)用[J]. 中國生態(tài)農(nóng)業(yè)學(xué)報(bào)，2010，18(6)：1340-1344. Zhang Lizhou, Wang Dianwu, Zhang Yuming, et al. Diagnosis of N nutrient status of corn using digital image processing technique[J]. Chinese Journal of Eco-Agriculture, 2010, 18(6): 1340-1344. (in Chinese with English abstract)

[21] 徐勝勇，林衛(wèi)國, 伍文兵，等. 基于顏色特征的油菜缺素癥圖像診斷[J]. 中國油料作物學(xué)報(bào)，2015，37(4)：576-582. Xu Shengyong, Lin Weiguo, Wu Wenbing, et al. Nutrient deficiency image diagnose of rapeseed based on color feature[J]. Chinese Journal of Oil Crop Sciences, 2015, 37(4): 576-582. (in Chinese with English abstract)

[22] Cai J, Okamoto M, Atieno J, et al. Quantifying the onset and progression of plant senescence by color image analysis for high throughput applications[J]. PLoS ONE, 2016, 11(6): 1-21.

[23] 宋振偉，文新亞，張志鵬，等. 基于數(shù)字圖像技術(shù)的冬小麥不同施氮和灌溉處理顏色特征分析[J]. 中國農(nóng)學(xué)通報(bào)，2010，26(14)：82-87. Song Zhenwei, Wen Xinya, Zhang Zhipeng, et al. The color characteristics of digital image of winter wheat under different irrigation and fertilization[J]. Chinese Agricultural Science Bulletin, 2010, 26(14): 82-87. (in Chinese with English abstract)

[24] 余正泓. 基于圖像的玉米發(fā)育期自動觀測技術(shù)研究[D].武漢：華中科技大學(xué)，2014. Yu Zhenghong. Research on Image-based Automatic Observation Technology for Critical Growth Stages of Maize[D]. Wuhan: Huazhong University of Science and Technology, 2014. (in Chinese with English abstract)

[25] Ponti M P. Segmentation of low-cost remote sensing images combining vegetation indices and mean shift[J]. IEEE Geoscience & Remote Sensing Letters, 2013, 10(1): 67-70.

[26] Meyer G E, Von Bargen K, Woebbecke D M, et al. Shape features for identifying young weeds using image analysis[J]. Transactions on American Society of Agricultural Engineering, 1995, 38(1): 271-281.

[27] Meyer G E, Hindman T W, Laksmi K. Machine vision detection parameters for plant species identification[C]// Precision Agriculture and Biological Quality, SPIE 3543, 1999: 327.

[28] Neto J C, Meyer G E. Crop species identification using machine vision of computer extracted individual leaves[C]// International Society for Optics and Photonics, SPIE 5996, 2005: 599-608.

[29] Hague T, Tillet N, Wheeler H. Automated crop and weed monitoring in widely spaced cereals[J]. Precision Agriculture, 2006, 7(1): 95-113

[30] Xiao Yang, Cao Zhiguo, Zhuo Wen. Type-2 fuzzy thresholding using GLSC histogram of human visual nonlinearity characteristics[J]. Optics Express, 2011, 19(11): 10656-10672.

Modeling of maize canopy color in whole growth period based on in-situ monitoring system and its application

Du Jianjun1,2, Yuan Jie3, Wang Chuanyu1,2, Guo Xinyu1,2※
(1.Beijing Research Center for Information Technology in Agriculture, Beijing Academy of Agriculture and Forestry Sciences, Beijing 100097, China; 2. Beijing Key Lab of Digital Plant, Beijing 100097, China; 3. School of Information Science and Technology, Capital Normal University, Beijing 100048, China)

Maize canopy leaf color is an intuitive reflection of maize growth, development, and physiological and biochemical status, and also an important trait for maize phenotypic detection in the field investigation. Both visual observation and quantitative analysis showed that different solar radiation had significant effects on maize canopy hue (CH), and the CH value of maize canopy had significant changes at different growth stages. Nowadays, high-throughput phenotyping platforms have gradually been applied from controllable indoor environment to uncontrollable field environment, however, the complex field condition brings a lot of challenges to the current phenotyping techniques. In the field-based maize growth monitoring application, how to quantitatively analyze the color variation tendency of maize canopy in field environment is still an urgent problem to be solved. In this study, we developed sets of in-situ monitoring systems in the field to continuously capture canopy image sequences for 2 maize cultivars (DH 605 and ND 108) in the whole growth stage, and respectively collected 6 data sets of maize canopy image in consideration of 2 types of different weather conditions (sunny and cloudy days) and 6 key growth stages (4 leaves, 9 leaves, 16 leaves, silk, blister and milk stages). These image data sets of maize canopy not only reflected the effect of different weather conditions on canopy color, but also reflected the natural changes of canopy color at different growth stages, so they could be used for the color quantification and evaluation of maize canopy. With these data sets, statistical analysis based on the HSV (hue, saturation, value) color space in the pixel level was utilized to reveal the relationship among solar radiation, image color and canopy color. The results of quantitative analysis showed: Solar radiation had little effect on image value (IV) and CH, but had great effect on image hue (IH) and canopy value (CV), and the distribution of the canopy pixels at the same CV value was approximately consistent with the normal distribution. And then, the canopy CV-CH distributions of 6 key growth stages of maize were calculated respectively by probability density statistical techniques. These distributions manifested clear variation tendency and distinction degree in CV domain from 80 to 200, which meant that the CH statistical values in this CV domain could be used to quantify and evaluate color differences among various growth stages of maize. Therefore, a continuous maize canopy color model (MCCM) was established based on the statistical results of 6 key growth stages, which described the successive color change of maize canopy in the whole growth stage. During the stage from leaf emergence to development (4 leaves, 9 leaves and 16 leaves stages), the CH values of maize showed a significant decreasing trend, and then the CH values increased gradually in the silk, blister and milk stages. Based on this model and CV-CH distribution, maize canopy segmentation method was further designed for different growth stages and field conditions. By the comparison with other segmentation methods based on color indices, such as color index of vegetation extraction (CIVE), excess green (ExG), excess green-excess red (ExGR), vegetation (VEG) and hue (H), the presented method could effectively improve the canopy segmentation accuracy, and obtain a segmentation accuracy of over 82.6% for maize canopy images in the whole growth stage. At the same time, this model revealed a significant correlation between the CH value and emerged leaf number (ELN) of 2 maize cultivars (i.e. Denghai605 and Nongda108), and the RMSE (root mean square error) values were 1.14 and 1.41 leaves respectively. The experimental results demonstrate that the maize canopy color model can quantitatively describe canopy color variation in different maize stages, and has important application value for the automatic image segmentation of maize canopy, the prediction of growth stages, and the phenotype identification of maize cultivars.

image segmentation; image analysis; color; models; maize canopy; phenotypic traits; feature extract; computer vision

10.11975/j.issn.1002-6819.2017.16.025

TP391.41; S333.3

A

1002-6819(2017)-16-0188-08

杜建軍，袁 杰，王傳宇，郭新宇. 基于玉米冠層原位監(jiān)測的全生育期葉色建模及其應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(16)：188-195.

10.11975/j.issn.1002-6819.2017.16.025 http://www.tcsae.org

Du Jianjun, Yuan Jie, Wang Chuanyu, Guo Xinyu. Modeling of maize canopy color in whole growth period based on in-situ monitoring system and its application[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(16): 188-195. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2017.16.025 http://www.tcsae.org

2017-02-20

2017-08-08

國家重點(diǎn)研發(fā)計(jì)劃（2016YFD0300605-01）；國家自然科學(xué)基金（31671577，31501226）；北京市農(nóng)林科學(xué)院數(shù)字植物科技創(chuàng)新團(tuán)隊(duì)（JNKYT201604）

杜建軍，男，副研究員，主要從事設(shè)施農(nóng)業(yè)、計(jì)算機(jī)圖形圖像、生物力學(xué)等相關(guān)技術(shù)研究。北京 北京農(nóng)業(yè)信息技術(shù)研究中心，100097。Email：dujj@nericta.org.cn

※通信作者：郭新宇，男，研究員，主要從事數(shù)字植物理論研究。北京 北京農(nóng)業(yè)信息技術(shù)研究中心，100097。Email：guoxy@nercita.org.cn