基于顏色特征的小麥抽穗揚花期麥穗識別計數(shù)*

劉東，曹光喬，李亦白，陳聰

(1.農(nóng)業(yè)農(nóng)村部南京農(nóng)業(yè)機械化研究所，南京市，210014；2.中國農(nóng)業(yè)科學(xué)院研究生院，北京市，463000)

0 引言

抽穗揚花期是小麥生長、病蟲害防治的關(guān)鍵時期，該時期對小麥的產(chǎn)量和品質(zhì)有直接影響。麥穗數(shù)作為小麥生長的重要參數(shù)，常用于產(chǎn)量預(yù)測和種植密度評估，成長期小麥麥穗數(shù)對后期水肥管理和蟲害防治有重要影響作用。以小麥赤霉病為例，赤霉病作為小麥抽穗期的主要病害，不僅影響小麥產(chǎn)量和品質(zhì)，對人畜健康和生命安全也構(gòu)成直接威脅[1-2]，相關(guān)學(xué)者研究表明小麥赤霉病的最佳施藥期為齊穗期(抽穗株率80%)至揚花初期[3-4]。因此實現(xiàn)抽穗揚花期小麥麥穗自動識別計數(shù)，對赤霉病防治、后期水肥管理和產(chǎn)量預(yù)測都有較大作用。

目前已有國內(nèi)外學(xué)者將圖像處理和視頻檢測技術(shù)應(yīng)用于作物生長檢測。小麥方面，已有學(xué)者利用圖像處理技術(shù)對麥穗進行識別計數(shù)。范夢揚等[5]研究了一種針對局部小范圍的小麥麥穗計數(shù)方法，通過提取麥穗的顏色、紋理特征，將麥穗輪廓與背景分離，并將麥穗輪廓細化確定麥穗數(shù)量。劉濤等[6]針對不同播種方式，分析了利用顏色特征和紋理特征分割麥穗的優(yōu)缺點和粘連區(qū)域麥穗個數(shù)的計算方法，準確率分別為95.77%和96.89%。劉哲等[7]提出了基于改進K-means的小麥麥穗計數(shù)方法，該方法建立從圖像低層顏色特征到圖像中包含麥穗的一個直接分量關(guān)系，從而不需要對圖像進行分割或檢測。李毅念等[8]通過顏色空間轉(zhuǎn)換、去除細窄處粘連算法進行初步分割，再利用基于凹點檢測匹配連線的方法實現(xiàn)粘連麥穗的分割。但其圖像需要在特定裝置內(nèi)以田間麥穗傾斜的方式獲取，具有一定的局限性。郝王麗等[9]提出了基于YOLOv3的深度神經(jīng)網(wǎng)絡(luò)小麥檢測方法，但其檢測范圍為特定標注框內(nèi)的小麥，存在小麥遮擋、重疊以及特定標注框內(nèi)小麥越界到框外、框外小麥進入標注框內(nèi)等情況，導(dǎo)致真實小麥麥穗數(shù)和預(yù)測小麥麥穗不一致。張領(lǐng)先等[10]設(shè)計了基于神經(jīng)網(wǎng)絡(luò)的冬小麥麥穗檢測計數(shù)系統(tǒng)，通過建立麥穗、葉片、陰影三類標簽數(shù)據(jù)集，建立冬小麥麥穗識別模型。針對麥穗重疊面積較小的情況可以較好計數(shù)，但對于麥穗重疊面積較大的情況效果不理想。Sadeghi-Tehran等[11]通過簡單線性迭代聚類(SLIC)將圖像分割為超像素，獲得冠層相關(guān)特征，然后構(gòu)建合理的特征模型，并將其輸入深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)分類，實現(xiàn)小麥麥穗的語義分割，其計數(shù)值與真實值的決定系數(shù)R2達0.94。

上述研究雖然都是小麥麥穗識別計數(shù)，但其研究目的是小麥產(chǎn)量預(yù)測和種植密度評估，研究對象多為成熟期小麥圖像，該時期小麥麥穗與葉片顏色差異較大，識別效果較好，且該時期處于生長晚期，麥穗計數(shù)無法指導(dǎo)病蟲害防治等植保環(huán)節(jié)。抽穗揚花期麥穗與葉片顏色非常接近，若直接應(yīng)用現(xiàn)有研究方法效果不理想，且現(xiàn)有研究針對粘連區(qū)域麥穗識別計數(shù)問題還需優(yōu)化。針對上述問題，本文以抽穗揚花期小麥為研究對象，使用無人機獲取小麥冠層影像，通過圖像處理技術(shù)識別小麥麥穗個數(shù)，并利用改進Harris角點檢測算法準確實現(xiàn)粘連麥穗計數(shù)，為了解小麥長勢監(jiān)測和后期病蟲害防治提供參考。

1 材料與方法

1.1 圖像獲取及分析

麥穗圖像拍攝于2021年4月23日南京市棲霞區(qū)太平村(32°02′651″N，118°52′301″E)，小麥品種為楊麥12、楊麥16。使用大疆御mini無人機搭載RGB可見光相機，拍攝時間為10:00～12:00，在晴天逆光條件下垂直、45°視角拍攝，其中垂直拍攝30幅、45°視角拍攝30幅，飛行高度150 cm。由圖1可以看出，45°拍攝的小麥冠層圖像由麥穗、葉、莖稈構(gòu)成；垂直拍攝的圖像中除麥穗、葉、莖稈外，還有少量裸露的土地。麥穗、葉、莖稈作為圖像中的主要部分，三者在顏色和紋理上非常接近，且大田環(huán)境下所獲取的圖像都存在較為嚴重的麥穗粘連問題。

(a)45°傾斜拍攝

1.2 顏色特征選擇

超綠色[12]提取綠色植物圖像效果較好，對陰影、枯草和土壤圖像有較好地抑制作用，常用于作物識別或雜草識別。但本文的數(shù)據(jù)樣本中麥穗、葉、莖稈顏色相近，且都呈現(xiàn)綠色，因此使用超綠特征識別麥穗效果不理想。直方圖均衡化是一種利用灰度變換自動調(diào)節(jié)圖像對比度質(zhì)量的方法，其基本思想是通過灰度級的概率密度函數(shù)求出灰度變換函數(shù)，它是一種以累計分布函數(shù)變換法為基礎(chǔ)的直方圖修正法。變換函數(shù)T(r)與原圖像概率密度函數(shù)pr(r)的關(guān)系為

sk=T(rk)

(0≤rj≤1，k=0,1,2,…,L-1)

式中：nj——灰度級為rj的像素數(shù)；

N——圖像的像素總量；

L——圖像的灰度級；

s——直方圖均衡化后的圖像灰度級。

利用直方圖均衡化對RGB圖像進行處理時，會出現(xiàn)彩色色調(diào)改變的現(xiàn)象，對于顏色差異較小的圖像，可以利用這種色調(diào)改變現(xiàn)象增強顏色區(qū)分度。如圖2所示，在RGB空間對圖像進行直方圖均衡化。經(jīng)過處理后，RGB圖像中麥穗和葉、莖稈出現(xiàn)明顯色差。

(a)45°夾角拍攝麥田均衡化效果

經(jīng)直方圖均衡化處理后，麥穗和葉、莖稈雖然有較大顏色差異，但少數(shù)葉片還是呈現(xiàn)綠色，與麥穗顏色差異不大，因此不能直接進行麥穗提取。RGB顏色空間的單通道及其組合指數(shù)常被用來作為特征參數(shù)[12-13]，常見的組合指數(shù)包括歸一化綠紅差異指數(shù)(NGRDI)、紅綠比值指數(shù)(RGRI)、綠葉指數(shù)(GLI)和過綠指數(shù)(ExG)等。提取歸一化紅綠差異指數(shù)作為顏色特征，通過進一步處理能較好地消除葉片的干擾，其公式如下。

NGRDI=(G-R)/(G+R)

式中：G——綠色波段像素值；

R——紅色波段像素值。

1.3 二值化圖像處理

基于顏色特征提取的麥穗二值化圖像中存在麥穗粘連、麥穗孔洞、麥芒、雜質(zhì)等干擾因素，故不能直接進行麥穗提取。通過對麥穗二值化圖像進行形態(tài)學(xué)腐蝕、開處理，可以消除麥芒、雜質(zhì)的影響。針對麥穗自身孔洞問題，本研究首先使用孔洞填充算法嘗試解決，但效果并不理想，通過嘗試使用中值濾波算法可以較好地解決。

1.4 基于PSO改進的角點檢測算法

1.4.1 Harris角點檢測算法

針對粘連小麥麥穗，本文采用改進Harris角點檢測算法實現(xiàn)粘連麥穗的準確識別。角點檢測算法主要分為基于圖像邊緣的方法和基于圖像灰度的方法，Harris算法就是基于圖像灰度的典型角點檢測算法[14-15]，其檢測過程可分為三步：梯度計算、響應(yīng)值計算、角點提取。Harris算法提取角點較為理想，但存在抗噪性差、易產(chǎn)生角點簇、偽角點、運行時間長等缺點。為提高角點檢測精度，首先用高斯窗口差分細化圖像，確定候選角點，然后計算候選角點與八鄰域的像素值差，再次剔除一些候選點。將角點響應(yīng)函數(shù)的最大值(CRFmax)作為閾值，對候選點及八鄰域進行角點判別。

角點檢測判別式為

CRF=detM-a(traceM)2

式中：CRF——角點響應(yīng)函數(shù)值；

M——灰度相關(guān)矩陣；

a——常數(shù)。

1.4.2 粒子群優(yōu)化算法

粒子群優(yōu)化算法(PSO)最早是由Eberhart和Kennedy于1995年提出，基本概念源于對鳥群覓食行為的研究，其基本思想是通過群體中個體之間的協(xié)作和信息共享來尋找最優(yōu)解。每個個體在搜尋空間中各自擁有其方向和速度，并根據(jù)自我經(jīng)驗與群體行為進行搜尋策略調(diào)整[16]。其算法數(shù)學(xué)表達式如下

xi=xi+vi

vi=ωvi+c1rand()×(pbesti-xi)+

c2rand()×(gbesti-xi)

式中：xi——粒子當(dāng)前位置；

vi——粒子的速度；

c1、c2——學(xué)習(xí)因子；

p——當(dāng)前個體極值；

besti——當(dāng)前全局最優(yōu)解；

rand()——介于(0，1)之間的隨機數(shù)；

ω——慣性因子，較大時，全局尋優(yōu)能力強，局部尋優(yōu)能力強；較小時，全局尋優(yōu)能力弱，局部尋優(yōu)能力強。

Harris角點檢測算法中a作為比例系數(shù)常數(shù)，一般根據(jù)經(jīng)驗取值，但其對角點檢測結(jié)果有很大影響。因此本文通過粒子群算法對比例系數(shù)和閾值進行優(yōu)化，以提高交點數(shù)識別的準確率。

1.5 圖像處理算法流程

小麥麥穗圖像采集后，針對RGB空間進行彩色圖像均衡化處理，處理后麥穗和葉、莖稈出現(xiàn)明顯色差，但仍有部分葉片難以區(qū)分，使用紅綠歸一化差異指數(shù)消除葉片干擾。對麥穗圖像進行圖像預(yù)處理，包括圖像分割、二值圖像形態(tài)學(xué)處理。針對粘連區(qū)域，首先將麥穗進行細化處理，再采用改進的Harris角點檢測算法識別骨架交點，實現(xiàn)圖像中麥穗分割計數(shù)，算法流程如圖3所示。

圖3 麥穗計數(shù)算法流程圖Fig.3 Flow chart of ear counting algorithm

2 試驗與結(jié)果分析

2.1 麥穗提取

圖像分割技術(shù)可分為邊緣檢測技術(shù)、閾值分割技術(shù)和區(qū)域分割技術(shù)等，它們分別基于不同區(qū)域的邊緣、灰度特征閾值、相似性質(zhì)像素集合等基本思想[17]。麥穗RGB圖像經(jīng)過直方圖均衡化處理后的麥穗和葉片在顏色特征上有較大差異，麥穗的綠色特征得到了保留，葉片和莖稈的顏色特征由綠色變?yōu)樽仙?，因此本文直接對彩色圖像進行分割，對R、G、B三通道分別進行處理，分割時各顏色波段范圍為R>100，G>200，B>50。麥穗提取效果如圖4(b)所示。圖4(c)、圖4(d)為二值圖像處理后效果。

(a)直方圖均衡化后麥穗圖像

2.2 粘連麥穗處理

現(xiàn)有麥穗識別方法中，無論是傳統(tǒng)圖像處理方法還是基于神經(jīng)網(wǎng)絡(luò)的識別方法，麥穗粘連問題都無法避免。如圖5所示，與一般的簡單邊緣粘連不同，麥穗粘連既有邊緣粘連也有重合度很大的粘連，通過形態(tài)學(xué)腐蝕、開運算等處理雖然能解決部分麥穗粘連問題，但無法解決重合度較大的多個麥穗粘連問題。針對粘連問題，本文首先通過細化處理提取麥穗骨架，針對麥穗骨架采用改進Harris角點檢測算法進行交點檢測，實現(xiàn)粘連麥穗的準確識別。

(a)單個麥穗

2.2.1 圖像細化

圖像細化一般指二值圖像的骨骼化，即從圖像中去掉一些點(通常為輪廓上的點)，但仍要保持原來形狀，直到得到圖像的骨架[18-19]。對重疊的麥穗二值圖像進行圖像細化(骨骼化)，圖6為經(jīng)過細化算法處理后的圖像。經(jīng)細化處理后雖然分割了部分粘連麥穗，但一些粘連區(qū)域的麥穗依舊無法分割。通過參考文獻[6]及圖像分析，發(fā)現(xiàn)粘連區(qū)域的麥穗在進行細化操作后雖然無法分割，但相互粘連的麥穗間存在交點[6]，因此在麥穗計數(shù)中可以將區(qū)域識別個數(shù)加交點數(shù)作為最終麥穗識別個數(shù)。

(a)2個麥穗粘連

2.2.2 交點檢測

對麥穗骨架進行角點檢測可大大縮短運行時間，增加檢測精度，但偽角點依然存在。本文利用基于粒子群算法改進的Harris角點檢測算法對粘連麥穗的交點進行識別計數(shù)，交點檢測效果如圖7所示。

(a)2個麥穗的交點

2.3 麥穗計數(shù)分析

為驗證本文方法的麥穗計數(shù)準確率，設(shè)人工測量數(shù)量為Nm，圖像處理算法計算數(shù)量為Na，則麥穗計數(shù)準確率

每種角度隨機抽取10張樣本，分別運用本文算法和人工計數(shù)方法進行麥穗計數(shù)，統(tǒng)計結(jié)果如表1、表2所示。小麥圖像為640像素×480像素，小麥麥穗計數(shù)平均耗時1.1 s，垂直拍攝小麥圖像與45°夾角拍攝小麥圖像的平均計數(shù)準確率分別為96.06%和94.74%。在垂直拍攝的麥穗圖像識別中，范夢揚等[5]利用SVM學(xué)習(xí)的方法的平均精度為93.1%，劉哲等[7]提出的基于改進K-means的小麥麥穗計數(shù)方法的精度為94.69%，劉濤等[6]根據(jù)顏色特征和紋理特征識別麥穗的精度分別為95.77%和96.89%。本文的計數(shù)精度為96.06%，高于前兩種，略低于最后一種，能滿足大田環(huán)境下小麥麥穗統(tǒng)計的需求。除垂直拍攝外，本文為驗證粘連麥穗計數(shù)精度，選擇45°夾角拍攝的小麥圖像，其精度達到94.74%，雖低于垂直拍攝的計數(shù)精度，但也可實現(xiàn)粘連麥穗的有效計數(shù)，因此本文方法可以有效地進行抽穗揚花期小麥麥穗自動計數(shù)，為后續(xù)病蟲害防治作業(yè)提供決策依據(jù)。

表1 人工統(tǒng)計與算法統(tǒng)計對比(垂直拍攝)Tab.1 Comparison of manual statistics and algorithm statistics (vertical shooting)

表2 人工統(tǒng)計與算法統(tǒng)計對比(45°夾角拍攝)Tab.2 Statistical comparison between manual statistics and algorithm (45° angle shooting)

3 結(jié)論

針對抽穗揚花期小麥各部分顏色特征、紋理特征相近和麥穗粘連等導(dǎo)致的小麥麥穗計數(shù)準確率不高等問題，本文對該時期小麥麥穗識別計數(shù)展開研究。研究結(jié)果表明：經(jīng)直方圖均衡化后，原本顏色特征接近的麥穗、葉片出現(xiàn)顏色差異，結(jié)合紅綠歸一化差異指數(shù)可以對麥穗進行有效提取。對于粘連區(qū)域，首先將麥穗進行細化處理，重合度較大的粘連麥穗其骨架會發(fā)生相交，因此采用改進的Harris角點檢測算法識別骨架交點，將區(qū)域識別個數(shù)加交點數(shù)作為最終麥穗識別個數(shù)，可有效解決粘連麥穗的計數(shù)問題。

1)本文方法在不同拍攝角度下，平均計數(shù)準確率分別為96.06%和94.74%，可實現(xiàn)大田環(huán)境下小麥抽穗揚花期麥穗識別計數(shù)。

2)本文算法可用于顏色特征差異較小的抽穗揚花期小麥麥穗識別，實現(xiàn)不同時期小麥麥穗識別計數(shù)，可為小麥長勢監(jiān)測、病蟲害防治等提供依據(jù)。