基于顏色指數(shù)與閾值法的稻田圖像分割

孫濱峰 葉 春,2 李艷大* 舒時(shí)富 曹中盛 吳羅發(fā) 朱 艷 何 勇

(1.江西省農(nóng)業(yè)科學(xué)院 農(nóng)業(yè)工程研究所，南昌 330200； 2.南昌大學(xué) 機(jī)電工程學(xué)院，南昌 330031； 3.南京農(nóng)業(yè)大學(xué) 國家信息農(nóng)業(yè)工程技術(shù)中心，南京 210095； 4.浙江大學(xué) 生物系統(tǒng)工程與食品科學(xué)學(xué)院，杭州 310029)

圖像分割是指將圖像中具有特殊意義的不同區(qū)域分開來，并使這些區(qū)域相互不相交，且每個(gè)區(qū)域應(yīng)滿足特定區(qū)域的一致性條件。圖像分割是圖像分析和模式識(shí)別的基礎(chǔ)，決定了圖像分析的質(zhì)量，是開展基于圖像的作物或雜草識(shí)別、生理狀態(tài)估計(jì)、水果分級(jí)和采摘、作物病害檢測和作物生長監(jiān)測研究的前提。稻田圖像分割是指圖像的像素分為水稻和背景(土壤、水體和雜草等)兩類的過程。稻田圖像分割質(zhì)量受到水稻品種、長勢特征、光照的角度、成像設(shè)備、作物顏色隨光照條件的變化以及水稻生長發(fā)育階段等因素影響，稻田圖像分割是農(nóng)業(yè)圖像分析的熱點(diǎn)與難點(diǎn)。

作物冠層圖像分割的常用方法包括基于閾值的方法、基于顏色指數(shù)的方法和基于機(jī)器學(xué)習(xí)的方法?；陂撝档姆椒ê唵危▌?dòng)態(tài)策略、Otsu閾值、固定閾值和直方圖熵等；顏色指數(shù)也稱色彩指數(shù)、顏色因子或顏色特征，可分為相對單色指數(shù)、多色對比指數(shù)和組合指數(shù)；基于機(jī)器學(xué)習(xí)的方法采用監(jiān)督、非監(jiān)督方法分割圖像前景和背景。結(jié)合顏色指數(shù)和閾值的方法具有操作性強(qiáng)、易推廣性、結(jié)果準(zhǔn)確等優(yōu)點(diǎn)。已有對基于顏色指數(shù)和閾值的大田圖像分割的廣泛的研究：Guijarro等采用5種顏色指數(shù)對在不同光照條件下的大麥和玉米大田圖像開展了分割研究，結(jié)果表明組合指數(shù)COM1具有最佳分割精度；王遠(yuǎn)等利用綠色植被在可見光波段的光譜特性，通過設(shè)定數(shù)字圖像綠色通道和紅色通道差值的閾值實(shí)現(xiàn)對稻田圖像的分割；Castillo-Martínez等提出了2種改進(jìn)的顏色指數(shù)，并根據(jù)環(huán)境條件，分別采用固定閾值和動(dòng)態(tài)閾值法實(shí)現(xiàn)作物圖像的分割；Suh等評估了8種顏色指數(shù)和5種閾值技術(shù)的40種組合針對不同光照強(qiáng)度、陰影和植物的圖像分割效果。然而，受大田環(huán)境和背景元素的影響與制約，顏色指數(shù)在不同環(huán)境下的分割精度不同。目前，系統(tǒng)、全面的分析不同顏色指數(shù)對大田圖像研究尚少，特別是南方稻田圖像分割的適應(yīng)性缺乏研究，往往導(dǎo)致研究結(jié)果存在爭議。

分蘗期和拔節(jié)期是水稻生育過程中的需水臨界期和營養(yǎng)臨界期，是監(jiān)測水稻長勢，明確穗肥追氮量的重要階段。因此，本研究擬通過開展田間試驗(yàn)，選取36種常用顏色指數(shù)，針對分蘗期、拔節(jié)期稻田數(shù)字圖像開展基于顏色指數(shù)和閾值的分割研究，通過分析不同顏色指數(shù)的分割結(jié)果及其對圖像分割干擾因素的解釋能力，篩選出最適宜稻田圖像分割的顏色指數(shù)，以期為促進(jìn)數(shù)字圖像技術(shù)在稻田精確管理應(yīng)用提供技術(shù)支持。

1 材料與方法

1.1 試驗(yàn)設(shè)計(jì)

于2020年3—7月在江西省高安市江西省農(nóng)業(yè)科學(xué)院高安基地(28°25′27″ N，115°12′15″ E)開展不同品種和施氮水平組合的小區(qū)試驗(yàn)。共計(jì)2個(gè)供試品種和4個(gè)施氮水平，株行距14 cm×24 cm。供試早稻品種為‘中嘉早17’和‘長兩優(yōu)173’，4個(gè)施氮水平分別為純氮0、75、150和225 kg/hm。各小區(qū)的鉀肥和磷肥施用量一致，分別采用氯化鉀和鈣鎂磷肥，分別用量150 kg/hm(KO)和75 kg/hm(PO)；氮肥采用尿素。氮肥和鉀肥均按基肥50%、分蘗肥30%和穗肥20%施用，磷肥作基肥一次施用。

1.2 圖像采集

選取晴朗無云的天氣，分別于水稻分蘗期和拔節(jié)期，太陽高度角相對穩(wěn)定的12:00—13:00時(shí)，利用數(shù)碼相機(jī)(CanonEOS100D，分辨率18 megapixel)獲取水稻冠層圖像。拍攝時(shí)，固定相機(jī)鏡頭距離水稻冠層約1.0 m，并與冠層呈60°夾角，同時(shí)將相機(jī)調(diào)至Auto模式下，以自動(dòng)曝光控制色彩平衡，圖片以JPEG格式存儲(chǔ)，分辨率5 184×3 456。

1.3 顏色指數(shù)選擇

根據(jù)已有的研究成果，選擇36種顏色指數(shù)開展大田水稻圖像的分割研究。所采用顏色指數(shù)的計(jì)算方法和來源見表1。采用IDLE(Python3.7)處理圖像噪聲和計(jì)算顏色指數(shù)。

1.4 分割方法

選取閾值分割法進(jìn)行圖像分割。其中，ExGR采用固定閾值0分割，其他顏色指數(shù)采用多重Otsu方法自動(dòng)提取閾值。

表1 顏色指數(shù)及其代數(shù)式
Table 1 Color indices and mathematical expressions

顏色指數(shù)Color index代數(shù)式Formula文獻(xiàn)Reference顏色指數(shù)Color index代數(shù)式Formula文獻(xiàn)ReferenceR—[16]COM1ExG+CIVE+ExGR+VEG[12]G—[16]COM20.36ExG+0.47CIVE+0.17VEG[26]B—[16]RGBVIG2-R×BG2+R×B[27]GMRG-R[14]MGRVIG2-R2G2+R2[27]NRIRR+G+B[17]MExG1.262G-0.884R-0.311B[28]NGIGR+G+B[17]NGBDIg-bg+b[24]INTR+G+B3[17]GLI2g-r-b2g+r+b[29]NBIBR+G+B[17]VARIg-rg+r-b[30]H—[18]L*—[31]NDI128G-RG+R [19]a*—[31]MHcos-12R-G-B2R2+G2+G2-RG-GB-RB[20]b*—[31]ExG2g-b-r[20]LIL*-b*[31]WoebbeckIndex (WI)g-b|r-g|[20]AIb*-a*[31]ExR1.4R-G[21]ALa*/L*[31]ExGRExG-ExR[22]ABa*/b*[31]CIVE0.441R-0.811G+0.385B+18.787 45[23]NDLBI(L*-b*)/(L*+b*)[31]NGRDIG-RG+R[24]NDALI(a*-L*)/(a*+L*)[31]VEGGRaB(1-a)[25]NDABI(a*-b*)/(a*+b*)[31]

將顏色指數(shù)圖像拉伸至0～255，灰度值為

i

的像素?cái)?shù)設(shè)為

n

，圖像總像素為像素灰度值

i

出現(xiàn)的概率為設(shè)存在閾值

k

，將圖像劃分為C:{0，1，2，…，

k

}和C:{

k

+1，

k

+2，…，255}兩類，使得類間方差

σ

(

k

)達(dá)到最大。

p

(

k

)、

p

(

k

)分別為C和C出現(xiàn)的概率，

u

(

k

)、

u

(

k

)分別為C和C的均值，則有：

(1)

(2)

(3)

(4)

類間方差

σ

(

k

)計(jì)算公式如下：

(5)

當(dāng)類間方差達(dá)到最大時(shí)，

k

為最優(yōu)閾值，即Otsu閾值：

(6)

1.5 分割精度評價(jià)

選取大田環(huán)境的稻田圖片開展分割研究。采用AdobePhotoshop 7.0對稻田圖片進(jìn)行手工分割，得到稻田圖像的標(biāo)準(zhǔn)分割作為對照(圖1)。為了能夠更加合理評價(jià)分類的優(yōu)劣，本研究借鑒參考文獻(xiàn)[33]，定義以下3個(gè)分類指標(biāo)：

1)正確分類率。

正確分類率(CCR)是指所有分類正確的樣點(diǎn)與總樣點(diǎn)個(gè)數(shù)的比值，其計(jì)算公式如下：

(7)

式中：GT為第

j

類的標(biāo)準(zhǔn)分割；Seg為第

j

類的實(shí)際分割結(jié)果；CCR表示的是實(shí)際分割結(jié)果與標(biāo)準(zhǔn)分割的接近程度，CCR越高表示分割結(jié)果越接近標(biāo)準(zhǔn)分割。

2)水稻漏分率。

水稻漏分率是指實(shí)際為水稻像素被錯(cuò)誤地分到背景的概率，計(jì)算公式如下：

水稻漏分率

(8)

3)背景錯(cuò)分率。

背景錯(cuò)分率是指分類后被劃為水稻實(shí)際上為背景像素的概率，計(jì)算公式如下：

背景錯(cuò)分率

(9)

圖1 數(shù)碼相機(jī)拍攝的水稻冠層圖像和對應(yīng)的標(biāo)準(zhǔn)分割圖示例Fig.1 Digital camera images of rice canopy and corresponding manually segmented images by Photoshop

2 結(jié)果與分析

2.1 分蘗期稻田圖像分割結(jié)果

圖2為分蘗期水稻和背景顏色指數(shù)的箱型圖。箱型圖中，深綠色和深藍(lán)色的箱體分別標(biāo)記的是36個(gè)顏色指數(shù)在水稻和背景上的分布特征。箱型圖中，盒子的上下兩條線分別表示樣本的上下四分位數(shù)，盒子中間的水平線為樣本的中位數(shù)。可以看出，水稻和背景在

L

、

G

、

B

等單色指數(shù)上重疊度高、變化幅度大，導(dǎo)致區(qū)分度低，在NGI、ExG等多色對比指數(shù)上的重疊度次之，而在復(fù)合指數(shù)COM2、AB、CIVE等顏色指數(shù)上重疊度最低。

圖2 分蘗期水稻和背景顏色指數(shù)箱型圖Fig.2 Boxplot of color indices of rice and background from image at tillering stage

為了衡量36種顏色指數(shù)在稻田圖像分割中的應(yīng)用效果，采用基于多重Otsu方法的閾值法，計(jì)算分割結(jié)果的正確分類率、水稻漏分率和背景錯(cuò)分率，分蘗期稻田圖像分割結(jié)果見圖3。

水平、垂直的虛線構(gòu)成了4個(gè)象限，分別由1、2、3、4表示。虛線環(huán)為等值環(huán)，其上數(shù)值為其代表的精度值。 The horizontal and vertical dashed lines split rose map into 4 quadrants represented by 1, 2, 3 and 4. The dotted ring is the equivalent ring, and the value above it is the value it represents.圖3 分蘗期水稻和背景分割結(jié)果Fig.3 Segmentation results of rice and background at tillering stage

由圖3可見：分割精度最低的是基于

L

、LI、NDLBI、

B

、

G

等色彩指數(shù)的分割結(jié)果，其分割正確分類率低于80%，基于AB、COM2、CIVE、MExG和GMR等5種色彩指數(shù)分割的正確分類率最高，約95%～97%；位于象限1中的色彩指數(shù)具有較高的水稻漏分率和背景錯(cuò)分率，象限2、3中的色彩指數(shù)具有較高的水稻漏分率和較低的背景錯(cuò)分率，象限4中的色彩指數(shù)具有較低的水稻漏分率和背景錯(cuò)分率。

通過比較基于色彩指數(shù)的分割結(jié)果和標(biāo)準(zhǔn)分割結(jié)果，背景中水稻倒影和浮萍增加了圖像中水稻和背景的類內(nèi)方差(圖4)，導(dǎo)致水稻漏分與背景錯(cuò)分。由圖4可知，AB、COM2、MxEG、CIVE和GMR等顏色指數(shù)對背景要素敏感，能較好的區(qū)分水稻與背景元素。

圖4 分蘗期圖像中水稻與背景要素的顏色指數(shù)關(guān)系Fig.4 Relationship between the color indices of rice and background elements in the image of tillering stage

2.2 拔節(jié)期稻田圖像分割結(jié)果

圖5為拔節(jié)期水稻和背景顏色指數(shù)的箱型圖。可知:與分蘗期圖像相似，拔節(jié)期稻田圖像中，水稻和背景在

R

、

B

、

L

等單色指數(shù)上重疊度較高，在NRI、NDI等多色對比指數(shù)上的重疊度次之，而在復(fù)合指數(shù)COM2、MExG等顏色指數(shù)上的重疊度最低。拔節(jié)期圖像中，水稻和背景在各個(gè)顏色指數(shù)上變化較之分蘗期更大。

圖5 拔節(jié)期水稻和背景顏色指數(shù)箱型圖Fig.5 Boxplot of color indices of rice and background from image at jointing stage

圖6為拔節(jié)期水稻和背景分割結(jié)果。分蘗期分割精度最低的是NDLBI、

R

、

B

等20種色彩指數(shù)，分割精度低于80%，基于COM2、MxEG、CIVE、GMR和VARI等5種色彩指數(shù)的分割精度較高，約88%～90%。位于象限1中的色彩指數(shù)具有較高的水稻漏分率和背景錯(cuò)分率，象限4中的顏色指數(shù)具有較低的水稻漏分率和背景錯(cuò)分率。通過比較基于顏色指數(shù)的分割結(jié)果和標(biāo)準(zhǔn)分割結(jié)果，拔節(jié)期稻田圖像分割的誤差主要來自稻葉鏡面反射形成的亮綠色區(qū)域、浮萍和土壤陰影間的錯(cuò)分。亮綠色區(qū)域在

G

顏色指數(shù)上主要分布在高值區(qū)域，與背景具有明顯重疊，特別是與背景中的浮萍完全重疊。亮綠色區(qū)域分布在

L

顏色指數(shù)上具有較低亮度值的區(qū)域，這些區(qū)域與背景區(qū)域具有明顯的重疊(圖7)。葉片鏡面反射、土壤陰影和浮萍增加了圖像中水稻和背景的內(nèi)類方差，導(dǎo)致水稻漏分與背景錯(cuò)分；COM2、MxEG、CIVE、GMR和VARI等顏色指數(shù)能較好的區(qū)分水稻與背景元素。

圖6 拔節(jié)期水稻和背景分割結(jié)果Fig.6 Segmentation results of rice and background at jointing stage

圖7 拔節(jié)期圖像中水稻與背景要素的顏色指數(shù)關(guān)系Fig.7 Relationship between the color indices of rice and background elements in the image of jointing stage

3 討 論

分蘗期和拔節(jié)期是水稻長勢監(jiān)測的重要階段。水稻分蘗期往往采用淺水灌溉，獲取的圖像存在水、水稻植株倒影和浮萍等背景元素的影響。分蘗期的水稻植株較小，占圖像的36.20%，圖像中背景信息相對凸出。由于水稻分蘗末期和拔節(jié)期曬田管理，拔節(jié)期圖像不存在水的影響。拔節(jié)期水稻已封行，水稻占圖像的比例接近70%，稻田冠層結(jié)構(gòu)較之分蘗期復(fù)雜，存在明顯的陰影和葉片鏡面反射。葉片鏡面反射、陰影和浮萍是水稻漏分和背景錯(cuò)分的關(guān)鍵因素。本研究表明，組合指數(shù)COM2、MxEG、CIVE和GMR 4種顏色指數(shù)在分蘗期圖像和拔節(jié)期圖像均具有較好的分割精度，較其他32種顏色指數(shù)具有較低的水稻漏分率和背景錯(cuò)分率，這與已有研究一致。說明這4種顏色指數(shù)對水稻和背景干擾因素具有較強(qiáng)的區(qū)分能力。因此，顏色指數(shù)COM2、MxEG、CIVE和GMR更適宜于稻田RGB圖像的分割應(yīng)用。

自然光照對圖像分割精度具有決定性作用。因此，研究者常選擇晴天、多云和陰天條件下分別獲取圖像并開展圖像分割研究。在晴天強(qiáng)光折射下，密集的陽光會(huì)在葉片或土壤中產(chǎn)生鏡面反射和陰影，導(dǎo)致晴天條件下圖像分割精度低于陰天和多云條件下圖像分割精度。已有的顏色指數(shù)在多云和陰天條件下具有更好的分割性能，且農(nóng)作物長勢監(jiān)測往往選取晴天條件下采集作物長勢信息。因此，為了檢驗(yàn)顏色指數(shù)的稻田圖像分割效果，本研究選取晴朗無云的天氣，獲取水稻冠層圖像。

閾值法是獲得圖像精確細(xì)節(jié)的簡單有效的方法。常用的閾值化技術(shù)包括Otsu、Kapur和最小誤差法等。部分研究認(rèn)為多重Otsu具有較好的圖像分割結(jié)果，也有研究表明Kapur的表現(xiàn)優(yōu)于 Otsu和最小交叉熵等閾值方法。Otsu目標(biāo)函數(shù)通過最大化類別方差來估計(jì)最佳閾值，該方法具有計(jì)算量小，易于實(shí)現(xiàn)等優(yōu)點(diǎn)，是一種常用的最佳閾值算法。Otsu對類間方差為單峰的圖像有較好的分割效果，因此本研究采用多重Otsu方法提取閾值。

由于顏色指數(shù)和閾值技術(shù)的組合對植物類型和光照強(qiáng)度是敏感的，本研究僅以晴朗天氣條件下的稻田圖像計(jì)算顏色指數(shù)，并采用Otsu算法提取閾值，可能會(huì)對結(jié)果準(zhǔn)確性造成一定影響。由圖7可知，設(shè)置單一的閾值易造成植物像素與背景像素合并，導(dǎo)致稻田圖像的欠分割或過分割。因此，在今后的研究中擬采用動(dòng)態(tài)閾值法進(jìn)一步探索稻田圖像的分割應(yīng)用。

4 結(jié) 論

本研究選擇36種常的顏色指數(shù)，以分蘗期和拔節(jié)期稻田圖像為研究對象，開展基于顏色指數(shù)和閾值的分割研究，主要結(jié)論有：水稻倒影和浮萍是分蘗期稻田圖像分割的主要干擾因素，葉片鏡面反射、浮萍和土壤陰影是拔節(jié)期稻田圖像分割的主要干擾因素；組合指數(shù)COM2、MxEG、CIVE和GMR在分蘗期圖像和拔節(jié)期圖像均具有較好的分割精度。因此，基于COM2、MxEG、CIVE和GMR顏色指數(shù)和Otsu閾值的稻田圖像分割方法對稻田圖像分割的干擾要素具有較強(qiáng)的區(qū)分能力，分割精度高，更適宜于南方稻田圖像處理應(yīng)用。