基于骨架細(xì)化和坐標(biāo)點(diǎn)計算的水稻劍葉角測量

張偉偉，張衛(wèi)正，劉巖，梁婷婷，殷君茹，陳啟強(qiáng)，金保華

(鄭州輕工業(yè)學(xué)院，河南 鄭州 450002)

水稻劍葉是光合作用產(chǎn)物的主要來源之一，也是水稻相關(guān)性狀的直接決定因素[1]。水稻主莖與劍葉之間的夾角稱為劍葉角，是決定水稻產(chǎn)量的重要因素之一。測量劍葉角是理想植株育種過程中非常重要的一部分[2-3]。目前，常用的測量水稻劍葉角的方法是人工使用量角器測量，該方法自動化程度低，且容易產(chǎn)生較大誤差，亟須研發(fā)能夠快速、準(zhǔn)確測量水稻劍葉角的方法。

智能手機(jī)、便攜式平板電腦等設(shè)備具備拍照、存儲與數(shù)據(jù)處理等功能，并且具有體積小、重量輕和易攜帶等優(yōu)點(diǎn)，結(jié)合圖像處理和識別技術(shù)，能夠從復(fù)雜場景中提取出所需要的關(guān)鍵信息，在農(nóng)業(yè)工程等領(lǐng)域得到日益廣泛的應(yīng)用[4-6]。龔愛平等[7]提出了基于Android系統(tǒng)手機(jī)的葉面積測量方法，利用Java編寫軟件，以Android手機(jī)為工作平臺，通過圖像獲取、圖像分割、圖像二值化、濾波去噪等實(shí)現(xiàn)葉片面積計算，測量結(jié)果與LI-3100型葉面儀測得的結(jié)果偏差在±1%以內(nèi)。路文超等[8]設(shè)計了基于Android智能手機(jī)的水稻劍葉角測量系統(tǒng)，采用智能手機(jī)獲取水稻劍葉圖像，經(jīng)過圖像預(yù)處理、直線檢測、K-means聚類和向量方法得到水稻劍葉角，實(shí)現(xiàn)了在Android平臺下利用JNI和Android NDK調(diào)用基于OpenCV庫的劍葉角計算，功能良好，但開發(fā)和計算過程略顯復(fù)雜。王建武[9]采用平板電腦對外業(yè)數(shù)據(jù)進(jìn)行采集，替代了傳統(tǒng)外業(yè)調(diào)查利用紙質(zhì)地形圖勾繪的繁重復(fù)雜調(diào)查方式，實(shí)現(xiàn)了林業(yè)外業(yè)調(diào)查無紙化，有利于數(shù)據(jù)、圖形、實(shí)地三統(tǒng)一，完成了數(shù)據(jù)存儲、定位和面積測算，數(shù)據(jù)更加精準(zhǔn)，可隨時隨地進(jìn)行數(shù)據(jù)查詢與調(diào)閱。Gajanan等[10]利用Android平臺，通過檢測葉片的斑點(diǎn)的顏色、面積和數(shù)量進(jìn)行病害早期檢測及病害程度的確定。

本文針對水稻劍葉角的實(shí)際測量需求，采用圖像處理及相關(guān)數(shù)學(xué)計算方法自動獲取劍葉角。同時，考慮到田間使用對便攜性、實(shí)時性和準(zhǔn)確性等的要求，依托便攜式平板電腦平臺，運(yùn)用Matlab設(shè)計并開發(fā)了劍葉角測量應(yīng)用程序，實(shí)現(xiàn)了劍葉角的快速、非接觸測量。

1 圖像采集與預(yù)處理

1.1 劍葉角測量的流程

提出的水稻劍葉角測量系統(tǒng)的主要功能模塊包括：水稻劍葉角圖像的采集，背景去除，劍葉和主莖的骨架細(xì)化，采用坐標(biāo)法計算劍葉角。劍葉角測量的流程如圖1所示。

圖1 劍葉角測量的流程

1.2 圖像采集

采用微軟(Microsoft)公司開發(fā)的便攜式平板電腦Surface Pro 4獲取劍葉基部圖像。該設(shè)備采用Windows操作系統(tǒng)，觸控顯示屏尺寸為12.3 inch(1 inch≈2.54 cm)，分辨率為2 736 pixel×1 824 pixel，采用第6代Intel酷睿TM處理器，系統(tǒng)內(nèi)存為16 GB，具有800萬像素后置自動對焦攝像頭，配備1 024級壓感觸控筆，電池續(xù)航時間長達(dá)9 h，機(jī)身厚度8.45 mm，質(zhì)量為786 g，攜帶方便，便于移動操作，可滿足本文圖像采集與處理的要求。

將黑色背景板平行緊貼于主莖與劍葉的基部，采用基于Matlab軟件所設(shè)計的應(yīng)用程序調(diào)用Surface Pro 4平板電腦的后置攝像頭拍攝劍葉基部圖像，如圖2所示。

圖2 劍葉基部圖像

1.3 背景去除與二值化

由于測量系統(tǒng)在采集原始圖像的過程中已經(jīng)將黑色背景板放置在水稻劍葉和主莖的后方，因而降低了圖像分割提取的難度。本文提取RGB空間的B、G兩個通道，并用作差取閾值的方法實(shí)現(xiàn)分割提取[11]，如圖3所示。該分割方法的優(yōu)點(diǎn)是能較好地保留水稻劍葉及主莖的形狀及紋理，同時又能較好地去除光照因素的干擾。

圖3 背景去除與二值化

采用Matlab內(nèi)部的DIP(數(shù)字圖像處理)工具箱函數(shù)rgb2gray()將彩色圖像轉(zhuǎn)換為灰度圖像，然后用graythresh()函數(shù)輸出二值化所需的閾值，最后通過函數(shù)im2bw()及閾值將灰度圖像轉(zhuǎn)換成二值圖像。

1.4 噪聲去除

二值圖像的劍葉和主莖的邊緣部分較為粗糙，且可能有零散的白色斑點(diǎn)，劍葉和主莖的內(nèi)部可能出現(xiàn)黑色孔洞，需要分別采用開運(yùn)算和孔洞填充算法進(jìn)行處理。

先腐蝕再膨脹的整個操作過程稱為開運(yùn)算，其主要作用是消除小物體、平滑較大物體的邊界、在纖細(xì)點(diǎn)處分離物體，同時在整個過程中并不明顯改變其面積。采用函數(shù)bwmorph(image,‘open’)對圖像進(jìn)行開運(yùn)算，消除劍葉和主莖的粗糙邊緣及零散的白色斑點(diǎn)。

采用Matlab的二值圖像孔洞填充函數(shù)imfill()對劍葉和主莖中的黑色孔洞進(jìn)行填充。經(jīng)過開運(yùn)算、孔洞填充操作之后，二值圖像的噪聲已經(jīng)去除，如圖4所示。

圖4 去除噪聲的二值圖像

2 骨架細(xì)化和坐標(biāo)點(diǎn)計算劍葉角

2.1 劍葉和主莖的細(xì)化操作

圖像中的目標(biāo)細(xì)化就是指獲得目標(biāo)骨架的整個過程，骨架細(xì)化算法的目的就是為了方便描述、抽取目標(biāo)的線性特征[12-13]。一般細(xì)化算法須滿足以下幾點(diǎn)要求：1)保證原來圖像邊緣的連通性；2)原來圖像邊緣的中心線為骨架圖像；3)盡可能多地將一個像素寬度的線條圖像作為細(xì)化結(jié)果；4)細(xì)化速度要快[14]。本文采用的骨架細(xì)化函數(shù)為bwmorph(image,‘thin’,Inf)，其中，image表示被處理的目標(biāo)圖像，‘thin’表示細(xì)化操作，Inf表示進(jìn)行多次操作，直到圖像不能再細(xì)化。細(xì)化圖像如圖5所示。

圖5 劍葉和主莖的骨架細(xì)化

2.2 坐標(biāo)法計算劍葉角

水稻植株的劍葉角有可能出現(xiàn)銳角、直角和鈍角3種情況，對應(yīng)的劍葉和主莖共有8種位置關(guān)系，如圖6所示。其中，出現(xiàn)圖6中d和圖6中h所示的情況時不能直接以劍葉和主莖的夾角作為劍葉角。本文根據(jù)坐標(biāo)點(diǎn)計算劍葉角。

圖6 劍葉和主莖的8種位置關(guān)系

2.2.1 縮短細(xì)化線

從圖5可看出，水稻劍葉和主莖經(jīng)過骨架細(xì)化操作后，兩者的細(xì)化線在頂部出現(xiàn)一定程度的偏離主體走勢，需要進(jìn)一步縮短細(xì)化線，最大限度地通過劍葉和主莖的細(xì)化線準(zhǔn)確還原劍葉角。為了縮短細(xì)化線，采用以下步驟。

Step 1：通過函數(shù)bwmorph(image,‘endpoints’)查找并標(biāo)記骨架細(xì)化線的3個端點(diǎn)；

Step 2：刪除前述3個端點(diǎn)；

Step 3：將Step1和Step2重復(fù)執(zhí)行30次。

實(shí)現(xiàn)骨架細(xì)化線縮短的結(jié)果如圖7所示，以減小端部細(xì)化線的偏移對測量劍葉角精度的影響。

圖7 縮短細(xì)化線

2.2.2 根據(jù)坐標(biāo)點(diǎn)計算劍葉角

通過函數(shù)bwmorph(image,‘endpoints’)查找并標(biāo)記骨架細(xì)化線的3個端點(diǎn)，如圖8中的圓點(diǎn)所示。通過函數(shù)bwmorph(image,‘branchpoints’) 查找并標(biāo)記主莖和劍葉骨架細(xì)化線的1個交叉點(diǎn)，如圖8中“×”所示。

圖8 端點(diǎn)和交叉點(diǎn)檢測

在實(shí)際檢測中，如果出現(xiàn)如圖8中a和圖8中e所示的這2種情況，表明劍葉和主莖重合，顯示為一條線段，只有2個端點(diǎn)，沒有交叉點(diǎn)，結(jié)合劍葉的生長情況，此時判定劍葉角為0°，因?yàn)閯θ~不可能向下生長。

如果3個端點(diǎn)中的某一個端點(diǎn)的行坐標(biāo)與交叉點(diǎn)的行坐標(biāo)相等，即出現(xiàn)如圖8-c或圖8-g所示的2種情況，判定劍葉角為90°。

如果3個端點(diǎn)中的2個端點(diǎn)的行坐標(biāo)小于交叉點(diǎn)的行坐標(biāo)，即出現(xiàn)如圖8-b或圖8-f所示的情況，根據(jù)這2個端點(diǎn)與交叉點(diǎn)的行坐標(biāo)和列坐標(biāo)計算其所組成的夾角，即為劍葉角。

如果3個端點(diǎn)中的2個端點(diǎn)的行坐標(biāo)大于交叉點(diǎn)的行坐標(biāo)，即出現(xiàn)如圖8-d和圖8-h所示的情況，根據(jù)這2個端點(diǎn)與交叉點(diǎn)的行坐標(biāo)和列坐標(biāo)計算其所組成的夾角，并用180°減去該夾角得到劍葉角(此時的劍葉角為鈍角)。

以上各種情況下劍葉和主莖骨架細(xì)化線的端點(diǎn)和交叉點(diǎn)的檢測及劍葉角計算，均通過編寫的程序自動運(yùn)行。

3 圖形用戶界面設(shè)計與實(shí)現(xiàn)

在平板電腦上采用Matlab軟件設(shè)計圖形用戶界面，如圖9所示，并開發(fā)應(yīng)用程序，編寫各個操作按鈕所對應(yīng)的程序代碼，通過簡單便捷的人機(jī)交互界面，調(diào)用圖像處理算法實(shí)現(xiàn)劍葉角的測量。

圖9 劍葉角測量的圖形用戶界面

界面左側(cè)的按鈕包括“打開相機(jī)”“拍照”和“關(guān)閉相機(jī)”，通過這些步驟可以實(shí)現(xiàn)劍葉圖像的采集。通過“打開圖像”“背景去除”“二值化”“噪聲去除”“細(xì)化”“角度測量”等按鈕，實(shí)現(xiàn)劍葉角測量的功能。為了實(shí)現(xiàn)快速計算劍葉角，在打開圖像之后，也可以直接點(diǎn)擊“測量”按鈕，實(shí)現(xiàn)劍葉角的計算和存儲。

4 結(jié)果與分析

為了驗(yàn)證測量系統(tǒng)的精度，采用本測量系統(tǒng)對田間多株水稻的劍葉角進(jìn)行測量。針對此次試驗(yàn)，在田間隨機(jī)選定多株水稻植株進(jìn)行劍葉角測量。在使用本系統(tǒng)測量水稻植株的劍葉角后，再用量角器對同一植株的同一片劍葉進(jìn)行人工測量并記錄。

對本文方法取得的測量值和人工測量值進(jìn)行分析，如圖10所示。其中，橫軸為采用本文方法對多個水稻植株劍葉角的測量值，縱軸為對相應(yīng)植株進(jìn)行人工測量的角度值，擬合得到直線方程y=0.996x+0.2。本文方法測得的平均絕對誤差為0.51°，相對誤差為1.22%，本文方法測量值和人工測量值的相關(guān)系數(shù)為0.998。

圖10 本文測量值和人工測量值的分析

整體來看，本文方法測量值和人工測量值較為吻合，但仍存在較小的誤差。產(chǎn)生這種誤差的原因可能是，經(jīng)過圖像細(xì)化，主莖和劍葉的骨架細(xì)化線的位置可能產(chǎn)生偏移，加之端點(diǎn)及交叉點(diǎn)的定位也可能存在誤差。

5 小結(jié)

提出一種測量水稻劍葉角的圖像處理算法，通過圖像預(yù)處理、噪聲去除、骨架細(xì)化、坐標(biāo)點(diǎn)計算等步驟實(shí)現(xiàn)了水稻劍葉角的測量。在便攜式平板電腦上采用Matlab設(shè)計圖形用戶界面，開發(fā)劍葉角測量的應(yīng)用程序，實(shí)現(xiàn)了圖像采集、劍葉和主莖的提取、骨架細(xì)化，以及多種位置關(guān)系的劍葉角計算。利用本文開發(fā)的測量系統(tǒng)在田間對多株水稻進(jìn)行了劍葉角測量，試驗(yàn)結(jié)果表明，本文所提出的方法精度高、誤差小，與人工測量值的相關(guān)系數(shù)為0.998，表明本系統(tǒng)能夠高精度地測量水稻劍葉角，具有一定的應(yīng)用價值。