基于OpenCV的施肥鏟精準(zhǔn)對行系統(tǒng)設(shè)計*

徐鑫，李春暉，趙麗清，孫穎，段東瑤，鄭映暉

(青島農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院，山東青島，266109)

0 引言

有研究表明，使用分層施肥對冬小麥的成長有著巨大的好處，能夠極高地增強(qiáng)小麥的產(chǎn)量，還能減少肥料的浪費(fèi)。分層施肥能夠讓根系均勻生長，有效減少肥料殘留[1]。農(nóng)作物的根系是其生長的根本，根系越大，長勢越好，最后的產(chǎn)量也越高[2]。如果能夠?qū)⒎柿显谕寥老路謱?，分階段的供給小麥根系的每一處地方，那對小麥的成長幫助將是非常可觀的[3]。

分層施肥技術(shù)在國內(nèi)國外都有了一定程度的發(fā)展[4]，智能化的分層施肥農(nóng)機(jī)裝置是提升小麥產(chǎn)量的關(guān)鍵技術(shù)之一[5]。2019年5月，由青島某公司研制的2BUF-2/4型施肥機(jī)測試成功，實現(xiàn)了分層施肥的效果，可以分別在地下50 mm和150 mm的地方進(jìn)行施肥，但在對行控制上還是有所欠缺。2017年，王沖研究了基于圖像對行控制的玉米割臺設(shè)計，實現(xiàn)了將圖像檢測技術(shù)應(yīng)用到對行控制上。2013年，德國漢諾威(Hanovre)在農(nóng)機(jī)展會上，首次出現(xiàn)了一種全自動操縱控制的雙盤式施肥機(jī)[6]，可以對各種肥料進(jìn)行施肥，施肥精度得到了提高，但并沒有使用分層施肥技術(shù)。因此，對于小麥斷根施肥，需要一種圖像處理識別技術(shù)，能夠精準(zhǔn)定位小麥土層的具體位置。

本文介紹了加裝在小麥?zhǔn)┓蕶C(jī)施肥鏟上的一種基于OpenCV的圖像識別處理技術(shù)，通過攝像頭采集到的小麥圖像，對土地和小麥進(jìn)行顏色的區(qū)分，通過邊緣檢測算法提取小麥輪廓的邊緣信息，再經(jīng)過顏色空間轉(zhuǎn)換、濾波等得到小麥的二值化圖像，通過膨脹腐蝕得到土壤的外輪廓，最后利用區(qū)域生長算法提取小麥的中心坐標(biāo)。并通過對比試驗驗證該識別方法的準(zhǔn)確性。此方法對于將來小麥斷根施肥機(jī)的分層施肥精準(zhǔn)定位提供了研究基礎(chǔ)和理論依據(jù)。

1 總體結(jié)構(gòu)與控制系統(tǒng)

1.1 總體結(jié)構(gòu)

施肥機(jī)主要有分層施肥鏟、攝像頭、肥料箱等結(jié)構(gòu)[7]，如圖1所示，但沒有自己的動力系統(tǒng)，只能通過懸掛支架被拖拉機(jī)帶動前進(jìn)。

圖1 施肥系統(tǒng)機(jī)械結(jié)構(gòu)示意圖

施肥鏟通過支架放在同一排上，然后每個施肥鏟根部上帶有液壓控制器[8]，在本次設(shè)計中，將攝像頭安裝在施肥鏟的前部，拍攝前下方圖像，通過OpenCV圖像算法來找出施肥鏟的相對作業(yè)位置，然后通過繼電器控制施肥鏟橫向運(yùn)動，找到較為準(zhǔn)確的前進(jìn)路徑。肥料箱在最上層，然后通過導(dǎo)管連接到施肥鏟的不同位置，達(dá)到分層施肥的效果。限深輪使施肥機(jī)的下地深度得到有效的控制。還有一個輔助輪帶動編碼器進(jìn)行轉(zhuǎn)動，去測量實際的運(yùn)行速度，進(jìn)而控制施肥量[9]。

1.2 控制系統(tǒng)

返青小麥的分層施肥系統(tǒng)主要有2個電氣控制部分：一是在Jetson Nano微處理器上通過Python語言使用OpenCV將圖像進(jìn)行處理，首先初始化攝像頭，將其打開，然后獲取一幀圖像，對圖像進(jìn)行截取，獲得中心的部分圖像，讓圖像處理更加容易。再對其進(jìn)行HSV顏色空間轉(zhuǎn)換，轉(zhuǎn)換完成后提取其中的S分量圖像，進(jìn)行濾波操作，使圖像信息更加準(zhǔn)確。再通過腐蝕膨脹等形態(tài)學(xué)操作處理，然后二值化處理、尋找邊界、求取中心坐標(biāo)等一系列處理得到兩排小麥中間土地的中心點(diǎn)位置，通過UART通信將此坐標(biāo)傳輸?shù)絊TM32F103C8T6單片機(jī)，進(jìn)行邏輯運(yùn)算，最后通過繼電器控制液壓閥，繼而控制施肥鏟的橫向移動；二是使用編碼器傳感器，通過STM32F103C8T6單片機(jī)的FTM脈沖計數(shù)模塊采集編碼器單位時間內(nèi)的數(shù)值，再將其換算成實際的速度，然后通過一定的函數(shù)對應(yīng)，將速度與舵機(jī)的控制聯(lián)系到一起，通過速度的大小決定施肥量的多少，最后通過驅(qū)動控制肥料口打開的范圍大小，以節(jié)省肥料的成本?？刂屏鞒倘鐖D2所示。

圖2 整體控制框圖

2 圖像預(yù)處理

圖像預(yù)處理的目的是改善圖像數(shù)據(jù)，抑制不需要的變形和增強(qiáng)某些對于后處理有重要作用的圖像特征，通過邊緣檢測算法、HSV顏色空間轉(zhuǎn)換、濾波等得到二值化圖像。

2.1 Laplacian算子邊緣檢測

在圖像識別方法中常用Sobel算子對圖像進(jìn)行邊緣檢測，Sobel算子對灰度漸變和噪聲較多的圖像處理效果較好，但是Sobel算子對邊緣定位不是很準(zhǔn)確，檢測的精度不夠，得不到好的邊緣檢測結(jié)果。本文選用的是拉普拉斯算子，本算法被分成4個和8個鄰域[10]，分別應(yīng)用于小麥邊緣需求鄰域中央附近的方向和梯度。其方向和梯度可完全滿足提取的小麥邊緣信息的需要。處理的圖像如圖3所示。

圖3 圖像邊緣檢測

2.2 HSV顏色空間轉(zhuǎn)換

HSV(Hue Saturation Value)是一種比較直觀的顏色模型，在圖像領(lǐng)域中有較為廣泛的應(yīng)用。小麥圖像都是RGB圖像，將小麥圖像RGB值映射到HSV顏色空間上的色域值來進(jìn)行小麥?zhǔn)┓淑P的精準(zhǔn)對行[11]，顏色空間分別由色調(diào)、飽和度和透明度這3種屬性組成[12]。轉(zhuǎn)換到HSV空間后再抽取其S分量圖像繼續(xù)進(jìn)行處理，并且抽取的是S分量圖像中的綠色元素。HSV的顏色空間如圖4所示。

圖4 HSV顏色空間

兩種顏色空間的轉(zhuǎn)換公式如式(1)～式(3)所示。

(1)

(2)

IV=Imax

(3)

式中：Imax——I(x，y)處(R，G，B)的最大值[11]；

Imin——I(x，y)處(R，G，B)的最小值[11]；

IH——I(x，y)處的色調(diào)值；

IS——I(x，y)處的飽和度值；

IV——I(x，y)處的透明度值；

IR——I(x，y)處的紅色值；

IG——I(x，y)處的綠色值；

IB——I(x，y)處的藍(lán)色值。

其小麥的HSV圖像如圖5所示，S分量圖像如圖6所示。

圖5 小麥HSV圖像

圖6 S分量圖像

2.3 圖像濾波

像素的中值作為基準(zhǔn)進(jìn)行濾波[13]，在圖像的像素點(diǎn)中，先選取一像素點(diǎn)，然后以該像素點(diǎn)為中心取一個n×n的矩陣，經(jīng)過中值處理后，以中值作為該像素點(diǎn)的數(shù)值。在這里，選取一個3×3的像素點(diǎn)矩陣，將9個像素點(diǎn)的大小進(jìn)行排列，然后去中值作為中心像素點(diǎn)的數(shù)值。中值濾波的過程如圖7所示，小麥經(jīng)過中值濾波后的圖像如圖8所示。

圖7 中值濾波

圖8 圖像濾波

2.4 圖像二值化

閾值分割處理一般看作是灰度圖像的二值化處理[14]，輸出圖像只有2種灰度值：0和255。圖像分割方法基于圖像中前景與背景的像素值差異，通過設(shè)定合適的閾值實現(xiàn)目標(biāo)與背景的分割，提取圖像中有用的信息，常用方法有全局閾值分割和自適應(yīng)閾值分割。本文小麥與土地顏色差別較大，光線條件相對均勻且所選取的B通道灰度圖的前景與背景灰度級相差較大，故選取處理時間短、速度快的全局閾值分割進(jìn)行二值化操作，其計算公式如式(4)所示。

(4)

其中I為輸入圖像，設(shè)其高為H，寬為W，I(r，c)代表圖像中第r行第c列的灰度值，其中0≤r

(5)

利用OpenCV的全局閾值分割函數(shù)Threshold()完成圖像的二值化處理，效果如圖9所示。

圖9 二值化圖像

3 小麥中心坐標(biāo)識別

獲得小麥的二值化圖像后，為了得到更加明顯的圖像特征，來更好地確定小麥輪廓的繪制方法，還要對圖像進(jìn)行膨脹腐蝕，從而可以更好地確定小麥壟行之間的中心坐標(biāo)值。

3.1 膨脹腐蝕

腐蝕操作和膨脹操作為圖像的形態(tài)學(xué)操作[15]，主要用來明確所需要的圖像信息。腐蝕操作是在二值化的黑白圖像中，以黑白兩顏色的邊界為中心像素點(diǎn)，選取一定的矩陣范圍，將范圍內(nèi)的像素點(diǎn)都轉(zhuǎn)變?yōu)楹谏袼兀@樣白色圖像就會去除一部分，相當(dāng)于被腐蝕了一樣。

膨脹操作與腐蝕操作的做法正好相反，是將邊界向外擴(kuò)張，增加目標(biāo)面積，常用于消除分割后目標(biāo)范圍內(nèi)存在的空洞[16]。它是以邊界像素點(diǎn)為中心，選取一定的矩陣范圍將其全部轉(zhuǎn)變成白色像素，這樣白色圖像就會往外擴(kuò)張一部分，像是膨脹一樣。通過這兩個操作可以使小麥中夾雜的土壤顏色部分得到去除，使圖像特征更加明顯，效果如圖10所示。

圖10 膨脹腐蝕

3.2 圖像輪廓繪制

為了尋求小麥圖像中土壤的中心坐標(biāo)點(diǎn)，這里需要將土壤的外輪廓先行繪制出來。選中土壤的一部分區(qū)域，使用OpenCV的find Contours()函數(shù)[17]可以很方便地解決這一問題。本文用的輪廓檢測方法是輪廓逼近方法，函數(shù)只保留它們的終點(diǎn)部分。通過此輪廓繪制算法，將土壤的外圍輪廓進(jìn)行描繪，并用紅色的線條將其描繪在圖像上，如圖11所示。在土壤輪廓繪制完后，不可避免地會有小部分土壤輪廓隱藏在小麥中。這些小部分土壤輪廓并非所需要的，所以需要進(jìn)行濾除，最后只留下中央最大的輪廓是為所求，如圖12所示。

圖11 外輪廓繪制

圖12 濾除

3.3 求中心坐標(biāo)

在進(jìn)行小麥中心點(diǎn)提取過程中，采用了區(qū)域生長算法[18]，步驟如下：(1)經(jīng)圖像預(yù)處理后得到小麥輪廓區(qū)域，應(yīng)用二次加權(quán)灰度重心法提取小麥輪廓區(qū)域中心的初始點(diǎn)；(2)根據(jù)小麥中心坐標(biāo)初始點(diǎn)，利用區(qū)域增長法生成小麥中心坐標(biāo)的小范圍圓形區(qū)域，使用主成分分析代替多次求解高斯卷積過程求得小麥中心亞像素坐標(biāo)。

3.3.1 小麥中心初始點(diǎn)提取

在獲得小麥區(qū)域輪廓后，通過檢測輪廓的邊界像素值繼續(xù)求取輪廓的中心坐標(biāo)值，可以得到輪廓邊緣的非零灰度值對應(yīng)點(diǎn)的坐標(biāo)值，并將其標(biāo)記為(xi，yj)，采用二次加權(quán)灰度重心法提取小麥輪廓區(qū)域中心的初始位置，可以表示為

(6)

(7)

式中：g(xi,yj)——圖像中的第xi行第yj列坐標(biāo)點(diǎn)的灰度像素值；

Xcenter——小麥中心初始點(diǎn)的橫坐標(biāo)值；

Ycenter——小麥中心初始點(diǎn)的縱坐標(biāo)值。

3.3.2 小麥中心坐標(biāo)提取

將加權(quán)灰度重心法提取的小麥中心坐標(biāo)初始值作為區(qū)域生長的種子點(diǎn)，將灰度閾值作為生長準(zhǔn)則，以種子點(diǎn)為圓心，以3鄰域像素值(經(jīng)實地測量施肥鏟半徑得到)為半徑輻射形成一生長連通域，通過判斷像素點(diǎn)灰度差值，將小于灰度閾值的點(diǎn)歸為一個連通域，可有效防止過度生長。其生長域如圖13所示。

圖13 中心生長域示意圖

(8)

式中：Wp——生長連通域的寬度值。

要注意，得到的小麥中心坐標(biāo)值為像素點(diǎn)坐標(biāo)。將此像素點(diǎn)坐標(biāo)求出后，這一流程實時執(zhí)行后就可以一直得到中心位置，相對的也就確定了施肥鏟的位置，以此作為反饋信息，再進(jìn)一步去控制移動施肥鏟，達(dá)到想要的效果。

4 小麥中心坐標(biāo)對比試驗

4.1 試驗材料

本文所進(jìn)行的對比試驗是在山東省青島市樅森農(nóng)業(yè)機(jī)械研究所合作的青島清保農(nóng)機(jī)專業(yè)合作社進(jìn)行，所種植的小麥品種為魯麥15號，每壟種植4行小麥，行距為25 cm。

4.2 坐標(biāo)轉(zhuǎn)化

為了驗證小麥壟行中心坐標(biāo)的識別效果，將攝像頭采集的像素點(diǎn)坐標(biāo)與實際測量的中心點(diǎn)坐標(biāo)做比對，借助試驗對這種檢測方法進(jìn)行評估。

為了試驗方便進(jìn)行，將攝像頭得到的像素點(diǎn)坐標(biāo)轉(zhuǎn)化為圖像坐標(biāo)。其中，像素坐標(biāo)系和預(yù)想坐標(biāo)系都在成像平面上，只是各自的原點(diǎn)和度量單位不一樣，圖像坐標(biāo)系的遠(yuǎn)點(diǎn)為攝像頭光軸與成像平面的交點(diǎn)，圖像坐標(biāo)系的單位為mm，屬于物理單位，而像素坐標(biāo)系的單位是pixel，平常描述一個像素點(diǎn)都是幾行幾列。所以這兩者之間的轉(zhuǎn)換如下：其中dx和dy表示每一列和每一行分別代表多少mm，即1 pixel=dxmm。坐標(biāo)轉(zhuǎn)換示意圖如圖14所示。

根據(jù)像素點(diǎn)坐標(biāo)可以分別表示其圖像坐標(biāo)，表達(dá)式如下

(9)

具體求解表達(dá)式如下

(10)

圖14 坐標(biāo)轉(zhuǎn)換示意圖

4.3 試驗驗證

隨機(jī)選取一片麥田，并在該區(qū)域中隨機(jī)選取一段區(qū)域，劃線或是標(biāo)記好即可，在選定的區(qū)域每隔20 cm取一個中心坐標(biāo)點(diǎn)，總計取100個，也就是100幅圖片。給定不同的光照條件，即良好、一般、昏暗。將攝像頭在選定的區(qū)域內(nèi)移動，實際測量如圖15所示。并標(biāo)記好要記錄的點(diǎn)數(shù)，記下該點(diǎn)的像素坐標(biāo)值，并通過式(9)、式(10)轉(zhuǎn)化為相應(yīng)的圖像坐標(biāo)值，用游標(biāo)卡尺在相應(yīng)的坐標(biāo)點(diǎn)上人為測量，對這兩組值進(jìn)行比對，計算識別準(zhǔn)確率，并分析該識別方法的準(zhǔn)確性。試驗數(shù)據(jù)如表1所示。

圖15 試驗測量圖

表1 試驗數(shù)據(jù)坐標(biāo)對比Tab. 1 Comparison of experimental data coordinates

由表1可以看出，當(dāng)環(huán)境照度在10 Lux以上時，光照強(qiáng)度的變化對圖像識別的效果影響不大，當(dāng)照度低于10 Lux時，圖像識別的坐標(biāo)值正確率不高，基本無法正常工作；而光照強(qiáng)度足夠時，識別的正確率均在90%以上。由此可見，此方法對小麥中心坐標(biāo)位置的確定具有較高的識別正確率。

5 結(jié)論

1) 本文利用OpenCV圖像處理技術(shù)獲取小麥壟行之間的中心坐標(biāo)值，將獲得的小麥壟行的圖像值經(jīng)過HSV顏色空間轉(zhuǎn)換、濾波等得到二值化圖像，經(jīng)膨脹腐蝕得到清晰的小麥壟行輪廓坐標(biāo)圖像，最后采用區(qū)域生長算法得到小麥中心區(qū)域坐標(biāo)值。

2) 經(jīng)過人工測量的驗證，可以證明在白天也就是光照充足的情況下(室外太陽照射條件下)，光照強(qiáng)度的變化對中心坐標(biāo)的影響效果不大，識別正確率可以達(dá)到90%以上，具有較高的檢測精度。

3) 本文研究了一種基于OpenCV的新型小麥?zhǔn)┓淑P自動對行分層施肥系統(tǒng)，使得返青小麥能夠進(jìn)行自動化對行分層施肥，有助于解放人力，提高耕作效率，提高小麥產(chǎn)量，在當(dāng)前我國小麥由中產(chǎn)向高產(chǎn)、超高產(chǎn)邁進(jìn)的道路上具有十分重大的意義。