基于立體視覺下聯(lián)合收獲機(jī)邊緣檢測技術(shù)的研究

王循明

(浙江機(jī)電職業(yè)技術(shù)學(xué)院,智慧交通學(xué)院, 杭州 310053)

0 引言

隨著我國各種農(nóng)作物種植面積和產(chǎn)量的不斷增加,聯(lián)合收割機(jī)對于提高作物收獲效率具有重要的意義。目前,聯(lián)合收獲機(jī)的田間作業(yè)主要依靠駕駛員相關(guān)操作經(jīng)驗(yàn)進(jìn)行機(jī)器調(diào)整,但由于田間作業(yè)環(huán)境較為復(fù)雜,大型聯(lián)合收獲機(jī)在駕駛過程中會(huì)存在一定的視覺盲區(qū)導(dǎo)致聯(lián)合收獲機(jī)在工作過程中不能完全收割,在進(jìn)給速度波動(dòng)和未切割區(qū)域?qū)е伦魑锸斋@損失率增加。為了減少操作疲勞和提高工作效率,目前已經(jīng)開展了相關(guān)作物邊緣檢測的自動(dòng)轉(zhuǎn)向調(diào)整系統(tǒng)、全球?qū)Ш叫l(wèi)星系統(tǒng)(GNSS)及光探測和測距(LiDAR)技術(shù)等,通過GNSS獲得了車輛在田間的位置信息,并實(shí)現(xiàn)了對多種作物的完全自主操作。但是,GNSS系統(tǒng)價(jià)格昂貴,很難根據(jù)現(xiàn)場的局部環(huán)境變化調(diào)整運(yùn)行路徑,無法實(shí)現(xiàn)對作物邊緣檢測的實(shí)時(shí)進(jìn)行。后期,利用激光掃描儀獲取大豆田的3D信息,建立了大豆田剖面模型,利用互相關(guān)算法計(jì)算了大豆行與收獲機(jī)的相對位置信息。雖然激光雷達(dá)具有較高的測量精度,但需要處理的激光雷達(dá)點(diǎn)云數(shù)據(jù)量大,處理過程耗時(shí)較長,且激光雷達(dá)對現(xiàn)場灰塵很敏感,難以在復(fù)雜的田間環(huán)境進(jìn)行穩(wěn)定工作。

作物邊緣檢測方法是目前聯(lián)合收獲機(jī)發(fā)展的熱點(diǎn)技術(shù)之一,其通過分析灰色值的分布來檢測玉米作物邊緣,應(yīng)用顏色變換和邊緣檢測方法檢測未收割作物的邊緣。后期,相關(guān)人員選擇Y-CbCr顏色模型中的Cr成分作為灰度特征因子,采用層次聚類法提取離群點(diǎn),通過多項(xiàng)式擬合得到直線或曲線切割邊緣,根據(jù)圖像的顏色信息,通過水平掃描獲得作物邊緣線的關(guān)鍵點(diǎn)。這種方法要求未收獲區(qū)域和收獲區(qū)域之間有明顯的色差,在田間使用過程中具有較大的局限性,如天氣條件、作物品種和作物生長等;基于紋理特征檢測各種小作物邊界,但該方法應(yīng)用作物有限,機(jī)器的振動(dòng)對算法的精度有著顯著的影響。田間作物三維信息大多是通過點(diǎn)云獲取的,點(diǎn)云會(huì)產(chǎn)生大量數(shù)據(jù)進(jìn)行處理,為了檢測作物的末端和邊緣,逐漸開始使用超像素分割提取顏色和紋理特征來識(shí)別作物邊界的方法。

針對以上問題,提出了一種基于立體視覺的作物收獲邊緣實(shí)時(shí)檢測方法,并基于獲取的深度信息傳輸高程圖像,提出了兩種提高精度和效率的方法,即提取動(dòng)態(tài)感興趣區(qū)域(ROI)以減少處理任務(wù),以及通過反向透視映射將作物恢復(fù)到實(shí)際狀態(tài)。最后,對水稻和玉米的檢測性能進(jìn)行了田間試驗(yàn)研究。

1 試驗(yàn)材料與方法

1.1 系統(tǒng)設(shè)計(jì)

采用江蘇省世界農(nóng)業(yè)機(jī)械有限公司生產(chǎn)的履帶式聯(lián)合收割機(jī)(型號(hào):4LZ-6.0),整車的主控單元為BODAS RC28-14/30,基于電液技術(shù),向液壓轉(zhuǎn)向油缸發(fā)送運(yùn)動(dòng)指令以產(chǎn)生轉(zhuǎn)向運(yùn)動(dòng)。

試驗(yàn)設(shè)備用立體視覺系統(tǒng)由立體攝像機(jī)(ZED2,stereo Labs Inc)、工業(yè)計(jì)算機(jī)和顯示屏組成。為了獲取聯(lián)合收割機(jī)之前要收割的作物的清晰圖像,攝像頭安裝在駕駛室的車頂上。工業(yè)計(jì)算機(jī)(型號(hào):MIC7700)負(fù)責(zé)處理從相機(jī)獲取的圖像,計(jì)算機(jī)的輸出數(shù)據(jù)可以通過CAN(控制器局域網(wǎng))總線直接傳輸?shù)紹ODAS控制器。此外,為了觀察處理圖像的結(jié)果,駕駛室內(nèi)安裝了一臺(tái)顯示屏(型號(hào):EPM-101R)。

1.2 撿拾裝置結(jié)構(gòu)設(shè)計(jì)

聯(lián)合收割機(jī)在收割時(shí)需要在兩種情況下調(diào)整轉(zhuǎn)向:一種是根據(jù)未修剪的作物邊緣進(jìn)行微調(diào),以避免在沿當(dāng)前收割路徑直線行駛時(shí)再次切割或留下未切割區(qū)域;另一種是聯(lián)合收割機(jī)即將完成其當(dāng)前路線,并在轉(zhuǎn)彎后在地頭轉(zhuǎn)彎,以形成另一個(gè)筆直的收割段。選擇作物末端邊緣作為判斷標(biāo)準(zhǔn),指示當(dāng)前路徑末端的作物和下一路徑收獲區(qū)域的地面。為了實(shí)現(xiàn)聯(lián)合收割機(jī)的自動(dòng)精確轉(zhuǎn)向,利用建立的立體視覺系統(tǒng)實(shí)時(shí)檢測作物收獲邊緣。由于基于顏色和紋理信息的圖像處理對工作環(huán)境和作物品種非常敏感,故利用作物圖像的高程信息來獲取所需的邊緣,工作流程如圖1所示。

圖1 基于立體視覺的作物收獲邊緣檢測算法流程圖Fig.1 Flow chart of crop harvesting edge detection algorithm based on stereo vision

1.2.1 動(dòng)態(tài)感興趣區(qū)域提取

由于采集的圖像分辨率高,圖像處理耗時(shí)大,導(dǎo)致轉(zhuǎn)向調(diào)整延遲,故使用靜態(tài)ROI提取方法來選擇每個(gè)圖像中需要處理的區(qū)域可以大大提高效率,但實(shí)際的未處理裁剪邊緣很容易超出該區(qū)域。因此,提出了一種動(dòng)態(tài)感興趣區(qū)域提取方法,可以自動(dòng)選擇目標(biāo)區(qū)域,以確保所需的邊緣始終位于感興趣區(qū)域內(nèi)。立體視覺中的左側(cè)攝像頭圖像被分為R、G、B 3個(gè)通道,再轉(zhuǎn)換為HSV顏色空間。試驗(yàn)過程表明:H通道具有理想的區(qū)分效果,因?yàn)檎麢C(jī)的卷軸與作物有很大的不同,收獲區(qū)與未收獲區(qū)也有顯著差異。

由于H通道中存在噪聲點(diǎn),使用中值濾波來消除圖像中的噪聲點(diǎn),中值濾波模型設(shè)置為半徑為5像素的圓。為了放大未收獲區(qū)域、卷軸和收獲區(qū)域之間的差異,使用圖像增強(qiáng)算法對圖像執(zhí)行低通均值濾波,并計(jì)算增強(qiáng)圖像像素值gp,即

gp=round((v-vm)·k)+v

(2)

式中v—原始圖像點(diǎn)的像素值;

vm—均值濾波后圖像點(diǎn)的像素值;

k—系數(shù),設(shè)k=5;

round( )—舍入操作,防止像素值顯示為浮點(diǎn)數(shù)據(jù)。

預(yù)處理后的圖像通過隔行掃描進(jìn)行基本掃描,每次跳過10行,掃描行的所有像素值存儲(chǔ)在S1={gi|i=1,…,n}(n是列的數(shù)量)。由于作物區(qū)域的顏色為黑色(灰度值為0),而卷軸區(qū)域的顏色為白色(灰度值為255),因此計(jì)算陣列中灰度為255的像素?cái)?shù)1。當(dāng)N/n>70%時(shí),認(rèn)為行已到達(dá)卷盤區(qū)域,即ROI的下邊界位置。在實(shí)際操作中,位置需要上移50像素。由于深度圖像最上面部分的深度值精度較低,因此將ROI的上邊界設(shè)置為第50行。此時(shí),確定了ROI的上、下邊界位置,再在ROI上下邊界的中間行、掃描圖像,并提取其灰度分布,如圖2所示。圖2中,橫坐標(biāo)是圖像的列數(shù),縱軸是ROI上下邊界中間行的像素灰度。像素atgk周圍的灰度值有明顯的跳躍,左側(cè)灰度值較小的區(qū)域?yàn)槲辞懈顓^(qū)域,右側(cè)灰度值較大的區(qū)域?yàn)橐亚懈顓^(qū)域。每50列取一個(gè)值,并存儲(chǔ)在數(shù)組S2={gi|i=1,…,n/50},當(dāng)它第一次gj+1-gj>100出現(xiàn)則認(rèn)為已達(dá)到跳躍點(diǎn)。通過將感興趣區(qū)域的左邊界向左移動(dòng)800像素,將感興趣區(qū)域的右邊界位置向右移動(dòng)400像素,獲得目標(biāo)動(dòng)態(tài)感興趣區(qū)域。

1.2.2 仰角圖像重建

攝像頭安裝在駕駛室頂部,用于在聯(lián)合收割機(jī)前方拍攝作物圖像,安裝俯仰角為Q,坐標(biāo)系設(shè)置在攝像頭安裝位置正下方,聯(lián)合收割機(jī)履帶底部與地面接觸,如圖3所示。

圖2 ROI上下邊界中間行灰度值分布示意圖Fig.2 Schematic diagram of gray value distribution in the middle row of the upper and lower boundaries of the ROI

圖3 聯(lián)合收割機(jī)上攝像頭安裝示意圖Fig. 3 Schematic diagram of the installation of the camera on the combine harvester

以ZED2左側(cè)攝像機(jī)為參考,通過立體匹配獲得深度圖像。深度圖像是指將相機(jī)到場景中每個(gè)點(diǎn)的距離(深度)用作像素值的圖像。在ZED2相機(jī)坐標(biāo)系中,Zc和Zw分別定義為深度和高程信息。裁剪高程圖像需要從深度圖像傳輸,以攝像機(jī)在地面上的投影點(diǎn)為坐標(biāo)原點(diǎn),垂直于收割機(jī)機(jī)身外側(cè)的方向?yàn)閄w軸,收割機(jī)的前進(jìn)方向?yàn)閅w軸,攝像機(jī)與坐標(biāo)原點(diǎn)之間的直線方向?yàn)閆w軸。相機(jī)坐標(biāo)系和世界坐標(biāo)系之間的轉(zhuǎn)換公式為

(2)

式中 (xw,yw,zw)—圖像點(diǎn)在世界坐標(biāo)系中的坐標(biāo);

(xc,yc,zc)—相機(jī)坐標(biāo)系中圖像點(diǎn)的坐標(biāo);

θ—從相機(jī)坐標(biāo)系到世界坐標(biāo)系的旋轉(zhuǎn)角度;

H—垂直方向上從相機(jī)坐標(biāo)系到世界坐標(biāo)系的平移距離。

經(jīng)過坐標(biāo)變換后,由深度圖像選擇的ROI被成功地轉(zhuǎn)換為仰角圖像。其中,高程圖像中每個(gè)點(diǎn)的像素值表示該點(diǎn)在世界坐標(biāo)系中的高度值。

2 結(jié)果與分析

為了驗(yàn)證提出的基于立體視覺下聯(lián)合收獲機(jī)邊緣檢測及精準(zhǔn)轉(zhuǎn)向系統(tǒng)的田間性能,在多種工作條件下采集了兩種不同作物(水稻和玉米)的實(shí)際收獲圖像,分別在兩個(gè)試驗(yàn)小區(qū)進(jìn)行試驗(yàn),采用橫向像素誤差和角度誤差作為評價(jià)指標(biāo)。橫向像素誤差是實(shí)際路徑和預(yù)測路徑之間在圖像底部的路徑起點(diǎn)上的差異,表示為相應(yīng)的像素距離;角度誤差是實(shí)際路徑和預(yù)測路徑之間的角度。

2.1 水稻收獲邊緣檢測結(jié)果與分析

水稻收割試驗(yàn)中,圖像分辨率為2200×1202像素,攝像機(jī)安裝角度設(shè)置為60°,分析水稻生長密集、稀疏和局部倒伏的收獲狀況。田間試驗(yàn)結(jié)果如圖4所示。由圖4可知,計(jì)算了512幅圖像未處理區(qū)域輪廓的水平長度,LC值一般不超過100個(gè)像素,與作物末端邊緣的LC值相差很大,因此根據(jù)LC值,兩個(gè)邊緣很容易區(qū)分。在計(jì)算了人工標(biāo)記邊緣的橫向像素誤差和角度誤差后,基于標(biāo)記邊緣計(jì)算識(shí)別邊緣的橫向偏移和航向角之間的誤差如圖5所示。由圖5可知:在200幀圖像中,只有一幀圖像的最大角度誤差值為15°,故提出的方法實(shí)際應(yīng)用誤差較小,角度誤差的平均誤差為 0.72°,橫向像素誤差的平均誤差為1.01像素。

圖4 水稻未收獲面積等高線距離LC結(jié)果統(tǒng)計(jì)圖Fig.4 Statistical chart of the contour distance LC of the unharvested area of rice

圖5 水稻圖像檢測結(jié)果的誤差統(tǒng)計(jì)Fig 5 Error statistics of rice image detection results

2.2 玉米收獲邊緣檢測結(jié)果與分析

在玉米收獲試驗(yàn)期間,圖像分辨率為1280×720像素,安裝的攝像頭俯仰角為36°,試驗(yàn)圖像采集分別在多云、晴天和傍晚3種條件下進(jìn)行。多云時(shí)光線柔和,晴天玉米旁有明顯陰影時(shí)光線強(qiáng)烈;晚上操作機(jī)器時(shí),光線明顯不足,整個(gè)視野變暗。田間試驗(yàn)結(jié)果如圖6所示。由圖6可知:玉米未收獲的邊緣LC值遠(yuǎn)低于閾值,通過與人工標(biāo)記邊緣的比較,誤差分析結(jié)果如圖7所示。由圖7可知:角度誤差的最大誤差和平均誤差分別為6.49°和0.81°,橫向像素誤差的最大誤差平均誤差分別為7像素和1.51像素; 與水稻田間試驗(yàn)相比,玉米橫向像素誤差的平均誤差較高,主要是由于玉米葉片較大且傾斜,檢測到的邊緣偏向收獲區(qū)域。

圖6 玉米未收獲面積等高線距離LC結(jié)果統(tǒng)計(jì)圖Fig.6 Statistical chart of the contour distance LC of the unharvested area of water maize

圖7 玉米檢測結(jié)果的誤差統(tǒng)計(jì)分析圖Fig.7 Statistical analysis of errors in corn detection results

3 作物收獲邊緣檢測的性能評價(jià)

水稻和玉米試驗(yàn)結(jié)果如表1和表2所示。試驗(yàn)結(jié)果表明:與檢測到的邊緣和手動(dòng)標(biāo)記的邊緣相比,橫向像素誤差的絕對誤差<8個(gè)像素,角度誤差的絕對誤差<5°,作物收獲邊緣檢測符合田間作業(yè)農(nóng)藝要求;在所有的收獲邊緣檢測試驗(yàn)中,玉米檢測成功率達(dá)到94%以上,水稻的檢測成功率達(dá)到98%以上。

表1 圖像處理結(jié)果統(tǒng)計(jì)表Table 1 Statistics of image processing results

表2 不同作物收獲邊緣檢測的準(zhǔn)確性能評估結(jié)果Table 2 Accurate performance evaluation results of harvest edge detection for different crops

對于 2200×1240 像素分辨率的圖像,每幀圖像處理時(shí)間≤300ms,對于 1280×720 像素分辨率的圖像,平均處理速度達(dá)到了每幀49ms。 檢測到的作物收獲邊緣的角度誤差RMSE<2.2,角度誤差的MAE<1.8,橫向像素誤差的RMSE<3.5像素,橫向像素誤差的MAE<2.5。與傳統(tǒng)立體視覺的方法相比,本研究提出的基于立體視覺下聯(lián)合收獲機(jī)邊緣檢測及精準(zhǔn)轉(zhuǎn)向系統(tǒng)具有明顯的應(yīng)用優(yōu)點(diǎn),如表3所示。

表3 與傳統(tǒng)方法對比結(jié)果統(tǒng)計(jì)表Table 3 Statistical table of comparison results with traditional methods

4 結(jié)論

針對目前聯(lián)合收獲機(jī)在田間作物收獲過程中存在的邊緣作物檢測收獲困難的問題,提出了一種基于立體視覺下聯(lián)合收獲機(jī)邊緣檢測及精準(zhǔn)轉(zhuǎn)向系統(tǒng),可通過掃描HSV顏色空間的H通道圖像,快速定位圖像中的作物收獲邊緣位置,并在ROI中確保目標(biāo)邊緣,且每幀圖像處理時(shí)間可減少0.1～0.2s,可有效減少圖像處理時(shí)間。針對未收獲區(qū)域等高線的水平長度區(qū)分未收獲作物邊緣和作物末端邊緣的原則及明顯特征,基于對水稻和玉米作物田間驗(yàn)證試驗(yàn)表明:未收獲作物邊緣的未收獲區(qū)域輪廓水平長度均小于150像素,而作物末端邊緣的水平長度大于300像素,可以實(shí)現(xiàn)未收獲作物邊緣的同時(shí)檢測。本研究提出的基于立體視覺下聯(lián)合收獲機(jī)邊緣檢測及精準(zhǔn)轉(zhuǎn)向系統(tǒng)具有較高的工作精度和效率,可為提高作物收獲性能提供技術(shù)參考與借鑒。