基于Harris和卡爾曼濾波的農(nóng)業(yè)機(jī)器人田間穩(wěn)像算法

王 杰 經(jīng)俊森,2 陳正偉 徐照勝 王少平

(1.中國(guó)科學(xué)院合肥物質(zhì)科學(xué)研究院， 合肥 230031； 2.安徽大學(xué)物質(zhì)科學(xué)與信息技術(shù)研究院， 合肥 230601)

0 引言

隨著智慧農(nóng)業(yè)[1-2]發(fā)展，農(nóng)業(yè)機(jī)器人輔助或者替代人工參與農(nóng)業(yè)作業(yè)逐漸成為研究熱點(diǎn)，其中計(jì)算機(jī)視覺(jué)是重要的機(jī)器人環(huán)境感知研究?jī)?nèi)容，如植物工廠、溫室大棚以及丘陵果園中的植株病蟲害[3-4]巡檢機(jī)器人[5-6]、高附加值果蔬精準(zhǔn)施藥機(jī)器人[7-8]以及各類采摘作業(yè)機(jī)器人[9-10]等。通常，研究人員需要機(jī)器人行走運(yùn)動(dòng)同時(shí)進(jìn)行高速圖像采集處理工作。例如，在農(nóng)業(yè)巡檢機(jī)器人病蟲害巡檢方面，機(jī)器人通過(guò)前端圖像采集，利用專家數(shù)據(jù)庫(kù)或深度學(xué)習(xí)等方法實(shí)現(xiàn)特定病蟲害自動(dòng)識(shí)別，實(shí)時(shí)向后端傳輸采集圖像，交付人工遠(yuǎn)程復(fù)檢或完成機(jī)器無(wú)法自動(dòng)識(shí)別的內(nèi)容，提升巡檢效率，并將圖像信息作為后期植保、施肥等管護(hù)作業(yè)基礎(chǔ)數(shù)據(jù)支持[11]；在農(nóng)業(yè)機(jī)器人自主行走方面，針對(duì)無(wú)衛(wèi)星或者衛(wèi)星信號(hào)嚴(yán)重遮擋情況下的機(jī)器人定位導(dǎo)航問(wèn)題，基于視覺(jué)或視覺(jué)與激光雷達(dá)融合技術(shù)的定位導(dǎo)航方法是區(qū)別于UWB、藍(lán)牙等技術(shù)的重要研究?jī)?nèi)容[12]。由于田間路面起伏，易造成機(jī)器人視覺(jué)圖像抖動(dòng)，且機(jī)器人運(yùn)動(dòng)速度越高，抖動(dòng)越嚴(yán)重，不利于類似前述圖像采集數(shù)據(jù)進(jìn)一步應(yīng)用，譬如通過(guò)實(shí)時(shí)畫面對(duì)作物表型進(jìn)行人工精準(zhǔn)識(shí)別，以及基于視覺(jué)或視覺(jué)與激光雷達(dá)融合的田間自主行走導(dǎo)航控制。因此，針對(duì)農(nóng)業(yè)機(jī)器人運(yùn)動(dòng)圖像采集工作，研究實(shí)時(shí)穩(wěn)像方法具有重要意義。

電子穩(wěn)像技術(shù)作為圖像處理的一個(gè)重要發(fā)展方向，在軍事、航空等領(lǐng)域研究較多。相比云臺(tái)等專業(yè)穩(wěn)像設(shè)備，電子穩(wěn)像不需額外硬件，具有一定成本優(yōu)勢(shì)，且可以針對(duì)圖像感興趣區(qū)域進(jìn)行局部穩(wěn)像，盡可能提高穩(wěn)像實(shí)時(shí)性，減小甚至消除抖動(dòng)，獲得平穩(wěn)圖像序列，因此，農(nóng)業(yè)領(lǐng)域相關(guān)研究也在逐漸增多。電子穩(wěn)像方法[13-15]中最關(guān)鍵技術(shù)是運(yùn)動(dòng)估計(jì)。根據(jù)運(yùn)動(dòng)估計(jì)方法差異，分為塊匹配[16]、位平面匹配法[17]、灰度投影法[18]、特征匹配法[19]和光流法[20]。光流法具有跟蹤精度高和應(yīng)用范圍廣等優(yōu)勢(shì)，是電子穩(wěn)像研究熱點(diǎn)。由于傳統(tǒng)光流法是計(jì)算整幅圖像光流矢量，存在計(jì)算量大和實(shí)時(shí)性差缺陷，所以本文對(duì)每幀圖像進(jìn)行角點(diǎn)檢測(cè)，僅計(jì)算角點(diǎn)處光流，達(dá)到降低計(jì)算量和提高整體算法實(shí)時(shí)性目的。因此，當(dāng)使用光流法作為運(yùn)動(dòng)估計(jì)方法時(shí)，角點(diǎn)檢測(cè)必不可少。研究表明，利用SIFT[21]和SURF[22]提取特征點(diǎn)進(jìn)行穩(wěn)像的速度相較于使用基于Harris角點(diǎn)檢測(cè)的穩(wěn)像算法慢很多。而傳統(tǒng)Harris角點(diǎn)檢測(cè)算法[23]存在角點(diǎn)提取分布不均勻，角點(diǎn)數(shù)目少問(wèn)題，尤其在農(nóng)業(yè)領(lǐng)域，由于環(huán)境復(fù)雜，該問(wèn)題更為突出。針對(duì)以上問(wèn)題，本文通過(guò)改進(jìn)Harris角點(diǎn)檢測(cè)算法和卡爾曼濾波算法，設(shè)計(jì)一種適用于農(nóng)業(yè)機(jī)器人顛簸田間環(huán)境的實(shí)時(shí)電子穩(wěn)像方法。

1 研究方法

1.1 傳統(tǒng)Harris角點(diǎn)檢測(cè)原理

HARRIS等[24]首次提出Harris角點(diǎn)檢測(cè)方法，其主要思路是利用圖像自相關(guān)性，并結(jié)合微分運(yùn)算來(lái)提取圖像特征點(diǎn)，具有很好魯棒性。

Harris角點(diǎn)檢測(cè)核心是描述像素鄰域梯度分布的二階矩陣M，其具體形式為

(1)

式中Ix——圖像在x方向上梯度

Iy——圖像在y方向上梯度

w(x,y)——以點(diǎn)(x,y)為中心的窗口函數(shù)，通常取高斯函數(shù)

二階矩陣M存在2個(gè)特征值λ1和λ2，特征值反映了像素點(diǎn)的位置關(guān)系和突出程度。通常利用兩個(gè)特征值構(gòu)建角點(diǎn)響應(yīng)函數(shù)re

re=detM-ktr(M)2

(2)

式中 detM——矩陣M的行列式

tr(M)——矩陣M的跡

k——系數(shù)，取0.04～0.06

角點(diǎn)響應(yīng)函數(shù)re值越大的點(diǎn)，表明該點(diǎn)突出程度越高，代表性越強(qiáng)。如果re大于設(shè)定閾值T，則該像素點(diǎn)為角點(diǎn)，反之不為角點(diǎn)。

1.2 改進(jìn)的Harris角點(diǎn)檢測(cè)算法

傳統(tǒng)Harris角點(diǎn)檢測(cè)算法基于閾值T進(jìn)行檢測(cè)，如果整幅圖像采用相同閾值T，當(dāng)圖像灰度差異過(guò)大時(shí)，將導(dǎo)致特征點(diǎn)分布不均勻，易造成特征點(diǎn)聚簇且影響算法實(shí)時(shí)性。因此，本文設(shè)計(jì)了一種自適應(yīng)閾值選取方法：將圖像分割為無(wú)重合子區(qū)域，通過(guò)計(jì)算每塊區(qū)域的灰度均方差進(jìn)行自適應(yīng)閾值構(gòu)建。

當(dāng)某塊圖像區(qū)域灰度值具有差異明顯，反映該區(qū)域存在大量的特征角點(diǎn)，反之特征角點(diǎn)較少。圖像灰度差異通常由圖像灰度均方差計(jì)算獲得，灰度均方差較大區(qū)域，應(yīng)設(shè)置較大閾值，灰度均方差較小區(qū)域，應(yīng)設(shè)置較小閾值。通過(guò)不同區(qū)域設(shè)置不同閾值，保持每塊區(qū)域的特征角點(diǎn)分布更加均勻。

具體的步驟如下：

(1)將每幀圖像進(jìn)行等比例分割，分割成3×3同等尺寸子區(qū)域。

(2)計(jì)算每個(gè)子區(qū)域平均灰度，計(jì)算式為

(3)

式中m、n——子區(qū)域的尺寸參數(shù)

I(i,j)——圖像在點(diǎn)(i,j)的灰度

(3)計(jì)算每塊子區(qū)域灰度均方差P，計(jì)算式為

(4)

(4)計(jì)算子區(qū)域中最大灰度均方差Pmax。

(5)根據(jù)各子區(qū)域灰度均方差與Pmax的比例設(shè)定自適應(yīng)閾值T，計(jì)算式為

(5)

式中T0——初始設(shè)置最大的閾值參數(shù)

該閾值設(shè)置方法能夠?qū)崿F(xiàn)圖像灰度差異較大時(shí)，提取到的特征角點(diǎn)分布均勻。

為了克服局部角點(diǎn)過(guò)于聚簇的問(wèn)題，需要對(duì)提取后的角點(diǎn)增加距離約束。具體角點(diǎn)選取步驟：先通過(guò)選取每塊子區(qū)域的角點(diǎn)響應(yīng)函數(shù)re值大于該區(qū)域自適應(yīng)閾值T的像素點(diǎn)作為特征角點(diǎn)，并避免選取的點(diǎn)距離過(guò)近，設(shè)定距離約束條件d，圖像尺寸與d相關(guān)，本文選取5個(gè)像素；然后對(duì)特征角點(diǎn)依次遍歷，若在特征角點(diǎn)鄰域內(nèi)存在其他特征角點(diǎn)，比較兩個(gè)點(diǎn)之間的距離，若距離小于約束條件d，再判斷兩點(diǎn)測(cè)量噪聲協(xié)方差矩陣R值，保留R值更大的點(diǎn)作為角點(diǎn)。

針對(duì)田間路況，采用基于圖像金字塔的L-K光流法[25]對(duì)提取的角點(diǎn)進(jìn)行跟蹤，再利用RANSAC[26]算法去除Harris角點(diǎn)檢測(cè)中存在的誤匹配點(diǎn)，最終得到水平偏移量dx、垂直偏移量dy和旋轉(zhuǎn)量dθ。

1.3 自適應(yīng)卡爾曼濾波算法

前述運(yùn)動(dòng)估計(jì)參數(shù)包含相機(jī)的主動(dòng)運(yùn)動(dòng)和隨機(jī)運(yùn)動(dòng)，可利用卡爾曼濾波算法[27]對(duì)相機(jī)的運(yùn)動(dòng)進(jìn)行分離，對(duì)相機(jī)的隨機(jī)運(yùn)動(dòng)進(jìn)行抑制或消除，僅保留相機(jī)的主動(dòng)運(yùn)動(dòng)，從而實(shí)現(xiàn)對(duì)得到的運(yùn)動(dòng)估計(jì)量的平滑操作。

卡爾曼濾波的預(yù)測(cè)模型計(jì)算式為

(6)

式中X(k|k-1)——第k幀對(duì)應(yīng)的狀態(tài)量預(yù)估值

P(k|k-1)——第k幀對(duì)應(yīng)的狀態(tài)協(xié)方差

A——系統(tǒng)的狀態(tài)轉(zhuǎn)移矩陣

Q——過(guò)程噪聲方差矩陣

卡爾曼濾波的更新模型計(jì)算式為

(7)

式中K(k)——第k幀卡爾曼增益

Z(k)——測(cè)量值

H——觀測(cè)矩陣

P(k|k)——平滑濾波后協(xié)方差

I——單位矩陣

田間抖動(dòng)視頻運(yùn)動(dòng)估計(jì)參數(shù)進(jìn)行平滑過(guò)程中，R和Q取值既要考慮濾除抖動(dòng)分量也要保留主動(dòng)運(yùn)動(dòng)分量，經(jīng)試驗(yàn)可取Q=0.01和R=1對(duì)運(yùn)動(dòng)參數(shù)進(jìn)行濾波，能夠達(dá)到較好濾波效果。

當(dāng)田間路面起伏較大時(shí)，運(yùn)動(dòng)估計(jì)變化會(huì)很劇烈，如果全局均設(shè)置單一Q和R進(jìn)行濾波操作，輸出結(jié)果將會(huì)跟原曲線存在較大偏差，造成輸出的視頻圖像存在大范圍未定義區(qū)域，增加運(yùn)動(dòng)補(bǔ)償?shù)碾y度且降低圖像質(zhì)量。為了解決全局單一濾波參數(shù)問(wèn)題，本文研究了自適應(yīng)調(diào)整濾波參數(shù)的卡爾曼濾波算法。

由于Q取值較小，難以根據(jù)運(yùn)動(dòng)量進(jìn)行準(zhǔn)確調(diào)節(jié)，故本文通過(guò)自適應(yīng)調(diào)節(jié)參數(shù)R，提高整體算法跟蹤及平滑效果。當(dāng)視頻序列中存在大幅度主動(dòng)運(yùn)動(dòng)時(shí)，應(yīng)減小R，提高系統(tǒng)跟隨性能。

先設(shè)一個(gè)長(zhǎng)度為L(zhǎng)的隊(duì)列，將得到的運(yùn)動(dòng)估計(jì)參數(shù)(dx,dy,dθ)存入隊(duì)列；當(dāng)隊(duì)列已滿時(shí)，計(jì)算當(dāng)前幀運(yùn)動(dòng)估計(jì)量及整個(gè)隊(duì)列運(yùn)動(dòng)估計(jì)量總和D(dx,dy,dθ)，之后刪除隊(duì)首元素，當(dāng)前幀運(yùn)動(dòng)估計(jì)量入隊(duì)，根據(jù)總和D自適應(yīng)修正R值。具體計(jì)算方式為

(8)

(9)

式中R0——初始值參數(shù)

Dx、Dy、Dθ——x、y、θ每個(gè)方向估計(jì)量單獨(dú)總和

當(dāng)存在主動(dòng)運(yùn)動(dòng)時(shí)，D中各方向累積量將會(huì)增加，此時(shí)R將會(huì)減小，卡爾曼濾波器增益K增加，整體跟隨性能提高，保留了主動(dòng)運(yùn)動(dòng)；反之，累積量較小，則相機(jī)主動(dòng)運(yùn)動(dòng)量較小，濾波器平滑性能提升，有效去除隨機(jī)抖動(dòng)。

經(jīng)過(guò)卡爾曼濾波后得到抖動(dòng)運(yùn)動(dòng)估計(jì)量，對(duì)前后幀圖像進(jìn)行仿射變換，利用雙線性插值[28]對(duì)變換后圖像中未定義區(qū)域進(jìn)行校正，最終輸出穩(wěn)像后圖像。

2 試驗(yàn)

2.1 試驗(yàn)設(shè)計(jì)

本文基于中國(guó)科學(xué)院合肥物質(zhì)科學(xué)研究院智能機(jī)械研究所研制的履帶式農(nóng)業(yè)機(jī)器人平臺(tái)進(jìn)行試驗(yàn)。如圖1所示，機(jī)器人運(yùn)動(dòng)速度1.8～5.4 km/h，采用的相機(jī)傳感器為森云智能公司SG2-IMX390C型低噪聲卷簾快門攝像機(jī)，幀頻率為30 f/s，快門時(shí)間約5 ms，水平視場(chǎng)角為90°，垂直視場(chǎng)角為47°，有效焦距為4 mm，曝光時(shí)間充足，不易出現(xiàn)單幀圖像晃動(dòng)、斜坡圖形和部分曝光，可以近乎實(shí)時(shí)地捕獲和處理高分辨率圖像。攝像機(jī)水平安裝于農(nóng)業(yè)機(jī)器人平臺(tái)正前方。

圖1 試驗(yàn)平臺(tái)及場(chǎng)景Fig.1 Experiment platform and scene1.信號(hào)接收器 2.農(nóng)業(yè)機(jī)器人平臺(tái) 3.攝像頭

為檢驗(yàn)改進(jìn)后Harris角點(diǎn)檢測(cè)穩(wěn)像算法對(duì)田間起伏路面適用性和穩(wěn)像效果，本文選取長(zhǎng)豐縣崗集鎮(zhèn)皖信家庭農(nóng)莊葡萄樹(shù)、火龍果和橘樹(shù)種植試驗(yàn)場(chǎng)景。通過(guò)農(nóng)業(yè)機(jī)器人平臺(tái)以分辨率1 920像素×1 080像素、幀率30 f/s采集機(jī)器人田間運(yùn)動(dòng)期間起伏路況視頻圖像。

2.2 特征點(diǎn)提取試驗(yàn)

圖2a為農(nóng)業(yè)機(jī)器人平臺(tái)在橘樹(shù)田間路況場(chǎng)景，圖2b為傳統(tǒng)Harris角點(diǎn)檢測(cè)算法提取的角點(diǎn)示意圖。角點(diǎn)檢測(cè)過(guò)程中，計(jì)算出角點(diǎn)響應(yīng)函數(shù)中det(M)與tr(M)值關(guān)系如圖2c所示。在設(shè)置初始閾值時(shí)，通常設(shè)為角點(diǎn)響應(yīng)函數(shù)re最大值的k倍，k一般取0.005～0.015，為了提取足夠多角點(diǎn)，本文k取0.005。

圖2 傳統(tǒng)Harris角點(diǎn)檢測(cè)算法Fig.2 Traditional Harris corner detection algorithm

通過(guò)圖2b可知，傳統(tǒng)Harris角點(diǎn)檢測(cè)算法提取到的角點(diǎn)全部集中在圖像上半部分，分布非常不均勻，且提取的角點(diǎn)數(shù)目較少。由圖2c可見(jiàn)，傳統(tǒng)Harris角點(diǎn)檢測(cè)算法提取的角點(diǎn)呈現(xiàn)聚簇現(xiàn)象，導(dǎo)致提取結(jié)果不均勻。

由圖3a可見(jiàn)，與傳統(tǒng)Harris角點(diǎn)檢測(cè)算法相比，改進(jìn)后提取的角點(diǎn)分布更加均勻。由圖3b可見(jiàn)，由于采用子區(qū)域自適應(yīng)閾值設(shè)定，角點(diǎn)呈現(xiàn)均勻分布。通過(guò)圖3c和圖3d對(duì)比可見(jiàn)，改進(jìn)前后設(shè)置的特征角點(diǎn)尺寸相同，改進(jìn)前角點(diǎn)間易發(fā)生聚簇現(xiàn)象，導(dǎo)致同一塊區(qū)域的特征角點(diǎn)連在一起難以區(qū)分，角點(diǎn)誤匹配率高，不利于后續(xù)光流跟蹤；改進(jìn)后同一區(qū)域的角點(diǎn)間隙明顯，避免了局部角點(diǎn)過(guò)于聚集問(wèn)題。

圖3 改進(jìn)Harris角點(diǎn)檢測(cè)算法Fig.3 Improved Harris corner detection algorithm

為了驗(yàn)證改進(jìn)后Harris角點(diǎn)檢測(cè)的分布情況，在VS2013+Inter(R)Core(TM)i5-8300H CPU試驗(yàn)設(shè)備上分別對(duì)300幅圖像使用改進(jìn)前后的Harris角點(diǎn)檢測(cè)方法，進(jìn)行角點(diǎn)提取。將每幅圖像劃分成3×3子區(qū)域，統(tǒng)計(jì)每一子區(qū)域的角點(diǎn)數(shù)，最終計(jì)算整幅圖像的子區(qū)域角點(diǎn)分布標(biāo)準(zhǔn)差。為確保單一變量原則，保持改進(jìn)前后角點(diǎn)檢測(cè)方法角點(diǎn)數(shù)提取一致，將300幅圖像平均分成3份，每份角點(diǎn)數(shù)分別為500、800和1 000，計(jì)算平均標(biāo)準(zhǔn)差。通常角點(diǎn)數(shù)可根據(jù)圖像尺寸確定，本文起始角點(diǎn)數(shù)設(shè)置500，即可較好觀測(cè)角點(diǎn)分布情況。為了分析角點(diǎn)數(shù)對(duì)平均分布標(biāo)準(zhǔn)差影響，需要增加角點(diǎn)數(shù)，故設(shè)置了800和1 000。表1 為改進(jìn)前后Harris角點(diǎn)的區(qū)域平均分布。

表1 改進(jìn)前后Harris角點(diǎn)的區(qū)域平均分布Tab.1 Regional average distribution of Harris corner points before and after improvement

通過(guò)表1可得，改進(jìn)后Harris角點(diǎn)檢測(cè)方法的分布標(biāo)準(zhǔn)差均小于改進(jìn)前，表明提取的角點(diǎn)分布比原先更加均勻。隨著角點(diǎn)數(shù)的增加，改進(jìn)后標(biāo)準(zhǔn)差的降低率將增大，分布將更加均勻。

2.3 運(yùn)動(dòng)平滑試驗(yàn)

針對(duì)不同Q、R參數(shù)在卡爾曼濾波中影響，本文研究了參數(shù)Q、R在實(shí)際運(yùn)動(dòng)參數(shù)平滑中的特點(diǎn)。圖4為未改進(jìn)前卡爾曼濾波器中不同Q、R值的濾波效果。由圖4可知，Q越小、R越大曲線越平滑。保留相機(jī)主動(dòng)運(yùn)動(dòng)情況下，濾波后的曲線越平滑表明高頻抖動(dòng)分量消除效果越好。綜合圖4a、4b可知，Q=0.01，R=1時(shí)，平滑效果最好。

圖4 R和Q取值不同時(shí)的濾波結(jié)果Fig.4 Filter results with different values of R and Q

針對(duì)卡爾曼濾波器全局單一Q、R參數(shù)問(wèn)題，當(dāng)相機(jī)主動(dòng)運(yùn)動(dòng)分量較大時(shí)，恒定系數(shù)不能很好保持相機(jī)主動(dòng)運(yùn)動(dòng)，需要設(shè)置自適應(yīng)卡爾曼濾波系數(shù)進(jìn)行平滑操作。由于Q系數(shù)較小，改進(jìn)卡爾曼濾波器僅改變R。圖5為改進(jìn)前后卡爾曼濾波器對(duì)旋轉(zhuǎn)量平滑效果，改進(jìn)前后Q設(shè)置均為0.01，而改進(jìn)前R設(shè)置為1，改進(jìn)后R設(shè)置為自適應(yīng)，其值同累積量相關(guān)?？梢钥闯觯?dāng)主動(dòng)運(yùn)動(dòng)較小時(shí)，改進(jìn)前后都能保證較好平滑效果；當(dāng)主動(dòng)運(yùn)動(dòng)較大時(shí)，改進(jìn)前濾波后曲線明顯不能跟蹤相機(jī)運(yùn)動(dòng)。

圖5 改進(jìn)前后卡爾曼濾波器的平滑結(jié)果Fig.5 Smoothing results of Kalman filter before and after improvement

圖5a為跟蹤存在單峰主動(dòng)運(yùn)動(dòng)時(shí)改進(jìn)前后卡爾曼濾波平滑結(jié)果，改進(jìn)前其峰值僅為原始參數(shù)25.4%，跟蹤效果差，改進(jìn)后其峰值為原始參數(shù)80.5%，在保證隨機(jī)運(yùn)動(dòng)平滑效果前提下，其跟蹤效果提升55.1個(gè)百分點(diǎn)，極大提升了跟蹤性能。

由圖5b可見(jiàn)，跟蹤第1個(gè)單峰時(shí)，改進(jìn)后跟蹤效果明顯優(yōu)于改進(jìn)前，跟蹤第2個(gè)單峰，改進(jìn)前其峰值為原始參數(shù)18.4%，而改進(jìn)后其雙峰值為原始參數(shù)24.8%，在保證隨機(jī)運(yùn)動(dòng)平滑效果的前提下，其跟蹤效果提升6.4個(gè)百分點(diǎn)。綜合單雙峰跟蹤情況，改進(jìn)后平均跟蹤性能比改進(jìn)前提升30.75個(gè)百分點(diǎn)。

2.4 穩(wěn)像效果試驗(yàn)

本文以常用的峰值信噪比(PSNR)[29]和單幀處理時(shí)間指標(biāo)評(píng)估測(cè)試算法有效性。PSNR越大，說(shuō)明前后兩幀圖像重合度越高，圖像穩(wěn)定效果越好；單幀處理時(shí)間越短，實(shí)時(shí)性越好。

取試驗(yàn)平臺(tái)在田間采集的任意200幀抖動(dòng)視頻圖像計(jì)算穩(wěn)像前后的PSNR。圖6為穩(wěn)像前后圖像序列的PSNR，可見(jiàn)針對(duì)同一幀圖像：穩(wěn)像后的PSNR普遍大于穩(wěn)像前，穩(wěn)像前圖像平均PSNR為18.52 dB，穩(wěn)像后圖像平均PSNR為21.47 dB，提高2.95 dB，相對(duì)于穩(wěn)像前提高15.93%。

圖6 穩(wěn)像前后圖像PSNR對(duì)比結(jié)果Fig.6 PSNR comparison results before and after image stabilization

為更加直觀表明穩(wěn)像前后效果，如圖7所示，設(shè)置相鄰幀圖像穩(wěn)像前后對(duì)照，其中紅色直線為參考輔助線，便于觀察基于參照物圖框中線選取。通過(guò)對(duì)比穩(wěn)像前后背景參照物離輔助線的距離，可直觀評(píng)估穩(wěn)像效果：穩(wěn)像前同一水平線下，景物位置發(fā)生了明顯偏移，而穩(wěn)像后景物位置幾乎在同一位置，穩(wěn)像后視頻抖動(dòng)干擾去除明顯。

圖7 穩(wěn)像前后相鄰幀對(duì)比結(jié)果Fig.7 Comparison results before and after image stabilization

為驗(yàn)證本文算法改進(jìn)效果，選擇基于Harris角點(diǎn)檢測(cè)的常用穩(wěn)像算法開(kāi)展對(duì)比測(cè)試。測(cè)試圖像數(shù)據(jù)均來(lái)源于試驗(yàn)平臺(tái)采集的田間抖動(dòng)視頻。測(cè)試中設(shè)置特征點(diǎn)采集個(gè)數(shù)為200，進(jìn)一步提高穩(wěn)像算法實(shí)時(shí)性。試驗(yàn)仿真環(huán)境為ubuntu 16.04操作系統(tǒng)及ROS架構(gòu)，系統(tǒng)配置為Intel(R)Core(TM)i7-8700CPU, 3.20 GHz。為驗(yàn)證改進(jìn)后的Harris角點(diǎn)檢測(cè)算法與自適應(yīng)卡爾曼濾波算法對(duì)穩(wěn)像效果影響，分別進(jìn)行了測(cè)試。

通過(guò)表2可知，本文算法穩(wěn)像后圖像的PSNR相比于穩(wěn)像前提高15.93%，單幀處理時(shí)間為25.66 ms；改進(jìn)后Harris角點(diǎn)檢測(cè)算法相對(duì)于改進(jìn)前，PSNR提高3.51個(gè)百分點(diǎn)；自適應(yīng)卡爾曼濾波算法相對(duì)于改進(jìn)前，PSNR提高1.56個(gè)百分點(diǎn)；本文算法PSNR總體提高6.64個(gè)百分點(diǎn)。自適應(yīng)卡爾曼濾波算法對(duì)實(shí)時(shí)性影響很小，本文單幀處理時(shí)間為25.66 ms，相對(duì)于未改進(jìn)前縮短44.42%，能夠滿足幀速率30 f/s下的實(shí)時(shí)處理。

表2 穩(wěn)像效果和速度Tab.2 Image stabilization effect and speed

3 結(jié)論

(1)分析了農(nóng)業(yè)機(jī)器人平臺(tái)采集的田間抖動(dòng)視頻圖像序列，利用改進(jìn)Harris角點(diǎn)檢測(cè)算法，解決了傳統(tǒng)Harris角點(diǎn)檢測(cè)算法提取角點(diǎn)分布不均勻和局部角點(diǎn)聚簇問(wèn)題；采用自適應(yīng)卡爾曼濾波算法，解決了傳統(tǒng)卡爾曼濾波算法無(wú)法很好跟蹤相機(jī)主動(dòng)運(yùn)動(dòng)問(wèn)題；最后經(jīng)過(guò)穩(wěn)像處理抑制了相機(jī)隨機(jī)抖動(dòng)對(duì)視頻圖像影響。

(2)試驗(yàn)表明，改進(jìn)后Harris角點(diǎn)檢測(cè)算法能有效解決角點(diǎn)聚簇問(wèn)題，角點(diǎn)區(qū)域平均分布標(biāo)準(zhǔn)差隨著角點(diǎn)數(shù)目的增加而下降；自適應(yīng)卡爾曼濾波算法在保證平滑隨機(jī)運(yùn)動(dòng)前提下，跟蹤主動(dòng)運(yùn)動(dòng)性能提升30.75個(gè)百分點(diǎn)；本文算法同傳統(tǒng)基于Harris角點(diǎn)檢測(cè)的穩(wěn)像算法相比，PSNR提高6.64個(gè)百分點(diǎn)，單幀處理時(shí)間縮短44.42%，且穩(wěn)像后圖像PSNR相比于穩(wěn)像前提高15.93%，單幀處理時(shí)間為25.66 ms，滿足農(nóng)業(yè)機(jī)器人以運(yùn)動(dòng)速度1.8～5.4 km/h運(yùn)動(dòng)及圖像采集幀速率30 f/s的實(shí)時(shí)處理要求。