基于多傳感器信息融合的機器人障礙物檢測

王中立，牛穎

（太原理工大學(xué)信息工程學(xué)院，山西太原030024）

基于多傳感器信息融合的機器人障礙物檢測

王中立，牛穎

（太原理工大學(xué)信息工程學(xué)院，山西太原030024）

針對單一傳感器在機器人避障過程中不能全面且準(zhǔn)確定位障礙物的缺點，提出基于多傳感器信息融合的障礙物檢測方法。第一階段使用視覺傳感器檢測未知環(huán)境中的障礙物，通過Zernike矩邊緣檢測方法提取障礙物圖像邊緣，然后采用Hough變換原理提取障礙物的直線特征，獲得障礙物大概位置；第二階段使用超聲波傳感器和紅外傳感器對障礙物進行檢測，獲得障礙物準(zhǔn)確位置；最后使用聯(lián)合卡爾曼濾波對3種傳感器獲得的信息進行融合，得出融合后的障礙物位置信息。實驗結(jié)果表明：該方法克服視覺傳感器、超聲波傳感器和紅外傳感器的局限性，可以精確感知機器人周圍的未知環(huán)境信息，并能夠檢測和定位機器人路徑上的障礙物，定位誤差〈6cm，滿足機器人避障的實時性和可靠性需求。

障礙物檢測；信息融合；聯(lián)合卡爾曼濾波；視覺傳感器；Zernike矩；Hough變換

0 引言

現(xiàn)如今，機器人在工業(yè)、軍事、醫(yī)療、空間等領(lǐng)域應(yīng)用廣泛，具有重要的使用價值。移動機器人是集環(huán)境感知、動態(tài)規(guī)劃、行為控制與任務(wù)執(zhí)行等多個功能于一體的綜合控制系統(tǒng)，具有定位導(dǎo)航和自主避障功能[1]。在未知環(huán)境下機器人進行自主導(dǎo)航的關(guān)鍵是必須得具有良好的避障能力，這也是當(dāng)前機器人研究的熱點和難點。

對障礙物的檢測主要通過各種傳感器進行感知，傳感器主要分為兩類：被動傳感器和主動傳感器。其中，被動傳感器主要是各種攝像機，通過攝像機獲得圖像并對其進行處理，從而獲得障礙物的各種信息，但視覺傳感器易受環(huán)境影響，采集信息的可靠性差；主動傳感器包括激光傳感器、紅外傳感器、超聲波傳感器等，它們可以利用自身測量的信號對環(huán)境進行描述，受環(huán)境變化影響小，魯棒性強，感知的信息可靠，準(zhǔn)確度高。當(dāng)機器人處在復(fù)雜環(huán)境下時，采用單一傳感器來感知所處的環(huán)境，其感知障礙物能力差，且得到的障礙物信息誤差大。因此，很多學(xué)者提出采用多傳感器信息融合的方式對機器人障礙物進行檢測，在一定程度上提高了檢測準(zhǔn)確度。

本文為了進一步提高移動機器人障礙物檢測準(zhǔn)確度，提出了采用視覺傳感器、超聲波傳感器和紅外傳感器相互融合的障礙物檢測方法，并把3種傳感器得到的信息通過聯(lián)合卡爾曼濾波方法進行融合，將融合后的信息作為最后檢測結(jié)果。

1 機器人模型

機器人避障過程中不僅要考慮自身狀態(tài)，還要判斷障礙物的信息，所以機器人避障比較復(fù)雜。一般根據(jù)具體應(yīng)用問題來構(gòu)建機器人模型，從而估計機器人的運動軌跡和環(huán)境信息。本文構(gòu)建了一個四足型機器人模型，如圖1所示。

由于該四足機器人每條腿結(jié)構(gòu)都相同，因此對其中一條腿進行運動學(xué)分析，建立單腿D-H坐標(biāo)系如圖2所示，參數(shù)如表1所示。

將每個連桿變換矩陣相乘則可以得到機器人軀體到足端的變換矩陣，即：

式中：

圖1 四足機器人結(jié)構(gòu)示意圖

圖2 單腿D-H坐標(biāo)系

表1 四足機器人單腿D-H參數(shù)表

ci=cosθi，si=sinθi，i=1，2，3。

因此，足端的變換矩陣04A以及機器人足端相對于基坐標(biāo)系{0}的位姿可以根據(jù)θ1、θ2和θ3的值得出。

2 多傳感器信息融合技術(shù)

多傳感器信息融合技術(shù)是針對一個系統(tǒng)采用多種傳感器獲取信息而展開的有關(guān)數(shù)據(jù)處理的研究[2]。采用多個傳感器獲取信息可以使傳感器之間存在互補，以及得到冗余數(shù)據(jù)，增加系統(tǒng)可靠性和容錯性，克服單一傳感器的局限性以及獲取信息的不全面性[3]。

多傳感器信息進行融合的方法包括Bayes估計法、卡爾曼濾波法、D_S證據(jù)理論、BP神經(jīng)網(wǎng)絡(luò)以及小波分析理論等[4]。現(xiàn)如今，多傳感器信息融合技術(shù)在機器人避障方面應(yīng)用廣泛，不但增加了機器人系統(tǒng)避障的可靠性和容錯能力，還增加了數(shù)據(jù)的可信度并提高了檢測準(zhǔn)確度。

3 聯(lián)合卡爾曼濾波方法

3.1 聯(lián)合卡爾曼濾波原理

聯(lián)合卡爾曼濾波器是通過分塊估計、兩步級聯(lián)的方法來進行數(shù)據(jù)處理的技術(shù)，其基本思想是先分散處理，再進行全局融合[5]。在聯(lián)合濾波中，假設(shè)系統(tǒng)含有多個外部傳感器，卡爾曼濾波器則會對應(yīng)于不同的傳感器分別形成多個局部濾波器，并且每個局部濾波器并行工作，得到建立在局部測量基礎(chǔ)上的局部最優(yōu)估計，再經(jīng)過一個主濾波器對所有的局部最優(yōu)估計進行信息融合，最終給出全局最佳狀態(tài)估計。

3.2 聯(lián)合卡爾曼濾波算法

假設(shè)研究對象是一個隨機線性離散系統(tǒng)，那么其卡爾曼濾波狀態(tài)方程可以表示為

式中：X（k）——研究對象的狀態(tài)向量；

Φ（k）——狀態(tài)轉(zhuǎn)移矩陣；

B（k）——輸入控制矩陣；

U（k）——控制向量；

W（k）——過程噪聲。

當(dāng)對系統(tǒng)進行獨立觀測時，如果采用N個傳感器，那么根據(jù)聯(lián)合卡爾曼濾波原理可知，相應(yīng)的局部濾波器就會有N個，并且都可以獨自完成對單個傳感器數(shù)據(jù)的濾波運算，設(shè)第i個局部濾波器的模型為

式中：Zi（k）——第i個傳感器的觀測量；

Hi（k）——第i個傳感器的觀測矩陣；

Vi（k）——第i個傳感器的觀測噪聲。

4 視覺傳感器障礙物檢測

4.1 基本理論

移動機器人在運動過程中，首先要感知環(huán)境中可能存在的障礙物信息，然后根據(jù)障礙物信息對其運動路徑進行自主規(guī)劃，最后根據(jù)規(guī)劃好的路徑進行運動，從而能夠規(guī)避路徑中的障礙物，安全到達目的地，完成指定任務(wù)[6]。視覺傳感器檢測障礙物位置信息時，先通過攝像機對障礙物可能所在的環(huán)境進行拍照，通過圖像處理后提取圖像中障礙物的特征，最后經(jīng)過相應(yīng)的計算得出障礙物的位置信息。本文為了簡化問題做出如下假設(shè)：環(huán)境中障礙物的高度不低于移動平面；障礙物特征明顯且與背景特征差別較大，邊緣特征比較突出；障礙物上的點處于同一距離上。

視覺傳感器通過單幀圖像或者多幀圖像進行圖像檢測，其中單幀圖像在檢測障礙物時，比多幀圖像檢測簡單且用時較短。根據(jù)機器人檢測障礙物的實時性，本文選擇單幀圖像來檢測障礙物位置信息。

4.2 提取障礙物邊緣特征

圖像邊緣特征提取方法有Sobel算子邊緣檢測、Canny邊緣檢測、Roberts算子邊緣檢測以及Zernike矩邊緣檢測等方法[7]。由于Zernike矩是一個積分算子，對噪聲不敏感且具有圖像旋轉(zhuǎn)不變性，因此本文利用Zernike矩進行邊緣檢測。

4.2.1 Zernike矩原理

Zernike提出了一組多項式{Vnm（x，y）}，此組多項式在單位圓{x2+y2≤1}內(nèi)是正交的，其數(shù)學(xué)表達式[8]為

式中：n、m——Zernike矩多項式的階數(shù)；

ρ——圓心到像素點（x，y）的長度；

θ——ρ與坐標(biāo)軸x之間的夾角。

Zernike多項式正交且滿足：

式中[Vnm（x，y）]*為Vnm（x，y）的共軛。

圖像的Zernike矩就是圖像在上述正交多項式{Vnm（x，y）}上的投影。

連續(xù)圖像函數(shù)f（x，y）在單位圓外趨近于0，并且它的重復(fù)率為m的n階Zernike矩定義為

由以上可知，計算圖像的Zernike矩時，不對單位圓外的點進行計算，使用Vnm*（ρ，θ）可以提取圖像特征。在圖像分析中，Zernike矩能夠使信息冗余達到最優(yōu)，這是因為Zernike多項式具有正交性；而它具有的遞歸性質(zhì)，則能夠進行快速計算。此外，Zernike矩還具有旋轉(zhuǎn)不變性，即當(dāng)圖像旋轉(zhuǎn)一定角度φ后，得到圖像的Zernike矩A′nm和初始圖像的Zernike矩Anm具有以下關(guān)系：

從式（9）可以看出，當(dāng)Zernike矩旋轉(zhuǎn)一定角度后，其幅值不變，僅僅是相位發(fā)生變化，此特性在模式識別和匹配中具有重要作用。

4.2.2邊緣檢測

建立階躍邊緣理想模型如圖3所示。圖中圓為單位圓，直線L在單位圓內(nèi)的部分被看作理想邊緣，其兩側(cè)的灰度值分別表示為h和h+k，其灰度差則為k；原點到直線邊緣的垂直距離為l，l∈[-1，1]，l和x軸的夾角為φ，φ∈[-π/2，π/2]。

由圖3（b）可知，旋轉(zhuǎn)后的圖像f′（x，y）關(guān)于x軸對稱，其質(zhì)心落在x軸上，因此其一階幾何矩A01滿足：

A11和A20分別對應(yīng)的積分核函數(shù)為V11=x+jy，V20=2x2+2y2-1。根據(jù)旋轉(zhuǎn)不變性，使用A′11和A′20來表示圖像旋轉(zhuǎn)后的Zernike矩，則旋轉(zhuǎn)前后Zernike矩的關(guān)系可以表示為

因為A01是A′11的虛部，所以有：

經(jīng)過推導(dǎo)有：

再經(jīng)過進一步推導(dǎo)可得出：

聯(lián)立式（14）和式（15）得到邊緣參數(shù)l和k：

假設(shè)圖3（a）中原點坐標(biāo)為（x，y），垂點坐標(biāo)為（x′，y′），則得到：

通過式（18）來確定垂點是否作為最終的邊緣點，這取決于k與設(shè)定閾值間的大小關(guān)系，而l的取值范圍為[-1，1]，因此邊緣定位的準(zhǔn)確度為亞像素級。而對于數(shù)字圖像，Zernike矩的計算則可以通過模板與圖像的卷積實現(xiàn)。設(shè)模板的大小為N×N，則在定位邊緣點應(yīng)將l放大倍：

圖3 階躍邊緣理想模型

4.3 提取直線段特征

利用Zernike矩邊緣檢測方法提取出圖像的邊緣后，再通過Hough變換進行直線特征提取。Hough變換方法是利用拍攝圖像的全局特性進行直接檢測目標(biāo)輪廓，可以在事先確定區(qū)域形狀的情況下獲得邊界曲線，將不連續(xù)的邊緣像素點連接起來，分割出某些已知形狀的目標(biāo)[9]。

在參數(shù)空間中，曲線的形狀取決于表示曲線的原始函數(shù)。為了避免直線為垂直線時所帶來的問題，采用極坐標(biāo)形式，其方程為

式（20）中，（x，y）被映射到空間（ρ，θ），如果直線上有n個點，則這些點對應(yīng)參數(shù)空間（ρ，θ）上的n條正弦曲線，同時這些曲線過（ρ，θ）上的同一個點。Hough變換在表示離散參數(shù)值時，常把參數(shù)空間設(shè)計成一個累加器陣列，根據(jù)變換方程可以把圖像中的每一點表示成幾個參數(shù)，那么一條直線上的參數(shù)就是參數(shù)空間的峰值[10]。利用Hough變換檢測直線段其抗噪性能好，且可以連接同一直線方向上間距小于某一閾值的短直線為一條直線。

5 超聲波傳感器和紅外傳感器障礙物檢測

在未知環(huán)境中，單一傳感器檢測障礙物難以獲得理想結(jié)果，因此，將視覺傳感器檢測障礙物看作第一階段，然后再利用超聲波傳感器和紅外傳感器進行第二階段的障礙檢測。一般超聲波傳感器測距范圍為0.4～7 m，存在40 cm的測量盲區(qū)，而紅外傳感器測距范圍為10～80 cm，可以在一定程度上彌補超聲波傳感器測距存在的盲區(qū)，獲得障礙物準(zhǔn)確的位置信息。

5.1 超聲波傳感器測距

超聲波傳感器具有發(fā)射端和接收端，當(dāng)進行測距時，利用發(fā)射端向某一方向發(fā)射超聲波同時開始計時，如果超聲波遇到障礙物，則會立即返回，其接收端在接收到反射回來的超聲波時停止計時[11]。假設(shè)超聲波在空氣中的傳播速度為V，發(fā)射和接收的時間差為t，則可以計算出傳感器離障礙物的距離S，即：

超聲波是一種聲波，其聲速與溫度有關(guān)，當(dāng)溫度為T時，超聲波傳播速度為5.2紅外傳感器測距

紅外傳感器是一種對入射光位置敏感的光電器件，利用光學(xué)三角測距原理可實現(xiàn)傳感器到障礙物的距離測量[12]。紅外傳感器檢測障礙物原理如圖4所示，從圖中可以看出，光源發(fā)出的光線經(jīng)透鏡L1聚焦后向外發(fā)出，當(dāng)光線碰到障礙物時，就會反射回來，到達接收端，反射光通過透鏡L2聚焦到光敏器件上，形成一個入射光點D。若透鏡L1和L2間的中心距離為b，透鏡到光敏器件的距離為f，聚焦在光敏器件上的光斑D與感光元件中心C之間的距離為x，則根據(jù)三角形相似原理，可得出待測距離h：式中b、f是傳感器的已知參數(shù)。

因此只要測出在光敏元件上的入射光點位置坐標(biāo)就可以得出傳感器與障礙物之間的距離。

圖4 紅外傳感器測距示意圖

6 聯(lián)合卡爾曼濾波方法在多傳感器信息融合中的應(yīng)用

本文使用了3種傳感器對障礙物進行檢測，因此需要3個局部濾波器，根據(jù)各自觀測量進行局部最優(yōu)估計。在這一層進行并行處理的分散估計，利用傳統(tǒng)的集中式卡爾曼濾波器進局部狀態(tài)估計。時間更新方程和測量更新方程式為卡爾曼濾波器的2個部分[13]。

卡爾曼濾波器的時間更新方程：

式中：Si（k+1）=Hi（k+1）Pi（k+1|k）Hi（k+1）+Ri（k+1）為新息協(xié)方差陣；稱為新息；為一步預(yù)測狀態(tài)，Pi（k+1|k）為一步預(yù)測協(xié)方差，Ki（k+1）為濾波器增益，為更新狀態(tài)，Pi（k+1|k+1）為更新的誤差協(xié)方差。

7 仿真實驗及結(jié)果分析

在Matlab中進行實驗仿真，假設(shè)機器人做勻速直線運動，速度為0.4m/s，以周期T=1s進行采樣，同時假設(shè)過程噪聲和測量噪聲都是均值為0的高斯噪聲，并且兩者相互獨立。聯(lián)合卡爾曼濾波方法是一個迭代過程，需要給定初始值，根據(jù)以上假設(shè)條件令P（0|0）=04×4，X（0|0）=[6，-0.4]。

圖5 卡爾曼濾波后的視覺測距信號

圖6 卡爾曼濾波后的超聲波測距信號

圖7 卡爾曼濾波后的紅外測距信號

圖8 基于聯(lián)合卡爾曼濾波的多傳感器融合值

圖5～圖7分別是為視覺傳感器、超聲波傳感器以及紅外傳感器的測量信號經(jīng)過卡爾曼濾波后得到的曲線圖，圖中的目標(biāo)是指傳感器所檢測到的障礙物。從圖中可以看出，經(jīng)過卡爾曼濾波后的值接近真實值，與未經(jīng)過卡爾曼濾波后的值相比誤差有所減小。但仍不能滿足機器人障礙物檢測的要求，需進一步進行多傳感器信息融合。

圖8為該3種傳感器的測距信號經(jīng)過聯(lián)合卡爾曼濾波融合后的信號，從圖中可知，融合后的信號更接近真實值，測量誤差在6 cm以內(nèi)，滿足機器人避障要求。

8 結(jié)束語

機器人在未知環(huán)境中進行移動時，由于環(huán)境的復(fù)雜性以及未知環(huán)境的影響，導(dǎo)致單一傳感器獲取信息不全面、不可靠。為了提高移動機器人檢測障礙物的準(zhǔn)確度和可靠性，提出了利用視覺傳感器、超聲波傳感器和紅外傳感器相融合的移動機器人障礙物檢測方法。該方法將視覺傳感器對障礙物的檢測看作是第一階段，得到障礙物的大概位置，第二階段利用超聲波傳感器和紅外傳感器對確定的障礙物進行精確檢測，最后通過聯(lián)合卡爾曼濾波方法對多傳感器獲得的信息進行融合。該方法能夠有效檢測和定位障礙物的位置信息，定位誤差〈6 cm，能夠使移動機器人適應(yīng)復(fù)雜的環(huán)境。

[1]李燦.智能移動機器人導(dǎo)航策略研究與實現(xiàn)[D].杭州：浙江工業(yè)大學(xué)，2013.

[2]程虹霞，駱云志，朱松柏，等.多傳感器信息融合技術(shù)在無人平臺避障中的應(yīng)用[J].兵工自動化，2010，29（6）：89-91.

[3]宋明月.基于多傳感器信息融合的關(guān)鍵技術(shù)的研究[D].哈爾濱：哈爾濱工程大學(xué)，2011.

[4]咸寶金.基于專家系統(tǒng)的數(shù)據(jù)融合技術(shù)及在機器人避障中的應(yīng)用[D].北京：北方工業(yè)大學(xué)，2008.

[5]崔平遠，黃曉瑞.基于聯(lián)合卡爾曼濾波的多傳感器信息融合算法及其應(yīng)用[J].電機與控制學(xué)報，2001，5（3）：204-207.

[6]唐建平，宋紅生，王東署.一種移動機器人動態(tài)環(huán)境下的路徑規(guī)劃[J].鄭州大學(xué)學(xué)報（理學(xué)版），2012，44（1）：75-78.

[7]龍清.圖像邊緣檢測中的微分算子法及其比較[J].信息技術(shù)，2011（6）：98-101.

[8]蔡小帥，張榮國，李富萍，等.基于Zernike矩的模糊與仿射混合不變量研究[J].計算機工程，2014，40（11）：215-219.

[9]李金泉，陳善本，吳林.一種基于Zernike矩的直線提取算法[J].光電子·激光，2003，14（8）：851-854.

[10]楊全銀.基于Hough變換的圖像形狀特征檢測[D].濟南：山東大學(xué)，2009.

[11]楊芳沛，李偉光，鄭少華，等.基于超聲波傳感器的AGV避障模塊設(shè)計與實現(xiàn)[J].電子設(shè)計工程，2015，23（22）：56-60.

[12]閆俊旭，侯超.基于紅外反射式光電傳感器的智能循跡小車[J].山西電子技術(shù)，2012（2）：34-35.

[13]劉國海，李沁雪，施維，等.動態(tài)卡爾曼濾波在導(dǎo)航試驗狀態(tài)估計中的應(yīng)用[J].儀器儀表學(xué)報，2009，30（2）：396-400.

（編輯：商丹丹）

Obstacle detection of robot based on multi-sensor information fusion

WANG Zhongli，NIU Ying
（College of Information Engineering，Taiyuan University of Technology，Taiyuan 030024，China）

Aimingattheshortcomingthatthesinglesensorcouldnotlocatetheobstacle completely and accurately in the process of obstacle avoidance of the robot，an obstacle detection method based on multi-sensor information fusion was proposed.Firstly，vision sensor was used to detect the obstacle in unknown environment.The edge of the obstacle image was extracted by the Zernike moment edge detection method，then the Hough transform principle was used to extract the straight line feature of the obstacle，so as to obtain the approximate position of the obstacle.Secondly，ultrasonic sensor and infrared sensor were used to detect the obstacle to obtain the exact position of obstacles.Finally，the federated Kalman filter was used to fuse the information obtained by the three sensors to gain information of the obstacle position after fusion.The test result shows that this method can overcome the limitations of vision sensors，ultrasonic sensors and infrared sensors，and can accurately detect the unknown environmental information around the robot and detect and locate the obstacles on the path of robot with positioning error less than 6 cm，meeting the real-time and reliability of robot obstacle avoidance.

obstacle detection；information fusion；federated Kalman filter；vision sensor；Zernike moment；Hough transform

A

1674-5124（2017）08-0080-06

10.11857/j.issn.1674-5124.2017.08.017

2017-03-13；

2017-04-21

王中立（1989-），男，山東菏澤市人，碩士研究生，專業(yè)方向為檢測技術(shù)與智能儀表。