視覺導(dǎo)航系統(tǒng)中圖像采集及處理技術(shù)綜述

潘廣堂　李文文　楊先海

【摘 要】主要介紹了視覺導(dǎo)航系統(tǒng)中圖像采集及處理系統(tǒng)的基本組成和研究的意義，分析了視覺導(dǎo)航技術(shù)在各個行業(yè)的應(yīng)用情況，根據(jù)國內(nèi)外的發(fā)展現(xiàn)狀，對視覺導(dǎo)航系統(tǒng)中的目標(biāo)檢測與跟蹤以及部分先進(jìn)圖像處理技術(shù)作詳細(xì)介紹，指出了視覺導(dǎo)航技術(shù)的有關(guān)難點(diǎn)和未來的發(fā)展趨勢。

【關(guān)鍵詞】視覺導(dǎo)航系統(tǒng)；圖像采集；目標(biāo)檢測與跟蹤；圖像處理技術(shù)

【Abstract】It introduces the basic components of meaning and research vision navigation system image acquisition and processing system. A simple analysis of visual navigation technology applications in various industries. According to current development situation of the visual navigation system target detection and tracking as well as some advanced image processing technology detail. He pointed out about the difficulties of visual navigation technology and future trends.

【Key words】Visual navigation systems； Image acquisition； Target detection and tracking； Image processing technology

0 引言

機(jī)器視覺是通過計算機(jī)處理圖像，提取所需信息的一門技術(shù)，完整的工作系統(tǒng)能夠自動獲取圖片或視頻信息，進(jìn)行增強(qiáng)、分辨、測量、判斷并輸出結(jié)果。機(jī)器視覺技術(shù)的飛速發(fā)展為各行業(yè)的自動化發(fā)展提供了技術(shù)支持。機(jī)器視覺作為計算機(jī)輔助或替代人類視覺工作的技術(shù)，具有較大的潛力與開發(fā)難度[1]。充分合理的利用視覺導(dǎo)航技術(shù)不僅可以實(shí)現(xiàn)智能化，還可以實(shí)現(xiàn)人工無法完成的工作，解決實(shí)際生活中的不安全問題，在工業(yè)生產(chǎn)中可以代替人工，提高生產(chǎn)效率等。目前，視覺導(dǎo)航技術(shù)在機(jī)器人、無人機(jī)、全自動駕駛、農(nóng)業(yè)機(jī)械等領(lǐng)域得到了較為廣泛的應(yīng)用。行人檢測、汽車制動性能檢測、車輛檢測、測量車距與車速、檢測車道線、檢測交通標(biāo)志等都已取得了比較成功的進(jìn)展。經(jīng)過業(yè)內(nèi)學(xué)者不斷地創(chuàng)新研究，目前出現(xiàn)了基于單目、雙目和多目的視覺系統(tǒng)，以及與之相結(jié)合的對目標(biāo)物體的顏色、形狀、邊緣、紋理等多種特征的跟蹤方法。

1 圖像采集及處理系統(tǒng)基本組成模塊

在視覺導(dǎo)航系統(tǒng)中，圖像的采集和處理是最為核心的步驟。通常由圖像采集系統(tǒng)和圖像處理系統(tǒng)為后續(xù)的編程、路徑規(guī)劃等導(dǎo)航工作提供有關(guān)的準(zhǔn)確數(shù)據(jù)信息。如圖1所示：

圖像采集系統(tǒng)將獲取的圖像信息轉(zhuǎn)換為數(shù)字信號，將數(shù)字信號分別傳輸?shù)綀D像處理系統(tǒng)和計算機(jī)；圖像處理系統(tǒng)通過專用的硬件對數(shù)字圖像進(jìn)行處理并獲得程序要求的如顏色、邊緣、紋理等參數(shù)信息，將信息傳送到計算機(jī)來計算[2]。

2 國內(nèi)外近年研究現(xiàn)狀

在視覺導(dǎo)航系統(tǒng)中，以攝像機(jī)為主的視覺傳感器提供了最原始的視覺圖像。為了快速并且準(zhǔn)確的檢測以及跟蹤目標(biāo)，對圖像的處理和特征信息的采集是視覺導(dǎo)航系統(tǒng)中最基礎(chǔ)也是最關(guān)鍵的步驟。

2.1 視覺圖像采集及特征提取技術(shù)

圖像獲取及特征信息的采集是圖像處理的前提。以 CCD 技術(shù)為核心，目前圖像獲取設(shè)備有黑白攝像機(jī)、彩色攝像機(jī)、掃描儀、數(shù)字相機(jī)等，性能與價格主要取決于 CCD 的規(guī)格，如尺寸等。除了這些常見的類型外，目前有許多廠商提供各種其它的專用設(shè)備，如顯微攝像設(shè)備、紅外攝像機(jī)、高速攝像機(jī)、膠片掃描器等等。遙感衛(wèi)星、激光雷達(dá)等設(shè)備提供其它類型的數(shù)字圖像。CMOS（Complementary Metal Oxide Semiconductor）即“互補(bǔ)金屬氧化物半導(dǎo)體”圖像傳感器的出現(xiàn)，使成像成本更低，而且易于大規(guī)模生產(chǎn)[3]。

2010年，許海霞[4]提出分層MS匹配搜索的思想，給出分層的MS匹配迭代跟蹤算法。2013年，張雪華等人[5]采用Kinect攝像機(jī)獲取RGB和深度圖像，并改進(jìn)了增量直方圖算法。它的基本思想是根據(jù)增量式相似度計算來確定每個粒子的權(quán)值。在粒子濾波器中用粒子代替目標(biāo)的一種可能性狀態(tài)，并且粒子濾波算法不需要滿足線性、高斯系統(tǒng)，應(yīng)用更加廣泛。2014年，肖暉等人[6]引用了基于CCD相機(jī)獲取待檢砝碼圖像，Matlab中Roberts算子[7]對待檢砝碼的邊緣檢測。該算子檢測邊緣的精度比較高，但邊界有點(diǎn)粗，需后續(xù)的處理。Aurélio Campilho等人[8]提出了一種SSACA+EP算法，該算法整合了約束傳播機(jī)制納入其框架，不能鏈接制約整個相似矩陣，使得這一過程更有效率。但是由于幀的數(shù)量二次，使得該算法具有復(fù)雜性，他們計劃擴(kuò)展這種算法到其他時間聚類算法。2015年，賈寶芝[9]提出了一種基于兩連續(xù)幀運(yùn)動信息提取的TCF（Two Consecutive Frames） 模型，在不需要進(jìn)行攝像機(jī)標(biāo)定的情況下，利用運(yùn)動信息獲取障礙物的相對高度，從而區(qū)分障礙物與陰影和標(biāo)志線。該方法能夠?qū)⒄系K物與道路陰影以及道路標(biāo)志線區(qū)分開，同時要滿足實(shí)時性的要求，而且不需要對攝像機(jī)進(jìn)行人工標(biāo)定以及其他先驗(yàn)知識。

2.2 圖像處理技術(shù)

惡劣的天氣和光照不均勻都會降低視覺圖像的質(zhì)量；復(fù)雜環(huán)境中如何提取靜止或運(yùn)動目標(biāo)，確定目標(biāo)數(shù)量，提取關(guān)鍵目標(biāo)；在跟蹤過程中，目標(biāo)出現(xiàn)遮擋、或相似目標(biāo)干擾時，會導(dǎo)致發(fā)散甚至跟蹤丟失的問題。因此，視覺圖像的去噪、濾波、增強(qiáng)技術(shù)十分關(guān)鍵，對后續(xù)目標(biāo)識別跟蹤的準(zhǔn)確性、實(shí)時性產(chǎn)生較大的影響。

2000年，Adisorn Tuantranont等人[10]指出高斯（Gauss）濾波，就是為了得到較好的圖像邊緣、信噪比（SNR）較高的圖像而設(shè)計的一種很好的濾波方式。2005年，孫海濤[11]提出了一種CB數(shù)學(xué)形態(tài)學(xué)濾波處理方法。2006年，葉敏[12]提出一種基于FPGA的實(shí)時圖像模板濾波及邊緣檢測方法，將LoG[13]模板分解為兩個可分離模板的和，從而降低了算法運(yùn)算量。并充分利用FPGA的并行機(jī)制及片內(nèi)豐富的RAM資源，采用分布式算法[14]，用查找表代替乘法器進(jìn)行乘法運(yùn)算。2013年，陳龍[15]提出了一種新的基于聯(lián)合雙邊濾波方法的惡劣天氣下的圖像增強(qiáng)算法。提取圖像的暗通道或亮通道，通過灰度膨脹腐蝕運(yùn)算來估計環(huán)境光，然后通過快速的雙邊濾波技術(shù)[16]完成大氣幕和光照分量的相對精確估計。2015年，岳洪偉[17]對傳統(tǒng)的 Canny邊緣檢測算法[18]中高斯卷積和雙閾值設(shè)置這兩個步驟進(jìn)行了算法的改進(jìn)，提出三段式匹配預(yù)處理算法。

3 視覺導(dǎo)航技術(shù)未來發(fā)展趨勢

目前，隨著各類導(dǎo)航技術(shù)的不斷完善和多種圖像獲取、信號處理技術(shù)的快速發(fā)展，視覺導(dǎo)航技術(shù)得到了更為廣泛的應(yīng)用。在部分領(lǐng)域視覺導(dǎo)航技術(shù)已經(jīng)趨向成熟。但是由于工作環(huán)境變的越來越復(fù)雜，對視覺導(dǎo)航技術(shù)的魯棒性要求提高，在某些方面仍有很多關(guān)鍵問題需要解決。如以下幾個方面：

3.1 圖像獲取技術(shù)

視覺圖像的獲取是視覺導(dǎo)航技術(shù)最基本的要求，不同的圖像獲取方法得到的視覺圖像質(zhì)量也有所差異。目前，有單目視覺、雙目立體視覺、多目立體視覺的視覺傳感器形式。單目視覺是利用單個攝像頭對環(huán)境進(jìn)行識別的方法。通常單目視覺傳感器只能夠識別二維的環(huán)境信息而無法獲得環(huán)境的深度信息，計算速度快，但定位的準(zhǔn)確性有待提高。雙目立體視覺的工作原理是對人類雙眼的仿生——通過兩個攝像機(jī)分別獲得場景的左、右圖像，然后通過三角測距的原理得到環(huán)境的深度信息。雙目立體視覺獲取的信息更加豐富，并且在對遠(yuǎn)距離、小型障礙物的識別方面更有優(yōu)勢。但是，雙目立體視覺系統(tǒng)存在的問題在于左右立體圖像對的匹配工作比較困難，而且容易受到光照的影響，在夜間的工作性能也大大下降。多目立體視覺同樣是利用了人雙眼成像的原理來進(jìn)行環(huán)境的立體識別。但是，與雙目不同的是，多目立體視覺采用了三個或三個以上的攝像頭作為環(huán)境識別傳感器。采用多目立體視覺可以獲得更大的視野范圍，更高的識別精度，但是由于傳感器數(shù)目的增多而導(dǎo)致的數(shù)據(jù)處理量急劇增加，從而造成處理時間的增加，使其很難滿足系統(tǒng)的實(shí)時性要求。因此，圖像獲取技術(shù)的一個發(fā)展趨勢是找到一個同時滿足對目標(biāo)檢測的實(shí)時性和準(zhǔn)確性的圖像獲取方法。

3.2 圖像增強(qiáng)技術(shù)

為了增強(qiáng)對圖像分析和識別的能力，還需要突出有用信息，剔除圖像中其他景物內(nèi)容的干擾，采取圖像增強(qiáng)技術(shù)。圖像增強(qiáng)的應(yīng)用主要有兩類：一是，改善圖像的視覺效果；二是，突出圖像的特征，便于計算機(jī)處理?，F(xiàn)有的圖像增強(qiáng)技術(shù)大致可以分為三類：空間域法、變換域法和模糊處理法?？臻g域法直接對圖像像素點(diǎn)的灰度值進(jìn)行操作。針對不同的應(yīng)用要求，采取灰度值變換或空間濾波等方法。變換域方法首先將圖像映射到某個變換域，然后在該變換域?qū)D像進(jìn)行處理以突出圖像的某些特征。采用直方圖均衡化變換的方式對圖像增強(qiáng)處理，可以突出原圖像的細(xì)節(jié)，對邊緣檢測有很好的效果。但是在惡劣的環(huán)境中，噪聲對圖像影響較大，從而影響圖像增強(qiáng)效果。其中一個發(fā)展趨勢是針對不同的圖像采取圖像濾波、去噪處理與圖像增強(qiáng)技術(shù)相結(jié)合，進(jìn)而取得更好的圖像增強(qiáng)效果。

3.3 圖像特征提取技術(shù)

獲取得到的目標(biāo)圖像數(shù)據(jù)量巨大且含有很多與識別無關(guān)的信息，若直接利用圖像原始數(shù)據(jù)進(jìn)行分類則計算量很大且不現(xiàn)實(shí)，必須對圖像進(jìn)行特征的提取和選擇，特征提取若不恰當(dāng)就會影響視覺導(dǎo)航的準(zhǔn)確性。目前有基于顏色、邊界、紋理、表達(dá)、學(xué)習(xí)、模型以及其他特征的提取方法。一個好的特征一般具有可區(qū)別性、可靠性、獨(dú)立性、數(shù)量少等特點(diǎn)。單一的特征提取方法往往無法滿足目標(biāo)跟蹤準(zhǔn)確性的要求，多特征提取方法提高了準(zhǔn)確性同時增加了計算復(fù)雜度。因此，再引入多特征的同時研究一種算法來提高計算速度是未來的一個發(fā)展方向。

4 結(jié)束語

本文主要介紹了視覺導(dǎo)航系統(tǒng)近年來國內(nèi)外的發(fā)展現(xiàn)狀，對圖像處理及特征提取技術(shù)做了簡單總結(jié)并提出未來的發(fā)展趨勢。

目前，在圖像處理方面邊緣保持去噪方法[19]有較好的效果?；诰?、中值兩種濾波器，在繼承均值去噪和中值去噪優(yōu)點(diǎn)的基礎(chǔ)上解決均值去噪會模糊圖像邊緣細(xì)節(jié)和中值去噪將濾除圖像中的線條細(xì)節(jié)的問題。針對圖像中車牌號的識別，基于均勻網(wǎng)格特征和改進(jìn)的LBP特征的字符識別算法達(dá)到了較高的水平。均勻網(wǎng)格特征[20]對于車牌字母和數(shù)字字符而言，使用均勻網(wǎng)格特征來描述它能達(dá)到最好的識別效果，識別率為96.2%，識別耗時低，僅為0.25ms；改進(jìn)的LBP特征[21]對于車牌漢字字符而言，使用改進(jìn)的LBP特征來描述它能達(dá)到最好的識別效果，識別率為99.2%，識別耗時為1.97ms。視覺導(dǎo)航系統(tǒng)在實(shí)時性、魯棒性和準(zhǔn)確性上不斷地創(chuàng)新和發(fā)展，相信未來會有更好的應(yīng)用前景。

【參考文獻(xiàn)】

[1]朱明珠，趙云，沈英.車載機(jī)器視覺的應(yīng)用概述[J].2014（1）：50-51.

[2]Johnson A E，Ansar A，Matthies L H，et al.A General Approach to Terrain Relative Navigation for Planetary Landing[C]∥2007 AIAA Aerospace @ Infotech Confer-ence，2007：1498-1506.

[3]侯學(xué)貴.除草機(jī)器人雜草識別與視覺導(dǎo)航技術(shù)研究[D].南京，南京林業(yè)大學(xué)，2007.

[4]許海霞.機(jī)器視覺標(biāo)定與目標(biāo)檢測跟蹤方法及其應(yīng)用研究[D].湖南，湖南大學(xué)，2010.

[5]張雪華，劉華平，孫富春，高蒙，賀超.采用 Kinect 的移動機(jī)器人目標(biāo)跟蹤[J].2014，9（1）：2-3.

[6]肖暉，韓軒，孫智權(quán)，趙不賄.基于的砝碼自動裝卸機(jī)械手圖像定位方法的設(shè)計與研究[J].2014（12）：25-28.

[7]張兆禮.現(xiàn)代圖像處理技術(shù)及實(shí)現(xiàn)[J].北京：人民郵電出版社，2001.

[8]Aurélio Campilho， Mohamed Kamel. Audio-Visual Emotion Analysis Using Semi-Supervised Temporal Clustering with Constraint Propagation [J].2014：1-11.

[9]賈寶芝.視頻導(dǎo)航中的地圖生成、障礙檢測與行人人臉識別[D].安徽：中國科技大學(xué)，2015.

[10]Adisorn Tuantranont，Victor M Bright.Introduction to Micro Electro Mechanical Systems（MEMS） with Emphasis on Op？tical Applications[J].Technical Journal，2000，1（6）：227-236.

[11]孫海濤.基于視覺導(dǎo)航的智能車輛自主行駛研究[D].合肥：合肥工業(yè)大學(xué)，2005.

[12]葉敏.基于視覺導(dǎo)航的實(shí)時圖像處理及FPGA實(shí)現(xiàn)[D].浙江：浙江大學(xué)，2006.

[13]D.Marr，E.C.Hildreth.TheoryofEdgeDetection.Proc.R.Soc.B[J].1980，207：187-217.

[14]劉凌，胡永生，譯.數(shù)字信號處理的實(shí)現(xiàn)[J].北京：清華大學(xué)出版社，2003.

[15]陳龍.輔助視覺中的圖像處理關(guān)鍵技術(shù)研究[D].西安：西安電子科技大學(xué)，2013.

[16]C. Tomasi， R. Manduchi. Bilateral filtering for gray and color images [C]. 6th IEEE International Conference on Computer Vision（ICCV），1998：839-846.

[17]岳洪偉.基于雙目立體視覺的汽車制動性能檢測系統(tǒng)研究[D].吉林：吉林大學(xué)，2015.

[18]Deriehe R. Using Cannys criteria to derive a recursively implemented optimal edge dctector[J].Internatio nal Journal of Computer Vision，1987，1（2）：167-187.

[19]楊海璐.基于特征知識的視頻識別技術(shù)[D].北京：北京郵電大學(xué)，2015.

[20]李永忠，王玉雷，劉真真.藏文印刷體字符識別技術(shù)研究[J].南京大學(xué)學(xué)報，2012（1）：55-62.

[21]危雨軒.魯棒的字符識別算法研究[D].北京：北京郵電大學(xué)，2013.

[責(zé)任編輯：王偉平]