雙目立體視覺系統(tǒng)的研究

袁觀娜 楊燕 張線媚

摘要 隨著視覺神經(jīng)學(xué)、計(jì)算機(jī)技術(shù)、圖像處理技術(shù)以及人工智能技術(shù)等的發(fā)展，使得機(jī)器人模仿人的視覺系統(tǒng)成為可能。為了重建三維場(chǎng)景，研究了基于雙目攝像機(jī)的雙目立體視覺系統(tǒng)。融合人的眼睛處理視覺景物的方式，獲取三維場(chǎng)景的深度信息。通過雙目攝像頭獲取了被測(cè)物體不同位置的兩幅圖像，通過采集卡將圖像信息傳輸給計(jì)算機(jī)，計(jì)算機(jī)通過圖像預(yù)處理、選取顏色空間、圖像分割、特征提取、立體匹配、三維重建等圖像處理，真實(shí)再現(xiàn)了三維場(chǎng)景的幾何信息。

關(guān)鍵詞 三維場(chǎng)景 立體視覺 特征提取 立體匹配

中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1674-098X（2016）01（b）-0000-00

0 引 言

人類獲取外界世界的信息70%來源于視覺系統(tǒng)。視覺是人們觀察、認(rèn)識(shí)世界的主要手段。當(dāng)人分別用左眼和右眼去看同一個(gè)東西時(shí)，物件的距離和空間感會(huì)變得不一樣。這是因?yàn)槿梭w的兩只眼睛位置不同，令每只眼睛看出來的影像有所差異。當(dāng)左右眼睛同時(shí)看東西時(shí)，所看到的影像傳到腦部時(shí)，腦部會(huì)將兩個(gè)影像合二為一，形成對(duì)物體的立體和空間感，即雙目立體視覺。雙目立體視覺系統(tǒng)就是利用視差原理通過成像設(shè)備獲取被測(cè)物不同位置的兩幅圖像，利用計(jì)算機(jī)對(duì)這兩幅圖像進(jìn)行圖像處理，計(jì)算圖像對(duì)應(yīng)點(diǎn)的位置偏差，恢復(fù)和重建被測(cè)物三維幾何信息。它融合兩只眼睛獲得的圖像并觀察它們之間的差別，可以獲得明顯的深度感，即可計(jì)算出物件的三維幾何信息。

1 雙目立體視覺系統(tǒng)

雙目立體視覺系統(tǒng)由雙目攝像機(jī)、圖像采集卡和計(jì)算機(jī)組成。

雙目攝像機(jī)包括兩個(gè)攝像頭，可以從不同的位置采集被測(cè)物的兩幅圖像。圖像采集卡是雙目攝像機(jī)和計(jì)算機(jī)之間的橋梁，圖像采集卡可以將雙目攝像機(jī)采集到的圖像信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)傳輸給計(jì)算機(jī)，并保存在計(jì)算機(jī)的硬盤里。

計(jì)算機(jī)是圖像處理的中心，主要通過算法完成。通過圖像預(yù)處理、圖像分割、特征提取、立體匹配等圖像算法處理，解算出被測(cè)圖的三維幾何信息，同時(shí)進(jìn)行三維場(chǎng)景的重建。

2 雙目立體視覺原理

當(dāng)一個(gè)攝像機(jī)拍攝圖像時(shí)，由于圖像中的像素點(diǎn)坐標(biāo)相對(duì)于真實(shí)的世界坐標(biāo)并不是唯一的，會(huì)造成深度信息的丟失。融合兩只眼睛獲得的圖像并觀察它們的差別，可以獲得明顯的深度感。因此，使用雙目攝像機(jī)的兩個(gè)攝像頭同時(shí)拍攝同一場(chǎng)景，可以得到兩幅圖像，通過兩幅圖像的差別就可以獲取三維世界坐標(biāo)中的深度信息。如圖1所示，真實(shí)三維空間中任意一點(diǎn)P（XW，YW，ZW），通過一個(gè)攝像機(jī)成像以后可以得到P點(diǎn)在成像平面上的投影點(diǎn)A1（X1，Y1），攝像機(jī)光心為O1點(diǎn)。但是相反，如果知道攝像機(jī)成像平面上的投影點(diǎn)A1（X1，Y1）是無法知道這一點(diǎn)對(duì)應(yīng)空間的位置，因?yàn)閬G失了深度信息，只能知道空間點(diǎn)在投影點(diǎn)A1和攝像機(jī)光心O1連接的直線上。如果通過兩個(gè)攝像機(jī)，通過光心O1和O2測(cè)量P點(diǎn)，會(huì)得到P點(diǎn)在平面上的兩個(gè)投影點(diǎn)A1（X1，Y1）和A2（X2，Y2），投影點(diǎn)和對(duì)應(yīng)的攝像機(jī)光心連接會(huì)得到空間的兩條直線，即空間點(diǎn)位于這兩條直線上，則空間點(diǎn)即為兩條之間的交點(diǎn)P點(diǎn)，而且可知這一點(diǎn)是唯一的。

3 雙目立體視覺圖像處理

3.1圖像預(yù)處理

雙目攝像機(jī)采集被測(cè)物的圖像經(jīng)采集卡傳輸給計(jì)算機(jī)的過程中會(huì)受到各種各樣的干擾，使得圖像質(zhì)量下降，給圖像識(shí)別造成困擾，因此在圖片進(jìn)行算法之前需經(jīng)過圖片預(yù)處理。圖像預(yù)處理的目的是去除傳輸過程中帶來的圖片干擾，增強(qiáng)圖片中被測(cè)物。圖片預(yù)處理的好，會(huì)更有利于圖片中被測(cè)物的特征提取及立體匹配。圖像預(yù)處理可以在兩個(gè)域內(nèi)進(jìn)行。一種是空間域，另一種是頻率域，這兩種方法都可以達(dá)到降噪的目的。

3.2 顏色空間的選取

圖像處理的目的是從含有復(fù)雜背景的圖像中識(shí)別出感興趣的部分，并獲取感興趣的部分的特征信息，因此對(duì)于不同的圖像信息需要選擇適合的顏色模型，這樣便于分析。顏色模型有很多種，常用的有HSI，Lab，CMY，RGB等，各有各的特點(diǎn)。選擇合適的顏色模型有利于計(jì)算機(jī)快速識(shí)別感興趣的部分的特征信息。

3.3 圖像分割

圖像分割就是將圖片信息根據(jù)不同的特征分成多個(gè)部分，即圖像元，這樣便于特征匹配。圖像元有自己的特征，使得計(jì)算機(jī)更容易識(shí)別和區(qū)分不同的圖像元。因?yàn)閳D像信息較為復(fù)雜，去除噪聲后，圖像信息有計(jì)算機(jī)感興趣的被測(cè)物，還有計(jì)算機(jī)不感興趣的背景部分，因此首先將被測(cè)物與背景進(jìn)行準(zhǔn)確分割。將圖像中感興趣的部分保留，不感興趣的部分去除，減少了計(jì)算機(jī)的識(shí)別工作量，提高了計(jì)算機(jī)的識(shí)別效率。常用的圖像分割方法有基于灰度閾值分割法、基于區(qū)域生長的分割、基于邊緣檢測(cè)的分割等。

基于灰度閾值分割法是先將圖片進(jìn)行灰度化處理，灰度化處理可減少多余的信息，只包括需要的亮度信息。根據(jù)圖像的亮度值分割的方法有最大值法、平均值法、加權(quán)平均值?；趨^(qū)域生長的分割方法是將圖像按照像素來分割，在圖像中選取一個(gè)像素作為基像素，將周圍的像素與基像素對(duì)比，若與基像素相同或者相似則合并，最后可得到很多像素相似的區(qū)域，完成圖像的提取?；谶吘墮z測(cè)的分割方法是根據(jù)圖像里輪廓線來分割的。圖像中物體與物體交接的部分包含了大量的信息。可根據(jù)圖像的邊緣獲取圖像的邊緣信息，將這些邊緣信息按照一定的方式連接起來，就能將圖像按照其邊緣分割出來。

3.4 圖像特征的提取

圖像分割可以將圖片中感興趣的部分保留，但是兩幅圖像中感興趣的部分需要一一對(duì)應(yīng)。即獲取三維空間中同一點(diǎn)在不同圖像中的兩個(gè)坐標(biāo)。所以需要提取圖像的特征進(jìn)行比對(duì)。圖像中的物體的特征是區(qū)別與圖像其它部分的特有屬性。對(duì)于計(jì)算機(jī)而言，圖像識(shí)別的關(guān)鍵是通過這些特征值來判斷。圖像的特征有局部特征如點(diǎn)、線、面邊緣等，全局特征如多邊形、圖像特征等。常用的圖像特征有顏色特征、紋理特征、形狀特征、空間關(guān)系特征等，根據(jù)不同的特征選用不同的算法來提取特征。

3.5 立體匹配

雙目攝像機(jī)左右兩個(gè)攝像頭對(duì)同一物體拍攝的兩幅圖像稱為一個(gè)立體相對(duì)，立體匹配就是找到兩幅圖像中點(diǎn)和點(diǎn)一一對(duì)應(yīng)的關(guān)系。要想進(jìn)行三維重建，必須知道兩幅二維圖像中兩個(gè)點(diǎn)的坐標(biāo)。立體匹配通常用到的匹配算法有基于不變量的局部描述算子、基于統(tǒng)計(jì)學(xué)習(xí)方法。圖像匹配的特征必須是唯一的，可再現(xiàn)的，并且具有物理意義的。

可以將立體匹配找到一一對(duì)應(yīng)的兩個(gè)點(diǎn)（u1，v1）和（u2，v2），帶入圖像像素與世界坐標(biāo)之間的轉(zhuǎn)換公式，其中Zc為P點(diǎn)攝像機(jī)坐標(biāo)系下的坐標(biāo)，M矩陣為攝像機(jī)投影矩陣。聯(lián)立求解即可求的世界坐標(biāo)系中P（XW，YW，ZW）的坐標(biāo)。

圖像處理和識(shí)別流程如圖2所示。

5、結(jié)論

敘述了在windows平臺(tái)下，根據(jù)視差原理，利用雙目攝像機(jī)的兩個(gè)攝像頭采集被測(cè)物體的兩幅圖像，通過采集卡傳輸給計(jì)算機(jī)，計(jì)算機(jī)利用圖形處理算法對(duì)兩幅圖像進(jìn)行圖形預(yù)處理、選取顏色空間、圖像分割、特征提取、立體匹配等過程，最后進(jìn)行三維重建，還原被測(cè)物在空間的三維幾何信息。這種方法具有一定的適用性，可以獲取三維場(chǎng)景中物體的形狀、位置、姿態(tài)等幾何信息，還能對(duì)他們進(jìn)行描述、識(shí)別和理解，對(duì)于三維場(chǎng)景的重建具有重要的意義。

參考文獻(xiàn)：

[1]馬肖，舒博倫，李景春. 雙目立體視覺測(cè)距技術(shù)[J]. 電子設(shè)計(jì)工程，2016（04）：81-83.

[2]張力，黃影平. 實(shí)時(shí)雙目立體視覺系統(tǒng)的實(shí)現(xiàn)[J]. 電子科技，2016（03）：68-70+74.

[3]孫迅，賈慶軒，孫漢旭，洪磊，陳鋼. 雙目立體視覺系統(tǒng)設(shè)計(jì)[J]. 科技信息，2008（34）：1-2.

[4]牟雅丹. 雙目立體視覺系統(tǒng)的攝像機(jī)標(biāo)定技術(shù)[J]. 科技資訊，2009（33）：213+215.

[5]張力，黃影平. 實(shí)時(shí)雙目立體視覺系統(tǒng)的實(shí)現(xiàn)[J]. 電子科技，2016（03）：68-70+74.