基于FPGA的雙目視覺同步采集系統(tǒng)設(shè)計(jì)

溫小艷，楊榮騫，吳效明，黃毅洲

(華南理工大學(xué)生物科學(xué)與工程學(xué)院，廣東 廣州 510006)

手術(shù)導(dǎo)航系統(tǒng)具有縮短手術(shù)時(shí)間、有效提高手術(shù)精度、減少手術(shù)創(chuàng)口以及并發(fā)癥等優(yōu)點(diǎn)，被越來越廣泛地應(yīng)用在臨床上，空間定位技術(shù)作為手術(shù)導(dǎo)航的關(guān)鍵技術(shù)之一，其精度決定了導(dǎo)航系統(tǒng)的精度［1-3］。光學(xué)定位以其高精度和使用方便等特點(diǎn)被有效地應(yīng)用在手術(shù)導(dǎo)航系統(tǒng)中［4-5］。在光學(xué)定位系統(tǒng)中，首先要解決的是兩臺(tái)相機(jī)同步問題，不能同步或同步誤差較大都將削弱并且限制定位的精度。一般采用的圖像采集工具為工業(yè)相機(jī)，但其在出廠時(shí)功能和時(shí)序等特性已經(jīng)封裝好，不能外部控制其每一幀圖像采集的開始。圖像傳感器則可利用外部邏輯根據(jù)需要進(jìn)行配置，使其工作在被動(dòng)模式，同時(shí)外部邏輯產(chǎn)生控制時(shí)序，使得兩相機(jī)在該控制時(shí)序下同步工作，因此通過外部邏輯來控制圖像傳感器可以有效地解決兩相機(jī)不同步的問題。

基于傳統(tǒng)計(jì)算機(jī)的光學(xué)定位系統(tǒng)通過串行處理CPU來控制運(yùn)算和操作，這使得對(duì)兩相機(jī)數(shù)據(jù)的操作在時(shí)間上不同步，因此降低了系統(tǒng)的精度同時(shí)也減慢了處理速度。當(dāng)今電子技術(shù)迅速發(fā)展，大規(guī)模集成電路器件的性能不斷改善、速度不斷提高，從而使研究基于現(xiàn)場(chǎng)可編程門陣列(FPGA)的圖像采集系統(tǒng)成為可能。本文利用FPGA初始化OV7620使其工作在被動(dòng)模式;利用FPGA產(chǎn)生場(chǎng)同步Vsync和行同步Hsync使得兩相機(jī)同步工作，同時(shí)對(duì)兩相機(jī)圖像數(shù)據(jù)進(jìn)行亞像素提取;SDRAM作為圖像數(shù)據(jù)和亞像素坐標(biāo)的緩存區(qū);根據(jù)上位機(jī)的命令完成USB傳輸。

1 圖像同步采集系統(tǒng)設(shè)計(jì)

該系統(tǒng)的流程如圖1所示。

圖1 圖像采集系統(tǒng)流程

1.1 硬件模塊設(shè)計(jì)

該系統(tǒng)采用ALTERA公司的DE2-70開發(fā)板作為硬件平臺(tái);以美國(guó)Omni Vision公司的CMOS彩色圖像傳感器芯片OV7620作為圖像采集工具，該芯片內(nèi)建的SCCB(Serial Camera Control Bus)接口提供一種簡(jiǎn)易的控制其內(nèi)部寄存器的途徑［6-8］;USB芯片采用CY7C68013，其集成了USB2.0收發(fā)器、串行接口引擎(SIE)、增強(qiáng)的8051微控制器和可編程的外圍接口，該芯片可以工作在Slave FIFO模式。

1.2 軟件模塊設(shè)計(jì)

軟件模塊利用Verilog HDL語(yǔ)言，以QuartusⅡ9.1為軟件開發(fā)平臺(tái)。

1.2.1 OV7620被動(dòng)模式設(shè)計(jì)

OV7620采集圖像主要用到3個(gè)同步信號(hào):像素時(shí)鐘PCLK、行同步Hsync和場(chǎng)同步Vsync，其中，Vsync的下降沿代表一幀圖像的開始，上升沿表示一幀圖像的結(jié)束，Hsync高電平可以有效開始一行數(shù)據(jù)的采集，PCLK上升沿表示一個(gè)圖像數(shù)據(jù)的采集。主動(dòng)模式下，這3個(gè)信號(hào)均由OV7620輸出至外部邏輯，每個(gè)相機(jī)均按自身產(chǎn)生的Vsync時(shí)鐘開始每幀圖像的采集，無法通過外部控制實(shí)現(xiàn)同步。即使是相同型號(hào)的相機(jī)，其采集每幀圖像有一定的時(shí)間差，如果相機(jī)長(zhǎng)時(shí)間采集，時(shí)間差累加，會(huì)造成兩相機(jī)圖像的不同步。為解決該問題，該系統(tǒng)采用OV7620的被動(dòng)模式來解決相機(jī)不同步的問題。

OV7620的被動(dòng)模式是由FPGA產(chǎn)生行同步Hsync和場(chǎng)同步Vsync并輸入至相機(jī)，相機(jī)根據(jù)該信號(hào)的有效沿作為每幀圖像采集的開始。如果輸入同一個(gè)控制信號(hào)給兩臺(tái)相機(jī)，那么兩臺(tái)相機(jī)就可以根據(jù)該信號(hào)判斷何時(shí)開始每一幀圖像的采集，從而實(shí)現(xiàn)兩相機(jī)同步工作，其被動(dòng)模式時(shí)序要求如圖2a，其中CLK為相機(jī)工作時(shí)鐘27 MHz，Ths＞6× Tclk，Ths＜ Tvs＜2×858× Tclk。該系統(tǒng)采用 Tvs=640× Tclk，Ths=100×Tclk，Vsync產(chǎn)生如圖2b所示。

圖2 OV7620被動(dòng)時(shí)序

為使OV7620工作在被動(dòng)模式，通過SCCB初始化其內(nèi)部寄存器。OV7620功能寄存器的地址為0x00～0x7C。由于SCCB完全兼容I2C總線，因此在設(shè)計(jì)過程中利用FPGA的兩個(gè)I/O口模擬I2C總線接口的時(shí)鐘線SIO_1和數(shù)據(jù)線SIO_0。在該系統(tǒng)中，OV7620的初始化后工作模式為:被動(dòng)模式、輸出像素分辨率640×480、VGA模式、逐行掃描、16位YUV(取其8位Y輸出)。其主要的寄存器配置如表1所示。

表1 寄存器配置

1.2.2 圖像采集

OV7620相機(jī)圖像的采集嚴(yán)格地受PCLK、Hsync和Vsync時(shí)序控制。PCLK上升沿?cái)?shù)據(jù)穩(wěn)定，此時(shí)可以有效采集一個(gè)圖像數(shù)據(jù)。Hsync上升沿可以開始一行數(shù)據(jù)的采集，當(dāng)采集的寬度達(dá)到640，一行采集結(jié)束。Vsync上升沿表示一幀圖像的到來，下降沿時(shí)可以開始一幀圖像的有效采集，當(dāng)采集到480行，一幀圖像采集結(jié)束。在設(shè)計(jì)Verilog程序時(shí)，采用兩個(gè)計(jì)數(shù)器X_Cont和Y_Cont分別對(duì)圖像的行和列進(jìn)行計(jì)數(shù)，如圖3所示，其中iData為相機(jī)輸出數(shù)據(jù)，oData為采集到的圖像數(shù)據(jù)。圖像數(shù)據(jù)以及亞像素提取坐標(biāo)值需要進(jìn)行緩存，來滿足USB傳輸時(shí)鐘的要求，該系統(tǒng)用兩片SDRAM作為兩相機(jī)圖像數(shù)據(jù)和亞像素?cái)?shù)據(jù)的存儲(chǔ)區(qū)。

圖3 OV7620圖像采集流程

1.2.3 亞像素提取

應(yīng)用于手術(shù)導(dǎo)航的光學(xué)定位系統(tǒng)，只需獲取安裝在手術(shù)器械上標(biāo)記點(diǎn)的三維信息。標(biāo)記點(diǎn)映射到二維圖像表現(xiàn)為光點(diǎn)的形式，該光點(diǎn)的中心被認(rèn)為是標(biāo)記點(diǎn)的映射中心，通常以光點(diǎn)區(qū)域的亞像素值作為光點(diǎn)的中心，本文采用灰度加權(quán)平均法來計(jì)算亞像素坐標(biāo)［9］。假設(shè)手術(shù)工具上安裝有n個(gè)標(biāo)記點(diǎn)，在第j(j=1，2，…，n)個(gè)光點(diǎn)區(qū)域有m個(gè)像素點(diǎn)的灰度值大于指定閾值t，第i(i=1，2，…，m)個(gè)像素點(diǎn)的坐標(biāo)表示為qi=［qix，qiy］T。該點(diǎn)的灰度值表示為vi。則該光點(diǎn)的亞像素坐標(biāo)可以由下式得到

OV7620以逐行的方式產(chǎn)生圖像數(shù)據(jù)。通常一把手術(shù)器械上會(huì)安裝多個(gè)標(biāo)記點(diǎn)，利用上式計(jì)算亞像素坐標(biāo)的關(guān)鍵是正確區(qū)分每一個(gè)大于閾值的點(diǎn)屬于哪一個(gè)光點(diǎn)。由于在實(shí)際光學(xué)定位應(yīng)用中，手術(shù)器械上不同標(biāo)記點(diǎn)在一幀圖像上一般不會(huì)重疊并且會(huì)有一定的距離。該系統(tǒng)利用距離信息l來準(zhǔn)確地把每一個(gè)大于閾值的像素點(diǎn)劃分到相應(yīng)的光點(diǎn)區(qū)域。具體過程如下:

1)設(shè)定合理的距離閾值l和圖像閾值t，隨著像素時(shí)鐘，對(duì)采集到的每個(gè)數(shù)據(jù)進(jìn)行判斷，找到第一個(gè)大于閾值的點(diǎn)，并把其作為第一個(gè)標(biāo)記點(diǎn)的起始點(diǎn)P1，并把該點(diǎn)作為P1的1×5的矩形查找區(qū)域的左上頂點(diǎn)P1′，該查找區(qū)域隨著P1′的變化而不斷變化。

2)找到第二個(gè)大于閾值的點(diǎn)，如果該點(diǎn)與P1的距離小于l并且在以P1′為頂點(diǎn)的查找區(qū)域內(nèi)，則該點(diǎn)被認(rèn)為是標(biāo)記點(diǎn)P1的臨近點(diǎn)，此時(shí)P1′移到該點(diǎn);否則把該點(diǎn)作為第二個(gè)標(biāo)記點(diǎn)的起始點(diǎn)記為P2，此時(shí)第二個(gè)標(biāo)記點(diǎn)的查找區(qū)域的左上頂點(diǎn)P2′=P2。

3)同樣的方式找到第三個(gè)大于閾值的點(diǎn)，并計(jì)算該點(diǎn)與P1的距離，如果小于l并且屬于P1′的查找區(qū)域，則該點(diǎn)是P1的臨近點(diǎn)，P1′移到該點(diǎn)，繼續(xù)掃描;如果大于l，則計(jì)算其與P2的距離，如果該距離小于l并且屬于P2′的查找區(qū)域，則該點(diǎn)被認(rèn)為是P2的臨近點(diǎn)，P2′移到該點(diǎn)，如果與P2的距離大于l，則該點(diǎn)被認(rèn)為是第三個(gè)標(biāo)記點(diǎn)的起始點(diǎn)，記為P3。

4)通過同樣的方式，找到n個(gè)標(biāo)記點(diǎn)的起始點(diǎn)以及其臨近點(diǎn)，由于圖像存在噪聲等干擾因素，根據(jù)標(biāo)記點(diǎn)的成像規(guī)律，如果檢測(cè)到的某個(gè)標(biāo)記點(diǎn)的臨近點(diǎn)的個(gè)數(shù)小于10個(gè)，則認(rèn)為其為噪聲點(diǎn)。至此，根據(jù)上式可以得到每個(gè)標(biāo)記點(diǎn)的亞像素坐標(biāo)。

1.2.4 USB傳輸

在該模塊設(shè)計(jì)中，采用端點(diǎn)2作為OUT方向，端點(diǎn)6作為IN方向，每包數(shù)據(jù)的大小均為512 byte，其狀態(tài)跳轉(zhuǎn)如圖4所示。

圖4 USB收發(fā)數(shù)據(jù)狀態(tài)轉(zhuǎn)換

IDLE:初始化所有參數(shù)。

READ_EVENT:端點(diǎn)指向2OUT。

READ_READY:USB的輸出控制信號(hào)u_sloe有效。

DATA_READY:讀信號(hào)有效，讀取數(shù)據(jù)，如果該緩沖區(qū)非空，進(jìn)入READ;如果緩沖區(qū)為空并且camera_choose和subpixel_choose均無效，在該狀態(tài)等待;否則進(jìn)入WRITE_EVENT。

READ:讀信號(hào)無效。

WRITE_EVENT:指向端點(diǎn)6。

WRITE_READY:寫信號(hào)有效，把相機(jī)數(shù)據(jù)或者亞像素?cái)?shù)據(jù)寫入端點(diǎn)6的緩沖區(qū)，若緩沖區(qū)未被寫滿，進(jìn)入WRITE;若已被寫滿，進(jìn)入READ_EVENT查詢有沒有新的指令。

WRITE:寫信號(hào)無效。

上位機(jī)采用編碼的方式發(fā)送命令，F(xiàn)PGA通過解碼來確定發(fā)送圖像數(shù)據(jù)(camera_choose有效)還是亞像素坐標(biāo)(subpixel_choose有效)，然后把相對(duì)應(yīng)的數(shù)據(jù)寫入端點(diǎn)6的緩沖區(qū)。因?yàn)閁SB的讀操作和寫操作不能同時(shí)進(jìn)行，所以每寫入一包數(shù)據(jù)，需返回查詢上位機(jī)是否有命令，如果上位機(jī)有命令，則根據(jù)上位機(jī)的命令進(jìn)行跳轉(zhuǎn)，否則繼續(xù)讀取相應(yīng)數(shù)據(jù)。

2 系統(tǒng)測(cè)試結(jié)果

在光學(xué)定位系統(tǒng)中，兩相機(jī)是否同步工作對(duì)定位精度的影響很大。該系統(tǒng)首先采用FPGA的兩個(gè)I/O端口模擬I2C總線對(duì)OV7620內(nèi)部寄存器進(jìn)行配置，使其工作在被動(dòng)模式，再通過FPGA產(chǎn)生場(chǎng)同步信號(hào)Vsync同時(shí)輸入給兩相機(jī)，使其同時(shí)開始每一幀圖像的采集，從而達(dá)到定位系統(tǒng)中兩相機(jī)的同步采集，圖5為示波器顯示的兩相機(jī)的幀同步信號(hào)。

圖5 FPGA產(chǎn)生的Vsync信號(hào)(截圖)

利用QT編寫上位機(jī)，驗(yàn)證圖像采集、亞像素提取的準(zhǔn)確性以及USB傳輸速度，其界面如圖6所示。當(dāng)上位機(jī)選擇讀圖像數(shù)據(jù)時(shí)，兩相機(jī)拍攝手術(shù)器械上標(biāo)記點(diǎn)，該標(biāo)記點(diǎn)由近紅外二極管發(fā)光貼片組成，兩相機(jī)圖像同時(shí)顯示，如圖6a所示，通過定時(shí)器可以觀測(cè)到每秒每個(gè)相機(jī)可以傳輸23幀圖像，達(dá)到光學(xué)定位對(duì)于圖像實(shí)時(shí)采集的要求;為了有效濾除環(huán)境光的干擾，在相機(jī)鏡頭前添加近紅外濾光片，圖6b所示的是添加濾光片之后標(biāo)記點(diǎn)在兩相機(jī)中的成像。當(dāng)上位機(jī)選擇讀亞像素坐標(biāo)，通過文本框顯示出對(duì)于當(dāng)前圖像所提取到的亞像素坐標(biāo)。為了驗(yàn)證該亞像素坐標(biāo)提取是否準(zhǔn)確，把得到的亞像素坐標(biāo)還原到圖像中，圖6b中“+”的中心即為亞像素坐標(biāo)，證明本系統(tǒng)采用的亞像素提取方法可以準(zhǔn)確地得到亞像素坐標(biāo);當(dāng)上位機(jī)選擇“停止讀”按鈕，此時(shí)上位機(jī)停止接收USB傳送的數(shù)據(jù)。

圖6 上位機(jī)驗(yàn)證

3 結(jié)論

本文以FPGA作為主控制器，初始化OV7620使其工作在被動(dòng)模式;由FPGA產(chǎn)生Vsync和Hsync使得兩相機(jī)同步工作。對(duì)采集到的數(shù)據(jù)通過灰度加權(quán)平均法得到每個(gè)標(biāo)記點(diǎn)在圖像上的亞像素坐標(biāo)。利用FPGA的并行計(jì)算，對(duì)兩相機(jī)的圖像采集、亞像素坐標(biāo)計(jì)算、存儲(chǔ)以及USB傳輸并行處理。結(jié)果表明，該雙目視覺同步采集系統(tǒng)工作穩(wěn)定，兩相機(jī)同步工作，上位機(jī)正確接收兩相機(jī)圖像并實(shí)時(shí)顯示、亞像素坐標(biāo)提取準(zhǔn)確，良好地解決了傳統(tǒng)光學(xué)定位系統(tǒng)兩相機(jī)圖像采集不同步的缺點(diǎn)。

［1］吳劍.三維高精度光學(xué)定位技術(shù)及其臨床應(yīng)用［D］.北京:清華大學(xué)，2004.

［2］姜立君，甘東兵，王國(guó)榮.基于雙目視覺傳感的計(jì)算機(jī)輔助骨外科手術(shù)導(dǎo)航模型［J］.華南理工大學(xué)學(xué)報(bào):自然科學(xué)版，2006，34(2):67-72.

［3］張麗.數(shù)字化手術(shù)導(dǎo)航系統(tǒng)的原理與應(yīng)用［J］.醫(yī)療衛(wèi)生裝備，2010，31(1):110-111.

［4］黨瀟.基于FPGA的手術(shù)導(dǎo)航紅外光學(xué)空間定位系統(tǒng)的設(shè)計(jì)研究［D］.北京:清華大學(xué)，2010.

［5］張衍儒，武潁.雙目三維定位的視頻運(yùn)動(dòng)檢測(cè)控制系統(tǒng)設(shè)計(jì)［J］.應(yīng)用天地，2009(7):57-59.

［6］宋海吒，唐立軍，謝新輝.基于FPGA和OV7620的圖像采集及VGA顯示［J］. 電視技術(shù)，2011，35(5):45-47.

［7］OV7620 Datasheet V2.1［EB/OL］.［2012-05-25］.http://wenku.baidu.com/view/50692ca1284ac850ad0242ab.html.

［8］沈華，王俞心.基于FPGA的I2C總線主控制器的設(shè)計(jì)與實(shí)現(xiàn)［J］.航空計(jì)算技術(shù)，2007，37(6):109-111.

［9］YANG R，YANG W，CHEN Y，et al.Geometric calibration of IR camera［J］.Journal of Lightwave Technology，2011，29(24):3797-3803.