體視顯微鏡視頻的快速校正算法＊

方蘭婷，楊 鳴，2

（1.寧波大學(xué) 信息科學(xué)與工程學(xué)院，浙江 寧波 315211；2.浙江省醫(yī)用光電儀器高新技術(shù)研究開發(fā)中心，浙江 寧波 315211）

引 言

近年來(lái)，利用體視顯微鏡實(shí)現(xiàn)立體顯示的研究越來(lái)越多，當(dāng)空間的三維場(chǎng)景投影成二維圖像時(shí)，同一物體在不同視點(diǎn)下的圖像會(huì)有很大的不同，而且場(chǎng)景中的很多因素，像光照條件、鏡頭畸變、物理特性、噪聲干擾和物體幾何形狀等［1］，都會(huì)影響圖像顯示效果。由于顯微鏡的特殊關(guān)系，實(shí)現(xiàn)顯微鏡的立體顯示包括自動(dòng)聚焦［2］、圖像采集和立體顯示等步驟，在立體顯示過(guò)程中，要達(dá)到較好的立體顯示效果，實(shí)現(xiàn)立體顯示的左右視點(diǎn)的圖像必須滿足一定的關(guān)系。為了能夠恢復(fù)變形的圖像，使得左右視點(diǎn)圖像滿足特定的關(guān)系，實(shí)現(xiàn)理想的立體顯示效果，有必要對(duì)其進(jìn)行圖像校正。立體圖像校正實(shí)際上就是給定一幅圖像中的一點(diǎn)，尋找另一幅圖像中的對(duì)應(yīng)點(diǎn)，使得這兩點(diǎn)為空間同一物體點(diǎn)的投影，進(jìn)而求出二者的視差，以恢復(fù)場(chǎng)景的深度信息，并進(jìn)一步求得該點(diǎn)的空間坐標(biāo)［3］?，F(xiàn)有的攝像機(jī)校正技術(shù)大致分為三類：傳統(tǒng)校正方法、攝像機(jī)自校正方法和主動(dòng)視覺校正方法。傳統(tǒng)校正過(guò)程復(fù)雜，需要高精度的已知結(jié)構(gòu)信息；攝像機(jī)自校正方法魯棒性差，精度不高。如文獻(xiàn)［4］提出了攝像機(jī)的校正算法過(guò)程復(fù)雜，速度慢。文獻(xiàn)［5］提出了基于單應(yīng)性矩陣和幾何外極線的自適應(yīng)攝像機(jī)校正算法，精度不高。文獻(xiàn)［6］提出了一種應(yīng)用于顯微攝像機(jī)的校正方案，校正材料為網(wǎng)格板，需要提取多個(gè)角點(diǎn)，影響校正速度。文中提出了一種基于十字標(biāo)尺，可以準(zhǔn)確找到特征點(diǎn)的快速校正算法，該算法克服噪聲的影響，可以運(yùn)用在線條不光滑、有斷點(diǎn)的十字標(biāo)尺上。算法速度快，精度高。

1 基于圖像中心的校正算法

1.1 立體顯示視差分析

平行結(jié)構(gòu)的兩臺(tái)攝像機(jī)位于相同的x－y平面，但是在x軸方向有一定偏差，因此在左右攝像機(jī)得到的圖像存在一定的視差，視差可以分為四種類型：零視差、正視差、負(fù)視差和發(fā)散視差四種。當(dāng)視線對(duì)圖像之間不存在任何差別時(shí)為零視差；當(dāng)視差小于或等于瞳孔距離且視線不交叉時(shí)為正視差狀態(tài)，此時(shí)成像在顯示器后面；交叉時(shí)為負(fù)視差狀態(tài)，成像位于顯示器前；當(dāng)視差大于瞳孔距離時(shí)為發(fā)散視差狀態(tài)。兩圖像沒有重疊部分，因此不能形成立體效果，圖1為立體顯示的成像原理。

P（X，Y，Z）為P點(diǎn)在空間的坐標(biāo)，P點(diǎn)分別投影在左右成像平面上坐標(biāo)對(duì)應(yīng)的點(diǎn)分別為PL（XL，YL），PR（XR，YR），這兩點(diǎn)的視差矢量為：

圖1 立體成像原理Fig.1 Principle of three－dimensional imaging

水平和垂直分量分別為：

由于是兩臺(tái)攝像機(jī)拍攝的結(jié)果，參數(shù)配置都有不同，攝像機(jī)位置擺放也對(duì)照片效果有很大的影響，故實(shí)際拍攝出的左右視點(diǎn)的圖像視差與估計(jì)視差有很多差異，這就需要通過(guò)圖像校正得到與估計(jì)視差相匹配的圖像。

設(shè)圖像左上角為原點(diǎn)；設(shè)原圖像任一點(diǎn)像素坐標(biāo)為（x，y），用矩陣p（x，y，1）表示；在投影圖像上的坐標(biāo)為（X，Y），用矩陣P（X，Y，0）表示。設(shè)投影圖像與原圖像的變換關(guān)系為

為了能求出a，b，u，v四個(gè)參數(shù)，并找出兩幅圖像對(duì)應(yīng)坐標(biāo)點(diǎn)，需要找到一個(gè)公共點(diǎn)，知道圖像的傾斜度。其中參數(shù)a，b可以通過(guò)傾斜度的測(cè)量獲得，參數(shù)u，v需要找到公共點(diǎn)求取。

1.2 傾斜度測(cè)量

采集到一幅圖像，首先對(duì)其進(jìn)行二值化處理，第二步通過(guò)邊緣檢測(cè)的原理，得到十字線水平線的邊緣，任取其左右的上邊緣和下邊緣的四個(gè)點(diǎn)，利用細(xì)化處理的原理，模擬出一條直線。最后求得到圖像的傾斜度。

（1）圖像預(yù)處理：對(duì)圖像進(jìn)行濾波去噪，通過(guò)空穴檢測(cè)方法去除圖像中明顯的污點(diǎn)，防止污點(diǎn)影響后續(xù)的測(cè)量。

（2）二值化：統(tǒng)計(jì)各像素的灰度個(gè)數(shù)計(jì)算全局閾值T1，設(shè)圖像在像素點(diǎn)（x，y）處的灰度值為f（x，y），二值化后為F（x，y），a為常數(shù)，則：

（3）邊緣點(diǎn)提取：利用邊緣檢測(cè)原理，找到一條水平線的邊緣上的點(diǎn)，取其中兩點(diǎn)，因?yàn)樵肼暤挠绊?，有可能找到的點(diǎn)并不是所需要的點(diǎn)，需加入限制條件，設(shè)在像素點(diǎn)（x，y）是圖像上找到的一點(diǎn)，y（x）表示找到x列點(diǎn)對(duì)應(yīng)的行數(shù)y，在理想狀態(tài)也應(yīng)有：

實(shí)驗(yàn)中取一個(gè)閾值d，只有當(dāng)找到的像素點(diǎn)（x，y）滿足公式

這一點(diǎn)就是需要的點(diǎn)，反之說(shuō)明找到是那個(gè)點(diǎn)是噪聲，繼續(xù)尋找下一個(gè)點(diǎn)。

（4）細(xì)化處理和傾斜度：原圖像根據(jù)變換定義

做細(xì)化處理，設(shè)rx，ry，lx，ly分別為細(xì)化處理后的取得的水平線上的兩點(diǎn)（rx，ry），（lx，ly），根據(jù)公式

求出所提取直線的傾斜度。

（5）參數(shù)的求?。杭俣ㄔ瓐D像的傾斜度為k0，待校正圖像的傾斜度為k1，可以知道所需參數(shù)為

1.3 角點(diǎn)檢測(cè)

目前角點(diǎn)檢測(cè)算法主要分為基于邊緣的角點(diǎn)檢測(cè)和基于灰度的角點(diǎn)檢測(cè)?；谶吘壍慕屈c(diǎn)檢測(cè)主要利用圖像的分割和邊緣提取，這種方法計(jì)算量大且算法性能依賴于邊緣檢測(cè)的效果；而基于灰度的角點(diǎn)檢測(cè)主要通過(guò)計(jì)算圖像中點(diǎn)的曲率及梯度來(lái)檢測(cè)角點(diǎn)，常用的有Harris算子、Susan算子等。由于十字標(biāo)尺的特殊材料，制作的十字標(biāo)尺兩條線并不是很光滑的直線，有些甚至還有斷點(diǎn)，故傳統(tǒng)的角點(diǎn)提取方法用于十字標(biāo)尺后，得到結(jié)果并不理想。文中采取方法是對(duì)已經(jīng)做過(guò)細(xì)化處理圖像，利用傾斜度測(cè)量中邊緣點(diǎn)提取方法，找到上下左右任意四個(gè)點(diǎn)坐標(biāo)，設(shè)在水平線提取的兩個(gè)像素點(diǎn)分別為（rx，ry），（lx，ly），在垂直線上提取的兩個(gè)像素點(diǎn)分別為（hx，hy），（dx，dy），兩幅圖像公共點(diǎn)為（x0，y0），兩幅圖像公共點(diǎn)之差分別為Δx，Δy。校正算法的參數(shù)u＝Δx，v＝Δy。圖2為用傳統(tǒng)的角點(diǎn)檢測(cè)方法和實(shí)驗(yàn)使用的檢測(cè)方法比較。從圖2中可以看出，文中使用的檢測(cè)方法可以準(zhǔn)確找到十字中心，而傳統(tǒng)的檢測(cè)方法受到斷點(diǎn)的影響，無(wú)法準(zhǔn)確找到需要的中心點(diǎn)。

兩幅圖像的公共點(diǎn)像素坐標(biāo)：

這種檢測(cè)方法利用十字線上任意四點(diǎn)間接求得需要的角點(diǎn)，文中算法與傳統(tǒng)一些算法相比的優(yōu)點(diǎn)在于：

（1）對(duì)十字光滑性沒有要求，即使是有斷點(diǎn)的十字線也能準(zhǔn)確提取需要的角點(diǎn)?？傻玫絻煞鶊D像的公共點(diǎn)。

（2）并不需要檢測(cè)整幅圖像，只要找到需要的點(diǎn)，算法就結(jié)束，節(jié)省了時(shí)間。算法速度快。

（3）很好地避免了噪聲的干擾。

圖2 角點(diǎn)檢測(cè)方法比較Fig.2 Comparison of corner detection

2 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)使用體視顯微鏡拍攝十字標(biāo)尺和電路板的兩組圖片。電子目鏡為一個(gè)CMOS攝像機(jī)，分辨力為1 600×1 200，顯微鏡的放大倍數(shù)分別用了3倍和1倍，由于顯微采光和鏡頭等原因，左右視點(diǎn)的圖片顏色誤差較為嚴(yán)重，實(shí)驗(yàn)未對(duì)顏色進(jìn)行校正。圖3為十字線校正前后的對(duì)比照片，其中圖3（a）為校正前左右視點(diǎn)照片對(duì)比，圖3（b）為校正后左右視點(diǎn)照片對(duì)比?？梢钥闯鲂Ｕ白笥乙朁c(diǎn)的十字線有一個(gè)明顯的污點(diǎn)，左右十字線不平行，水平線高度不一致，垂直線錯(cuò)位也過(guò)大；校正后左右視點(diǎn)的十字線已經(jīng)去除了污點(diǎn)，基本平行，高度一致，十字交點(diǎn)位置也基本一致。圖4是利用十字線校正得到的參數(shù)，校正電路板左右視點(diǎn)的照片。校正前電路板的立體顯示視覺效果模糊，立體效果不明顯；校正后的電路板立體顯示有很好的深度感，立體視覺效果清晰顯著。

圖3 十字線校正結(jié)果Fig.3 Cross－line calibration results

圖4 電路板校正結(jié)果Fig.4 Circuit board calibration results

表1為實(shí)現(xiàn)立體校正所需要的各個(gè)參數(shù)。表2為校正后特征點(diǎn)位置和像素誤匹配率，其中立體校正的算法誤差函數(shù)為

式（12）中，dc（x，y）為估計(jì)視差，dt（x，y）為實(shí)際視差，T 為算法所用的時(shí)間。由表2可以看出文中算法校正后兩幅圖像的像素誤匹配率小，校正效果好，算法時(shí)間短。

表1 校正變換的參數(shù)Tab.1 Correction transformation parameters

表2 校正后像素誤匹配百分比Tab.2 Percentage of corrected pixel mismatch

3 結(jié) 論

由于制作工藝和加工水平等原因，攝像機(jī)鏡頭有各種畸變，十字標(biāo)尺存在光滑度差，連續(xù)性不好等問(wèn)題。文中利用邊緣點(diǎn)的梯度不連續(xù)性，找到待匹配的特征點(diǎn)，由特征點(diǎn)區(qū)域性確保其特征點(diǎn)的準(zhǔn)確性。運(yùn)用坐標(biāo)變換，提出了一個(gè)新的校正方程，解決了十字標(biāo)尺的校正問(wèn)題?；謴?fù)變形的圖像，使得左右視點(diǎn)圖像滿足特點(diǎn)的關(guān)系，實(shí)現(xiàn)理想的立體顯示效果。文中算法需要的參數(shù)數(shù)量少，實(shí)現(xiàn)速度快，最終實(shí)現(xiàn)的誤匹配率低。適用于利用十字標(biāo)尺求取參數(shù)的立體校正。

［1］原思聰，劉金頌.雙目立體視覺中圖像匹配方法的研究［J］.計(jì)算機(jī)工程與應(yīng)用，2008，44（8）：75－77.

［2］余孟鳳，楊 鳴，楊翠翠.基于CPLD的高分辨力視頻展臺(tái)快速自動(dòng)聚焦方法及實(shí)現(xiàn)［J］.光學(xué)儀器，2010，32（6）：24－29.

［3］齊占輝，張鎖平.非校正點(diǎn)下的圖像校正算法［J］.光電工程，2009，36（1）：32－35.

［4］CARON G，EYNARD D.Multiple camera types simultaneous stereo calibration［C］∥IEEE International Conference on Robotics and Automation.Shanghai：Shanghai International Conference Center，2011：2933－2938.

［5］MIKSCH M，YANG B，ZIMMERMANN K.Automatic extrinsic camera self－calibration based on homography and epipolar geometry［C］∥IEEE Intelligent Vehicles Symposium.San Diego：University of California，2010：832－839.

［6］AMMI M，F(xiàn)REMONT V，F(xiàn)ERREIRA A.Automatic camera－based microscope calibration for a telemicromanipulation system using a virtual pattern［J］.IEEE Transactions on Robotics，2009，25（1）：184－191.

［7］狄紅衛(wèi)，柴 穎，李 澎.一種快速雙目視覺立體匹配算法［J］.光學(xué)學(xué)報(bào)，2009，29（8）：2180－2184.