基于短基線雙目內(nèi)窺鏡成像系統(tǒng)的3D 視頻標(biāo)定與校正

張朝財(cái)　張薇　周德峰　韋曉孝　萬新軍

摘要：為了解決短基線雙目內(nèi)窺成像系統(tǒng)獲得的視頻圖像在裸眼3D顯示設(shè)備中觀看到的視頻縱深感和立體感較弱的問題，通過分析雙目內(nèi)窺鏡的參數(shù)以及立體視頻中圖像對的視差，提出了基于短基線雙目內(nèi)窺成像系統(tǒng)的立體視頻校正和視差調(diào)整方法。首先，對采用的雙目結(jié)構(gòu)內(nèi)窺系統(tǒng)進(jìn)行相機(jī)標(biāo)定，獲取各相機(jī)參數(shù)和相機(jī)間的位置參數(shù)；其次，利用獲得的參數(shù)進(jìn)行相機(jī)視頻校正，再針對裸眼3D顯示設(shè)備對視頻源的參數(shù)要求進(jìn)行圖像對的視差調(diào)整，最終獲得符合裸眼3D立體顯示設(shè)備要求并適合人眼觀看的雙目內(nèi)窺系統(tǒng)實(shí)時(shí)顯示立體視頻。通過實(shí)驗(yàn)驗(yàn)證了方法的可行性，實(shí)際搭建了一套基線距離為8 mm 的短基線雙目內(nèi)窺成像系統(tǒng)，原始視差范圍（0，64）像素，經(jīng)視差調(diào)整后達(dá)到（?30， 30）像素，雙路并行視頻處理25幀/s 并實(shí)時(shí)顯示。與實(shí)驗(yàn)室設(shè)計(jì)的裸眼3D立體顯示系統(tǒng)匹配，可實(shí)現(xiàn)具有明顯立體感的醫(yī)用內(nèi)窺鏡實(shí)時(shí)裸眼3D成像。

關(guān)鍵詞：圖像處理；雙目視覺；立體視頻；視頻校正

中圖分類號： TP 391 文獻(xiàn)標(biāo)志碼： A

Calibration and correction of 3D video based on short baselinebinocular endoscope imaging system

ZHANG Chaocai，ZHANG Wei，ZHOU Defeng，WEI Xiaoxiao，WAN Xinjun

（School of Optical-Electrical and Computer Engineering，University of Shanghai forScience and Technology ，Shanghai 200093，China）

Abstract： In order to solve the problem that the video depth and stereoscopic sense of the video obtained by the short baseline binocular endoscopic imaging system are weak in the naked eye 3D display device， by analyzing the parameters of the binocular endoscope and the parallax of the image pair in the stereoscopic video， a stereo video correction and parallax adjustment method based on the short baseline binocular endoscopic imaging system is proposed. Firstly， the camera of the binocular endoscope system is calibrated to obtain the camera parameters and the positionparameters between cameras; Secondly， the camera video is corrected by using the obtained parameters， and then the image parallax is adjusted according to the parameter requirements of the naked eye 3D display device for the video source， so as to finally obtain the real-time display stereoscopic video of the binocular endoscope system which meets the requirements of the naked eye 3D stereoscopic display device and is suitable for human eyes. The feasibility of the method is verified by experiments. A short baseline binocular endoscope imaging system with a baseline distance of 8mm is actually built. The original parallax range is （0，64） pixels， which can reach （?30，30） after parallax adjustment. The two-way parallel video processing is 25 frames/sfor real- time display. Matching with the naked eye 3D stereoscopic display system designed in the laboratory， real-time naked eye 3D imaging of medical endoscope with obvious stereoscopic feeling can be realized.

Keywords： image processing；binocular vision ；stereo video；video correction

引言

立體影像可以提供給觀看者強(qiáng)烈的立體感，隨著虛擬現(xiàn)實(shí)技術(shù)、增強(qiáng)現(xiàn)實(shí)技術(shù)在醫(yī)學(xué)領(lǐng)域上的應(yīng)用，醫(yī)生在臨床手術(shù)中可以觀測到3D 形態(tài)的各個器官，感知到器官間的不同位置。隨著鏡頭工藝的提高，傳感器元器件的微型化，微小尺寸的內(nèi)窺鏡成為檢測探查狹窄空間的常用工具。若能提供狹小空間內(nèi)物體的深度圖像，可以極大地改善對于狹小空間的可操作性。日本奧林巴斯企業(yè)設(shè)計(jì)的高清內(nèi)窺鏡可以滿足3D 場景的顯示以及測量的需求，在國際上處于遙遙領(lǐng)先的地位。微創(chuàng)手術(shù)對于內(nèi)窺鏡所獲得的平面圖像的要求越來越高，生產(chǎn)廠商大力研發(fā)高清醫(yī)用內(nèi)窺鏡以提高醫(yī)學(xué)影像質(zhì)量，但是二維圖像會使醫(yī)生無法觀看到病變部位的全貌，導(dǎo)致診斷會有一定的偏差。為了獲得病變部位的醫(yī)學(xué)立體影像資料，利用2D 轉(zhuǎn)3D 技術(shù)，通過深度圖的生成來實(shí)現(xiàn)3D 視頻[1]，其成本較高，而且3D 效果有待提升。隨著雙目視覺技術(shù)的發(fā)展[2]，雙目成像系統(tǒng)可以提供三維物體的重建，三維點(diǎn)云顯示，以及雙目立體視頻的采集，高清3D 電子內(nèi)窺鏡獲得立體圖像并進(jìn)行三維顯示，將醫(yī)用內(nèi)窺鏡的成像提升到了深度信息層面。對于內(nèi)窺鏡圖像采集過程易受到周圍光源亮度、色溫、噪聲等環(huán)境的影響，尚靜靜[3]采用基于 YUV 色彩空間的圖像自動白平衡處理，使得左右圖像具有相似的色彩信息，圖像邊緣細(xì)節(jié)得到增強(qiáng)，但是在圖像處理過程中對雙目圖像的視差產(chǎn)生了影響，影響了3D 合成中的立體感。立體感反映圖像的深度與雙眼視差融合區(qū)[4]的相互作用，雙眼視差距離、視距和瞳距等參數(shù)對于人眼融合有直接的影響。李芳[5]根據(jù)圖像顯示的立體深度的量化參數(shù)，探討了圖像的深度與視差的變化范圍，在顯示中具有較強(qiáng)的立體感，但是雙目相機(jī)的基線較大，不適合短基線醫(yī)用內(nèi)窺鏡的應(yīng)用。雙目內(nèi)窺鏡系統(tǒng)的基線較小，內(nèi)窺鏡的景深范圍又比較大，在拍攝時(shí)對位于中近距離的目標(biāo)形成的視差過大，無法在裸眼3D 顯示系統(tǒng)中獲得好的顯示效果。由于內(nèi)窺鏡尺寸的限制，采用雙目結(jié)構(gòu)無法獲得足夠的基線長度，對于醫(yī)用雙目內(nèi)窺鏡短基線結(jié)構(gòu)，要想獲得較強(qiáng)立體感需要從圖像視差入手做出調(diào)整。

本文提出了一種短基線雙目系統(tǒng)立體視頻標(biāo)定和校正方法，采用視差調(diào)整來增強(qiáng)短基線雙目內(nèi)窺鏡圖像的立體感，將相機(jī)標(biāo)定與圖像校正相結(jié)合，在雙目視頻的拍攝過程中，對獲得的圖像進(jìn)行校正，針對試驗(yàn)的裸眼3D 顯示設(shè)備的參數(shù)要求調(diào)整圖像對視差，實(shí)現(xiàn)了雙目內(nèi)窺系統(tǒng)的實(shí)時(shí)顯示，增強(qiáng)了立體縱深感，解決了立體顯示中無法明顯感受到立體感的問題。該方法針對雙目視頻有效減少了垂直視差對立體視頻的觀看影響，增強(qiáng)了立體顯示效果。

1 平行雙目視覺原理

平行雙目視覺系統(tǒng)中兩個相機(jī)的位置相互平行，以滿足兩相機(jī)光軸平行，且要求兩個相機(jī)參數(shù)相同。平行式雙目相機(jī)原理如圖1所示，左右相機(jī)光心ol與 or 之間的距離即基線為 b，空間中一點(diǎn) P（Xw，Yw，Zw）距離雙目相機(jī)的深度距離為 Z。

空間點(diǎn)P 投影到兩個像平面的坐標(biāo)分別為 pl（xl，yl）和 pr（xr，yr），f是兩個相機(jī)焦距。由于平行結(jié)構(gòu)兩個投影點(diǎn)有相同的縱坐標(biāo)，由三角形相似和幾何關(guān)系可以得到

視差 d = xl ? xr，表示同一像素點(diǎn)在左右成像平面上的位置偏差。相機(jī)通過將空間三維物體捕獲轉(zhuǎn)化儲存到二維平面圖像，景物的深度信息被記錄在平行雙目圖像對的視差中，雙目立體視覺將獲得的二維平面圖像進(jìn)行三維還原以達(dá)到立體成像的目的。

2 雙目立體視頻

2.1 視頻生成

為了能夠在裸眼3D 設(shè)備上顯示立體視頻，需要實(shí)現(xiàn)雙目視頻的實(shí)時(shí)采集，生成左右格式的3D 視頻。首先，需要拍攝棋盤格標(biāo)定板來完成雙目結(jié)構(gòu)的相機(jī)標(biāo)定，通過相機(jī)標(biāo)定參數(shù)完成圖像校正，調(diào)用雙目相機(jī)同步拍攝；其次，對圖像進(jìn)行處理調(diào)整視差獲得左右視頻，合并左右視頻生成立體視頻；最后，通過3D 顯示設(shè)備實(shí)時(shí)顯示立體視頻供觀看者觀看。獲得雙目立體視頻的基本流程如圖2所示。

2.2 雙目相機(jī)標(biāo)定

相機(jī)標(biāo)定對于雙目視頻的獲取有著決定性作用。通過相機(jī)的標(biāo)定參數(shù)可以準(zhǔn)確地對應(yīng)空間中物體的三維坐標(biāo)在相機(jī)成像平面上的像點(diǎn)坐標(biāo)系?？紤]實(shí)際成像系統(tǒng)中存在的畸變問題[6]，本文采用非線性相機(jī)模型，選擇基于棋盤格的張正友標(biāo)定法[7]，該標(biāo)定方法可以獲得更準(zhǔn)確的相機(jī)參數(shù)，在拍攝標(biāo)定板的時(shí)候需要拍攝不同方向，不同角度，并使標(biāo)定板在圖像中獲得較大面積的多張圖像。

2.3 立體視頻校正

實(shí)際拍攝過程中，平行雙目系統(tǒng)無法達(dá)到理想的完全平行共面的狀態(tài)，必須進(jìn)行立體校正，使左右圖像面行對齊，立體視頻中只包含水平視差，沒有垂直視差的影響。立體校正是對相機(jī)標(biāo)定得到的參數(shù)，包括左右相機(jī)的內(nèi)部參數(shù)如焦距、成像主點(diǎn)坐標(biāo)、畸變系數(shù)以及左右相機(jī)外部參數(shù)記錄兩相機(jī)的位置關(guān)系，包括旋轉(zhuǎn)矩陣和平移矩陣。立體校正所使用的是Bouguet算法[8]，其主要的方法是將旋轉(zhuǎn)矩陣分解為左右旋轉(zhuǎn)矩陣Rl，Rr ，然后左右相機(jī)的圖像平面分別旋轉(zhuǎn)一半，此時(shí)，兩成像面共面，但沒有行對齊，然后通過平移矩陣構(gòu)造變換矩陣Rrect從而使基線與成像平面平行，完成行對齊的校準(zhǔn)。算法流程圖如圖3所示。

通過對圖像的校正，采集到的圖像大小會被裁剪，為了不改變原圖像的大小，采用雙線性插值處理，保持圖像分辨率不變。保持相機(jī)同步拍攝，滿足左右視頻水平方向上的行對齊。

2.4 雙目視差調(diào)整

平行雙目采集系統(tǒng)直接獲得的立體視頻只有負(fù)視差[9]，而通常裸眼3D 顯示系統(tǒng)為了更好地滿足觀看時(shí)呈現(xiàn)的立體深度，需要同時(shí)具備正視差、零視差和負(fù)視差。根據(jù)雙眼視線的交點(diǎn)落在屏幕的位置不同，水平視差可分為如圖4所示的4種視差類型。

當(dāng)視線交點(diǎn)正好落在顯示器屏幕上，此時(shí)為零視差位置，如圖4（a）所示；當(dāng)視線交點(diǎn)位于屏幕后方，此時(shí)為正視差位置，如圖4（b）所示，雙眼所看到的畫面具有立體感，能感受到屏幕里面的縱深；當(dāng)視線交點(diǎn)位于屏幕前方，此時(shí)為負(fù)視差位置，如圖4（c）所示，雙眼所看的畫面具有躍出屏幕的立體感，能感受到物體從屏幕里“飛出”的立體感；當(dāng)雙眼無法交匯時(shí)，此時(shí)為發(fā)散視差，如圖4（d）所示，沒有立體感。Krol等[10]發(fā)現(xiàn)當(dāng)人眼注視一個物體時(shí)，周圍的物體也會刺激視網(wǎng)膜進(jìn)行成像。在視網(wǎng)膜對應(yīng)點(diǎn)附近的小范圍內(nèi)大腦也可以產(chǎn)生單一的立體視覺，該范圍被稱作融合區(qū)[11]。在融合區(qū)立體成像需要雙目的視差在一定范圍內(nèi)。結(jié)合裸眼顯示設(shè)備以及觀看距離，在舒適區(qū)觀看時(shí)，立體視頻的水平視差Δn需要滿足的條件[12]為

式中：D 為人眼的瞳孔直徑，大小為4 mm；η人眼的視銳度，η≈2.907×10?4 rad ；S 為距離顯示屏幕的觀看距離；Ee為觀看者的雙眼瞳距，平均值為6.5 cm；Pw 為顯示器的像素寬度；l 為顯示器的屏幕尺寸；w×h為屏幕的分辨率。對于固定基線的雙目系統(tǒng)依靠圖像平面的平移作為視差調(diào)節(jié)的方式。水平視差的調(diào)整由視差d = xl ? xr可知，成像平面的像素平移操作可以改變視差的大小，從而調(diào)整平行雙目只有負(fù)視差的情形。令 t 為圖像平移量，則平移后的新視差范圍為[dmin?t， dmax?t]，dmax為視差范圍的最大值，dmin為視差范圍內(nèi)的最小值，將左右圖像按照平移量大小進(jìn)行平移，實(shí)現(xiàn)視差的調(diào)整。平移的圖像會損失掉一部分邊緣信息，利用雙線性插值算法對圖像邊緣處理，得到的圖像比較平滑，不影響觀測的效果。

3 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證視頻校正方法的有效性，搭建了一套雙目立體實(shí)時(shí)成像系統(tǒng)，如圖5所示，實(shí)驗(yàn)裝置主要包括：兩個短焦內(nèi)窺鏡，一個高精密的棋盤格標(biāo)定板（方格數(shù)12×9，方格大小20 mm×20 mm）以及一臺28 inch（1 inch =2.54 cm）裸眼3D 顯示器。兩個短焦內(nèi)窺鏡水平并列放置，模擬短基線平行雙目成像系統(tǒng)。

3.1 雙目視頻校正實(shí)驗(yàn)

首先進(jìn)行相機(jī)標(biāo)定，實(shí)驗(yàn)拍攝了25組棋盤格，從不同距離，不同傾斜角度，不同方向進(jìn)行采集，盡可能讓棋盤格占據(jù)整幅畫面。

使用 MATLAB 工具箱進(jìn)行相機(jī)標(biāo)定，得到相機(jī)的內(nèi)外參數(shù)，如表1所示。

對雙目相機(jī)進(jìn)行采集圖像，采集圖像如圖6所示，其中圖（a）為未校正的圖像對，圖（b）為校正后的圖像對。校正后的圖像對滿足左右行對齊。保存校正參數(shù)用于后續(xù)視頻校正。

3.2 立體圖像對視差調(diào)整

根據(jù)裸眼3D 顯示設(shè)備的參數(shù)要求，確定視頻播放所滿足的視差大小。實(shí)驗(yàn)中采用的裸眼3D 顯示設(shè)備參數(shù)如表2所示。

實(shí)驗(yàn)用的顯示設(shè)備裸眼3D 顯示屏，其舒適的觀看區(qū)域距離屏幕1.7～3.1 m。由式（2）和式（3）計(jì)算得出立體視頻水平像素差的范圍，觀看距離為1.7 m 時(shí)，水平像素差為（?15，15）；滿足最大觀看距離3.1 m 時(shí)，水平像素差為（?30，30）。由于雙目內(nèi)窺鏡并排放置，兩鏡頭之間的基線距離只有8 mm，內(nèi)窺鏡景深范圍為50～200 mm ，對于近距離拍攝所造成的視差過大，雙目內(nèi)窺鏡實(shí)際拍攝的雙目立體圖像通過匹配得到的視差圖如圖7所示。

匹配得到估計(jì)視差圖的范圍在0～64像素，此時(shí)屏幕前的景物在觀看時(shí)不符合人眼觀看的視差范圍，無法顯示好的效果。根據(jù)顯示屏幕的舒適視差范圍（?30， 30），經(jīng)過視差調(diào)整，可得出平移量 t 的范圍是[30，50]。并采用雙線性插值算法對圖像邊緣進(jìn)行處理。

設(shè)置4組視差變化來求證不同視差范圍內(nèi)的3D 立體感受：第一組為未調(diào)節(jié)視差；第二組為計(jì)算得到設(shè)備所需的視差大小進(jìn)行調(diào)整；第三組為調(diào)整到零視差面的位置；第四組將視差調(diào)整到距零視差面前后相同距離的位置。

如圖8所示抽取4組經(jīng)過校正后的視頻中的幀畫面比較，不同視差調(diào)整下3D 顯示觀看的效果，為突出顯示立體圖像以3D 紅青灰度互補(bǔ)色展示。

通過裸眼3D 顯示設(shè)備的播放，對比4組不同的視差調(diào)整得到的立體視頻，人眼觀看得到立體感覺證實(shí)，在符合顯示設(shè)備的視差范圍內(nèi)有強(qiáng)烈的立體感，圖8（a）顯示了未調(diào)整視差時(shí)的3D 圖像顯示，由于視差過大，雙眼看到的左右圖像無法有效融合，無立體感；圖8（b）在視差調(diào)整過后可以完全匹配裸眼顯示設(shè)備所需要的（?30， 30）像素視差范圍內(nèi)，得到的立體視頻觀看體驗(yàn)很好；圖8（c）將視差零視差面調(diào)整到相機(jī)景深范圍內(nèi)，此時(shí)立體視頻展現(xiàn)負(fù)視差，展現(xiàn)明顯的躍出屏幕的感覺，達(dá)到零視差面調(diào)整的要求；圖8（d）將零視差面朝相機(jī)鏡頭前移，使得成像范圍內(nèi)的視差均勻分布，入屏和出屏的效果相當(dāng)，符合近距離視頻拍攝獲得較強(qiáng)的立體感。

最后，選擇將視差調(diào)整到零視差面前后相同距離的方式設(shè)置調(diào)整參數(shù)，通過 VS2015平臺編寫立體視頻獲取程序，對于雙路視頻的輸入并行處理，視頻處理達(dá)到25幀/s，滿足人眼觀看的流暢度，實(shí)時(shí)輸出雙目視頻，在實(shí)驗(yàn)中所采用的裸眼3D 顯示設(shè)備上觀看，具有明顯的立體感。

4 結(jié)論

本文研究了如何通過短基線雙目內(nèi)窺成像系統(tǒng)獲得與裸眼3D 顯示系統(tǒng)相匹配的立體視頻，實(shí)現(xiàn)實(shí)時(shí)觀看時(shí)具有強(qiáng)立體感。提出通過自適應(yīng)的視差調(diào)整，使獲得的立體視頻滿足顯示系統(tǒng)的舒適視差范圍，并能夠?qū)崟r(shí)顯示。本方法對于在基線距離較小的雙目視覺系統(tǒng)立體成像方面有借鑒意義。相比于傳統(tǒng)立體視頻的拍攝，對于內(nèi)窺鏡系統(tǒng)來說更小的尺寸是未來的發(fā)展方向，高分辨率和高刷新率的視頻畫質(zhì)是待改進(jìn)的地方。

參考文獻(xiàn)：

[1]于鳳利.2D-3D 視頻轉(zhuǎn)換中深度圖生成方法研究[D].濟(jì)南：山東大學(xué)， 2012.

[2]張廣軍.機(jī)器視覺[M].北京：科學(xué)出版社， 2005：99?102.

[3]尚靜靜.3D 內(nèi)窺鏡圖像增強(qiáng)算法研究[D].重慶：重慶郵電大學(xué)， 2018.

[4]夏振平， 程成.基于視覺顯著性的立體顯示圖像深度調(diào)整[J].光學(xué)學(xué)報(bào)， 2017， 37（1）：0133001.

[5]李芳.影響panum融合區(qū)顯示深度相關(guān)參數(shù)研究及圖像優(yōu)化[D].包頭：內(nèi)蒙古科技大學(xué)， 2019.

[6]梁玉敏， 蔡曉東， 張學(xué)敏.基于圖像校正與相位相關(guān)的視頻拼接算法[J].電視技術(shù) ， 2013， 37（17）：151–154，158.

[7] ZHANG Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2000， 22（11）：1330–1334.

[8]黃鵬程， 楊波， 萬新軍， 等.基于雙目視覺的多點(diǎn)三維振動測量系統(tǒng)[J].光學(xué)技術(shù)， 2018， 44（4）：448–452.

[9]霍昊達(dá).雙目視差立體圖像實(shí)像顯示方法的研究[D].長春：吉林大學(xué)， 2015.

[10] Krol J D， VAN DE GRIND W A. Rehabilitation of a classical notion of Panum's fusional area[J]. Perception， 1982， 11（5）：615–619.

[11] AGARWAL A， BLAKE A. Dense stereo matching over the Panum band[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2010， 32（3）：416–430.

[12]張丞， 侯春萍， 王曉燕， 等.立體圖像視差自適應(yīng)調(diào)整算法[J].光電子·激光， 2014， 25（3）：581–587.

（編輯：張磊）