4K裸眼立體顯示系統(tǒng)設(shè)計(jì)

嚴(yán) 飛，宋振聲，劉銀萍，劉卿卿,2，蔡靜怡

(1. 南京信息工程大學(xué) 自動化學(xué)院，江蘇 南京 21004；2. 江蘇省大氣環(huán)境與裝備技術(shù)協(xié)同創(chuàng)新中心，江蘇 南京 210044；3. 南京信息工程大學(xué) 大氣物理學(xué)院，江蘇 南京 210044)

1 引 言

視覺在人們?nèi)粘Ｉ钪邪缪葜匾慕巧?，研究表明人?0%的環(huán)境信息是通過視覺獲取的[1]，這說明視覺是人們獲取外界信息最主要的方式。近年來，隨著3D電影行業(yè)的火熱，立體顯示技術(shù)被推向一個新的發(fā)展熱潮。立體顯示具有很好的立體感和縱深感，被廣泛應(yīng)用于醫(yī)療等領(lǐng)域[2]。

在國外，2010年世界上首例3D內(nèi)窺鏡微創(chuàng)手術(shù)在英國吉爾福德順利實(shí)施[3]。BAlaraimi等人于2014年針對3D內(nèi)窺鏡攝像系統(tǒng)與傳統(tǒng)2D內(nèi)窺鏡系統(tǒng)的優(yōu)劣做了相關(guān)研究。研究發(fā)現(xiàn)，對于未經(jīng)過視覺問題矯正的新手來說，他們操作3D內(nèi)窺鏡系統(tǒng)時可以更快地上手，并且重復(fù)操作和操作錯誤次數(shù)均比他們操作傳統(tǒng)2D內(nèi)窺鏡要少[4]。Storz等人在比較傳統(tǒng)的2D內(nèi)窺鏡系統(tǒng)和3D內(nèi)窺鏡系統(tǒng)時，針對操作精度和工作速度方面進(jìn)行了測試研究。在其中的4項(xiàng)任務(wù)中，參與者在3D系統(tǒng)中操作的錯誤和操作的時間比2D系統(tǒng)下少。有經(jīng)驗(yàn)的外科醫(yī)生在3D系統(tǒng)下操作困難的任務(wù)時則節(jié)省了更多的時間[5]。Sinha等人對 200例3D腹腔鏡手術(shù)和200例2D腹腔鏡手術(shù)進(jìn)行了分析，統(tǒng)計(jì)結(jié)果直接體現(xiàn)了3D內(nèi)窺鏡較傳統(tǒng)2D系統(tǒng)在手術(shù)時的優(yōu)勢[6]。另外，一些研究表明，3D內(nèi)窺鏡攝像系統(tǒng)在微創(chuàng)手術(shù)中的表現(xiàn)都要優(yōu)于傳統(tǒng)的2D內(nèi)窺鏡系統(tǒng)[7～9]。Kong等人對3D內(nèi)窺鏡系統(tǒng)與傳統(tǒng)2D系統(tǒng)的性能進(jìn)行了比較。在這項(xiàng)研究中，新手在使用2D和3D操作時間上沒有太大的差異，但是3D系統(tǒng)上的操作誤差明顯比2D要少[10]。

在國內(nèi)，2012年首例3D內(nèi)窺鏡下腎盂旁囊腫切除術(shù)在于北京協(xié)和醫(yī)院順利進(jìn)行[11]。蔣堃等人針對傳統(tǒng)內(nèi)窺鏡和3D內(nèi)窺鏡技術(shù)治療效果進(jìn)行了對比研究[12]。就腎上腺腫瘤切除術(shù)的案例對比發(fā)現(xiàn)，使用3D內(nèi)窺鏡系統(tǒng)進(jìn)行手術(shù)的時間比傳統(tǒng)內(nèi)窺鏡手術(shù)時間縮短很多，并且手術(shù)中出血量也少。李漢忠和劉皓等分別就3D內(nèi)窺鏡系統(tǒng)在泌尿外科手術(shù)和膀胱前列腺切除手術(shù)中的成功應(yīng)用[13-14]，國內(nèi)首例3D內(nèi)窺鏡在神經(jīng)外科手術(shù)中成功實(shí)施，見證了3D內(nèi)窺鏡在高難度手術(shù)中的成功應(yīng)用[15]。由此可見，3D內(nèi)窺鏡提供的3D醫(yī)療影像給醫(yī)生帶來很好的立體視野的優(yōu)勢，并且手術(shù)操作準(zhǔn)確性大大提高。

針對3D內(nèi)窺鏡攝像系統(tǒng)的研究，Liu等人提出以FPGA為核心的小體積、低成本、高性能的輔助式3D內(nèi)窺鏡系統(tǒng)，能顯著降低手術(shù)體腔損傷的風(fēng)險[16]。也有部分學(xué)者利用其他技術(shù)手段對傳統(tǒng)2D內(nèi)窺鏡進(jìn)行立體化處理，例如Oh等人提出的對2D腹腔鏡成像系統(tǒng)進(jìn)行三維重建的研究[17]。另外，Lee等人提出的利用特征追蹤技術(shù)對內(nèi)窺鏡系統(tǒng)進(jìn)行深度采樣進(jìn)而生成深度圖，可以將傳統(tǒng)的2D內(nèi)窺鏡視頻進(jìn)行3D可視化轉(zhuǎn)換[18]。Zhao等人提出了一種基于交互式三維導(dǎo)航系統(tǒng)的圖像導(dǎo)航手術(shù)，可以提高醫(yī)學(xué)成像效果和診斷準(zhǔn)確性，為圖像引導(dǎo)手術(shù)相關(guān)方向提供了參考價值[19]。

綜上所述，立體顯示已經(jīng)被證實(shí)能夠?yàn)獒t(yī)生診斷病人提供非常好的幫助。本文擬開發(fā)一種基于FPGA的4K裸眼立體顯示系統(tǒng)，旨在為醫(yī)用高清晰3D顯示領(lǐng)域提供一種切實(shí)可行的設(shè)計(jì)方案。

2 系統(tǒng)組成

立體顯示系統(tǒng)控制卡如圖1所示，包括4路SDI輸入接口、4路SDI環(huán)路輸出接口、DP輸出接口、DDR3存儲模塊以及外圍電路(電源電路、配置電路和時鐘電路)模塊，硬件組成部分如圖2所示。其中，4路SDI輸入接口在FPGA邏輯設(shè)計(jì)時僅用了2路，其余兩路輸入為冗余設(shè)計(jì)。

系統(tǒng)支持3G-SDI視頻輸入和DP 1.2視頻輸出。系統(tǒng)主控芯片使用的是型號為XC7K325TFFG900-2的一款FPGA，屬于Xilinx 公司Kintex 7系列。

圖1 立體顯示系統(tǒng)控制卡Fig.1 Control card of stereo display system

圖2 立體顯示系統(tǒng)硬件組成Fig.2 Hardware components of three-dimensional display system

據(jù)FPGA特性如下：

(1)采用FFG900封裝，速度等級為-2；

(2)擁有16個GTX(GTX Transceivers，7系列FPGA高速吉比特收發(fā)器)收發(fā)器，傳輸速率高達(dá)6.6 Gbit/s；

(3)擁有500個I/O，分別有350個支持1.2 V至3.3 V I/O電壓的HR(High-range,高范圍)I/O和150個支持1.2～1.8 V I/O電壓的HP(High-performance，高性能)I/O。其中高性能I/O口為FPGA與外部高速器件之間數(shù)據(jù)交互提供保障。

該系統(tǒng)采用模塊化的設(shè)計(jì)思路，對系統(tǒng)圖像采集模塊、圖像格式解析模塊、圖像處理模塊以及圖像輸出模塊進(jìn)行詳細(xì)設(shè)計(jì)。其中圖像處理模塊包括圖像縮放、圖像緩存以及圖像拼接。

前端采集到的圖像經(jīng)過縮放處理、同步緩存后再拼接輸出。圖像輸入為1 920×1 080，經(jīng)過縮放模塊后放大至1 920×2 160，最后兩路視頻拼接為4K(3 840×2 160)輸出，輸出的圖像采用SBS拼接方式。圖像處理過程如圖3所示，在設(shè)計(jì)各個模塊時，以單路圖像處理的方式進(jìn)行設(shè)計(jì)，當(dāng)兩路圖像同時處理時，能夠直接復(fù)用部分功能模塊，以達(dá)到節(jié)約資源的目的。

圖3 本文圖像處理流程Fig.3 Image processing process in this paper

3 3G-SDI圖像輸入解析

SDI輸入?yún)⒖紩r鐘為148.5 MHz和148.5/1.001 MHz，硬件上由時鐘管理芯片SI5338提供。另外，該參考時鐘頻率也兼容HD-SDI模式。SDI輸入邏輯設(shè)計(jì)框圖如圖4所示。

SDI輸入邏輯設(shè)計(jì)模塊中，主要包括GTX模塊以及SDI模塊。GTX模塊包含GTX收發(fā)器(7 Series FPGAs Transceviers)，根據(jù)GTX收發(fā)器的結(jié)構(gòu)特性，其參考時鐘可以直接接入CPLL或者通過GTX Common模塊接入QPLL。

圖4 SDI輸入邏輯設(shè)計(jì)框圖Fig.4 Block diagram of SDI input logic design

SDI模塊包含SMPTE Core和Control模塊。SMPTE Core支持SD-SDI、HD-SDI、3G-SDI Level A、3G-SDI Level B-DL和LeveB-DS傳輸模式，在本文中僅討論3G-SDI傳輸模式。Control模塊用于當(dāng)SDI輸入模式改變時重配置GTX核以及實(shí)時檢測SDI輸入比特率。SDI模塊輸出的rx_ds1a、rx_ds1b、rx_ds2a和rx_ds2b為視頻數(shù)據(jù)，其中rx_ds1a和rx_ds2a用于輸出視頻信號的亮度分量，rx_ds1b和rx_ds2b用于輸出視頻信號的色彩分量。僅當(dāng)傳輸3G-SDI level B信號時，rx_ds2a和rx_ds2b才有有效值輸出。

圖5 3G-SDI Level A 解析Fig.5 Analysis of 3G-SDI Level A

在3G-SDI Level B模式下，數(shù)據(jù)流雙鏈路傳輸，在鏈路上存在EAV的4個字時，rx_trs信號被置高。采集到的數(shù)據(jù)如圖5所示，rx_level_b_3g為高電平，表示當(dāng)前傳輸?shù)氖?G-SDI Level B視頻流。

解析后的圖像需要進(jìn)行YUV到RGB的格式轉(zhuǎn)換，然后使用Xilinx提供的VPSS核實(shí)現(xiàn)圖像縮放，每路視頻放大至1 920×2 160再拼接輸出，下節(jié)重點(diǎn)闡述圖像的縮放過程。

4 圖像縮放

本文使用VPSS核實(shí)現(xiàn)雙三次插值縮放算法僅適用于逐行掃描的圖像，即需要輸入圖像滿足從左到右和從上到下的掃描方式，有效輸出圖像也按此順序給出。

視頻縮放是一種二維濾波操作形式，可以近似為公式(1)。其中，x和y是圖像上離散的像素點(diǎn)的坐標(biāo)，Po(x,y)是在(x,y)位置生成的輸出像素；Pi(x,y)是參與運(yùn)算的輸入圖像的(x,y)位置的像素；在雙三次插值縮放算法中，C(i,j)是取決于雙三次插值基函數(shù)的系數(shù)數(shù)組；HTaps和Vtaps分別為濾波器中的水平和垂直步長，在雙三次插值中，步長為4，即新產(chǎn)生的像素是由源圖像中16個關(guān)聯(lián)像素點(diǎn)計(jì)算而來。

(1)

縮放模塊中，先對圖像進(jìn)行垂直濾波運(yùn)算，產(chǎn)生一個中間結(jié)果Pint，見式(2)，A[i]是垂直插值系數(shù)權(quán)重。

(2)

垂直分量的輸出結(jié)果Pint輸入到水平濾波運(yùn)算中，見式(3)，B[i]是水平插值系數(shù)權(quán)重。

(3)

垂直和水平運(yùn)算分離意味著可以簡化乘法操作，以達(dá)到節(jié)省FPGA資源的目的。例如，在圖像縮放過程中，輸出期望像素P在源圖像中的位置如圖6所示，F(xiàn)0～F15為點(diǎn)P關(guān)聯(lián)的16個像素。

圖6 期望像素的位置Fig.6 Position of the desired pixel

系數(shù)權(quán)重通過將期望像素位置的小數(shù)部分dx和dy計(jì)算得出，水平方向系數(shù)權(quán)重A[i]和垂直方向系數(shù)權(quán)重B[i]如式(4)所示。

在雙三次插值算法中，采用不同的插值基函數(shù)，其計(jì)算量以及縮放效果都有所不同，常用的基函數(shù)如keys的雙三次插值基函數(shù)如式(5)所示，它是一個連續(xù)并且具有連續(xù)一階導(dǎo)數(shù)的函數(shù)。

(4)

(5)

通常來講，F(xiàn)PGA執(zhí)行插值運(yùn)算時，插值系數(shù)數(shù)組的權(quán)重值被定義成一個小型的查找表，這樣可以節(jié)省FPGA運(yùn)算資源的使用。

圖像縮放模塊邏輯架構(gòu)如圖7所示。AXI4總線用于配置Scaler模塊的工作模式，圖像先經(jīng)過Video In to AXI4-Stream模塊轉(zhuǎn)換成AXI4S的形式輸入到Scaler模塊，在Scaler模塊內(nèi)圖像并以AXI4S的形式參與運(yùn)算及輸出。Video Timing Controller與AXI4-Stream to Video Out協(xié)同工作，vtg_ce信號用于使能Video Timing Controller輸出時序給AXI4-Stream to Video Out用于輸出圖像數(shù)據(jù)以及時序。

圖7 縮放模塊邏輯架構(gòu)Fig.7 Logical architecture of scaling module

縮放后，將兩路分辨率為1 920×2 160的圖像存儲到內(nèi)存中，讀取時采用左右拼接的輸出方案，實(shí)現(xiàn)3 840×2 160的圖像數(shù)據(jù)流，然后將該數(shù)據(jù)流按照DP圖像時序輸出，即實(shí)現(xiàn)雙路3G-SDI圖像的SBS格式輸出。

5 DP圖像輸出

根據(jù)裸眼3D顯示器的技術(shù)規(guī)格，需提供固定拼接方式的3D圖像輸入格式。有2種拼接方式的3D圖像格式，分別為SBS和TOP-BOTTOM的拼接方式。SBS拼接方式即左邊一半為左圖，右邊一半為右圖。TOP-BOTTOM即左、右圖上下排布，上一半為左圖，下一半為右圖。該系統(tǒng)采用SBS拼接方式，拼接后的圖像采用DP 1.2接口輸出，輸出邏輯設(shè)計(jì)框圖如圖8所示。

圖8 DP輸出邏輯設(shè)計(jì)圖Fig.8 Diagram of DP output logic design

輸出部分包括時鐘配置模塊、系統(tǒng)復(fù)位模塊MicroBlaze處理器、AXI 仲裁模塊和一些AXI4接口的外設(shè)。AXI4外設(shè)包括串口UART模塊、中斷控制模塊和DP核。各模塊之間通過AXI4總線掛在AXI仲裁模塊上。視頻信號由DP核輸出，通過DP端子輸出到帶有DP接口的顯示器。

圖像輸出模塊的設(shè)計(jì)，包括圖像輸出邏輯設(shè)計(jì)圖中的硬件時鐘配置、輸出接口配置、圖像輸出時序以及MicroBlaze 軟核控制流程幾個部分，旨在輸出3 840×2 160@60 Hz的圖像。

圖像輸出模塊用到的時鐘分別為sys_clk，pix_clk和DP參考時鐘lnk_clk_p，lnk_clk_n。sys_clk為Microblaze處理器和AXI域時鐘，其頻率為100 MHz。DP核參考時鐘為135 MHz差分時鐘，由時鐘管理芯片SI5338提供。視頻像素時鐘pix_clk頻率根據(jù)實(shí)際圖像分辨率、幀率以及采用幾線制像素輸出接口共同決定。這里采用4像素接口輸出3 840×2 160@60 Hz圖像，因此pix_clk頻率為148.5 MHz。DisplayPort核定制為DP 1.2，色彩深度為16 bit，支持4像素接口，最大通道數(shù)為4，最大鏈接速率為5.4 Gbit/s。

DisplayPort物理層使用雙向AUX通道接口信號，4個高速通道的4個收發(fā)器映射到FPGA的MGT_BANK_118中的4個GTX收發(fā)器，DP內(nèi)核基于AXI4-Lite接口用以配置，支持1.62、2.7或5.4 Gbps/s的1、2或4通道的自動通道速率和寬度調(diào)整。MicroBlaze處理器通過AXI4-Lite接口與DP核連接。用戶可以通過軟核對TX進(jìn)行初始化，MicroBlaze處理器通過對DP核的相關(guān)寄存器寫入和讀取操作來啟動和維護(hù)主鏈路。MicroBlaze首先完成對各AXI外設(shè)包括AXI Uart lite和DisplayPort Source IP的初始化，然后對DP核進(jìn)行控制。MicroBlaze對DP核的控制流程圖如圖9所示。

圖9 MicroBlaze控制DP流程Fig.9 Control flow diagram of MicroBlaze on DP

在VESA標(biāo)準(zhǔn)里面，3 840×2 160@60 +消隱 = 4 400×2 250@60，像素時鐘頻率為594 MHz。若采用4像素接口，則像素時鐘頻率變?yōu)?94 MHz/4=148.5 MHz，滿足設(shè)計(jì)需求。一個像素時鐘傳輸4個像素，因此傳輸一行3 840個像素需要960個像素時鐘周期。輸出的3 840×2 160@ 60Hz圖像行、場各參數(shù)如表1所示，水平相關(guān)的幾個參數(shù)是標(biāo)準(zhǔn)值的1/4，垂直相關(guān)的幾個參數(shù)與標(biāo)準(zhǔn)一致。

表1 輸出圖像的行、場參數(shù)Tab.1 Row and field parameters of output image

圖10 DP輸出3 840×2 160@60Hz圖像Fig.10 DP outputs 3 840×2 160@60Hz images

圖11 顯示器的EDID信息Fig.11 EDID information of display

驗(yàn)證設(shè)備使用醫(yī)療4K超高清顯示器，通過MicroBlaze軟核配置DP核輸出3 840×2 160@60 Hz的工作模式，同時Video Pattern模塊輸出4像素接口時序，圖像數(shù)據(jù)為47’h0000_0000_FFFF即顏色為純藍(lán)色。如圖10所示，從局部放大的顯示器的控制界面可以看到當(dāng)前顯示的圖像分辨率的信息。

通過AUX通道讀取的顯示器的EDID信息如圖11所示，EDID信息由串口打印。

6 實(shí)驗(yàn)結(jié)果

對FPGA進(jìn)行編程時，JTAG編程器與下載電路的連接通過一個7 PIN間距1 mm的接插件端子，端子的接口定義為一種非常規(guī)接口的JTAG編程口。兩路SDI輸入，一路DP輸出。驗(yàn)證設(shè)備使用的是普通的醫(yī)療4K超高清顯示器。通過MicroBlaze軟核配置DP核輸出3 840×2 160@60 Hz的工作模式。

圖12 系統(tǒng)邏輯資源使用情況Fig.12 Usage of system logical resource

系統(tǒng)邏輯資源消耗如圖12所示，該統(tǒng)計(jì)數(shù)據(jù)來自Vivado 2017.3工具對本設(shè)計(jì)編譯后的結(jié)果，BUFG、MMCM、BRAM使用較多，占到資源的50%以上。

系統(tǒng)總片上功耗主要分為設(shè)計(jì)的動態(tài)功耗和靜態(tài)功耗。靜態(tài)功耗分為器件靜態(tài)和設(shè)計(jì)靜態(tài)，器件靜態(tài)表示當(dāng)器件上電并且沒有設(shè)置時晶體管泄露功率，設(shè)計(jì)靜態(tài)表示當(dāng)器件被設(shè)置也沒有切換活動時消耗的功率。本設(shè)計(jì)編譯后的功耗統(tǒng)計(jì)如圖13所示。

圖13 系統(tǒng)功耗分析Fig.13 Analysis of system power

圖14 系統(tǒng)實(shí)驗(yàn)環(huán)境Fig.14 System experimental environment

圖15 2D模式SBS圖像Fig.15 2D mode SBS image

從圖13可以計(jì)算出，總的片上功耗為4.598 W，其中動態(tài)功耗占系統(tǒng)總功耗的96%。FPGA的功耗統(tǒng)計(jì)為系統(tǒng)的散熱設(shè)計(jì)和電源設(shè)計(jì)提供了參考。

系統(tǒng)實(shí)驗(yàn)環(huán)境如圖14所示，右側(cè)顯示器為4K高清醫(yī)用裸眼3D顯示器，左側(cè)電腦主機(jī)為控制電腦。系統(tǒng)前端采用兩路SDI信號輸入，通過DP接口輸出SBS格式的立體圖像到裸眼3D顯示器，顯示器輸出3D立體的效果。由于拍攝的是二維圖片，所以從照片上不能明顯看出裸眼3D效果。

輸出給3D顯示器之前的圖像顯示效果如圖15所示，圖像采用SBS拼接方式，分辨率為3 840×2 160，刷新率為60 Hz。

7 結(jié) 論

本文設(shè)計(jì)的基于FPGA的4K裸眼立體顯示系統(tǒng)支持參考時鐘為148.5 MHz的雙路SDI-1080P高清視頻輸入，經(jīng)FPGA做格式變換、物理層編解碼和拼接等圖像處理后，可獲得3 840×2 160@60 Hz的SBS拼接格式圖像，該圖像可直接驅(qū)動裸眼立體顯示器。經(jīng)驗(yàn)證，該系統(tǒng)支持單人兩視點(diǎn)觀看，最佳觀看距離為2 m，可視角度為±35°。本系統(tǒng)為高清晰3D顯示和高速視頻處理領(lǐng)域提供一種切實(shí)可行的設(shè)計(jì)方案，有望在醫(yī)療教學(xué)、會診和立體手術(shù)室等領(lǐng)域取得更進(jìn)一步的發(fā)展。