骨骼平面顯示與集成成像手勢交互聯(lián)動系統(tǒng)

韋 健，郭校源，籍風(fēng)磊，郭紹源，胡笑含，賈 勇，王世剛

1.吉林大學(xué) 通信工程學(xué)院，長春 130012

2.吉林大學(xué) 第一醫(yī)院，長春 130061

3.吉林大學(xué) 護(hù)理學(xué)院，長春 130021

在平面顯示器上，患者的骨骼呈現(xiàn)直觀的三維數(shù)字模型[1-2]，是當(dāng)下深受醫(yī)生青睞的一種醫(yī)學(xué)影像可視化方式。隨著醫(yī)療領(lǐng)域?qū)Σ±\斷、臨床觀摩、遠(yuǎn)程會診、術(shù)前規(guī)劃和術(shù)中導(dǎo)航等手段的高精度、臨場感需求日益增長，這種方式的不足也逐漸凸顯。二維視圖不便于同時(shí)展現(xiàn)患者解剖結(jié)構(gòu)的多視角空間信息，導(dǎo)致畫面的立體縱深感和動態(tài)交互性較差，而對于基于雙目視差的立體顯示媒介[3-4]，其觀察視點(diǎn)的數(shù)量較少并且需要醫(yī)生佩戴輔助設(shè)備，容易造成人眼疲勞、視野受限以及畫面分辨率和亮度降低，尤其不利于長時(shí)間骨科顯微手術(shù)。相比之下，真三維顯示技術(shù)[5-8]無須任何助視設(shè)備就能為骨骼病灶再現(xiàn)具有物理景深的三維光學(xué)影像，可以為醫(yī)生帶來更舒適的觀看體驗(yàn)、更逼真的感官沖擊和更優(yōu)質(zhì)的交互性能[9]。在真三維顯示方式中，相比于對光源、周圍環(huán)境有嚴(yán)格要求且成像質(zhì)量受空間光調(diào)制器性能參數(shù)制約的全息顯示[10-11]，以及顯示空間受限于真空保護(hù)罩且無法顯示物體的紋理和遮擋關(guān)系的體顯示[12]，集成成像技術(shù)[13-15]在工作原理和硬件設(shè)備方面都比較簡單。它不需要相干光源或苛刻環(huán)境，影像具有真實(shí)色彩和準(zhǔn)連續(xù)視點(diǎn)，并且采集與顯示過程都是場景三維點(diǎn)間的信息對應(yīng)。

當(dāng)下，平面顯示的二維視圖畫面非常清晰，而集成成像技術(shù)仍然處于探索期，三維影像在視角、景深、清晰度等方面通常較難同時(shí)滿足應(yīng)用需求[16-17]。所以，實(shí)現(xiàn)三維骨骼模型的平面視圖和裸眼立體畫面的雙屏聯(lián)動顯示，可以使上述兩種可視化技術(shù)取長補(bǔ)短，讓醫(yī)生能夠?qū)σ呻y雜癥的病灶體數(shù)據(jù)實(shí)施動態(tài)高清的全方位立體觀測，也有利于增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)等技術(shù)在精準(zhǔn)醫(yī)療領(lǐng)域中的推廣應(yīng)用。達(dá)成這種聯(lián)動顯示需要考慮以下方面：（1）使用同一套虛擬相機(jī)來采集二維視圖與集成成像所需的二維合成圖，以便確保兩種顯示屏呈現(xiàn)的內(nèi)容時(shí)刻保持一致；（2）在手術(shù)等無菌環(huán)境下，醫(yī)生不便直接觸碰鍵盤與鼠標(biāo)，最好借助空中手勢交互[18]來操縱屏上畫面的尺度與視角；（3）為了使交互操控具有高流暢度，二維視圖及二維合成圖的產(chǎn)生都應(yīng)當(dāng)具有高時(shí)效性。

本文針對所提問題建立了一套面向人體三維骨骼的平面顯示和集成成像手勢交互聯(lián)動系統(tǒng)。該系統(tǒng)基于Optix以及Leap Motion[19]：前者在NVⅠDⅠA CUDA并行計(jì)算平臺下具備高效率的光線追蹤引擎，允許對費(fèi)時(shí)的光線投射進(jìn)程做顯著的提速，進(jìn)而完成近乎同步的二維視圖與二維合成圖渲染；而后者作為一種擅長高幀率且高精度識別手勢的小尺寸體感控制器，只會占用手術(shù)室中非常小的桌面面積。本文通過有效地融合Optix和Leap Motion的優(yōu)點(diǎn)，利用反饋手勢信息、即時(shí)更新虛擬相機(jī)參數(shù)和快速內(nèi)容繪制，來完成骨骼二維視圖和裸眼三維影像的同步顯示與手勢控制（如圖1）。

圖1 二維視圖與裸眼三維影像手勢交互聯(lián)動顯示Fig.1 Gesture interaction and linkage of two-dimensional view and naked-eye three-dimensional image

1 Leap Motion與集成成像簡述

1.1 Leap Motion簡述

Leap Motion 利用雙目立體視覺原理，對內(nèi)置雙目攝像頭上方一定視野范圍（大體為一個(gè)倒四棱錐體）內(nèi)的手勢進(jìn)行追蹤采集和快速識別。它能夠捕捉到每一幀手勢信息，包括手臂數(shù)據(jù)（方向、長度、空間位置），手掌數(shù)據(jù)（方向、法線、空間位置）以及手指數(shù)據(jù)（指尖空間位置、手指方向、手指類型），然后根據(jù)每幀和前幀檢測到的數(shù)據(jù)來生成運(yùn)動信息。Leap Motion在探測手勢期間建立一個(gè)直角坐標(biāo)系，坐標(biāo)系的原點(diǎn)是傳感器的中心，坐標(biāo)系的x軸平行于傳感器并指向屏幕右方，y軸指向上方，z軸指向背離屏幕的方向。

1.2 集成成像簡述

如圖2 描繪了基于相機(jī)陣列的集成成像系統(tǒng)的工作原理，整個(gè)流程依次分為三個(gè)部分。

圖2 基于相機(jī)陣列的集成成像系統(tǒng)的工作原理Fig.2 Principle of integral imaging system based on camera array

（1）視點(diǎn)圖像陣列采集：利用真實(shí)（或虛擬）相機(jī)陣列為真實(shí)物體（或物體的三維數(shù)字模型）拍攝一組不同角度、相同分辨率的視點(diǎn)圖像，從而將物體的三維信息存儲在采集到的視點(diǎn)圖像陣列中。相較于平面式相機(jī)陣列，會聚式相機(jī)陣列（如圖2所示）能夠增大集成成像的立體觀看視角[20]。

（2）像素重采樣：將所有視點(diǎn)圖像中的像素，按照二維虛擬透鏡陣列的采樣結(jié)構(gòu)和光學(xué)映射關(guān)系，逐點(diǎn)映射到每個(gè)透鏡元對應(yīng)的圖像（稱為立體元圖像）中，從而生成一個(gè)立體元圖像陣列（即一幅光場圖像）。在水平和垂直方向上，虛擬透鏡陣列中透鏡元的數(shù)量與視點(diǎn)圖像的分辨率相同，透鏡元的尺寸與視點(diǎn)圖像的數(shù)量相同。為描述方便，本文將由全部立體元圖像陣列拼接而成的整幅圖像稱為二維合成圖。

（3）集成成像顯示：將二維合成圖全屏顯示在平面顯示載體（如LCD 或LED 顯示屏）上，其發(fā)出的光線經(jīng)過一個(gè)與前述虛擬二維透鏡陣列參數(shù)相同的真實(shí)二維透鏡陣列后，在空中聚焦，最終重現(xiàn)出物體的裸眼三維影像。

2 系統(tǒng)的硬件構(gòu)成與工作原理

2.1 系統(tǒng)的硬件構(gòu)成

本文開發(fā)的手勢交互聯(lián)動系統(tǒng)主要由處理器、平面顯示器、集成成像子系統(tǒng)、Leap Motion 組成，如圖3 所示。其中，平面顯示器、集成成像子系統(tǒng)、Leap Motion均與處理器相連。處理器中配置Optix 框架、三維重建可視化開發(fā)包VTK（visualization toolkit）以及CUDA架構(gòu)。集成成像子系統(tǒng)主要由傾斜的柱透鏡陣列和LED顯示屏組成，其視點(diǎn)數(shù)量為N（N為奇數(shù)）。為了降低透鏡陣列加工的難度和成本，集成成像子系統(tǒng)采用一維柱透鏡陣列取代二維透鏡陣列，因此本系統(tǒng)的裸眼三維影像僅具有水平視差；而將柱透鏡陣列傾斜于LED 顯示屏表面的坐標(biāo)軸放置可以減小莫爾條紋和色彩混淆，從而改善立體觀看效果，但是會在一定程度上導(dǎo)致裸眼三維畫面在豎直和水平方向上的分辨率損失[21]。從本文的多次實(shí)驗(yàn)效果來看，這種分辨率損失并未對觀看者的主觀感受帶來太大影響。

圖3 手勢交互聯(lián)動系統(tǒng)的結(jié)構(gòu)示意圖Fig.3 Components diagram of gesture interaction and linkage system

2.2 系統(tǒng)的工作原理

手勢交互聯(lián)動系統(tǒng)的功能是：輸入患者的CT 斷層掃描圖像，經(jīng)過處理器中的數(shù)據(jù)處理、圖像生成等運(yùn)算，在平面顯示器上和集成成像子系統(tǒng)的前方分別呈現(xiàn)出患者骨骼的二維視圖和裸眼三維影像，并且觀看者能夠通過在Leap Motion 上的手勢變化（手掌的旋轉(zhuǎn)和收放），實(shí)時(shí)、同步操控兩種畫面的視角和尺度。兩種畫面的旋轉(zhuǎn)和縮放分別是通過在處理器中旋轉(zhuǎn)虛擬相機(jī)陣列以及改變虛擬相機(jī)陣列與三維模型之間的距離來實(shí)現(xiàn)的。系統(tǒng)的主要工作流程如圖4所示，分為預(yù)處理和主處理兩個(gè)階段。虛擬相機(jī)的圖像分辨率用W×H表示，在本文中，二維視圖與二維合成圖的分辨率均為W×H。

圖4 手勢交互聯(lián)動系統(tǒng)的流程圖Fig.4 Flowchart of gesture interaction and linkage system

2.2.1 預(yù)處理階段

預(yù)處理階段主要負(fù)責(zé)重建人體骨骼的三維數(shù)字模型以及搭建視點(diǎn)圖像陣列的虛擬采集環(huán)境，具體步驟如下：

（1）將患者的一組CT斷層圖像讀至處理器中，利用VTK 中基于光線投射技術(shù)的直接體繪制方法[22]重建出人體骨骼的三維網(wǎng)格模型。

（2）將集成成像子系統(tǒng)二維合成圖的R、G、B三個(gè)通道的像素-視點(diǎn)對應(yīng)矩陣MR、MG、MB導(dǎo)入處理器中。這三個(gè)矩陣（尺寸均為W×H）將用于像素重采樣過程，具體使用方法見主處理階段的步驟4。

（3）在處理器的Optix 場景中，創(chuàng)建一個(gè)由N臺虛擬相機(jī)組成的會聚式虛擬相機(jī)陣列Cams，其主要參數(shù)見圖5。每臺虛擬相機(jī)Cam的視角為φ，其姿態(tài)由光心位置Cam_eye、焦點(diǎn)方向Cam_lookat、坐標(biāo)軸向上方向Cam_up三個(gè)3×1列向量共同控制，相鄰虛擬相機(jī)焦點(diǎn)方向的夾角為θ。此過程包括下列步驟：

圖5 虛擬相機(jī)陣列參數(shù)示意圖Fig.5 Parameters diagram of virtual camera array

（3.1）初始化中心相機(jī)Camc≡Cams( (N-1)/ 2 )的參數(shù)，令其光心位置為：

其焦點(diǎn)方向?yàn)椋?/p>

其坐標(biāo)軸向上方向?yàn)椋?/p>

其中，C為三維骨骼模型外接矩形框的中心點(diǎn)坐標(biāo)，Sm為三維骨骼模型外接矩形框長和寬之間的最大值。

（3.2）初始化其他每臺相機(jī)Cami≡Cams(i)的參數(shù)，這里，i=0,1,…,N-1，并且i≠(N-1)/2。令其光心位置為：

其焦點(diǎn)方向?yàn)椋?/p>

其坐標(biāo)軸向上方向?yàn)椋?/p>

在公式（4）中，R(v,α)表示環(huán)繞向量v旋轉(zhuǎn)角度α得到的3×3旋轉(zhuǎn)矩陣。

（4）設(shè)置一臺參考虛擬相機(jī)Camr，用于計(jì)算Camc與其起始姿態(tài)的偏離量，Camr的參數(shù)與Camc的初始參數(shù)相同。

2.2.2 主處理階段

主處理階段負(fù)責(zé)在隔空手勢的交互下聯(lián)動顯示三維骨骼模型的二維視圖和裸眼三維影像，顯示每一幀畫面的具體步驟如下：

（1）如果當(dāng)前幀是第一幀，則執(zhí)行步驟（3）；否則，執(zhí)行步驟（2）。

（2）利用Leap Motion 檢測是否當(dāng)前時(shí)刻發(fā)生有效的手勢交互，即手掌移動速度是否屬于預(yù)先設(shè)定的有效速度范圍[vmin,vmax]或者抓取力g（Leap Motion SDK中Hand類的grabStrength屬性，手掌全張開時(shí)值為0，緊握拳時(shí)值為1）是否不為0，如果是，則更新Cams參數(shù)后，更新二維視圖和二維合成圖，即執(zhí)行步驟（3）和（4）；否則，執(zhí)行步驟（5）。Cams參數(shù)的更新過程包括下列步驟：

（2.1）更新中心相機(jī)Camc的參數(shù)，其光心位置更新過程如下：

其中，βx、βz分別為手掌相對于Leap Motion的坐標(biāo)系統(tǒng)中x軸、z軸的旋轉(zhuǎn)角度；s表示交互過程對動態(tài)手勢的靈敏度，此參數(shù)值可根據(jù)觀看者的交互體驗(yàn)進(jìn)行設(shè)置：

這里，cross表示兩個(gè)向量之間的叉乘運(yùn)算。令其坐標(biāo)軸向上方向更新為：

公式（7）和（9）中分別引入βx、βz，目的是讓虛擬相機(jī)陣列圍繞C點(diǎn)旋轉(zhuǎn)，其旋轉(zhuǎn)方向與手掌旋轉(zhuǎn)方向相同，旋轉(zhuǎn)角度與手掌旋轉(zhuǎn)角度成正比。公式（8）中引入g，目的是改變虛擬相機(jī)陣列的拍攝距離，如果手掌收緊，則縮小拍攝距離，縮小幅度與手掌的收緊程度成正比；如果手掌放開，則增大拍攝距離，增大幅度與手掌的放開程度成正比。

（2.2）更新其他每臺相機(jī)Cami的參數(shù)，更新過程與預(yù)處理階段中的步驟（3.2）相同。

（3）利用Camc和Optix 的實(shí)時(shí)光線投射渲染器，為三維骨骼模型渲染一幅視點(diǎn)圖像（即二維視圖），并在平面顯示器上顯示。

（4）利用Cams和Optix的實(shí)時(shí)光線投射渲染器，為三維骨骼模型生成一幅二維合成圖，并在集成成像子系統(tǒng)中的LED 顯示屏上全屏顯示，其光線穿過柱透鏡陣列后形成骨骼的裸眼三維影像。二維合成圖中每個(gè)像素值的計(jì)算（即像素重采樣）過程利用CUDA 架構(gòu)實(shí)現(xiàn)并行化以提高處理速度，包括下列步驟：

（4.1）分別獲取該像素值所屬的像素點(diǎn)(x,y)在R、G、B三個(gè)通道上對應(yīng)的視點(diǎn)序號：jR=MR(x,y) ，jG=MG(x,y)，jB=MB(x,y)。

（4.2）對于每個(gè)通道和對應(yīng)的視點(diǎn)序號j，利用虛擬相機(jī)Camj和其像素點(diǎn)(x,y)處的光線投射，得到該通道在此點(diǎn)處的像素值。

（5）如果關(guān)閉二維視圖，則關(guān)閉二維合成圖，整個(gè)聯(lián)動顯示過程結(jié)束；否則，轉(zhuǎn)至下一幀，執(zhí)行步驟（2）。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 系統(tǒng)搭建

本文依據(jù)前述設(shè)計(jì)搭建的骨骼平面顯示與集成成像手勢交互聯(lián)動系統(tǒng)如圖6 所示。處理器中帶有單塊GTX 1080Ti GPU，平面顯示器（27 寸）與集成成像子系統(tǒng)中LED 顯示屏（206 cm×122 cm）的分辨率都為2 160×1 280，LED 屏的像素點(diǎn)間距為0.952 5 mm，柱透鏡陣列傾斜角為向右（arctan1/3）°，集成成像的視點(diǎn)數(shù)量為26（由于本文中視點(diǎn)數(shù)量N應(yīng)為奇數(shù)，為了適用于本文的硬件系統(tǒng)，實(shí)驗(yàn)中實(shí)際設(shè)置為N=27，而在渲染視圖時(shí)只渲染出連續(xù)的26個(gè)視點(diǎn)圖像），水平體素分辨率為270，最佳觀看距離約6.5 m，觀看視角約60°。

圖6 手勢交互聯(lián)動系統(tǒng)實(shí)物圖Fig.6 Diagram of practical gesture interaction and linkage system

3.2 手勢交互聯(lián)動功能評估

如圖7 列出了7 種不同的手勢姿態(tài)，將不同姿態(tài)組合即構(gòu)成本系統(tǒng)支持的兩種手勢動作：手掌收放（①、②、③）和手掌旋轉(zhuǎn)（②、④、⑤、⑥、⑦），這兩種手勢動作可以同時(shí)使用以產(chǎn)生疊加作用，例如，將姿態(tài)③按照動作②→④的方向旋轉(zhuǎn)可表示為③→（③+④），或者將姿態(tài)⑥按照動作②→①將手掌收緊可表示為⑥→（⑥+①）。

圖7 不同的手勢姿態(tài)Fig.7 Different gesture postures

如圖8給出了本系統(tǒng)使用一組人體雙腳CT圖像得到的足骨雙屏顯示效果；重建出的三維足骨模型如圖9所示，采用法線貼圖為二維視圖與裸眼三維影像賦色，為了觀察細(xì)節(jié)更加清晰，對比度進(jìn)行了適當(dāng)增強(qiáng)，雙屏聯(lián)動的幀率為36 幀/s。對比圖9 中二維視圖與裸眼三維影像左、右視圖的局部（黑色框內(nèi)）放大區(qū)域可以看出，集成成像的立體畫面呈現(xiàn)出比較明顯的水平視差，并且二維、三維的顯示內(nèi)容在不同的手勢姿態(tài)下始終保持同步；通過手勢交互，觀看者可以同時(shí)從尺寸較小但畫面細(xì)節(jié)清晰度更高的平面顯示器，以及大尺寸、高分辨率且具有較強(qiáng)立體感的集成成像子系統(tǒng)中觀測到不同視角、不同尺度的足骨模型。

圖8 手勢交互雙屏聯(lián)動顯示效果Fig.8 Display effects of gesture interaction and two-screen linkage

圖9 三維足骨模型Fig.9 3D model of foot bones

3.3 手勢交互聯(lián)動性能評估

3.3.1 實(shí)驗(yàn)設(shè)計(jì)

為了進(jìn)一步驗(yàn)證本系統(tǒng)的可用性、易用性和主觀體驗(yàn)感，選取40名大學(xué)生、研究生和高校教師志愿者以及20 名臨床醫(yī)生進(jìn)行了應(yīng)用實(shí)驗(yàn)，測試者年齡范圍為21歲到61歲。臨床醫(yī)生來自關(guān)節(jié)外科、創(chuàng)傷骨科、足踝外科等科室，并且都具有多年的骨科臨床診療經(jīng)驗(yàn)。在所有測試者中，19 人對裸眼三維顯示或裸手手勢交互沒有任何的體驗(yàn)經(jīng)歷，其余測試者對集成成像或Leap Motion 具有不同程度的了解和使用經(jīng)驗(yàn)。在實(shí)驗(yàn)前，對測試者們進(jìn)行了相關(guān)知識和使用技能的簡單培訓(xùn)，以避免對這兩種技術(shù)的陌生感降低最終實(shí)驗(yàn)結(jié)果的可靠性。

除了3.2 節(jié)中使用的三維足骨模型，實(shí)驗(yàn)還使用了圖10（a）所示的由另外兩組CT 圖像三維重建得到的骨盆和腰椎模型，兩個(gè)模型的集成成像立體顯示效果如圖10（b）和圖10（c）所示，裸眼三維影像的著色方式為法線貼圖。三個(gè)骨骼模型呈現(xiàn)出不同的幾何特點(diǎn)，其中，骨盆模型整體寬闊，足骨模型由多個(gè)細(xì)長結(jié)構(gòu)組成，而腰椎模型由于腰椎分割不夠精確使得其周圍還存在一些血管和其他組織器官。

圖10 三維骨盆和腰椎模型以及集成成像效果Fig.10 3D pelvic and lumbar models and integrated imaging effects

本文在實(shí)驗(yàn)中提供了傳統(tǒng)的鍵盤交互系統(tǒng)和鼠標(biāo)交互系統(tǒng)各一套，用作手勢交互聯(lián)動性能評估的參考系統(tǒng)，兩套系統(tǒng)分別使用鍵盤和鼠標(biāo)代替Leap Motion，其余的軟硬件運(yùn)行環(huán)境與手勢交互系統(tǒng)相同。在鍵盤交互系統(tǒng)中，利用鍵盤上的上、下、左、右四個(gè)方向鍵分別控制雙顯示畫面向?qū)?yīng)方向旋轉(zhuǎn)，利用Ⅰ、O兩個(gè)按鍵分別操控雙顯示畫面的放大、縮小。在鼠標(biāo)交互系統(tǒng)中，通過按住鼠標(biāo)左鍵并且拖拽鼠標(biāo)來旋轉(zhuǎn)雙顯示畫面，通過按住鼠標(biāo)右鍵同時(shí)水平向上或向下移動鼠標(biāo)來放大或縮小雙顯示畫面。

本文共設(shè)計(jì)了兩個(gè)實(shí)驗(yàn)，每名測試者分別對每個(gè)三維骨骼模型進(jìn)行兩次實(shí)驗(yàn)，在完成所有實(shí)驗(yàn)后填寫表1所示的調(diào)查問卷。

表1 調(diào)查問卷內(nèi)容Table 1 Content of questionnaire

考慮到測試期間交互操作準(zhǔn)確性判斷標(biāo)準(zhǔn)的統(tǒng)一性，全部實(shí)驗(yàn)采用同一位評判人員。此外，為了保證不同交互系統(tǒng)之間對比的公平性，評判人員在實(shí)驗(yàn)前經(jīng)過多次測試，將鍵盤交互與鼠標(biāo)交互的靈敏度均調(diào)節(jié)至與手勢交互的靈敏度達(dá)到其主觀上基本一致。

實(shí)驗(yàn)1通過使用上述三套交互系統(tǒng)以及觀測“二維+裸眼三維”混合畫面，按照圖11所示的示例順序，將雙顯示畫面中的三維模型操控至對應(yīng)的視角和相對尺度（相對于所屬屏幕），然后記錄在每種交互方式下各個(gè)被試操作的平均準(zhǔn)確率與平均時(shí)長。交互操作準(zhǔn)確的認(rèn)定標(biāo)準(zhǔn)為評判人員主觀上認(rèn)為所顯示內(nèi)容無明顯抖動，并且其視角和相對尺度都與圖11 中對應(yīng)的參考示例無顯著區(qū)別。

圖11 實(shí)驗(yàn)1的操作流程（以三維骨盆模型為例）Fig.11 Operation procedure of experiment 1（taking 3D pelvis model as example）

實(shí)驗(yàn)2在評判人員的監(jiān)督下，通過使用手勢交互系統(tǒng)，并且分別以只觀測二維顯示畫面、只觀測裸眼三維顯示畫面、同時(shí)觀測“二維+裸眼三維”混合畫面的方式，在5分鐘內(nèi)按照隨機(jī)順序準(zhǔn)確完成對所顯示內(nèi)容的90°旋轉(zhuǎn)（向上、下、左、右四個(gè)方向）、50%縮小、200%放大操作，然后分別記錄在每種觀測方式下對各個(gè)三維模型完成所有操作的平均時(shí)長。

3.3.2 實(shí)驗(yàn)結(jié)果

根據(jù)實(shí)驗(yàn)1的結(jié)果，三種交互方式下對雙顯示畫面執(zhí)行不同操作的平均準(zhǔn)確率和平均時(shí)長對比，分別如圖12和圖13所示。通過觀察圖12可以發(fā)現(xiàn)，鍵盤交互的準(zhǔn)確率最高，主要原因在于測試者通過按鍵可以對顯示內(nèi)容的視角和尺度進(jìn)行穩(wěn)定的微調(diào)，而手持鼠標(biāo)和空中手勢都難免發(fā)生無意識的手部抖動；手勢交互能夠達(dá)到與鼠標(biāo)交互相當(dāng)?shù)臏?zhǔn)確度，在模型尺度較大的情況下（如操作2、3、6、7）其操控準(zhǔn)確性更高，因?yàn)榇藭r(shí)裸眼三維影像的細(xì)節(jié)辨識度更高。由圖13可見，手勢交互的速度最快，尤其是當(dāng)顯示內(nèi)容改變幅度較大時(shí)（如操作3和7）；而鍵盤交互和鼠標(biāo)交互由于都需要依靠物理設(shè)備來實(shí)現(xiàn)，故交互時(shí)長有所增加；操作2、4、6、8 的耗時(shí)普遍較少，歸結(jié)于這些操作只是調(diào)整了顯示內(nèi)容的尺度，相較于其他操作對視角的變化來說，更加容易正確完成。

圖12 每種交互方式下不同操作的平均準(zhǔn)確率Fig.12 Average accuracy of different operations in each interaction mode

圖13 每種交互方式下不同操作的平均時(shí)長Fig.13 Average duration of different operations in each interaction mode

實(shí)驗(yàn)2的數(shù)據(jù)分析情況如圖14所示。結(jié)果表明，二維顯示的畫面清晰度最高，因而手勢交互的平均耗時(shí)最短；集成成像的畫面立體感更強(qiáng)，但是其畫質(zhì)難與二維畫面媲美，導(dǎo)致精準(zhǔn)的手勢交互用時(shí)最長；相比之下，“二維畫面+裸眼三維畫面“的混合顯示方式結(jié)合了二者的優(yōu)點(diǎn)，在實(shí)現(xiàn)對骨骼進(jìn)行高清平面觀測和裸眼立體觀測的同時(shí)，其時(shí)效性介于兩種單一畫面觀測方式之間，取得了觀測體驗(yàn)與交互性能之間的較好平衡；顯示內(nèi)容的復(fù)雜度也對手勢交互有著微弱的影響，骨盆模型的結(jié)構(gòu)最簡單，因此交互最快，而腰椎模型被其他人體組織頻繁遮擋，故交互相對較慢。

圖14 每種觀測方式下對不同模型的手勢交互平均時(shí)長Fig.14 Average duration of gesture interaction for different models in each observation mode

調(diào)查問卷的結(jié)果統(tǒng)計(jì)如圖15 所示。從問題1 和2的回答情況得知，大多數(shù)測試者對本系統(tǒng)的手勢識別設(shè)計(jì)比較符合期待；從問題3 的回答情況來看，本系統(tǒng)給93%的測試者帶來了比較舒適的觀看體驗(yàn)，只有個(gè)別測試者因?yàn)椴涣?xí)慣裸眼三維成像方式而稍感不適；根據(jù)問題4和5的調(diào)查結(jié)果，大部分測試者對本系統(tǒng)的“二維+裸眼三維”混合顯示方案以及雙屏的聯(lián)動性都比較滿意；根據(jù)問題6 的調(diào)查，只有不到三分之一的測試者認(rèn)為本系統(tǒng)對骨科診療與手術(shù)的作用不大，而在參與實(shí)驗(yàn)的臨床醫(yī)生中給出肯定答案的人占到了85%，達(dá)到了本系統(tǒng)服務(wù)于醫(yī)療領(lǐng)域的預(yù)設(shè)期望。

圖15 調(diào)查結(jié)果統(tǒng)計(jì)（Q6-d表示臨床醫(yī)生的調(diào)查結(jié)果）Fig.15 Statistics of survey results（Q6-d represents results from clinicians）

4 結(jié)束語

本文提出一種人體骨骼二維視圖與集成成像裸眼三維影像雙屏聯(lián)動系統(tǒng)，實(shí)現(xiàn)了手勢控制下對多視角、多尺度骨骼空間信息的交互觀看。該系統(tǒng)能夠推動當(dāng)前的三維骨骼觀測手段從鼠鍵操控的“偽立體”向隔空操控的“真三維”轉(zhuǎn)變，顯著提升高難度診療與手術(shù)的效率和可靠性。本文仍有一定的局限性，只依靠虛擬相機(jī)陣列位姿更新的方法很難進(jìn)一步考慮語義信息，例如將股骨繞著髖臼旋轉(zhuǎn)（可用于全髖關(guān)節(jié)置換的術(shù)前三維規(guī)劃系統(tǒng)[23]），下一步將在這個(gè)方面繼續(xù)探索。在未來的工作中，還將嘗試結(jié)合基于Kinect的遠(yuǎn)距離肢體運(yùn)動操控[24]，來彌補(bǔ)Leap Motion 只能探測近距離手勢變化的不足。