基于三維動態(tài)照相機的正常人面部表情可重復(fù)性研究

邱天成，劉筱菁，薛竹林，李自力

(北京大學(xué)口腔醫(yī)學(xué)院·口腔醫(yī)院，口腔頜面外科 國家口腔疾病臨床醫(yī)學(xué)研究中心 口腔數(shù)字化醫(yī)療技術(shù)和材料國家工程實驗室 口腔數(shù)字醫(yī)學(xué)北京市重點實驗室，北京 100081)

面部表情是人與人之間交流的重要途徑，約55%的交流是依賴于非言語的面部表情完成的[1]。面部表情最早且最廣泛被應(yīng)用于評價面神經(jīng)功能，House-Brackmann系統(tǒng)是一種應(yīng)用最廣泛的面神經(jīng)功能評價系統(tǒng)，其按照面部表情肌的運動情況分為6級，較好地評價了面神經(jīng)功能，但是該分級較為主觀、適用范圍較窄，且組間及組內(nèi)差異均較為顯著[2]。近年來，二維乃至三維運動分析系統(tǒng)的出現(xiàn)有效增加了面部表情運動評價的客觀性，被用于正常人群、唇腭裂患者、正頜手術(shù)患者、面部腫瘤及創(chuàng)傷患者的表情對稱性和治療前后變化的研究[3-8]。

正常人群面部表情的可重復(fù)性是評價治療前后表情變化的基礎(chǔ)，但近年來國內(nèi)外報道較少[9]。本研究采用動態(tài)三維攝像系統(tǒng)，探索正常人群做不同口周表情時面部軟組織運動的可重復(fù)性，以期為后續(xù)的研究奠定基礎(chǔ)。

1 資料與方法

本研究為前瞻性研究，所有研究對象在研究進行前均獲知情同意，本研究獲得北京大學(xué)口腔醫(yī)院生物醫(yī)學(xué)倫理委員會批準(zhǔn),并獲得肖像權(quán)人的肖像權(quán)使用書面授權(quán)。

1.1 研究對象

征集面部結(jié)構(gòu)大致對稱、無面部運動及感覺神經(jīng)障礙病史的志愿者共15名，男性7名，女性8名，年齡23～30歲，中位年齡25歲。

1.2 面部表情記錄方法

研究對象反復(fù)練習(xí)閉唇笑、露齒笑、撅嘴、鼓腮動作(圖1)。通過面部表情動作指導(dǎo)，使研究對象的表情動作肉眼觀具有可重復(fù)性后，進行表情動作的錄制。

使用3dMDfaceTMDynamic System錄制面部表情，該系統(tǒng)由4臺黑白、2臺彩色分成左右兩個部分記錄面部彩色紋理，采用紅外線發(fā)射裝置輔助記錄三維面部數(shù)據(jù)。錄制前，先使用校正板校正各個相機參數(shù)。研究對象處于自然頭位，眼睛平視前方并調(diào)整位置，使研究對象面部處于鏡頭正中，頭頸部保持不動。開始錄制后，語言提示研究對象依次完成閉唇笑、露齒笑、撅嘴、鼓腮動作，至少間隔1周后再次重復(fù)上述錄制步驟。

1.3 數(shù)據(jù)處理

挑選每個面部表情中最有特征的6幀圖像，分別為靜止?fàn)顟B(tài)時圖像(T0)、從靜止?fàn)顟B(tài)至最大運動狀態(tài)時的中間圖像(T1)、剛達(dá)到最大運動狀態(tài)時的圖像(T2)、最大運動狀態(tài)將結(jié)束時的圖像(T3)、最大運動狀態(tài)至靜止?fàn)顟B(tài)時的中間圖像(T4)及動作結(jié)束時的靜止圖像(T5)，見圖2。以T0靜止?fàn)顟B(tài)為參考，將同一研究對象同一動作前后兩次錄制的T1～T5圖像與T0時刻圖像按照額部等面部表情過程中幾乎不運動的部分進行圖像配準(zhǔn)融合，得出T1～T5時刻圖像與T0時刻圖像所有對應(yīng)采集點的均方根(root mean square，RMS)，見圖3和表1。

表1 閉唇笑表情的T3時刻所有研究對象前后兩次測量對應(yīng)的RMS值Table 1 Corresponding RMS values of all subjects at the T3 frame of smile lip closed motion

1.4 統(tǒng)計學(xué)分析

將同一研究對象同一動作前后兩次對應(yīng)時刻的RMS值進行配對，利用Wilcoxon符號秩檢驗分析前后兩次錄制對應(yīng)時刻面部表情圖像是否存在差異，以雙側(cè)P<0.05為差異有統(tǒng)計學(xué)意義。

2 結(jié)果

15名研究對象均完成前后2次面部表情錄制，且兩次錄制的間隔均大于1周。將同一研究對象同一面部表情T1～T5時刻圖像與T0時刻圖像按額頭區(qū)域進行配準(zhǔn)融合，額部配準(zhǔn)區(qū)域的RMS均小于0.25 mm。

從圖像總樣本中(T1～T5)隨機選取15幀圖像，與對應(yīng)的T0圖像進行2次RMS值測量，并將兩次的測量值進行配對t檢驗，結(jié)果表明前后兩次RMS的測量值差異無統(tǒng)計學(xué)意義(P<0.05)。

前后兩次采集的動態(tài)數(shù)據(jù)中，閉唇笑、露齒笑以及鼓腮表情的前后兩次相對應(yīng)時刻(T1～T5)捕捉的面部圖像差異均無統(tǒng)計學(xué)意義；撅嘴動作過程中，前后兩次T2時刻對應(yīng)的面部三維圖像差異有統(tǒng)計學(xué)意義(P<0.05)，其余時刻的圖像差異無統(tǒng)計學(xué)意義(表2)。

表2 面部表情的可重復(fù)性Table 2 Reproducibility of facial expressions

3 討論

面部表情是人類情緒的重要表達(dá)方式，是口腔頜面部的重要生理功能，也是口腔頜面部畸形整復(fù)、缺損重建的重要評價指標(biāo)。面部運動的研究始于面癱的治療評價，最早，House-Brackmann系統(tǒng)將面部表情肌的運動狀態(tài)分為6級，在一定程度上評價面神經(jīng)功能[2]，但由于評價方法較為主觀，應(yīng)用范圍局限于面神經(jīng)功能損傷的患者，結(jié)果因觀察者的主觀經(jīng)驗而變化。與分級評價方法相比，定量評價能夠獲得面部具體標(biāo)志點或某區(qū)域前后兩次測量位置的差異。采用相機拍攝的二維圖像進行表情分析是最早的定量評價方法。Johnson等[10]將直徑為5 mm的紅點(中心為直徑1 mm的黑點)粘貼在患者面部的特定標(biāo)志點上，拍攝患者靜止時及最大程度面部動作時的圖像，用計算機分析計算不同動作時標(biāo)志點的位置及移動的幅度。Gross等[11]使用多臺相機及單臺相機拍攝研究對象的面部表情，獲得靜止?fàn)顟B(tài)及最大面部表情狀態(tài)的圖像，并分析相同標(biāo)志點在三維及二維條件下運動幅度測量值的差異，該研究發(fā)現(xiàn)與三維圖像相比，二維圖像上標(biāo)志點移動距離的測量值明顯減小，兩者差異有統(tǒng)計學(xué)意義，面下1/3標(biāo)志點尤為明顯。在進行微笑動作時，二維圖像上口角點及鼻小柱基底點的移動距離僅為三維圖像中測量值的 57.1%±14.1%。使用二維方法研究面部表情，因忽略了面部區(qū)域(面部標(biāo)志點)矢狀向的運動，會對整體的研究結(jié)果產(chǎn)生影響。Trotman等[12]使用三維相機記錄面部肌肉運動并定量評估，將直徑4 mm的標(biāo)記點粘貼在患者臉部、頭帽及與上頜相連的復(fù)合印模材上，使用4個攝像機及Motion analysis軟件分析面部運動時各個標(biāo)記點的運動情況。隨著三維成像技術(shù)和計算機技術(shù)的進步，動態(tài)三維照相成為記錄和評價面部表情運動的新方法。

動態(tài)三維照相系統(tǒng)的基本原理是通過不同位置多臺相機獲得人面部不同角度的二維圖像，并由計算機將多個二維圖像整合處理，獲得面部三維圖像。若連續(xù)拍攝，可獲得代表面部整體運動系列的三維圖像。目前報道的基于動態(tài)三維圖像進行面部表情分析的方法大致分為兩種：(1)標(biāo)記點法：利用面部明顯解剖特征點，分析系列圖像相同標(biāo)志點三維空間的位置變化及標(biāo)志點移動速度變化。Hallac等[4]利用雙側(cè)口角點、唇峰點等易辨認(rèn)標(biāo)志點在運動過程中三維空間位置的變化，測量標(biāo)志點運動距離、軌跡及時刻運動速度，分析唇腭裂患者術(shù)后口周標(biāo)志點運動的對稱性情況。Shujaat等[7]計算了口周標(biāo)志點在整個運動過程中的平均速度，比較左右兩側(cè)標(biāo)志點運動速度的差異，研究了下唇正中切開下頜骨截骨術(shù)后口周運動的對稱性。(2)區(qū)域分析法：無需選定特定的解剖標(biāo)記點，而是圈定一個感興趣區(qū)域，基于點云分析方法，對比區(qū)域內(nèi)所有點在表情不同時刻的群體差異。Alagha等[13]選取面部表情過程中具有代表性時刻的三維圖像，將各個時刻三維圖像與靜止時刻面部三維圖像利用部分普氏分析方法重疊，分析面部整體運動過程中代表性時刻三維圖像的形態(tài)變化，研究面神經(jīng)功能損傷患者表情運動的可重復(fù)性。Al-Hiyali等[5]利用面部區(qū)域性分析方法研究面部不對稱患者正頜手術(shù)后面部表情運動對稱性情況。

標(biāo)記點法觀察的是運動中的“個體行為”，而區(qū)域分析法關(guān)注的是“群體行為”。標(biāo)志點法具有數(shù)據(jù)量小、處理容易、結(jié)果突出的優(yōu)勢，但是存在以下缺陷：面部具有特征性的標(biāo)志點，多分布于眼部、鼻部、唇部等位置，額部、頰部缺乏特征性的標(biāo)志點，故使用標(biāo)志點法會忽略一部分面部區(qū)域；鼻、唇等區(qū)域結(jié)構(gòu)較為復(fù)雜，使用個別標(biāo)志點來代替鼻、唇等區(qū)域顯得較為片面、粗糙；標(biāo)志點位置的確定會存在人為的誤差，Alqattan等[14]進行了標(biāo)志點選取的一致性檢驗，發(fā)現(xiàn)男性研究對象中鼻根標(biāo)志點及頦前標(biāo)志點的坐標(biāo)，以及女性研究對象中鼻根標(biāo)志點、頦前標(biāo)志點及額部標(biāo)志點的坐標(biāo)在由不同研究者定點時，存在2.0 mm以上的誤差。區(qū)域分析法分析全面但混雜因素較多，個別點的運動特點容易被其他干擾點的運動規(guī)律所掩蓋，用于不同患者之間面部運動的比較時，需要考慮區(qū)域形貌固有的差異對計算結(jié)果的影響。在具體的研究過程中，往往需要結(jié)合具體需求進行選擇。

由于本研究的目的主要是評價口周運動的可重復(fù)性，且口周運動牽動的面部解剖點眾多，若一一設(shè)計標(biāo)記點進行分析，結(jié)果過于繁雜，且標(biāo)志點定位的組間一致性較差，因而區(qū)域分析法更加適合。本研究結(jié)果發(fā)現(xiàn)，閉唇笑及鼓腮動作具有較高的可重復(fù)性，露齒笑動作的可重復(fù)性稍差，而撅嘴動作前后兩次錄制的差異有統(tǒng)計學(xué)意義，這與Sawyer等[9]的研究結(jié)果類似，但與Ju等[15]的研究結(jié)果有差異，其使用3D Motion Capture System間隔15 min記錄2次動態(tài)面部運動，選取面部具有代表性標(biāo)志點，評價整體運動過程中同一面部動作、同一標(biāo)志點前后兩次運動幅度及運動速度的差異，得出露齒笑具有較好的可重復(fù)性，鼓腮運動次之，而撅嘴動作的可重復(fù)性較差的結(jié)論。造成兩研究結(jié)果差異的原因可能在于：本研究前后兩次測量間隔了1周以上，且分析了運動過程中的多個關(guān)鍵圖像整體三維區(qū)域，而非個別標(biāo)志點三維空間位置的比較。研究對象撅嘴動作前后存在差異的原因可能為：(1)嘴唇可向前或向上朝向鼻底并伴有一定程度聳鼻動作，嘴唇運動方向的差異可能對研究結(jié)果造成影響；(2)撅嘴時，嘴唇處于收縮狀態(tài)，恢復(fù)至靜止?fàn)顟B(tài)時，我們觀察發(fā)現(xiàn)多數(shù)受試者的嘴唇仍存在不同程度的收縮。與閉唇笑相比，露齒笑運動過程中涉及的面部表情肌更多、動作更加復(fù)雜，且盡管進行動作錄制前向研究對象反復(fù)說明，個別研究對象仍在露齒笑過程中伴隨不同程度的張口運動，會對前后兩次運動的重復(fù)性產(chǎn)生影響。此外，閉唇笑和露齒笑受研究對象心情的影響較大，于不同心理狀態(tài)下，前后兩次做面部表情時運動幅度可能存在差異。

本研究使用三維動態(tài)運動分析系統(tǒng)分析面部表情的可重復(fù)性仍存在局限性，如研究對象納入較少，研究對象基本情況較為相似可能對研究結(jié)果產(chǎn)生影響。閉唇笑、露齒笑、撅嘴及鼓腮運動均只涉及面部中下1/3表情肌運動，研究未涉及面上部表情運動的動作，故存在片面性。今后需要進一步擴大樣本量，研究更多面部表情的可重復(fù)性，為將來的研究奠定基礎(chǔ)。