三維顏面解剖標志點自動確定算法的研究進展

高梓翔 朱玉佳 溫奧楠 趙一姣 王 勇

解剖標志點對人顱頜面解剖形態(tài)特征的測量、評價、分析有重要意義，也是口腔醫(yī)學(xué)臨床工作中診斷分析、治療設(shè)計、療效評價的重要參考和依據(jù)。顏面及顱頜面解剖標志點在口腔修復(fù)治療中可輔助排牙[1]、確立咬合垂直距離[2]及確定三維正中矢狀平面[3]；在頜面缺損外科手術(shù)中，可輔助用于頜面部不對稱性分析[4]；在正頜外科手術(shù)中，可輔助術(shù)前分析、手術(shù)設(shè)計、術(shù)后預(yù)測及療效評價[5]。上述應(yīng)用領(lǐng)域中，顱頜面解剖標志點的確定都是必不可少的環(huán)節(jié)，標志點確定的準確性與臨床治療效果密切相關(guān)。隨著近年來光學(xué)三維彩色顏面掃描技術(shù)的發(fā)展和普及，基于無創(chuàng)、無輻射掃描技術(shù)獲取的三維顏面數(shù)據(jù)進行三維顏面形態(tài)測量分析成為人體測量學(xué)、人類生物學(xué)和醫(yī)學(xué)領(lǐng)域的首選工具[6]。相比基于放射影像確定顏面軟組織解剖標志點的技術(shù)，三維顏面光學(xué)掃描數(shù)據(jù)的診斷分析可避免解剖結(jié)構(gòu)重疊、圖像變形和投射放大率等問題[7]，備受口腔修復(fù)、正畸和頜面外科等領(lǐng)域的關(guān)注。

既往研究在三維顏面數(shù)據(jù)上確定顏面部解剖標志點常采用人工標注方法。人工標注的局限性在于：①操作者熟悉三維軟件的訓(xùn)練和時間成本高；②大量數(shù)據(jù)的人工標注時間成本高；③不同操作者間解剖標志點確定的一致性和可重復(fù)性欠佳。由自動化的軟件算法實現(xiàn)三維顏面數(shù)據(jù)的解剖標志點確定，可有效提升解剖標志點確定結(jié)果的穩(wěn)定性，降低標志點確定對人經(jīng)驗的依賴性，并提高解剖標志點確定的效率和效果[8]。既往報道可見，基于二維顏面照片自動確定顏面解剖標志點的算法較為成熟，已成功應(yīng)用于人臉識別、表情分析、疾病篩查等領(lǐng)域[9]。在三維顏面數(shù)據(jù)上自動、準確、快速、批量地確定顏面解剖標志點是目前算法研究關(guān)注的焦點，前期研究集中于中性表情的簡單三維人臉模型分析，目前報道研究已更進一步針對解決姿態(tài)變化、情緒表情和有遮擋情況的復(fù)雜三維人臉模型分析。

本文將系統(tǒng)回顧近年來針對三維顏面數(shù)據(jù)確定解剖標志點的自動化算法研究，根據(jù)其算法原理分為幾何信息算法、模型匹配算法和深度學(xué)習(xí)算法三類進行闡述，分析和評價上述方法的特點，以期為口腔臨床應(yīng)用提供參考。

一、幾何信息算法（Geometric information algorithm）

基于幾何信息的算法是指基于顏面解剖標志點的幾何特征描述（如峰值、最凹點等），在三維顏面數(shù)據(jù)上通過數(shù)學(xué)算法計算解剖標志點位置的一類算法。這類算法主要針對的是人臉上有顯著幾何特征的標志點，可確定的標志點位置精度較高，但可自動確定的標志點數(shù)量有限。

2004年L u等[10]提出一種基于“形狀指數(shù)”與曲率特征確定三維顏面解剖標志點的算法，原理是對重采樣為均勻網(wǎng)格的三維顏面數(shù)據(jù)，計算其各數(shù)據(jù)點的“形狀指數(shù)”，并結(jié)合曲率特征確定人臉解剖標志點。該算法僅能確定3個標志點（左右內(nèi)眥點及鼻尖點），定點誤差約為10±17 mm，優(yōu)點是允許人臉數(shù)據(jù)水平向轉(zhuǎn)動而不影響定點效果，但對三維人臉數(shù)據(jù)網(wǎng)格分布的均勻性有一定要求。2010年G u p ta等[11]提出一種可以確定10個三維顏面解剖標志點的算法，采用包含高斯表面曲率、平均表面曲率和兩個主曲率的幾何描述符確定鼻尖和左右鼻翼點，使用二維結(jié)合三維彈性束圖匹配算法確定內(nèi)外眥點、鼻根點和口角點。該算法的定點誤差約為2.09 mm，適用于中性表情和正向的三維人臉。2010年Se g u ndo等[12]提出一種基于深度信息確定三維顏面標志點的算法，原理是從人臉圖像的深度信息中獲取表面曲率圖像，進而生成組合曲線用來確定三維人臉上的5個標志點：眼角點與鼻尖點通過評估面部相關(guān)區(qū)域的高斯曲率與平均曲率，由算法判定的“凹”與“峰”確定；鼻翼點通過計算水平輪廓曲線上深度信息x和y投影變化量的最大位置確定。該算法針對開源三維人臉數(shù)據(jù)集（F R G C v2，B U-3D F E）的測試效果顯示定點誤差在1.87±1.12 mm和6.33±3.40 mm之間。2013年Ve zz ett i等[8，13]提出一種基于微分幾何確定三維顏面解剖標志點的算法，該算法通過計算三維顏面數(shù)據(jù)的導(dǎo)數(shù)、曲率、切映射、彎曲指數(shù)等形態(tài)描述符，可以確定9個顏面標志點（鼻尖、鼻根、鼻底、鼻翼、內(nèi)眥、外眥），定點誤差均小于1 mm，鼻尖點定點誤差僅為0.3 mm，可滿足整形外科手術(shù)對興趣點定點誤差的需求。

二、模型匹配法（Models matching algorithm）

基于幾何信息確定三維顏面解剖標志點的方法，其特點是對顏面部各個解剖標志點的定點算法策略具有獨立性，而基于模型匹配的這類算法則是通過建立標志點的候選組合，利用標志點之間的拓撲結(jié)構(gòu)關(guān)系來確定標志點組合的位置?；谀Ｐ推ヅ涞乃惴ò诮y(tǒng)計特征模型、基于三維人臉模板匹配兩個子類。

1.基于統(tǒng)計特征模型的算法（T ra i ned s tat i s t ic al f eat u re model s-ba s ed）

基于統(tǒng)計特征模型的算法原理是預(yù)先訓(xùn)練一個三維人臉解剖標志點集的統(tǒng)計特征模型，該模型可以反映標志點集所蘊含的標志點相對布局信息[14]，包括標志點坐標位置之間的變量信息和每個標志點周圍紋理與幾何信息的局部變量信息。通過計算該人臉標志點集統(tǒng)計特征模型與目標人臉之間的標志點變換關(guān)系，最終在目標人臉上定義各解剖標志點[15]。

2009年Na i r等[16]提出一種基于人臉點分布模型（p o i nt d i s tr i b u t i on model,PD M）匹配的三維顏面解剖標志點確定算法，通過構(gòu)建顏面部興趣區(qū)域的統(tǒng)計形狀模型，統(tǒng)計模型中包含需要確定的標志點及在整個訓(xùn)練集中形狀變化的統(tǒng)計信息。標志點的確定是通過統(tǒng)計模型與目標人臉模型的匹配實現(xiàn)，即將統(tǒng)計模型點與目標人臉網(wǎng)格上候選點之間進行轉(zhuǎn)換，使統(tǒng)計模型與目標人臉之間的偏差最小化，從而實現(xiàn)目標人臉上標志點的確定。這種算法可確定左右內(nèi)、外眥及鼻尖點共5個標志點，定點誤差最小為鼻尖點（8.83 mm），最大為內(nèi)眥點（20.46 mm），且算法不要求特定人臉方向或姿態(tài)。2013年P(guān) era k i s等[17]提出一種結(jié)合使用面部標志點模型（f a ci al landmar k model,F L M）與三維局部形狀描述符確定三維顏面解剖標志點的算法，先通過三維局部形狀描述符提取候選標志點，再將候選標志點與面部解剖標志點模型（F L M）進行匹配定位標志點。該算法可以確定左右內(nèi)外眥、鼻尖、左右口角及頦點共8個標志點，平均定點誤差約為4.5～6.3 mm，并對有姿態(tài)或表情變化的顏面數(shù)據(jù)具有一定的魯棒性。2015年S u k no等[18]提出一種基于不完整形狀特征的形狀回歸算法（sh a p e re g re ss i on f rom i n c om p lete lo c al f eat u re s,S R I L F）確定三維顏面解剖標志點，原理是從特征檢測器中為每個標志點檢索一個三維候選點集，然后執(zhí)行一個由可變形形狀模型約束的組合搜索步驟。該算法可確定11個人臉標志點，定點誤差小于3 mm，且能夠在不完整的三維顏面掃描數(shù)據(jù)上確定標志點。

2.基于三維人臉模板匹配的算法（T h ree d i men s i onal tem p late mat c h i n g-ba s ed）

基于三維人臉模板匹配確定三維顏面解剖標志點的算法原理是：預(yù)先建立一個由專家標記人臉解剖標志點信息的三維人臉參考模板（三維顏面數(shù)據(jù)），使用非剛性配準算法（Non-r i g i d R e g i s trat i on A l g or i t h m）將三維人臉模板與目標三維人臉數(shù)據(jù)（患者人臉數(shù)據(jù)）進行形狀匹配，此過程中三維人臉模板數(shù)據(jù)發(fā)生非剛性變形直至達到與目標三維人臉數(shù)據(jù)形狀逼近，最終基于變形后三維人臉模板上的標志點信息確定出目標三維人臉數(shù)據(jù)上的解剖標志點信息，實現(xiàn)標志點信息的“轉(zhuǎn)移”。此類算法確定三維顏面標志點的優(yōu)勢在于可以批量確定數(shù)目較多的解剖標志點，精度和效率均較好。

2013年L i an g等[19]提出一種結(jié)合幾何特征與模板匹配確定20個三維顏面解剖標志點的算法，該算法通過既往文獻[20]選擇一例三維人臉模板數(shù)據(jù)，并由專家標注20個解剖標志點位置，參考目標三維人臉與三維人臉模板上由幾何方法自動確定的17個初始位置點，對三維人臉模板進行變形配準[21]，實現(xiàn)其與目標三維人臉點集的密集對應(yīng)，實現(xiàn)人臉模板上20個標志點信息的轉(zhuǎn)移，獲得目標人臉20個解剖標志點。該方法20個標志點的平均定點誤差約為2.64mm，其優(yōu)點在于可確定的標志點數(shù)目不限數(shù)量，可由三維人臉模板上預(yù)先定義的標志點數(shù)目決定。2015年G i lan i等[22]提出一種結(jié)合自適應(yīng)函數(shù)提取種子點與模板匹配確定三維顏面解剖標志點的算法，該算法使用自適應(yīng)幾何速度函數(shù)自動提取三維人臉數(shù)據(jù)上密集對應(yīng)的種子點，基于最小化彎曲能量函數(shù)建立目標三維人臉數(shù)據(jù)與參考人臉（三維人臉模板）上種子點集間的密集對應(yīng)關(guān)系，進而通過模板匹配將人臉模板標志點信息“轉(zhuǎn)移”到目標三維人臉。該算法也可確定任意數(shù)量的預(yù)定義標志點，在F R G C v2數(shù)據(jù)集測試18個常用標志點平均定點誤差約為3.69±2.44 mm，在B U-3D F E數(shù)據(jù)集測試15個常用標志點的平均定點誤差約為4.38±2.98 mm，且在有表情變化的三維顏面數(shù)據(jù)上確定標志點的效果也較好。2017年L i等[23]基于50例三維人臉樣本獲得解剖標志點平均位置信息和控制點閾值參數(shù)建立一個平均三維人臉模板，通過控制點引導(dǎo)的薄板樣條（t h i n-p late sp l i ne,TP S）算法將三維人臉模板變形到目標三維人臉數(shù)據(jù)上，獲得目標三維人臉上的最近點信息確定解剖標志點。該算法確定人臉29個標志點的平均定點誤差小于等于4mm。2019年W h i te等[24]報道一個開源軟件工具箱Me sh mon k，可對三維顏面數(shù)據(jù)進行可重復(fù)、高通量的密集表型分析，尤其適合三維顏面解剖標志點的確定，該開源工具箱算法主要包括剛性配準和非剛性配準兩個算法步驟，其剛性配準步驟是基于迭代最近點算法（i terat i ve c lo s et p o i nt,I CP）實現(xiàn)三維人臉模板與目標三維人臉的匹配，其非剛性配準步驟是基于粘彈性模型的非剛性變形將三維人臉模板變形匹配至目標三維人臉的特定形狀。作者應(yīng)用該工具箱程序?qū)?1例正常三維人臉數(shù)據(jù)樣本的標志點定點效果進行驗證，19個標志點的平均定點誤差約為1.26 mm，這種方法的局限性在于變形計算過程較為費時，且對畸形或有缺損的三維人臉數(shù)據(jù)定點效果不佳。

三、深度學(xué)習(xí)算法（Deep learning）

近年來，隨著計算機硬件和神經(jīng)網(wǎng)絡(luò)理論的發(fā)展，深度學(xué)習(xí)算法逐漸成為面部解剖標志點自動確定方法研究中發(fā)展較快的一個創(chuàng)新分支。深度學(xué)習(xí)在二維圖像特征識別方面的研究目前已較為成熟[25]，其在三維顏面解剖標志點確定方面的應(yīng)用開始起步，因此，有學(xué)者[26]的研究采用將三維人臉數(shù)據(jù)轉(zhuǎn)換為某種二維圖像（如灰度圖、R G B圖、幾何圖、曲率圖等），應(yīng)用現(xiàn)有較為成熟的二維人臉圖像特征識別算法（如級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)、堆疊沙漏網(wǎng)絡(luò)、深度多任務(wù)學(xué)習(xí)等）確定二維圖像的標志點信息，再將二維特征映射回三維人臉數(shù)據(jù)獲得三維標志點信息，這些算法具有一定可行性。

2017年Z ade h等[27]提出一種具有新型局部檢測器—卷積專家網(wǎng)絡(luò)（c onvol u t i onal e xp ert s net w or k,C E N）的C E-CL M算法（C onvol u t i onal E xp ert s-C on s tra i ned L o c al Model）確定三維顏面解剖標志點，該深度學(xué)習(xí)算法確定三維人臉49個標志點的平均定點誤差約為1.74 mm，對局部遮擋和姿態(tài)變化的人臉數(shù)據(jù)具有一定魯棒性。2017年G i lan i等[28]提出一種基于深度標志點識別網(wǎng)絡(luò)（dee p landmar k i dent i f ic at i on net w or k,DL I N）的算法確定三維顏面解剖標志點，該深度學(xué)習(xí)算法的網(wǎng)絡(luò)架構(gòu)是在S h el h amer等[29]提出的完全卷積網(wǎng)絡(luò)（f u ll y c onvol u t i onal net w or k,F C N）基礎(chǔ)上建立的，能夠更好地適應(yīng)三維深度數(shù)據(jù)。DL I N相比F C N具有參數(shù)少、訓(xùn)練數(shù)據(jù)量少、速度快的優(yōu)點，能夠?qū)崿F(xiàn)0.5 s確定11個三維顏面解剖標志點，標志點定點誤差約為2.95 mm，對有表情、姿態(tài)變化或遮擋的人臉數(shù)據(jù)具有一定魯棒性。2018年W an g等[30]提出一種基于三維顏面幾何數(shù)據(jù)深度融合特征的深度學(xué)習(xí)算法確定三維顏面解剖標志點，該算法將三維人臉數(shù)據(jù)轉(zhuǎn)換為5個二維屬性圖（包括一個范圍圖、三個曲面法線圖和一個曲率圖），使用V GG-16神經(jīng)網(wǎng)絡(luò)模型提取數(shù)據(jù)的全局和局部特征，并采用由粗到精的算法策略實現(xiàn)解剖標志點的精確定位。該算法應(yīng)用于B o sph or u s三維人臉數(shù)據(jù)集確定22個顏面解剖標志點的定點誤差約為3.37±2.72 mm，應(yīng)用于B U-3D F E三維人臉數(shù)據(jù)集確定14個顏面解剖標志點的定點誤差約為3.96±2.55 mm。該算法計算復(fù)雜度較高，只適用于正面無遮擋的三維顏面數(shù)據(jù)，針對有姿態(tài)變化或遮擋的人臉數(shù)據(jù)難以準確確定標志點。2019年汪亮等[31]提出一種基于降噪自編碼網(wǎng)絡(luò)的深度學(xué)習(xí)算法確定三維顏面解剖標志點，該算法的降噪自編碼器具有從損壞數(shù)據(jù)中恢復(fù)原始數(shù)據(jù)的能力，以提高神經(jīng)網(wǎng)絡(luò)的魯棒性，提高對遮擋人臉數(shù)據(jù)解剖標志點定位的準確率，由粗到精的算法策略可使定點結(jié)果更加逼近真實位置。該算法確定22個三維顏面解剖標志點的定點誤差約為3.71 mm，對有遮擋的三維顏面數(shù)據(jù)具有一定的魯棒性。筆者關(guān)注到深度學(xué)習(xí)算法中一類將三維數(shù)據(jù)體素化進行學(xué)習(xí)的研究[32]，可實現(xiàn)對物體特征的有效識別，但尚缺乏應(yīng)用于三維人臉數(shù)據(jù)的特征識別，具有一定研究潛力。

四、討論與展望

數(shù)字化口腔診療技術(shù)的發(fā)展促使自動確定三維顏面解剖標志點的算法研究備受關(guān)注，此類算法的發(fā)展可使口腔臨床三維顏面數(shù)據(jù)的診斷分析變得高效、自動、便捷和準確，是本領(lǐng)域的重要發(fā)展方向。本文系統(tǒng)梳理和歸納了各種三維顏面解剖標志點的自動化確定算法，主要包括幾何信息算法、模型匹配算法和深度學(xué)習(xí)算法三類。幾何信息類算法適合于確定少量具有典型幾何特征的解剖標志點，對于幾何特征不明顯的標志點定位效果不佳；模板匹配類方法考慮到標志點之間幾何拓撲的關(guān)系，從而增加了所能確定標志點的數(shù)量，但不適用于畸形顏面數(shù)據(jù)或有缺失的顏面數(shù)據(jù)；深度學(xué)習(xí)類方法能夠克服前兩種方法的不足，能夠自由、快速、準確、靈活地確定各類標志點，但依賴于前期模型的搭建和訓(xùn)練集數(shù)據(jù)的質(zhì)量。

目前大多數(shù)自動確定三維顏面標志點研究的算法僅在少數(shù)三維人臉數(shù)據(jù)集上進行測試，仍缺少在大規(guī)模數(shù)據(jù)集上的應(yīng)用和測試，算法穩(wěn)定性和魯棒性是本領(lǐng)域研究的難點，開源的高精度三維人臉數(shù)據(jù)集資源缺乏是限制本領(lǐng)域當(dāng)前研究的主要瓶頸。突破當(dāng)前研究瓶頸問題的解決方案，一方面在于三維光學(xué)掃描硬件設(shè)備在醫(yī)療機構(gòu)中推廣普及使用，另一方面在于人工智能技術(shù)對現(xiàn)有二維人臉數(shù)據(jù)進行高精度三維重建。