基于人工智能技術(shù)的面相照片標志點自動定位的評價

邱 韜,何 濤,張 強,肖雨璇,郭維華,3

面部美學(xué)可追溯至古希臘時期[1],口腔領(lǐng)域常將具有客觀分析標準的“審美”[2]用于美學(xué)研究。面相分析已從直接人體測量[3]發(fā)展為二維[4]及三維[5]分析。由于倫理因素,兒童可用的X線檢查有限,面相常用于跟蹤兒童生長發(fā)育變化及評估治療效果,而二維面相設(shè)備簡單、易于操作,目前仍是臨床面相分析的主流手段[6]。目前許多面相分析軟件仍需手動定點[7],且高度依賴于臨床醫(yī)生的經(jīng)驗[8],亟需一種可自動定點及分析的面相分析軟件。

隨著人工智能技術(shù)的發(fā)展,深度學(xué)習(xí)[9]、隨機森林[10]以及決策樹等新算法已用于提高標志點檢測的準確性。在這些算法中,卷積神經(jīng)網(wǎng)絡(luò)(CNN)在圖形處理方面優(yōu)勢顯著,已廣泛應(yīng)用于人臉識別、人體姿態(tài)估計[11]、病變區(qū)域檢測[12]和分類[13]、圖像分割[14]、輔助診斷[15]等領(lǐng)域。Hwang等[16]使用2種CNN模型成功完成了X線頭影測量中80個標志點檢測。然而面相照片多為彩色照片,分辨率遠高于X線片,缺乏比例尺[17],且來源復(fù)雜[18],難以進行客觀量化比較,目前關(guān)于自動化面相定點分析的研究較少。

因此,本研究基于CNN開發(fā)了面相自動定點及測量分析系統(tǒng),該系統(tǒng)能自動高效準確檢測標志點并分析面相比例及角度,此外還提出面相分析準確性評價體系,包括兩項定點準確性指標(NME/SDR)及一項測量準確性指標(SCR),以優(yōu)化及對比正側(cè)貌照片自動定點方法。

1 資料與方法

1.1 樣本收集

收集467例2019—2021年于四川大學(xué)華西口腔醫(yī)院就診的替/恒牙列期患者,由于需患者配合面相拍攝及后續(xù)正畸治療,患者年齡范圍限制在6～55歲,其中162例為男性,305例為女性。所有患者及家屬理解并愿意參與研究,并簽署知情同意書。四川大學(xué)華西口腔醫(yī)院倫理委員會批準了本研究(WCHSIRB-D-2019-030)。排除標準為:①頭位明顯不正;②先天性顱頜面畸形;③顱頜面創(chuàng)傷;④整形手術(shù)或贗復(fù)體植入;⑤過度肥胖(BMI>28)。

1.2 面相拍攝

患者以自然頭部姿勢(NHP)直立,由微距閃光燈(佳能MT-26EX-RT)和定焦鏡頭(佳能微距鏡頭EF 100 mm f/2.8 IS USM)采集;光圈f.5.6-7,快門速度1/160～1/100 s,感光度(ISO)為100,導(dǎo)出JPG 格式的原始圖像(dpi 為 72)。

1.3 手動標注面相分析標志點

開發(fā)手動定點系統(tǒng)(顱頜面部智能定點系統(tǒng) 軟著登字第10278567號)以標記所有常用面相分析標志點的坐標,正側(cè)貌照各標志點圖例見圖1,定義見表1、2。

表1 正貌照標志點定義Tab.1 Landmark definitions of frontage subset

表2 側(cè)貌照標志點定義Tab.2 Landmark definitions of profile subset

A:正貌相所有標志點;B:正貌鼻唇部標志點;C:側(cè)貌相所有標志點;D:側(cè)貌鼻唇部標志點

各標志點均由2位經(jīng)驗豐富的正畸醫(yī)生就標志點定義達成一致后,獨立標記2次,記平均位置為標志點真實位置。隨后將正側(cè)貌照依次分為兩個數(shù)據(jù)集保存所有標志點的坐標信息,并進行后續(xù)卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練。

1.4 卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練

各數(shù)據(jù)集包含 467 張面相,其中327張用于訓(xùn)練,50張用于驗證,90張用于測試。利用PyTorch搭建標志點自動檢測模型,使用NVIDIA Titan XP GPU顯卡,采取由粗到精策略解決高分辨率面相普遍存在的小標志點檢測難題,使用目前廣泛使用的U-Net網(wǎng)絡(luò)進行訓(xùn)練,訓(xùn)練模型說明見圖2、3。

圖3 將獲得的初始位置通過局部U-Net及真實位置修訂模塊進一步調(diào)整,以提高準確性Fig.3 The initial position obtained in the first step was further adjusted with a locally modified module to improve accuracy

本研究使用Adam優(yōu)化器進行訓(xùn)練。學(xué)習(xí)率初始化為0.001,以系數(shù)0.98呈指數(shù)衰減,重量衰減為5e-4。數(shù)據(jù)增強中隨機裁剪范圍在0.6～1.0的圖片,并調(diào)整顏色飽和度、亮度和對比度以擴展數(shù)據(jù)。以選點為中心,半徑20個像素的圓內(nèi)選擇切片。熱圖回歸中執(zhí)行負例挖掘,在熱圖圈外選擇固定數(shù)量的陰性樣本進行訓(xùn)練。

1.5 定點準確性評判

針對高分辨率面相普遍缺乏比例尺且來源廣泛、難以量化比較的難點,本研究提出基于審美考量的面相自動化定點分析的準確性評價體系,具體如下。

1.5.1 標準化的平均誤差(NME)

正畸治療主要調(diào)整患者面中下1/3,而面上1/3(Tr-G′)高度在正側(cè)貌照中通常穩(wěn)定,因此本研究采用Tr-G′高度作為“d”。

1.5.2 單位距離內(nèi)的定點成功率(SDR)

1.5.3 測量指標的成功分類率(SCR)

選取面相分析常用角、比例等檢測指標,若自動測量、手動測量的分類結(jié)果一致,則為成功分類,并可計算對應(yīng)SCR。

2 結(jié) 果

本研究構(gòu)建了基于卷積神經(jīng)網(wǎng)絡(luò)的二維面相自動定點系統(tǒng),可在20 s內(nèi)確定76個標志點。

在正貌照子集中,驗證集NME為0.079±0.221,0.02、0.04、0.06、0.08和0.10單位,SDR(%)分別為61.75、90.54、96.36、98.65和99.22。測試集NME為0.025±0.021,0.02、0.04、0.06、0.08和0.10單位SDR(%)分別為58.54、87.59、95.64、98.03和99.00。正貌照各標志點中,Stnr的NME最小0.013±0.008,而Me′的NME最大0.092±0.533,提示在正貌照子集中,Stnr的人工智能定點最為準確,而Me′點的人工智能定點相對不準確,但仍滿足臨床分析需要,此外,面中份標志點的人工智能定位普遍較頦部標志點準確。

在側(cè)貌照子集中,驗證集NME為0.052±0.011,0.02、0.04、0.06、0.08和0.10單位SDR(%)分別為57.3、87.33、95.29、97.37和98.3。測試集NME為0.079±0.221,0.02、0.04、0.06、0.08和0.10單位SDR(%)分別為54.17、85.71、93.94、96.69和97.37。側(cè)貌照各標志點中,Ex的NME最小0.013±0.009,C的NME最大0.409±1.336,提示在側(cè)貌照子集中,Ex的人工智能定點最為準確,而C點的人工智能定點相對不準確,且無法滿足臨床分析需要,需進行手動校正。此外,與正貌照子集類似,頦部標志點人工智能定位的準確性均較低。側(cè)貌照和正貌照子集中各標志點具體NME和SDR如圖4、5所示。

A:側(cè)貌照各標志點驗證集SDR;B:側(cè)貌照各標志點測試集SDR;C:正貌照各標志點驗證集SDR;D:正貌照各標志點測試集SDR

驗證、測試集SCR結(jié)果見表3,可見大部分測量指標的SCR均為100%,提示下人工智能面相診斷的準確性較高,但仍可見如頦唇溝角(16%)、鼻面角(81.3%)等涉及頦部標志點的測量指標的分類準確性較低,提示仍需針對頦部標志點進行手動校正。

表3 面相分析角和比例的定義及其SCRTab.3 Definitions of angles and proportions and SCR in the evaluation and test set

3 討 論

面相照片具有無創(chuàng)、無輻射等優(yōu)勢,可視化效果優(yōu)異,但其智能化分析也在分辨率、標準化等方面面臨的挑戰(zhàn)遠超傳統(tǒng)頭顱側(cè)位片X線頭影測量。

首先,目前面部軟組織的標志點檢測主要集中于圖形處理[19-20]、視頻制作[21]及人臉識別領(lǐng)域[21],適用于頜面軟組織的解剖特征點檢測的相關(guān)方法及研究開展較少[22],亟需有關(guān)正側(cè)貌照自動化定點分析的研究。

其次,由于正側(cè)貌面相分辨率高,本研究面臨超高分辨率圖像中小目標檢測的難題。超高分辨率圖像通常會出現(xiàn)在衛(wèi)星地圖中建筑物檢測[23-24],高分辨醫(yī)療影像中病灶檢測[12-14],無人機航拍圖中車船等[25],其所面臨的挑戰(zhàn)是:①機器顯存負載,無法進行模型訓(xùn)練任務(wù);②檢測目標往往<10個像素點,常規(guī)算法在多次采樣操作后,其特征難以被提取到。

因此本研究采取粗到精策略[26],對面相照片進行有重疊區(qū)域的滑窗裁剪,以免標志點被截斷,同時對重疊區(qū)域采用非極大值抑制法(non-maximum suppression,NMS)去除多余無用的檢測結(jié)果框以解決該難題。

最后,由于面相照普遍缺乏比例尺[17],來自不同的數(shù)據(jù)庫且獲取難度大,難以進行客觀量化比較[18],因此本研究引入新的評估系統(tǒng)以評價二維面相定點準確性。評估檢測質(zhì)量的核心是找到一些相對固定的面部長度參數(shù)d作為標尺。例如COFW數(shù)據(jù)集中d為瞳孔距離(眼中心的距離);WFLW數(shù)據(jù)集和300W數(shù)據(jù)集中d為眼角距(外眼角間距)。NME和FR通常用于人臉識別領(lǐng)域[27-28],要求人們直面相機,因此,面寬、眼間距或雙側(cè)瞳孔寬度是相對固定的。而正畸治療中患者面型的變化主要發(fā)生在面中下1/3,正側(cè)貌面上1/3通常是穩(wěn)定的。因此,本研究選擇Tr-G的高度作為標尺,在各國研究中,成年人Tr-G的絕對高度在37～50 mm[29-30],且頭顱X線自動化頭影測量分析已提出,<4 mm的測量值是有意義的[31],因此可認為當(dāng)NME≤0.1單位的SDR為100%時該標志點檢測成功。

在解決上述問題后,本研究構(gòu)建了顱頜面部智能定點系統(tǒng),可在20 s內(nèi)定點76個標志點,而手動測量耗時十余分鐘,且顱頜面區(qū)域35～40個標志點通常用于面相分析[32]。正貌照中標志點總體測量相對準確,且各點NME均在可接受的范圍內(nèi);而在側(cè)貌照中,頦部標志點如Pog′、Me′等定點不夠準確,仍需手動矯正。分析可能的原因在于:①某些患者尤其是骨性Ⅱ類錯畸形和垂直生長型患者,頦部后縮,很難在頦部找到標志點;②患者在拍照時肌肉未放松,導(dǎo)致了面部緊繃等非典型的軟組織形態(tài),使頦部標志點的定點更為復(fù)雜;③面部脂肪尤其是在臉、頸部的堆積,也會影響標志點的判斷。因此,盡管側(cè)貌頦部標志點仍需手動校正,本研究標志點定點速度、數(shù)量及精度足以減輕面相分析工作量,輔助進行面相分析。此外,不同算法研究均基于私人數(shù)據(jù),難以進行客觀量化比較,本研究通過數(shù)據(jù)標準化評價以及算法改進解決了上述問題。

本研究仍存在一定的局限性:①研究方法需進一步改進以應(yīng)對標志點被遮擋等特殊情況;②本研究中SCR僅采用一組標準,未針對不同種族、性別、年齡、文化的審美差異設(shè)置其他正常值范圍;③本研究仍需更多照片以增加樣本量。

綜上所述,本研究成功開發(fā)了基于卷積神經(jīng)網(wǎng)絡(luò)的面相照片自動定點及分析系統(tǒng),并針對面相照片和頭顱X線片之間的差異,提出了一種新的定點準確性評價方式,得出以下結(jié)論:①該系統(tǒng)可以在20 s內(nèi)一次檢測76個標志點;②該系統(tǒng)對大部分標志點識別精度高,但對某些處于頦部的標志點識別精度較低,需手動校正;③面上1/3(Tr-G′)在正畸治療中相對穩(wěn)定,當(dāng)NME<0.1或0.1單位的SDR為100時該標志點檢測成功。下一步,我們將重疊面相照和X片以進一步升級完善系統(tǒng);根據(jù)年齡,種族和性別設(shè)置更多正常值以供參考,并增加研究的樣本量以更好地實現(xiàn)面相分析的精準自動化定點。