基于增強(qiáng)現(xiàn)實(shí)技術(shù)人臉穴位點(diǎn)識別系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

鄭成龍 豐艷

摘要：目前人臉穴位點(diǎn)的取穴方法僅按照人臉靜態(tài)圖中的穴位排布來確定，實(shí)時(shí)性較差。為了幫助穴位愛好者以及醫(yī)務(wù)人員更直觀地觀察穴位點(diǎn)的分布情況，設(shè)計(jì)了一種基于增強(qiáng)現(xiàn)實(shí)技術(shù)實(shí)時(shí)獲取人臉穴位點(diǎn)排布的方法。該方法首先利用OpenFace框架獲取人臉特征點(diǎn)的位置，然后根據(jù)人臉特征點(diǎn)的坐標(biāo)計(jì)算人臉穴位的位置。利用Unity 3D平臺，將有關(guān)穴位信息標(biāo)注在獲取到的人臉穴位點(diǎn)位置上，最終通過移動端拍攝人臉實(shí)現(xiàn)人臉穴位實(shí)時(shí)顯示。

關(guān)鍵詞： 人臉穴位點(diǎn); 增強(qiáng)現(xiàn)實(shí); Unity3D; 人臉特征點(diǎn)檢測; OpenFace

中圖分類號：R245.9? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2022）17-0089-02

隨著生活水平的不斷提高，健康成為目前備受關(guān)注的頭等大事。國家高度重視發(fā)展中醫(yī)文化，甚至把中醫(yī)上升到關(guān)乎民族復(fù)興、國家盛衰的空前高度。在這樣的大背景下，越來越多的人開始嘗試在家用拔罐[1]、艾灸[2]等傳統(tǒng)的中醫(yī)方式進(jìn)行養(yǎng)生保健。

這些經(jīng)典的中醫(yī)養(yǎng)生方式，離不開經(jīng)絡(luò)與穴位的定位，但是對于非醫(yī)學(xué)專業(yè)的普通人來說，查找穴位成為最需解決的問題。

對此，本文研究并開發(fā)了一款基于增強(qiáng)現(xiàn)實(shí)（Augemented Reality，AR）技術(shù)[3]的人臉穴位自動定位系統(tǒng)，可以很好地實(shí)現(xiàn)基于手機(jī)端的面部穴位實(shí)時(shí)定位。

雖然近幾年出現(xiàn)了一些基于移動端的虛實(shí)疊加應(yīng)用系統(tǒng)，但大多都是離線系統(tǒng)。而本文研發(fā)的實(shí)時(shí)系統(tǒng)，具有更好的交互性和用戶體驗(yàn)。

1 研究現(xiàn)狀

利用系統(tǒng)軟件輔助查詢?nèi)四樠ㄎ唬壳皣鴥?nèi)有一定研究。其中楊旭明團(tuán)隊(duì)研究并開發(fā)了一款基于Web針刺面部穴位定位虛擬仿真系統(tǒng)軟件[4]，在靜態(tài)人臉圖片上標(biāo)記穴位。該系統(tǒng)在一定程度上降低了穴位查詢的難度，但仍具有局限性，很難跟隨人臉的移動動態(tài)地顯示穴位。

目前獲取圖像和視頻最常見最便捷的途徑是手機(jī)拍攝。因此，開發(fā)一款基于移動端的人臉穴位實(shí)時(shí)定位系統(tǒng)，更能符合實(shí)際的應(yīng)用需求。

2 相關(guān)技術(shù)概述

2.1 AR技術(shù)

AR技術(shù)是在虛擬現(xiàn)實(shí)（Virtual Reality，VR）[5]技術(shù)基礎(chǔ)之上發(fā)展而來。不同于VR系統(tǒng)完全虛擬的世界，AR技術(shù)是將計(jì)算機(jī)生成的三維虛擬物體、場景或提示信息實(shí)時(shí)疊加到真實(shí)場景圖像中，從而實(shí)現(xiàn)對現(xiàn)實(shí)場景的補(bǔ)充和增強(qiáng)。

2.2 Unity3D引擎

Unity3D[6]是一款游戲開發(fā)引擎，由丹麥Unity Technologies公司在2004年創(chuàng)建。用戶可以通過該引擎創(chuàng)造地形、光照、碰撞等仿真內(nèi)容，以及實(shí)現(xiàn)實(shí)時(shí)人機(jī)交互。Unity3D引擎具有跨平臺性，支持Windows、Android、iOS等多個(gè)平臺，做到一次開發(fā)、多平臺部署，能夠極大縮短軟件的開發(fā)周期。Unity3D 4.6版本之后，圖形用戶界面系統(tǒng)（UGUI）被集成到了Unity3D的編輯器中，UGUI提供了按鈕（Button）、輸入框（InputField）等組件，可以快速、簡單、靈活地創(chuàng)建UI界面。

經(jīng)過多年的發(fā)展，Unity3D因操作容易、性能穩(wěn)定等特點(diǎn)，在游戲、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)、醫(yī)學(xué)、建筑等領(lǐng)域得到了廣泛的應(yīng)用。

2.3 人臉穴位計(jì)算

利用OpenFace[7]框架對人臉進(jìn)行68個(gè)關(guān)鍵點(diǎn)檢測，定位后的人臉如圖1所示。

穴位在人臉的分布位置與68個(gè)特征點(diǎn)的關(guān)系分為三種：第一種：穴位落在68個(gè)特征點(diǎn)上;第二種：穴位沒有落在68個(gè)特征點(diǎn)上，但是穴位與兩個(gè)以上的特征點(diǎn)有關(guān)系;第三種：穴位沒有落在68個(gè)特征點(diǎn)上，但穴位僅僅與一個(gè)特征點(diǎn)有關(guān)系。

首先用阿拉伯?dāng)?shù)字給人臉68個(gè)特征點(diǎn)標(biāo)號，如圖2所示。

滿足第一種情況的穴位，瞳子髎穴位于眼角位置，與特征點(diǎn)36號和45號對應(yīng)。上廉泉穴位于下頜正下方略微凹陷處，與特征點(diǎn)8號位置對應(yīng)。前大迎穴靠近下頜尖處，與特征點(diǎn)10號和6號對應(yīng)。攢竹穴位于眉頭處，與特征點(diǎn)21號和22號對應(yīng)。絲空竹穴位于眉梢，與特征點(diǎn)17號和26號對應(yīng)。山根穴位于鼻梁根部，與特征點(diǎn)27號對應(yīng)。魚腰穴位于眉毛正中，與特征點(diǎn)19號和24號對應(yīng)。地倉穴位于嘴角外側(cè)，與特征點(diǎn)48號和54號對應(yīng)。禾髎穴位于上唇中央高起處外側(cè)，與特征點(diǎn)53號和49號對應(yīng)。頰車穴位于下頜角處，與特征點(diǎn)4號和12號對應(yīng)。

對于第二種情況，需根據(jù)兩個(gè)特征點(diǎn)的位置來計(jì)算。滿足第二種情況的穴位，人中穴位于鼻唇溝上三分之一處，可由特征點(diǎn)33號和51號計(jì)算得出。如公式（1）所示，Y人中、X人中表示人中穴在人臉圖像上的位置。Y33和Y51分別表示特征點(diǎn)33號和51號到圖像上邊框的距離，X33和X51分別表示特征點(diǎn)33號和51號到圖像左邊框的距離。

[Y人中=Y33-Y33-Y51/3X人中=X33-X33-X51/3]? ? ? ? ? ? ? ?（1）

印堂穴位于兩個(gè)眉頭連線的中點(diǎn)，可由特征點(diǎn)21號和22號計(jì)算得出。計(jì)算如公式（2）所示，Y印堂、X印堂表示印堂穴在人臉圖像上的位置。Y21和Y22分別表示特征點(diǎn)21號和22號到圖像上邊框的距離，X21和X22分別表示特征點(diǎn)21號和22號到圖像左邊框的距離。

[Y印堂=Y21+Y22-Y21/2X印堂=X33+X22-X21/2]? ? ? ? ? ? ? （2）

球后穴在眼眶下緣，外眼側(cè)起約四分之一處，用X球后和Y球后表示球后穴的位置。用X39和X36表示39號、36號特征點(diǎn)距離圖像左邊框的距離。Y41表示41號特征點(diǎn)距離圖像上邊框的距離。球后穴的位置由公式（3）計(jì)算得出。

[X球后=X39-X36/4Y球后≈Y41]? ? ? ? ? ? ? ? ? ? ? ? （3）

第三種情況比較復(fù)雜，需要利用骨度分寸法[8]和Canny[9]邊緣檢測來輔助定位。骨度分寸法是古代的一種測量方法，以骨節(jié)為標(biāo)志測量身體各部分長度，如眉心到發(fā)際的距離為3寸，兩前額角之間為9寸。

Canny算法在1986年被John F .Canny提出，是應(yīng)用比較廣的邊緣檢測算法。

用X發(fā)際點(diǎn)表示發(fā)際點(diǎn)到圖像左邊框的距離，用Y發(fā)際點(diǎn)表示發(fā)際點(diǎn)到圖像上邊框的距離。X發(fā)際點(diǎn)比較容易得到，人臉正視鏡頭，X發(fā)際點(diǎn)=X眉心=X印堂。Y發(fā)際點(diǎn)數(shù)值的確定同樣需要人臉正視鏡頭，利用Canny檢測人臉圖片邊緣，如圖3所示。在Canny檢測所得到的邊緣點(diǎn)坐標(biāo)中查找X=X發(fā)際點(diǎn)且Y值小于Y眉心的點(diǎn)，在滿足條件的點(diǎn)中，取其Y值最大的點(diǎn)，即為發(fā)際點(diǎn)（X發(fā)際點(diǎn)，Y發(fā)際點(diǎn)）。

用C表示發(fā)際線到眉心的相對大小。用M表示兩眼角45號特征點(diǎn)與36號特征點(diǎn)之間的距離。X45和X36分別表示特征點(diǎn)45號和36號到圖像左邊框的距離。如公式（4）所示。此時(shí)的C和M為初始值，需要在穴位點(diǎn)檢測之前初始化。

[C=Y發(fā)際-Y眉心M=X45-X36]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（4）

當(dāng)人臉進(jìn)行前后移動時(shí)，用Mnew表示移動后兩眼角之間的距離，用X45（new）和X36（new）表示移動后兩眼角45號特征點(diǎn)和36號特征點(diǎn)距離圖片左邊框的位置，用R表示人臉縮放的比值。由公式（5）計(jì)算Mnew和R值。

[Mnew=X45（new）-X36（new）R=Mnew/M]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （5）

陽白穴的位置在魚腰穴的上方兩寸處，用X陽白和Y陽白表示， X魚腰（左）和Y魚腰（左）表示左眼魚腰穴的位置。由公式（6）計(jì)算得。

[X陽白=R*C*2/3+X魚腰（左）Y陽白=Y魚腰（左）-R*C*2/3]? ? ? ? ? ? ? ? ? ? ? ? ?（6）

四白穴位于瞳孔正中央下約2寸處，用X四白和Y四白表示。X40表示40號特征點(diǎn)距離圖像左邊框的距離。Y40表示40號特征點(diǎn)距離圖像上邊框的距離。由公式（7）計(jì)算得。

[X四白≈X40Y四白≈R*C*2/3+Y40]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（7）

至此，我們得到了所有穴位點(diǎn)的位置。

3系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

3.1 系統(tǒng)功能設(shè)計(jì)

系統(tǒng)具有四個(gè)功能：

1）虛擬穴位在人臉全部顯示。使用戶觀察各穴位之間的位置關(guān)系更加清晰。

2）依據(jù)用戶輸入的穴位名稱顯示單個(gè)穴位。避免其他穴位視覺上的干擾。

3）依據(jù)用戶輸入的病癥名稱，系統(tǒng)自動查找并顯示相應(yīng)穴位。查找穴位的目的是治療疾病或養(yǎng)生保健，但面部穴位較多，對于非醫(yī)學(xué)專業(yè)的普通百姓而言，很難熟記各病癥與穴位的關(guān)系，因此，通過疾病名稱查找穴位，能夠更好地滿足用戶需求。

4）提供指定穴位相關(guān)知識，例如顯示穴位對應(yīng)的治療病癥，以及對應(yīng)的養(yǎng)生保健方法。

3.2 系統(tǒng)功能實(shí)現(xiàn)

該系統(tǒng)利用紅點(diǎn)和穴位名稱標(biāo)注穴位的具體位置。紅點(diǎn)和穴位名稱通過Unity3D UGUI控件制作。

創(chuàng)建與穴位點(diǎn)數(shù)量相同的Image和Text控件。每一個(gè)Image對應(yīng)一個(gè)穴位，每個(gè)Text對應(yīng)一個(gè)穴位的名稱。系統(tǒng)運(yùn)行的過程中，各Image和Text控件位置與計(jì)算出的人臉穴位位置對應(yīng)。穴位的顯示效果如圖5所示。另外，通過腳本可控制Image、Text啟用與禁用，進(jìn)而控制穴位的顯示與隱藏。

繼續(xù)在Unity3D 場景中添加Button、Image及InputField等UI組件[10]，實(shí)現(xiàn)對系統(tǒng)功能的交互操作。穴位相關(guān)知識和疾病治療方法將以圖片的形式顯示在界面上方，如圖6所示。

為避免UI組件對人臉穴位的觀察造成遮擋，輸入框設(shè)計(jì)為半透明，且交互按鈕和輸入框均顯示在界面的底部。

4結(jié)論

本文探索性地將AR技術(shù)應(yīng)用于穴位識別系統(tǒng)，設(shè)計(jì)并實(shí)現(xiàn)了一款人臉穴位動態(tài)查找軟件，使用戶查找穴位更方便快捷。

目前該面部穴位查詢系統(tǒng)對于用戶正視攝像頭或頭部小范圍的移動定位精確性較高，但對于大范圍的頭部移動精確性會降低。本論文的后續(xù)工作：1）提高大范圍頭部移動的精準(zhǔn)性;2）將穴位查找范圍進(jìn)一步擴(kuò)大，嘗試實(shí)現(xiàn)人體全部穴位的動態(tài)查詢定位。

參考文獻(xiàn)：

[1] 王貞虎.舒筋活絡(luò)的拔罐術(shù)[J].健康生活，2018（6）：28-30.

[2] 梁鳳霞，王華，王靜芝，等. 國際中醫(yī)針灸教育課程體系現(xiàn)狀與思考[A]. 世界針灸學(xué)會聯(lián)合會、中國中醫(yī)科學(xué)院、海南省衛(wèi)生健康委員會.“中醫(yī)針灸”申遺十周年特別活動暨世界針灸學(xué)會聯(lián)合會2020國際針灸學(xué)術(shù)研討會論文集[C].世界針灸學(xué)會聯(lián)合會中國中醫(yī)科學(xué)院、海南省衛(wèi)生健康委員會：中國針灸學(xué)會，2020：2.

[3] 王宇希，張鳳軍，劉越.增強(qiáng)現(xiàn)實(shí)技術(shù)研究現(xiàn)狀及發(fā)展趨勢[J].科技導(dǎo)報(bào)，2018，36（10）：75-83.

[4] 楊旭明，彭昊宇，方琢，等.基于Web的針刺面部穴位定位、處方學(xué)習(xí)和虛擬仿真系統(tǒng)的研發(fā)[J].中華醫(yī)學(xué)圖書情報(bào)雜志，2019，28（10）：51-56.

[5] 楊青，鐘書華.國外“虛擬現(xiàn)實(shí)技術(shù)發(fā)展及演化趨勢”研究綜述[J].自然辯證法通訊，2021，43（3）：97-106.

[6] 劉春飛，張季，王嘉，等.基于Unity3D技術(shù)的移動端數(shù)字人體腧穴仿真系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].世界科學(xué)技術(shù)-中醫(yī)藥現(xiàn)代化，2021，23（5）：1490-1499.

[7] 梁昭德.基于卷積神經(jīng)網(wǎng)絡(luò)的駕駛?cè)似跈z測算法研究[D].廣州：華南理工大學(xué)，2018.

[8] 李佳潞，黃銀蘭，喬嘉，等.骨度分寸定位法的古代文獻(xiàn)研究[J].山西中醫(yī)藥大學(xué)學(xué)報(bào)，2021，22（1）：4-7.

[9] 李軍，鐘鵬.OpenCV的車道線檢測方法[J].華僑大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，42（4）：421-424.

[10] 楊旭.基于虛擬現(xiàn)實(shí)的注塑成型仿真系統(tǒng)的研究及開發(fā)[D].杭州：浙江大學(xué)，2018.

收稿日期：2022-02-10

作者簡介：鄭成龍（1996—），男，山東濱州人，碩士，虛擬現(xiàn)實(shí)方向;豐艷（1977—），女，山東青島人，教授，博士，碩士生導(dǎo)師，圖像處理、虛擬現(xiàn)實(shí)、多媒體技術(shù)。