光柵投影真?zhèn)位旌想p目舌面三維成像方法

王 鵬，董美涵，孫長庫，付魯華

光柵投影真?zhèn)位旌想p目舌面三維成像方法

王 鵬，董美涵，孫長庫，付魯華

(天津大學(xué)精密測試技術(shù)及儀器國家重點實驗室，天津 300072)

傳統(tǒng)的舌頭診斷會受到醫(yī)生的知識、診斷技能和照明條件的限制，客觀性和可重復(fù)性較差．因此，對舌診進行客觀化是很重要的．將光柵投影技術(shù)與雙目視覺相結(jié)合是實現(xiàn)三維成像的常用手段．然而，舌頭表面的津液會形成反射區(qū)導(dǎo)致相位展開失敗，而且雙目系統(tǒng)只能測量公共區(qū)域，邊緣無法測量．為了獲取完整的彩色舌面三維數(shù)據(jù)，提出了一種光柵投影的真?zhèn)位旌想p目三維重建的方法．將投影儀看成是一個逆向相機，對投影儀進行標(biāo)定．由投影儀和左、右攝像機組成的兩個偽雙目系統(tǒng)，用于補充舌面過度曝光區(qū)以及舌面邊緣的點云．為避免空間點的重復(fù)重建，從理想光柵圖像出發(fā)，采用級次和極線混合約束的方法逐點分別向左、右相機尋找匹配點．對于左、右相機均匹配成功的點，采用真雙目系統(tǒng)進行重建．對于單相機匹配成功的點，用偽雙目系統(tǒng)進行重建．結(jié)果顯示，光柵投影真?zhèn)位旌想p目的方法可以準(zhǔn)確快速地獲得完整的區(qū)域性反光階梯塊和真實舌面三維點云，上舌面舌苔特征明顯，下舌面血管完整清晰，有助于舌診客觀化進行．最后，設(shè)計實驗用測量半徑為19.05mm的陶瓷球?qū)ο到y(tǒng)進行了精度驗證，系統(tǒng)的測量偏差在±0.1mm以內(nèi)．

舌診客觀化；三維測量；光柵投影；立體匹配

中醫(yī)認(rèn)為，人體是一個有機的整體，而舌是全身的臟腑器官的縮影之一，舌診是中醫(yī)望診的主要內(nèi)容之一[1]，各個組織器官的健康狀況均可通過神經(jīng)、脈絡(luò)反映到舌的不同區(qū)域．傳統(tǒng)的二維舌診儀只能識別舌體的形狀，無法提供舌體的舌苔厚度，舌裂紋的長度等三維信息，不能提供完整的診斷信息．因此，實現(xiàn)舌診的標(biāo)準(zhǔn)化、定量化、客觀化[2]，研制三維舌診儀具有重要的現(xiàn)實意義．

國內(nèi)部分學(xué)者已經(jīng)將光學(xué)的三維形貌測量技術(shù)引入舌診儀中，如北京工業(yè)大學(xué)蔡軼珩等[3]采用光度立體法配合4個光源進行舌重建，但舌體三維重建的誤差高達3.6mm，且無法對舌面反光區(qū)域進行重建．天津大學(xué)王元千等[4]利用多目立體視覺進行舌面三維重建．為減少視覺盲區(qū)，系統(tǒng)用8個相機向心擺設(shè)，實驗系統(tǒng)搭建復(fù)雜．天津大學(xué)郭丹等[5]利用雙目視覺搭建了彩色三維舌診儀，系統(tǒng)利用投影儀作為照明光源，采用改進的SSD立體匹配算法對舌體上表面進行了三維重建．本課題組利用成像追蹤模型搭建了一臺主動線結(jié)構(gòu)光式的三維彩色舌診儀[6]．這種方法雖然精度高，但是需要借助精密升降臺，測量時間較長．

光柵投影雙目視覺具有非接觸性、精度高等特點，近年來在醫(yī)療輔助診斷領(lǐng)域有廣泛應(yīng)用．為實現(xiàn)彩色舌面點云的準(zhǔn)確快速獲取，本文將光柵投影技術(shù)引入到三維舌象儀中．針對舌面紋理特征不明顯等現(xiàn)象，借助光柵投影解算后的相位值增加匹配特征．對于光柵投影三維測量技術(shù)來說，在過度曝光的舌面圖像區(qū)域上無法獲得準(zhǔn)確的相位信息，最終無法獲得展開相位值，會形成點云的缺失．對于反射區(qū)域點云的獲取，可分為5類：噴灑顯像劑、多重曝光、調(diào)節(jié)投影亮度方法、后處理的相位補償以及多視角重建的方法．對于舌面來說，顯然不能采用噴灑顯像劑的方法進行反光消除．多重曝光法是將多種曝光時間下拍攝的一組圖像合并為一個HDR圖像[7]，測量時間長，需要拍攝多組圖片．Babaie等[8]提出一種“空間地變化像素亮度”(SVIP)，該方法迭代地調(diào)節(jié)投影的棋盤格圖案亮度，計算量較大．趙世紅等[9]對面結(jié)構(gòu)光的投影條紋進行優(yōu)化，減少了投影次數(shù)，并對最大亮度進行了調(diào)整．Chen等[10]提出在步相移中用未飽和的像素點對相位進行恢復(fù)，但需要圖像的像素滿足不飽和數(shù)大于3的條件．Feng等[11]提出利用兩個單目系統(tǒng)對強反射區(qū)域進行補充，并利用散斑圖像不受像素飽和度的影響的特性確定強反射像素點．本文將投影儀看成是逆向相機，將投影儀和左右相機分別構(gòu)成兩套偽雙目測量系統(tǒng)，最終形成真?zhèn)坞p目混合測量系統(tǒng)對舌面點云進行獲?。@種測量系統(tǒng)不僅可以解決反光區(qū)域點云缺失的問題，也可以對邊緣非公共區(qū)域進行點云補充．

1 光柵投影雙目視覺三維成像

2 強反射表面反射模型

圖1 光柵反射示意

3 真?zhèn)位旌想p目測量模型

3.1 混合雙目立體匹配

傳統(tǒng)的結(jié)構(gòu)光三維重建技術(shù)僅僅把投影儀當(dāng)成提供光柵圖像的設(shè)備，本文將投影儀看成是逆向的相機，以投影儀輸入的理想光柵圖像作為投影儀拍攝的圖像．由于投影儀不具備真實成像屬性而且投影儀在制造過程中不可避免會產(chǎn)生鏡頭、光軸的裝配誤差，僅考慮徑向畸變模型對理想的光柵圖像進行畸變校正，則有

圖2 立體匹配示意

3.2 坐標(biāo)系轉(zhuǎn)換

4 實 驗

4.1 實驗概述

搭建系統(tǒng)實物圖如圖3所示．系統(tǒng)由兩個?？低暪镜腗V-CA013-21UC彩色相機，分辨率為1280×1024，投影儀選擇聞泰科技公司的DLP4500pro，光源由環(huán)形光源CCSHPR2-150SW提供．鏡頭選擇為?？低暪镜?mm鏡頭，左、右相機的基線長度為180mm，測量距離為220mm．

圖3 系統(tǒng)實物圖

4.2 彩色舌面點云獲取

系統(tǒng)采用投影儀同步觸發(fā)照相機，照相機拍攝1幅彩色圖像和12幅光柵條紋圖像．彩色圖像用于顏色信息獲取，并經(jīng)過標(biāo)準(zhǔn)24色卡進行了顏色校正．光柵圖像用于測量解相．展開相位時定義光柵調(diào)制度系數(shù)過濾邊緣相位不可靠區(qū)域．投影儀投射速度為0.04ms，采集時間在0.5s以內(nèi)，可近似看成舌靜止，從而獲取完整的舌面點云．同時，如圖4所示，對系統(tǒng)進行機械封裝，設(shè)置下顎托，防止測量時發(fā)生劇烈抖動，造成測量偏差．

圖4 系統(tǒng)封裝圖

如圖5(a)所示，由于舌面存在津液，用傳統(tǒng)雙目系統(tǒng)對舌面進行測量，舌面出現(xiàn)斑點性缺失，且舌邊緣不完整．利用真?zhèn)位旌想p目模型對舌面進行補充，如圖5(b)所示，舌邊緣完整，舌中點刺特征明顯．舌下表面形貌復(fù)雜，在運用真雙目系統(tǒng)進行重建時，由于存在遮擋，下表面重建不完整，如圖5(c)所示．應(yīng)用本文方法對點云進行補充，可重建出完整的舌下表面，如圖5(d)所示，舌下脈絡(luò)清晰．實驗驗證，本文方法可以重建出完整的舌體上、下表面，有利于舌診客觀化．

圖5 舌面點云對比

4.3 鋁合金階梯塊驗證

利用鋁合金階梯塊驗證本文方法．拍攝的鋁合金階梯塊某一時刻光柵圖片如圖6所示，可以看出在階梯塊的不同位置處分別出現(xiàn)了過度曝光的現(xiàn)象．

應(yīng)用傳統(tǒng)雙目光柵系統(tǒng)對階梯塊進行重建，重建結(jié)果如圖7(a)所示，階梯塊點云有大面積的缺失現(xiàn)象，應(yīng)用本文方法對階梯塊點云進行補充，在同一視角下，補充后的點云圖如圖7(b)所示，可以看出，點云補充效果良好，階梯塊得到了完整重建．

圖6 階梯塊光柵投影

圖7 階梯塊點云對比

4.4 精度驗證

為驗證三維舌象儀的精度，對半徑為19.05mm的陶瓷球進行三維重建并測量，運用最小二乘法擬合半徑，點云結(jié)果如圖8所示．在視場不同位置測量10次的結(jié)果如表1所示．實驗驗證10次測量的平均值為19.025mm，系統(tǒng)的測量偏差在±0.1mm以內(nèi)，滿足舌面的測量要求．

圖8 陶瓷球點云

表1 陶瓷球測量實驗結(jié)果

5 結(jié) 語

在大力發(fā)展中醫(yī)藥的時代背景下，為推進舌診的客觀化進行，本文設(shè)計并搭建了一套真?zhèn)位旌想p目彩色舌面點云獲取系統(tǒng)，驗證了光柵投影技術(shù)可以應(yīng)用于舌面的三維重建．對傳統(tǒng)的雙目光柵測量進行了改進，分析了反射模型，提出了真?zhèn)位旌想p目測量模型，將投影儀和照相機組成偽雙目系統(tǒng)，引入了畸變校正后的理想光柵圖像做約束，對舌面進行了有效補充，實驗驗證，系統(tǒng)對氧化鋁階梯塊的反光區(qū)域和邊緣區(qū)域做了明顯補充，可以對區(qū)域性反光物體做完整三維測量．應(yīng)用系統(tǒng)對真實舌的上、下表面測量，結(jié)果表明舌面的點云獲取效果良好，可以準(zhǔn)確反映舌面特征信息，具有實用價值，推進了舌診的客觀化進行．對19.05mm的陶瓷球進行精度驗證，系統(tǒng)的偏差在±0.1mm以內(nèi)．

［1］ 張麗倩，李孟航，高珊珊，等. 面向計算機輔助舌診關(guān)鍵問題的解決方案綜述[J]. 計算機科學(xué)，2021，48(7)：256-269.

Zhang Liqian，Li Menghang，Gao Shanshan，et al. Summary of computer-assisted tongue diagnosis solutions for key problems[J]. Computer Science，2021，48(7)：256-269(in Chinese).

［2］ 錢 鵬，燕海霞，李福鳳. 中醫(yī)舌診客觀化研究的臨床應(yīng)用進展[J]. 中華中醫(yī)藥雜志，2021，36(5)：2839-2842.

Qian Peng，Yan Haixia，Li Fufeng. Clinical application progress of the objectification research on traditional Chinese medicine tongue diagnosis[J]. China Journal of Traditional Chinese Medicine and Pharmacy，2021，36(5)：2839-2842(in Chinese).

［3］ 蔡軼珩，張琳琳，盛 楠，等. 基于光度立體法的中醫(yī)舌體三維表面重建[J]. 電子與信息學(xué)報，2015，37(11)：2564-2570.

Cai Yiheng，Zhang Linlin，Sheng Nan，et al. 3D reconstruction of tongue surface based on photometric stereo method[J]. Journal of Electronics & Information Technology，2015，37(11)：2564-2570(in Chinese).

［4］ 王元千，陳 雪，邵 娜，等. 多目視覺三維重建系統(tǒng)在中醫(yī)舌象診斷中的應(yīng)用研究[J]. 生物醫(yī)學(xué)工程與臨床，2020，24(6)：661-666.

Wang Yuanqian，Chen Xue，Shao Na，et al. Research on three-dimensional reconstruction of tongue based on multi-vision[J]. Biomedical Engineering and Clinical Medicine，2020，24(6)：661-666(in Chinese).

［5］ 郭 丹，王學(xué)民，王瑞云，等. 基于雙目立體視覺的舌重建[J]. 傳感技術(shù)學(xué)報，2016，29(9)：1317-1322.

Guo Dan，Wang Xuemin，Wang Ruiyun，et al. 3D reconstruction of tongue based on binocular stereo[J]. Chinese Journal of Sensors and Actuators，2016，29(9)：1317-1322(in Chinese).

［6］ 孫長庫，陳素芳，王 鵬，等. 成像光線追蹤的舌面彩色三維成像方法研究[J]. 儀器儀表學(xué)報，2016，37(6)：1398-1404.

Sun Changku，Chen Sufang，Wang Peng，et al. Research on color 3D imaging method for tongue surface based on imaging ray tracking[J]. Chinese Journal of Scientific Instrument，2016，37(6)：1398-1404(in Chinese).

［7］ 張宗華，于 瑾，高 楠，等. 高反光表面三維形貌測量技術(shù)[J]. 紅外與激光工程，2020，49(3)：104-116.

Zhang Zonghua，Yu Jin，Gao Nan，et al. Three-dimensional shape measurement techniques of shiny surfaes[J]. Infrared and Laser Engineering，2020，49(3)：104-116(in Chinese).

［8］ Babaie G，Abolbashari M，F(xiàn)arahi F. Dynamics range enhancement in digital fringe projection technique[J]. Precision Engineering，2015，39：243-251.

［9］ 趙世紅，薛海峰，方振衛(wèi)，等. 基于雙目面結(jié)構(gòu)光的高反光物體自適應(yīng)條紋方法[J]. 光學(xué)技術(shù)，2020，46(4)：433-437.

Zhao Shihong，Xue Haifeng，F(xiàn)ang Zhenwei，et al. Adaptive fringe method for high reflection object based on binocular coded structured light[J]. Optical Technique，2020，46(4)：433-437(in Chinese).

［10］ Chen Yanming，He Yuming，Hu Eryi. Phase deviation analysis and phase retrieval for partial intensity saturation in phase-shifting projected fringe profilometry[J]. Optics Communications，2008，281(11)：3087-3090.

［11］ Feng Shijie，Chen Qian，Zuo Chao，et al. Fast three-dimensional measurements for dynamic scenes with shiny surfaces[J]. Optics Communications，2017，382：18-27.

［12］ 毛翠麗，盧榮勝，董敬濤，等. 相移條紋投影三維形貌測量技術(shù)綜述[J]. 計量學(xué)報，2018，39(5)：628-640.

Mao Cuili，Lu Rongsheng，Dong jingtao，et al. Overview of the 3D profilometry of phase shifting fringe projection[J]. Acta Metrologica Sinica，2018，39(5)：628-640(in Chinese).

［13］ 王 鵬，張宇倩，孫長庫，等. 極線和級次雙約束的光柵投影測量方法[J]. 紅外與激光工程，2020，49(4)：144-150.

Wang Peng，Zhang Yuqian，Sun Changku，et al. Fringe projection measurement method based on polar line and fringe order double constraint[J]. Infrared and Laser Engineering，2020，49(4)：144-150(in Chinese).

［14］ Zhang Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2000，22(11)：1330-1334.

［15］ 周 舵，王 鵬，孫長庫，等. 投影儀和雙相機組成的三目立體視覺系統(tǒng)標(biāo)定方法[J]. 光學(xué)學(xué)報，2021，41(11)：120-130.

Zhou Duo，Wang Peng，Sun Changku，et al. A calibration method for trinocular stereovision system consisting of a projector and dual cameras[J]. Acta Optica Sinica，2021，41(11)：120-130(in Chinese).

［16］ 李中偉，史玉升，鐘凱，等. 結(jié)構(gòu)光測量技術(shù)中的投影儀標(biāo)定算法[J]. 光學(xué)學(xué)報，2009，29(11)：3061-3065.

Li Zhongwei，Shi Yusheng，Zhong Kai，et al. Projector calibration algorithm for the structured light measurement technique[J]. Acta Optica Sinica，2009，29(11)：3061-3065(in Chinese).

Obtaining Tongue Surface Point Clouds with Grating Projection Mixed Real/Pseudo Binocular Model

Wang Peng，Dong Meihan，Sun Changku，F(xiàn)u Luhua

(State Key Laboratory of Precision Measuring Technology and Instruments，Tianjin University，Tianjin 300072，China)

Traditional tongue diagnosis is limited by the knowledge and diagnostic skills of doctors and the lighting conditions，which result in poor objectivity and reproducibility. Therefore，the objectification of tongue diagnosis is important. The combination of grating projection and binocular vision is a common method to realize three-dimensional(3D)imaging. However，fluids create reflective areas that cause the failure of the unwrapped phase and the binocular system can measure public areas but cannot measure edges. To obtain the complete 3D data of tongue color，we proposed a 3D reconstruction method based on grating projection. In the calibration process，we regarded the projector as a reverse camera. The projector-left camera and projector-right camera constituted two pseudo binocular systems，which were used to supplement the overexposure area and the edge of the tongue. To avoid the repeated reconstruction of spatial points，the matching points of the left and right cameras were searched point by point using the hierarchical method and pole line mixed constraints from ideal raster images. For the points matching the left and right cameras successfully，the true binocular system was used to reconstruct the points. For the points only matching a single camera，the pseudo binocular system was used to reconstruct the points. Results show that the grating projection method can accurately and rapidly obtain the complete regional reflective step block and the real 3D tongue surface point clouds. Moreover，the coating on the tongue surface is obvious，and the blood vessels on the lower tongue surface are complete and clear. The method helps promote the objective of tongue diagnosis. Finally，the accuracy of the system is verified by experiments. The measurement deviation of the standard ceramic ball with a radius of 19.05 mm is＜±0.1 mm.

tongue diagnosis objectification；three-dimensional measurement；grating projection；stereo matching

TP391.41；R241

A

0493-2137(2022)10-1101-07

10.11784/tdxbz202110026

2021-10-27；

2021-12-13.

王 鵬（1982— ），男，博士，副教授.

王 鵬，wang_peng@tju.edu.cn.

精密測試技術(shù)及儀器國家重點實驗室2021年度探索性課題資助項目(Pilt2101).

2021 Exploratory Project Funding Project of the State Key Laboratory of Precision Measuring Technology and Instruments (No.Pilt2101).

(責(zé)任編輯：孫立華)