基于深度學習的中醫(yī)舌象圖像分割研究

★ 鐘振 楊朝陽（福建中醫(yī)藥大學中醫(yī)證研究基地 福州 350122）

中醫(yī)通過“望聞問切”四種診斷方式，獲取患者與疾病相關的體征信息，再基于辨證論治對疾病進行診斷。舌診是中醫(yī)臨床診斷的重要內容之一，對舌診進行客觀化研究是中醫(yī)現代化研究的重要組成部分。其中，舌象圖像分割技術在舌診客觀化中扮演了一個非常重要的角色。具體來說，這種技術將舌體從中醫(yī)舌象圖像中分離出來［1］，它可以確定舌體的邊緣，減少周圍環(huán)境的影響，更能為之后的舌診客觀化研究提供方便。

1 研究背景

常用的舌象圖像分割方法主要包括基于邊緣檢測的分割法［2-3］、基于顏色與模型的分割法［4-9］、基于深度學習的分割法［10-11］。

在基于邊緣檢測的分割法中，王愛民等［2］采用矢量Prewitt算子和多尺度組合正則化，提出一種新的邊緣檢測方法。該算法先對圖像進行正則化處理，然后結合多尺度的矢量Prewitt算子對圖像邊緣進行檢測，最后將檢測出的邊緣對舌象圖像進行分割。Zuo W等［3］結合邊緣檢測和主動輪廓模型進行分割，該方法首先檢測舌體的初始邊緣，然后過濾無用邊緣，最后結合主動輪廓模型分離舌體與背景。

在基于顏色與模型的分割法中，Li Z等［4］提出了基于HSI和RGB色度空間的閾值化中醫(yī)舌象圖像分割方法。該方法首先對HSI（色相，飽和度和強度）色度空間的色相分量進行轉換以確定初始舌體區(qū)域。然后對RGB色度空間的紅色分量進行圖像閾值處理，找到舌根與上唇之間的間隙區(qū)域，最后進行形態(tài)學運算確定最終舌體區(qū)域。Ning J［5］提出了一種基于區(qū)域融合的自動舌象圖像分割算法。該算法首先使用分水嶺算法將舌象圖像分割成許多小區(qū)域，然后將顏色相似的區(qū)域合并，最后使用Snake算法來細化區(qū)域合并結果并獲得最終的分割舌體。衛(wèi)保國等［6］首先使用半自動分割方法大致描繪出舌體區(qū)域的邊緣輪廓線，獲得初始邊緣點，再對初始的邊緣點進行擬合得到更平滑的舌體輪廓。孫煬等［7］提出分裂-合并算法進行中醫(yī)舌象圖像分割。該方法基于舌像的RGB顏色特征，根據顏色將舌像分裂成不同區(qū)域，合并相似的區(qū)域，最終合并的結果為分割結果。Li W等［8］提出了一種新的主動輪廓模型作為分割方法。通過HSV空間中的舌頭特征初始化Snake的初始輪廓。再用多分辨率小波（Gabor）生成圖像邊緣能量的主動輪廓模型并分割出最終的舌體。Pang B等［9］提出了一種基于雙橢圓形可變形模板和活動輪廓模型（即雙橢圓形可變形輪廓）的中醫(yī)舌象圖像分割方法，該方法先采用雙橢圓形可變形模板得到大體的形狀特征，然后使用活動輪廓模型約束形狀特征，得到分割的舌像。然而，舌體與嘴唇顏色接近，用上述方法很難將舌體與嘴唇分開。

在基于深度學習的分割法中，王麗冉［10］采用兩階段卷積神經網絡進行舌體分割，第一階段確定舌體定位，降低背景信息的干擾，第二階段通過Fs-net對定位的舌體進行精細分割。該方法能較好地分割舌象圖像。Zhou C［11］針對舌體定位和分割的提出了一種端到端的網絡模型。該網絡運用特征金字塔網絡提取多尺度舌體特征。然后利用多尺度舌體特征圖分離舌體與背景。

2 方法

本網絡基于PyTorch框架，實驗的具體流程為：收集舌象圖像、標注舌象標簽、進行數據增強、部署深度學習框架。并采用數據增強之后的數據集進行舌象圖像分割的訓練與測試。

2.1 數據收集與數據準備本文選用國際照明委員會（CIE）推薦使用的代表日光的標準光源D65進行照明。自然光下使用該標準光源,采集中醫(yī)高清舌診圖像120張，像素為480×640，照片格式為jpg。在標簽制作部分首先使用人工檢查的方式對舌體和背景進行判斷，再使用PhotoShop對舌體和背景進行分割生成標簽，最后交由中醫(yī)學教授進行二次評估篩選不合格的標簽，并進行重新分割，直到合格。此外，舌象圖像按數字排列順序進行命名，起點為000，舌像和標簽形式如圖1。

圖1 原始中醫(yī)舌象圖像與標簽

2.2 數據增強由于深度學習的模型在小數據集下容易出現過擬合，因此訓練一個成熟的模型需要大量的舌象圖像數據。本文使用數據增強技術獲取足夠的訓練數據。具體來說，先用python語言編寫數據增強程序，然后輸入原始圖像和標簽，并運用數據增強程序旋轉，平移，縮放，添加噪聲等方法，將原始的120張帶標簽的舌診圖片增加到12000張以進行網絡訓練。原始舌象圖像及增強之后的舌象圖像見圖2。

圖2 原始中醫(yī)舌象圖像與增強圖像

2.3 舌像分割網絡本文使用U-Net進行中醫(yī)舌象圖像分割。該網絡包含兩個部分：編碼器和解碼器（見圖3）。編碼主要用于壓縮和提取舌像特征，它包含10層卷積核為3×3卷積層。每層卷積層之后采用批歸一化加速網絡訓練，以及ReLU激活函數提高神經網絡對模型的表達能力。此外，在壓縮特征步驟，筆者在每兩個卷積層后使用池化核為2×2最大池化層，該池化層只保留每個2×2網格內像素特征的最大值，通過最大池化層，特征被壓縮至原來的四分之一，以便后續(xù)的特征提取。

解碼器通過基于編碼器提取的特征重構輸出。其中，卷積核為3×3反卷積層用于重構需要預測的特征。此外，為了加強淺表特征的表達能力，筆者采用跳躍連接操作，該操作直接將對應的編碼特征層和解碼層特征一一拼接（如圖3），該操作顯著加強網絡的分割能力。網絡框架如下。

圖3 U-Net網絡結構圖

2.4 基于PyTorch構建模型結合U-Net和數據增強技術，訓練的中醫(yī)舌像模型能在中醫(yī)舌像分割中有良好的表現。為了構建精確模型，筆者首先參照論文，用PyTorch框架構建U-Net［12］模型。然后使用經過人工分割的舌像圖片訓練模型的參數。具體的訓練流程為：初始化網絡權重，加載實驗數據，提取舌象圖像特征，預測舌象圖像標簽，判斷預測的標簽是否與人工標簽相符合，計算損失，反向傳遞損失并更新網絡參數，迭代前面的步驟直到達到目標迭代次數，完成訓練，生成中醫(yī)舌象圖像分割模型，在測試集上進行測試，評估模型的性能。

在訓練過程中，訓練迭代次數為1 000次，學習率為10-3，訓練批量設置為8，網絡優(yōu)化器設置為Adam，損失函數為交叉熵損失函數。該網絡的實驗環(huán)境：CPU處理器為i7八代處理器，GPU處理器為NVIDIA 1080ti，內存為16G，硬盤500G。實驗平臺為Window 10。

3 結果

3.1 模型效果評估為了評估白細胞分割算法的性能，本次實驗采用精確率（Precision）、Dice系數（Dice coefficient）、mIoU（MeanIntersection over Union）、以及錯分類誤差（Misclassification Error, ME）進行評價。這些參數通過網絡預測的結果與人工分割的標簽進行對比以判別結果。例如，同一張舌象圖像，預測的舌體與人工標簽相同則為真陽性（TP），若不同則為加假陰性（FN），若人工標注的舌體像素沒有被預測則稱為真陰性（FP），若預測的和人工標注的都為背景則為真陰性（TN）。計算公式為：

3.2 實驗結果為了驗證本文算法的有效性，筆者把本文的算法、基于深度學習及數據增強的FCN［13］算法和未進行數據增強的U-Net算法在包含30張舌像數據集上進行測試。筆者采用了4個評估指標：精確率（Precision）、Dice系數（Dice coefficient）、mIoU（MeanIntersection over Union）、以及錯分類誤差（Misclassification Error, ME）來評價分割效果。其中精確率、Dice、mIoU越高效果越好，錯分類誤差越低效果越好。表1是幾個算法的測度平均值，筆者把最好的結果進行加粗標記。從表1可以看出，本文算法的精確率為0.9545、Dice系數為0.967 3、mIoU系數為0.956 3、錯分類誤差為0.017 8。從實驗結果分析，相較其他算法，本文算法取得了最優(yōu)的結果。

表1 舌像分割結果

從可視化結果分析（見圖4），在宏觀上，基于深度學習的算法均可以精準定位舌體方位，且對舌體周圍環(huán)境不敏感，對中醫(yī)舌象圖像表現出較強的適應性。但在微觀上，本文算法對于舌體邊緣的分割好于FCN及未進行數據增強的U-Net。

圖4 中醫(yī)舌象圖像分割測試結果可視化圖

4 討論

舌診是中醫(yī)辨證論治的一個重要核心之一，它在中醫(yī)臨床診斷中起著重要的作用。通過舌診中醫(yī)醫(yī)生可以了解人體臟腑的虛實，辨別病邪的深淺，病性的寒熱，判斷病勢的輕重變化。然而，傳統(tǒng)的中醫(yī)舌象辨識依賴醫(yī)生肉眼的觀察與經驗［14］，容易被個人的主觀意志、外部環(huán)境（比如光線、溫度等）影響［15］。中醫(yī)舌診客觀化旨在建立客觀統(tǒng)一的辨識標準。中醫(yī)舌象圖像分割是舌診客觀化的基礎之一，主要用于分割舌體和背景，減少周圍環(huán)境的影響，為后續(xù)的舌象圖像處理打下基礎。傳統(tǒng)的算法在它們的數據集上展現了不錯的性能，但它們依賴一些特定的光照條件和環(huán)境，且容易混淆舌體和嘴唇，這將為后續(xù)的舌診客觀化帶來困難。本研究模型首先通過編碼器進行舌象圖像特征提取，再通過解碼器進行舌象圖像分割預測，以端到端的方式精確分割舌象圖像的舌體和背景，且結合數據增強技術解決了中醫(yī)舌像數據量少的問題，具有較強的泛化能力，能較好地完成舌診客觀化下的舌象圖像分割。

從實驗結果分析，本模型可以較好地分割從中醫(yī)舌象圖像中分割出舌體和背景，且不受舌象圖像位置的影響，當舌體位置或舌體方向不一致時，該模型仍能進行較好的分割。同其他深度學習分割算法相比，本算法對舌體邊緣的分割優(yōu)于FCN。這是由于FCN結構簡單，細節(jié)分割較差；此外，本算法顯著優(yōu)于未進行數據增強的U-Net，這是因為原始數據的訓練數據較少。因此未進行數據增強的U-Net很容易出現過擬合，導致分割結果不佳。

此外，從可視化結果（圖4）可以看出，本模型分割的舌體邊緣常附帶背景像素或缺失少量的舌體像素，因此本模型對舌體邊緣分割的精確度還需加強。雖然本研究已經通過跳躍連接融合淺層特征和深層特征，但融合的淺層特征不夠充足，這也是導致舌象圖像的邊緣精度不夠高的原因。盡管本模型對舌體邊緣的分割稍顯不足，但0.954 5的精確率，Dice系數為0.967 3、mIoU系數為0.956 3、0.017 8的錯分類率，以及對周圍環(huán)境較強的適應性說明：本模型可以較好的完成中醫(yī)舌象圖像分割。

雖然基于深度學習和數據增強技術舌象圖像分割具有一定優(yōu)點，但仍存在一些問題。（1）標簽問題，深度學習的標簽來源于人工分割，但是人為的分割會不可避免的帶來一些誤差，因此需要設計一種程序客觀地評估誤差的范圍是否合理。（2）應用問題，舌象圖像分割在舌診客觀化中扮演了一個十分重要的角色，但它主要起輔助作用。因此需要設計一種新的網絡，結合分割網絡自動進行舌象診斷。例如，輸入圖片，系統(tǒng)自動診斷舌象圖像的舌質與舌苔。（3）邊緣精度問題，雖然基于深度學習的舌象圖像分割取得了較好的結果，但網絡淺層特征提取欠缺，邊緣分割精度較差。因此需要設計一種更有效的淺層特征提取層結合U-Net，減少舌體邊緣分割的誤差。此外，深度網絡模型對邊緣的分割精度較差，如何設計一種更有效的淺層特征提取模型，如何結合分割網絡對舌象圖像進行自動診斷，使之能實地的應用，仍值得進一步研究。