基于全卷積神經(jīng)網(wǎng)絡(luò)的手術(shù)器械圖像語義分割算法

鄭騰輝，陶青川

（四川大學(xué)電子信息學(xué)院，成都610065）

0 引言

在醫(yī)學(xué)領(lǐng)域，手術(shù)器械是重要的輔助工具。隨著時代的進步，手術(shù)器械種類不斷增加，每種不同類型的手術(shù)器械之間存在著細節(jié)上較為明顯的差距。通常不同手術(shù)的手術(shù)盒里需要的手術(shù)器械種類不同，而每個手術(shù)盒里手術(shù)器械是否準(zhǔn)備完全，目前是通過人眼觀察比對去實現(xiàn)的，但該方式比較耗時，無法及時提供結(jié)果。本文為實現(xiàn)手術(shù)盒里手術(shù)器械的檢測，提出了手術(shù)器械圖像語義分割，以提取目標(biāo)位置，為之后手術(shù)器械的檢測提供技術(shù)支持。

隨著機器視覺和人工智能技術(shù)的發(fā)展，圖像語義分割水平獲得了快速提高[1]，但很少有人在手術(shù)器械上實現(xiàn)圖像語義分割。由于手術(shù)器械種類繁多，如圖1所示，手術(shù)器械和手術(shù)盒的圖像分割有著重要的研究意義。圖1中，前背景顏色近似，加上手術(shù)器械表面受光線影響，色澤亮度不均，因此無法直接使用傳統(tǒng)算法有效地分割出手術(shù)器械。為此，本文針對手術(shù)器械和手術(shù)盒的分割難點，結(jié)合FCN網(wǎng)絡(luò)結(jié)構(gòu)，提出一種基于全卷積神經(jīng)網(wǎng)絡(luò)的圖像語義分割算法。

1 實驗材料和網(wǎng)絡(luò)模型

1. 1 手術(shù)器械圖像獲取

固定相機拍攝試驗圖像，手術(shù)器械為一整套器械，所采集圖像手術(shù)器械全部置于手術(shù)盒中，每張圖像中手術(shù)器械若干，共300張，其中樣本集287張，測試集13張。為了便于研究，分辨率統(tǒng)一調(diào)整為512×512像素。圖像試驗在Anaconda3的Spyder軟件平臺上進行。部分圖像見圖1。

圖1 手術(shù)盒和手術(shù)器械

1. 2 網(wǎng)絡(luò)模型

（1）卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種多層次非全連接的神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)模擬人腦結(jié)構(gòu)，通過有監(jiān)督的深度學(xué)習(xí)，從原始圖像中直接識別視覺模式[2]。CNN模型一般有卷積層、池化層、全連接層、Softmax分類層等4個層次堆疊組成[3]。與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)不同，卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建在多個獨立分布的神經(jīng)元組成的多個二維平面上，其中相鄰兩層的神經(jīng)元以非全連接方式進行卷積計算，而全連接網(wǎng)絡(luò)則具有較多的網(wǎng)絡(luò)連接數(shù)和權(quán)值參數(shù)，因此卷積神經(jīng)網(wǎng)絡(luò)有效地降低了網(wǎng)絡(luò)模型的學(xué)習(xí)復(fù)雜度[4]。

①卷積層

卷積層通過若干個卷積核對輸入層或上一層輸出進行卷積操作，并通過激勵函數(shù)將卷積結(jié)果組合成特征圖像[5]。卷積運算指卷積核和輸入之間的線性計算。例如第l層卷積層的第j個特征圖的計算公式為：

式（1）中，xij表示第j個神經(jīng)元通過卷積后的輸出，f表示激活函數(shù)。常用的激活函數(shù)有：relu（x）、tanh（x）、Sigmoid（x）等。表示卷積核，通常為 3×3或 5×5大小。為偏移量。

②池化層

池化層主要作用為對上一層卷積層的特征圖進行非線性下采樣操作，改善結(jié)果，有效地降低卷積特征圖維度，并大幅減少特征參數(shù)數(shù)量，減輕負擔(dān)，從而加快計算速度，并防止過擬合問題出現(xiàn)[6]。常用池化方法有最大池化、平均池化、重疊池化、空金字塔池化。例如步長和尺度都為2的最大池化函數(shù)為：

式（2）中，fpool特征圖經(jīng)過最大池化后的輸出結(jié)果，x為各點特征值。

③全連接層

全連接層一般會在圖像經(jīng)過上述兩層之后出現(xiàn)，將上一層所有神經(jīng)元和輸出層神經(jīng)元連接起來，形成一個類似淺層神經(jīng)網(wǎng)絡(luò)的多次感知機，起到將學(xué)到的“分布式特征表示”映射到樣本標(biāo)記空間的作用[7]。計算公式為：

式（3）中，w表示一個特征矩陣，b表示特征向量，x表示上一層的輸出，y表示本層輸出。

④輸出層

卷積神經(jīng)網(wǎng)絡(luò)的輸出層通常為分類器。常用分類層有Simoid分類層、Softmax分類層[4]。以Softmax分類層為例，Softmax函數(shù)可以分類成多個類別，例如可以對數(shù)字0-9進行分類，分類成10類。本文只需分類成兩類，但為損失函數(shù)計算方便，更好的優(yōu)化模型，本文分為256類。

（2）VGG19

VGG是一個經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)，有著優(yōu)秀的分類性能[8]。VGG網(wǎng)絡(luò)是一個極其深的網(wǎng)絡(luò)架構(gòu)，一般有16-19層，本文使用的是VGG19網(wǎng)絡(luò)架構(gòu)。如圖2，VGG19大體由5大層卷積層和3層全連接層組成，圖中，conv1和conv2分別包含2層卷積層，conv3、conv4和conv5分別包含4層卷積層，加上3層全連接，一共19層。在VGG19里，若輸入1幅512×512×3像素級的圖像，每個卷積層采用3×3的卷積核，由1個或4個卷積層堆疊組成卷積序列，并使用邊界填充技術(shù)以達到更大感受野的效果前提下保持前后維度不變，在使用2×2池化窗口，步長為2的池化層，減少經(jīng)過卷積層之后的特征參數(shù)。最后接上3個全連接層，將二維數(shù)據(jù)轉(zhuǎn)化成一維數(shù)據(jù)，通道數(shù)分別為4096、4096、1000，輸出層由Softmax函數(shù)對1000個標(biāo)簽進行分類。整個網(wǎng)絡(luò)顯得非常的簡潔，多個3×3的卷積核的組合效果可以優(yōu)于單個大卷積核。

圖2 VGG19網(wǎng)絡(luò)模型

在VGG19網(wǎng)絡(luò)的隱含層中都存在激活函數(shù)，使神經(jīng)網(wǎng)絡(luò)有了非線性映射能力[8]。通常激活函數(shù)包括Sigmoid函數(shù)、Tanh函數(shù)、ReLU函數(shù)[9]。ReLU函數(shù)是不飽和函數(shù)，具有一定的稀疏性，但對比生物大腦的95%稀疏性，ReLU的稀疏性還是具有一定差距的。但是ReLU的稀疏性是可以訓(xùn)練調(diào)節(jié)的，網(wǎng)絡(luò)是可以向著誤差減少方向優(yōu)化的，ReLU函數(shù)可以加快網(wǎng)絡(luò)優(yōu)化速度。因而從學(xué)習(xí)速度方面出發(fā)，ReLU函數(shù)更有效率。公式如下：

（3）FCN網(wǎng)絡(luò)模型

FCN網(wǎng)絡(luò)模型以VGG網(wǎng)絡(luò)為基礎(chǔ)，前5層是VGG19的卷積層和池化層，通常分別為pool1、pool2、pool3、pool4、conv5_3的特征圖，特征圖的尺度分別降低為原來的 1/2、1/4、1/8、1/16、1/32[10]。高層特征以語義組合為主，底層特征以局部細節(jié)為主[11]。第6-8層是轉(zhuǎn)置卷積層。卷積層依次把手術(shù)器械圖像和卷積核進行卷積操作，得到特征圖。池化層對卷積層得到的特征圖進行降維，減少特征參數(shù)，縮短訓(xùn)練時間。FCN網(wǎng)絡(luò)使用第5層的特征圖，向上采樣結(jié)合第3、4層的淺層特征，獲取更多細節(jié)信息。

（4）本文網(wǎng)絡(luò)模型

FCN網(wǎng)絡(luò)可輸入任意大小的手術(shù)器械圖像，以端對端的學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，完成訓(xùn)練目的。但對于手術(shù)盒中的手術(shù)器械圖像的語義分割仍存在一些缺陷。FCN網(wǎng)絡(luò)使用VGG19的最后一層卷積層的特征圖作為后三層的輸入，但存在細節(jié)丟失過多的缺點，而手術(shù)器械不同類別之間細節(jié)信息至關(guān)重要。為了提高手術(shù)器械圖像語義分割算法的自動化性能，提出基于全卷積的神經(jīng)網(wǎng)絡(luò)，以實現(xiàn)對手術(shù)器械進行相對精準(zhǔn)的語義分割。

圖3 本文網(wǎng)絡(luò)模型

本文網(wǎng)絡(luò)一共分為7層，如圖3所示。本文以512×512×3尺寸的特征圖作為輸入，經(jīng)過VGG19的前4大層，特征圖尺寸一致縮小，寬度擴大，一直到pool4層的32×32×512尺寸的特征圖。為了計算損失函數(shù)，手術(shù)器械輸入標(biāo)簽圖和分割結(jié)果的輸出圖須尺度一致，所以后面3層反卷積層反卷積之后進行上采樣操作再依次和pool3、pool2層的特征圖進行線性計算，最后使用argmax函數(shù)得到預(yù)測圖。本網(wǎng)絡(luò)在VGG19的基礎(chǔ)上減去了VGG19的conv5層和后面3層全連接層，再不影響最終結(jié)果的前提下降低了特征參數(shù)數(shù)量，優(yōu)化了網(wǎng)絡(luò)運行時間，減少網(wǎng)絡(luò)模型的學(xué)習(xí)復(fù)雜度。

損失函數(shù)為預(yù)測圖和輸入標(biāo)簽之間的交叉熵。如圖4，損失從一開始大幅度下降到最后趨向于0，數(shù)據(jù)顯示，最后損失平均值為0.08。

圖4 損失

（5）優(yōu)化器的選擇

常用優(yōu)化器有梯度下降算法的GradientDescent優(yōu)化器、動量梯度下降算法的Momentum優(yōu)化器和實現(xiàn)Adam優(yōu)化器。本文使用的是Adam優(yōu)化器，Adam具有高效，易實現(xiàn)，內(nèi)存要求低，參數(shù)更新的步長合理等優(yōu)勢；再則，Adam能實現(xiàn)步長退火過程，適用于梯度稀疏或梯度存在很大噪聲的問題[12]。Adam的權(quán)值參數(shù)更新步驟如下：

（1）t時間的梯度 gt計算公式如式（4）：

式中，wt-1表示t-1時間的權(quán)值。

（2）m0初始化為0時，計算梯度指數(shù)的移動平均數(shù) mt如式（5）：

式中，β1表示指數(shù)衰減率。

（3）v0初始化為0時，計算梯度平方的指數(shù)移動平均數(shù) vt如式（6）：

式中，β2表示指數(shù)衰減率。

（4）訓(xùn)練初期，m0和v0初始化都為0，會導(dǎo)致mt和vt都偏向 0，糾正公式如式（7）和式（8）：

（5）新權(quán)值參數(shù)Wt如式（9）：

式中，α表示學(xué)習(xí)率，ε是為了防止除數(shù)為0的極小數(shù)。

2 實驗結(jié)果

2. 1 運行環(huán)境

操作系統(tǒng)：Windows 10 x64；

Python版本：Anaconda3 Python 3.6+TensorFlow 1.12.0；

GPU型號：NVIDIA GeForce GTX 1080Ti 11G顯存；

處理器型號：Intel i5-6500 3.20GHz主頻。

2. 2 實驗數(shù)據(jù)

為了對比本文提出的模型和其他模型，我們使用Holistically-Nested Edge Detection（HED）[13]網(wǎng)絡(luò)模型，語義分割網(wǎng)絡(luò)DeepLab和傳統(tǒng)FCN網(wǎng)絡(luò)進行實驗對比，實驗樣本集和測試集是制作好的300張圖片。

使用測試集里的圖片進行測試，如表1和圖4所示，表1為網(wǎng)絡(luò)運行時長，圖4為3張圖片不同網(wǎng)絡(luò)的測試圖。對比表1、圖4，在預(yù)測圖整體效果方面，本文網(wǎng)絡(luò)整體效果較佳。對比HED、DeepLab、FCN網(wǎng)絡(luò)，其中，HED網(wǎng)絡(luò)在測試結(jié)果和運行時長上都比FCN網(wǎng)絡(luò)和本文網(wǎng)絡(luò)差。而對于DeepLab網(wǎng)絡(luò)，該網(wǎng)絡(luò)在本次實驗里抗光性較弱，相對于本文網(wǎng)絡(luò)，該網(wǎng)絡(luò)效果較差，但時長方面和本文網(wǎng)絡(luò)差不多。對比FCN網(wǎng)絡(luò)，本文網(wǎng)絡(luò)運行時長減少，網(wǎng)絡(luò)效果和FCN網(wǎng)絡(luò)無明顯區(qū)別，網(wǎng)絡(luò)特征參數(shù)數(shù)量減少，網(wǎng)絡(luò)模型的學(xué)習(xí)復(fù)雜度減少。但仔細觀察，不難發(fā)現(xiàn)在光照影響下，手術(shù)器械反光嚴(yán)重的區(qū)域，本文網(wǎng)絡(luò)容易出現(xiàn)誤檢測，如圖4中手術(shù)器械出現(xiàn)的缺口。

表1 網(wǎng)絡(luò)運行時長

圖4 預(yù)測圖

3 結(jié)語

本研究在FCN全卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，減少VGG19層數(shù)，從實驗結(jié)果得到以下結(jié)論：

（1）手術(shù)器械特征提取的實驗結(jié)果表明，通過基于全卷積的神經(jīng)網(wǎng)絡(luò)能有效提取出手術(shù)器械多層特征圖像，并通過Adam優(yōu)化器優(yōu)化參數(shù)，較好地實現(xiàn)手術(shù)器械圖像語義分割。

（2）手術(shù)器械特征提取的實驗結(jié)果表明，在手術(shù)器械圖像語義分割方面，本文網(wǎng)絡(luò)對比DeepLab網(wǎng)絡(luò)，效果較佳，對比FCN神經(jīng)網(wǎng)絡(luò)，特征參數(shù)數(shù)量降低，網(wǎng)絡(luò)運行時長減少，預(yù)測圖效果不變。

（3）手術(shù)器械特征提取的實驗結(jié)果表明，本文網(wǎng)絡(luò)在抗光照能力還有待提高。