結合Sobel算子和Mask R-CNN的肺結節(jié)分割

閆歡蘭，陸慧娟，葉敏超，嚴 珂，金 群，徐一格

1(中國計量大學 信息工程學院，杭州 310018)2(早稻田大學 人間科學學術院，所澤 359-1192，日本)

1 引 言

世界上每年有超過1400萬新的癌癥，其中肺癌和乳腺癌更常見.每年有820萬人死于癌癥[1]，最常見的死因是肺癌.通過醫(yī)學CT圖像[2]是一種應用廣泛的疾病診斷方式，該模態(tài)圖像上的CT值為醫(yī)生提供了大量有用的數(shù)據信息.然而，不斷增加的圖像數(shù)據也給人工閱片帶來了巨大挑戰(zhàn).不同醫(yī)生的主觀意識偏差或者過度疲勞等因素會導致效率低下甚至誤判.因此，用計算機輔助的方法對肺癌進行診斷是非常必要的.

肺結節(jié)分割在計算機輔助診斷肺癌中起著非常重要的作用，醫(yī)生可以根據分割出來的病灶的形狀來判斷其類別，例如肺結節(jié)可分為炎性結節(jié)，良性結節(jié)和惡性結節(jié).但肺結節(jié)分割任務仍面臨著巨大挑戰(zhàn)：首先，肺結節(jié)的大小，形狀和位置有很大的變化；此外，肺結節(jié)的邊界相當模糊，導致深度網絡模型對特征的提取不夠充分，因此需要結節(jié)邊緣銳化處理.

Mask R-CNN在COCO數(shù)據集上的檢測效果最好，并且它是一個非常靈活的可移植的網絡模型，其使用雙線性插值下采樣來計算候選框的四個坐標值，使其最大化接近目標的真實區(qū)域.小目標對位移非常敏感，這一改進非常有利于小目標的分割，因此本文提出了基于Mask R-CNN的算法來對肺結節(jié)進行分割.主要工作分為三個階段.第一階段，結合Mask R-CNN網絡結構模型對數(shù)據集讀取的特點，本文采用密集標簽方式，將目標結節(jié)邊緣所有的像素坐標提取出來作為標簽數(shù)據.第二階段，采用Sobel算子對高放射密度的區(qū)域進行銳化處理，然后再使用閾值分割的方法將噪聲過濾掉，使模型獲取目標有用的信息.第三階段，訓練和測試模型，得出結論.

傳統(tǒng)的分割方法對背景復雜的圖像分割效果較差，參數(shù)設置非常依賴相人工經驗，但方法簡單有效，本文將傳統(tǒng)的圖像處理方法做特征增強處理，將其與深度學習的方法相結合，實現(xiàn)端對端的自動分割肺結節(jié)的效果，并且取得了較高的精度，能為醫(yī)生提供有效的輔助診斷.

2 相關工作

隨著計算機技術的發(fā)展和醫(yī)學數(shù)據的不斷增加，一直以來有很多學者致力于醫(yī)學圖像處理.焦慶磊[3]等人在俊卷積神經網絡分類任務中融合位置和尺寸信息，采用特征金字塔上采樣的結構來保留圖片信息，從而在胸部X光數(shù)據集JSRT上實現(xiàn)了較高的檢測精度和較低的假陽性率.由于胸膜粘附結點與肺實質周圍的灰度值類似，出現(xiàn)過度分割的問題，孫紅[4]等人提出了一種基于Graham掃描法和Harris角點檢測算法對263張CT樣本上的胸膜肺結節(jié)進行有效的分割.Choi W J[5]等人提出了一種基于三維形狀的特征描述符來檢測CT掃描圖中的肺結節(jié).Xie Hongtao[6]等人在2D CNN網絡上添加兩個RPN(Region Proposal Network)和反卷積層來檢測肺結節(jié).

目標的邊緣中包含著豐富的信息[7]，因此邊緣提取對于模型進行目標分割來非常有必要.Sa Jiming[8]等人使用Sobel算子提取邊緣的灰度信息來改進Otsu分割算法，Liu Yu[9]等人使用Sobel算子計算梯度緩沖從而識別圖像的幾何特征.與Prewitt和Robert算法相比，Sobel的邊緣檢測效率更好[10]，因此，本文將Sobel算子對胸部CT圖像進行卷積操作，從而實現(xiàn)邊緣銳化的效果.

2014年Ross Girshick[11]等人提出R-CNN，該算法不僅大大提高了訓練的速度，在PASCAL VOC 2010數(shù)據集上，還實現(xiàn)了mAP從35.1% 到53.7%的飛躍式提高.2016年Shaoqing Ren[12]等人提出Faster R-CNN算法，該算法提出RPN，為模型的訓練進一步縮短了時間，并實現(xiàn)了端對端的訓練.Kaiming He[13]等人提出Mask R-CNN，該網絡繼承了Faster R-CNN的訓練時間短準確率高性能，其更好地保留了目標的位置信息.該網絡還添加一個分支進行目標分割，避免類與類之間的競爭關系，將多類分割簡化為二類分割問題.因此我們將該網絡移植到肺結節(jié)分割任務作為研究的基礎.

3 結合Sobel和Mask R-CNN 的肺結節(jié)分割

本文在傳統(tǒng)的Mask R-CNN上加一層Sobel卷積層做邊緣銳化，然后用閾值分割來處理Sobel卷積時制造的噪聲，其網絡總體框架如圖 1所示.

圖1 結合邊緣銳化Mask R-CNN的肺結節(jié)分割網絡結構Fig.1 Lung cancer segmentation network structure

經Sobel卷積和閾值分割這兩步處理后，目標區(qū)域強化后的圖像輸入到支撐網絡中，ResNet-50結合FPN網絡做下采樣、池化、下采樣后生成高維特征圖，經滑動窗口卷積后再經RPN網絡中3×3的主干卷積神經網絡過濾重疊特征，然后經過兩個1×1的卷積神經網絡生成錨框坐標和前景背景得分，接著進行RoI Align Pooling，輸出的特征圖分別進入分類和分割兩個分支，在檢測任務分支中分類任務完成后，再進行分割.

在訓練時，Sobel卷積層并不參與訓練，因為其參數(shù)變化將改變銳化效果，產生不可控結果.考慮到肺結節(jié)較小，并且形狀多變，首先使用深層網絡ResNet-101-FPN作為Backbone進行訓練效果，同時與ResNet-50-FPN進行對比.測試結果表明ResNet-50-FPN在訓練時間上耗時少，如表 1所示，平均精度也比ResNet-101-FPN略高.

表1 兩個Backbone訓練速度
Table 1 Speed of two Backbones

Backbone時間(/epoch)ResNet-101-FPN2398sResNet-50-FPN1252s

Backbone和RPN部分進行梯度下降的反向傳播訓練.RPN訓練生成錨框時，由于在512×512像素規(guī)模的癌癥CT影像中，癌癥病灶部分只有幾百個甚至幾十個像素點，所以我們調整了錨框的大小，以適應目標大小特征.設定以每個像素為中心生成3個長寬比為0.5，1，2的錨框，尺寸由原始的32，64，128，256，512像素更改為8，16，32像素.本文分別在這兩個尺寸隨機選取十個錨框展示，如圖2(a)是原始尺度的錨框，由于錨框太大已超出結節(jié)視野區(qū)外.圖2(b)是修改后的錨框，調節(jié)后的錨框的大小基本適應肺結節(jié)的大小，分布也相對合理.

圖2 原始的錨框尺度Fig.2 Original scale of anchor box

每幅圖形生成256個錨框，篩選錨框時，原文基于IoU為0.5的閾值來篩選，但由于大部分的錨框都是背景信息，我們采取如表2更加嚴格的規(guī)則.選取置信度高的框作為訓練樣本.其余的框不參與RPN訓練.設置NMS=0.7，即當IoU>0.7時采取非極大抑制操作，以保證有足夠有質量的錨框作為訓練樣本.

表2 錨框的選擇規(guī)則
Table 2 Selection rules of anchor box

篩選類別規(guī)則正類樣本IoU>0.7負類樣本IoU<0.3

3.1 索貝爾(Sobel)卷積層

Sobel算子是一種常用的圖片銳化處理的算法，它是一階差分算子[14]，結合了高斯平滑和微分求導.其通過計算鄰近像素點灰度值之間的差異，來檢測出邊緣部分.本文將Sobel算子引入該Mask R-CNN模型，作為圖片輸入的第一層卷積層，來對病灶邊緣部分的像素點進行增強.該算法首先進行鄰域加權平均，然后再進行一階微分，檢測出邊緣.

圖3 索貝爾算子Fig.3 Sobel operator

該算法使用兩個矩陣來對原圖進行卷積運算以計算出水平和垂直兩個方向的灰度差分(偏導)的估計值.如圖 3所示，圖3(a)表示水平梯度方向，檢測垂直邊緣，圖3(b)表示垂直梯度方向，檢測水平邊緣.

然后求出圖片灰度值的梯度值G，求法如公式(1).

(1)

其中Gx和Gy分別是經Sobel算子后水平方向上的梯度和垂直方向的梯度，計算公式分別為公式(2)、公式(3).

Gx=[f(x-1,y-1)+2*f(x-1,y)+f(x-1,y+1)]-

[f(x+1,y-1)+2*f(x+1,y)+f(x+1,y+1)]

(2)

Gy=[f(x-1,y-1)+2*f(x,y-1)+f(x+1,y-1)]- [f(x-1,y+1)+2*f(x,y+1)+f(x+1,y+1)]

(3)

用Sobel算子以步長為1在原圖全圖上做卷積操作，進行邊緣檢測，高通濾波被增強，如圖4所示，Sobel卷積核處理后目標與背景對比更加鮮明了，癌癥部位被加強的同時，由于結節(jié)部位與周邊環(huán)境放射密度相近，結節(jié)周圍環(huán)境也同樣被加強，造成噪聲干擾，接下來用閾值分割來處理，詳見3.2.

3.2 閾值分割

閾值分割法是圖像分割中比較經典的方法，它利用圖像中要提取的目標與背景在灰度上的差異，通過設置閾值把像素分級成若干類，從而實現(xiàn)目標與背景的分離[15].通過判斷圖像中每一個像素點的特征屬性是否滿足閾值的要求，來確定圖像中的該像素點是屬于目標區(qū)域還是背景區(qū)域，從而加強目標區(qū)域，過濾噪聲.該算法用數(shù)學表達式來表示，則可設原始圖像f(x，y)，T為閾值，分割圖像時則滿足公式(4).

(4)

本文將閾值分割算法用于模型中，為了數(shù)據增強，使后期的神經網絡學習更有利于癌癥部分的信息.最終圖片中的高通波被增強，并且噪聲有所減弱，達到了目標與背景對比度增大的目的.如算法1，其中img是經Sobel卷積后的灰度矩陣，maxval=255是灰度值上限，highwave是高通濾波，lowwave是低通濾波，這兩者做濾波后相減，確定最終圖像的灰度值，達到最終的降噪效果.

圖4 癌癥結節(jié)放大圖Fig.4 Partial enlargement of lung nodule

如圖 4所示，從肺結節(jié)放大的部分我們可以看出，閾值分割處理后的結果相比于Sobel卷積操作后的特征圖而言，有著一定的去噪效果，但又未破壞Sobel加強后結節(jié)的邊緣信息.

算法1.Threshold Segmentation Strategy

1.procedureThreshold(img，highwave，lowwave)

2. img1=img

3. img2=img

4.ifimg1>lowwavethen

5. img1=maxval

6.else

7. img1=0

8.endif

9.ifimg2>highwavethen

10. img2=maxval

11.else

12. img2=0

13.endif

14. img ← img-(img1-img2)

15.returnimg

16.endprocedure

4 實驗結果及分析

本實驗數(shù)據集 LIDC-IDRI是由美國國家癌癥研究所發(fā)起收集的，由胸部醫(yī)學圖像文件(如CT、X光片)和對應的診斷結果病變標注組成.在結節(jié)所有的像素的坐標標記中，選取所有邊緣的像素坐標進行標記，由于不含肺結節(jié)的切片不利于模型訓練，本文對1010個病人中6889張帶結節(jié)(包含了大于等于3毫米和小于3毫米的結節(jié))的CT切片進行了可視化和標簽提取處理，并按照4：1的比例劃分訓練集和測試集，訓練集與測試相互獨立.

① IoU=0.5的mAP值：當預測圖片IoU大于等于0.5時，S為1；小于0.5時，S為0.

② IoU=0.7的mAP值：當預測圖片IoU大于等于0.7時，S為1；小于0.7時，S為0.

表3 實驗結果
Table 3 Experimental results

算 法mAP@0.5mAP@0.7漏檢率/張MaskR-CNN0.5570.3640.17改進MaskR-CNN0.7060.4180.086Sobel+改進MaskR-CNN0.7220.4610.067

在IoU為0.5的情況下，本文中的網絡模型測試結果比傳統(tǒng)的Mask R-CNN提升了1.6%，在IoU為0.7的情況下，提高了4.3%，相對傳統(tǒng)的Mask R-CNN網絡模型而言，該模型表現(xiàn)較好.

本文中ROC曲線如圖5所示，橫坐標是FPR(false positive rate)，縱坐標是TPR(true positive rate).本文所采用的方法在每張圖上的假陽性比Devinder Kumar等人的深度特征提取算法低16.4%，并在此基礎上的敏感性比馮寶等人的小波能量和漢森形狀指數(shù)算法高出1.5%，比Devinder Kumar等人高出8.15%，總的來說，融合邊緣銳化的深度學習算法在較低的假陽性率上獲得了較高的敏感度，如表4中的評價指標所示.

圖5 結合Sobel Mask R-CNN 的ROC曲線Fig.5 ROC curve of Mask R-CNN combined with Sobel

表4 評價標準
Table 4 Metrics of results

算 法 假陽性率敏感度DevinderKumar[16]0.390.8335馮寶[17]0.160.90本文方法0.2260.915

實驗圖如圖6所示，大結節(jié)的分割情況如圖6(a)和圖6(b)所示，圖6(c)和圖6(d)是對小結節(jié)的分割情況.本模型由于用了Sobel卷積進行增強處理，增強了網絡對細節(jié)的感知，所以對較小的結節(jié)有著較好的分割效果，雖然細節(jié)上有個別線條分割不夠準確，但是仍為醫(yī)生診斷肺癌提供了大量信息，包括結節(jié)形狀和位置等信息，而且分割出了不易發(fā)現(xiàn)的10×10像素級別的超細小結節(jié)，幫助患者抓住了最佳治療時機.

圖6 結節(jié)分割實例Fig.6 Segmentation instances of nodule

5 總結與展望

傳統(tǒng)的網絡模型Mask R-CNN在對COCO數(shù)據集的處理上有著公認的良好效果，本文在此模型上加了一層Sobel卷積層，然后用閾值分割對特征圖進行去噪處理，在一定程度上提高了分割精度，但總體分割精度還是偏低，需要對模型進行進一步的研究和改進.

通過對實驗結果的進一步觀察和分析，由于灰度圖信息沒有三通道的圖片包含的信息豐富，如果將圖片轉化為三通道，各個通道分別進行特征增強，然后進行通道疊加可能會有更好的實驗效果.后續(xù)研究工作有望圍繞這個方面進行改進.