基于Yolo 的結(jié)直腸息肉CT 影像分析算法研究

代國威，晏靜香

（1. 中國農(nóng)業(yè)科學(xué)院 農(nóng)業(yè)信息研究所， 北京 100081； 2. 德陽市第七人民醫(yī)院 老年科， 四川 德陽 618000）

0 引 言

結(jié)直腸惡性腫瘤是臨床常見的消化系統(tǒng)惡性腫瘤，死亡率在全球惡性腫瘤中居第二位。當(dāng)前，結(jié)直腸惡性腫瘤的腔內(nèi)篩查或監(jiān)視[1]主要采用柔性內(nèi)窺鏡技術(shù)。但是，該技術(shù)僅能檢測到表面的息肉[2]，無法檢測腸道內(nèi)壁下隱藏組織和異常組織的細(xì)微質(zhì)量差異，故在臨床應(yīng)用中受到限制。CT掃描下可對組織進(jìn)行截面切分，使用卷積神經(jīng)網(wǎng)絡(luò)可檢測截面細(xì)微圖像，再使用較小視野的感受器進(jìn)行訓(xùn)練[2]，可定位某些異常的細(xì)微對象，提高檢測的準(zhǔn)確性。本文通過優(yōu)化改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)，使用Yolo-polyps 模型對數(shù)據(jù)集進(jìn)行驗(yàn)證，得出改進(jìn)后的檢測模型，對應(yīng)用于臨床研究具有一定的價(jià)值。

1 數(shù)據(jù)集的建立

收集公開的1 500 張二維CT 影像數(shù)據(jù)進(jìn)行數(shù)據(jù)擴(kuò)充，采用高斯噪聲、鏡像、改變明亮度、隨機(jī)翻轉(zhuǎn)等方法進(jìn)行數(shù)據(jù)增廣。如圖1 所示，左邊為原始圖像，右邊為處理后的圖像。按照單張CT 圖像4 倍擴(kuò)充，獲得6 000 張圖像，共計(jì)7 500 張影像數(shù)據(jù)。

圖1 主要的數(shù)據(jù)增廣法

由于擴(kuò)充后數(shù)據(jù)大小不適合Yolo-polyps 模型的輸入，所以需對數(shù)據(jù)圖像和相對應(yīng)的標(biāo)注數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換，最終獲得結(jié)直腸息肉數(shù)據(jù)集。采用十字交叉法在結(jié)直腸息肉數(shù)據(jù)集中抽取500 張作為驗(yàn)證集，剩下7 000 張圖像按照預(yù)先定義的比例（9 ∶1）劃分訓(xùn)練集和測試集。

2 檢測及網(wǎng)絡(luò)改進(jìn)過程

2.1 檢測過程

為實(shí)現(xiàn)對結(jié)直腸息肉的檢測，選取目前流行的目標(biāo)檢測算法進(jìn)行比較分析[3]，再采取以精度制勝的[yolov3]作為檢測的基礎(chǔ)網(wǎng)絡(luò)，在高級版ultralytic-yolov3[4]的框架基礎(chǔ)上，針對小目標(biāo)息肉檢測進(jìn)行網(wǎng)絡(luò)設(shè)計(jì)，提出了Yolo-polyps 模型，實(shí)現(xiàn)對CT 圖像上結(jié)腸息肉的檢測。同時(shí)，對ultralytic-yolov3 數(shù)據(jù)的載入網(wǎng)絡(luò)初始數(shù)據(jù)進(jìn)行更改，將其輸入網(wǎng)絡(luò)通道改為 1，[angle、saturation、hue、exposure]參數(shù)均改為0，輸入影像圖像尺寸改為608×608，以對其輸入的CT 影像數(shù)據(jù)進(jìn)行針對性處理。圖2 所示結(jié)果表明，該法實(shí)現(xiàn)了對結(jié)直腸息肉的端到端檢測。

圖2 檢測過程

2.2 網(wǎng)絡(luò)改進(jìn)過程

改進(jìn)的Yolov3 結(jié)直腸息肉檢測算法是一種多目標(biāo)檢測算法，用于根據(jù)CT 圖像判斷結(jié)直腸是否存在息肉，其主網(wǎng)絡(luò)結(jié)構(gòu)是深層次殘差網(wǎng)絡(luò)。由于結(jié)直腸圖像源是非常小的檢測目標(biāo)，不需要很大的感官視野[5]，故須融合更淺的特征圖進(jìn)行預(yù)測?？紤]時(shí)間的復(fù)雜性和魯棒性，在基礎(chǔ)網(wǎng)絡(luò)上增加一個(gè)卷積層，用[shortcut]網(wǎng)絡(luò)來融合特征圖，以提高小目標(biāo)的檢測率。此外，將淺層[shortcut]網(wǎng)絡(luò)與四個(gè)不同尺度的卷積層組合，增加針對息肉小目標(biāo)的特征圖尺寸，即 128×128、16×16、8×8 和4×4、2×2 像素，形成一個(gè)特征金字塔，并對其執(zhí)行2 個(gè)stride 上采樣，與之前的[shortcut]網(wǎng)絡(luò)融合，形成一個(gè)深層次融合波普識別模型。采用改進(jìn)后的[yolo-polyp]將圖像原尺寸作多角度輸入[5]，并輸出所有檢測的多角度位置及多角度框。整個(gè)網(wǎng)絡(luò)可概括為一種具有殘差網(wǎng)絡(luò)并結(jié)合特征金字塔作特征提取的主干網(wǎng)絡(luò)，其主要作用是從結(jié)直腸圖像源中提取息肉特征[5]。主干網(wǎng)絡(luò)之后為檢測結(jié)構(gòu)，在檢測結(jié)構(gòu)[shortcut]之后添加4 個(gè)卷積層，形成金字塔形的多尺度預(yù)測網(wǎng)，如圖3 所示。將主干網(wǎng)絡(luò)route 層的特征圖與檢測結(jié)構(gòu)中殘差網(wǎng)絡(luò)相匹配尺寸的特征圖融合，構(gòu)建殘差單元，使網(wǎng)絡(luò)結(jié)構(gòu)可以獲取更深的特征。最后，用非極大值抑制（non-maximum suppression，NMS）[6]去除重復(fù)的邊界框，準(zhǔn)確獲取息肉檢測結(jié)果。

圖3 檢測結(jié)構(gòu)Yolo-polyps 的網(wǎng)絡(luò)結(jié)構(gòu)

2.3 錨框與超參數(shù)

將提出的Yolo-polyps 網(wǎng)絡(luò)在相同比例（輸入尺寸）的圖像上進(jìn)行訓(xùn)練和測試。輸入被縮放為608×608 像素的圖像，在四個(gè)不同尺度下polyp 的位置坐標(biāo)特征圖中，通過多個(gè)下采樣中的shortcut的深度卷積網(wǎng)絡(luò)提取polyp 特征。為實(shí)現(xiàn)特定數(shù)據(jù)集所需錨點(diǎn)的要求，通過k-means 算法迭代10 000 次，thr 設(shè)置為 0.193，在增廣后的 CT 影像數(shù)據(jù)上，Yolo-polyps 生成的4 個(gè)尺度共計(jì)12 個(gè)錨點(diǎn)，在一定錨點(diǎn)范圍內(nèi)震蕩生成的錨點(diǎn)數(shù)據(jù)如表1所示，計(jì)算準(zhǔn)確率為87.80 %。預(yù)設(shè)template box由k-means[7]計(jì)算得出，但是k-means 中的anchor[形狀、尺寸、方向]在不同的影像數(shù)據(jù)下，計(jì)算結(jié)果不同。使用多通道數(shù)據(jù)計(jì)算所得值會影響網(wǎng)絡(luò)檢測性能，因此，根據(jù)實(shí)際情況，本文只需預(yù)測polyp 這一個(gè)類別，修改分類器以改變網(wǎng)絡(luò)[yolo]層的上一層輸出尺寸，用“存在多角度”檢測“沒有多角度”的情況，輸出尺寸變?yōu)閇3×（5+1）=18]像素，從而減少網(wǎng)絡(luò)操作量，在不影響實(shí)際需求的情況下，提高小目標(biāo)體的檢測精度和效率。

表1 k-means 算法迭代得到的錨點(diǎn)值

由于Ultralytic-yolov3 原始超參數(shù)與結(jié)直腸息肉數(shù)據(jù)集不相匹配，所以后期為適應(yīng)結(jié)直腸息肉數(shù)據(jù)集特性，在超參數(shù)[8-10]引導(dǎo)下迭代300 個(gè)Epoch，迭代過程中將結(jié)直腸息肉數(shù)據(jù)集使用超參數(shù)可視化，如圖4 所示。獲得的各項(xiàng)數(shù)據(jù)指標(biāo)中，giou 設(shè)置為 2.65，cls 設(shè)置為 20.6，cls_pw 設(shè)置為0.803，obj 設(shè)置為 61.1，obj_pw 設(shè)置為 1.23，iou_t設(shè)置為 0.193，lr0 設(shè)置 為 0.007 46，lrf 設(shè)置為0.000 5，momentum 設(shè)置為 0.94，weight_decay 設(shè)置為0.000 618，fl_gamma、shear、scale、translate、degrees 均設(shè)置為 0，hsv_h 設(shè)置為 0.014 3，hsv_v、hsv_s 分別設(shè)置為 0.9、0.355。

圖4 超參數(shù)訓(xùn)練過程

3 實(shí)驗(yàn)驗(yàn)證

訓(xùn)練過程共迭代50 000 次，階段衰減值steps 為40 000、45 000，表示此時(shí)學(xué)習(xí)率也會依次衰減。學(xué)習(xí)權(quán)重參數(shù)設(shè)置為0.002 46，momentum設(shè)置為 0.935，giou loss 設(shè)置為 1.86，batch 設(shè)置為64，學(xué)習(xí)率初始為0.005，并依次降為0.000 5 與0.000 05。網(wǎng)絡(luò)被迭 40 000 次、45 000 次，與各階段學(xué)習(xí)率權(quán)重相對應(yīng)。在持續(xù)迭代過程中，當(dāng)各類參數(shù)趨于平穩(wěn)不再改變時(shí)，停止訓(xùn)練。訓(xùn)練收斂結(jié)果如圖5 所示。圖5 中，子圖橫坐標(biāo)均為迭代次數(shù)，縱坐標(biāo)為各子圖上方所描述的評價(jià)意義。其中：（a）、（b）子圖的實(shí)際值表示在訓(xùn)練過程中對測試集的每次迭代計(jì)算所得的損失值；（c）、（d）子圖的實(shí)際值表示在訓(xùn)練過程中對驗(yàn)證集的每次迭代計(jì)算所得的損失值。損失主要包括廣義框損失（Giou_loss）[11]、目標(biāo)損失（objectness_loss）。廣義框損失是對普通框損失的擴(kuò)展，用于比較任意兩個(gè)形狀框的損失；目標(biāo)損失本質(zhì)上是對某個(gè)對象存在于所提議的感興趣區(qū)域的概率度量，如果客觀性較高，則意味著圖像窗口可能包含對象。本文將模型迭代100 個(gè)Epoch 后，模型各項(xiàng)損失收斂狀態(tài)均達(dá)到較好的效果，可以停止訓(xùn)練。

圖5 Yolo-polyps 模型訓(xùn)練收斂結(jié)果

為實(shí)現(xiàn)對結(jié)直腸息肉檢測模型的評價(jià)，利用目標(biāo)檢測領(lǐng)域最常用的查準(zhǔn)率（Precision，P）、查全率（Recall，R）、F1-score（F1）、平均準(zhǔn)確度（Average precision，AP） 和均值平均精度（mean average precision，m（AP））等指標(biāo)對 Yolo-polyps 模型進(jìn)行評估。指標(biāo)的計(jì)算見式（1）—（5）。其中：T（PP）表示在一批影像數(shù)據(jù)中找到、同時(shí)真實(shí)存在的結(jié)直腸息肉組織數(shù)；F（PP）表示實(shí)際正常但被檢測為結(jié)直腸息肉的組織；T（NP）表示模型檢測結(jié)果正確；F（NP）表示為結(jié)直腸息肉被檢測為正常的組織。公式（5）中，m（AP）是在一個(gè)數(shù)據(jù)集中的驗(yàn)證集所有類別的平均（Average precision，A（PP））值。

本文使用500 張結(jié)直腸息肉CT 圖像構(gòu)成驗(yàn)證數(shù)據(jù)集對Yolo-polyps 模型進(jìn)行測試。RP表示從驗(yàn)證數(shù)據(jù)集中檢測出的息肉數(shù)在驗(yàn)證集實(shí)際存在息肉中的占比；PP表示預(yù)測為息肉的目標(biāo)中真實(shí)為息肉的樣本所占比例；F1P為綜合考慮查準(zhǔn)率和查全率的指標(biāo)。通常情況下查準(zhǔn)率和查全率相互約制，而采用查準(zhǔn)率和查全率權(quán)重相同的F1P可以更均衡地反應(yīng)模型的性能。m（AP）的計(jì)算與A（PP）值相關(guān)，其中：AP@0.5[12]定義為當(dāng) IOU 閾值取0.5 時(shí)，對n 個(gè)PP求平均值即得該類的平均精確度；m（AP）@0.5 定義為所有類的 AP@0.5 求均值，m（AP）@0.5 衡量模型精確率隨召回率變化趨勢，越高意味著模型高精度邊界回歸能力越強(qiáng)。

為測試Yolo-polyps 模型的檢測性能，本文將所有模型都訓(xùn)練至理想狀態(tài)，再在測試集中評估識別其精度，結(jié)果如圖6。圖6 中，四個(gè)子圖橫坐標(biāo)均為迭代次數(shù)，縱坐標(biāo)為各子圖上方描述精度的不同評價(jià)指標(biāo)。將模型迭代100 個(gè)Epoch，在迭代92 個(gè)Epoch 時(shí)，取得了較高的性能，檢測精度均維持在92 %左右，波動不超過0.2 %，屬于可接受范圍。為了比較Yolo 系列模型改進(jìn)前后的性能，在相同的結(jié)直腸息肉驗(yàn)證數(shù)據(jù)集下對Yolo-polyps 與ultralytic-yolov3 系列模型進(jìn)行測試，結(jié)果如表 2。表 2 中 Yolov3-tiny、Yolov3、Yolov3-spp 為 ultralytic-Yolov3 公開的網(wǎng)絡(luò)模型，Yolo-polyps-t1 與 Yolo-polyps-t2 為兩次對照測試，以上模型均使用相同的超參數(shù)。由表2結(jié)果可知，本文提出的模型能夠有效提高對結(jié)直腸息肉的檢測精度。具體來說，Yolo-polyps 模型與原Ultralytic-yolov3 模型相比，AP至少提升5.2 %，AP@0.5 至少提高4.83 %，單張圖耗時(shí)僅增加0.023 s；與主流目標(biāo)檢測方法Yolov3-spp相比，AP與 AP@0.5 分別至少提升 2.2 %、3.03 %，m（AP）@0.5 則至少高出2.67 %。由此說明，本文模型在結(jié)直腸息肉檢測準(zhǔn)確性方面表現(xiàn)優(yōu)秀。

圖6 Yolo-polyps 模型訓(xùn)練性能測試結(jié)果

表2 兩種系列模型性能對比 %

驗(yàn)證Yolo-polyps 模型檢測效果的根本目標(biāo)是實(shí)現(xiàn)結(jié)直腸息肉的臨床檢測。從CT 機(jī)生成的圖像中隨機(jī)抽取部分圖像生成結(jié)直腸息肉驗(yàn)證數(shù)據(jù)集，以12 張為一組數(shù)據(jù)，并對其圖像位置隨機(jī)化，組成3×4 的驗(yàn)證圖像如圖7 所示。此處驗(yàn)證圖像并不代表真實(shí)檢查部位，但其中包含的圖像則代表一個(gè)部位組織切面的真實(shí)影像，這部分位置對應(yīng)患者一個(gè)真實(shí)的部位。測試時(shí)僅需找出存在息肉的位置，實(shí)際圖像的文件標(biāo)簽則可映射到真實(shí)部位。抽取的驗(yàn)證數(shù)據(jù)圖像經(jīng)過Yolo-polyps 模型檢測，結(jié)果如圖7。圖7 標(biāo)出的小框Polyp 表示能夠正確識別息肉。

圖7 Yolo-polyps 臨床檢測效果

4 結(jié) 論

本文提出一種基于ultralytic-yolov3 的Yolopolyps 模型檢測方法，突破了腔內(nèi)鏡下人眼主觀判斷結(jié)直腸息肉的局限性，可實(shí)現(xiàn)結(jié)直腸息肉的自動化診斷。首先，在主干網(wǎng)絡(luò)和特征金字塔部分嵌入小特征融合識別檢測器，提高模型提取CT平掃下小目標(biāo)特征的能力，提高結(jié)直腸息肉目標(biāo)檢測準(zhǔn)確性。其次，為提高模型泛化率，對數(shù)據(jù)集進(jìn)行擴(kuò)展和增強(qiáng)，使用k-means 聚類提升預(yù)測框準(zhǔn)確定位能力，增強(qiáng)模型泛化效果。試驗(yàn)表明，Yolo-polyps 模型的檢測精度和檢測速度均優(yōu)于ultralytic-yolov3 系列的其他模型，在不增加模型參數(shù)的情況下，實(shí)現(xiàn)對結(jié)直腸息肉小目標(biāo)的檢測，提高了檢測精度。