引入抑制增長損失函數(shù)的肺炎目標(biāo)檢測

滕 皓，陸慧娟+，朱海天，朱文杰

(1.中國計(jì)量大學(xué) 信息工程學(xué)院，浙江 杭州 310018；2.中國計(jì)量大學(xué) 經(jīng)濟(jì)管理學(xué)院，浙江 杭州 310018)

0 引 言

目前，基于深度學(xué)習(xí)的目標(biāo)檢測在醫(yī)學(xué)影像具有廣泛的應(yīng)用，主要包括乳腺癌圖像分類[1]、肺結(jié)節(jié)檢測[2]、肺炎檢測等。針對醫(yī)學(xué)影像目標(biāo)檢測的改進(jìn)方法具有多向性，如增加網(wǎng)絡(luò)的深度提升網(wǎng)絡(luò)的表征能力，或者改進(jìn)訓(xùn)練策略、損失函數(shù)等。

目標(biāo)檢測是一個(gè)多任務(wù)算法，容易導(dǎo)致某項(xiàng)任務(wù)主導(dǎo)模型訓(xùn)練的情況，多任務(wù)權(quán)重需要得到調(diào)整。一種邊界框損失函數(shù)K-L損失函數(shù)[3]被提出，用于學(xué)習(xí)更為精準(zhǔn)的檢測框位置。Michelle Guo等[4]提出的動態(tài)任務(wù)優(yōu)先排序算法，其思想來源于課程學(xué)習(xí)。將多個(gè)任務(wù)基于難度系數(shù)進(jìn)行排序，從而使得較簡易的任務(wù)優(yōu)先被執(zhí)行，并且隨時(shí)間調(diào)整該難度系數(shù)。DFNet[5]被提出，動態(tài)設(shè)置各個(gè)類別之間損失函數(shù)的權(quán)值，原因是背景與目標(biāo)像素個(gè)數(shù)會有區(qū)別，而背景像素過多會使得背景對模型訓(xùn)練影響更大，從而導(dǎo)致精度降低。Kang Zhao等[6]改進(jìn)了Focal Loss進(jìn)而提出動態(tài)損失函數(shù)，該動態(tài)損失函數(shù)保持Focal Loss的精度并且加快了模型訓(xùn)練的收斂。

本文將Faster R-CNN以及R-FCN算法應(yīng)用于肺炎目標(biāo)檢測，提出了抑制增長損失函數(shù)，損失函數(shù)的每一項(xiàng)權(quán)值被自適應(yīng)地調(diào)整，使得損失函數(shù)數(shù)值隨step增大的項(xiàng)得到增強(qiáng)，損失函數(shù)數(shù)值隨step減小的項(xiàng)不變，同時(shí)根據(jù)課程學(xué)習(xí)[7]自適應(yīng)地調(diào)整不同任務(wù)的優(yōu)先次序。肺炎圖像存在檢測框模糊以及圖像通道數(shù)單一的缺陷，這些缺陷易導(dǎo)致模型訓(xùn)練較難收斂，因此提出抑制增長損失函數(shù)。在保證訓(xùn)練負(fù)荷不增加的情況下，使得二階段檢測器的平均精度得到有效的提升。

1 結(jié)合IG Loss的肺炎目標(biāo)檢測算法

1.1 Faster R-CNN算法

二階段檢測算法包括RPN(region proposal network)生成proposal階段以及針對proposal定位和分類階段。Faster R-CNN[8]是經(jīng)典的二階段檢測算法，由Shaoqing Ren等提出，在它之前已經(jīng)出現(xiàn)了R-CNN以及Fast R-CNN，前者不可以端到端地進(jìn)行訓(xùn)練，而后者由于Selective Search算法過于耗時(shí)而被改進(jìn)。綜上所述，Shaoqing Ren等改進(jìn)了前兩個(gè)算法提出了Faster R-CNN，既提升了精度又提高了效率。

1.2 R-FCN算法

基于Faster R-CNN，結(jié)合FCN[9](fully convolutional network)，將全連接層替換為全卷積層，引入了位置敏感得分圖，如圖1所示，在肺炎圖像經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)提取的特征圖中，將感興趣區(qū)域劃分成了3×3，由于肺炎圖像只包含肺炎病灶和背景類，從而得到2×3×3大小的位置敏感得分圖，再經(jīng)過池化層產(chǎn)生兩維的置信度，最終得到分類結(jié)果。

圖1 R-FCN主要結(jié)構(gòu)框架

1.3 肺炎檢測模型損失函數(shù)

在深度學(xué)習(xí)中，損失函數(shù)起到求解和評估模型的作用。本文的損失函數(shù)包括目標(biāo)邊界框回歸損失以及分類損失?；貧w損失函數(shù)采用Smooth L1 Loss，該損失函數(shù)如式(1)所示，Smooth L1 Loss在x較小時(shí)梯度也會較??；而在x很大的時(shí)候梯度的絕對值也不會大于1，不會因?yàn)樘荻冗^大而造成訓(xùn)練失敗

(1)

分類損失函數(shù)采用交叉熵(cross entropy loss)損失函數(shù)，該損失函數(shù)如式(2)所示。在式(2)中，p表示預(yù)測概率，p*取值為1或者0。交叉熵能夠衡量兩個(gè)不同概率分布的差異程度。交叉熵的值越小，模型預(yù)測效果就越好。神經(jīng)網(wǎng)絡(luò)的輸出經(jīng)softmax進(jìn)行處理，再通過交叉熵來計(jì)算損失

L(p,p*)=-log[pp*+(1-p)(1-p*)]

(2)

1.4 抑制增長損失函數(shù)

由于肺炎圖像的通道單一，圖像信息沒有三通道圖像豐富，因而在模型的訓(xùn)練過程中，模型的收斂容易受到噪聲[10]的影響，從而導(dǎo)致每個(gè)step的損失函數(shù)值不可能嚴(yán)格下降，而是波動下降最終會導(dǎo)致預(yù)測的結(jié)果產(chǎn)生較大的波動。

假定RPN階段的分類和回歸損失函數(shù)值分別為RPN_CLS、RPN_BOX，第二階段的損失函數(shù)值為R-CNN_CLS、R-CNN_BOX。改進(jìn)前本文所應(yīng)用的算法損失函數(shù)曲線如圖2所示，選擇模型訓(xùn)練的前50個(gè)step，在圖中可以看到對于Faster R-CNN，在前約12個(gè)step的時(shí)間段，其R-CNN_CLS損失函數(shù)值隨著step增加而增加，極易導(dǎo)致訓(xùn)練的失敗；對于Faster R-CNN和R-FCN，其R-CNN_BOX損失函數(shù)值波動過大且沒有明顯的降低趨勢，容易導(dǎo)致訓(xùn)練不收斂的情況發(fā)生。因此，需要設(shè)計(jì)抑制增長損失函數(shù)，減小損失函數(shù)的波動幅度從而達(dá)到優(yōu)化訓(xùn)練的目的。

圖2 Faster R-CNN以及R-FCN損失函數(shù)數(shù)值隨step變化曲線

依據(jù)前文所述，需要提出一種損失函數(shù)設(shè)計(jì)策略：當(dāng)損失函數(shù)值增大時(shí)，說明此時(shí)的樣本訓(xùn)練較為困難，需要增大它的訓(xùn)練強(qiáng)度、抑制該損失函數(shù)值的增長；當(dāng)損失函數(shù)值減小時(shí)，說明此時(shí)的樣本訓(xùn)練較為容易，其訓(xùn)練強(qiáng)度可以維持不變、可以不抑制其增長。當(dāng)損失函數(shù)的權(quán)重變化時(shí)，反向傳播時(shí)的損失函數(shù)值隨即變化，得到相應(yīng)神經(jīng)網(wǎng)絡(luò)的參數(shù)也會相應(yīng)改變，從而使得網(wǎng)絡(luò)參數(shù)得到優(yōu)化。

由于二階段目標(biāo)檢測算法的損失函數(shù)權(quán)重全設(shè)置成1，而且所有類型的損失函數(shù)權(quán)重都相等，不具有自適應(yīng)調(diào)節(jié)的功能，極易導(dǎo)致訓(xùn)練沒有側(cè)重于關(guān)鍵的問題、訓(xùn)練困難的樣本，因此本文提出抑制增長損失函數(shù)算法，該算法詳細(xì)描述如下：

(1)在模型的訓(xùn)練過程中，記錄每個(gè)step的損失函數(shù)值，記第i個(gè)step的損失函數(shù)數(shù)值為φi。

(2)在訓(xùn)練的第1個(gè)step，由于不存在前一個(gè)step的損失函數(shù)值，因此第1個(gè)step的損失函數(shù)權(quán)重退化為原始值，即相等的4個(gè)1；在訓(xùn)練的第2個(gè)step開始，計(jì)算第i個(gè)損失函數(shù)數(shù)值與第i-1個(gè)step的損失函數(shù)數(shù)值的差值，記為x，即為x=φi-φi-1。本文提出的策略為：當(dāng)x減小時(shí)，該項(xiàng)損失函數(shù)的權(quán)值仍置為1；而當(dāng)x增大時(shí)，該項(xiàng)損失函數(shù)的權(quán)值由式(3)確定

(3)

式中：x代表相鄰兩個(gè)step的損失函數(shù)的差值，α、β、r均為正實(shí)數(shù)、正常數(shù)，通過設(shè)置r的值可以調(diào)節(jié)該損失函數(shù)抑制增長的程度，r值越大，抑制增長的程度越深。式(3)的微分函數(shù)如式(4)所示

(4)

在本文中，α=β=e且r>0。當(dāng)x≥0，式(3)將變形為ψ(x)=ln(rx+e)，式(3)的微分函數(shù)將變形為式(5)所示。當(dāng)x=0，得ψ(0)=1，此時(shí)的情況退化為原損失函數(shù)；當(dāng)x<0時(shí)，得到ψ(x)=1，權(quán)重值為1，盡管值同樣為1，但是其含義與前文敘述情況不同，此時(shí)情況下由于損失函數(shù)值有所減小，可以不抑制損失函數(shù)的增長；當(dāng)x>0時(shí)，因?yàn)閞>0，該權(quán)值式(3)的微分函數(shù)即式(5)，其數(shù)值恒大于0，使得權(quán)值隨著x增大而單調(diào)增加，當(dāng)ψ(0)=1，使得ψ(x)恒大于ψ(0)，即ψ(x)恒大于1，含義就是：當(dāng)相鄰兩個(gè)step的損失函數(shù)差值變大且損失函數(shù)值增加時(shí)，權(quán)值隨x增大而增加，因?yàn)樵摍?quán)重函數(shù)的微分函數(shù)值隨x增加而減小，從而使得權(quán)重函數(shù)的變化曲率隨著x增加而減小，權(quán)重變化不劇烈，不會對模型造成訓(xùn)練的失敗，因此該權(quán)重函數(shù)符合設(shè)計(jì)的初衷

(5)

1.5 Mish激活函數(shù)

激活函數(shù)的主要作用是引入非線性，加強(qiáng)線性模型的表達(dá)和分類能力。本文在ResNet的淺層網(wǎng)絡(luò)中將ReLU激活函數(shù)替換為Mish[11]激活函數(shù)，該激活函數(shù)如式(6)所示。由于ReLU在x<0部分梯度為0，從而導(dǎo)致負(fù)輸出的梯度變?yōu)?使得信息丟失，因此該神經(jīng)元可能再不起到激活的作用。由于肺炎圖像具有通道單一、病灶邊界模糊的特點(diǎn)，對于信息的丟失問題將變得更加敏感，從而引入一種更為平滑的激活函數(shù)，其在x<0時(shí)允許信息更好地深入神經(jīng)網(wǎng)絡(luò)、減少信息的丟失，從而得到更高的精度和更強(qiáng)的泛化能力

Mish=x*tanh(ln(1+ex))

(6)

2 實(shí) 驗(yàn)

2.1 數(shù)據(jù)集

肺炎圖像中語義信息較少，紋理信息較多，需要使用深度卷積網(wǎng)絡(luò)提取更多的語義特征。由于在識別肺炎病灶時(shí)較難分辨邊界，使得標(biāo)記檢測框時(shí)的坐標(biāo)非常粗糙，例如圖3中標(biāo)注的檢測框以下部分，很可能被計(jì)算機(jī)識別成肺炎病灶，從而導(dǎo)致模型在訓(xùn)練的過程中損失函數(shù)值波動較大。

實(shí)驗(yàn)被執(zhí)行于北美放射學(xué)會(radiological society of north America，RSNA)發(fā)布的肺炎數(shù)據(jù)集，首先需將XML文檔中的坐標(biāo)信息提取，由于該文檔中包含重復(fù)病人的多個(gè)病灶，需將其去重，并且去除該數(shù)據(jù)集中不包含病灶的圖像，得到該數(shù)據(jù)集中包含病灶的6012張患者的X射線圖像，最終將其轉(zhuǎn)化為訓(xùn)練可以采用的VOC格式。如圖3所示，兩個(gè)不同的邊界框被用來標(biāo)注每個(gè)圖像。對于本文的肺炎目標(biāo)檢測任務(wù)，數(shù)據(jù)集被隨機(jī)分為訓(xùn)練集(4810張圖像)和測試集(1202張圖像)。訓(xùn)練集和測試集之間沒有重疊。每幅圖像的尺寸為1024×1024像素，格式為JPG。

圖3 帶有標(biāo)簽的肺炎圖像

2.2 訓(xùn)練策略

本文實(shí)驗(yàn)的基礎(chǔ)網(wǎng)絡(luò)采用ResNet[12]，它是在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的模型，運(yùn)用了遷移學(xué)習(xí)的技巧。深度網(wǎng)絡(luò)可以提取圖像更為抽象且語義性更強(qiáng)的特征，被用于預(yù)測圖像的類別。本文的實(shí)驗(yàn)采用PyTorch框架實(shí)現(xiàn)的代碼，實(shí)驗(yàn)被執(zhí)行在GTX 1070顯卡，內(nèi)存為8 G的計(jì)算機(jī)上，保存每個(gè)Epoch的訓(xùn)練模型。

在實(shí)驗(yàn)訓(xùn)練過程中，植入抑制增長損失函數(shù)以及Mish激活函數(shù)，每個(gè)step只增加計(jì)算權(quán)值的時(shí)間開銷，使用隨機(jī)梯度下降(stochastic gradient descent)對結(jié)果模型進(jìn)行微調(diào)。針對Faster R-CNN：初始學(xué)習(xí)率設(shè)置為1e-4，batch size值為4。針對R-FCN：初始學(xué)習(xí)率設(shè)置為1e-3，batch size值為4。由于本文數(shù)據(jù)集的訓(xùn)練集包含4810張圖片，在訓(xùn)練模型的過程中，為了折中訓(xùn)練規(guī)模和效率，本文采用了水平翻轉(zhuǎn)的數(shù)據(jù)增強(qiáng)(data augmentation)，將圖片數(shù)量增加到了9620張。

2.3 實(shí)驗(yàn)結(jié)果

本文基于Faster R-CNN和R-FCN訓(xùn)練所得到的Precision-Recall曲線如圖4所示。對于目標(biāo)檢測，通常使用平均精度(average precision)作為衡量模型優(yōu)劣的指標(biāo)。目標(biāo)檢測中的分類和定位任務(wù)都需要評估，圖像分類問題中使用的標(biāo)準(zhǔn)度量不能直接應(yīng)用于目標(biāo)檢測問題。由于本文所用數(shù)據(jù)集類別只包含一類，即是否含有肺炎病灶，所以不需要計(jì)算所有類別AP的平均值，即mAP(mean average precision)。計(jì)算細(xì)節(jié)具體分為3步，具體如下：①計(jì)算精確率(Precision)以及查全率(Recall)；②繪制P-R曲線(Precision-Recall Curve)；③計(jì)算AP值。

圖4 算法改進(jìn)前后的P-R曲線

從圖4的P-R曲線可以看出，對于Faster R-CNN，在查全率大于約0.02時(shí)，取固定的精確率可以看到改進(jìn)的Faster R-CNN查全率得到增大，改進(jìn)的Faster R-CNN平均精度曲線的位置幾乎位于原始算法的右上方；對于R-FCN，可以看到，任取一個(gè)范圍內(nèi)查全率數(shù)值，改進(jìn)的R-FCN的精確率都高于原始R-FCN的精確率，在查全率約為0.1左右此現(xiàn)象更為明顯，只在查全率約為0.69左右時(shí)，改進(jìn)的R-FCN的精確率與原始算法的精確率大致相等，改進(jìn)的R-FCN平均精度曲線的位置幾乎位于原始算法的右上方。綜上所述，從P-R曲線可以驗(yàn)證提出的抑制增長損失函數(shù)效果明顯。

為了驗(yàn)證平均精度的提升與損失函數(shù)值的有效降低相關(guān)，在訓(xùn)練的過程中，記錄每個(gè)step的損失函數(shù)的數(shù)值，該數(shù)值是加權(quán)以前的各項(xiàng)損失函數(shù)數(shù)值，而加權(quán)以后的損失函數(shù)數(shù)值被反向傳播優(yōu)化神經(jīng)網(wǎng)絡(luò)參數(shù)。對比改進(jìn)前后損失函數(shù)數(shù)值的總和，總和是指第一階段的損失函數(shù)RPN_CLS、RPN_BOX以及第二階段的損失函數(shù)R-CNN_CLS、R-CNN_BOX的數(shù)值相加結(jié)果。損失函數(shù)數(shù)值總和曲線如圖5所示，取前50個(gè)step損失函數(shù)數(shù)值總和為例，在圖5(a)中，針對Faster R-CNN，可以看到，在前10個(gè)step的時(shí)間段內(nèi)，改進(jìn)的算法的損失函數(shù)曲線基本都在原始算法下方，說明損失函數(shù)數(shù)值得到有效降低；在圖5(b)中，針對R-FCN，在第5個(gè)step左右，原始算法的損失函數(shù)數(shù)值具有明顯增大的現(xiàn)象，而改進(jìn)的算法的損失函數(shù)得到了較為平穩(wěn)的降低?？偟膩碚f，該損失函數(shù)曲線驗(yàn)證了引入抑制增長損失函數(shù)可以更有效地降低損失函數(shù)數(shù)值，從而獲得更高的平均精度。

圖5 算法改進(jìn)前后的損失函數(shù)總和曲線

在訓(xùn)練的過程中，保存每個(gè)Epoch的訓(xùn)練模型參數(shù)，測試時(shí)對于保存的模型依次檢測精度，最終取最高精度值。交并比取0.5所得到的平均精度以及測試時(shí)間見表1，從表中可以看到，對于Faster R-CNN，在檢測時(shí)間增加了4.2 s的情況下，算法改進(jìn)后平均精度相較原始算法增加了3.8%；對于R-FCN，在檢測時(shí)間增加不多的情況下，算法改進(jìn)后平均精度相較于原始算法得到了2.8%的提升。在改進(jìn)前，R-FCN算法的平均精度相較于Faster R-CNN算法增加7%，在改進(jìn)以后，R-FCN算法的平均精度相較于Faster R-CNN算法增加6%。以上實(shí)驗(yàn)說明了提出的抑制增長損失函數(shù)對二階段模型具有改進(jìn)作用。

表1 抑制增長損失函數(shù)在兩個(gè)算法的測試結(jié)果

為了進(jìn)一步驗(yàn)證抑制增長損失函數(shù)以及引入的Mish激活函數(shù)的有效性，執(zhí)行消融實(shí)驗(yàn)，交并比取0.5所得到的平均精度見表2，在表中√代表運(yùn)用該方法，×代表不運(yùn)用該方法。

表2 算法的消融實(shí)驗(yàn)結(jié)果對比

從表2中可以看到，對于Faster R-CNN和R-FCN，后者較于前者基礎(chǔ)平均精度高7%，只采用Mish激活函數(shù)的算法平均精度分別可以提升2.4%和1.1%，只采用抑制增長損失函數(shù)的算法平均精度分別可以提升2.6%和2.4%，同時(shí)采用Mish激活函數(shù)和抑制增長損失函數(shù)的算法平均精度分別可以提升3.8%和2.8%，說明不論是Mish激活函數(shù)的替換還是提出的抑制增長損失函數(shù)的植入，都對模型具有改進(jìn)作用，而且當(dāng)兩者同時(shí)被應(yīng)用時(shí)，模型的精度將得到更大的提升。總的來說，R-FCN較于Faster R-CNN的平均精度提升了6%。實(shí)驗(yàn)的數(shù)據(jù)展示Mish激活函數(shù)和提出的抑制增長損失函數(shù)都對應(yīng)用在Faster R-CNN和R-FCN的肺炎目標(biāo)檢測有改進(jìn)作用。

同時(shí)采用抑制增長損失函數(shù)以及Mish激活函數(shù)的算法平均精度走勢圖如圖6所示，在圖6(a)中可以看到對于Faster R-CNN，從第3個(gè)Epoch開始，改進(jìn)的Faster R-CNN的平均精度曲線幾乎都在原始算法曲線的上方；在圖6(b)中可以看到對于R-FCN，從第4個(gè)Epoch開始，改進(jìn)的R-FCN的平均精度曲線于第6個(gè)Epoch低于原始算法的曲線，其它時(shí)刻的平均精度曲線都高于原始算法的曲線，該平均精度走勢圖驗(yàn)證了提出的抑制增長損失函數(shù)的有效性。

圖6 改進(jìn)算法與原始算法平均精度走勢

為了更進(jìn)一步驗(yàn)證本文提出的抑制增長損失函數(shù)的有效性，本文將實(shí)驗(yàn)同時(shí)執(zhí)行于ResNet-50以及ResNet-101，通過增加網(wǎng)絡(luò)層數(shù)驗(yàn)證提出方法的有效性?；赗esNet-50和ResNet-101的算法檢測結(jié)果見表3，可以看到，網(wǎng)絡(luò)層數(shù)由50層增加到101層，對于4種不同的情況，即改進(jìn)前后的Faster R-CNN和改進(jìn)前后的R-FCN，除了改進(jìn)的R-FCN，平均精度都有所提升，說明網(wǎng)絡(luò)層數(shù)的增加使得算法能夠提取更具有表達(dá)能力的特征，從而增強(qiáng)圖像的語義信息，得到更為精確的結(jié)果、更高的精度。對于Faster R-CNN，基于ResNet-50，改進(jìn)的算法相較于原始算法提升了3.8%；基于ResNet-101，改進(jìn)的算法相較于原始算法提升了3.4%。對于R-FCN，同時(shí)采用抑制增長損失函數(shù)以及Mish激活函數(shù)兩種方法并且基于ResNet-50的算法平均精度與基于ResNet-101的原始算法的平均精度相等，說明提出的方法可以使得基于網(wǎng)絡(luò)層數(shù)較少預(yù)訓(xùn)練模型的算法與基于網(wǎng)絡(luò)層數(shù)較多預(yù)訓(xùn)練模型的算法的平均精度相當(dāng)，驗(yàn)證了前文所述兩個(gè)方法的有效性。

表3 基于不同預(yù)訓(xùn)練網(wǎng)絡(luò)的算法平均精度對比

選取不同肺炎圖像的檢測結(jié)果如圖7所示，檢測的結(jié)果顯示，針對檢測框的回歸問題具有有效的改進(jìn)，對于Faster R-CNN，明顯地可以看到檢測框面積變得更接近于真實(shí)值；對于R-FCN，存在一些圖像的檢測結(jié)果邊界框基本接近于真實(shí)值。

圖7 算法改進(jìn)前后的檢測結(jié)果對比

3 結(jié)束語

醫(yī)學(xué)影像的識別與檢測是計(jì)算機(jī)視覺的熱點(diǎn)問題。本文將二階段目標(biāo)檢測算法應(yīng)用于肺炎目標(biāo)檢測，由于肺炎圖像存在通道單一、圖像信息不豐富的缺陷，而且其病灶的邊界框標(biāo)注較為模糊，引起損失函數(shù)波動較大收斂減慢的情況，提出了抑制增長損失函數(shù)，并且將ReLU替換為Mish激活函數(shù)，在保證算法訓(xùn)練負(fù)荷不增加的情況下使得模型精度得到有效提升。抑制增長損失函數(shù)的植入使得Faster R-CNN和R-FCN的平均精度AP得到3.8%和2.8%的提升。由于肺炎目標(biāo)檢測的基礎(chǔ)精度較低，未來將提出更多自適應(yīng)權(quán)值的算法，使得二階段肺炎檢測精度得到進(jìn)一步提升。