基于Generalized Region Loss的代價(jià)函數(shù)及在圖像分割中的應(yīng)用

張 凱，余義斌

(五邑大學(xué) 智能制造學(xué)部，廣東 江門 529020)

0 引言

深度學(xué)習(xí)已經(jīng)徹底改變了從軟件到制造業(yè)的各個(gè)行業(yè)，F(xiàn)CN[1]奠定了語(yǔ)義分割深度模型的先驅(qū)，醫(yī)學(xué)界也從深度學(xué)習(xí)中受益。在疾病分割方面有多種創(chuàng)新,使用U-Net[2]網(wǎng)絡(luò)模型進(jìn)行腫瘤分割，SegNet[3]網(wǎng)絡(luò)模型進(jìn)行癌癥檢測(cè)等。圖像分割是深度學(xué)習(xí)社區(qū)對(duì)醫(yī)學(xué)領(lǐng)域的重要貢獻(xiàn)之一，除了說(shuō)明某些疾病的存在外，它還顯示了疾病確切存在的位置，它極大地幫助創(chuàng)建了在各種類型的醫(yī)學(xué)掃描中檢測(cè)腫瘤、病變等的算法。在設(shè)計(jì)基于復(fù)雜圖像分割的深度學(xué)習(xí)體系結(jié)構(gòu)時(shí),有許多可變的參數(shù)，包括代價(jià)函數(shù)、優(yōu)化器、學(xué)習(xí)率等，都會(huì)影響模型最終的結(jié)果。而代價(jià)函數(shù)對(duì)深度學(xué)習(xí)中神經(jīng)網(wǎng)絡(luò)的訓(xùn)練有非常重要的作用，對(duì)于不同的分割任務(wù)使用合適的代價(jià)函數(shù)可以提高最終的分割精度，最終得到很好的分割效果。

本文從代價(jià)函數(shù)的角度出發(fā)，針對(duì)解決分割中困難樣本的問(wèn)題，國(guó)內(nèi)外學(xué)者提出了各種各樣的代價(jià)函數(shù)。然而，在處理圖像分割任務(wù)中困難樣本的問(wèn)題時(shí)，沒(méi)有一種損失能夠始終達(dá)到最佳性能。本文通過(guò)研究各類型代價(jià)函數(shù)的特性，總結(jié)背后的一般規(guī)律，最終構(gòu)建一種通用關(guān)注困難樣本的代價(jià)函數(shù)，例如腦CT、胰腺、腎臟等圖像語(yǔ)義分割問(wèn)題。

1 圖像分割代價(jià)函數(shù)的分類

1.1 圖像分割代價(jià)函數(shù)按目的分類

近幾年，隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，圖像語(yǔ)義分割算法的性能有明顯的的提升。在圖像分割方面，國(guó)內(nèi)外學(xué)者提出了許多新的技術(shù)致力于提升其分割精度，主要包括對(duì)數(shù)據(jù)集的處理、網(wǎng)絡(luò)模型的修改、代價(jià)函數(shù)的改進(jìn)以及優(yōu)化器的調(diào)整等方面。針對(duì)代價(jià)函數(shù)，國(guó)內(nèi)外學(xué)者提出各種各樣不同的代價(jià)函數(shù)用于提升分割效果，從最初的CE Loss，到后來(lái)的WCE Loss[2]、Sensitivity Specificity(SS) Loss[5]、Topk Loss[6]、Dice Loss[7]、IoU Loss[8]、Tversky Loss[9]、Lovasz Loss[10]、Focal Loss[11]、Boundary (BD) Loss[12]、Hausdorff Distance (HD) Loss[13]、Focal Tveraky Loss[15]、Asymmetric Similarity Loss[16]、DPCE Loss[17]、Generalized Dice Loss[18]、Penalty Loss[19]等，都是為了解決圖像語(yǔ)義分割中某些問(wèn)題而提出，主要包括類不平衡問(wèn)題、關(guān)注分割中困難樣本、關(guān)注分割邊界等，以及一些復(fù)合代價(jià)函數(shù)Combo Loss[20]、Exponential Logarithmic Loss(ELL)[21]等都是為了更好地解決這些問(wèn)題。

對(duì)于分割中類不平衡的問(wèn)題來(lái)說(shuō)旨在通過(guò)提升不頻繁標(biāo)簽的重要性來(lái)緩解損失偏差，主要有兩種常見的方法，其一是通過(guò)對(duì)標(biāo)簽頻繁下采樣來(lái)重新平衡類別的先驗(yàn)分布，然而這種方法限制了訓(xùn)練圖像的信息；其二是通過(guò)類別與標(biāo)簽頻率成反比的方法來(lái)設(shè)置權(quán)重,例如WCE Loss[2]、Generalized Dice Loss[18]等，盡管該方法對(duì)某些分割中的不平衡問(wèn)題有效，但對(duì)于不常見的那些像素區(qū)域使用交叉熵計(jì)算有時(shí)會(huì)加入一些噪聲，并且使用大權(quán)重對(duì)其加權(quán)會(huì)放大該錯(cuò)誤從而導(dǎo)致訓(xùn)練不穩(wěn)定。

對(duì)于分割中困難樣本來(lái)說(shuō)旨在提升損失對(duì)困難樣本的關(guān)注度，同樣主要有3種常見的方法，其一是對(duì)單個(gè)像素進(jìn)行加權(quán)，通過(guò)數(shù)字一減去預(yù)測(cè)像素概率值的方法加權(quán)損失，例如Focal Loss[11]等；其二是將計(jì)算好的損失整體加權(quán)，例如Focal Tveraky Loss[15]等；其三是使用權(quán)重控制FP(False Positive)和FN(False Negative)之間的平衡，例如Tveraky Loss[9]、Asymmetric Similarity Loss[16]、Penalty Loss[19]等。

對(duì)于分割邊界來(lái)說(shuō)旨在提升損失對(duì)圖像邊界的關(guān)注度，例如DPCE Loss[17]、Boundary (BD) Loss[12]、Hausdorff Distance (HD) Loss[13]等，但本文認(rèn)為圖像標(biāo)簽多為人工標(biāo)注，標(biāo)注的標(biāo)簽邊界區(qū)域或多或少都存在一些誤差，如果對(duì)標(biāo)簽真值邊界的關(guān)注度過(guò)分大于對(duì)標(biāo)簽真值內(nèi)部的關(guān)注度，對(duì)于計(jì)算分辨率比較低的圖像是不適合的。

1.2 圖像分割代價(jià)函數(shù)按類型分類

圖像分割的代價(jià)函數(shù)[4]伴隨著深度學(xué)習(xí)的發(fā)展，逐漸演化為4種類型，即基于分布、基于區(qū)域、基于邊界和基于復(fù)合的代價(jià)函數(shù)。

基于分布的代價(jià)函數(shù)旨在最小化兩個(gè)分布之間的差異，包括CE Loss、Topk Loss[6]、Focal Loss[11]、DPCE Loss[17]等，該類型代價(jià)函數(shù)是以交叉熵為基準(zhǔn)進(jìn)行變化，只關(guān)注標(biāo)簽圖真值內(nèi)部的損失，而對(duì)于真值之外的損失計(jì)算沒(méi)有涉及。交叉熵的計(jì)算公式如式(1)所示：

(1)

基于區(qū)域的代價(jià)函數(shù)旨在最小化不匹配或最大化真實(shí)值和預(yù)測(cè)分割之間的重疊區(qū)域，包括Sensitivity Specificity Loss[5]、Dice Loss[7]、IoU Loss[8]、Tversky Loss[9]、Lovasz Loss[10]、Focal Tveraky Loss[11]、Asymmetric Similarity Loss[16]、Generalized Dice Loss[18]、Penalty Loss[19]等，該類型代價(jià)函數(shù)都是以Dice Loss為基準(zhǔn)進(jìn)行變化，雖然對(duì)標(biāo)簽圖真值內(nèi)外的損失都進(jìn)行了計(jì)算，但計(jì)算過(guò)于籠統(tǒng)，針對(duì)標(biāo)簽真值內(nèi)部以及外部關(guān)于分類正確或錯(cuò)誤的像素區(qū)域都沒(méi)有進(jìn)行精確區(qū)分。Dice Loss 的計(jì)算公式如式(2)所示：

(2)

基于邊界的代價(jià)函數(shù)[14]是一種相對(duì)較新的代價(jià)函數(shù)，旨在最小化真實(shí)值與預(yù)測(cè)分割之間的距離，包括Boundary (BD) Loss[12]、Hausdorff Distance (HD) Loss[13]等，該類型代價(jià)函數(shù)主要是通過(guò)距離圖加權(quán)計(jì)算損失值，BD Loss使用邊界匹配度去監(jiān)督網(wǎng)絡(luò)的損失，而HD Loss使用真實(shí)值和分割的距離變換圖加權(quán)損失，兩者都容易導(dǎo)致?lián)p失值偏向距離邊界近的區(qū)域，而對(duì)于標(biāo)簽真值內(nèi)部的區(qū)域給予很少的關(guān)注。

基于復(fù)合的代價(jià)函數(shù)是基于分布、區(qū)域和邊界的代價(jià)函數(shù)之間的加權(quán)組合，包括Combo Loss[20]、Exponential Logarithmic Loss(ELL)[21等，該類型代價(jià)函數(shù)主要是為了解決單個(gè)代價(jià)函數(shù)不能很好的處理分割任務(wù)的問(wèn)題，通常需要至少兩種及兩種以上的代價(jià)函數(shù)進(jìn)行某種變換加權(quán)得到，但該種方法在實(shí)際應(yīng)用中變得非常困難，需要用戶必須對(duì)各類型代價(jià)函數(shù)都有精準(zhǔn)的估計(jì)，然后從中選擇適合處理某種任務(wù)的代價(jià)函數(shù)。

為了解決以上的這些問(wèn)題，本文提出了一種新的代價(jià)函數(shù)Generalized Region Loss，該代價(jià)函數(shù)也是一種基于區(qū)域計(jì)算損失的代價(jià)函數(shù)，同以往基于區(qū)域的代價(jià)函數(shù)不同的是Generalized Region Loss致力于將圖像損失區(qū)域進(jìn)行精確地分類計(jì)算，使計(jì)算的損失結(jié)果更加符合該區(qū)域的實(shí)際損失值，更加有利于激發(fā)算法的學(xué)習(xí)過(guò)程，使計(jì)算結(jié)果更容易收斂。

2 Generalized Region Loss代價(jià)函數(shù)算法研究

2.1 Generalized Region Loss(GR)函數(shù)

本文提出了一種基于像素區(qū)域細(xì)分計(jì)算的Generalized Region Loss代價(jià)函數(shù)用于圖像分割，其表達(dá)式如式(3)所示：

GR Loss=β·(l1+l3)+(1-β)·(l2+l4)

(3)

該代價(jià)函數(shù)主要是計(jì)算以下兩部分區(qū)域的損失值：真值內(nèi)部區(qū)域和真值外部區(qū)域，具體如圖1所示。真值內(nèi)部區(qū)域主要包括預(yù)測(cè)和真值重合區(qū)域l1、預(yù)測(cè)和真值非重合區(qū)域l3；真值外部區(qū)域主要包括預(yù)測(cè)和背景重合區(qū)域l2、預(yù)測(cè)和背景非重合區(qū)域l4。在式(3)中，參數(shù)β∈[0.01,0.1]控制代價(jià)函數(shù)第一項(xiàng)和第二項(xiàng)之間的平衡，在本函數(shù)中更加關(guān)注那些分類錯(cuò)誤區(qū)域的損失，所以，此β參數(shù)設(shè)置參照Sensi-tivity Specificity Loss[3]而定，具體將其置為0.02，l1、l2、l3、l4詳細(xì)的計(jì)算方式在后邊給出。

圖1 真值內(nèi)部區(qū)域和真值外部區(qū)域

其一針對(duì)預(yù)測(cè)和真值重合區(qū)域來(lái)說(shuō)，即圖1當(dāng)中的l1區(qū)域，在該區(qū)域中一般其預(yù)測(cè)概率已經(jīng)達(dá)到了很大的值，說(shuō)明該區(qū)域預(yù)測(cè)概率已經(jīng)基本達(dá)到預(yù)測(cè)標(biāo)準(zhǔn)，但該部分仍就存在損失，需要通過(guò)公式log或者標(biāo)簽和預(yù)測(cè)差值的方法得到其損失。在此公式中使用的是log計(jì)算方法，因?yàn)樵趯?shí)驗(yàn)中發(fā)現(xiàn)使用此計(jì)算方法稍微優(yōu)于另外一種，分析原因是log相比于另外一種計(jì)算方式對(duì)于那些困難樣本的懲罰更加嚴(yán)重。該區(qū)域損失的計(jì)算如式(4)所示：

(4)

其二針對(duì)預(yù)測(cè)和背景重合區(qū)域來(lái)說(shuō)，即圖1當(dāng)中的l2區(qū)域，在該區(qū)域中一般其預(yù)測(cè)概率達(dá)到了很大的值，說(shuō)明該區(qū)域預(yù)測(cè)概率同預(yù)測(cè)標(biāo)準(zhǔn)差異較大，所以本文希望該區(qū)域概率變得很小，更加接近0，其單個(gè)像素點(diǎn)的預(yù)測(cè)概率值就是其單個(gè)像素點(diǎn)的損失。該區(qū)域損失的計(jì)算如式(5)所示：

(5)

其三針對(duì)預(yù)測(cè)和真值非重合區(qū)域來(lái)說(shuō)，即圖1當(dāng)中的l3區(qū)域，在該區(qū)域中一般其預(yù)測(cè)概率非常小，說(shuō)明該區(qū)域預(yù)測(cè)概率同預(yù)測(cè)標(biāo)準(zhǔn)差異較大，所以本文希望該區(qū)域概率變得較大一些，更加接近1，需要通過(guò)公式log或者標(biāo)簽和預(yù)測(cè)差值的方法得到單個(gè)像素?fù)p失值，具體計(jì)算本文是使用了log計(jì)算方法，同式(4)中是一致的。該區(qū)域損失的計(jì)算如式(6)所示：

(6)

其四針對(duì)預(yù)測(cè)和背景非重合區(qū)域來(lái)說(shuō)，即圖1當(dāng)中的l4區(qū)域，在該區(qū)域中一般其預(yù)測(cè)概率非常小，說(shuō)明該區(qū)域預(yù)測(cè)概率同預(yù)測(cè)標(biāo)準(zhǔn)差異較小，但本文希望該區(qū)域概率變得更小，更加接近0，其單個(gè)像素點(diǎn)的預(yù)測(cè)概率值就是其單個(gè)像素點(diǎn)的損失。該區(qū)域損失的計(jì)算如式(7)所示：

(7)

2.2 GR Loss 函數(shù)中采用和對(duì)比

圖2 使用FCN網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練時(shí)，GR Loss代價(jià)函數(shù)使用和對(duì)Mean IoU的影響

圖3 使用FCN網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練時(shí)，GR Loss代價(jià)函數(shù)使用和對(duì)Mean Class Accuracy的影響

圖4 使用FCN網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練時(shí)，GR Loss代價(jià)函數(shù)α置為不同參數(shù)對(duì)Mean IoU的影響

圖5 使用FCN網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練時(shí)，GR Loss代價(jià)函數(shù)α置為不同參數(shù)對(duì)Mean Class Accuracy的影響

2.3 GR Loss 函數(shù)中參數(shù)α的確定

通過(guò)對(duì)Generalized Region Loss代價(jià)函數(shù)的參數(shù)α進(jìn)行測(cè)試，從圖4當(dāng)中的對(duì)比實(shí)驗(yàn)可以明顯看出，當(dāng)α= 2、3、4時(shí)，該三條曲線增長(zhǎng)趨勢(shì)基本一致；從圖5的對(duì)比實(shí)驗(yàn)可以看出，當(dāng)α= 2、3、4時(shí)，該三條曲線增長(zhǎng)方式同樣基本一致。

仔細(xì)觀察圖5可以看到，α= 4的曲線會(huì)略微高于α= 3的曲線，但α= 4時(shí)公式的計(jì)算復(fù)雜度也同樣高于α= 3的計(jì)算復(fù)雜度。當(dāng)α= 0.75、1時(shí)，從圖4和圖5來(lái)看，該兩條曲線的增長(zhǎng)趨勢(shì)過(guò)于緩慢，在網(wǎng)絡(luò)訓(xùn)練過(guò)程中會(huì)消耗比較多的時(shí)間復(fù)雜度和空間復(fù)雜度，因此在本文不作考慮。

所以綜上所述當(dāng)α= 3時(shí)，Mean IoU以及Mean Class Accuracy效果提升都是比較明顯的，因此在后續(xù)實(shí)驗(yàn)中Generalized Region Loss代價(jià)函數(shù)中的α采用此參數(shù)。

3 代價(jià)函數(shù)在圖像分割中的應(yīng)用

3.1 數(shù)據(jù)集描述

CamVid[22]數(shù)據(jù)集是一種由劍橋大學(xué)公開發(fā)布的城市道路場(chǎng)景的數(shù)據(jù)集，同時(shí)它也是第一個(gè)具有目標(biāo)類別語(yǔ)義標(biāo)簽的視頻集合。該數(shù)據(jù)集包含了700多張精準(zhǔn)標(biāo)注的圖片用于強(qiáng)監(jiān)督學(xué)習(xí)，可分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。同時(shí)，在CamVid 數(shù)據(jù)集中通常使用 11 種常用的類別來(lái)進(jìn)行分割精度的評(píng)估。分別為：道路(Road)、交通標(biāo)志(Symbol)、汽車(Car)、天空(Sky)、行人道(Sidewalk)、電線桿(Pole)、圍墻(Fence)、行人(Pedestrain)、建筑物(Building)、自行車(Bicyclist)、樹木(Tree)。

3.2 評(píng)估指標(biāo)

為了評(píng)估分割精度，本文使用了在圖像分割中4個(gè)常用的評(píng)估指標(biāo)，主要包括有Dice similarity coefficien(DSC)，Intersection over Union (IoU)，精確率(Precision)和召回率(Recall)。DSC、IoU、Precision和Recall分別根據(jù)等式(8)～(11)定義：

(8)

(9)

(10)

(11)

3.3 數(shù)據(jù)集處理

網(wǎng)絡(luò)部署訓(xùn)練過(guò)程中，在FCN網(wǎng)絡(luò)框架下，本文將CamVid數(shù)據(jù)集原圖和標(biāo)簽統(tǒng)一中心裁剪為[3×256×480]大小的圖像，為的是可以一定程度上減少網(wǎng)絡(luò)訓(xùn)練時(shí)間；并且采用了[[0.485,0.456,0.406][0.229,0.224,0.225]]的數(shù)據(jù)歸一化處理，從而消除奇異樣本產(chǎn)生異常數(shù)據(jù)導(dǎo)致的不良影響；優(yōu)化器為Adam且初始學(xué)習(xí)率lr置為10-6，并且學(xué)習(xí)率伴隨著訓(xùn)練次數(shù)的增加逐漸減小為之前的0.5倍，減小周期為50輪。而在U-Net網(wǎng)絡(luò)框架下，為適應(yīng)網(wǎng)絡(luò)模型結(jié)構(gòu)的輸入和輸出，本文將CamVid數(shù)據(jù)集原圖統(tǒng)一中心裁剪為[3×572×572]大小的圖像，標(biāo)簽中心裁剪為[3×388×388]大小的圖像，其它參數(shù)像數(shù)據(jù)歸一化、優(yōu)化器、學(xué)習(xí)率等同F(xiàn)CN訓(xùn)練時(shí)保持一致。

本文實(shí)驗(yàn)環(huán)境為Windows10操作系統(tǒng)，編程語(yǔ)言為Python3.6,深度學(xué)習(xí)框架為PyTorch，硬件環(huán)境CPU為2.90 GHz Intel(R) Xeon(R) W-2102 (8 G內(nèi)存)，GPU為NVIDIA Tesla T4(12 G顯存)。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 使用FCN網(wǎng)絡(luò)結(jié)構(gòu)

在圖6和圖7當(dāng)中使用FCN網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行測(cè)試實(shí)驗(yàn)，通過(guò)對(duì)用于圖像分割的主流的12種代價(jià)函數(shù)進(jìn)行測(cè)試，包括CE Loss、Wce Loss、Topk Loss、Focal Loss、DPCE、dice Loss、Lovasz Loss、Generalized Dice Loss、Tversky loss、Focal Tversky Loss、Asymmetric Similarity Loss、Sensitivity Specificity Loss。因測(cè)試曲線過(guò)多，在圖中不易區(qū)分，我們只將表現(xiàn)最好的代價(jià)函數(shù)曲線同其它代價(jià)函數(shù)曲線進(jìn)行區(qū)分制線。

圖6 使用FCN網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練時(shí)，改變其代價(jià)函數(shù)，將其它12種代價(jià)函數(shù)同GR Loss代價(jià)函數(shù)進(jìn)行對(duì)比，對(duì)比它們之間的Mean IoU

觀察實(shí)驗(yàn)結(jié)果，從圖6當(dāng)中的Mean IoU 來(lái)看，雖然Mean IoU在30輪之前使用Generalized Region Loss代價(jià)函數(shù)提升精度的趨勢(shì)有緩慢，但在訓(xùn)練30輪之后提升速度的趨勢(shì)明顯優(yōu)于其它代價(jià)函數(shù)，并且Generalized Region Loss在訓(xùn)練80輪左右達(dá)到的分割準(zhǔn)確率在使用其它代價(jià)函數(shù)時(shí)至少需要100輪訓(xùn)練才能達(dá)到，促進(jìn)了網(wǎng)絡(luò)的收斂，大大節(jié)省訓(xùn)練時(shí)間。

從圖7當(dāng)中的Mean Class Accuracy來(lái)看，新提出的代價(jià)函數(shù)同Sensitivity Specificity Loss在15輪和65輪左右都出現(xiàn)了交點(diǎn)，在15輪之前，Sensitivity Specificity Loss提升速度略微高于Generalized Region Loss；15輪到65輪之間，Sensitivity Specificity Loss提升速度卻又低于Generalized Region Loss ；65輪之后Sensitivity Specificity Loss提升速度卻又略微高于Generalized Region Loss，可以看出新的代價(jià)函數(shù)與其也是不分伯仲。

圖7 使用FCN網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練時(shí)，改變其代價(jià)函數(shù)，將其它12種代價(jià)函數(shù)同GR Loss代價(jià)函數(shù)進(jìn)行對(duì)比，對(duì)比它們之間的Mean Class Accuracy

4.2 使用U-Net網(wǎng)絡(luò)結(jié)構(gòu)

在圖8和圖9當(dāng)中使用U-Net網(wǎng)絡(luò)進(jìn)行測(cè)試實(shí)驗(yàn)，由于圖6和圖7已經(jīng)對(duì)12種代價(jià)函數(shù)在FCN網(wǎng)絡(luò)上做了測(cè)試，為了避免資源浪費(fèi)，所以圖8和圖9是以圖6和圖7為依據(jù)，從12種代價(jià)函數(shù)中挑選出4個(gè)表現(xiàn)良好的，明顯可以促進(jìn)網(wǎng)絡(luò)收斂的代價(jià)函數(shù)進(jìn)行測(cè)試，主要包括有CE Loss、Topk Loss、Focal Loss、Sensitivity Specificity Loss。

圖8 使用U-Net網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練時(shí)，改變其代價(jià)函數(shù)，將其它4種代價(jià)函數(shù)同GR Loss代價(jià)函數(shù)進(jìn)行對(duì)比，對(duì)比它們之間的Mean IoU

觀察實(shí)驗(yàn)結(jié)果，從圖8當(dāng)中的Mean IoU和圖9當(dāng)中的Mean Class Accuracy來(lái)看，將其它4種代價(jià)函數(shù)同新改進(jìn)的Generalized Region Loss進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果表明，雖然圖8當(dāng)中的Mean IoU指標(biāo)在70輪之前使用新的代價(jià)函數(shù)提升趨勢(shì)有些緩慢，但訓(xùn)練70輪之后提升趨勢(shì)明顯優(yōu)于其它4種代價(jià)函數(shù)，以及新的代價(jià)函數(shù)在訓(xùn)練90輪左右達(dá)到的分割精度在使用其它代價(jià)函數(shù)時(shí)至少需要100輪訓(xùn)練才能達(dá)到，同樣促進(jìn)了網(wǎng)絡(luò)的收斂，大大節(jié)省了訓(xùn)練時(shí)間。

表1 CamVid數(shù)據(jù)集上,使用FCN+5種代價(jià)函數(shù)對(duì)應(yīng)的11種分類精度,黑體代表每種類別精度的最大值

從圖9當(dāng)中的Mean Class Accuracy來(lái)看，新的代價(jià)函數(shù)的提升趨勢(shì)會(huì)略微低于Sensitivity Specificity Loss，但從總體來(lái)看，Generalized Region Loss函數(shù)也有其優(yōu)異的地方。

圖9 使用U-Net網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練時(shí)，改變其代價(jià)函數(shù)，將其它4種代價(jià)函數(shù)同GR Loss代價(jià)函數(shù)進(jìn)行對(duì)比，對(duì)比它們之間的Mean Class Accuracy

4.3 使用FCN和U-Net時(shí)，CamVid數(shù)據(jù)集的11種類別精度對(duì)比分析

通過(guò)在FCN和U-Net兩種網(wǎng)絡(luò)框架上，將表現(xiàn)良好的4種代價(jià)函數(shù)CE Loss、Topk Loss、Focal Loss、Sensitivity Specificity Loss以及新的代價(jià)函數(shù)Generalized Region Loss進(jìn)行對(duì)比分析，從表1和表2可以看出，Generalized Region Loss代價(jià)函數(shù)對(duì)Sidewalk、Fence、Car分割精度明顯優(yōu)于其他代價(jià)函數(shù)，尤其針對(duì)Sidewalk和Fence兩類分割小目標(biāo)來(lái)說(shuō)分割精度明顯提高。

4.4 使用FCN和U-Net時(shí)，四項(xiàng)指標(biāo)對(duì)比分析

從表3和表4來(lái)看，使用Generalized Region Loss代價(jià)函數(shù)在DSC、IoU、Recall幾項(xiàng)指標(biāo)上表現(xiàn)得比較優(yōu)異，明顯優(yōu)于其它4種代價(jià)函數(shù)，而在Precision這項(xiàng)指標(biāo)上會(huì)略微遜色于其它代價(jià)函數(shù)，可見Generalized Region Loss代價(jià)函數(shù)對(duì)誤報(bào)損失FP(False Positives)不太敏感。

表3 使用5種代價(jià)函數(shù)在FCN上訓(xùn)練的結(jié)果，

表4 使用5種代價(jià)函數(shù)在U-Net上訓(xùn)練的結(jié)果，

4.5 不同代價(jià)函數(shù)的分割結(jié)果

本文使用了4種代價(jià)函數(shù)對(duì)CamVid數(shù)據(jù)集進(jìn)行了實(shí)際的測(cè)驗(yàn)分割，具體分割結(jié)果如圖10所示。本文隨機(jī)挑選了CamVid數(shù)據(jù)集預(yù)測(cè)圖中的4張不同道路場(chǎng)景圖進(jìn)行結(jié)果分析，橫向來(lái)看，第一列是道路真實(shí)場(chǎng)景圖；第二列是道路真實(shí)標(biāo)簽圖；第三列是將代價(jià)函數(shù)置為CE Loss后的分割掩碼圖像，可以看到該類型代價(jià)函數(shù)在道路(Road)以及行人(Pedestrian)上的分割效果明顯不如其它3種；第四張是將代價(jià)函數(shù)置為Focal Loss后的分割掩碼圖像，可以看到該類型代價(jià)函數(shù)在道路(Road)以及行人(Pedestrian)上的分割效果略微優(yōu)于使用CE Loss的分割效果，分割輪廓略微準(zhǔn)確；第五張是將代價(jià)函數(shù)置為Sensitivity Specificity Loss后的分割掩碼圖像，可以看到該類型代價(jià)函數(shù)在交通標(biāo)志(Symbol)上的分割效果明顯不如其它3種；而第六張是將代價(jià)函數(shù)置為Generalized Region Loss后的分割掩碼圖像，可以看到該類型代價(jià)函數(shù)不論是在在道路(Road)、行人(Pedestrian)或是交通標(biāo)志(Symbol)上的分割效果明顯優(yōu)于其它3種代價(jià)函數(shù)，分割輪廓相對(duì)來(lái)說(shuō)比較清晰，在CamVid數(shù)據(jù)集上的整體分割效果已經(jīng)基本達(dá)到了令人滿意的程度。

圖10 使用CE、Focal、SS以及GR在CamVid數(shù)據(jù)集上訓(xùn)練150輪后的實(shí)際分割結(jié)果圖

5 結(jié)束語(yǔ)