基于劃分圖像內(nèi)容分級(jí)的語(yǔ)義分割算法*

羅子明 馮開平 羅立宏

(廣東工業(yè)大學(xué)計(jì)算機(jī)學(xué)院,廣東廣州 510006)

0 引言

近年來(lái),由于語(yǔ)義分割在醫(yī)學(xué)圖像處理和自動(dòng)駕駛方面具有廣闊的應(yīng)用前景,越來(lái)越多的研究人員將目光放在語(yǔ)義分割上。語(yǔ)義分割結(jié)合了圖像分類、目標(biāo)檢測(cè)和圖像分割,通過一定的方法將圖像分割成具有一定語(yǔ)義含義的區(qū)域塊,并識(shí)別出每個(gè)區(qū)域塊的語(yǔ)義類別,實(shí)現(xiàn)從底層到高層的語(yǔ)義推理過程,最終得到一幅具有逐像素語(yǔ)義標(biāo)注的分割圖像?；诰矸e神經(jīng)網(wǎng)絡(luò)的語(yǔ)義分割方法與傳統(tǒng)的語(yǔ)義分割方法最大不同是,神經(jīng)網(wǎng)絡(luò)可以自動(dòng)學(xué)習(xí)圖像的特征,進(jìn)行端到端的分類學(xué)習(xí),大大提升語(yǔ)義分割的精確度。

本文的主要貢獻(xiàn)如下:(1)本文將語(yǔ)義分割的任務(wù),即將輸入圖像全部像素進(jìn)行分類的任務(wù)按照分類難度劃分成不同的子任務(wù),分別訓(xùn)練端對(duì)端的U-net神經(jīng)網(wǎng)絡(luò),解決了單一U-net在語(yǔ)義分割難度等級(jí)高的類的精度不高的問題。(2)本文通過集成神經(jīng)網(wǎng)絡(luò)來(lái)輸出最終的語(yǔ)義分割結(jié)果,在集成神經(jīng)網(wǎng)絡(luò)上使用了多種卷積核相結(jié)合的方法,使算法在圖片特征提取的過程中保持較大的感受野,減少空間特征信息的丟失。

1 研究基礎(chǔ)

經(jīng)典的語(yǔ)義分割算法有全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Networks)[1],它包含卷積層和用于恢復(fù)空間信息的上采樣層,另外一種是基于編碼解碼器的卷積神經(jīng)網(wǎng)絡(luò),經(jīng)典的構(gòu)架為SegNet。

總的來(lái)說(shuō),當(dāng)語(yǔ)義分割任務(wù)要區(qū)分的類的數(shù)目增多或被區(qū)分的物體在不同的圖片中有不一樣的特征的時(shí)候,語(yǔ)義分割的精度就會(huì)下降。學(xué)者們嘗試了許多方法來(lái)解決這個(gè)問題,提高語(yǔ)義分割算法的精度。其中Bengio等人提出的循環(huán)學(xué)習(xí)的方法[2]是在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的時(shí)候按語(yǔ)義分割難度區(qū)分各類,從簡(jiǎn)單類到困難類逐步訓(xùn)練。而深層級(jí)聯(lián)方法[3]則是使用級(jí)聯(lián)的IRNet,其方法主要是根據(jù)不同的難度等級(jí)逐步根據(jù)上一步的結(jié)果對(duì)圖像進(jìn)行分割。這些成果驗(yàn)證了在具有類別劃分的數(shù)據(jù)集上將語(yǔ)義分割任務(wù)劃分成各個(gè)子任務(wù)是可行的。

本研究在上述研究的基礎(chǔ)上按照各類別分割的難度將語(yǔ)義分割任務(wù)拆分成多個(gè)分類子任務(wù)。本研究按以下兩點(diǎn)判別類別的難度等級(jí):(1)該類別的像素點(diǎn)數(shù)目占總的像素?cái)?shù)目的百分比;(2)該類別的物體的特征是否會(huì)隨著圖片的不同而發(fā)生較大的改變。

本研究為各個(gè)難度等級(jí)分別訓(xùn)練神經(jīng)網(wǎng)絡(luò),從這些網(wǎng)絡(luò)中獲取概率圖并輸入給集成網(wǎng)絡(luò),通過集成網(wǎng)絡(luò)輸出最終的語(yǔ)義分割結(jié)果。本研究使用的CamVid[4]數(shù)據(jù)集包含11個(gè)類,根據(jù)每個(gè)類的像素點(diǎn)的多少將這11個(gè)類分成容易、中等、困難三個(gè)難度等級(jí)。4個(gè)像素點(diǎn)最多的類劃分為簡(jiǎn)單,3個(gè)像素點(diǎn)最少的類劃分為困難,剩下的4個(gè)類劃分為中等。

2 算法架構(gòu)

如圖1算法架構(gòu)示意圖所示,本方法主要分為兩大部分,為每個(gè)不同難度等級(jí)訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)和訓(xùn)練一個(gè)集成神經(jīng)網(wǎng)絡(luò),將從各個(gè)子任務(wù)的神經(jīng)網(wǎng)絡(luò)中獲取的概率圖輸入到集成網(wǎng)絡(luò)中。

2.1 各難度等級(jí)網(wǎng)絡(luò)訓(xùn)練

本研究將圖像的全類別劃分成不同的難度等級(jí)。通常若某個(gè)類別的像素點(diǎn)多,那么該類別就容易劃分出來(lái),反之,若某個(gè)類別的像素點(diǎn)少,那么就不容易劃分出來(lái)。因此,本研究根據(jù)不同類別的像素點(diǎn)的多少來(lái)劃分其分割難度。

圖1 算法架構(gòu)圖Fig.1 Algorithm architecture diagram

圖2 是CamVid數(shù)據(jù)集中的一幅圖片,本研究將CamVid數(shù)據(jù)集的11個(gè)類劃分成三個(gè)難度等級(jí):4個(gè)像素點(diǎn)最多的類劃分為簡(jiǎn)單,3個(gè)像素點(diǎn)最少的類劃分為困難,剩下的4個(gè)類劃分為中等。

本研究使用U-n e t 作為各個(gè)難度等級(jí)的分類器。在U-n e t 中使用交叉熵?fù)p失函數(shù)。如圖1 算法架構(gòu)所示Unet_1,U-net_2和U-net_3的輸出表示為F1,F2和F3,F表示經(jīng)過映射的概率圖。U-net_1,U-net_2和U-net_3分別對(duì)應(yīng)三個(gè)不同的難度等級(jí)。

2.2 集成網(wǎng)絡(luò)

如圖3所示的架構(gòu)處理上一步各個(gè)難度等級(jí)的U-net輸出的概率圖,將級(jí)聯(lián)的概率圖F1,F2和F3輸入到集成網(wǎng)絡(luò)中,在集成網(wǎng)絡(luò)中使用兩種卷積核(1×1,3×3)。1×1卷積表示各個(gè)像素點(diǎn)的概率加權(quán)和;3×3 卷積表示局部區(qū)域的概率加權(quán)和。通過softmax獲得輸出概率,集成網(wǎng)絡(luò)的損失函數(shù)也是交叉熵?fù)p失函數(shù)。

2.3 網(wǎng)絡(luò)訓(xùn)練

本研究在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的時(shí)候根據(jù)圖片各類別像素點(diǎn)的多少來(lái)確定各個(gè)U-net所占的全總,類別權(quán)重的計(jì)算公式:

式中Wc表示某類別的權(quán)重,fm表示中位頻率,fc表示該類別的頻率。

在訓(xùn)練網(wǎng)絡(luò)時(shí),總的損失函數(shù)定義:

總的損失為各個(gè)神經(jīng)網(wǎng)絡(luò)損失的和。表1展示了各個(gè)網(wǎng)絡(luò)架構(gòu)、難度分級(jí)、類別權(quán)重和損失函數(shù)的對(duì)應(yīng)關(guān)系。

3 實(shí)驗(yàn)設(shè)置與實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)部分將本研究提出的方法與傳統(tǒng)的不對(duì)類按難度劃分的方法進(jìn)行對(duì)比,使用交并比(IoU)作為性能對(duì)比的指標(biāo)。IoU的計(jì)算公式:

其中TP,FP,FN分別表示真陽(yáng)性,假陽(yáng)性和假陰性計(jì)數(shù)。

3.1 實(shí)驗(yàn)設(shè)置

圖2 難度等級(jí)分類示意圖Fig.2 Schematic diagram of difficulty level classification

圖3 級(jí)聯(lián)網(wǎng)絡(luò)示意圖Fig.3 Schematic diagram of cascade network;

圖4 在CamVid 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Fig.4 Experimental results on CamVid data set

本實(shí)驗(yàn)使用CamVid數(shù)據(jù)集,該數(shù)據(jù)集包含11個(gè)類,701張照片(其中367張圖片作為訓(xùn)練集,101張圖片作為驗(yàn)證集,233張圖片作為測(cè)試集),圖片尺寸為360×480像素。本實(shí)驗(yàn)設(shè)置批處理尺寸大小為4,學(xué)習(xí)率設(shè)置為0.001。

本研究使用的方法將數(shù)據(jù)集全部11個(gè)類按照各類像素點(diǎn)的多少分成了多個(gè)難度等級(jí)。將難度等級(jí)分為兩級(jí)(容易,困難)和三級(jí)(容易,中等,困難)。(1)在難度等級(jí)兩級(jí)的情況下:將天空、建筑、道路、樹木、車輛劃分為容易這一等級(jí);將燈柱、人行道、指示牌、行人、自行車手劃分為困難等級(jí)。(2)在難度等級(jí)三級(jí)的情況下:將天空、建筑、道路、樹木劃分為容易等級(jí);將人行道、指示牌、圍欄和車劃分為中等等級(jí);將燈柱、行人和自行車手劃分為困難等級(jí)。

3.2 實(shí)驗(yàn)結(jié)果

圖4為CamVid數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果對(duì)比,從上到下四組圖片分別是原圖,實(shí)測(cè)值,使用本實(shí)驗(yàn)方法的分割結(jié)果和使用U-net的分割結(jié)果。

表1 展示了傳統(tǒng)的方法與本研究的方法在I o U 上的精準(zhǔn)度對(duì)比。其中第一行是沒有劃分難度等級(jí)使用單一U-net的方法在各個(gè)類別上的IoU,第二,三行分別是劃分了兩個(gè)難度等級(jí)和三個(gè)難度等級(jí)的各個(gè)類別的IoU。如表1 所示,本研究使用的改進(jìn)方法與不劃分難度等級(jí)的傳統(tǒng)方法對(duì)比在各類平均IoU上有了2%的提升。尤其是在圍欄、人行道、自行車手這三類上有超過5 % 的提升,這些類都被劃分為中等難度或者困難難度,這說(shuō)明本研究的方法對(duì)于一些較難檢測(cè)的類的語(yǔ)義分割精度有提升作用。

表1 CamVid 數(shù)據(jù)集實(shí)驗(yàn)結(jié)果對(duì)比Tab.1 Comparison of experimental results of camvid data set

4 結(jié)論

本研究提出了一種通過劃分不同難度等級(jí)提高語(yǔ)義分割精度的方法,首先將語(yǔ)義分割的任務(wù)劃分成多個(gè)按不同難度等級(jí)進(jìn)行語(yǔ)義分割的子任務(wù),提高了各子任務(wù)的神經(jīng)網(wǎng)絡(luò)對(duì)自身困難等級(jí)的語(yǔ)義特征的提取能力,提高了神經(jīng)網(wǎng)絡(luò)的性能。其次,通過級(jí)聯(lián)的集成網(wǎng)絡(luò)加權(quán)各個(gè)子任務(wù)神經(jīng)網(wǎng)絡(luò)的特征輸出,輸出語(yǔ)義分割結(jié)果。最后在C a m V i d 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)證實(shí)了本研究方法的有效性。

下一步的研究可以分兩個(gè)方向:(1)本研究使用的神經(jīng)網(wǎng)絡(luò)架構(gòu)為U-net,但是在不同的難度等級(jí)上可以使用不同深度的神經(jīng)網(wǎng)絡(luò),具體來(lái)說(shuō)就是對(duì)難度等級(jí)為容易的類使用淺層的網(wǎng)絡(luò),對(duì)難度等級(jí)為困難的類使用更深層的神經(jīng)網(wǎng)絡(luò)。(2)在計(jì)算各層網(wǎng)絡(luò)的權(quán)重的時(shí)候可以使用更強(qiáng)的擬合算法來(lái)代替加權(quán)平均。