融合多尺度信息的弱監(jiān)督語(yǔ)義分割及優(yōu)化

熊昌鎮(zhèn)，智慧

（北方工業(yè)大學(xué)城市道路交通智能控制技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室，北京 100144）

1 引言

語(yǔ)義分割是目前比較流行的一種視覺(jué)識(shí)別任務(wù)，其主要目的是給圖像中的每一個(gè)像素進(jìn)行語(yǔ)義類(lèi)別的劃分，在生物醫(yī)療圖像的分析[1-2]，自動(dòng)駕駛[3]、圖像搜索引擎[4]、人機(jī)交互[5-6]等各個(gè)領(lǐng)域都有著廣泛的應(yīng)用。最近幾年基于深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN，deep convolution neural network）[7]法的語(yǔ)義分割任務(wù)在性能上有了較大提升，并且達(dá)到了在基準(zhǔn)測(cè)試數(shù)據(jù)集上的最高水平。然而DCNN的學(xué)習(xí)過(guò)程需要大量的像素級(jí)標(biāo)注訓(xùn)練數(shù)據(jù)，制作此類(lèi)像素級(jí)標(biāo)注的過(guò)程比較耗時(shí)費(fèi)力，導(dǎo)致現(xiàn)有數(shù)據(jù)集上的分割標(biāo)注在質(zhì)量和多樣性上仍然無(wú)法滿(mǎn)足需求。為了克服收集訓(xùn)練數(shù)據(jù)標(biāo)注的困難并設(shè)計(jì)一個(gè)更具有擴(kuò)展性和通用性的語(yǔ)義分割模型，研究者們致力于弱監(jiān)督學(xué)習(xí)的研究，通過(guò)更易獲得的較像素級(jí)標(biāo)注更弱的監(jiān)督信息來(lái)實(shí)現(xiàn)語(yǔ)義分割，如基于類(lèi)標(biāo)[8-11]及類(lèi)標(biāo)加輔助信息[12-14]、像素點(diǎn)[15]、邊界框[16-17]、涂鴉等[18]四大類(lèi)弱標(biāo)注的語(yǔ)義分割算法。其中類(lèi)標(biāo)是最容易獲取的標(biāo)注，Pathak等[8]將語(yǔ)義分割看作是多實(shí)例學(xué)習(xí)的問(wèn)題，利用最大池化操作強(qiáng)行限制每張圖像至少有一個(gè)像素屬于正實(shí)例目標(biāo)類(lèi)，但是因?yàn)楸O(jiān)督信息缺失了目標(biāo)的位置和形狀，導(dǎo)致分割結(jié)果不太平滑。隨后Pathak等[9]提出了嵌入位置信息，利用可辨識(shí)性定位自動(dòng)識(shí)別出每個(gè)語(yǔ)義類(lèi)的大體區(qū)域位置來(lái)提高分類(lèi)的精度。Kwak等[10]利用超像素池化層生成初始語(yǔ)義分割需要的邊緣形狀信息。雖然這些方法可以粗略地定位目標(biāo)，但是通常不能精確地推斷出像素信息，因?yàn)楦鼉A向于聚焦目標(biāo)的部分顯著信息，而不是目標(biāo)的整個(gè)區(qū)域。Kolesnikov等[11]則提出將種子損失、擴(kuò)張損失和約束邊界損失集成到一個(gè)網(wǎng)絡(luò)訓(xùn)練分割模型進(jìn)行訓(xùn)練，并應(yīng)用全局加權(quán)排序池化操作，約束目標(biāo)邊界信息并聚焦目標(biāo)顯著位置，但該算法對(duì)于背景相似的目標(biāo)區(qū)域在定位上容易產(chǎn)生偏差，而且類(lèi)別識(shí)別的效果不是太好。為進(jìn)一步提升分割性能，研究者們開(kāi)始以類(lèi)標(biāo)注為基礎(chǔ)擴(kuò)增新的數(shù)據(jù)信息，Lin等[12]提出利用自然語(yǔ)言作為弱監(jiān)督標(biāo)注，Hong等[13]利用額外數(shù)據(jù)（非目標(biāo)數(shù)據(jù)源）的像素標(biāo)注輔助弱監(jiān)督信息學(xué)習(xí)，但是需與實(shí)際目標(biāo)數(shù)據(jù)的類(lèi)別相互獨(dú)立，再依靠遷移學(xué)習(xí)捕獲目標(biāo)類(lèi)需要的像素信息。Hong等[14]以網(wǎng)頁(yè)視頻作為額外數(shù)據(jù)源，利用目標(biāo)和背景的不同動(dòng)態(tài)信息與三維結(jié)構(gòu)信息區(qū)分出前景與周?chē)谋尘靶畔?，獲取更準(zhǔn)確的目標(biāo)邊界，使分割性能有了較大的提升，但整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)小目標(biāo)信息的捕獲比較欠缺。第二類(lèi)以像素點(diǎn)為弱標(biāo)注信息可提供目標(biāo)粗略位置的方式，有助于提升分割效果。Bearman等[15]提出將分類(lèi)損失和定位損失相結(jié)合，并增加了目標(biāo)顯著性作為先驗(yàn)知識(shí)來(lái)優(yōu)化，但從其結(jié)果來(lái)看分割邊緣不完整。第三類(lèi)以邊界框?yàn)槿鯓?biāo)注信息可提供整個(gè)目標(biāo)區(qū)域位置的信息，可進(jìn)一步提升目標(biāo)的分割效果。Papandreou等[16]利用最大期望（EM，expectationmaximization）來(lái)動(dòng)態(tài)預(yù)測(cè)邊界框內(nèi)的前景像素。Dai[17]沒(méi)有對(duì)邊界框內(nèi)的像素進(jìn)行直接評(píng)估，而是利用現(xiàn)成的候選區(qū)域（region proposals）迭代選取最佳區(qū)域，進(jìn)而生成分割掩碼，分割性能與類(lèi)標(biāo)監(jiān)督相比有了很大提升，但是相較全監(jiān)督語(yǔ)義分割性能還有較大差距。第四類(lèi)以涂鴉為標(biāo)注信息即是在興趣目標(biāo)上簡(jiǎn)單勾畫(huà)一條線，它提供目標(biāo)相對(duì)位置范圍內(nèi)的一些稀疏像素信息。Lin等[18]利用圖模型優(yōu)化交互式分割模型，即在訓(xùn)練過(guò)程中循環(huán)利用當(dāng)前的分割結(jié)果作為監(jiān)督信息進(jìn)行迭代直至模型收斂，性能相當(dāng)于邊界框給出的分割結(jié)果。遺憾的是該標(biāo)注在其他數(shù)據(jù)集上不可用。

以上各類(lèi)弱監(jiān)督語(yǔ)義分割算法在復(fù)雜背景及包含眾多小目標(biāo)的場(chǎng)景下，對(duì)狹小目標(biāo)及目標(biāo)的形狀邊緣分割往往不理想，主要原因還是對(duì)目標(biāo)尺度空間的信息學(xué)習(xí)不全面，然而目前在強(qiáng)監(jiān)督語(yǔ)義分割任務(wù)中已有多種學(xué)習(xí)尺度空間特征的算法[19-21]。Chen等[19]將金字塔式輸入圖像送入到DCNN以提取不同尺度上的顯著度特征。Yu等[20]在原有網(wǎng)絡(luò)頂部級(jí)聯(lián)空洞卷積層來(lái)捕獲圖像不同尺度信息。Zhao等[21]利用空間金字塔式池化作用于最后一層卷積，進(jìn)而獲取多種尺度分辨率的目標(biāo)特征。這些多尺度算法在強(qiáng)監(jiān)督語(yǔ)義分割中均可以獲得良好效果，證實(shí)了學(xué)習(xí)尺度空間信息的有效性。鑒于此，本文以遷移學(xué)習(xí)網(wǎng)絡(luò)[12]為基本框架，以金字塔式多尺度圖像為網(wǎng)絡(luò)的輸入，并增加一個(gè)新層對(duì)多尺度特征進(jìn)行降維，構(gòu)建多尺度的弱監(jiān)督語(yǔ)義分割模型，提取目標(biāo)的多尺度特征。語(yǔ)義分割通常包含圖像類(lèi)別預(yù)測(cè)和像素分割兩部分內(nèi)容，類(lèi)別預(yù)測(cè)效果對(duì)最終分割結(jié)果起著至關(guān)重要的作用，因?yàn)殄e(cuò)誤的目標(biāo)類(lèi)別必然會(huì)導(dǎo)致像素分割的錯(cuò)誤[11,13,16]。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，以邊界框?yàn)楸O(jiān)督信息的目標(biāo)檢測(cè)技術(shù)也得到了很大的發(fā)展，檢測(cè)精度和速度都有很大提升[22-23]。為避免類(lèi)別錯(cuò)誤導(dǎo)致的分割失敗，引入文獻(xiàn)[23]中在同源數(shù)據(jù)集學(xué)習(xí)的檢測(cè)模型給出的圖像類(lèi)別信息來(lái)提升分割的精度。現(xiàn)有算法中單模型分割算法對(duì)某些目標(biāo)的分割效果好，但對(duì)另一些目標(biāo)的分割效果差，無(wú)法學(xué)到所用類(lèi)別的有效信息，導(dǎo)致無(wú)法對(duì)所有目標(biāo)類(lèi)都進(jìn)行有效分割，會(huì)導(dǎo)致模型泛化能力差，不同分割模型的側(cè)重點(diǎn)不同，學(xué)習(xí)到的語(yǔ)義特征也不同，即每個(gè)模型都有各自的優(yōu)勢(shì)[9-10]，為充分利用不同模型的優(yōu)勢(shì)，本文對(duì)多尺度分割模型進(jìn)行優(yōu)化，與原遷移學(xué)習(xí)模型進(jìn)行集成，同時(shí)結(jié)合類(lèi)別可信度和像素分割可信度進(jìn)一步提升圖像分割的精度。

2 多尺度圖像分割

將應(yīng)用于強(qiáng)監(jiān)督語(yǔ)義分割算法的多尺度信息引入弱監(jiān)督分割算法中，以遷移學(xué)習(xí)模型為基礎(chǔ)，輸入多個(gè)尺度的圖像，提取多個(gè)尺度上的圖像特征后歸一化成相同大小的特征圖再拼合在一起構(gòu)造多尺度特征，然后對(duì)多尺度特征進(jìn)行降維，利用遷移學(xué)習(xí)模型的注意力機(jī)制模型初始化新構(gòu)造的多尺度模型，最后對(duì)多尺度分割模型進(jìn)行訓(xùn)練，學(xué)習(xí)多尺度特征的信息。該模型的基本框架如圖1所示，主要包括提取多尺度特征的編碼結(jié)構(gòu)fenc、多尺度特征圖級(jí)聯(lián)與降維，聚焦目標(biāo)顯著區(qū)域的注意力機(jī)制fatt和低維特征解碼至高維特征進(jìn)行前景分割的解碼結(jié)構(gòu)fdec。

2.1 學(xué)習(xí)圖像的多尺度信息

采用與遷移學(xué)習(xí)模型相同的編碼結(jié)構(gòu)、注意力機(jī)制和解碼結(jié)構(gòu)[13]，用x表示來(lái)自源數(shù)據(jù)集S或目標(biāo)數(shù)據(jù)集T的輸入圖像。首先將輸入圖像縮放成分辨率為330×330固定大小的圖像塊，經(jīng)過(guò)隨機(jī)裁剪變成分辨率為 320×320的圖像，利用尺度因子s∈ {1,0.75,0.5}將裁剪后的圖像塊縮放成3種不同尺度，作為3組并行編碼器fenc的輸入，如式（1）所示。

其中，eθ為3組編碼器fenc的共享卷積層訓(xùn)練參數(shù)，為編碼器最后一層卷積層輸出特征圖，w、h和d分別代表特征圖的寬、高和輸出維度。再將尺度因子為0.75和0.5對(duì)應(yīng)的特征圖As按照雙線性插值進(jìn)行放大，即保持與編碼器中輸入尺度因子為1的最后一層卷積層輸出特征圖相同大小，然后再將縮放后的特征圖沿維度方向進(jìn)行級(jí)聯(lián)，同時(shí)在編碼器的末端增加一個(gè)新的卷積層，對(duì)融合的多尺度特征圖進(jìn)行降維以生成固定的通道數(shù)，進(jìn)而適應(yīng)后續(xù)注意力機(jī)制的輸入要求，通過(guò)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)圖像的多尺度特征。

2.2 聚焦目標(biāo)的顯著區(qū)域

當(dāng)給出融合后特征圖A和對(duì)應(yīng)目標(biāo)類(lèi)向量形式 ??時(shí)，注意力機(jī)制的作用就是學(xué)A中的對(duì)應(yīng)目標(biāo)類(lèi)位置的正權(quán)重向量表示第l個(gè)目標(biāo)類(lèi)與對(duì)應(yīng)特征位置的相關(guān)性。注意力機(jī)制的過(guò)程可表示為

其中，αθ為注意力機(jī)制fatt的模型參數(shù)；表示第l類(lèi)的類(lèi)標(biāo)向量，在訓(xùn)練過(guò)程表示來(lái)自源數(shù)據(jù)與目標(biāo)數(shù)據(jù)的真值類(lèi)，在模型執(zhí)行推斷時(shí)則表示分類(lèi)器給出的目標(biāo)預(yù)測(cè)類(lèi)，即圖1的類(lèi)別處。lv為非正則化的聚焦權(quán)重，通過(guò)softmax函數(shù)給出正則化后的權(quán)重lα，目的是鼓勵(lì)模型只聚焦圖像目標(biāo)類(lèi)的一個(gè)顯著區(qū)域[24]。遷移學(xué)習(xí)算法中所用的注意力機(jī)制fatt為

訓(xùn)練注意力機(jī)制fatt的過(guò)程即是最小化分類(lèi)損失的過(guò)程，用ec表示softmax函數(shù)，用于計(jì)算真值和預(yù)測(cè)類(lèi)標(biāo)的損失。

其中，θc為分類(lèi)層的學(xué)習(xí)參數(shù)，表示來(lái)自源數(shù)據(jù)與目標(biāo)數(shù)據(jù)第i張圖的類(lèi)l顯著響應(yīng)圖。

2.3 生成前景分割圖

圖1 多尺度特征分割模型

當(dāng)注意力機(jī)制給出興趣目標(biāo)類(lèi)的位置時(shí)，接下來(lái)便需要解碼器來(lái)重構(gòu)相應(yīng)聚焦目標(biāo)的前景分割圖。由于經(jīng)過(guò)softmax之后聚焦權(quán)重會(huì)變得比較稀疏，為此需要將式（4）獲得的特定目標(biāo)類(lèi)顯著圖lz作為解碼器輸入的系數(shù)，以獲取密集顯著圖，且與注意力機(jī)制聚焦的顯著圖lα具有相同大小，即表示為

訓(xùn)練解碼器的過(guò)程為最小化分割損失，對(duì)應(yīng)的目標(biāo)函數(shù)es為softmax損失函數(shù)可表示為

其中，θs表示解碼器fdec的學(xué)習(xí)參數(shù)，為源數(shù)據(jù)集 S的l類(lèi)中的第i類(lèi)目標(biāo)的二值分割圖，i∈S表示目標(biāo)函數(shù)的優(yōu)化只對(duì)源數(shù)據(jù)集進(jìn)行。但是學(xué)得的參數(shù)sθ對(duì)不同目標(biāo)類(lèi)是實(shí)現(xiàn)共享的，所以該結(jié)構(gòu)能夠利用已學(xué)得的通用類(lèi)的基本特征，如顏色、形狀、紋理等先驗(yàn)知識(shí)遷移應(yīng)用到其他多類(lèi)場(chǎng)景。解碼器fdec的基本結(jié)構(gòu)與編碼器fenc呈對(duì)稱(chēng)形式，通過(guò)一系列的上采樣、轉(zhuǎn)置卷積及校正運(yùn)算將低分辨的目標(biāo)類(lèi)特征圖重構(gòu)為與輸入x相同大小的密集前景分割圖。

多尺度特征模型訓(xùn)練對(duì)新增加的層及解碼器部分均使用零均值高斯分布初始化，學(xué)習(xí)過(guò)程中固定編碼器的權(quán)重，利用原遷移學(xué)習(xí)模型的對(duì)應(yīng)層對(duì)編碼器、注意力機(jī)制進(jìn)行初始化，并應(yīng)用自適應(yīng)矩估計(jì)算法（Adam，adaptive moment estimation），根據(jù)式（5）分類(lèi)目標(biāo)函數(shù)學(xué)習(xí)新層與注意力機(jī)制的參數(shù)，以及式（7）分割目標(biāo)函數(shù)來(lái)學(xué)習(xí)解碼器部分的參數(shù)。

3 算法優(yōu)化

將文獻(xiàn)[23]中同源數(shù)據(jù)集學(xué)習(xí)的檢測(cè)模型給出的圖像分類(lèi)結(jié)果作為多尺度分割模型預(yù)測(cè)時(shí)的新分類(lèi)器，只使用檢測(cè)模型給出的預(yù)測(cè)目標(biāo)類(lèi)及類(lèi)別可信度；然后對(duì)類(lèi)別優(yōu)化后的多尺度模型與原遷移學(xué)習(xí)模型進(jìn)行加權(quán)集成；最后利用新分類(lèi)器的類(lèi)別可信度優(yōu)化集成模型輸出分割圖的像素可信度，以進(jìn)一步提升分割的精度。

3.1 類(lèi)別預(yù)測(cè)優(yōu)化

語(yǔ)義分割任務(wù)實(shí)際包含圖像類(lèi)別預(yù)測(cè)和像素分割這2類(lèi)任務(wù)模型所用分類(lèi)器的預(yù)測(cè)效果對(duì)最終像素級(jí)分割結(jié)果起著至關(guān)重要的作用，因?yàn)殄e(cuò)誤的目標(biāo)類(lèi)必然會(huì)導(dǎo)致像素分割的錯(cuò)誤，而模型結(jié)構(gòu)中添加的分類(lèi)層fcls，只是為了學(xué)習(xí)目標(biāo)數(shù)據(jù)集類(lèi)別上的注意力機(jī)制，訓(xùn)練過(guò)程結(jié)束后，需要引入一個(gè)單獨(dú)的分類(lèi)器完成模型的預(yù)測(cè)。原遷移學(xué)習(xí)的分類(lèi)器是基于 VGG16的全卷積神經(jīng)網(wǎng)絡(luò)的類(lèi)別預(yù)測(cè)，預(yù)測(cè)準(zhǔn)確率不夠，影響分割效果，鑒于學(xué)習(xí)數(shù)據(jù)集（MS COCO（microsoft common objects in context）[25]，VOC 2012（visual object classes challenge）[26]）的考慮，選用在同源數(shù)據(jù)集上學(xué)習(xí)的檢測(cè)模型作為目標(biāo)分割時(shí)的類(lèi)別分類(lèi)器，基于弱監(jiān)督學(xué)習(xí)模式的衡量，不輸出檢測(cè)框位置信息，只將檢測(cè)結(jié)果的圖像目標(biāo)類(lèi)別l及類(lèi)別可信度lP的信息保存下來(lái)，并于圖1所示的類(lèi)別處給入到多尺度特征分割模型中，隨后模型自適應(yīng)構(gòu)建注意力權(quán)重即相應(yīng)目標(biāo)類(lèi)的顯著區(qū)域。

3.2 模型集成優(yōu)化

當(dāng)假設(shè)空間較大時(shí)，單模型分割算法往往不能保證對(duì)所有目標(biāo)類(lèi)的有效性，導(dǎo)致模型泛化性能差。此時(shí)如果有多個(gè)假設(shè)在相同數(shù)據(jù)集上訓(xùn)練并能達(dá)到同等性能，便可以將多個(gè)學(xué)習(xí)器進(jìn)行結(jié)合，利用個(gè)體學(xué)習(xí)器間的差異性互補(bǔ)來(lái)有效規(guī)避單一模型的性能缺陷[27]。因此，將性能相近且同屬“神經(jīng)網(wǎng)絡(luò)式”的多尺度特征模型與原遷移學(xué)習(xí)模型進(jìn)行集成，并按照加權(quán)的方式進(jìn)行模型融合，如式（8）所示。

3.3 分割可信度優(yōu)化

鑒于注意力機(jī)制只是給出興趣目標(biāo)的粗略位置，對(duì)目標(biāo)遮擋、復(fù)雜背景、噪聲混入等情況，模型輸出的分割圖包含所有預(yù)測(cè)目標(biāo)類(lèi)的像素信息，但是其中某些類(lèi)的位置信息會(huì)有偏差，致使分割錯(cuò)誤。研究發(fā)現(xiàn)引起錯(cuò)誤的類(lèi)通常在分類(lèi)器預(yù)測(cè)的可信度與視覺(jué)顯著度上呈負(fù)相關(guān)。利用新分類(lèi)器給出的預(yù)測(cè)類(lèi)別可信度lP，調(diào)整相應(yīng)類(lèi)的概率圖響應(yīng)像素值，即用低目標(biāo)類(lèi)概率值抑制錯(cuò)誤響應(yīng)的高像素值，用高預(yù)測(cè)類(lèi)概率值提升輸出的低響應(yīng)像素值，達(dá)到規(guī)避假正例區(qū)域及非預(yù)測(cè)目標(biāo)的噪聲信息，同時(shí)強(qiáng)化正確類(lèi)標(biāo)的分割圖像的目的。預(yù)測(cè)類(lèi)可信度優(yōu)化分割概率圖如式（9）所示。

4 實(shí)驗(yàn)結(jié)果與分析

多尺度分割模型使用MS COCO為源數(shù)據(jù)集S，VOC 2012為目標(biāo)數(shù)據(jù)集T，其中源數(shù)據(jù)集S共含60類(lèi)目標(biāo)，與目標(biāo)數(shù)據(jù)集T的20類(lèi)目標(biāo)相互獨(dú)立；目標(biāo)數(shù)據(jù)集T僅提供類(lèi)別監(jiān)督信息。最后在VOC2012驗(yàn)證集、測(cè)試集進(jìn)行語(yǔ)義分割實(shí)驗(yàn)，采用平均交并比（mIoU，mean intersection-over- Union）來(lái)衡量實(shí)際分割結(jié)果與分割真值（GT，groud truth）的差異。實(shí)驗(yàn)中使用文獻(xiàn)[23]中的 PVANet模型進(jìn)行目標(biāo)檢測(cè)，將大于給定閾值的邊界框類(lèi)標(biāo)和最大概率作為分割圖像的類(lèi)別及可信度，只使用類(lèi)別信息，不使用邊界框的信息。實(shí)驗(yàn)中所用的類(lèi)別閾值為0.75，將檢測(cè)的類(lèi)別結(jié)果和可信度保存下來(lái)，在圖像分割時(shí)只加載類(lèi)別信息，不進(jìn)行實(shí)際目標(biāo)檢測(cè)操作。

4.1 多尺度分割模型和自身優(yōu)化算法的對(duì)比實(shí)驗(yàn)

將原遷移學(xué)習(xí)模型記為O，多尺度特征模型記為M。表1給出了多尺度特征模型、集成模型、預(yù)測(cè)目標(biāo)類(lèi)及其可信度優(yōu)化在VOC 2012的驗(yàn)證集上的性能對(duì)比。多尺度特征模型與原遷移學(xué)習(xí)模型集成時(shí)的個(gè)體學(xué)習(xí)器給定權(quán)重按w1:w2= 3:2的比例加權(quán)，后綴 c 表示引入新分類(lèi)器后的結(jié)果，p是分類(lèi)器給出的預(yù)測(cè)目標(biāo)類(lèi)可信度。從表中的數(shù)據(jù)可以看出，構(gòu)建的多尺度特征模型M與原遷移學(xué)習(xí)模型O具有相似的分割性能，滿(mǎn)足同質(zhì)型差異化模型集成的具有一定“準(zhǔn)確性”要求。引入類(lèi)別預(yù)測(cè)優(yōu)化的圖像分割算法（M_c）同比多尺度特征模型利用的原遷移學(xué)習(xí)模型固有分類(lèi)器在性能上提升了2.9%。經(jīng)過(guò)雙模型的集成優(yōu)化后M+O_c分割算法性能又提升了2.9%，證明單一學(xué)習(xí)器具有不可避免的性能缺陷，利用集成學(xué)習(xí)可以使同質(zhì)型差異化模型實(shí)現(xiàn)互補(bǔ)，從而提升分割的效果。由于模型結(jié)構(gòu)中的注意力機(jī)制只能給出目標(biāo)的粗略位置，在出現(xiàn)目標(biāo)遮擋、復(fù)雜背景、噪聲混入等情形時(shí)，分割往往容易出現(xiàn)錯(cuò)誤，因此使用圖像類(lèi)的預(yù)測(cè)可信度p對(duì)算法進(jìn)行優(yōu)化，同比集成模型提升了0.9%，驗(yàn)證了本文算法的多尺度分割及不同優(yōu)化策略引入都不同程度地提升了分割算法的精度。

表1 本文算法在VOC 2012的驗(yàn)證集上的性能對(duì)比

表1數(shù)據(jù)中M+O_gt表示的是集成模型引入真值類(lèi)標(biāo)的分割性能，但比集成模型結(jié)合類(lèi)及可信度優(yōu)化算法M+O_c_p要低0.7%，說(shuō)明分類(lèi)真值并不能作為算法的上限。這是因?yàn)轭?lèi)別真值只是表示該圖像有這類(lèi)目標(biāo)，可信度為 100%，但不考慮目標(biāo)的大小、位置等信息，同時(shí)圖像中又包含與此類(lèi)目標(biāo)相類(lèi)似的其他信息，導(dǎo)致圖像分割結(jié)果中該類(lèi)別的像素分割的可信度高，造成圖像分割錯(cuò)誤，而目標(biāo)的大小、形狀和位置信息對(duì)圖像分類(lèi)都會(huì)造成影響。分類(lèi)的可信度表示類(lèi)別分類(lèi)的難度，與分割可信度相結(jié)合可避免類(lèi)別可信度低而分割可信度高造成的假正例現(xiàn)象。

圖2給出了基于不同形式的目標(biāo)類(lèi)分割效果對(duì)比圖，即直接引入真值圖像類(lèi)別信息和預(yù)測(cè)的目標(biāo)類(lèi)別信息進(jìn)行分割的結(jié)果。圖 2（a）是輸入圖像，圖 2（b）是真值分割圖，圖 2（c）是引入的真值目標(biāo)類(lèi)別分割圖，圖2（d）是引入預(yù)測(cè)目標(biāo)類(lèi)別及可信度優(yōu)化的分割結(jié)果。對(duì)應(yīng)上述實(shí)驗(yàn)的M+O_c_p的結(jié)果，可以看出預(yù)測(cè)類(lèi)別及可信度優(yōu)化的分割效果明顯優(yōu)于直接給定真值類(lèi)的分割圖。其原因是復(fù)雜背景及包含有眾多小目標(biāo)的情況下，注意力機(jī)制聚焦的興趣目標(biāo)位置是稀疏的，當(dāng)引入包含最完整信息的真值類(lèi)時(shí)，在預(yù)測(cè)過(guò)程根據(jù)分割響應(yīng)圖的像素值大小確定的最終分割圖時(shí)，往往會(huì)出現(xiàn)類(lèi)正確但是位置錯(cuò)誤的情況，弱化了分割精度。通過(guò)引入分類(lèi)器預(yù)測(cè)目標(biāo)類(lèi)時(shí)輸出的類(lèi)可信度，不僅可以強(qiáng)化正確目標(biāo)類(lèi)相應(yīng)的像素響應(yīng)值，還可以抑制錯(cuò)誤定位的類(lèi)響應(yīng)值，進(jìn)而改善分割的性能。

圖2 不同目標(biāo)類(lèi)別下的分割效果

4.2 與其他算法對(duì)比實(shí)驗(yàn)

圖3顯示了部分測(cè)試圖像在驗(yàn)證集上的語(yǔ)義分割結(jié)果圖。第一列是輸入圖像，第二列是原遷移學(xué)習(xí)模型O（TransferNet[13]）的分割結(jié)果，對(duì)比本文第三列的多尺度特征提取模型M，可以看出模型M能夠給出尺度空間上更豐富的信息，但是因?yàn)樵诸?lèi)器的準(zhǔn)確度不是太高，導(dǎo)致部分目標(biāo)信息的丟失，而且由于注意力機(jī)制的粗定位，部分目標(biāo)給出的顯著區(qū)域不合理，造成了單一的多尺度特征分割并不理想。第四列M_c是在模型M的基礎(chǔ)上更換新分類(lèi)器 c，可以看出減少了目標(biāo)信息的丟失，進(jìn)而避免了因類(lèi)預(yù)測(cè)失敗造成分割不理想的情況。第五列是引入新分類(lèi)器的同質(zhì)型集成模型分割效果圖，明顯可以看出通過(guò)模型間的互補(bǔ)性，目標(biāo)的分割更準(zhǔn)確，彌補(bǔ)了丟失的信息，去除了多余的噪聲信息。第六列是引入預(yù)測(cè)目標(biāo)類(lèi)可信度p優(yōu)化后分割效果，發(fā)現(xiàn)正確目標(biāo)類(lèi)的有效分割區(qū)域更加完整了，同時(shí)有效地抑制了假正例區(qū)域，使得最終的模型分割信息更全面，邊緣輪廓更細(xì)致。

同時(shí)為了更加充分的驗(yàn)證算法的性能，與目前采用各類(lèi)弱監(jiān)督信息（類(lèi)標(biāo)及類(lèi)標(biāo)加輔助信息、像素點(diǎn)、邊界框、涂鴉）實(shí)現(xiàn)語(yǔ)義分割的主流算法進(jìn)行對(duì)比，包括目前單純以類(lèi)標(biāo)作為弱監(jiān)督信息的最好算法 AffinityNet[28]，為了對(duì)比的公正性，只給出了基于網(wǎng)絡(luò)VGG-16結(jié)構(gòu)的性能對(duì)比。表2列出了各類(lèi)算法在VOC 2012驗(yàn)證集和測(cè)試集上的分割性能對(duì)比結(jié)果。其中，I指應(yīng)用類(lèi)別作為監(jiān)督信息，P指應(yīng)用像素點(diǎn)作為監(jiān)督信息，S是簡(jiǎn)筆涂鴉式監(jiān)督信息方式，B是指利用邊界框?yàn)楸O(jiān)督信息，*表示加入了強(qiáng)監(jiān)督信息。從表2中可以看出多尺度分割及優(yōu)化算法在驗(yàn)證集上的結(jié)果比AffinityNet算法高0.4%，比基于相同遷移學(xué)習(xí)模型改進(jìn)的CrawlSeg[14]算法提高了0.7%。AffinityNet算法提出利用親和網(wǎng)絡(luò)預(yù)測(cè)相鄰像素間的語(yǔ)義相似性，進(jìn)而將局部響應(yīng)擴(kuò)散到同一語(yǔ)義實(shí)體的附近區(qū)域，最后通過(guò)預(yù)測(cè)的像素相似性隨機(jī)游走實(shí)現(xiàn)語(yǔ)義傳播，對(duì)目標(biāo)的響應(yīng)區(qū)域位置及類(lèi)別預(yù)測(cè)效果都比較好，但是它的實(shí)際分割對(duì)目標(biāo)的輪廓及細(xì)節(jié)信息處理不是太完整。多尺度分割及優(yōu)化算法在測(cè)試集上的結(jié)果有些不盡如人意，但是比 TransferNet[13]提升了 6.3%。結(jié)果說(shuō)明多尺度分割模型有效地提取了多尺度的空間信息，并與同質(zhì)型原遷移學(xué)習(xí)模型進(jìn)行集成，提高了泛化性能，對(duì)捕獲細(xì)節(jié)輪廓信息更有效； 同時(shí)利用預(yù)測(cè)目標(biāo)類(lèi)及其可信度優(yōu)化注意力機(jī)制的定位，獲得了更好的分割效果。

圖3 VOC 2012 驗(yàn)證集分割效果對(duì)比

表2 VOC2012驗(yàn)證集/測(cè)試集性能對(duì)比

圖4給出的是一些失敗案例，圖4（a）與圖4（d）是相應(yīng)案例的原圖，圖 4（b）與圖 4（e）是對(duì)應(yīng)原圖的真值分割圖，圖 4（c）與圖 4（f）是模型預(yù)測(cè)分割圖。作為弱監(jiān)督的語(yǔ)義分割算法，因?yàn)楸O(jiān)督信息缺失目標(biāo)數(shù)據(jù)集圖像的位置和形狀關(guān)鍵信息，往往會(huì)在復(fù)雜背景或者眾多小目標(biāo)的情況下出現(xiàn)錯(cuò)誤。失敗案例表明，因?yàn)樽⒁饬C(jī)制對(duì)興趣目標(biāo)的定位是粗糙的，難免會(huì)引入噪聲信息，縱使對(duì)目標(biāo)的顯著性響應(yīng)進(jìn)行優(yōu)化也不能完全解決，從而影響分割的準(zhǔn)確性。后期可以考慮增加一些對(duì)目標(biāo)顯著性精確定位的措施，強(qiáng)化興趣目標(biāo)的整體響應(yīng)區(qū)域。

5 結(jié)束語(yǔ)

圖4 一些分割失敗的例子

考慮到原遷移學(xué)習(xí)的單模型在復(fù)雜背景或目標(biāo)類(lèi)別比較多的情況下，往往對(duì)小目標(biāo)形狀邊緣分割不理想，同時(shí)也因分類(lèi)器的目標(biāo)識(shí)別不準(zhǔn)確導(dǎo)致分割對(duì)象出現(xiàn)錯(cuò)誤，以及基于注意力機(jī)制的粗定位，簡(jiǎn)單使用顯著性響應(yīng)容易引入噪聲信息等問(wèn)題，構(gòu)建了可提取多尺度特征信息的圖像分割模型，提取圖像的多尺度信息，并引入3種優(yōu)化策略對(duì)分割算法優(yōu)化以提升分割精度。優(yōu)化策略首先將同質(zhì)型差異化的多尺度特征模型與原遷移模型進(jìn)行模型集成，以彌補(bǔ)單模型的性能缺陷；然后引入新的圖像分類(lèi)器改善預(yù)測(cè)目標(biāo)類(lèi)別的準(zhǔn)確度提高圖像分割的性能；最后結(jié)合預(yù)測(cè)類(lèi)可信度優(yōu)化分割響應(yīng)圖的像素可信度，避免類(lèi)別可信度低而圖像分割可信高造成圖像分割錯(cuò)誤。在目標(biāo)數(shù)據(jù)集VOC2012測(cè)試算法，實(shí)驗(yàn)給出了單尺度特征模型、雙模型集成、新類(lèi)別分類(lèi)器及類(lèi)可信度優(yōu)化的實(shí)驗(yàn)結(jié)果，并與其他前沿算法進(jìn)行了對(duì)比。結(jié)果表明，多尺度特征模型及優(yōu)化算法，在VOC 2012驗(yàn)證集上的平均交并比達(dá)58.8%，測(cè)試集上的平均交并比為57.5%，比原遷移學(xué)習(xí)算法提升12.9%和12.3%，在驗(yàn)證集比目前以類(lèi)標(biāo)作為監(jiān)督信息的最好語(yǔ)義分割 AffinityNet算法提升 0.7%，驗(yàn)證了本文算法的有效性。由于使用的基礎(chǔ)網(wǎng)絡(luò)性能不夠及注意力機(jī)制的缺陷影響了分割效果的進(jìn)一步提升，后續(xù)將考慮改善網(wǎng)絡(luò)結(jié)構(gòu)和引入目標(biāo)顯著性改善注意力機(jī)制來(lái)提高分割的效果。