MFANet: 一種用于霧天圖像語(yǔ)義分割的多任務(wù)融合注意力網(wǎng)絡(luò)

任東東 , 李金寶 ， 趙俊一

(1.黑龍江大學(xué) 計(jì)算機(jī)科學(xué)技術(shù)學(xué)院, 哈爾濱 150080; 2.齊魯工業(yè)大學(xué)(山東省科學(xué)院) 山東省人工智能研究院,濟(jì)南 250014; 3.黑龍江大學(xué) 電子工程學(xué)院, 哈爾濱 150080)

0 引 言

圖像語(yǔ)義分割是圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域一項(xiàng)重要且富有挑戰(zhàn)性的任務(wù)，其目的是為輸入圖像預(yù)測(cè)一個(gè)密集的標(biāo)簽映射，從而為每個(gè)像素生成一個(gè)唯一的類別標(biāo)簽。近年來(lái)，基于卷積神經(jīng)網(wǎng)絡(luò)的方法在語(yǔ)義分割方面取得了顯著成果[1-3]，并在自動(dòng)駕駛和視頻監(jiān)控等領(lǐng)域顯示出巨大的應(yīng)用潛力。 然而，這些應(yīng)用系統(tǒng)在面臨惡劣的天氣環(huán)境時(shí)，由于采集到的圖像質(zhì)量較差，其分割準(zhǔn)確率會(huì)受到較大影響[4]。

在各種惡劣的天氣環(huán)境中，霧是一種較為常見(jiàn)的大氣現(xiàn)象，它是由空氣中的水汽凝結(jié)物、灰塵、煙霧等微小的懸浮顆粒產(chǎn)生的。由于光線在傳播過(guò)程中與大量懸浮顆粒發(fā)生交互作用，光能被重新分布，使得霧天圖像通常呈現(xiàn)模糊泛白、色彩飽和度下降、觀測(cè)目標(biāo)嚴(yán)重退化的現(xiàn)象，這將導(dǎo)致基于逐像素分類的語(yǔ)義分割任務(wù)性能急劇下降。因此，在霧天，尤其是大霧的天氣條件下，如何準(zhǔn)確、快速地分割圖像對(duì)于室外應(yīng)用系統(tǒng)來(lái)說(shuō)十分關(guān)鍵[5-7]。

預(yù)處理法對(duì)有霧圖像提前進(jìn)行去霧處理，使圖像恢復(fù)到無(wú)霧狀態(tài)，不改變?cè)嫉恼Z(yǔ)義分割模型。然而，這種方法主要存在以下兩方面問(wèn)題：(1) 通常是最小化有霧圖像與無(wú)霧圖像之間的均方誤差，容易丟失高頻的圖像細(xì)節(jié)信息，在大霧情況下，該方法可能會(huì)對(duì)于一些紋理邊界豐富的區(qū)域造成過(guò)渡平滑并產(chǎn)生偽影，嚴(yán)重影響邊界處的語(yǔ)義分割精度; (2) 預(yù)處理方法需要對(duì)有霧圖像進(jìn)行端到端的目標(biāo)映射，給語(yǔ)義分割任務(wù)增加了額外的成本和計(jì)算量，限制了在低功耗、高實(shí)時(shí)性系統(tǒng)上的部署和應(yīng)用[8]。

特定訓(xùn)練法通過(guò)在大規(guī)模分割數(shù)據(jù)集上添加一定程度的噪聲和合成霧來(lái)提高分割模型的魯棒性。 然而，霧噪聲會(huì)降低分割模型的特征提取能力，尤其在重霧情況下，圖像整體泛白且邊界模糊。這種方法不但限制了網(wǎng)絡(luò)的特征提取能力，并且容易使分割模型在訓(xùn)練過(guò)程中發(fā)生梯度消散。

針對(duì)上述問(wèn)題，本文提出了一種多任務(wù)融合注意力網(wǎng)絡(luò)(MFANet: Multi-task fusion attention network)。如圖1所示，MFANet將圖像去霧與語(yǔ)義分割任務(wù)融合到一個(gè)網(wǎng)絡(luò)框架中，提高了模型分割魯棒性，避免了任務(wù)級(jí)聯(lián)處理的復(fù)雜性，降低了模型的存儲(chǔ)和計(jì)算成本。

圖1 MFANet整體框架結(jié)構(gòu)Fig.1 Integral frame construction of MFANet

MFANet以編碼解碼器網(wǎng)絡(luò)為基礎(chǔ)，包含去霧編碼模塊，分割解碼模塊和特征轉(zhuǎn)移模塊三部分，具體貢獻(xiàn)： 1) 為避免深層網(wǎng)絡(luò)中高頻細(xì)節(jié)信息的丟失，去霧編碼模塊采用跨尺度殘差連接來(lái)增強(qiáng)特征信息的流動(dòng)，并使用卷積下采樣來(lái)彌補(bǔ)由于池化下采樣造成的信息損失，使網(wǎng)絡(luò)在有效去霧的同時(shí)避免了細(xì)節(jié)特征的丟失； 2) 分割解碼模塊通過(guò)連續(xù)上采樣恢復(fù)圖像的特征分辨率，通過(guò)多尺度特征融合增強(qiáng)不同分辨率的特征利用率，并使用注意力機(jī)制進(jìn)一步突出目標(biāo)特征，增強(qiáng)了分割結(jié)果的準(zhǔn)確性； 3) 特征轉(zhuǎn)移模塊以跳躍連接的形式連接去霧編碼模塊和分割解碼模塊，既保證了兩個(gè)不同任務(wù)模塊間的特征過(guò)渡，又使去霧結(jié)果更加適用于圖像語(yǔ)義分割。

1 相關(guān)工作

1.1 圖像去霧

近年來(lái)，端到端CNNs被設(shè)計(jì)成直接從輸入霧圖像中學(xué)習(xí)干凈圖像以進(jìn)行去霧。 Li等將VGG特征和L1正則化梯度引入條件生成對(duì)抗網(wǎng)絡(luò)(cGAN)進(jìn)行無(wú)霧圖像重建[9]。Ren等設(shè)計(jì)了一個(gè)編碼-解碼器網(wǎng)絡(luò)(GFN)，從三個(gè)由不同物理模型生成的霧圖像中學(xué)習(xí)置信度圖，并將它們?nèi)诤系阶罱K的去霧結(jié)果中[10]。Liu等將語(yǔ)義分割任務(wù)中的GridNet網(wǎng)絡(luò)引入到圖像去霧任務(wù)上，提出了一個(gè)GridDehazeNet用于端到端圖像去霧[11]。Qu等提出了一個(gè)增強(qiáng)型Pix2Pix去霧網(wǎng)絡(luò)，通過(guò)分階段的去霧模塊來(lái)增強(qiáng)去霧效果[12]。Deng等提出了一種深度多模型融合網(wǎng)絡(luò)，將多個(gè)物理模型得到的結(jié)果融合到不同的層中，大幅提高了圖像去霧的性能[13]。上述方法在圖像去霧任務(wù)上效果顯著，然而，在去霧過(guò)程中，圖像的高級(jí)語(yǔ)義信息并未得到充分考慮，去霧結(jié)果也不能完全適用于圖像語(yǔ)義分割。為了克服這一缺點(diǎn)，本研究將圖像去霧與語(yǔ)義分割算法融合到統(tǒng)一的網(wǎng)絡(luò)框架中，通過(guò)圖像重建損失、分割交叉熵?fù)p失共同優(yōu)化去霧模塊。在圖像語(yǔ)義信息的約束下，去霧網(wǎng)絡(luò)產(chǎn)生了更加突出的語(yǔ)義特征，進(jìn)一步提高了分割的精確度和魯棒性。

1.2 語(yǔ)義分割

傳統(tǒng)的語(yǔ)義分割方法通過(guò)使用支持向量機(jī)(Support vector machines, SVM)等手工先驗(yàn)分類器實(shí)現(xiàn)逐像素分割。 Brian等使用超像素作為類分割和像素定位方法的基本單元，根據(jù)每個(gè)超像素中找到的局部特征直方圖構(gòu)造分類器，并通過(guò)在每個(gè)超像素的鄰域內(nèi)聚合直方圖來(lái)規(guī)范分類器，然后使用條件隨機(jī)場(chǎng)進(jìn)一步細(xì)化分割結(jié)果[14]。Gabriel和Florent提出了一種簡(jiǎn)單的語(yǔ)義分割方法，通過(guò)強(qiáng)制執(zhí)行局部一致性來(lái)指導(dǎo)圖像低層次分割，并使用全局圖像分類器增強(qiáng)圖像級(jí)別的一致性[15]。Shotton等通過(guò)對(duì)圖像紋理、布局和上下文信息的聯(lián)合建模來(lái)實(shí)現(xiàn)多類對(duì)象的識(shí)別和分割[16]。

隨著深度學(xué)習(xí)技術(shù)的進(jìn)步和大規(guī)模數(shù)據(jù)集的開(kāi)發(fā)，語(yǔ)義分割任務(wù)得到了突飛猛進(jìn)的發(fā)展。Vijay等提出了一個(gè)新穎的深度分割網(wǎng)絡(luò)模型，簡(jiǎn)稱SegNet[1]。該網(wǎng)絡(luò)由一個(gè)編碼器網(wǎng)絡(luò)、一個(gè)相應(yīng)的解碼器網(wǎng)絡(luò)和一個(gè)像素級(jí)的分類層組成，具有高效的存儲(chǔ)內(nèi)存和計(jì)算時(shí)間。Long等通過(guò)融合深層和淺層的特征信息[17]，將分類網(wǎng)絡(luò)(AlexNet[18]、VGG[19]和GoogLeNet[20]) 改造為完全卷積網(wǎng)絡(luò)，并微調(diào)最終的表示形式,實(shí)現(xiàn)分割任務(wù)的要求。Chen等通過(guò)使用擴(kuò)張卷積來(lái)獲取上下文信息，并提出了一種基于空間特征金字塔的上下文信息聚合語(yǔ)義分割網(wǎng)絡(luò)[21]。Zhao等提出了一種圖像級(jí)聯(lián)網(wǎng)絡(luò)(ICNet)，通過(guò)處理多分辨率的圖像，減少像素級(jí)標(biāo)簽預(yù)測(cè)產(chǎn)生的高計(jì)算量，通過(guò)級(jí)聯(lián)特征融合實(shí)現(xiàn)高質(zhì)量的語(yǔ)義分割結(jié)果[3]。Jiao等提出了一種專門(mén)用于語(yǔ)義分割的知識(shí)蒸餾方法，提高了整體跨距大的緊湊FCNs的性能[22]。此外，為了解決學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)之間特征不一致的問(wèn)題，通過(guò)利用預(yù)先訓(xùn)練好的自動(dòng)編碼器轉(zhuǎn)移潛在域的特征相似度，通過(guò)計(jì)算整個(gè)圖像的非局部相互作用來(lái)獲取特征間長(zhǎng)期依賴關(guān)系。然而，上述語(yǔ)義分割算法使用的數(shù)據(jù)集大都是在亮度適當(dāng)、輪廓清晰和色彩均衡條件下收集的，當(dāng)在霧天環(huán)境，特別是大霧環(huán)境下測(cè)試時(shí)，其準(zhǔn)確率會(huì)大幅降低。因此，本文使用有霧情況下的圖像數(shù)據(jù)集，通過(guò)去霧編碼模塊和特征轉(zhuǎn)移模塊，實(shí)現(xiàn)有霧特征到無(wú)霧特征的轉(zhuǎn)移，增強(qiáng)了算法對(duì)有霧天氣的適應(yīng)性和魯棒性。

1.3 多任務(wù)學(xué)習(xí)

多任務(wù)學(xué)習(xí)被廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)問(wèn)題中。Teichman等提出了一種使用統(tǒng)一架構(gòu)進(jìn)行聯(lián)合分類、檢測(cè)和分割的方法，其中編碼器在三種任務(wù)中共享[23]。Kokkinos提出了一個(gè)UberNet網(wǎng)絡(luò)，該網(wǎng)絡(luò)通過(guò)聯(lián)合處理進(jìn)行邊緣檢測(cè)、角點(diǎn)估計(jì)、顯著性估計(jì)、語(yǔ)義分割、人體部分分割、語(yǔ)義邊界檢測(cè)和目標(biāo)檢測(cè)等低、中、高級(jí)的任務(wù)[24]。Eigen等使用多尺度CNN來(lái)處理深度預(yù)測(cè)、表面法線估計(jì)和語(yǔ)義標(biāo)記三種不同的計(jì)算機(jī)視覺(jué)任務(wù)[25]。Xu等提出了一種多任務(wù)引導(dǎo)的預(yù)測(cè)蒸餾網(wǎng)PAD-net，從低級(jí)特征到高級(jí)特征的轉(zhuǎn)換，將轉(zhuǎn)換特征作為最終任務(wù)的多模態(tài)輸入[26]。目前，多任務(wù)學(xué)習(xí)都是提取聯(lián)合特征，然后進(jìn)行任務(wù)分類，最后實(shí)現(xiàn)多任務(wù)的目標(biāo)，屬于并行處理機(jī)制。本文以語(yǔ)義分割作為唯一的任務(wù)目標(biāo)，通過(guò)去霧和分割兩項(xiàng)任務(wù)順序處理，實(shí)現(xiàn)任務(wù)間的影響和相互促進(jìn)。

2 方 法

為提高霧天語(yǔ)義分割的準(zhǔn)確率和魯棒性，降低語(yǔ)義分割模型的存儲(chǔ)和計(jì)算成本，設(shè)計(jì)了一種圖像去霧和語(yǔ)義分割任務(wù)融合的深度學(xué)習(xí)模型,如圖1所示。MFANet以編碼解碼器網(wǎng)絡(luò)為基礎(chǔ)，將編碼模塊和解碼模塊分別應(yīng)用于圖像去霧和語(yǔ)義分割，通過(guò)特征轉(zhuǎn)移模塊連接編碼和解碼器。

2.1 去霧編碼模塊

Dehazing encoder module為去霧編碼模塊如圖1 所示，由一個(gè)4層的空間金字塔構(gòu)成，通過(guò)對(duì)輸入圖像進(jìn)行連續(xù)的卷積和下采樣生成不同分辨率的特征圖。為降低參數(shù)和計(jì)算復(fù)雜度，前三層采用兩次卷積操作，最后一層采用一次卷積操作，每一個(gè)卷積操作后都伴有一個(gè)Relu激活層，卷積核大小為3×3，步長(zhǎng)為1，通道數(shù)量分別為32、64、128和256。每層的下采樣方式為最大池化，訓(xùn)練階段輸入圖像的尺寸為256×256，各層的特征分辨率分別為256×256、128×128、64×64和32×32。隨著網(wǎng)絡(luò)深度的增加和池化下采樣次數(shù)的增多，網(wǎng)絡(luò)的高頻特征容易丟失。因此，去霧編碼模塊采用跨尺度殘差連接來(lái)恢復(fù)丟失的細(xì)節(jié)信息，跨越的尺度層采用卷積核大小為3×3、步長(zhǎng)為2的卷積操作對(duì)齊不同分辨率的特征圖，并以通道疊加的方式進(jìn)行特征融合?？绯叨葰埐钸B接可以表示為：

xl+1=p(xl)+f(xl)

(1)

式中：l表示不同分辨率的特征層；p(·)為卷積核大小為3×3、步長(zhǎng)為2的卷積下采樣；f(·)由兩個(gè)步長(zhǎng)為1的卷積和一個(gè)最大池化構(gòu)成。

2.2 分割解碼模塊

分割解碼模塊與去霧模塊相對(duì)應(yīng)，分割解碼模塊通過(guò)連續(xù)的卷積和反卷積逐步上采樣特征圖，每一個(gè)尺度的特征均是由上一尺度的反卷積和對(duì)應(yīng)的編碼器轉(zhuǎn)移特征層融合組成，并通過(guò)卷積和反卷積操作傳輸?shù)礁叻直媛蕦印?在分割解碼器模塊中，最低層采用一次卷積操作，后三層采用兩次卷積操作，每一個(gè)卷積操作后都伴有一次Relu激活層，卷積核大小為3×3，步長(zhǎng)為1，通道數(shù)量分別為256、128、64和32。每層的上采樣方式為反卷積，訓(xùn)練階段輸出圖像的尺寸為256×256，各層的特征分辨率分別為32×32、64×64、128×128和256×256。在解碼器模塊中，低分辨率的特征圖具有更大的感受視野和全局信息，高分辨率的特征圖具有更多的細(xì)節(jié)信息和局部特征。為了使分割算法適應(yīng)不同分辨率圖像，并提高不同尺度目標(biāo)分割的精度，在輸出層采用多尺度融合方法進(jìn)行特征匯集，具體過(guò)程如下：

S=cat(L1,L2,L3,L4)

(2)

式中：S為融合后特征圖；cat(·)為特征圖級(jí)聯(lián)疊加；Li為不同層的輸出特征圖。為對(duì)齊低分辨率特征到輸出分辨率，采用反卷積方式進(jìn)行上采樣。

為重點(diǎn)關(guān)注有利于分割的特征信息，弱化噪聲等無(wú)關(guān)信息，各尺度特征融合后采用注意力機(jī)制進(jìn)行非線性的特征通道篩選。注意力模塊以SE-block[27]為基礎(chǔ)，主要分為通道壓縮和特征激勵(lì)兩個(gè)階段。利用特征圖的通道間關(guān)系來(lái)產(chǎn)生通道注意力圖，通道注意力主要關(guān)注各通道全局的突出特征。首先，為了有效匯集空間信息，計(jì)算各通道的非線性關(guān)系，壓縮了輸入要素圖的空間維度，對(duì)每個(gè)通道實(shí)施全局平均池化操作，具體計(jì)算公式為：

(3)

式中:Cr表示第r個(gè)通道;XCr(i,j)代表第r通道的第i行第j列元素。

激勵(lì)階段是由2個(gè)全連接層(FC)和一個(gè)Relu激活函數(shù)組成，然后再由門(mén)控函數(shù)Sigmoid控制輸出，兩次全連接采用中間層8倍降維，即FC(480,60)-FC(60,992)。激勵(lì)過(guò)程可表示為：

MC(F)=σ(W1δ(W2ZCr))

(4)

式中：δ(·)表示Relu激活函數(shù)；σ(·)表示Sigmoid函數(shù)。

2.3 特征轉(zhuǎn)移模塊

MFANet(Feature transfer moduleke)共包含4個(gè)特征轉(zhuǎn)移模塊，每一個(gè)特征轉(zhuǎn)移模塊都連接一對(duì)相應(yīng)的去霧編碼層和分割解碼層，輸入特征層為去霧編碼層，輸出層傳輸?shù)椒指罱獯a層。特征轉(zhuǎn)移模塊的詳細(xì)結(jié)構(gòu)如圖2所示，分別由卷積、Relu激活、卷積、Sigmoid、逐像素相乘和逐像素相加組成，其中2個(gè)卷積層的卷積核大小為3×3，步長(zhǎng)為1。

圖2 特征轉(zhuǎn)移模塊框架結(jié)構(gòu)Fig.2 Architecture of feature transfer module

2.4 損失函數(shù)

語(yǔ)義分割的目標(biāo)函數(shù)是分割損失，并不能對(duì)輸入的霧圖像進(jìn)行明確的霧噪聲去除建模。并且隨著網(wǎng)絡(luò)的加深，圖像的高頻紋理特征易出現(xiàn)丟失，不利于精確分割其邊緣細(xì)節(jié)。 因此，在每個(gè)特征轉(zhuǎn)移模塊，加入了一個(gè)重建損失來(lái)強(qiáng)制約束去霧編碼階段的特征結(jié)果更接近無(wú)霧圖。使用均方誤差MSE作為重建損失，可以表示為：

Lmse=‖XT-Xgt‖2

(5)

式中:XT表示去霧后圖像；Xgt表示清晰的目標(biāo)圖像。

對(duì)于最終的分割輸出，使用預(yù)測(cè)的偽像素標(biāo)簽和標(biāo)注標(biāo)簽之間的交叉熵作為分割損失。分割損失可以表示為：

(6)

3 實(shí)驗(yàn)數(shù)據(jù)

使用Cityscapes數(shù)據(jù)集[28]作為原始圖像數(shù)據(jù)。Cityscapes是一個(gè)由車載相機(jī)采集的真實(shí)城市道路圖像數(shù)據(jù)集，拍攝范圍覆蓋了德國(guó)及其附近國(guó)家的50個(gè)城市。該數(shù)據(jù)集共包含5 000張分割標(biāo)注好的圖像樣本，其中訓(xùn)練集2 975張，驗(yàn)證集500張，測(cè)試集1 525張。所有訓(xùn)練、驗(yàn)證和測(cè)試圖像的每個(gè)像素都進(jìn)行了精準(zhǔn)的類別標(biāo)注，數(shù)據(jù)集中共有34個(gè)不同的分類。此數(shù)據(jù)是在晴朗的天氣情況下采集的，圖像質(zhì)量較高，而本文主要解決霧天的圖像語(yǔ)義分割問(wèn)題，因此,在Cityscapes數(shù)據(jù)集上合成霧噪聲。在高質(zhì)量圖像上添加模擬霧，通常是將霧建模為一個(gè)函數(shù)，該函數(shù)與場(chǎng)景深度密切相關(guān)，并由場(chǎng)景到攝像機(jī)的距離參數(shù)化。因此，無(wú)霧圖像和其深度圖構(gòu)成了霧天圖像合成的基礎(chǔ)。

在以往的去霧研究中，使用了各種光學(xué)模型來(lái)模擬霧對(duì)可視化場(chǎng)景的影響。因?yàn)橛徐F和無(wú)霧情況下形成圖像的物理過(guò)程本質(zhì)上是相似的，所以在無(wú)霧圖像合成過(guò)程中使用了標(biāo)準(zhǔn)的光學(xué)模型，表示為：

I(x)=R(x)t(x)+L(1-t(x))

(7)

式中：I(x)為有霧圖像的像素；R(x)為無(wú)霧圖像的像素；L為全局大氣光程；t(x)為傳輸量，決定了到達(dá)相機(jī)的場(chǎng)景亮度。在均勻介質(zhì)的情況下，傳輸量取決于場(chǎng)景到相機(jī)的距離l(x)，可以表示為：

t(x)=exp(-βl(x))

(8)

式中：β表示衰減系數(shù)，能有效地控制霧的厚度，值越大則產(chǎn)生的霧越重。

氣象光學(xué)距離(Meteorological optical range，MOR)，又稱為能見(jiàn)度，是描述霧嚴(yán)重程度的常用指標(biāo)，通常相機(jī)到場(chǎng)景的距離要大于0.05 m，由式(8)可知，此時(shí)的能見(jiàn)度為MOR=2.996/β。根據(jù)氣象標(biāo)準(zhǔn)，霧天的能見(jiàn)度要低于1公里，因此，衰減系數(shù)的取值范圍確定為：

β> 2.996 × 10-3m-1

(9)

根據(jù)式(9)，原始圖像可被合成為輕霧、中霧和重霧三種類型，對(duì)應(yīng)的衰減系數(shù)分別為0.005、0.015和0.030，可視化結(jié)果如圖3所示，合成霧后的數(shù)據(jù)集由原來(lái)的5 000張圖像擴(kuò)充到15 000張。

(a) Clean image

4 實(shí)驗(yàn)數(shù)據(jù)

4.1 實(shí)驗(yàn)設(shè)置

實(shí)現(xiàn)細(xì)節(jié)：MFANet采用ADAM優(yōu)化方法，參數(shù)Beta1和Beta2分別設(shè)置為0.9和0.999，學(xué)習(xí)率為5×10-5，權(quán)重衰減為2×10-4，Batch size為16。實(shí)驗(yàn)環(huán)境為基于Ubuntu 16.04操作系統(tǒng)的PyTorch深度學(xué)習(xí)框架，使用GPU進(jìn)行訓(xùn)練，配置NVIDIA CUDA 10.1+cuDNNv 7.6.1深度學(xué)習(xí)庫(kù)加速GPU運(yùn)算，用于訓(xùn)練和測(cè)試的軟件為Python 3.5，訓(xùn)練階段共使用了3塊NVIDIA Tesla V100 32GB GPU。

評(píng)價(jià)指標(biāo)：IOU (Intersection over unions)是語(yǔ)義分割任務(wù)中常用的評(píng)價(jià)標(biāo)準(zhǔn)，它量化了預(yù)測(cè)掩模與標(biāo)簽掩模之間的重疊度。具體來(lái)說(shuō)，對(duì)于每個(gè)類，IOU為預(yù)測(cè)區(qū)域與目標(biāo)區(qū)域的交集與并集之比。表示為：

(10)

式中：I(X)表示交集集合；U(X)表示并集集合，可近似如下：

(11)

當(dāng)存在多個(gè)類時(shí)，則計(jì)算所有類的平均IOU(mIOU)。

4.2 實(shí)驗(yàn)設(shè)置

不同方法在Cityscapes有霧圖像上的定性分割結(jié)果如圖4所示，所有實(shí)驗(yàn)圖像均為真實(shí)車載相機(jī)拍攝，前三行為重度霧，后三行為輕度霧。比較了目前在mIOU和FLOPs上表現(xiàn)最好的兩種方法，其他方法由于頁(yè)面限制不再展示，定量結(jié)果如表1中所示。如圖4所示，每一類物體場(chǎng)景均由一種顏色標(biāo)簽標(biāo)示，由于霧對(duì)圖像色彩、紋理等的影響，ESPNetv2和ERFNet的分割結(jié)果比較差，無(wú)法準(zhǔn)確判斷類別，并且邊界分割不清晰。而本文提出的MFANet則有效克服了霧給分割任務(wù)帶來(lái)的影響，其結(jié)果在場(chǎng)景分類和邊界分割上更加準(zhǔn)確。

(a) Haze image

不同方法在Cityscapes霧圖像測(cè)試集上的定量恢復(fù)結(jié)果如表1所示，分別對(duì)比了平均IOU (mIOU)和浮點(diǎn)運(yùn)算數(shù) (FLOPs)兩個(gè)指標(biāo)，最好的結(jié)果字體加粗顯示，次好的下劃線顯示?？梢钥闯?，在霧圖像上已有方法的mIOU均比較低, 最好的ERFNet只有55.9，而本文方法的mIOU為66.8, 要明顯高于其他方法。在FLOPs指標(biāo)上，盡管本方法包含了去霧模塊和分割模塊，但由于對(duì)這兩個(gè)任務(wù)模塊融合處理，所以MFANet的FLOPs僅有3.3 B，要遠(yuǎn)低于其它方法。雖然比方法ESPNetv2略高，但mIOU卻比其高出12.5，具有更高的綜合性能。

表1 不同方法在Cityscapes霧圖像測(cè)試集上的mIOU和FLOPsTable 1 mIOU and FLOPs on the Cityscapes haze image testset by different methods

為了進(jìn)一步證明本文方法的魯棒性和對(duì)環(huán)境的適應(yīng)性，Cityscapes圖像測(cè)試集無(wú)霧情況下的測(cè)試結(jié)果如表2所示。在無(wú)霧情況下，本方法依然取得最好的定量分割結(jié)果，在mIOU上比次好的ERFNet高出 6.1。

表2 不同方法在Cityscapes測(cè)試集(無(wú)霧)上的mIOU和FLOPsTable 2 mIOU and FLOPs on the Cityscapes testset (without haze) by different methods

為驗(yàn)證各關(guān)鍵技術(shù)對(duì)網(wǎng)絡(luò)性能的影響，通過(guò)消融實(shí)驗(yàn)進(jìn)一步證明了各個(gè)模塊的有效性。如表3所示，在Cityscapes有霧測(cè)試集上，通過(guò)分別對(duì)跨尺度殘差連接、多尺度特征融合和注意力模塊進(jìn)行了消融實(shí)驗(yàn)，結(jié)果表明各模塊對(duì)分割的性能都有一定程度的提升，證明了其有效性。

表3 不同技術(shù)模塊在Cityscapes有霧測(cè)試集上的mIOUTable 3 mIOU on the Cityscapes haze image testset by different technology modules

5 結(jié) 論

設(shè)計(jì)了一種新穎高效的多任務(wù)融合注意力網(wǎng)絡(luò)，有效地解決了霧環(huán)境下的圖像語(yǔ)義分割問(wèn)題。通過(guò)對(duì)網(wǎng)絡(luò)的結(jié)構(gòu)優(yōu)化，既減少了存儲(chǔ)和計(jì)算成本，又有效克服了霧噪聲對(duì)分割任務(wù)的影響。實(shí)驗(yàn)結(jié)果表明，本方法分割的霧圖像，可以生成更準(zhǔn)確、更精細(xì)的結(jié)果，具有更高的mIOU。所提出的方法可推廣到不同類型的低質(zhì)量圖像語(yǔ)義分割任務(wù)，如模糊圖像語(yǔ)義分割和暗圖像語(yǔ)義分割等。