視差注意力的立體圖像顏色校正方法

鄭愈明，范媛媛，牛玉貞，2

1(福州大學(xué) 計(jì)算機(jī)與大數(shù)據(jù)學(xué)院，福州 350105) 2(空間數(shù)據(jù)挖掘與信息共享省部共建教育部重點(diǎn)實(shí)驗(yàn)室，福州 350105)

1 引 言

隨著科學(xué)技術(shù)不斷發(fā)展，雙目立體視覺(jué)研究日趨成熟.利用雙目攝像技術(shù)可以從不同視角拍攝被測(cè)物體的左右視圖，獲取立體圖像對(duì).但由于攝像機(jī)機(jī)位設(shè)置、環(huán)境亮度變化以及物體表面對(duì)光的漫反射等差異，攝像機(jī)在不同視角對(duì)同一物體捕獲到的圖像會(huì)存在一定的亮度和顏色差異.這將影響立體圖像顏色校正[1-5]、多視點(diǎn)視頻顏色校正[6-9]、遙感圖像融合[10-12]、全景圖像拼接[13-15]等與顏色一致性相關(guān)的立體視覺(jué)任務(wù)，也會(huì)影響任務(wù)中的深度信息重建[16]效果.因此，需要對(duì)立體圖像對(duì)進(jìn)行預(yù)處理，消除圖像組間顏色差異.顏色校正算法針對(duì)圖像組間顏色差異問(wèn)題，建立參考圖像和目標(biāo)圖像間的顏色映射，校正失真目標(biāo)圖像的顏色，使圖像對(duì)具有相同的顏色風(fēng)格.圖1給出了一個(gè)例子，(a)為參考圖像(立體圖像對(duì)的左視圖)，(b)為目標(biāo)圖像(存在顏色失真的右視圖)，(c)為經(jīng)本文方法校正顏色后的結(jié)果圖像.

圖1 立體圖像顏色校正結(jié)果Fig.1 Stereoscopic image color correction result

目前，根據(jù)顏色映射函數(shù)數(shù)量來(lái)劃分，顏色校正算法可以分為兩類，即全局顏色校正算法和局部顏色校正算法.全局顏色校正算法計(jì)算從參考圖像到目標(biāo)圖像的全局顏色映射函數(shù)，根據(jù)同一映射函數(shù)校正目標(biāo)圖像中所有像素的顏色.例如，Reinhard提出的全局顏色遷移方法[17]，將顏色空間轉(zhuǎn)換到Lab顏色空間內(nèi)進(jìn)行顏色轉(zhuǎn)換；Xiao等人在Reinhard方法基礎(chǔ)上，消除空間轉(zhuǎn)換的額外開(kāi)銷，在RGB顏色空間下使用協(xié)方差矩陣轉(zhuǎn)換實(shí)現(xiàn)全局顏色遷移[18]；Pitie等人提出使用累積概率密度函數(shù)進(jìn)行顏色校正的算法[19]，以及改進(jìn)后的用于平滑結(jié)果圖像迭代的非線性的算法[20].另外還有基于直方圖或累積直方圖的顏色遷移算法[21-23].全局顏色校正方法效率較高，對(duì)紋理簡(jiǎn)單色彩單一的圖像校正效果較好，但由于使用單一映射函數(shù)，對(duì)局部紋理信息關(guān)注較少，當(dāng)目標(biāo)圖像存在復(fù)雜紋理時(shí)，就會(huì)產(chǎn)生校正結(jié)果局部顏色不一致的問(wèn)題.并且，全局顏色校正方法無(wú)法提供像素級(jí)別對(duì)應(yīng)關(guān)系，不適用于立體圖像顏色校正和全景圖像拼接等存在視差的視覺(jué)任務(wù).

針對(duì)全局顏色校正算法的缺點(diǎn)，研究者們提出了對(duì)不同區(qū)域像素計(jì)算不同的顏色映射函數(shù)并用于顏色校正的局部顏色校正算法.例如，Zhang等人提出的主區(qū)域映射方法[24]，使用配準(zhǔn)算法匹配圖像重疊區(qū)域，根據(jù)匹配度選擇主區(qū)域并計(jì)算對(duì)應(yīng)獨(dú)立映射函數(shù).Park等人提出的基于矩陣分解的顏色遷移算法[2]以及基于矩陣因式分解的顏色遷移方法[25].Zheng和Niu等人提出的基于匹配和優(yōu)化的顏色校正方法[3]，該方法使用基于SIFT Flow[26]的密集立體匹配圖來(lái)初始化全局顏色校正結(jié)果圖的顏色值，再結(jié)合優(yōu)化顏色校正這一二次能量最小化問(wèn)題，來(lái)提高結(jié)果的局部顏色平滑度和全局顏色一致性.但SIFT Flow的計(jì)算和二次能量最小化優(yōu)化過(guò)程耗時(shí)較長(zhǎng)，對(duì)于視差較大的立體圖像對(duì)，該方法生成的初始圖與目標(biāo)圖存在結(jié)構(gòu)變形.于是Niu等人提出了改進(jìn)結(jié)構(gòu)一致性的視覺(jué)一致性立體3D圖像顏色校正方法[4]，該方法改進(jìn)了二次能量最小化函數(shù)并加入引導(dǎo)濾波，使得校正結(jié)果結(jié)構(gòu)一致性較好，但引導(dǎo)濾波的使用降低了圖像清晰度.之后，為了改善圖像清晰度.Niu等人提出了提高圖像清晰度的基于摳圖的結(jié)構(gòu)一致圖像顏色校正殘差優(yōu)化方法[5]，該方法計(jì)算初始化圖像與目標(biāo)圖像的初始化結(jié)果的殘差圖像，并通過(guò)軟摳圖方法優(yōu)化殘差圖像，減小局部顏色差異，使得結(jié)果圖像保持了與參考圖像一致的圖像結(jié)構(gòu)與清晰度.Fan等人提出基于深度殘差優(yōu)化的立體圖像顏色校正方法[1]，在初始結(jié)果生成階段引用MO初始化方法，后處理優(yōu)化步驟使用深度神經(jīng)網(wǎng)絡(luò)方法.然而，MO算法的初始化步驟使用傳統(tǒng)的SIFT Flow圖像配準(zhǔn)算法和ACG-CDT全局顏色校正方法，初始階段耗時(shí)長(zhǎng)，時(shí)間復(fù)雜度較高，整體效率沒(méi)有得到提升.局部顏色校正算法對(duì)參考圖像與目標(biāo)圖像進(jìn)行區(qū)域劃分并匹配對(duì)應(yīng)關(guān)系，對(duì)不同區(qū)域計(jì)算單獨(dú)映射函數(shù)，對(duì)圖像局部信息的關(guān)注度提升.但受到多個(gè)映射函數(shù)的作用以及不同匹配方法穩(wěn)定性的影響，局部校正算法特征關(guān)系匹配的穩(wěn)定性和準(zhǔn)確性波動(dòng)較大，在無(wú)匹配或誤匹配區(qū)域存在校正結(jié)果與目標(biāo)圖像結(jié)構(gòu)不一致以及結(jié)果圖像內(nèi)部區(qū)域間顏色不一致的現(xiàn)象，需要對(duì)其進(jìn)行后續(xù)優(yōu)化.因而局部顏色校正算法雖然能夠得到較好的顏色校正效果，但要花費(fèi)更多的處理時(shí)間，效率較低.

針對(duì)以上問(wèn)題，為了在保持高時(shí)間效率的同時(shí)獲得更高質(zhì)量的顏色校正結(jié)果，本文提出一種端到端的視差注意力的立體圖像顏色校正方法(Parallax Attention based Stereoscopic image Color Correction，PASCC)，引入基于卷積神經(jīng)網(wǎng)絡(luò)的視差注意力機(jī)制[27]來(lái)替代傳統(tǒng)預(yù)處理方法中左右視圖的稠密匹配，將復(fù)雜的初始化與優(yōu)化步驟結(jié)合的舊架構(gòu)修改為新架構(gòu)：在一個(gè)卷積神經(jīng)網(wǎng)絡(luò)內(nèi)同時(shí)進(jìn)行立體圖像對(duì)應(yīng)關(guān)系學(xué)習(xí)與目標(biāo)圖像顏色校正.本方法先使用參數(shù)共享的多尺度特征提取模塊分別提取參考圖像和目標(biāo)圖像的多尺度層次特征，再使用視差注意力模塊對(duì)特征圖進(jìn)行匹配融合.視差注意力模塊中的雙向匹配策略能夠得到參考圖像和目標(biāo)圖像之間較為準(zhǔn)確的像素對(duì)應(yīng)關(guān)系，并依據(jù)對(duì)應(yīng)關(guān)系進(jìn)行立體圖像間的特征融合，最后重建融合特征得到校正目標(biāo)圖像.視差注意力機(jī)制僅在立體圖像的視差方向進(jìn)行相似像素搜索和匹配，無(wú)視差大小限制，因此模型具有更好的靈活性和更強(qiáng)的泛化能力.與主流顏色校正算法的客觀評(píng)估指標(biāo)對(duì)比和主觀質(zhì)量分析實(shí)驗(yàn)結(jié)果也證明了該方法在立體圖像顏色校正中的有效性和穩(wěn)定性.

2 本文方法

本文提出的視差注意力的立體圖像顏色校正方法的模型架構(gòu)如圖2所示，模型分為多尺度特征提取模塊、視差注意力模塊和圖像重建模塊3個(gè)部分.網(wǎng)絡(luò)模型將參考圖像(立體圖像對(duì)的左視圖)與待校正的目標(biāo)圖像(存在顏色失真的右視圖)作為輸入.顏色校正的方法步驟如下：

1)首先通過(guò)參數(shù)共享的多尺度特征提取模塊分別提取參考圖像與目標(biāo)圖像的多尺度層次特征，接著在殘差塊進(jìn)行多尺度特征融合，最后得到具有密集像素采樣率的多尺度特征表示；

2)將提取出的立體圖像對(duì)的多尺度特征同時(shí)輸入視差注意力模塊(Parallax Attention Module，PAM).PAM首先對(duì)立體圖像對(duì)的視差信息進(jìn)行編碼，生成能夠反映參考圖像與目標(biāo)圖像像素對(duì)應(yīng)關(guān)系的視差注意力圖.再利用視差注意力圖和生成的有效掩膜對(duì)立體圖像對(duì)的信息融合進(jìn)行指導(dǎo)，使校正結(jié)果在保留目標(biāo)圖像原始結(jié)構(gòu)的同時(shí)具有與參考圖像對(duì)應(yīng)位置一致的像素顏色，并生成融合特征；

3)根據(jù)融合后的特征進(jìn)行圖像重建得到最終的顏色校正結(jié)果.

圖2 視差注意力的立體圖像顏色校正方法模型架構(gòu)Fig.2 Model architecture of parallax attention based stereoscopic image color correction

2.1 多尺度特征提取

為了估計(jì)立體圖像的像素對(duì)應(yīng)關(guān)系，需要獲取具有豐富上下文信息和強(qiáng)判別力的特征表示[27]，為了獲得這樣的特征表示，需要用于捕獲圖像特征的特征學(xué)習(xí)具有多尺度與較大感受野(receptive field).在卷積神經(jīng)網(wǎng)絡(luò)中，當(dāng)前特征圖上的點(diǎn)對(duì)應(yīng)到原始圖像上的區(qū)域大小即為感受野的大小.因此，為了擴(kuò)大模型感受野，獲取像素采樣率更密集的多尺度特征，模型引入了殘差空洞空間金字塔池化(Atrous Spatial Pyramid Pooling，ASPP)模塊.多尺度特征提取模塊由殘差空洞空間金字塔模塊[52]與殘差塊[28]交替級(jí)聯(lián)構(gòu)成，如圖2左半兩個(gè)虛線框所示.由卷積層和殘差塊(ResBlock0)對(duì)特征進(jìn)行初步提取，先通過(guò)殘差A(yù)SPP塊(ResASPPBlock1)獲得多尺度特征，接著進(jìn)入殘差塊(ResBlock1)對(duì)多尺度特征進(jìn)行融合，重復(fù)兩次特征提取與融合步驟，最終得到具有豐富上下文信息和強(qiáng)判別力的特征表示.

每個(gè)殘差A(yù)SPP塊首先由3個(gè)擴(kuò)張率(dilation rate)分別為1、4、8的空洞卷積(dilated convolutions)級(jí)聯(lián)形成ASPP組，接著3個(gè)ASPP組以殘差形式連接.殘差A(yù)SPP塊不僅擴(kuò)大了感受野，而且得到具有不同擴(kuò)張率的卷積集合，能夠獲得更具判別力的特征表示.殘差A(yù)SPP模塊學(xué)習(xí)到的高度鑒別性特征有利于提高立體圖像對(duì)應(yīng)關(guān)系估計(jì)的準(zhǔn)確率，提升顏色校正性能.

2.2 視差注意力模塊

視差注意力機(jī)制[27]是受自注意力機(jī)制啟發(fā)提出的用于捕獲雙目立體圖像全局對(duì)應(yīng)關(guān)系的一種注意力機(jī)制.該機(jī)制根據(jù)雙目立體視覺(jué)對(duì)極幾何[29](Epipolar Geometry)關(guān)系原理，當(dāng)攝像機(jī)從不同視點(diǎn)對(duì)同一個(gè)3D場(chǎng)景進(jìn)行拍攝時(shí)，獲得的2D圖像與3D點(diǎn)之間存在幾何相關(guān)性，對(duì)極幾何能夠描述兩個(gè)結(jié)果視點(diǎn)間的關(guān)系，對(duì)圖像點(diǎn)產(chǎn)生約束作用.從而將搜索空間限制在極線上(理想情況下極線即所搜索像素點(diǎn)所在的水平線)，只在極線方向上搜索像素的相似點(diǎn).視差注意力機(jī)制針對(duì)參考圖像中的每一個(gè)像素點(diǎn)，計(jì)算其與目標(biāo)圖像中對(duì)應(yīng)水平極線上的所有像素點(diǎn)的相似性，對(duì)全部點(diǎn)進(jìn)行計(jì)算后得到視差注意力圖.視差注意力圖上的權(quán)值大小體現(xiàn)對(duì)應(yīng)點(diǎn)與搜索點(diǎn)的相似程度，因此根據(jù)權(quán)值分布即可獲得立體圖像間的對(duì)應(yīng)關(guān)系.視差注意力機(jī)制大大縮小了對(duì)應(yīng)關(guān)系的搜索空間，提升了對(duì)應(yīng)關(guān)系的獲取效率.同時(shí)，該機(jī)制不需要考慮所有相似特征點(diǎn)的信息，只專注于相似度最高的特征點(diǎn)，因此，大大提升了獲得可靠的對(duì)應(yīng)關(guān)系的速度.

圖3展示了視差注意力模塊的具體結(jié)構(gòu).輸入為參考圖像與目標(biāo)圖像從特征提取模塊獲得的多尺度特征圖A,B∈RH×W×C(其中H為圖像高度，W為圖像寬度，C為圖像通道數(shù))，首先通過(guò)權(quán)值共享的過(guò)渡殘差塊(Transition Residual Block)得到A0,B0∈RH×W×C.視差注意力模塊可以認(rèn)為是一個(gè)學(xué)習(xí)立體圖像對(duì)應(yīng)關(guān)系并利用參考圖像顏色信息校正目標(biāo)圖像的多任務(wù)網(wǎng)絡(luò)模塊，使用過(guò)渡殘差塊可以緩解共享特征用于不同任務(wù)而產(chǎn)生訓(xùn)練沖突的問(wèn)題.接著，A0通過(guò)一個(gè)1×1的卷積層conv2_a得到查詢特征圖Q∈RH×W×C，同時(shí)，B0通過(guò)另一個(gè)1×1卷積層conv2_b并將結(jié)果進(jìn)行矩陣維數(shù)調(diào)整得到S∈RH×W×C.對(duì)Q與S進(jìn)行批次化矩陣乘法(batch-wise matrix multiplication)，并通過(guò)一個(gè)SoftMax層，得到從特征圖B到特征圖A的視差注意力圖MB→A∈RH×W×W.批次化矩陣乘法過(guò)程說(shuō)明如圖4所示，圖中，MB→A(i,:,:)∈RW×W表示MB→A∈RH×W×W的第i個(gè)切片，它由Q(i,:,:)∈RW×C與S(i,:,:)∈RC×W相乘計(jì)算得到，將所有切片相連得到MB→A∈RH×W×W.之后，令B通過(guò)一個(gè)1×1卷積層conv2_c得到特征R∈RH×W×C，將視差注意力圖MB→A與R進(jìn)行批次化矩陣乘法得到特征圖0∈RH×W×C，特征圖O表示視差加權(quán)和.結(jié)合特征圖O和與其相對(duì)應(yīng)的特征圖A，PAM就可根據(jù)特征相似性，集中在具有準(zhǔn)確視差的特征上，捕獲A與B的對(duì)應(yīng)關(guān)系.

圖3 視差注意力模塊的結(jié)構(gòu)Fig.3 Structure of the parallax attention module

完成MB→A的計(jì)算后，交換A和B并重復(fù)上述計(jì)算過(guò)程，得到特征圖A到特征圖B的視差注意力圖MA→B，用以計(jì)算生成有效掩膜(valid mask)VA→B，排除遮擋區(qū)域的影響.最后，將特征圖O、A與有效掩模三者進(jìn)行矩陣連接，并輸入1×1卷積進(jìn)行信息融合.

圖4 批次化矩陣乘法的說(shuō)明Fig.4 Illustration of batch-wise matrix multiplication

PAM根據(jù)立體圖像對(duì)左右視圖Ileft和Iright(Ileft為參考圖像，Iright為目標(biāo)圖像)分別提取得到的多尺度特征，生成兩個(gè)視差注意圖Mleft→right和Mright→left.理想情況下，假設(shè)PAM得到了立體圖像對(duì)準(zhǔn)確的像素對(duì)應(yīng)關(guān)系，則可以獲得如下左右一致性約束：

(1)

其中，?符號(hào)表示批次化矩陣乘法運(yùn)算，基于公式(1)可以進(jìn)一步推導(dǎo)出循環(huán)一致性約束：

(2)

其中，Mleft→right→left和Mright→left→right為循環(huán)注意圖，是視差注意圖Mleft→right和Mright→left批次化矩陣乘法運(yùn)算的結(jié)果，公式如下：

(3)

左右一致性約束和循環(huán)一致性約束用于輔助訓(xùn)練PAM模型，以產(chǎn)生可靠穩(wěn)定性更強(qiáng)的、保持一致性的對(duì)應(yīng)關(guān)系.詳細(xì)的應(yīng)用在2.3節(jié)損失函數(shù)中介紹.在PAM生成的視差注意圖中，遮擋區(qū)域的像素通常權(quán)重較小，因此，以立體圖像右視圖Iright到左視圖Ileft的有效掩膜Vright→left為例，其計(jì)算公式如下：

(4)

其中，τ是閾值(實(shí)驗(yàn)中設(shè)置為0.1)，W是立體圖像的寬.

根據(jù)視差注意力機(jī)制，視差注意圖上的值Mright→left(i,k,j)表示左視圖中位置(i,j)對(duì)右視圖中位置(i,k)的貢獻(xiàn)，由于左視圖中被遮擋的像素?zé)o法在右視圖中找到具有對(duì)應(yīng)關(guān)系的像素，因此這些像素的有效掩膜Vright→left(i,j)的值通常較低，將這類像素認(rèn)定為遮擋像素.由于左視圖中的遮擋區(qū)域在右視圖中沒(méi)有對(duì)應(yīng)的像素，無(wú)法從右視圖中獲得額外信息，因此有效掩膜可以進(jìn)一步用于指導(dǎo)特征融合.

2.3 損失函數(shù)

由于視差注意力的立體圖像顏色校正模型是一個(gè)學(xué)習(xí)立體圖像對(duì)對(duì)應(yīng)關(guān)系并利用參考圖像顏色信息對(duì)目標(biāo)圖像進(jìn)行顏色校正的多任務(wù)網(wǎng)絡(luò)，因此模型的損失函數(shù)分為兩個(gè)部分，一部分損失用于輔助捕獲立體圖像對(duì)之間的對(duì)應(yīng)關(guān)系，另一部分損失用于輔助完成顏色校正任務(wù).由于帶有真實(shí)視差圖的大型立體圖像數(shù)據(jù)集難以獲取，因此對(duì)于PAM捕獲對(duì)應(yīng)關(guān)系的任務(wù)，本文采用無(wú)監(jiān)督方式進(jìn)行訓(xùn)練，而顏色校正任務(wù)中存在理想目標(biāo)圖像，采用有監(jiān)督的方式進(jìn)行網(wǎng)絡(luò)訓(xùn)練.注意，如果數(shù)據(jù)集包含真實(shí)視差圖，可以使用網(wǎng)絡(luò)生成對(duì)應(yīng)的視差注意力圖并以有監(jiān)督的方式對(duì)PAM進(jìn)行訓(xùn)練.

PAM模塊用于捕獲立體圖像間對(duì)應(yīng)關(guān)系的損失主要包括光度損失Lphotometric、平滑損失Lsmooth和循環(huán)損失Lcycle.

Lphotometric=∑p∈Vleft→right‖Ileft(p)-(Mleft→right?Iright)(p)‖1
+∑p∈Vright→left‖Iright(p)-(Mleft→right?Ileft)(p)‖1

(5)

其中，p表示一個(gè)具有有效掩碼值的像素(即非遮擋區(qū)域的像素).上式第1項(xiàng)針對(duì)左視圖到右視圖的對(duì)應(yīng)關(guān)系，第2項(xiàng)針對(duì)右視圖到左視圖的對(duì)應(yīng)關(guān)系.

為了使圖像中紋理結(jié)構(gòu)不清晰、存在差異的區(qū)域產(chǎn)生準(zhǔn)確一致的視差注意力，在視差注意力圖Mleft→right和Mright→left上定義平滑損失：

Lsmooth=∑M∑i,j,k(‖M(i,j,k)-M(i+1,j,k)‖1+
‖M(i,j,k)-M(i,j+1,k+1)‖1)

(6)

其中，M∈{mleft→right，Mright→left}，上式中的第1項(xiàng)和第2項(xiàng)分別用于實(shí)現(xiàn)垂直注意一致性和水平注意一致性.

除了光度損失和平滑損失，PAM模塊進(jìn)一步引入循環(huán)損失，以實(shí)現(xiàn)周期一致性.由于公式(2)中的循環(huán)注意力圖Mleft→right→left∈RH×W×W和Mright→left→right∈RH×W×W是單位矩陣，循環(huán)損失為：

Lcycle=∑p∈Vleft→right‖Mleft→right→left(p)-I(p)‖1+
∑p∈Vright→left‖Mright→left→right(p)-I(p)‖1

(7)

其中，I∈RH×W×W由H個(gè)單位矩陣堆疊而成.

(8)

其中，W和H分別為圖像的寬和高，I(i,j)表示圖像上坐標(biāo)為(i,j)的像素點(diǎn)的值.

(9)

結(jié)合上述損失，本模型總損失函數(shù)如下：

L=Lper-pixel+λ1Lperceptual+λ2(Lphotometric+Lsmooth+Lcycle)

(10)

其中，λ1表示感知損失的權(quán)重，λ2用于調(diào)節(jié)代表對(duì)應(yīng)關(guān)系獲取的3種損失的權(quán)重.實(shí)驗(yàn)中，設(shè)置權(quán)重參數(shù)λ1=λ2=0.005.

3 實(shí)驗(yàn)結(jié)果與分析

本小節(jié)介紹基于視差注意力的立體圖像顏色校正模型的實(shí)驗(yàn)設(shè)置與細(xì)節(jié)，通過(guò)對(duì)比實(shí)驗(yàn)來(lái)測(cè)試驗(yàn)證模型的有效性.

3.1 數(shù)據(jù)集

為了訓(xùn)練所提出的顏色校正模型并驗(yàn)證其有效性，本節(jié)選取3個(gè)圖像數(shù)據(jù)集，ICCD2015數(shù)據(jù)集[30]、Middlebury數(shù)據(jù)集[31-35]和Flickr1024數(shù)據(jù)集[36].后兩個(gè)數(shù)據(jù)集只包含無(wú)失真的原始立體圖像對(duì)，因此使用Adobe Photoshop CS6對(duì)原始目標(biāo)圖像(無(wú)失真右視圖)進(jìn)行顏色修改.失真處理包括6種類型[30]，每種類型包括3種修改粒度：亮度(+30，+60，+90)、對(duì)比度(+20，+40，+60)、曝光度(+1，+2，+3)、RG顏色通道(+30，+60，+90)、色度(+20，+40，+60)和飽和度(+20，+40，+60)，經(jīng)失真處理后的每對(duì)原始無(wú)失真立體圖像可得到18張失真目標(biāo)圖像用于顏色校正.

模型訓(xùn)練集為經(jīng)過(guò)處理的Flickr1024數(shù)據(jù)集[36]的訓(xùn)練集，包含14400張待校正目標(biāo)圖像，并使用數(shù)據(jù)增強(qiáng)策略對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，先將所有圖像對(duì)按短邊縮放到400像素，長(zhǎng)邊進(jìn)行等比縮放，再將圖像對(duì)的左右視圖進(jìn)行隨機(jī)數(shù)相同的裁剪方法裁剪成128×128大小作為網(wǎng)絡(luò)模型的輸入.實(shí)驗(yàn)發(fā)現(xiàn)訓(xùn)練約130個(gè)epoch之后模型損失不再減小，更多的訓(xùn)練也無(wú)法提供進(jìn)一步的改進(jìn)效果，此時(shí)訓(xùn)練停止.

模型有效性驗(yàn)證使用經(jīng)過(guò)處理的Middlebury數(shù)據(jù)集和Flickr1024[36]的測(cè)試集.其中Middlebury數(shù)據(jù)集包含1224張待校正目標(biāo)圖像，F(xiàn)lickr1024測(cè)試集包含2016張待校正目標(biāo)圖像.進(jìn)行模型測(cè)試時(shí)，將用于測(cè)試的數(shù)據(jù)集圖像都將進(jìn)行縮放，將圖像的長(zhǎng)邊縮放到512像素，圖像短邊依據(jù)長(zhǎng)邊縮放比例進(jìn)行等比縮放.

3.2 實(shí)驗(yàn)細(xì)節(jié)

本文所提出的PASCC模型使用Python語(yǔ)言和Pytorch深度學(xué)習(xí)框架實(shí)現(xiàn)，實(shí)驗(yàn)環(huán)境如下：操作系統(tǒng)為Ubuntu16.04，處理器為Intel(R) Xeon(R) CPU E5-2620 v4 @ 2.10GHz×6，顯卡為Nvidia Tesla P100 16G×2，Python版本為3.6.2，Pytorch版本為0.4.0，CUDA版本為8.0.61.PASCC模型的詳細(xì)架構(gòu)如表1所示，表中，LReLU表示泄漏因子為0.1的LeackyReLU，dila表示擴(kuò)張率，?表示批次化矩陣乘法.實(shí)驗(yàn)中采用參數(shù)β1=0.9，β2=0.999的Adam方法進(jìn)行優(yōu)化，batchsize設(shè)置為8.初始學(xué)習(xí)率為2×10-4，學(xué)習(xí)率每隔20epoch減半.

表1 PASCC模型的詳細(xì)架構(gòu)Table 1 Detailed architecture of PASCC model

3.3 評(píng)價(jià)指標(biāo)

為了評(píng)估本文方法的有效性，本文使用18種圖像質(zhì)量評(píng)估指標(biāo)用于評(píng)估顏色校正結(jié)果，分別為UQI[37]、PSNR[30]、SSIM[38]、MSE[39]、MAD[40]、CSSS[41]、FSIM[42]、FSIMc[42]、GSM[43]、VSI[44]、iCID[45]、DSCSI[46]、OSS[47]、IFS[48]、DSS[49]、GSIM[50]、PSIM[51]、CSVD[30]，其中，MSE、MAD、iCID 3種指標(biāo)為越小越好，其余指標(biāo)為越大越好.

3.4 對(duì)比實(shí)驗(yàn)

3.4.1 客觀質(zhì)量評(píng)價(jià)

為了驗(yàn)證本文方法的顏色校正性能，本小節(jié)使用18種不同的圖像質(zhì)量評(píng)估指標(biāo)將PASCC方法和11種先進(jìn)顏色校正算法進(jìn)行客觀校正效果對(duì)比，包含GCT[17]、GCT-CCS[18]、ACG-CDT[20]、GPCT[22]、CHM[23]、PRM[24]、GC[10]、ICDT[19]、MO[3]、VC-ICC[4]、MROC[5].正如文獻(xiàn)[30]中提到的，理想目標(biāo)圖像(即無(wú)顏色失真的目標(biāo)圖像)與目標(biāo)圖像具有完全一致的紋理結(jié)構(gòu)，因此將顏色校正結(jié)果與理想目標(biāo)圖像進(jìn)行對(duì)比，可以作為評(píng)估顏色校正效果的依據(jù).質(zhì)量評(píng)估結(jié)果如表2和表3所示，平均得分最高的方法分?jǐn)?shù)使用黑體及下劃線字體組合顯示標(biāo)出，平均得分次高的方法分?jǐn)?shù)使用黑體顯示標(biāo)出.

表2 Middlebury數(shù)據(jù)集中與11種顏色校正算法的對(duì)比結(jié)果Table 2 Comparison results of 11 color correction algorithms in Middlebury dataset

表3 Flickr1024測(cè)試集中與11種顏色校正算法的對(duì)比結(jié)果Table 3 Comparison results of 11 color correction algorithms in Flickr1024 test set

分析表2給出的Middlebury數(shù)據(jù)集校正結(jié)果質(zhì)量評(píng)估結(jié)果可以看出，在所選的18個(gè)質(zhì)量評(píng)估指標(biāo)中，PASCC方法顏色校正結(jié)果在16個(gè)指標(biāo)上都排名第1，僅在MAD和IFS兩個(gè)指標(biāo)上排名第2.分析表3所示的Flickr1024數(shù)據(jù)集的校正結(jié)果質(zhì)量評(píng)估對(duì)比結(jié)果可以看出，PASCC方法顏色校正結(jié)果在15個(gè)指標(biāo)上都排名第1，在PSNR和GSIM兩個(gè)指標(biāo)上排名第2，僅有MAD評(píng)價(jià)指標(biāo)的分?jǐn)?shù)不是前3.

綜合分析，在Middlebury數(shù)據(jù)集的質(zhì)量評(píng)估對(duì)比中PASCC方法獲得了最好的校正評(píng)估指標(biāo)結(jié)果，VC-ICC方法次之.而在Flickr1024數(shù)據(jù)集中，PASCC方法同樣獲得了最好的校正評(píng)估效果，ICDT方法次之.可見(jiàn)，VC-ICC和ICDT算法在不同數(shù)據(jù)集上校正效果不一致.究其原因，不同數(shù)據(jù)集包含的圖像特點(diǎn)不同，Middlebury數(shù)據(jù)集圖像內(nèi)容復(fù)雜、紋理多樣、包含更多的顏色信息；Flickr1024數(shù)據(jù)集的圖像風(fēng)格更加真實(shí)日常，整體色調(diào)平和統(tǒng)一.而本文所提出的視差注意力的立體顏色校正方法不管是在紋理復(fù)雜、色彩多樣的Middlebury數(shù)據(jù)集上，還是在畫(huà)面更加簡(jiǎn)單自然的Flickr1024數(shù)據(jù)集上，都得到在客觀質(zhì)量評(píng)估數(shù)據(jù)對(duì)比上最好的顏色校正效果，證明了PASCC方法的有效性，體現(xiàn)了模型在不同立體圖像數(shù)據(jù)集中的泛化能力.

由于ICCD2015數(shù)據(jù)集[30]中的參考-目標(biāo)圖像對(duì)不是標(biāo)準(zhǔn)的雙目立體圖像.數(shù)據(jù)集從視頻的前后幀選取圖像對(duì)，獲得的圖像對(duì)不具有固定的視差方向，且存在部分圖像前景變化較大的問(wèn)題.因此ICCD2015數(shù)據(jù)集不適合作為驗(yàn)證集來(lái)評(píng)估本文所提出的PASCC模型.PASCC模型在該數(shù)據(jù)集中的效果較為普通，但為了進(jìn)行更全面的實(shí)驗(yàn)分析，本節(jié)也設(shè)計(jì)了在該數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)，對(duì)ICCD2015數(shù)據(jù)集共324張失真圖像對(duì)進(jìn)行顏色校正質(zhì)量評(píng)估，實(shí)驗(yàn)結(jié)果如表4所示，平均得分最高的方法分?jǐn)?shù)使用黑體及下劃線字體組合顯示標(biāo)出，平均得分次高的方法分?jǐn)?shù)使用黑體顯示標(biāo)出.

分析表4給出的實(shí)驗(yàn)結(jié)果可以得到，PASCC模型在ICCD2015數(shù)據(jù)集上顏色校正效果表現(xiàn)較為普通，只獲得了PSIM指標(biāo)上的第2名與GSM指標(biāo)上的第3名，整體評(píng)估結(jié)果與GCT、ACG-CDT相近.而MO、VC-ICC以及MROC這3種使用SIFT Flow傳統(tǒng)初始化方法進(jìn)行像素匹配的算法效果在該數(shù)據(jù)集上表現(xiàn)更好.MO算法在4個(gè)指標(biāo)上排名第1，VC-ICC算法在8個(gè)指標(biāo)上排名第1，MROC算法在9個(gè)指標(biāo)上排名第1.究其原因，這3種方法都是基于ICCD2015數(shù)據(jù)集來(lái)設(shè)置實(shí)驗(yàn)中的初始化閾值參數(shù)，因此在該數(shù)據(jù)集上適應(yīng)性良好，而在其他數(shù)據(jù)集上適用性降低.另外，ICCD2015數(shù)據(jù)集的圖像對(duì)并不是標(biāo)準(zhǔn)的雙目立體圖像，圖像對(duì)的視差方向不固定，而PASCC模型的視差注意力模塊僅對(duì)立體圖像視差方向相似度最高的像素進(jìn)行匹配，因此影響了像素匹配精度，使得顏色校正的準(zhǔn)確性大幅下降.

表4 ICCD2015數(shù)據(jù)集中與11種顏色校正算法的對(duì)比結(jié)果Table 4 Comparison results between ICCD2015 data set and 11 color correction algorithms

3.4.2 主觀視覺(jué)效果對(duì)比

上一節(jié)通過(guò)客觀評(píng)價(jià)指標(biāo)對(duì)PACSS模型進(jìn)行了顏色校正性能驗(yàn)證，本節(jié)將從主觀視覺(jué)效果對(duì)比角度，對(duì)比包含PASCC方法在內(nèi)的12種方法的顏色校正結(jié)果.

圖5為Flickr1024數(shù)據(jù)集下的顏色校正結(jié)果對(duì)比實(shí)例.分析圖5可以發(fā)現(xiàn)，GPCT、CHM以及ICDT算法校正結(jié)果的背景天空存在錯(cuò)誤偽影；GCT、GCT-CCS和ACG-CDT、PRM、GC以及MROC算法的校正結(jié)果存在明顯的亮度偏差，并且未校正白色框標(biāo)出的窗戶顏色；MO模型校正了窗戶顏色，但存在紋理結(jié)構(gòu)變形.VC-ICC模型整體校正效果較好，但亮度仍存在一定偏差；而PASCC模型的校正結(jié)果在校正白色框標(biāo)出的窗戶顏色同時(shí)，還保持與理想結(jié)果相符的圖片紋理結(jié)構(gòu)和整體亮度，與理想結(jié)果是最相似、最接近的.

圖5 不同方法在Flickr1024測(cè)試集的顏色校正視覺(jué)效果對(duì)比(目標(biāo)圖像失真類型為曝光度+3)Fig.5 Comparison of color correction visual effects of different methods in Flickr1024 test set(target image distortion type is exposure+3)

圖6為Middlebury數(shù)據(jù)集下的顏色校正結(jié)果對(duì)比實(shí)例.觀察圖6可以發(fā)現(xiàn)，GPCT、CHM和ICDT 3種算法校正結(jié)果中的背景均存在錯(cuò)誤光斑；PRM算法的校正結(jié)果整體顏色與理想結(jié)果不一致，并且左下角的花朵顏色錯(cuò)誤；MO算法校正結(jié)果在黑色框標(biāo)出的花朵部分存在錯(cuò)誤偽影；GCT、GCT-CCS、ACG-CDT、GC、VC-ICC以及MROC方法整體校正效果較好，但均未能很好地校正黑色框標(biāo)出的墻上影子細(xì)節(jié)，且亮度與理想結(jié)果存在一定差距.本文所提出的PASCC方法的結(jié)果不僅校正了顏色，還復(fù)原了圖像的紋理細(xì)節(jié).

圖6 不同方法在Middlebury數(shù)據(jù)集的顏色校正視覺(jué)效果對(duì)比(目標(biāo)圖像失真類型為RG+30)Fig.6 Comparison of color correction visual effects of different methods in Middlebury dataset(the target image distortion type is RG+30)

PASCC模型的更多顏色校正效果如圖7所示，圖7(a)表示參考圖像，圖7(b)表示目標(biāo)圖像，圖7(c)表示理想目標(biāo)圖像，圖7(d)為MO算法結(jié)果，圖7(e)為VC-ICC算法結(jié)果，圖7(f)為MROC算法結(jié)果，圖7(g)為PASCC模型結(jié)果.圖中選擇MO、VC-ICC、MROC與PASCC模型進(jìn)行比較.前3列的圖像來(lái)自Middlebury數(shù)據(jù)集，后3列圖像來(lái)自Flickr1024數(shù)據(jù)集.目標(biāo)圖像從左到右的顏色失真類型分別為：RG通道+30，色度+40，飽和度+60，亮度+90，對(duì)比度+60，曝光度+2.分析圖6的顏色校正結(jié)果對(duì)比可以觀察到本文方法具有更好的顏色校正性能，在顏色變化較大或存在輕微曝光的情況下，都能夠在保持圖像紋理信息的同時(shí)很好地恢復(fù)出圖像的顏色信息.

圖7 不同算法的顏色校正結(jié)果對(duì)比Fig.7 Comparison of color correction results of different algorithms

3.4.3 時(shí)間復(fù)雜度

在本小節(jié)，我們討論所提出的算法的時(shí)間復(fù)雜度.如表5顯示了所提出的PASCC方法和其他被比較的顏色校正算法校正單張圖像(512×320)的平均執(zhí)行時(shí)間.CPU實(shí)驗(yàn)均在3.00GHzntel(R) Core(TM) i5-9500F CPU and 8.00 GB存儲(chǔ)器的PC機(jī)上運(yùn)行.本文方法使用深度學(xué)習(xí)框架實(shí)現(xiàn)，實(shí)驗(yàn)環(huán)境：操作系統(tǒng)為Ubuntu16.04，處理器為Intel(R) Xeon(R) CPU E5-2620 v4 @ 2.10GHz×6，顯卡為Nvidia Tesla P100 16G×2，Python版本為3.6.2，Pytorch版本為0.4.0，CUDA版本為8.0.61.分析表5數(shù)據(jù)可知，本文提出的PASCC方法不僅在局部顏色校正算法中獲得了最優(yōu)的時(shí)間效率，也比大部分全局顏色校正算法擁有更優(yōu)的時(shí)間效率，能夠在保持高時(shí)間效率的同時(shí)獲得更高質(zhì)量的顏色校正結(jié)果.

表5 平均運(yùn)行時(shí)間(圖像大小為512×320)Table 5 Average run time(image size 512×320)

4 結(jié) 論

本文提出一種端到端的視差注意力的立體圖像顏色校正方法.使用基于卷積神經(jīng)網(wǎng)絡(luò)的視差注意力機(jī)制替代了傳統(tǒng)預(yù)處理方法中左右視圖的稠密匹配.先用一個(gè)共享參數(shù)的多尺度特征提取模塊分別提取待校正立體圖像左右視圖的特征，再通過(guò)視差注意力模塊進(jìn)行特征的對(duì)應(yīng)匹配，視差注意力模塊中的雙向匹配策略能夠得到立體圖像左右視圖間比較準(zhǔn)確的對(duì)應(yīng)關(guān)系，融合左右視圖特征并重建圖像得到校正后的目標(biāo)圖像.在Flickr1024數(shù)據(jù)集和Middlebury數(shù)據(jù)集上與11種先進(jìn)顏色校正算法進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，本文提出的PASCC方法得到了最好的性能，證明了該方法的有效性.