基于全卷積神經(jīng)網(wǎng)絡(luò)的端到端立體密集匹配研究

康俊華

長安大學(xué)地質(zhì)工程與測繪學(xué)院，陜西 西安 710064

立體匹配是計算機(jī)視覺的一項關(guān)鍵技術(shù)，它能夠模擬人類視覺的方法，通過左右影像匹配快速獲取三維場景深度信息。近年來，國內(nèi)外學(xué)者針對立體密集匹配開展了廣泛而深入的研究，但由于各種因素的影響，仍然存在著具有挑戰(zhàn)性的研究問題。論文針對傳統(tǒng)立體匹配方法，在弱紋理區(qū)域、視差不連續(xù)區(qū)域、遮擋區(qū)域存在的匹配困難和誤匹配問題，設(shè)計了一個基于全卷積神經(jīng)網(wǎng)絡(luò)的端到端立體匹配網(wǎng)絡(luò)，將傳統(tǒng)密集立體匹配問題轉(zhuǎn)化成一個視差學(xué)習(xí)和優(yōu)化的任務(wù)問題。論文主要研究內(nèi)容和研究結(jié)論如下。

(1) 基于擴(kuò)張卷積的多尺度特征提取。為降低弱紋理或重復(fù)紋理區(qū)域匹配二義性問題所帶來的影響，引入擴(kuò)張卷積進(jìn)入特征提取模塊。與傳統(tǒng)的卷積相比，擴(kuò)張卷積能夠在不增加學(xué)習(xí)參數(shù)的前提下，擴(kuò)大卷積核的感受視野。采用多層并行的擴(kuò)張卷積，設(shè)計基于擴(kuò)張卷積的空間金字塔池化結(jié)構(gòu)，對圖像特征進(jìn)行提取，獲取多尺度的特征圖，為網(wǎng)絡(luò)的視差預(yù)測提供豐富的上下文語義信息。包含大量弱紋理和重復(fù)紋理的試驗數(shù)據(jù)集(Monkaa)的測試結(jié)果顯示，增加擴(kuò)張卷積的模型視差預(yù)測結(jié)果在該數(shù)據(jù)集上的誤匹配率降低28%，平均誤差降低18%，表明論文提出的多尺度特征提取方法能夠有效提高在弱紋理區(qū)域或重復(fù)紋理區(qū)域的視差預(yù)測精度。

(2) 大視差范圍的匹配代價體構(gòu)建。為獲得左右影像匹配代價先驗信息，基于左右影像特征圖，利用特征移位、深度可分離卷積及逐視差堆疊步驟構(gòu)建三維匹配代價體，獲取左右影像在特征空間的先驗對應(yīng)關(guān)系。在計算左影像和移位的右影像特征圖深度可分離卷積結(jié)果時，增加右影像特征圖平移步長值，增大視差處理范圍。大視差范圍的試驗數(shù)據(jù)集(Sintel)的測試結(jié)果顯示，通過改進(jìn)匹配代價體后的網(wǎng)絡(luò)模型視差預(yù)測結(jié)果在該數(shù)據(jù)集上的誤匹配率降低32%，平均誤差降低40%，表明論文提出的網(wǎng)絡(luò)能夠有效地處理更大視差范圍內(nèi)的視差預(yù)測。

(3) 基于梯度信息的規(guī)則化視差估計。在網(wǎng)絡(luò)視差估計模塊，提出規(guī)則化視差估計方法，采用編碼-解碼的對稱結(jié)構(gòu)來恢復(fù)由粗到細(xì)的多尺度視差圖。引入視差梯度信息作為損失項，讓網(wǎng)絡(luò)不僅學(xué)習(xí)每一個像素點視差，同時也要約束當(dāng)前像素點與周圍像素點視差的變化值，從而規(guī)則化視差不連續(xù)區(qū)域。定量和定性的試驗結(jié)果表明，論文基于梯度信息的規(guī)則化方法生成的視差圖能夠提高視差預(yù)測精度，同時保留清晰視差邊緣，避免深度不連續(xù)區(qū)域的過度平滑。

(4) 幾何約束信息引導(dǎo)的視差精化。針對初始視差圖在局部細(xì)小區(qū)域預(yù)測不準(zhǔn)確的問題，提出幾何約束信息引導(dǎo)的精化網(wǎng)絡(luò)來優(yōu)化初始視差圖。首先，利用與初始視差網(wǎng)絡(luò)共享的底層左右特征圖，在視差殘差范圍內(nèi)構(gòu)建殘差匹配代價體，為視差精化網(wǎng)絡(luò)提供更詳細(xì)的匹配點之間的對應(yīng)關(guān)系。其次，利用視差左右一致性原則，在左右特征圖之間構(gòu)建影像重建誤差體，為精化網(wǎng)絡(luò)提供視差改正信息。最后，利用這兩類幾何約束信息引導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)視差的殘差值，優(yōu)化初始視差。試驗結(jié)果顯示，模型加入視差精化子網(wǎng)絡(luò)后，在多個測試數(shù)據(jù)集上的視差預(yù)測精度都有明顯提高，在大于1個像素的誤匹配率指標(biāo)上最高能提高43%。這些結(jié)果表明論文提出的精化網(wǎng)絡(luò)能夠極大改正初始視差預(yù)測錯誤的區(qū)域，獲得亞像素級別的視差圖。

(5) 不同遷移學(xué)習(xí)策略下的視差網(wǎng)絡(luò)泛化能力評估。為了能夠?qū)⒄撐奶岢龅囊暡顚W(xué)習(xí)網(wǎng)絡(luò)應(yīng)用于不同場景數(shù)據(jù)集，針對不同目標(biāo)數(shù)據(jù)集是否包含可訓(xùn)練標(biāo)簽數(shù)據(jù)樣本，提出采用直接遷移、模型微調(diào)等遷移策略來評估模型的泛化能力，分別對網(wǎng)絡(luò)在街景數(shù)據(jù)集和航空影像數(shù)據(jù)集的立體匹配性能進(jìn)行評估。試驗結(jié)果表明，論文提出的視差學(xué)習(xí)網(wǎng)絡(luò)能夠很好地遷移到其他應(yīng)用場景上，在航空影像上的匹配三維點精度能達(dá)到1倍地面分辨率，獲得比傳統(tǒng)方法更準(zhǔn)確的結(jié)果，具有較強(qiáng)的泛化能力。