基于分塊雙向2DPCA及ResNet的景象區(qū)域適配性分析

◆孫凱 林強(qiáng) 陳良潔

基于分塊雙向2DPCA及ResNet的景象區(qū)域適配性分析

◆孫凱1林強(qiáng)1陳良潔2

（1.國(guó)防科技大學(xué)信息通信學(xué)院綜合信息服務(wù)系 湖南 410073；2.63770部隊(duì) 陜西 710106）

基準(zhǔn)圖的適配性是影響景象匹配輔助導(dǎo)航系統(tǒng)性能的重要因素，通過(guò)景象區(qū)域適配性分析可以篩選出匹配性能較高的基準(zhǔn)圖進(jìn)而保證導(dǎo)航系統(tǒng)的精度和可靠性。本文提出了基于分塊雙向2DPCA及ResNet的適配性分析方法：通過(guò)分塊雙向2DPCA提取圖像的局部降維信息，再將圖像的局部降維信息輸入ResNet并訓(xùn)練神經(jīng)網(wǎng)絡(luò)得到適配性評(píng)估模型。實(shí)驗(yàn)結(jié)果表明該方法在圖像適配性的預(yù)測(cè)方面表現(xiàn)優(yōu)異。

分塊雙向2DPCA；景象匹配；景象區(qū)域適配性；殘差網(wǎng)絡(luò)

1 景象區(qū)域適配性常見(jiàn)分析方法

景象區(qū)域適配性常見(jiàn)分析方法可分為以下三大類(lèi)：

（1）建立圖像基本特征指標(biāo)與景象區(qū)域適配性基本指標(biāo)的映射模型。圖像基本特征指標(biāo)包括圖像灰度方差、邊緣密度和Gabor小波特征向量等。通過(guò)多屬性決策等方法來(lái)建立圖像特征與適配性基本指標(biāo)之間的映射模型。這類(lèi)方法需要人工設(shè)計(jì)和挑選圖像基本特征指標(biāo)，具有較大的主觀不確定性，而且圖像基本特征僅適用于某些特定環(huán)境下的景象匹配，當(dāng)任務(wù)環(huán)境發(fā)生變化時(shí)模型的可靠性和精度難以保證。

（2）建立圖像綜合特征指標(biāo)與景象區(qū)域適配性基本指標(biāo)的映射模型。選取分別代表圖像信息量、穩(wěn)定性和區(qū)域唯一性的圖像基本特征指標(biāo)，并通過(guò)智能計(jì)算方法（如遺傳算法）等方法將挑選出來(lái)的圖像基本特征指標(biāo)構(gòu)成復(fù)雜的綜合性特征指標(biāo)，再建立綜合特征指標(biāo)與景象適配性基本指標(biāo)之間的映射關(guān)系。這類(lèi)方法同樣由于人為挑選圖像基本特征指標(biāo)而給適配性評(píng)估模型引入了人為不確定性，并且當(dāng)景象匹配環(huán)境變化時(shí)可能需要重新挑選指標(biāo)。

（3）建立專(zhuān)家系統(tǒng)模型。這類(lèi)方法需要預(yù)先獲取大量的專(zhuān)家知識(shí)，條件較為苛刻。當(dāng)任務(wù)環(huán)境發(fā)生變化而缺乏相關(guān)情景下的專(zhuān)家知識(shí)時(shí)，這類(lèi)方法就會(huì)失效。

2 基于分塊雙向2DPCA及ResNet的景象區(qū)域適配性分析方法

為避免過(guò)度依賴先驗(yàn)知識(shí)和人工選取圖像基本特征帶來(lái)的主觀不確定性、工作量大及適用范圍較窄等問(wèn)題，本文提出了基于分塊雙向2DPCA及ResNet的景象區(qū)域適配性分析方法。首先在2DPCA的基礎(chǔ)上提出了分塊雙向2DPCA，將通過(guò)分塊雙向2DPCA提取到的圖像局部降維信息輸入ResNet神經(jīng)網(wǎng)絡(luò)，訓(xùn)練神經(jīng)網(wǎng)絡(luò)得到適配性評(píng)估模型。

2.1 分塊雙向2DPCA

則訓(xùn)練集的協(xié)方差矩陣可以表示為：

如圖1所示，分塊雙向2DPCA在圖像訓(xùn)練集{A}（=1）的每幅圖像上滑動(dòng)選取大小為×的小采樣塊p，∈R×s，然后對(duì)采樣塊進(jìn)行求均值、計(jì)算協(xié)方差矩陣得到該采樣塊對(duì)應(yīng)區(qū)域圖像的行方向投影矩陣X，和列方向投影Z，矩陣，然后計(jì)算該采樣塊的聯(lián)合投影結(jié)果：

其中為保留的特征向量數(shù)。

2.2 ResNet原理及分析

ResNet在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上增加了跳躍連接結(jié)構(gòu)，從而解決了深度網(wǎng)絡(luò)訓(xùn)練困難的問(wèn)題，主要包含了卷積層、池化層和殘差學(xué)習(xí)模塊：

（1）卷積層。卷積神經(jīng)網(wǎng)絡(luò)通過(guò)卷積操作獲取空間局部信息。對(duì)于圖像而言，第一個(gè)卷積層提取線條、邊緣和拐角等低級(jí)特征，之后的卷積層就能提取紋理等高級(jí)特征。每一個(gè)卷積層后都會(huì)連接一個(gè)激勵(lì)函數(shù)，對(duì)卷積層的輸出做非線性映射。（2）池化層。池化層的每一個(gè)神經(jīng)元對(duì)局部感知進(jìn)行池化操作，起到了二次提取特征的作用。（3）殘差學(xué)習(xí)模塊。假設(shè)某一段人工神經(jīng)網(wǎng)絡(luò)的輸入和期望輸出分別為、（），若直接將輸入輸出作為初始結(jié)果，則此時(shí)網(wǎng)絡(luò)需要學(xué)習(xí)的目標(biāo)為（）=（）-。

傳統(tǒng)的全連接層或卷積層在信息傳遞的過(guò)程中會(huì)出現(xiàn)不同程度的信息丟失和損耗等問(wèn)題，而ResNet則在一定程度上解決了這一問(wèn)題：將信息直接繞道傳到輸出保護(hù)了信息的完整性，并且網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)變?yōu)檩斎牒洼敵龅牟顒e，從而簡(jiǎn)化了學(xué)習(xí)目標(biāo)和難度。

2.3 分塊雙向2DPCA + ResNet適配性分析模型構(gòu)建

基于分塊雙向2DPCA + ResNet的景象區(qū)域適配性分析模型如圖2所示。首先，將圖像數(shù)據(jù)集通過(guò)分塊雙向2DPCA處理得到包含局部降維后的圖像數(shù)據(jù)；然后通過(guò)多次模擬匹配實(shí)驗(yàn)得到匹配概率作為將圖像的適配性基本指標(biāo)；最后將降維后的圖像數(shù)據(jù)作為ResNet網(wǎng)絡(luò)的輸入，將適配性基本指標(biāo)經(jīng)二值化處理后作為圖像的網(wǎng)絡(luò)標(biāo)簽，訓(xùn)練神經(jīng)網(wǎng)絡(luò)得到景象區(qū)域適配性評(píng)估模型。模型將圖像分為適配性較強(qiáng)可用于景象匹配和適配性較差不適用于景象匹配兩類(lèi)。

圖2 分塊雙向2DPCA + ResNet適配性評(píng)估模型示意圖

3 分析與總結(jié)

將待評(píng)估圖像輸入基于分塊雙向2DPCA及ResNet的景象區(qū)域適配性評(píng)估模型即可得到該圖像的適配性分類(lèi)結(jié)果。對(duì)測(cè)試圖像進(jìn)行窗口大小為的滑動(dòng)窗口塊采樣，然后通過(guò)適配性評(píng)估模型對(duì)各個(gè)采樣塊進(jìn)行適配性分析。

將結(jié)果與傳統(tǒng)方法對(duì)比，結(jié)論如表1所示。

表1 適配性分析方法效果對(duì)比

模型模型預(yù)測(cè)準(zhǔn)確率模型訓(xùn)練耗時(shí) Vgg-16[11]92.5%4.85h A-convNets[12]91.1%0.3h Ours92%0.33h

從對(duì)比結(jié)果可知，新的分析方法在測(cè)試集上有較高的預(yù)測(cè)準(zhǔn)確率的同時(shí)，模型訓(xùn)練耗時(shí)也較短，表明該方法能較為快速、可靠地預(yù)測(cè)景象區(qū)域的適配性。

基于分塊雙向2DPCA及ResNet的景象區(qū)域適配性分析方法可用于挑選出景象匹配輔助導(dǎo)航的基準(zhǔn)圖，在對(duì)網(wǎng)絡(luò)標(biāo)簽計(jì)算方式進(jìn)行修改后也可用于其他圖像質(zhì)量評(píng)估的任務(wù)，例如人臉識(shí)別中的人臉模板的篩選等等。

[1]彭允祥. 捷聯(lián)慣導(dǎo)與導(dǎo)航衛(wèi)星組合技術(shù)的發(fā)展趨勢(shì)[J]. 導(dǎo)彈與航天運(yùn)載技術(shù)，1999（4）：58-62.

[2]劉揚(yáng)，趙峰偉，金善良. 景象匹配區(qū)的選擇方法[J]. 紅外與激光工程，2001，30（3）：168-170，229.

[3]劉中華，王暉，陳寶國(guó). 景象匹配區(qū)選取方法研究[J]. 計(jì)算機(jī)技術(shù)與發(fā)展，2013（12）：128-133.