基于混合殘差密集網(wǎng)絡(luò)的電路板紅外圖像超分重建

郝建新,張亦馳,王 力

(1.中國民航大學 工程技術(shù)訓練中心,天津 300300；2.中國民航大學電子信息與自動化學院,天津 300300；3.中國民航大學職業(yè)技術(shù)學院,天津 300300)

1 引 言

紅外技術(shù)的快速發(fā)展使其在軍用及民用領(lǐng)域受到了廣泛的關(guān)注。靈敏度高、動態(tài)范圍大及晝夜可見等優(yōu)點使其在熱分析、視頻監(jiān)控、設(shè)備檢測、醫(yī)學成像、無損檢測與故障診斷等領(lǐng)域取得了令人矚目的成果。但受限于紅外攝像儀自身特性,紅外圖像噪聲大、分辨率低、細節(jié)模糊、視覺效果較差且層次不分明[1],嚴重影響后續(xù)的高層次開發(fā)與應用。以基于紅外技術(shù)的PCB故障診斷為例,PCB紅外圖像分辨率較低,芯片紋理及邊緣模糊,直接利用感興趣區(qū)域紅外圖像進行故障診斷與定位的難度較大。選擇高熱靈敏度、高分辨率紅外攝像儀提高圖像分辨率使得硬件系統(tǒng)成本較高[2],為此本文將致力于PCB紅外圖像的超分辨率(Super-resolution,SR)重建算法模型的研究,以實現(xiàn)低分辨率(Low-resolution,LR)紅外圖像到高分辨率(High-resolution,HR)紅外圖像的轉(zhuǎn)換[3]。

當前,主流SR重建算法包括雙三次內(nèi)插法(bicubic interpolation,BI)、壓縮感知法(Compressed Sensing,CS)和深度學習法(Deep Learning,DP)三類?；贐I[4]的重建算法簡單直觀,但重建結(jié)果常帶有明顯的塊效應和鋸齒邊緣,故本文主要對基于CS與DP的重建算法進行回顧。

圖像稀疏性使傳統(tǒng)SR突破了奈奎斯特采樣定理限制,出現(xiàn)了大量性能較好的基于CS的重建算法。Zhang[5]等針對卷積稀疏編碼特征映射的準確性問題,提出了一種基于卷積稀疏自編碼的圖像超分辨率算法；Zhang[6]等人訓練兩個稀疏字典分別重建圖像的主體與高頻殘差部分；Yang[7]等人利用訓練數(shù)據(jù)結(jié)構(gòu)特征差異性而對多個字典對進行學習以完成圖像重建；但CS理論在處理實際應用中的非凸問題時常受到先驗假設(shè)的限制,且算法耗時較大。

隨著深度學習的方法的快速發(fā)展,Dong[8]等人最早提出了基于SRCNN的圖像重建算法,簡單的結(jié)構(gòu)與優(yōu)秀的性能使其受到了極大的關(guān)注；Wang[9]等繼而以級聯(lián)稀疏編碼代替映射層的方法完成了SRCNN的優(yōu)化；針對紅外圖像,Choi[10]等利用可見光數(shù)據(jù)集訓練SRCNN,取得了較好的重建效果； Han[11]等將紅外與可見光圖像同時輸入深度網(wǎng)絡(luò),利用可見光細節(jié)信息輔助紅外圖像完成重建。

上述方法較好地表征了復雜圖像細節(jié)信息,但隨著網(wǎng)絡(luò)的加深遇到了梯度消失與爆炸。受殘差網(wǎng)絡(luò)啟發(fā),Kim[12]等成功處理了梯度爆炸問題,網(wǎng)絡(luò)的深度與性能均得到了提高；Ahn[13]等將局部與全局殘差進行連接,通過促進前后級圖像信息的有效傳遞而提高了重建性能；為了進一步利用圖像中層次特征,Tong[14]等人提出了基于DenseNet的圖像重建模型；Jia[15]等人利用殘差密集對抗式生成網(wǎng)絡(luò)實現(xiàn)紅外圖像的SR重建。但上述模型中密集連接塊的增加使得訓練參數(shù)也急劇增加,模型效率降低。

基于前人的研究,本文針對PCB紅外圖像提出了一種基于混合殘差密集網(wǎng)絡(luò)的SR重建算法模型,以改善原PCB紅外圖像邊緣不清晰、細節(jié)紋理表現(xiàn)差、感興趣區(qū)域?qū)哟胃腥醯膯栴}。實驗結(jié)果表明,本文算法模型能夠有效提高重建后PCB紅外圖像分辨率,使PCB圖像的細節(jié)信息得到改善,視覺效果得到提升。

2 基于深度學習的圖像超分重建

2.1 基于CNN的超分辨率重建

模型采用均方誤差(Mean squared error,MSE)作為重建損失函數(shù),如式(1)所示：

(1)

式中,Θ為需要優(yōu)化的網(wǎng)絡(luò)參數(shù)；n為訓練樣本數(shù)據(jù)量；F3為第三層卷積輸出的特征。

采用隨機梯度下降和標準反向傳播更新模型參數(shù),以最小化重構(gòu)圖像與真實圖像之間的損失值,完成圖像的重建。

2.2 基于DenseNet的圖像SR重建

DenseNet網(wǎng)絡(luò)最早于2017年由Gao[16]等人基于ResNet提出,以解決網(wǎng)絡(luò)不斷加深而出現(xiàn)的梯度消失問題。與傳統(tǒng)卷積前饋網(wǎng)絡(luò)和ResNet相比,DenseNet采用了更為密集的連接機制,即密集連接模塊(Dense block,DB),如圖1所示。

圖1 密集連接塊結(jié)構(gòu)圖

各DB間建立的快捷連接使信息在深層網(wǎng)絡(luò)中的流動性增強,實現(xiàn)了特征的重用。該結(jié)構(gòu)緩解了梯度消失問題且提高了訓練效率,其數(shù)學描述如式(2)所示:

xl=Hl([x0,x1,…xl-1])

(2)

式中,x0,x1,…xl-1為網(wǎng)絡(luò)各層輸出的特征映射；Hl(·)為包括了批處理(Batch Normalization,BN)、ReLU激活及卷積(Convolution,Conv)在內(nèi)的復合非線性轉(zhuǎn)換函數(shù)。

DenseNet網(wǎng)絡(luò)基于DB建立,模型如圖2所示,包括:淺層特征提取、深層特征提取、參數(shù)融合、轉(zhuǎn)置卷積上采樣與圖像重建。

圖2 DenseNet圖像超分辨率重建結(jié)構(gòu)圖

鑒于本文工作重點為研究如何通過引入殘差、多路徑密集連接和全局融合完成對原始DenseNet網(wǎng)絡(luò)的優(yōu)化與改進,因此本節(jié)對DenseNet只做網(wǎng)絡(luò)結(jié)構(gòu)的宏觀表述,細節(jié)內(nèi)容將在本文3.2小節(jié)詳述。

3 本文算法

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的基于混合殘差密集網(wǎng)絡(luò)的紅外圖像SR重建算法模型結(jié)構(gòu)如圖3所示,包括:淺層特征提取(Shallow feature extraction,SFE)、混合殘差密集連接塊(Hybrid residual dense blocks,HRDBs)、全局密集特征融合(Global dense feature fusion,GDFF)和高分辨率重建(HR reconstruction,HRR)。其中,GDFF由全局特征融合(Global Feature Fusion,GFF)與全局殘差學習(Global Residual Learning,GRL)組成。

圖3 混合殘差密集網(wǎng)絡(luò)結(jié)構(gòu)圖

網(wǎng)絡(luò)的執(zhí)行步驟如下:

Step1:提取LR圖像Y的淺層特征F0和F1；

Step2:將F1送入HRDBs,依次提取圖像的多個深層特征F2,F3,…,Fn；

Step3:對層次特征F1,F2,F3,…,Fn做全局特征融合,獲取融合后的特征映射FDF；

Step4:對圖像的淺層特征F0與融合特征FDF做全局殘差學習,獲取用于在HR空間進行重建的特征映射FGDF；

Step5:對FGDF進行卷積-反卷積-卷積操作,在HR空間實現(xiàn)圖像的超分辨率重建。

3.2 混合殘差密集塊

本文提出的算法核心為HRDBs,如圖4所示。每個HRDB由若干個多樣性密集連接塊(Variant Dense Block,VDB)、局部特征融合(Local Feature Fusion,LFF)層以及局部殘差學習(Local Residual Learning,LRL)層組成。

圖4 混合殘差密集塊體系圖

VDB:參考DenseNet[14]中的連接方式,通過改變DB內(nèi)各卷積核尺寸、排列方式以及各卷積核所占比例而創(chuàng)建多個VDB。對于每個VDB,其第i層所產(chǎn)生的特征映射Si可以由式(3)表示:

Si=σ(wi*[S1,S2,…Si-1]+bi)

(3)

式中,wi和bi分別表示VDB中第i層的權(quán)重和偏置；S1,S2,…,Si-1表示由VDB內(nèi)第i層之前各層所提取的特征映射；σ(·)為ReLU激活函數(shù)。

卷積核尺寸與排列順序的差異導致每個VDB將提取出不同的特征映射。為了在同一個層級獲得更為豐富的特征,則將多個VDB以多路徑的方式連接,表1為n=4時VDB的設(shè)置方式。參照表1,通過改變核尺寸與卷積排列順序,即可獲得多種功能的VDB以提取特征映射。

表1 多路徑結(jié)構(gòu)下VDB核尺寸設(shè)置實例

LFF:在多路徑下,VDB提取了大量的不同類型特征,可能導致特征的冗余和利用不充分。為此,本文采用1×1的卷積組成LFF層,將各路徑下VDB提取的特征映射(Feature-1～Feature-n)均連接到LFF,自適應的實現(xiàn)局部特征融合,降低特征映射維度,其數(shù)學描述如式(4)所示:

F′=σ(w1×1×[f1,f2,…,fn-1,fn]+b1×1)

(4)

式中,f1,f2,…,fn-1,fn為各路徑下VDB提取的特征映射;w1×1,b1×1,F′分別為LFF層的權(quán)重、偏置和輸出。

LRL:由于每個VDB中存在多個卷積操作,為了進一步改善網(wǎng)絡(luò)中的信息流,促進信息與梯度的傳遞,在LFF層后增加LRL層,因此第i個HRDB的最終輸出可表示為:

Fi=Fi-1+F′

(5)

式中,Fi-1和Fi分別為HRDB的輸入和輸出；“+”表示殘差學習中的“快捷連接”。

3.3 全局密集特征融合(GDFF)

圖像SR重建的基礎(chǔ)是LR圖像與HR圖像之間的信息相關(guān)性,充分利用LR空間提取到的層次特征至關(guān)重要。為此,本文在網(wǎng)絡(luò)中建立了GDFF(包括GFF與GRL),在全局層面上融合所有HRDBs提取的層次特征信息。

GFF層采用核尺寸為1×1的卷積對HRDBs輸出的不同層次的特征進行融合,依據(jù)式(6)獲取全局特征:

FDF=σ(w1×1*[F1,F2,…,Fn-1,Fn]+b1×1)

(6)

式中,F1,F2,…,Fn-1,Fn為網(wǎng)絡(luò)中HRDBs輸出的特征映射；FDF為經(jīng)過GFF后得到的全局特征映射。

最后,通過GRL操作獲取最終用于重建HR圖像的特征映射,如式(7)所示:

FGDF=F0+FDF

(7)

式中,F0為淺層的特征映射。FGDF將最終被送入至HR空間,完成重建。

4 實驗結(jié)果與分析

4.1 實驗數(shù)據(jù)集

鑒于自建數(shù)據(jù)集中(Self-collected databases,SCD)PCB紅外圖像數(shù)據(jù)量有限,實驗中優(yōu)先使用公共數(shù)據(jù)集(Open databases,OD)LTIR與IRdata對重建算法模型進行訓練、驗證和測試,然后再用自建數(shù)據(jù)集對算法模型有效性做進一步的驗證。

以公共數(shù)據(jù)集中的紅外圖像作為原始的HR圖像,利用Matlab中imresize函數(shù)bicubic選項對原始HR圖像做factor=3的雙三次插值下采樣以模擬LR圖像。LR與HR圖像組成訓練圖像對,隨機抽取80 %的圖像對用于訓練；10 %的圖像對用于交叉驗證；10 %圖像對用于重建測試。類似的,將PCB紅外圖像的原始圖像(320×256)做同樣操作,以用于重建模型有效性的進一步驗證。

4.2 模型訓練設(shè)置

在Tensorflow 2.0框架下,依據(jù)表2設(shè)置HRDN重建網(wǎng)絡(luò)的參數(shù),其中G,P,H分別表示VDB輸出的增長率、連接VDB的路徑數(shù)量以及HRDB數(shù)量；除了GFF增長率取G0=64的固定值外,G,P,H的值將通過實驗獲??；每個訓練批次中隨機抽取16張尺寸為32×32的LR紅外圖像的部分圖像塊作為輸入,通過隨機的水平、垂直翻轉(zhuǎn)和90°的轉(zhuǎn)動操作增加圖像塊數(shù)量,每1000次迭代作為一個epoch,參考文獻[17]初始化網(wǎng)絡(luò)中的各個權(quán)重與偏置,使用Adam[18]優(yōu)化方法,設(shè)定初始學習律為10-4。在NVIDIA GPU RTX3080、16GRAM、Intel(R)Core(TM)i5-10600 環(huán)境下進行模型的訓練與測試。

表2 HRDN主要參數(shù)設(shè)置

4.2 評價指標

本文依據(jù)定性與定量兩類指標對重建算法模型的性能進行評價。其中,定性指標是指通過重建后的紅外圖像視覺效果進行評估；定量指標是指通過峰值信噪比(peak signal-to-noise ratio,PSNR)和結(jié)構(gòu)相似性指數(shù)(structural similarity index,SSIM)對重建結(jié)果進行評估,兩個定量指標的數(shù)學表達式如式(8)和式(9)所示:

(8)

式中,MSE為均方誤差。

(9)

在定量指標中,PSNR越大,表示重建圖像與原始圖像越接近,算法性能越好；SSIM越接近1,表示重建圖像與原始圖像相似性越高,算法性能越好。

4.3 結(jié)果分析

4.3.1 參數(shù)P,G,H分析

通過表2中網(wǎng)絡(luò)參數(shù)設(shè)置可以發(fā)現(xiàn),參數(shù)P,G,H并未確定,將通過實驗,綜合參考訓練中PSNR指標和網(wǎng)絡(luò)的復雜度后而確定。

圖5為P,G,H取不同參數(shù)值時重建圖像的PSNR收斂曲線。如圖5(a)所示,由于采用了多路徑結(jié)構(gòu)使得網(wǎng)絡(luò)提取圖像特征能力顯著增強,并且隨著P值的增加指標性能也有提高,但提高的并不十分顯著；如圖5(b)所示,G=16和G=32時PSNR的值并未出現(xiàn)顯著的變化,但是當G=64時,PSNR的值出現(xiàn)了顯著的提高。而且,由于采用了局部特征融合,網(wǎng)絡(luò)訓練負擔并不會因G的提高而急劇增加,因而為選擇更大的G值以促進重建性能提供了可能性；如圖5(c)所示,由于HRDB數(shù)量直接關(guān)系網(wǎng)絡(luò)的深度與復雜度,因此指標并沒有隨著H的提高而向更好的性能收斂。以重建性能作為首要參考指標,同時考慮訓練負擔與網(wǎng)絡(luò)復雜度等因素,最終本文采用P=8,G=64,H=16作為重建網(wǎng)絡(luò)參數(shù)值。

圖5 參數(shù)P,G,H對重建性能的影響

為了進一步說明模型的有效性,在參數(shù)值P=8,G=64,H=16時,獲取模型訓練與驗證集的損失函數(shù)曲線,如圖6所示。可以發(fā)現(xiàn),訓練與驗證損失曲線收斂一致,說明訓練模型不存在過擬合,可以用于進一步的重建測試。

圖6 訓練與驗證損失

4.3.2 不同算法的測試結(jié)果對比

使用雙三次插值法、SRCNN、ESPCN與本文算法分別對公共數(shù)據(jù)測試集中的遠景建筑物紅外圖像和自建數(shù)據(jù)測試集中空客A320氣象雷達PCB紅外圖像進行重建,重建結(jié)果如圖7和圖8所示。

通過圖7可以發(fā)現(xiàn),雙三次內(nèi)插法的重建結(jié)果中,圖像中信息發(fā)生了改變,尤其高頻特征,表現(xiàn)為樓宇邊緣輪廓出現(xiàn)了嚴重形變；SRCNN與ESPCN重建結(jié)果中,樓宇間豎向的清晰度有所提升且形變減小,但是圖像中明顯出現(xiàn)了大量的椒鹽噪聲,框體內(nèi)放大圖像的橫向窗戶的細節(jié)特征未能體現(xiàn)；相比上述重建結(jié)果,本文重建圖像放大區(qū)域樓宇間豎向輪廓最為清晰,橫向輪廓也有所加強,重建后的圖像中噪聲小,視覺效果與原圖最為接近。觀察圖8所示電路板紅外圖像的重建結(jié)果可以發(fā)現(xiàn),相比與其他算法的重建結(jié)果,本文結(jié)果噪聲最小,芯片的邊緣細節(jié)表現(xiàn)的最為清晰,本文的重建結(jié)果與原始圖像最為接近,能夠?qū)⑿酒陌l(fā)熱層次清晰的展現(xiàn)出來(框體內(nèi)所示),使得能夠通過人眼即可對發(fā)熱區(qū)域的溫度差異進行分辨,更好地還原了圖像中的高頻細節(jié)。

圖7 不同方法重建效果對比

圖8 不同方法重建效果對比

為進一步說明本文算法的優(yōu)勢,分別計算了不同算法在公共數(shù)據(jù)測試集和自建數(shù)據(jù)測試集下重建圖像的定量指標,如表3所示?？梢园l(fā)現(xiàn),本文算法得到的重建性能指標均高于列舉的其他算法,這說明本文算法能夠使重建結(jié)果更接近原圖,獲得與原圖更高的相似性。

表3 不同方法重建結(jié)果定量指標對比

4.3.3 真實圖像的超分辨率重建

為了說明本文算法的實用性,對真實的未經(jīng)過退化的PCB紅外圖像(320×256)進行SR重建,與基于雙三次插值法、SRCNN、ESPCN的重建結(jié)果進行對比,如圖9所示。

圖9 真實紅外圖像重建效果對比

可以發(fā)現(xiàn),與列舉的其他算法相比,本文重建結(jié)果中芯片的發(fā)熱區(qū)域的邊緣與細節(jié)展現(xiàn)更為清晰,能夠?qū)⒃瓐D中未能明顯體現(xiàn)的差異性發(fā)熱區(qū)域突出顯示出來,從而為依據(jù)視覺判斷芯片的發(fā)熱異常提供有力的支撐；另外,實驗結(jié)果也進一步說明了本文算法能夠更好的學習紅外圖像的多樣性層次特征,即使對于真實的分辨率較低的紅外圖像依然具有較好的重建性能,展現(xiàn)出較強的魯棒性。

5 結(jié) 論

為了提高PCB紅外圖像的超分辨率重建性能,本文提出了一種基于混合殘差密集網(wǎng)絡(luò)的紅外圖像超分辨率重建算法模型。模型基于CNN與DenseNet結(jié)構(gòu)進行設(shè)計,對流程與特征提取網(wǎng)絡(luò)進行了改進與優(yōu)化,主要表現(xiàn)為以下幾個方面:

(1)構(gòu)建混合殘差密集連接塊(HRDBs)用于LR紅外圖像的特征提取與局部特征融合。首先,在HRDB內(nèi)采用多路徑結(jié)構(gòu)連接多個VDB,提高模型提取多樣性紅外圖像特征的能力；其次,在HRDB內(nèi)添加LFF實現(xiàn)局部特征融合與降維,減少訓練參數(shù)量并降低模型的計算復雜度。

(2)建立全局特征融合層(GFF),結(jié)合全局殘差學習(GRL)實現(xiàn)HRDBs輸出特征的融合與降維。

(3)對模型中的P,H,G參數(shù)進行實驗分析,綜合考慮重建性能指標與模型復雜度,確定具體參數(shù)值,構(gòu)建最優(yōu)重建模型。

分別使用公共數(shù)據(jù)集、自建數(shù)據(jù)集、未經(jīng)退化的PCB紅外圖像數(shù)據(jù)進行算法重建性能測試,結(jié)果顯示,在相同下采樣因子的退化模型下,本文算法模型獲取的重建圖像不僅在視覺效果和高頻細節(jié)方面優(yōu)于列舉出的其他算法,其重建的定量性能指標也體現(xiàn)出同樣的優(yōu)勢；對于真實的未退化的PCB紅外圖像,本文算法依然可以具備良好的重建性能,在紋理與邊緣的清晰度上依然優(yōu)于列舉出的其余算法,表現(xiàn)出較強的魯棒性。

綜上所屬,本文提出的重建模型對于PCB紅外圖像具備較強的重建性能,具備一定的泛化能力,可以應用于基于紅外的機載電子系統(tǒng)PCB維修中,具有繼續(xù)深入研究的意義。