基于卷積融合字典的電路板紅外圖像去噪研究

王 力,張亦弛,郝建新

(中國民航大學(xué)電子信息與自動化學(xué)院 機載電子系統(tǒng)深度維修實驗室,天津 300300)

1 引 言

目前,航空電子系統(tǒng)維修領(lǐng)域存在機載電路板結(jié)構(gòu)復(fù)雜、常用電路故障檢測方式不適用、人工檢測成本過高等問題,而紅外熱成像儀利用熱輻射原理可以目標進行無損檢測,因此越來越多的學(xué)者致力于基于紅外圖像的航電系統(tǒng)機載電路板故障診斷方法[1-3]的研究。該類方法首先在同一環(huán)境中利用紅外成像儀采集被測電路板正常和不同故障模式的紅外圖像；然后定位并提取電路板紅外圖像中目標芯片的溫度數(shù)據(jù)；最后利用芯片溫度數(shù)據(jù)完成電路板故障診斷。但電路板紅外圖像存在噪聲大、細節(jié)模糊、信噪比低且層次不分明的問題,嚴重影響電路板故障診斷的準確率。

紅外圖像噪聲主要分為系統(tǒng)噪聲和隨機噪聲[4],頻域濾波法[5]可有效消除系統(tǒng)噪聲,但隨機噪聲作為加性噪聲一直影響圖像成像質(zhì)量。隨機噪聲是指發(fā)生源產(chǎn)生并疊加在圖像上且與圖像無關(guān)的噪聲[6]。電路板工作時元器件發(fā)熱,產(chǎn)生的隨機噪聲干擾了成像質(zhì)量,導(dǎo)致其關(guān)鍵元器件細節(jié)模糊。受限于紅外熱像儀的自身性能,直接使用圖像分割法定位元器件效果不佳且難度較大。而選用熱靈敏度和成像分辨率更高的熱像儀會使硬件成本大幅升高。為提升后續(xù)故障診斷工作的準確性,本文將致力于電路板紅外圖像去噪重建算法模型研究,以實現(xiàn)對電路板紅外圖像隨機噪聲的濾除。

當(dāng)前,在圖像去噪領(lǐng)域基于機器學(xué)習(xí)和深度學(xué)習(xí)的方法獲得突破性進展[7]。李迎春等[8]提出了一種基于新型閾值函數(shù)的紅外圖像去噪法,解決了硬、軟閾值函數(shù)系數(shù)間存在恒定偏差的問題；Burger等[9]提出了用多層感知機的方法實現(xiàn)神經(jīng)網(wǎng)絡(luò)去噪,模型擁有較好去噪水平,但存在過擬合和梯度彌散問題；Lore等[10-11]利用自編碼器方法,通過學(xué)習(xí)不同信號特征,進行自適應(yīng)圖像對比度增強和去噪。

綜上所述,本文針對電路板紅外圖像芯片區(qū)域圖像模糊、關(guān)鍵細節(jié)缺失等問題,提出了一種卷積融合字典學(xué)習(xí)的紅外圖像去噪模型,以改善原圖像質(zhì)量。算法結(jié)合字典學(xué)習(xí)和卷積稀疏編碼結(jié)構(gòu)的優(yōu)勢,并行融合卷積稀疏編碼結(jié)構(gòu)和離散余弦變換字典,搭建復(fù)合初始化字典。通過復(fù)合初始化字典提取紅外圖像特征原子,建立稀疏特征矩陣,最后將稀疏特征系數(shù)帶入去噪模型中訓(xùn)練,完成電路板紅外圖像的去噪重構(gòu)。實驗結(jié)果表明,本文算法能夠有效濾除電路板紅外圖像的隨機噪聲,改善紅外圖像中芯片部分的信噪比,獲得較好的圖像去噪效果。

2 紅外圖像去噪

2.1 基于字典學(xué)習(xí)的圖像去噪

字典是大量特征原子按照一定順序聚集的集合,圖像去噪的原理是通過在字典中尋找能組成自身特征的線性原子,進而提取圖像本身特征,最后完成對圖像的重建。奇異值分解法(SVD)[12]是一種代表性的字典學(xué)習(xí)算法,SVD算法主要包括稀疏編碼和字典更新兩個步驟。在稀疏編碼階段,X為稀疏編碼矩陣,Y為原始樣本,理想情況應(yīng)滿足Y=DxX。字典學(xué)習(xí)問題可以轉(zhuǎn)化為在約束條件xi的零范數(shù)盡量小時,尋找原矩陣與分解的字典矩陣和稀疏碼矩陣乘積的差值矩陣二范數(shù)最小尋優(yōu)問題,即滿足:

(1)

K-SVD算法是SVD算法的延伸,K-SVD由Aharon[13]等提出并發(fā)展成熟,實質(zhì)是進行了K次迭代的奇異值分解算法,是一種泛化形式的k-means算法。利用多個字典原子的線性組合形成稀疏矩陣來表示圖像的特征。通過構(gòu)建稀疏矩陣對圖像稀疏表示,形成DCT初始化字典,并在其基礎(chǔ)上完成字典的搭建和稀疏矩陣的更新,可以實現(xiàn)圖像的去噪[14-15]、壓縮[16]、超分重建[17]等。

(2)

(3)

在字典學(xué)習(xí)算法中,稀疏編碼和字典更新是循環(huán)進行的,當(dāng)達到迭代次數(shù)或者逼近預(yù)設(shè)的標準差時,才會結(jié)束訓(xùn)練。迭代次數(shù)大小影響字典模型輸出,因此需經(jīng)過多次實驗設(shè)定最佳迭代次數(shù)。圖1為迭代次數(shù)的設(shè)定過程。

圖1 設(shè)置字典學(xué)習(xí)迭代次數(shù)Fig.1 Setting the number of dictionary learning iterations

標準差反映了圖像像素值與均值的離散程度,而標準差越大,圖像成像質(zhì)量越高。選取噪聲等級較低的圖像分為N個圖像塊,設(shè)定標準差σ,公式滿足:

(4)

字典學(xué)習(xí)可以適用于多種類型的圖像,具有更好的數(shù)據(jù)適應(yīng)性。但字典學(xué)習(xí)存在運算冗余的問題,算法不擅長處理特征復(fù)雜的圖像,有一定局限性。

2.2 卷積稀疏編碼

由2.1節(jié)可知稀疏表示算法主要通過將圖像分割為若干小塊,然后獨立處理每一個塊,最后通過奇異值分解完成對原始圖像的稀疏表示。圖像塊的大小會影響稀疏表示的效果,圖像塊過小會破壞圖像原始結(jié)構(gòu),導(dǎo)致去噪重建后圖片出現(xiàn)涂抹化的情況,影響圖像質(zhì)量。結(jié)合卷積網(wǎng)絡(luò)提取特征方面的優(yōu)勢,卷積稀疏表示(Convolutional sparse representation,CSR)[18-20]的方法被提出,其主要原理是通過預(yù)先訓(xùn)練的卷積編碼進行分解,獲得原始圖像的卷積稀疏響應(yīng)圖,每張響應(yīng)圖中包含了圖像的不同特征信息。卷積稀疏編碼的模型可以表示為式(5):

(5)

式中,di為第i個卷積核；zi為卷積核di的特征響應(yīng)系數(shù)；m表示響應(yīng)中的非零項數(shù)量,K為總卷積核數(shù)量。

卷積稀疏編碼通過卷積核以及對應(yīng)的卷積稀疏響應(yīng)圖si乘積之和來表示原始圖像的特征。卷積稀疏編碼目標函數(shù)為:

(6)

卷積稀疏編碼模型比傳統(tǒng)稀疏表示算法能更好地學(xué)習(xí)圖像特征,但優(yōu)化過程較復(fù)雜導(dǎo)致計算復(fù)雜度高、運行時間長。在增加一定網(wǎng)絡(luò)深度后,卷積稀疏編碼訓(xùn)練難度上升,容易出現(xiàn)局部最優(yōu)的情況,結(jié)果不穩(wěn)定。

3 基于卷積融合字典學(xué)習(xí)卷積去噪算法

針對電路板紅外圖像結(jié)構(gòu)簡單、對比度低、細節(jié)信息多的特點,本文結(jié)合卷積稀疏編碼和字典學(xué)習(xí)的優(yōu)勢,提出了一種基于卷積融合字典學(xué)習(xí)的電路板紅外圖像的去噪算法。

3.1 構(gòu)建復(fù)合初始化字典

在字典學(xué)習(xí)中,模型的重建效果與初始化字典的構(gòu)建具有高度相關(guān)性,想要達到模型預(yù)期效果需要進行大量實驗。初始化字典決定了稀疏矩陣規(guī)模、運算速度以及模型效果,因此針對電路板紅外圖像的去噪模型,選擇適用的初始化字典非常重要。構(gòu)建初始化過完備字典一般采用DCT變換的方法,DCT變換雖然能提取電路板紅外圖像的稀疏特征原子,但提取效果和效率并未達到預(yù)期。分割的圖像塊尺寸較小時,訓(xùn)練時間較長且部分電路元件存在嚴重涂抹情況。分割的圖像塊尺寸較大時,會導(dǎo)致芯片區(qū)域引腳模糊,去噪效果降低。因此,本文設(shè)計了一種并行融合結(jié)構(gòu)的卷積融合字典代替?zhèn)鹘y(tǒng)初始化字典的方案,能有效提取紅外圖像的特征信息。圖2為在同區(qū)域中使用DCT變換、FFT變換、復(fù)合初始化字典結(jié)構(gòu)三種方法的稀疏矩陣特征原子密度對比。在同一電路板紅外圖像中任意選取25個4×4像素的區(qū)域,利用三種方法搭建去噪模型的初始化字典。稀疏矩陣可表示為:

圖2 三種初始化字典的提取特征原子密度對比Fig.2 Comparison of the atomic density of extracted features for the three initialised dictionaries

(7)

特征原子密度ρ可以表示為:

(8)

式中,m為特征原子數(shù)量;M×N為稀疏矩陣的總原子數(shù)。

從圖2可以發(fā)現(xiàn),不同初始化字典提取同一紅外圖像的特征點數(shù)量存在顯著差異。與傳統(tǒng)初始化字典相比,基于卷積融合字典結(jié)構(gòu)的復(fù)合初始化字典可以獲得更多特征原子,保障了模型去噪重建性能。

實驗電路板本身含有大量電路元件,其紅外圖像記錄了元件溫度信息。而紅外圖像分辨率較低,僅為320×256。因此噪聲干擾對電路板紅外圖像影響很大。圖3為使用DCT變換和本文提出的復(fù)合初始化字典處理同一紅外圖像所得的稀疏矩陣對比圖。

由圖3所示,兩個稀疏矩陣中的黑色塊代表紅外圖像的特征原子,白色塊為0?？梢钥闯鱿∈杈仃?b)的特征原子數(shù)量明顯多于(a)。提取同一紅外圖像特征時,本文所提結(jié)構(gòu)可以獲得更多圖像特征信息。將該去噪算法應(yīng)用于基于紅外圖像的故障診斷系統(tǒng)中將可以為提高故障模式診斷的準確率。

(a) (b)圖3 DCT變換和卷積融合結(jié)構(gòu),稀疏表示對比圖Fig.3 Comparison of sparse representation of DCT transform and convolutional fusion structure

3.2 卷積融合字典學(xué)習(xí)去噪算法

由3.1節(jié)知,本文算法利用卷積融合字典結(jié)構(gòu)建立復(fù)合初始化字典替代傳統(tǒng)初始化字典,該方法提取電路板紅外圖像特征信息效果較好。圖4所示為卷積融合字典學(xué)習(xí)電路板紅外圖像去噪算法模型的整體結(jié)構(gòu)圖?？梢钥闯?算法整體可分為三層,分別為改進卷積稀疏層、融合層以及重建層。改進卷積稀疏層是在傳統(tǒng)卷積稀疏編碼結(jié)構(gòu)基礎(chǔ)上,針對電路板紅外圖像的特點增加了一個包含ReLU激活函數(shù)的深色卷積模塊和不含ReLU激活函數(shù)的淺色卷積模塊,組成了一個三層卷積網(wǎng)絡(luò)。卷積核尺寸I分別設(shè)置為:

圖4 卷積融合字典學(xué)習(xí)去噪算法模型整體結(jié)構(gòu)圖Fig.4 Overall structure of the convolutional fusion dictionary learning denoising algorithm model

I=23-i×23-i×1 s.t.0≤i≤2

(9)

式中,i為卷積網(wǎng)絡(luò)層數(shù)。通過設(shè)置尺寸逐步縮小的卷積核可以更好的提取電路板紅外圖像特征,并構(gòu)建卷積稀疏響應(yīng)圖。淺色卷積塊未設(shè)置ReLU層的主要目的是在保證在卷積核與特征響應(yīng)圖通過閾值函數(shù)稀疏逼近后能與DCT字典的特征原子更好融合。改進卷積稀疏層的整體k次迭代過程可以表示為:

(10)

(11)

式中,K為卷積核總數(shù);d為卷積核;z為d對應(yīng)的稀疏特征響應(yīng);λX和λD為余弦變換中的稀疏特征矩陣X和DCT字典的懲罰參數(shù)。ψ(X)表示輸入x的先驗函數(shù);φ(D1)表示DCT字典D1的正則化項。接著利用復(fù)合初始化字典進行奇異值分解并更新字典原子:

(12)

式中,μ為正則化系數(shù);為第k個算子;αk為包含了k個非零元素的稀疏向量。計算稀疏編碼后,更新字典,完成去噪字典的搭建,通過加權(quán)圖像塊疊加,完成電路板紅外圖像的去噪重構(gòu)。

圖5是本文算法的整體流程圖,具體算法步驟如下:

圖5 卷積融合字典算法流程圖Fig.5 Convolutional fusion dictionary algorithm flow chart

步驟1:將原始電路板紅外圖像x輸入到模型中,對電路板紅外圖像分別進行卷積稀疏編碼和離散余弦變換。

步驟2:將訓(xùn)練好的卷積稀疏編碼矩陣X1和DCT初始化字典D′融合,建立卷積融合字典的復(fù)合初始化字典D1。

步驟3:計算稀疏矩陣的稀疏系數(shù)λX,利用奇異值分解法更新字典原子。

步驟5:使用更新完成的去噪模型,加權(quán)疊加圖像塊xi,重構(gòu)電路板紅外圖像,最終得到去噪圖像y。

4 實驗結(jié)果

4.1 實驗數(shù)據(jù)集

本實驗采用的實驗電路板為機載電子系統(tǒng)電源模塊電路板。實驗環(huán)境具體如下:Windows10系統(tǒng),Intel I7-11800h處理器,NVIDIA RTX3080 GPU。實驗用紅外熱像儀為英孚泰克(Infratec)ImageIR?5300,紅外圖像分辨率為320×256,溫度分辨率為0.01。由于目前沒有通用的電路板類型的紅外圖像集,因此本實驗使用的電路板紅外圖像數(shù)據(jù)集是多個基于紅外圖像的電路板故障診斷項目采集的圖像集,總數(shù)量為50000張。數(shù)據(jù)集包括多環(huán)境、多周期、多種類的航電系統(tǒng)電源電路板紅外圖像。且為了保持數(shù)據(jù)集的多樣性,實驗另外加入了灰度變換后的斯坦福大學(xué)的圖片數(shù)據(jù)集ImageNet2012和FLIR紅外目標圖片數(shù)據(jù)集,共計10000張。數(shù)據(jù)集具體分布如表1所示。

表1 實驗所用數(shù)據(jù)集內(nèi)容和數(shù)量分布Tab.1 Content and volume distribution of the data sets used in the experiments

4.2 去噪效果

本實驗采用設(shè)置對照組的方式進行實驗,去噪效果采取定性和定量的方式進行評估。定性的評價標準采用人眼觀測成像效果的方法,定量是采用峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)作為評價標準。峰值噪比和結(jié)構(gòu)相似性可分別表示為:

(13)

式中,n為像素比特數(shù),MSE是原圖像Y(i,j)與去噪后圖像X(i,j)之間均方誤差,H、W為圖像的高和寬。峰值信噪比越高,紅外圖像所獲得的信息豐富度就越高,去噪效果也越好。

(14)

本文采取在不同噪聲范圍內(nèi)進行對比實驗的方案,進而實現(xiàn)測試不同環(huán)境和干擾程度去噪效果的目的。具體的實驗條件和設(shè)計思路如表2所示。

表2 具體實驗條件和設(shè)計思路Tab.2 Specific experimental conditions and design ideas

圖6分別選取了表2中三個噪聲范圍的電路板紅外圖像。

圖6 三種不同噪聲水平的電路板紅外圖像Fig.6 Infrared images of the circuit board with three different noise levels

可以發(fā)現(xiàn),紅外成像儀受到噪聲干擾時,噪聲會導(dǎo)致電路板紅外圖像中電路元件區(qū)域信噪比低,圖像模糊。

在同一噪聲等級情況下,實驗隨機選取電路板紅外圖像,分別使用K-SVD、卷積網(wǎng)絡(luò)去噪以及卷積融合字典算法進行去噪重建。從峰值信噪比、結(jié)構(gòu)相似性和成像效果三個角度,分析三種不同算法產(chǎn)生的差異性實驗結(jié)果。圖7給出了在三種不同噪聲區(qū)間內(nèi),K-SVD、卷積去噪以及本文算法的去噪成像效果對比圖。圖中白色框區(qū)域為電路板芯片所在區(qū)域,是故障診斷系統(tǒng)的主要定位和數(shù)據(jù)提取區(qū)域:

圖7 σ=15,25,50dB情況下去噪效果對比圖Fig.7 Comparison of the denoising effect in caseσ=15,25,50 dB

可以看出,在0 dB≤σ≤15 dB時,本文算法可以清晰顯示芯片周邊及引腳,信噪比較高；在15 dB≤σ≤25 dB時,K-SVD和卷積網(wǎng)絡(luò)對于白色框區(qū)域的去噪效果不太理想,本文算法在兩個區(qū)域內(nèi)依然能保持較高信噪比,芯片主體和引腳部分較為清晰；在25 dB≤σ≤50 dB時,兩種對比算法重建圖像涂抹程度高,細節(jié)已嚴重缺失,本文算法雖也存在涂抹化問題,但芯片區(qū)域顯示效果尚可,保留了芯片和引腳的完整性,具有溫度信息的提取價值。

定量方面,表3和表4給出了三種噪聲范圍內(nèi),K-SVD、卷積網(wǎng)絡(luò)去噪以及本文算法的平均去噪結(jié)果；表5給出了三種對比算法的平均運行時間。圖8、圖9和圖10分別給出了在噪聲范圍為0 dB≤σ≤15 dB、15 dB≤σ≤25 dB、25 dB≤σ≤50 dB時測試100次的三種方法圖像信噪比對比。圖11、圖12和圖13分別給出了在噪聲范圍為0 dB≤σ≤15 dB、15 dB≤σ≤25 dB、25 dB≤σ≤50 dB時測試100次的三種方法的圖像結(jié)構(gòu)相似性對比。

表3 實驗結(jié)果(峰值信噪比PSNR(dB))Tab.3 Experimental results(peak signal to Noise ratio PSNR(dB))

表4 實驗結(jié)果(結(jié)構(gòu)相似性SSIM(%))Tab.4 Experimental results(structural similarity SSIM(%))

表5 不同算法平均運行時間Tab.5 Average running timeof different algorithms

圖8 0 dB≤σ≤15dB時三種方法峰值信噪比對比Fig.8 Comparison of peak signal-to-noise ratios of three methods in 0 dB≤σ≤15 dB

圖9 15 dB≤σ≤25dB時三種方法峰值信噪比對比Fig.9 Comparison of peak signal-to-noise ratios of three methods in 15 dB≤σ≤25 dB

圖10 25 dB≤σ≤50dB時三種方法峰值信噪比對比Fig.10 Comparison of peak signal-to-noise ratios of three methods in 25 dB≤σ≤50 dB

圖11 0 dB≤σ≤15dB時三種方法結(jié)構(gòu)相似性對比Fig.11 Comparison of structural similarities between the three methods in 0 dB≤σ≤15 dB

圖12 15 dB≤σ≤25dB時三種方法結(jié)構(gòu)相似性對比Fig.12 Comparison of structural similarities between the three methodsin 15 dB≤σ≤25 dB

圖13 25 dB≤σ≤50dB時三種方法結(jié)構(gòu)相似性對比Fig.13 Comparison of structural similarities between the three methodsin 25 dB≤σ≤50 dB

綜上,實驗結(jié)果具有以下特點:

①在噪聲范圍為0 dB≤σ≤15 dB時,卷積融合結(jié)構(gòu)提取特征效果較好,本文算法取得了較好的去噪效果。橫向?qū)Ρ瓤芍?本文算法對比K-SVD和卷積網(wǎng)絡(luò)去噪在輸出PSNR方面分別提升了26.63 %和16.31 %。同時,本文算法平均運行時間相比K-SVD縮短了19.7 %。從圖中可以看出,本文算法能過濾除大部分紅外噪聲干擾,電路板圖像的電路元件部分信噪比大幅度提高,芯片引腳部分模糊程度降低。

②在噪聲等級在15 dB≤σ≤25 dB和25 dB≤σ≤50 dB時,表3和表4中,本文算法在PSNR和SSIM方面均優(yōu)于兩種對比算法,且所呈現(xiàn)的特點符合電路板紅外圖像去噪成像效果。在存在較為嚴重的噪聲干擾時,本文算法能有效濾除大部分紅外噪聲。

③在較小噪聲范圍時,電路板上電路元件部分尚未被噪聲完全干擾,本文算法利用卷積稀疏結(jié)構(gòu),提取紅外圖像特征,獲得了較高的峰值信噪比和架構(gòu)相似性。而其他兩種對比算法在峰值信噪比和結(jié)構(gòu)相似性上較本文算法存在一定差距。

④在較大噪聲范圍下,電路元件部分被噪聲完全干擾,本文算法依然取得了較好峰值信噪比和結(jié)構(gòu)相似性。當(dāng)噪聲嚴重時,單獨使用兩種經(jīng)典算法并不能獲得較好峰值信噪比及結(jié)構(gòu)相似性。

圖14給出了在噪聲范圍為15 dB≤σ≤25 dB時,經(jīng)過去噪處理后,紅外圖像故障診斷系統(tǒng)的芯片定位準確度。

圖14 去噪后芯片定位準確度Fig.14 Accuracy of chip positioning after denoising

可以看出,盡管在電路板電阻區(qū)域呈現(xiàn)小幅度的涂抹問題,但本文算法去噪后芯片主體及引腳部分信噪比較高,一定程度上降低了芯片定位難度,提升了定位準確度,后續(xù)研究能較為的準確提取芯片區(qū)域溫度信息,方便了基于紅外圖像的電路板故障診斷方法的研究,為故障診斷方法的可靠性和魯棒性提供了一定的保障。

5 結(jié) 語

本文將字典學(xué)習(xí)和卷積結(jié)構(gòu)并行融合,綜合考慮了卷積結(jié)構(gòu)的優(yōu)秀提取特征性以及稀疏矩陣的重建優(yōu)勢,針對特定的電路板紅外圖像進行優(yōu)化,研究了基于航電系統(tǒng)電源電路板紅外圖像去噪方法。實驗表明,對于一定噪聲等級的范圍內(nèi),本文算法都能對電路板紅外圖像的噪聲進行有效濾除。滿足后續(xù)基于紅外圖像的機載電路板故障診斷系統(tǒng)的研究需要。但是在噪聲等級達到σ=50 dB以上時,本文算法依然不能完全達到有效去噪重建清晰度,存在圖像涂抹化和網(wǎng)格化的情況。下一步的研究工作將集中于深入研究在嚴重噪聲干擾時,電路板紅外圖像的去噪重構(gòu)以及對圖像中電路元器件邊緣的清晰化處理。