基于稀疏表示的車用帶鋼表面圖像信息修復(fù)

周李洪，龔金科，李兵

（1.湖南大學(xué) 機(jī)械與運(yùn)載工程學(xué)院，湖南 長(zhǎng)沙 410082；2.湖南機(jī)電職業(yè)技術(shù)學(xué)院 汽車工程學(xué)院，湖南 長(zhǎng)沙 410151；3.合肥工業(yè)大學(xué) 電氣與自動(dòng)化工程學(xué)院，安徽 合肥 230009）

圖像作為人們傳遞信息和獲取信息的媒介，是學(xué)者們研究的熱點(diǎn)對(duì)象[1].數(shù)據(jù)圖像處理是通過計(jì)算機(jī)處理并分析圖像的一種技術(shù).數(shù)字圖像的性能隨著數(shù)字計(jì)算機(jī)和信息時(shí)代的發(fā)展不斷提高，被廣泛地應(yīng)用在各個(gè)領(lǐng)域中[2].但是在存儲(chǔ)、壓縮和傳輸過程中，外界的干擾會(huì)導(dǎo)致數(shù)字圖像信息缺損.為了提高圖像信息的完整性，需要對(duì)受損圖像進(jìn)行修復(fù)和填補(bǔ).圖像信息修復(fù)技術(shù)在此背景下被人們所重視.圖像信息修復(fù)技術(shù)可以使修復(fù)后圖像的視覺效果或可視化效果更接近原始圖像[3].

帶鋼作為汽車的重要原材料，對(duì)汽車的質(zhì)量和性能產(chǎn)生直接影響，因此，對(duì)其進(jìn)行表面檢測(cè)具有重要意義.但在帶鋼表面檢測(cè)圖像中，常因噪聲干擾等問題出現(xiàn)缺陷，為此，需要通過圖像修復(fù)技術(shù)對(duì)車用帶鋼表面圖像信息進(jìn)行修復(fù)，可以實(shí)現(xiàn)車用帶鋼受損區(qū)域的復(fù)原，因此需要對(duì)車用帶鋼表面圖像信息修復(fù)方法進(jìn)行分析和研究.

現(xiàn)有研究中，強(qiáng)振平等[4]提出基于圖像結(jié)構(gòu)分成計(jì)算的圖像信息修復(fù)方法，利用局部拉普拉斯濾波器平滑處理圖像細(xì)節(jié)信息，獲得圖像結(jié)構(gòu)成分，確定修復(fù)優(yōu)先級(jí)，在基于結(jié)構(gòu)張量和等照度線的圖像修復(fù)算法中引入結(jié)構(gòu)成分引導(dǎo)方法，實(shí)現(xiàn)圖像信息的修復(fù)，但該方法沒有劃分圖像的目標(biāo)區(qū)域和背景區(qū)域，導(dǎo)致修復(fù)后圖像的峰值信噪較低，存在修復(fù)效果差的問題.曹大命等[5]提出基于先驗(yàn)約束的圖像信息修復(fù)方法，通過對(duì)圖像做預(yù)處理，獲得先驗(yàn)信息，在先驗(yàn)信息約束的基礎(chǔ)上初始化偏移映射圖，利用夾角法和均值法在像素塊匹配過程中計(jì)算像素塊的相似度，引入直方圖統(tǒng)計(jì)方法，實(shí)現(xiàn)圖像信息的修復(fù)，但該方法未對(duì)圖像進(jìn)行分割處理，導(dǎo)致修復(fù)過程中計(jì)算量較大，修復(fù)圖像所用的時(shí)間較長(zhǎng)，存在修復(fù)效率低的問題.韓棟等[6]提出基于曲率約束因子與邊緣加權(quán)法則的圖像信息修復(fù)方法，通過像素的等照度線的方向構(gòu)造曲率約束因子，并約束數(shù)據(jù)項(xiàng)以形成優(yōu)先級(jí)測(cè)量函數(shù).利用像素均值之差，構(gòu)造像素自相關(guān)模型調(diào)整樣本塊的大小及邊緣加權(quán)模型，并通過結(jié)合SSD（Sum of Square Differences）（平方差和）模型建立邊緣加權(quán)規(guī)則，進(jìn)行最優(yōu)匹配，在修復(fù)區(qū)域中填充最優(yōu)匹配塊，實(shí)現(xiàn)圖像信息的修復(fù).但該方法無法對(duì)背景區(qū)域中的受損區(qū)域進(jìn)行有效修復(fù)，導(dǎo)致修復(fù)后的圖像均方根誤差較大，存在圖像修復(fù)效果差的問題.

為了解決上述方法中存在的問題，提出基于稀疏表示的車用帶鋼表面圖像信息修復(fù)方法.計(jì)算車用帶鋼表面圖像的二維直方圖，獲取背景類和目標(biāo)類之間存在的離散測(cè)度矩陣，并通過距離測(cè)度函數(shù)，改善車用帶鋼表面圖像分割的精確性；基于稀疏表示理論，獲取圖像目標(biāo)區(qū)域，去除圖像塊中存在的受損區(qū)域，構(gòu)建基于稀疏表示的車用帶鋼表面圖像信息修復(fù)模型，進(jìn)一步減少了計(jì)算的冗余度.

1 車用帶鋼表面圖像分割處理

通常對(duì)帶鋼表面進(jìn)行檢測(cè)的系統(tǒng)由以下四個(gè)模塊組成：圖像獲取模塊、圖像處理模塊、圖像分析模塊、數(shù)據(jù)管理及人機(jī)接口模塊[7].本次研究的車用帶鋼表面圖像分割處理算法是在圖像處理模塊進(jìn)行.由于受到現(xiàn)場(chǎng)環(huán)境、傳輸電路等影響，導(dǎo)致采集的原始圖像具有一定的噪聲，給圖像的修復(fù)處理帶來不便[8].對(duì)車用帶鋼表面圖像信息修復(fù)，首先需對(duì)車用帶鋼表面圖像進(jìn)行分割處理，分離車用帶鋼表面圖像的目標(biāo)類與背景類信息，以提升車用帶鋼表面圖像信息修復(fù)準(zhǔn)確性.通過求解車用帶鋼表面圖像的鄰域平均灰度，得到車用帶鋼表面圖像的灰度變換范圍；通過計(jì)算車用帶鋼表面圖像的二維直方圖，構(gòu)建背景類和目標(biāo)類之間存在的離散測(cè)度矩陣，實(shí)現(xiàn)車用帶鋼表面圖像的分割.車用帶鋼表面圖像分割處理流程如圖1 所示.

圖1 車用帶鋼表面圖像分割處理流程圖Fig.1 Flow chart of segmentation processing of automotive strip surface image

設(shè)車用帶鋼表面圖像的灰度變換范圍為0～L-1，圖像的尺寸為M×M.通過車用帶鋼表面圖像中存在的L 個(gè)灰度值構(gòu)成集合Z={z0|z0∈0～L-1}，（m，n）代表的是像元點(diǎn)在圖像中對(duì)應(yīng)的坐標(biāo)；f（m，n）為像元點(diǎn)在坐標(biāo)（m，n）處對(duì)應(yīng)的灰度值，存在于集合Z中，即f（m，n）∈Z，g（m，n）代表的是像元點(diǎn)在坐標(biāo)（m，n）處對(duì)應(yīng)的鄰域平均灰度，其計(jì)算公式如下：

式中：N 代表的是像元點(diǎn)灰度值正方形鄰域窗口對(duì)應(yīng)的寬度.

鄰域平均灰度g（m，n）通常情況下為：

像元灰度值f（m，n）通常情況是大于或等于0的[9]，因此在上式基礎(chǔ)上獲得0≤g（m，n）＜L.表明圖像（m，n）的灰度變換范圍與鄰域平均灰度g（m，n）的灰度變換范圍相同，即g（m，n）∈Z.

任意一幅車用帶鋼表面圖像可以通過下述矩陣進(jìn)行描述.

如果利用[f（m，n），g（m，n）]描述一副M×M 的車用帶鋼表面圖像，需要計(jì)算車用帶鋼表面圖像的二維直方圖[10-11].

車用帶鋼表面圖像的二維直方圖存在于L×L 的正方形區(qū)域中[12]，圖像像元的灰度值和鄰域平均度分別可以通過橫坐標(biāo)和縱坐標(biāo)進(jìn)行描述.設(shè)pij代表的是直方圖中存在的一點(diǎn)，描述的是向量a=（i，j）發(fā)生的頻率，用來表示向量b=[f（m，n），g（m，n）]，且0≤i，j＜L，頻率pij的計(jì)算公式如下：

式中：cij代表的是向量a 發(fā)生的頻數(shù).

在二維直方圖中存在兩類區(qū)域C0、C1，分別對(duì)應(yīng)的是車用帶鋼表面圖像背景和目標(biāo)，其對(duì)應(yīng)的概率分布均不相同[13].如果利用二維直方圖中存在的任意門限向量c=（s，t）分割車用帶鋼表面圖像時(shí)，ω0代表的是圖像背景區(qū)域發(fā)生的概率分布；ω1代表的是圖像目標(biāo)區(qū)域發(fā)生的概率分布，其計(jì)算公式分別為：

設(shè)μ0代表背景類對(duì)應(yīng)的均值，μ1代表目標(biāo)類對(duì)應(yīng)的均值，通過下述公式對(duì)均值進(jìn)行計(jì)算：

設(shè)μZ代表總體均值，可利用上述結(jié)果計(jì)算得到.

利用二維直方圖構(gòu)建背景類和目標(biāo)類之間存在的離散測(cè)度矩陣σB.

設(shè)trσB代表離散測(cè)度矩陣σB的跡，在二維最大類間方差法中將其作為目標(biāo)類與背景類之間存在的距離測(cè)度函數(shù)[14]，實(shí)現(xiàn)車用帶鋼表面圖像的分割.

通過二維直方圖方法，對(duì)車用帶鋼表面圖像的目標(biāo)區(qū)域與背景區(qū)域進(jìn)行精準(zhǔn)分割，為圖像修復(fù)處理奠定基礎(chǔ)，進(jìn)一步提高圖像修復(fù)的精度.

2 基于稀疏表示的圖像信息修復(fù)

在實(shí)現(xiàn)車用帶鋼表面圖像分割處理后，用圖像分析模塊進(jìn)行圖像信息分析，基于稀疏表示理論的基礎(chǔ)，對(duì)車用帶鋼表面圖像信息進(jìn)行修復(fù).通過線性組合和圖像塊約束圖像的非零元素的稀疏信號(hào)[15]，構(gòu)建稀疏表示模型，構(gòu)建圖像塊中存在的待修復(fù)圖像函數(shù)，通過MAP 估計(jì)去除圖像塊中存在的受損區(qū)域，通過L1 范數(shù)對(duì)重構(gòu)誤差進(jìn)行測(cè)度，構(gòu)建基于稀疏線性表達(dá)的車用帶鋼表面圖像信息修復(fù)模型，實(shí)現(xiàn)車用帶鋼表面圖像信息修復(fù).基于稀疏表示的圖像信息修復(fù)流程如圖2 所示.

圖2 基于稀疏表示的圖像信息修復(fù)流程圖Fig.2 Flow chart of image information restoration based on sparse representation

稀疏表示通常利用線性組合對(duì)自然信號(hào)進(jìn)行描述[16]，設(shè)D=[d1，d2，…，dL]∈RN×L代表字典，由L個(gè)標(biāo)準(zhǔn)信號(hào)原子{dl}Li=1構(gòu)成，存在下式：

式中：α=[α1，…，αi，…，αL]T∈RL為存在K 個(gè)非零元素的稀疏信號(hào)，稱信號(hào)α 為K 的稀疏表示.

稀疏表示過程是通過圖像塊劃分車用帶鋼表面圖像，形成集合的模式[17].按照從左到右，從上到下的順序?qū)D像局部塊進(jìn)行排序，獲得m 維列向量，分別用基元組Di和向量xi描述線性組合和圖像塊.

通過上述約束系數(shù)α 的稀疏性，構(gòu)建稀疏表示模型.

式中：y 代表的是車用帶鋼表面圖像信號(hào).

利用L1 范數(shù)取代L0 范數(shù)，將稀疏表示模型轉(zhuǎn)變?yōu)橄率剑?/p>

基于稀疏表示的車用帶鋼表面圖像信息修復(fù)方法利用最小化L1 范數(shù)技術(shù)縮小了計(jì)算量，獲得信號(hào)的稀疏變換.

圖像修復(fù)是在指定區(qū)域中利用修復(fù)算法進(jìn)行填補(bǔ)，使處理后的車用帶鋼表面圖像在視覺上與原始圖像一般[18].

Ω 代表車用帶鋼表面圖像中需要修復(fù)的目標(biāo)區(qū)域.Φ 代表除了目標(biāo)區(qū)域以外車用帶鋼表面圖像中的其他區(qū)域，即源區(qū)域.設(shè)I 代表像素在車用帶鋼表面圖像中的下標(biāo)集合；y 代表給定的車用帶鋼表面圖像；yI代表排除目標(biāo)區(qū)域后，所有車用帶鋼表面圖像像素構(gòu)成的集合；DI為yI對(duì)應(yīng)的基，對(duì)稀疏表示模型進(jìn)行改進(jìn)，即：

在稀疏表示模型的基礎(chǔ)上利用已知的基元組D描述圖像塊.

用y 描述圖像塊x 中存在的待修復(fù)圖像，對(duì)圖像y 進(jìn)行MAP 估計(jì)去除圖像塊中存在的受損區(qū)域，通過L1 范數(shù)對(duì)重構(gòu)誤差進(jìn)行測(cè)度，將問題轉(zhuǎn)變?yōu)椋?/p>

對(duì)式（19）進(jìn)行優(yōu)化，構(gòu)建基于稀疏線性表達(dá)的車用帶鋼表面圖像信息修復(fù)模型.

對(duì)上述局部塊上的稀疏修復(fù)模型進(jìn)行推廣，使稀疏修復(fù)模型適用于整幅車用帶鋼表面圖像[19].

對(duì)車用帶鋼表面圖像進(jìn)行MAP 估計(jì)，推廣局部塊中的稀疏修復(fù)模型，將稀疏修復(fù)模型轉(zhuǎn)變?yōu)椋?/p>

式中：Rl代表基元組，大小為.

利用上述稀疏修復(fù)模型分別在車用帶鋼表面圖像的背景區(qū)域和目標(biāo)區(qū)域中進(jìn)行信息修復(fù)，實(shí)現(xiàn)車用帶鋼表面圖像信息的修復(fù).

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證基于稀疏表示的車用帶鋼表面圖像信息修復(fù)方法的整體有效性，需要對(duì)基于稀疏表示的車用帶鋼表面圖像信息修復(fù)方法進(jìn)行測(cè)試.本次測(cè)試在Intel Core i7 CPU，內(nèi)存為8 GB 的PC 機(jī)上采用Matlab R2020b 編程實(shí)現(xiàn).將峰值信噪比和均方根誤差作為指標(biāo)對(duì)圖像信息的修復(fù)效果進(jìn)行衡量.

在東北大學(xué)熱軋帶鋼表面缺陷數(shù)據(jù)集（Visionbased SIS for steel）中選擇實(shí)驗(yàn)對(duì)象共1 000 張車用帶鋼表面缺陷圖像，分別采用文獻(xiàn)[5]和文獻(xiàn)[6]方法作為實(shí)驗(yàn)對(duì)比，測(cè)試3 種不同方法對(duì)圖像信息的修復(fù)效果.圖3 為其中一張車用帶鋼表面圖像.圖3 為微小型的帶鋼表面缺陷圖像，其最大缺陷只有約90 μm×90 μm 大小.

圖3 車用帶鋼表面圖像Fig.3 Surface image of strip steel for car

3.1 圖像修復(fù)效果對(duì)比

采用3 種不同方法對(duì)圖3 車用帶鋼表面圖像進(jìn)行信息修復(fù).通過式（15）對(duì)圖像進(jìn)行稀疏表示處理，設(shè)車用帶鋼表面圖像信號(hào)為200 Mb，非零元素的稀疏信號(hào)為100 Mb.在此基礎(chǔ)上得到的修復(fù)效果對(duì)比圖如圖4 所示.

圖4 不同方法的車用帶鋼表面圖像信息修復(fù)效果Fig.4 The effect of different methods on surface image information restoration of automotive strip steel

如圖4 所示，文獻(xiàn)[5]方法能夠識(shí)別缺陷較為密集的區(qū)域，而無法識(shí)別缺陷稀少的區(qū)域；文獻(xiàn)[6]方法能夠識(shí)別面積較大的缺陷，而對(duì)微小缺陷的識(shí)別準(zhǔn)確率較低；本文方法能夠有效識(shí)別車用帶鋼表面圖像的缺陷信息并修復(fù)，圖像信息修復(fù)效果較好.由此可見，基于稀疏表示的車用帶鋼表面圖像信息修復(fù)方法通過對(duì)圖像進(jìn)行分割處理，利用稀疏修復(fù)模型分別對(duì)車用帶鋼表面圖像的背景區(qū)域和目標(biāo)區(qū)域進(jìn)行信息修復(fù)，圖像信息修復(fù)效果更好.

3.2 信噪比和均方根誤差對(duì)比

設(shè)PSNR（Peak Signal-to-Noise Ratio）表示峰值信噪比，峰值信噪比越大表明圖像信息的修復(fù)效果越好，其計(jì)算公式如下：

式中：MSE（Mean Squared Error）表示修復(fù)圖像與原始圖像之間的均方誤差.

設(shè)RMSE（Root Mean Squared Error）代表均方根誤差，均方根誤差越小表明修復(fù)后的圖像越接近原始圖像，其計(jì)算公式如下：

3 種不同方法在車用帶鋼表面圖像信息修復(fù)過程中，其峰值信噪比及均方根誤差對(duì)比結(jié)果分別如圖5、圖6 所示.

由圖5 中的數(shù)據(jù)可知，本文方法在不同測(cè)試中獲得的峰值信噪比均高于文獻(xiàn)[5]方法和文獻(xiàn)[6]方法獲得的峰值信噪比，峰值信噪比越高表明方法的修復(fù)效果越好.分析圖6 可知，本文方法的均方根誤差均低于0.2，遠(yuǎn)小于其他兩種方法，均方根誤差越小，表明此方法的修復(fù)效果越好.綜上所述，本文方法對(duì)車用帶鋼表面圖像的修復(fù)效果較好.本文方法利用稀疏修復(fù)模型分別對(duì)車用帶鋼表面圖像的目標(biāo)區(qū)域和背景區(qū)域進(jìn)行修復(fù)，在修復(fù)過程中提高了修復(fù)的針對(duì)性，進(jìn)而提高了所提方法的修復(fù)效果.

圖5 峰值信噪比對(duì)比結(jié)果Fig.5 Peak signal-to-noise ratio comparison results

圖6 均方根誤差對(duì)比結(jié)果Fig.6 Root mean square error comparison result

3.3 圖像修復(fù)耗時(shí)對(duì)比

分別采用本文方法、文獻(xiàn)[5]方法和文獻(xiàn)[6]方法對(duì)車用帶鋼表面圖像信息進(jìn)行修復(fù)，對(duì)比不同方法修復(fù)圖像受損區(qū)域所需的時(shí)間，測(cè)試結(jié)果如圖7 所示.

分析圖7 中的數(shù)據(jù)可知，隨著圖像數(shù)量的增加，3 種方法修復(fù)圖像所用的時(shí)間都有所增加，文獻(xiàn)[5]方法和文獻(xiàn)[6]方法在圖像數(shù)量超過200 幅時(shí)，修復(fù)圖像所用的時(shí)間迅速增加，是由于圖像數(shù)量增加的同時(shí)，修復(fù)圖像過程中的計(jì)算量不斷增加，進(jìn)而增加了修復(fù)所需的時(shí)間.本文方法所用的時(shí)間雖然也隨著圖像數(shù)量的增加不斷增長(zhǎng)，但是增加的幅度較小，且在相同圖像數(shù)量情況下所用的修復(fù)時(shí)間遠(yuǎn)遠(yuǎn)少于文獻(xiàn)[5]和文獻(xiàn)[6]方法所用的修復(fù)時(shí)間.本文方法對(duì)圖像進(jìn)行分割處理，并利用修復(fù)模型在不同區(qū)域中對(duì)信息進(jìn)行修復(fù)，利用最小化L1 范數(shù)技術(shù)縮小了計(jì)算量，進(jìn)而縮短了修復(fù)圖像所需的時(shí)間，提高了本文方法的修復(fù)效率.

圖7 修復(fù)時(shí)間對(duì)比結(jié)果Fig.7 Repair time comparison results

3.4 圖像修復(fù)特征對(duì)比

分析3 種不同方法下，圖像修復(fù)的幾何特征、灰度特征等，各特征的計(jì)算方式為：

面積表示識(shí)別的圖像缺陷區(qū)域的像素?cái)?shù)目大小，其計(jì)算公式如下：

式中：（x，y）表示像素點(diǎn).

分散度表示單位面積下，圖像缺陷區(qū)域周長(zhǎng)越長(zhǎng)，則缺陷區(qū)域形狀較復(fù)雜，其計(jì)算公式如下：

式中：c 表示圖像缺陷區(qū)域的周長(zhǎng).

灰度最大值與灰度最小值表示圖像修復(fù)中的變換能力，其計(jì)算公式如下：

式中：f（m，n）表示圖像灰度值.

對(duì)比度表示圖像修復(fù)后色差最大所相差的像素級(jí)，其計(jì)算公式如下：

式中：λ 表示圖像灰度的標(biāo)準(zhǔn)方差，δ 表示圖像灰度值的峰態(tài).

對(duì)圖像修復(fù)后的特征指標(biāo)進(jìn)行對(duì)比，結(jié)果如表1所示.

表1 修復(fù)后圖像各特征指標(biāo)對(duì)比結(jié)果Tab.1 Comparison result of each feature index of the repaired image

用3 種方法對(duì)圖像進(jìn)行修復(fù)后，圖像的各特征指標(biāo)能夠體現(xiàn)修復(fù)的效果.分析表1 可知，本文方法修復(fù)的圖像各特征指標(biāo)數(shù)值與實(shí)際值最接近，說明用本文方法修復(fù)圖像最接近實(shí)際，修復(fù)效果最好.而文獻(xiàn)[5]方法和文獻(xiàn)[6]方法修復(fù)圖像的各特征指標(biāo)值與實(shí)際值差距較大，表明修復(fù)效果難以達(dá)到理想值.本文所提方法基于圖像的鄰域平均灰度，利用二維直方圖對(duì)圖像進(jìn)行了精準(zhǔn)分割，改善了圖像缺陷處的提取效果，并利用稀疏修復(fù)模型對(duì)圖像進(jìn)行修復(fù)，使缺陷區(qū)域無限近似圖像正常區(qū)域，進(jìn)而提高了圖像的修復(fù)效果.

4 結(jié)論

圖像修復(fù)的基本原理是利用圖像中存在的有效信息對(duì)未知區(qū)域進(jìn)行近似估計(jì)，使修復(fù)后的圖像接近原始圖像.在數(shù)字圖像處理領(lǐng)域中，圖像修復(fù)技術(shù)是一種重要技術(shù)，在眾多領(lǐng)域中具有較強(qiáng)的實(shí)用性，被廣泛地應(yīng)用在車用帶鋼表面受損修復(fù)中.目前，車用帶鋼表面圖像信息修復(fù)方法存在修復(fù)效果差和修復(fù)效率低的問題.為此，提出基于稀疏表示的車用帶鋼表面圖像信息修復(fù)方法，利用稀疏修復(fù)模型在分割后的不同圖像區(qū)域中進(jìn)行信息修復(fù)，實(shí)驗(yàn)證明，設(shè)計(jì)方法縮短了修復(fù)所用的時(shí)間，優(yōu)化了修復(fù)效果.在圖像的修復(fù)中，還需要考慮紋理等修復(fù)特征，但本文研究未對(duì)修復(fù)圖像的精細(xì)程度進(jìn)行驗(yàn)證，在未來研究中，將會(huì)對(duì)圖像高精度修復(fù)進(jìn)一步完善.