核相關(guān)濾波在散斑圖像相關(guān)分析的應(yīng)用研究

馬如豹，申小敏，李翔，熊建斌

（1.湘南學(xué)院電子信息與電氣工程學(xué)院，郴州423000；2.廣東技術(shù)師范大學(xué)自動化學(xué)院，廣州510000)

0 引言

利用Yamaguchi和Peters等人[1-2]提出的數(shù)字圖像相關(guān)（Digital Image Correlation，DIC）分析技術(shù)計算散斑物體的表面形變，具有非接觸和全場測量的優(yōu)勢。其理論基礎(chǔ)是在未發(fā)生形變前的參考圖像中選取以特定點為中心的矩形子塊，然后在形變發(fā)生后的目標(biāo)圖像中找到最相似的一個區(qū)域作為對應(yīng)子塊。據(jù)此，即可進一步完成具體的形變分析[3]。

數(shù)字圖像作為一種信息載體，在獲取和傳輸過程中經(jīng)常會受到噪聲的污染。如成像設(shè)備的電子熱震動引起的熱噪聲，光電傳感器內(nèi)部參數(shù)引起固有模式噪聲，載體密度引起的散粒噪聲和量子噪聲引起的胡椒噪聲等[4]。為了緩解這些噪聲帶來的問題，相關(guān)領(lǐng)域的學(xué)者進行了很多的探索。主要有以下幾類處理方法被相繼提出：一是圖像平滑處理，如高斯濾波[5]、SG（Sav?itzky-Golay）[6]、GCV（Generalized Cross Validation）和有限元相結(jié)合等的算法[7]，其主要思路是希望通過把噪聲分?jǐn)偟洁徑膮^(qū)域，減少噪聲造成的直接影響，但容易使得散斑圖像變得模糊；二是子塊增大法，如計算子塊的熵[8]和SSSIG（Sum of Square of Subset Intensity Gradi?ents）[9]等指標(biāo)的一類算法；小波分析也被嘗試應(yīng)用于去噪[10]，但精度欠佳。

總體上來說，一般的熱噪聲和固定模式的噪聲相對容易處理，但椒鹽噪聲這一類產(chǎn)生極端數(shù)值導(dǎo)致圖像匹配錯誤的問題難以用一般的數(shù)據(jù)平滑方法來解決。黃旺華等人提出，利用斯皮爾曼秩次相關(guān)系數(shù)（Spearman’s Rho，SR）作為評價指標(biāo)，在一定的椒鹽噪聲密度范圍內(nèi)，可以較好地在目標(biāo)圖像中搜索與原圖像子塊匹配的區(qū)域[11]。該方法，本質(zhì)上是只提取了數(shù)字圖像的秩次信息，然后進行匹配，一定程度上減少了極端數(shù)據(jù)帶來的影響，但其僅使用圖像數(shù)據(jù)的一維信息，難以表達圖像的整體特征。

在發(fā)生了形變或者噪聲污染后的目標(biāo)圖像中找到與原圖像特定子塊匹配度最高的區(qū)域，這一任務(wù)與近年受備受關(guān)注的目標(biāo)跟蹤任務(wù)類似[12-13]。目標(biāo)跟蹤是計算機視覺的一個研究領(lǐng)域，近年隨著圖像處理和人工智能技術(shù)的快速發(fā)展，其影響力迅速擴大[14-17]。學(xué)者們針對目標(biāo)跟蹤的各種應(yīng)用場景提出了多種解決方案，其中，相關(guān)濾波（Correlation Filter，CF）一類算法由于具備實時性強，資源占用少，易于實現(xiàn)等的優(yōu)勢，在工業(yè)界有著重要地位。MOSSE作為相關(guān)濾波比較早期的版本，通過濾波模板與目標(biāo)圖像的響應(yīng)圖作為評價指標(biāo)，初步展示了相關(guān)濾波較好的性能和運算效率[18]。在此基礎(chǔ)上，CSK作為其改進版本被提出，其主要改進點在于引入循環(huán)矩陣和核方法，有效的增加訓(xùn)練樣本并加快了運算速度，性能得到進一步的提升[19]。在2014年，Joao等人正式提出了用于目標(biāo)跟蹤的核相關(guān)濾波算法（Kernel Correlation Filter，KCF），這一算法引入了多通道特征，不論是在跟蹤效果還是跟蹤速度上都有十分優(yōu)異的表現(xiàn)，所以引起了一大批的學(xué)者對這個算法進行深入研究，而且工業(yè)界也陸續(xù)地把這一算法應(yīng)用到實際場景當(dāng)中，奠定了相關(guān)濾波算法在目標(biāo)跟蹤領(lǐng)域的地位[20]。隨后提出的各類改進型算法在各個方面提升了相關(guān)濾波算法的性能，但其主要基礎(chǔ)仍然是利用核方法與相關(guān)濾波完成圖像的匹配[21-22]。

1 核相關(guān)濾波

1.1 相關(guān)濾波器

在信號處理領(lǐng)域，經(jīng)常使用互相關(guān)（Cross-correla?tion）來分析兩個信號之間的相關(guān)性，其離散形式的定義為：

其中f和g表示兩路信號，f*是f的復(fù)共軛?？梢灾庇^的看到，當(dāng)兩路信號完全對齊的時候，互相關(guān)得到最大值。也可以表述為當(dāng)兩組數(shù)據(jù)非常相似的時候，對應(yīng)的輸出值也很大。

更一般的描述，f作為待分析的目標(biāo)數(shù)據(jù)，h是濾波模板，g表示響應(yīng)輸出，可得：

我們希望，通過濾波模板，可以對特定的目標(biāo)數(shù)據(jù)產(chǎn)生很強的輸出響應(yīng)，而過濾掉其它數(shù)據(jù)。當(dāng)圖像作為輸入源的時候，如果可以得到一個濾波模板，針對目標(biāo)圖像各個區(qū)域進行相關(guān)濾波分析后，得到響應(yīng)圖，其中只有特定區(qū)域?qū)?yīng)的輸出響應(yīng)很強，而其他區(qū)域的輸出響應(yīng)很弱，我們就可以據(jù)此定位感興趣的區(qū)域。

由卷積定理可知，函數(shù)互相關(guān)的傅里葉變換等于函數(shù)傅里葉變換的乘積，即（2）式可以改寫為：

其中，F(xiàn)表示傅里葉變換，⊙表示點乘。式中，圖像的相關(guān)濾波分析可以通過快速傅里葉變換之后以點積運算完成，而快速傅里葉變換的計算復(fù)雜度僅為O（nlogn），這就使得相關(guān)濾波分析有很好的實時性。

當(dāng)理想的輸出響應(yīng)已知時，求解濾波模板，設(shè)F=F（f），H*=F*（h），G=F（g），可得目標(biāo)函數(shù)：

m對應(yīng)的是訓(xùn)練樣本的數(shù)量。解之可得[18]：

至此，基于相關(guān)濾波，以最小化響應(yīng)輸出誤差為基礎(chǔ)，可以得到提取目標(biāo)圖像中感興趣區(qū)域的濾波模板。而且整體的計算開銷較低，效率很高。

1.2 核方法

在獲取濾波模板的過程其實可以看成是一個分類器的訓(xùn)練過程，該分類器要完成的是把目標(biāo)區(qū)域和背景有效的區(qū)分開來。而分類器的訓(xùn)練通常會面臨兩個問題，其一是過擬合，表現(xiàn)為泛化能力不足，不能很好適應(yīng)訓(xùn)練集以外的使用環(huán)境；其二是欠擬合，表現(xiàn)為無法有效捕捉到感興趣的目標(biāo)。為了緩解第一個問題帶來的影響，通常會引入正則化約束。而應(yīng)對第二個問題，則要求獲取表征能力足夠強的特征，并配備合適的分類器[24]。

首先是引入正則項，可以把（4）式改寫為正則化最小二程法的形式：

其中，X=(x1,x2,x3,…)為樣本矩陣，Y=(y1,y2,y3,…)為理想響應(yīng)集合。然而，該分類器本質(zhì)上是線性分類器，再加上直接使用原始數(shù)據(jù)的線性組合作為表征數(shù)據(jù)的特征，其泛化能力將會很弱，將難以獲得良好的性能。為了提升對原始數(shù)據(jù)的表征能力，用φ(xi)表示把xi映射到高維空間的函數(shù)，而核函數(shù)則可以作為橋梁，用于計算數(shù)據(jù)數(shù)據(jù)進行映射后的內(nèi)積，即：

（7）式可以改寫為：

對xi進行高維映射，忽略b的影響，有：

利用傅里葉變換加速計算過程，整個算法流程為：

第一步：確定理想響應(yīng)值Y=(y1,y2,y3,…)；

第三步：計算響應(yīng)輸出響應(yīng)f(X)=F-1[F(K)ΘF(α)]。

其中，F(xiàn)為傅里葉變換，F(xiàn)-1為傅里葉反變換，Θ表示按位相乘。

2 壓縮散斑形變仿真實

為了驗證上述算法在散斑匹配應(yīng)用中的有效性，本文采用形變和噪聲密度可控的散斑仿真圖像作為測試對象。在實驗中，先在圖像中生成隨機散斑顆粒，作為參考圖像。然后對圖像增加多種密度的椒鹽噪聲，并對圖像進行單方向的壓縮，模擬實際生產(chǎn)中連續(xù)成像可能出現(xiàn)圖像壓縮的情況。

本文實驗中采用大小為1024pixel×1024pixel的原始散斑圖像；散斑個數(shù)為1500個；散斑大小為4；散斑峰值強度為1，如圖1所示。椒鹽噪聲密度從0%到25%分為6組，對比斯皮爾曼秩次相關(guān)法（SR）與核相關(guān)分析方法在椒鹽噪聲和形變下的性能。

在原始散斑圖像中選取一個64pixel×64pixel的子塊作為參考圖像，其中心坐標(biāo)為(xi,yi)。在添加椒鹽噪聲的圖像當(dāng)中，以(xi,yi)為中心，選取128pixel×141pixel的子塊，然后壓縮為128pixel×128pixel，作為目標(biāo)子塊的搜索區(qū)域。因為在實際的應(yīng)用中，連續(xù)成像時，參考圖像與目標(biāo)圖像之間一般位置和尺度的偏移不會太大，128pixel×128pixel的子塊構(gòu)成了添加椒鹽噪聲污染和約10%的縱向壓縮之后的參考圖像搜索區(qū)域。在1024pixel×1024pixel的原始圖像中選取110個互不重疊的參考圖像進行對比實驗。

核相關(guān)濾波測試中設(shè)定正則化參數(shù)λ=1×10-4，使用高斯函數(shù)生成理想輸出響應(yīng)，高斯核函數(shù)參數(shù)σ=0.2，利用圖像的HOG特征進行相關(guān)分析。

兩種方法的測試中，在選取搜索區(qū)中選取與參考圖像大小相等的子塊進行相關(guān)度運算，生成65×65的相關(guān)值數(shù)據(jù)矩陣，可以繪制成響應(yīng)圖，如圖3所示，響應(yīng)值最大的位置對應(yīng)的是搜索區(qū)中與參考圖像最相似的子塊圖像。提取到目標(biāo)區(qū)域后，則可以為進一步的散斑圖分析提供基礎(chǔ)。

圖1 原始散斑圖像

圖2 添加椒鹽噪 聲后的散斑圖

圖3 匹配響應(yīng)圖

3 實驗數(shù)據(jù)及分析

圖4 核相關(guān)濾波定位誤差箱型圖

圖5 SR方法定位誤差箱型圖

表1 兩種方法的定位準(zhǔn)確率

從圖4的箱型圖中可以看到，核相關(guān)濾波方法的誤差分布很集中，在各種條件下沒有出現(xiàn)箱體。在只有單方向壓縮，且噪聲在5%及以下時，X軸和Y軸的定位都沒有出現(xiàn)誤差。但在噪聲水平達到10%及以上的時候，開始出現(xiàn)少量的離群值。

從圖5中可以看到，SR方法即使在沒有噪聲干擾下也出現(xiàn)了離群點，而且添加噪聲后，Y軸的箱型圖就出現(xiàn)了箱體，數(shù)據(jù)波動范圍相比X軸更大。這說明了SR方法對形變帶來的影響比較敏感。

表1 展示了兩種方法的定位的準(zhǔn)確率，可以看到核相關(guān)濾波方法在定位準(zhǔn)確率上更有優(yōu)勢。在椒鹽噪聲水平不高于5%，單向壓縮10%以內(nèi)的條件下，定位準(zhǔn)確率為100%；即使噪聲水平提高到15%，定位準(zhǔn)確率也不低于90%。

4 結(jié)語

在實際的散斑圖像定位匹配時，相對于原散斑圖像，目標(biāo)圖像經(jīng)常會被噪聲污染并伴隨著一定的形變。過往的研究表明，利用SR方法進行相關(guān)度評估具有更好地抵抗椒鹽噪聲的性能。但SR本質(zhì)上是利用了數(shù)據(jù)的排序信息，僅為一維數(shù)據(jù)，并不能充分利用圖像整體的二維信息。

利用相關(guān)濾波作為基礎(chǔ)，結(jié)合核方法更進一步的利用圖像的深層次信息，以核相關(guān)濾波的輸出響應(yīng)來衡量參考圖像和目標(biāo)圖像的相關(guān)性。實驗數(shù)據(jù)表明，在椒鹽噪聲水平不高于5%，單向壓縮10%以內(nèi)的條件下，該方法的匹配性能優(yōu)異，一致性也非常好。而且在實驗中發(fā)現(xiàn)，該方法由于整體使用快速傅里葉變換與反變換，運算效率遠高于SR方法。

在實際的應(yīng)用中，椒鹽噪聲的密度一般較低，原始圖像與目標(biāo)圖像之間的形變也比較小，在這種情況下，核相關(guān)濾波方法在散斑圖像分析的匹配定位過程中具有定位準(zhǔn)確率高，運算速度快的優(yōu)勢。在實際使用中，進一步進行核函數(shù)的優(yōu)選和參數(shù)調(diào)優(yōu)，以及提取更好的特征進行相關(guān)匹配，將可以更好地挖掘核相關(guān)濾波方法的應(yīng)用潛力。