基于圖像邊緣保持的反距離加權(quán)插值算法

圣文順， 薛龍花 ， 戴 坤， 徐劉晶

(南京工業(yè)大學(xué)浦江學(xué)院， 南京 211200)

研究表明，人們在日常生活中獲取的大量信息有一半以上來源于圖像。與語音和文字相比，圖像所呈現(xiàn)的信息更加直觀清晰，具有更廣泛的實用價值，更容易被人們所理解和接受。隨著圖像數(shù)據(jù)使用量的飛速增長，圖像增強技術(shù)逐漸成為圖像處理領(lǐng)域的研究熱點，被廣泛應(yīng)用于衛(wèi)星遙感、地質(zhì)勘查、軍事雷達(dá)以及人們?nèi)粘z影等。針對不同領(lǐng)域的應(yīng)用，常見的圖像增強算法主要有最近鄰域插值法、雙線性插值算法、雙三次插值算法等[1]。

上述方法皆為線性方法，實際上都是采用函數(shù)的低通濾波器是對圖像做一定的增強和降噪處理，在實現(xiàn)過程中無法避免會抑制圖像的高頻部分，經(jīng)過縮放處理后圖像的高頻部分分量會受到一定程度的影響。此類方法在圖像細(xì)節(jié)的處理方面效果欠佳，往往會導(dǎo)致插值后的圖像邊緣在一定程度上模糊，所得圖像質(zhì)量不高，一般更適用于光滑圖像或是對圖像輪廓要求不是非常嚴(yán)格的圖像增強。例如使用頻率較多的雙線性插值算法，由于算法簡單直觀且計算量小常被用作設(shè)計其他高級插值算法的基礎(chǔ)，但算法的平滑作用會使圖像的細(xì)節(jié)退化，所得圖像不夠清晰。雙線性插值法在顏色通道間的相關(guān)性方面尚未涉及，因此在插值過程中容易導(dǎo)致圖片顏色失真率較高，從而造成圖像增強效果不佳。線性算法對于圖像邊緣細(xì)節(jié)處理也不到位，導(dǎo)致圖像的邊緣細(xì)節(jié)處在放大后較為模糊，圖像邊緣往往存在于圖像的對象邊界位置，是圖像強度變化較大的區(qū)域。圖像邊緣檢測的準(zhǔn)確性依賴于邊緣位置的準(zhǔn)確判斷與選定。圖像的邊緣信息是影響圖像質(zhì)量的重要因素，同時邊緣信息也是語義分割、特征識別、目標(biāo)跟蹤等處理圖像問題的關(guān)鍵，圖像邊緣質(zhì)量的好壞直接影響主圖的視覺效果。

隨著人們對圖像增強插值算法研究的不斷深入，近幾年出現(xiàn)了幾種比較有代表性的圖像插值算法。尉成勇等[2]將二值化圖像邊緣方向判定方法和雙三次邊緣插值相結(jié)合進(jìn)行圖像增強處理，取得了較好的圖像重建效果，但其邊緣方向判定存在一定的不確定性，對插值結(jié)果影響較大。胡曉燕[3]使用于梯度正則化邊緣增強策略和基于隨機森林邊緣增強策略進(jìn)行了圖像超分辨率重建研究，能夠恢復(fù)出更清晰圖像的紋理和邊緣信息，但其主要使用雙三次插值方法進(jìn)行實現(xiàn)，處理效率有待提升。Khan等[4]提出了一種名為基于方向梯度的邊緣插值算法(directional gradient-based edge interpolation，DGEI)，將輸入圖像事先分割為邊緣區(qū)域和內(nèi)部區(qū)域，對邊緣區(qū)域使用DGEI算法進(jìn)行精細(xì)處理，對圖像內(nèi)部區(qū)域采用簡單的線性插值進(jìn)行處理以降低程序的整體復(fù)雜度。與傳統(tǒng)算法相比，該算法取得了較好的效果，具有一定的參考價值，但算法對圖像邊緣區(qū)域和內(nèi)部區(qū)域的處理策略不一致，導(dǎo)致目標(biāo)圖像增強效果有較大的跳躍性。

由于圖像采集與傳輸?shù)冗^程中產(chǎn)生的噪聲、圖像中對象自身的無效紋理等因素都會影響圖像邊緣檢測的準(zhǔn)確性，為了消除干擾項帶來的邊緣檢測誤差，提出了一種基于邊緣保持的反距離加權(quán)插值算法，首先將圖像分為內(nèi)部區(qū)域和邊緣區(qū)域兩部分，將邊緣區(qū)域采用平滑濾波進(jìn)行圖像邊緣細(xì)節(jié)加強預(yù)處理，有效抑制圖像的邊緣噪聲，對于圖像的邊緣保持起到了高效的增強作用；再采用反距離加權(quán)插值算法對圖像的內(nèi)部區(qū)域以及邊緣區(qū)域統(tǒng)一進(jìn)行圖像增強以提高運算速率和清晰度，從而使圖像整體增強效果更加明顯，提高插值圖像的視覺效果。

1 研究思路

針對采用一般插值算法對圖像進(jìn)行增強處理后邊緣會變得模糊的問題，首先用傳統(tǒng)的線性插值法對圖像邊緣進(jìn)行放大，擴(kuò)大圖像邊緣像素點，再利用Canny算子對圖像進(jìn)行邊緣檢測[5]，確定圖像邊緣的領(lǐng)域內(nèi)其他像素點的優(yōu)化方向，最后對需要增強的內(nèi)部區(qū)域像素點進(jìn)行反距離加權(quán)插值[6]，優(yōu)化其灰度梯度，從而提高圖像整體的清晰度。研究思路如圖1所示。

圖1 研究思路流程圖Fig.1 Flow chart of research ideas

2 算法描述

2.1 放大圖像邊緣點

首先采用線性插值法[7]將圖像邊緣放大到一定的倍數(shù)，再利用Canny算子對放大后的圖像邊緣進(jìn)行初步檢測，分析圖像每個邊緣點的3×3領(lǐng)域內(nèi)像素點的分布位置[8]。在每個邊緣點3×3領(lǐng)域內(nèi)，都存在另外兩個邊緣點與中心點構(gòu)成一條邊緣線。邊緣線可分為4種類型，共16種情況，圖2為邊緣線放大后的4種典例。

圖2 邊緣線放大后的4種典型例子Fig.2 Four typical examples of enlarged edge line

2.2 確定像素點的優(yōu)化方向

當(dāng)每個邊緣點3×3領(lǐng)域內(nèi)像素點的分布位置確定后，觀察圖像邊緣像素與相鄰像素的灰度值連續(xù)性以及邊緣線垂線的梯度變化情況，找出梯度突變最強處，以確定像素點的優(yōu)化方向。以圖3為例，找出優(yōu)化方向后，對該方向像素點進(jìn)行優(yōu)化，如像素點(a+1,b+1)優(yōu)化后的值為[(a+1,b+1)+(a,b)]/2，其中a、b為隨機選中的一個像素點(a,b)的橫縱坐標(biāo)值(圖3)，由該點向不同方向均可進(jìn)行優(yōu)化掃描探測，以確定最終優(yōu)化方向。其他像素點的優(yōu)化也依此方法處理。

圖3 像素點優(yōu)化方向的確定Fig.3 Determination of optimization direction of pixels

2.3 反距離加權(quán)插值法調(diào)節(jié)清晰度

圖4 IDW I-AHE算法Fig.4 IDW I-AHE algorithm

運用反距離加權(quán)的插值算法[9]，用被處理像素點的四鄰圖像塊變換函數(shù)來進(jìn)行插值。如圖4所示，虛線間的交點即為子塊中心點，也就是采樣點；每個采樣點都對應(yīng)著該子塊里的均衡變換函數(shù)[10]，而圖像其他像素點變換函數(shù)是通過插值得到。為提高算法的適應(yīng)性，引入權(quán)值下降指數(shù)α以及平滑參數(shù)β。其中，α為觀測點因離預(yù)測點的距離變遠(yuǎn)而受其影響衰減的指數(shù)速率；β為調(diào)整插值產(chǎn)生的平滑效應(yīng)[11-12]。初始的反距離加權(quán)平均中，一個觀測點和相應(yīng)的內(nèi)插點重合時，即dn=0，且權(quán)值為無窮大，則當(dāng)前插值點應(yīng)被賦予該點實際測量值。這種情況下，插值的結(jié)果可能會出現(xiàn)塊效應(yīng)[13]。為了避免塊效應(yīng)的不良影響，應(yīng)設(shè)置“最小內(nèi)插距離”[14]，并使其成為一類近似插值。此時，觀測點離預(yù)測點的距離為

(1)

對圖4中某像素點(x,y)，引入函數(shù)dn(x,y)表示其與周圍第n個采樣點的距離，即與圖像塊的中心點的距離，其中n=1,2,3,4，則可得反距離加權(quán)插值的權(quán)值為

(2)

設(shè)周圍4個采樣點所對應(yīng)的圖像塊映射函數(shù)為Tk(·)，則點(x,y)最終得到的映射值為

(3)

式(3)中：I(x,y)為原圖在該點的灰度值；Wk(x,y)為第k個采樣點關(guān)于其所在的矩形區(qū)域中所有像素點的權(quán)值，k為點的序號(k=1,2,3,4)，x和y為第k個采樣點的橫縱坐標(biāo)。

對圖像中的所有像素點依次執(zhí)行此步驟，即可得到增強的圖像。

2.4 IDW插值計算

由圖4可得，4個采樣點確定的矩形區(qū)域與圖像劃分的子塊大小一樣，假設(shè)該區(qū)域大小為m×n。首先，分別計算每個像素點的4個采樣點及其對應(yīng)的反距離加權(quán)權(quán)值。其次，用4個矩陣來表示這些權(quán)值，用Wk(k=1,2,3,4)表示第k個采樣點關(guān)于該矩形區(qū)域所對應(yīng)的所有像素點的權(quán)值，將其周圍9塊的均衡變換函數(shù)用Tk(k=1,2,3,…)表示。最后運用反距離加權(quán)插值對它們進(jìn)行變換，可得區(qū)域增強后的結(jié)果為

(4)

式(4)中：該區(qū)域的灰度值矩陣用Im×n表示。

由圖4可知，每個圖像塊的大小相等，4個權(quán)值Wk(k=1,2,3,4)是完全一樣的，因此只需計算一次，大大提高了計算的速度。綜上所述，反距離加權(quán)插值算法步驟如下。

步驟1選取一張圖像作為增強對象，將該圖像劃分成連續(xù)且大小相等的子區(qū)域，設(shè)每個小區(qū)域的大小為m×n。

步驟2通過計算得出每個小區(qū)域的灰度直方圖并對直方圖進(jìn)行直方圖均衡化，由此可得灰度變換映射函數(shù)Tk(·)(k=1,2,3,4,…)。

步驟3對反距離加權(quán)權(quán)值下降指數(shù)α和圓滑參數(shù)β進(jìn)行賦值，并依據(jù)式(2)來計算Wn(n=1,2,3,4,…)。

步驟4按照式(1)對圖像中由4個采樣點確定的子區(qū)域重復(fù)完成步驟3。

2.5 IDW插值算法的參數(shù)選取

根據(jù)反距離加權(quán)(inverse distance weighted，IDW)算法設(shè)定不同的參數(shù)會產(chǎn)生不同的圖像增強效果，因此通過修改IDW算法的某些參數(shù)，可以調(diào)整合適的增強程度。該操作中具體參數(shù)選取與圖像增強程度關(guān)系如下。

(1)圖像劃分子區(qū)域數(shù)m×n直接影響了每個像素的等價相關(guān)區(qū)域，從而間接影響了該像素點經(jīng)過變換后的周圍4個采樣點所在區(qū)域的并集，因此，均衡效果由等價相關(guān)區(qū)域的大小決定。等價相關(guān)區(qū)域越小，圖像細(xì)節(jié)增強效果越好，但計算相對復(fù)雜。等價相關(guān)區(qū)域越大，圖像整體看上去輪廓清晰，但是圖像細(xì)節(jié)放大后顯得較模糊。由此可得，圖像劃分子區(qū)域數(shù)越少，算法局部細(xì)節(jié)增強效果降低但插值速率明顯提高。當(dāng)劃分子區(qū)域越細(xì)越小時，容易導(dǎo)致局部敏感度增大，影響算法實現(xiàn)速率。正常像素一般劃分成4×4塊或者6×6塊，即可使像素點的等價相關(guān)區(qū)域達(dá)到原圖大小的1/16～1/36。

(2)權(quán)值下降指數(shù)α也是影響圖像增強效果的參數(shù)之一，α越大，距離增大，權(quán)值下降速度越快，圖像細(xì)節(jié)信息增強效果就越好。經(jīng)過大量實驗證明，α取3或4得到的增強效果適中。

(3)平滑指數(shù)β直接影響著插值的平滑效果。根據(jù)式(1)可知，當(dāng)β較大時，Wk(x,y)≈1/4,k=1,2,…,4，圖像中每個像素點的灰度變換函數(shù)為其周圍采樣點的變換函數(shù)的平均，因此，圖像的增強效果會更加明顯。從而得出根據(jù)dk(x,y)設(shè)置β的大小，進(jìn)而為圖像塊的大小選擇合適的數(shù)值顯得尤為重要，β的值可隨圖像塊的增大適度變大。根據(jù)大量實驗可得，當(dāng)圖像塊大小為50×50時，β值取5能夠取得較精準(zhǔn)的增強效果。

3 實驗結(jié)果分析

3.1 數(shù)據(jù)集

為驗證算法的穩(wěn)定性與優(yōu)越性，選取美國加州伯克利大學(xué)圖像分割數(shù)據(jù)集(Berkeley segmentation data set，BSDS500)[15]進(jìn)行主觀對比和定量分析。該數(shù)據(jù)集由Computer Vision Group提供，含有200張訓(xùn)練圖像、100張驗證圖像和200張測試圖像，主要用作圖像分割和輪廓檢測，是邊界檢測領(lǐng)域普遍被用來評估算法檢測準(zhǔn)確率的數(shù)據(jù)集。

3.2 實驗環(huán)境

基于Microsoft Windows 10操作系統(tǒng)構(gòu)建實驗環(huán)境，硬件配置為Intel I7-8700 3.2 GHz CPU、16 GB內(nèi)存，在MATLAB 2016軟件中進(jìn)行基于邊緣保持的圖像增強處理實驗。

3.3 評價指標(biāo)

與傳統(tǒng)的全局直方圖均衡(HE)和雙線性插值直方圖均衡(AHE)進(jìn)行對比[16-17]，主觀評價主要基于人眼的視覺感知和圖像對應(yīng)的直方圖來評估圖像質(zhì)量；客觀評價采用峰值信噪比(peak signal-to-noise ratio， PSNR)[18]、結(jié)構(gòu)相似度(structural similarity index，SSIM)[19]、圖像熵[20]與基于圖像能量譜的圖像質(zhì)量測量度(image quality measure，IQM)[21]定量評估圖像的增強效果，值越大則表示圖像增強效果越好，為驗證算法的執(zhí)行效率，將算法處理圖像所用耗時也作為一個客觀評價指標(biāo)進(jìn)行比較。

圖像熵計算公式為

(5)

式(5)中：M為像素灰度級別；hp(i)為圖像p的歸一化直方圖在強度i處的值。

IQM的計算公式為

(6)

式(6)中：M×N為圖像大小；S(θ1)為輸入圖像的方向尺度；ρ、θ為極坐標(biāo)系中的長度和角度；θ1為實際輸入圖像的方向尺度；W(ρ)為修正的維納噪聲濾波器；A(Tρ)為人類視覺系統(tǒng)(human visual system，HVS)調(diào)制傳遞函數(shù)，其中T為常量；E(ρ,θ)為亮度歸一化的二維能量譜[22]。

3.4 結(jié)果分析

微機實驗選取圖5(a)作為原圖，圖像分塊取值M=12、N=12，在基于邊緣保持的反距離插值算法中取值α=6、β=6。圖5(b)～圖5(d)分別對應(yīng)HE、AHE和本文算法的圖像增強效果。圖6為原圖與各算法進(jìn)行圖像增強后直方圖的對比。由圖6(b)可知，直方圖分布較稀疏，容易導(dǎo)致低頻灰度級的丟失。結(jié)合圖5(b)和圖6(b)結(jié)果顯示，圖像中較亮的部分對比度容易曝光，而相對較暗的邊緣模糊處未能很好地處理。圖6(c)的直方圖中灰度級分布較密集，所以圖5(c)和圖6(c)整體增強效果較好，局部區(qū)域的細(xì)節(jié)信息也得到增強，但圖像邊緣區(qū)域過暗。圖6(d)灰度級分布非常密集，對局部區(qū)域的信息也處理得更好。因此，圖5(d)和圖6(d)整體增強效果最好，對圖像邊緣增強效果好，使圖片對比度達(dá)到適中均衡的狀態(tài)。

比較HE、AHE與本文算法的圖像增強效果定量，結(jié)果如表1所示。根據(jù)表1的定量結(jié)果可知，HE算法由于容易丟失細(xì)節(jié)信息，增強圖像的熵值減少，計算效率較低；AHE算法與HE算法相比，圖像增強效果得到了顯著提升，但耗時也明顯增多；而本文算法計算效率相對較高，峰值信噪比、結(jié)構(gòu)相似度、增強圖像的IQM值和熵值皆最高。綜上所述，本文算法效率高，增強效果好。

選取BSDS500訓(xùn)練圖庫中編號為181018的圖像進(jìn)行實驗，增強效果對比結(jié)果如圖7所示。與原始圖像[圖7(a)]相比，圖7(b)對應(yīng)的HE算法處理效果曝光度較大，圖7(c)對應(yīng)的AHE算法處理效果色彩略有失真，只有圖7(d)對應(yīng)的本文算法與原始圖像最為接近且圖像邊緣增強效果最好。

圖5 3種算法的圖像增強效果對比Fig.5 Image enhancement effect comparison of three algorithms

圖8為3種算法增強處理后所得圖像與原始圖像對應(yīng)直方圖的對比。HE算法對應(yīng)的圖8(b)直方圖分布較稀疏，說明圖7(b)中低頻灰度級信號量丟失較為嚴(yán)重。AHE算法對應(yīng)的圖8(c)直方圖與本文算法對應(yīng)的圖8(d)直方圖二者圖形相近，與原圖對應(yīng)的直方圖8(a)形狀一致，灰度級分布也較為密集，說明二者整體增強效果較好，在保證局部區(qū)域細(xì)節(jié)信息得到增強的同時，又確保了圖像邊緣效果的整體均衡。

圖6 原圖及3種算法對應(yīng)的直方圖Fig.6 Original image and histogram corresponding to three algorithms

表2是對圖7中3種算法對應(yīng)圖像增強效果的定量評價指標(biāo)比較結(jié)果。原始圖片[圖7(a)]尺寸較圖5(a)略大，算法執(zhí)行耗時增多。所得實驗數(shù)據(jù)再次表明，所提算法在PSNR、SSIM、IMQ、圖像熵值和算法效率方面均表現(xiàn)最佳。

表1 3種算法的圖像增強效果定量比較

圖7 3種算法的圖像增強效果對比Fig.7 Image enhancement effect comparison of three algorithms

圖8 原圖、HE、AHE以及本文算法增強后圖像的直方圖Fig.8 Image enhancement effect comparison of three algorithms

表2 3種算法的圖像增強效果定量比較結(jié)果

4 結(jié)論

以圖像邊緣保持為基礎(chǔ)，提出了反距離加權(quán)插值算法。在圖像邊緣區(qū)域，綜合利用各個像素點周邊的灰度信息，對圖像邊緣模糊處進(jìn)行放大處理，尋找像素點的優(yōu)化方向，最后利用反距離加權(quán)插值算法對優(yōu)化方向后的邊緣區(qū)域以及內(nèi)部區(qū)域進(jìn)行插值，縮短相鄰兩個像素點的距離，增強圖片邊緣的清晰度，從而使圖片達(dá)到更好地視覺效果。與傳統(tǒng)的線性插值法相比，該算法對圖像整體增強效果好，解決了圖像邊緣模糊與局部過亮過暗的問題。此外，插值函數(shù)權(quán)值的連續(xù)使算法的適用性更好。