基于相關(guān)分析和顯著性檢測的圖像縮放方法

孫雯雯，陶 勝

(集美大學(xué) 理學(xué)院，福建 廈門 361021)

人們在日常生活中經(jīng)常需要在各式各樣的設(shè)備上顯示圖像，圖像經(jīng)常需要改變尺寸或縱橫比以適應(yīng)日益多樣化的顯示設(shè)備，因此圖像縮放技術(shù)已成為圖像處理領(lǐng)域的一個研究熱點(diǎn)問題。作為傳統(tǒng)的圖像縮放技術(shù)，均勻縮放[1]在處理非等比例的圖像縮放時，會使圖像被壓扁或拉伸，尤其在縱橫比變化很大時，圖像會產(chǎn)生明顯失真，視覺效果不好。而作為另一種傳統(tǒng)縮放技術(shù)的裁切技術(shù)雖能避免壓扁或拉伸圖像，但容易丟失過多圖像信息，特別是在目標(biāo)尺寸明顯減小的情況下。

為此，很多學(xué)者提出了基于內(nèi)容感知的圖像縮放方法[2,3]。2007年Avidan,Shamir[4]首次提出的Seam Carving圖像縮放算法較為經(jīng)典，它通過每次刪除圖像中能量值最小的八連通曲線，達(dá)到圖像所滿足的條件。但存在計(jì)算量大和可能結(jié)構(gòu)畸變的缺陷,很多學(xué)者在此基礎(chǔ)上提出了改進(jìn)算法[5-8]。此外，施美玲等[9]提出了一種形變量度量模型，該模型考慮網(wǎng)格形狀和大小，讓用戶通過參數(shù)調(diào)整有選擇地控制主體對象的大小，以達(dá)到保持圖像重要特征的目的。趙旦峰等[10]提出基于隨機(jī)置亂的內(nèi)容感知縮放方法，利用顯著圖對列/行能量向量進(jìn)行隨機(jī)重排,抽取滿足條件的列/行，可以提高縮放速度。郭迎春等[11]提出了基于概率隨機(jī)裁剪的圖像縮放方法，該方法結(jié)合依概率隨機(jī)裁剪與閾值學(xué)習(xí)，對非保護(hù)區(qū)域與保護(hù)區(qū)域使用不同的縮放比例。谷香麗等[12]提出一種基于彈簧變形模型的圖像縮放方法，該方法利用彈簧系統(tǒng)的變形帶動網(wǎng)格的變形，最終實(shí)現(xiàn)圖像縮放。

較好的圖像縮放算法需要在保持圖像重要內(nèi)容的同時，還要顧及圖像的整體概貌與視覺的連貫性。據(jù)此，本文提出一種基于相關(guān)分析和顯著性檢測的圖像縮放方法，首先結(jié)合相關(guān)分析與顯著性檢測這兩種方法，定義各列/行的影響度值，進(jìn)而標(biāo)注影響度值低的列/行，使縮放只發(fā)生在影響度值低的列/行上。然后采用影響度擴(kuò)散的方法，將被縮放列/行的影響度轉(zhuǎn)移到相鄰兩列/行,避免了因連續(xù)過多縮放列/行而導(dǎo)致的整體概貌失真，最終實(shí)現(xiàn)即能保護(hù)圖像重要內(nèi)容又可以顧及整體視覺效果的目的。

1 本文提出的方法

對于寬度為N，高度為M的原始圖像I，縮放為寬度為N′，高度為M′的目標(biāo)圖像I′。本文是從寬度與高度雙方向進(jìn)行縮放，不失一般性，下面以寬度縮放為例闡述縮放過程，對于高度的縮放，用相同方法處理即可。

1.1 相關(guān)分析

將原始圖像I轉(zhuǎn)化為灰度圖像，可以用M×N階矩陣來表示，即

(1)

將數(shù)字圖像的列看作隨機(jī)變量，相關(guān)分析可以發(fā)現(xiàn)變量間的相互關(guān)系，其方法有很多，為簡便起見，本文采用Pearson相關(guān)系數(shù)度量不同列之間關(guān)系密切程度，計(jì)算公式如下：

(2)

(3)

在圖像上它能反映該列與相鄰兩列的相似程度，一定程度上可以衡量該列對圖像的影響程度。Rcol(j)越大意味著第i列與相鄰兩列相關(guān)程度越強(qiáng)，對圖像主體內(nèi)容的影響越小，于是對Rcol(j)由大到小進(jìn)行排序，標(biāo)注出前|N′-N|列，使縮放只發(fā)生在這些列上。為直觀顯示，將這|N′-N|列用黑線進(jìn)行標(biāo)注，對于行的標(biāo)注，只需對矩陣F轉(zhuǎn)置得到Rrow(i)再進(jìn)行相同操作即可，如圖1(b)所示。

(a)原圖

可以看出，利用相關(guān)分析標(biāo)注的縮放部分能避開絕大部分圖像的重要內(nèi)容(花朵)，但仍有少許黑線穿過，為了更好地保護(hù)圖像的重要內(nèi)容，下面結(jié)合顯著性檢測優(yōu)化該方法。

1.2 顯著性檢測

人類視覺系統(tǒng)具有快速定位感興趣區(qū)域的能力, 在計(jì)算機(jī)視覺領(lǐng)域中,顯著性檢測利用計(jì)算機(jī)來模擬人的視覺注意機(jī)制，通過在一定區(qū)域內(nèi)突出某個事物,從而獲取圖片上相對比較重要的信息。近年來，許多學(xué)者提出了不同的顯著性檢測方法，其中Achanta等[13]提出的基于頻率調(diào)諧(Frequency-tuned)的顯著性檢測算法(FT算法)，首先對圖像進(jìn)行高斯低通濾波，然后在CIELab顏色空間中計(jì)算濾波后圖像的單個像素與原圖像全體像素平均值的歐氏距離，作為該像素的顯著值。FT算法簡單，可生成與原圖像分辨率相同的顯著圖，且在突出顯著區(qū)域的同時有較為清晰的邊界，測試效果較好。因此，本文采用FT顯著性檢測算法建立顯著圖。

對于寬度為N，高度為M的原始圖像I，F(xiàn)T算法具體實(shí)現(xiàn)步驟如下：

首先計(jì)算圖像I在CIELab顏色空間中3個特征分量的均值Iμ=(Lμ,aμ,bμ)T:

(4)

然后對圖像I進(jìn)行高斯濾波得到圖像IG:

IG=I?G

(5)

其中G為p×p的高斯濾波器，尺寸一般為3×3或5×5。 圖像IG在CIELab顏色空間中3個特征分量為IG=(LG,aG,bG)T。

圖像I在點(diǎn)(i,j)的顯著值計(jì)算公式:

S(i,j)=‖IG(i,j)-Iμ‖=[LG(i,j)-Lμ]2+[aG(i,j)-aμ]2+[bG(i,j)-bμ]2

(6)

最后得到圖像I的顯著圖，如圖2(b)所示。

(a)原圖

1.3 列/行的影響度值

在相關(guān)分析的基礎(chǔ)上，通過計(jì)算各列/行的相關(guān)系數(shù)標(biāo)注了待縮放的列/行，為避免刪去圖像的重要區(qū)域，再與顯著性檢測相結(jié)合進(jìn)行進(jìn)一步優(yōu)化，重新對列/行進(jìn)行標(biāo)注，標(biāo)注出對圖像的重要內(nèi)容影響最小的|N′-N|列和|M′-M|行。下面將結(jié)合相關(guān)分析理論與顯著性檢測定義列/行的影響度值。

由式(6)點(diǎn)(i,j)的顯著值S(i,j)來定義各列的顯著值Scol(j)，為第j列上所有像素點(diǎn)的顯著值之和:

(7)

同理定義各行的顯著值Srow(i):

(8)

顯著度圖可以反映出圖像顏色、亮度等信息，式(7)中的Scol(j)越大意味著第j列對圖像內(nèi)容的影響越大，式(3)中的Rcol(j)可以反映第j列與相鄰兩列的相似程度，其Rcol(j)越大意味著相關(guān)程度越強(qiáng)，對圖像內(nèi)容的影響越小，因此，各列對圖像的影響度值Infcol(j)可以定義為:

j=1,2,…,N.

(9)

同理定義各行對圖像的影響度值Infrow(i):

i=1,2,…,M.

(10)

這里ω設(shè)置為0.5，分別計(jì)算各列和行的影響度值并進(jìn)行相應(yīng)的排序標(biāo)注，從中選取影響度值最低的|N′-N|列和|M′-M|行。讓圖像縮放發(fā)生在這些列和行上。為了直觀顯示用黑線進(jìn)行標(biāo)注，如圖3(b)所示。可以看出結(jié)合相關(guān)分析和顯著性檢測，依據(jù)各列/行的影響度值進(jìn)行標(biāo)注的縮放區(qū)域，很好地保護(hù)了圖像的重要內(nèi)容。

(a)原圖436×660

1.4 采用影響度擴(kuò)散的縮放優(yōu)化

在標(biāo)注了影響度值低的列/行后，最簡單有效的做法是直接刪除這些影響度值低的列/行。但過多地連續(xù)刪除列/行時，圖像會出現(xiàn)不連續(xù)的塊，或者出現(xiàn)過多非重要區(qū)域的缺失，影響圖像的整體概貌。因此在縮放過程中，為避免出現(xiàn)這種明顯的人為痕跡，我們進(jìn)行折中處理，既要保護(hù)圖像的重要內(nèi)容又要顧及圖像的整體結(jié)構(gòu)。

當(dāng)某列/行被刪除時，提升其相鄰兩列/行的影響度值，這樣使得非重要區(qū)域列/行的影響度值會隨著相鄰列/行的刪除而逐步提升，可以避免連續(xù)過多地刪除列/行。于是當(dāng)刪除某列/行時，其相鄰兩列/行的影響度值更新規(guī)則如下設(shè)置：

Infrow(i′)←Infrow(i′)+w(i,i′)Infrow(i)

(11)

Infcol(j′)←Infcol(j′)+w(j,j′)Infcol(j)

(12)

其中i′與j′分別為被刪除行i與列j的相鄰行與列，w(i,i′)和w(j,j′)分別為行與列的影響度擴(kuò)散的權(quán)值，衡量了影響度擴(kuò)散到相鄰列與行的比例。簡便起見，本文將擴(kuò)散權(quán)值設(shè)置為被刪除列/行的相鄰兩列/行各自的原始影響度值在兩列/行影響度值之和所占的比例，即設(shè)置為：

(13)

(14)

其中i′=i+1或i′=i-1,j′=j+1或j′=j-1。

圖4是采用影響度擴(kuò)散前后的對比，圖4(b)直接刪除圖3(b)標(biāo)注的100列46行，圖4(c)采用了影響度擴(kuò)散方法，首先標(biāo)注影響度值最低的列/行，將該列/行的影響度轉(zhuǎn)移到相鄰列/行,然后按照更新后的影響度值，在未標(biāo)注的列/行中再次標(biāo)注影響度值最低的列/行，如此重復(fù)操作，直至達(dá)到目標(biāo)圖像的尺寸要求。刪除最終標(biāo)注的列和行，從而實(shí)現(xiàn)圖像的縮小。圖4(d)可以看出采用影響度擴(kuò)散的方法，圖像縮放有很好的視覺連貫性，而圖4(b)在多處出現(xiàn)明顯的不連續(xù)塊。

(a)原圖(436×660))

放大圖像時，同樣采用影響度擴(kuò)散的方法，首先標(biāo)注影響度值最低的列/行，然后將該列/行的影響度擴(kuò)散到相鄰列/行，對未標(biāo)注的列/行按照更新后的影響度值，再標(biāo)注影響度值最低的列/行，如此重復(fù)操作，直至標(biāo)注的列/行數(shù)符合目標(biāo)圖像的尺寸要求。在被標(biāo)注的列/行后插入新的列/行，考慮到圖像的連續(xù)性，它是被標(biāo)注的列/行與其后一列/行的均值,若最后一列/行被標(biāo)注，則直接復(fù)制最后一列/行。如圖5在圖像I上增加100列，46行。圖5(a)未采用影響度擴(kuò)散的方法，即直接放大圖3(b)標(biāo)注的列/行，仔細(xì)觀察可發(fā)現(xiàn)在底部出現(xiàn)不連續(xù)塊，相較而言，圖5(b)采用了影響度擴(kuò)散方法，即在圖4(c)標(biāo)注的列/行上進(jìn)行放大，可以看出視覺連貫性更好，未出現(xiàn)不連續(xù)塊。

(a)未采用影響度擴(kuò)散方法的放大

2 實(shí)驗(yàn)結(jié)果與分析

本文使用MATLAB R2018b作為實(shí)驗(yàn)平臺，利用本文方法選取不同圖像進(jìn)行雙方向的尺寸調(diào)整實(shí)驗(yàn)，與傳統(tǒng)的均勻采樣和裁切技術(shù)進(jìn)行比較分析。

圖6從寬度方向進(jìn)行縮小，圖像原始大小為532×800，縮小為532×532，即刪除262列。明顯地，傳統(tǒng)的采樣方法使得圖像的重要內(nèi)容女孩被橫向壓縮，變形嚴(yán)重，而剪切技術(shù)雖然能保證女孩原貌，但圖像信息缺失較多，如左右兩側(cè)的樹木。

(a)原圖

圖7從寬度方向進(jìn)行放大，圖像原始大小為500×400，放大為500×500，即添加100列，可以看出，均勻采樣使得圖像的重要內(nèi)容船只被水平拉伸，而單純使用剪切則無法放大圖像。

(a)原圖 (b)均勻采樣

圖8從高度方向進(jìn)行縮小，圖像原始大小為742×552，縮小為552×552，即刪除190行，均勻采樣方法使圖像重要內(nèi)容房屋被縱向壓縮，而剪切雖能保證房屋原貌，但圖像信息丟失較多，如位于原圖像底部的湖泊被剪切掉。

(a)原圖

圖9從高度與寬度雙方向縮放，原始大小為333×450，縮放為370×370，即刪除80列，增加37行，從效果來看，傳統(tǒng)的均勻采樣使圖像重要內(nèi)容荷花花瓣被拉長，失真嚴(yán)重，也無法直接使用剪切來實(shí)現(xiàn)這種尺寸的縮放。

(a)原圖

3 結(jié)束語

本文提出一種基于相關(guān)分析和顯著性檢測的圖像縮放方法。首先將數(shù)字圖像的列/行看作隨機(jī)變量，計(jì)算各列/行之間的Pearson相關(guān)系數(shù)，再利用FT顯著性檢測算法得到各點(diǎn)的顯著值，在這兩者的基礎(chǔ)上定義了各列/行的影響度值，標(biāo)注出影響度值低的列/行，使縮放只發(fā)生在影響度值低的列/行上。另外，通過采用影響度擴(kuò)散的方法，將被縮放列/行的影響度值轉(zhuǎn)移到相鄰兩列/行上,避免了因連續(xù)過多地縮放列/行而導(dǎo)致的整體概貌失真，最終實(shí)現(xiàn)即能保護(hù)圖像重要內(nèi)容又可以顧及圖像結(jié)構(gòu)的目的，整體視覺效果良好。