基于改進(jìn)邊緣檢測(cè)的視覺(jué)注意計(jì)算模型①

許永恩,馬漢杰,馮 杰,程 萍,楊芷婷

(浙江理工大學(xué) 信息學(xué)院,杭州 310018)

引言

當(dāng)觀察者在觀察一幅圖像時(shí)會(huì)選擇性地忽略掉圖像中自己所不關(guān)注的區(qū)域,而關(guān)注那些自己感興趣的區(qū)域,這些感興趣的區(qū)域就是圖像處理中要模擬人的視覺(jué)注意機(jī)制提取的顯著性區(qū)域.人類視覺(jué)注意機(jī)制有兩種,其一是自下而上的注意機(jī)制,使用一幅圖像的各個(gè)初級(jí)底層特征,獲取顯著區(qū)域,進(jìn)而獲得我們所需要的顯著圖.其二是自上而下的注意機(jī)制,基于人的主觀意識(shí),人為的選擇顯著區(qū)域.由此得來(lái)的常見(jiàn)的顯著性檢測(cè)模型有：認(rèn)知模型,信息論模型,圖論模型,頻域模型.在認(rèn)知模型中最經(jīng)典的算法模型就是Itti視覺(jué)注意計(jì)算模型,這種模型能夠通過(guò)普通的純數(shù)學(xué)方法來(lái)計(jì)算我們所需要的顯著區(qū)域,而不需要花費(fèi)大量的時(shí)間來(lái)學(xué)習(xí),但是計(jì)算過(guò)程和參數(shù)設(shè)置的繁瑣限制了其在更大范圍內(nèi)的應(yīng)用[1,2].張玉薇等提出了一種結(jié)合圖像邊緣檢測(cè)技術(shù)的基于Canny邊緣檢測(cè)的改良的Itti視覺(jué)注意計(jì)算模型[3].

而Canny算法存在一定的缺陷：邊緣檢測(cè)過(guò)程中定位精度較低的問(wèn)題、容易出現(xiàn)漏檢的問(wèn)題以及容易檢測(cè)出偽邊緣的問(wèn)題等.本文在張玉薇等人研究的基礎(chǔ)上,主要對(duì)Canny邊緣檢測(cè)算法進(jìn)行改進(jìn),提出一種建立在優(yōu)化后的Canny算法基礎(chǔ)上的Itti視覺(jué)注意計(jì)算模型,以期模型準(zhǔn)確率、性能上的提升.本文算法實(shí)現(xiàn)步驟如圖1所示.

圖1 本文算法實(shí)現(xiàn)步驟

1 傳統(tǒng)Itti模型原理

1.1 Itti模型簡(jiǎn)介

Itti模型理論是在1998年被提出[4],后來(lái)在2001年又得到了進(jìn)一步的改進(jìn).

Itti視覺(jué)顯著性模型的基本思想是通過(guò)對(duì)一幅輸入圖像提取初級(jí)的3個(gè)視覺(jué)特征,接著建立各類特征的高斯金字塔,然后對(duì)高斯金字塔使用中央-周邊方法和歸一化方法獲取多個(gè)特征圖,最后將這些特征圖進(jìn)行交叉尺度合并和歸一化操作得到相應(yīng)的單特征維顯著圖,最后線性融合3張顯著圖得到我們所需要的整合的一張顯著圖.

1.2 Itti模型檢測(cè)步驟

(1)為了獲得亮度特征和顏色特征的九層金字塔,我們首先需要對(duì)r,g,b三通道做圖像降采樣,依次獲得 9個(gè)不同尺度的三通道圖像r(σ),g(σ),b(σ),其中σ∈{0～8}.

然后我們依次建立各類特征的九層高斯金字塔：

亮度特征公式：

顏色特征公式：

紅色：

綠色：

藍(lán)色：

黃色：

然后使用Gabor濾波器構(gòu)建方向金字塔O(σ,θ),其中σ∈{0～8},θ∈{0°,45°,90°,135°}.

(2)接著,Itti算法利用中央—周邊(center-surround)方法對(duì)每一個(gè)特征都分別在特征金字塔的不同尺度間做相減計(jì)算從而得到對(duì)應(yīng)的特征圖.然后將不同尺度的圖像調(diào)整到相同分辨率后再做點(diǎn)對(duì)點(diǎn)相減操作,這個(gè)過(guò)程用符號(hào)Θ表示.則具體計(jì)算公式為：

亮度特征圖：

紅/綠顏色特征圖：

藍(lán)/黃顏色特征圖：

方向特征圖：

(3)然后分別進(jìn)行歸一化操作,該過(guò)程用符號(hào)N表示.接著對(duì)處理后的的42張?zhí)卣鲌D(亮度×6、顏色×12、方向×24)進(jìn)行跨尺度合并(across-scale combinations)操作,即將多幅圖像的尺度調(diào)整到相同分辨率后再做點(diǎn)對(duì)點(diǎn)相加操作,這個(gè)過(guò)程用符號(hào)?表示,則亮度特征顯著圖、方向特征顯著圖、顏色特征顯著圖的計(jì)算如式(10)-式(12)所示：

亮度特征顯著圖：

顏色特征顯著圖：

方向特征顯著圖：

(4)對(duì)三張顯著圖進(jìn)行歸一化(normalization)操作后進(jìn)行線性合并得到最終的顯著圖,如式(13)所示,顯著圖使用勝者為王競(jìng)爭(zhēng)機(jī)制,滿足返回抑制特點(diǎn),找到注意點(diǎn),然后循環(huán)下一個(gè)點(diǎn).

2 傳統(tǒng)Canny算法的介紹與缺陷

2.1 傳統(tǒng)Canny算法簡(jiǎn)介

傳統(tǒng)Canny邊緣檢測(cè)算法[5]通過(guò)尋找像素點(diǎn)局部最大值并沿著梯度方向比較其梯度值,確定高低閾值之間邊緣點(diǎn).檢測(cè)步驟為：先對(duì)圖像進(jìn)行灰度化處理,然后用高斯濾波對(duì)圖像降噪,接著計(jì)算圖像的梯度幅值和方向,再對(duì)圖像進(jìn)行局部非極大值抑制處理,最后進(jìn)行閾值篩選和邊緣連接就確定了我們所要找的邊緣.

2.2 傳統(tǒng)Canny算法的缺陷

(1)在圖像降噪處理時(shí)是使用高斯濾波來(lái)對(duì)原始圖像進(jìn)行降噪處理,而其對(duì)圖像的降噪平滑處理在面對(duì)椒鹽噪聲時(shí)效果并不是特別理想,且邊緣保持的效果不好.

(2)在進(jìn)行邊緣檢測(cè)時(shí),是從水平和垂直兩個(gè)方向上采用2×2大小的模板通過(guò)derivative operator對(duì)濾波結(jié)果進(jìn)行求導(dǎo)處理,從而計(jì)算出導(dǎo)數(shù)的幅值和相角.從兩個(gè)方向?qū)D像進(jìn)行邊緣檢測(cè),容易出現(xiàn)偽邊緣和漏檢現(xiàn)象.

(3)閾值篩選的過(guò)程中是通過(guò)人為的設(shè)定高、低閾值,將低閾值與高閾值中間的像素點(diǎn)確定為圖像的邊緣.而使用固定的閾值所引發(fā)的問(wèn)題是,如果設(shè)置的高閾值太小會(huì)出現(xiàn)誤檢現(xiàn)象,太大則出現(xiàn)漏檢現(xiàn)象.而設(shè)置太大的低閾值會(huì)出現(xiàn)漏檢現(xiàn)象,太小會(huì)出現(xiàn)較多的誤檢.

3 優(yōu)化傳統(tǒng)Canny邊緣檢測(cè)算法

3.1 改進(jìn)雙邊濾波對(duì)圖像平滑

雙邊濾波器算法利用某個(gè)像素點(diǎn)周?chē)袼攸c(diǎn)亮度值的加權(quán)平均來(lái)表示其強(qiáng)度,這一方面與高斯濾波相似.另一方面,雙邊濾波可以基于像素空間接近度和灰度相似性處理圖像,并去除噪聲,同時(shí)保持更多的圖像特征[6].雙邊濾波相比高斯濾波可以更好的保持邊緣(edge perseving),對(duì)于圖像模糊來(lái)說(shuō)雙邊濾波可以有更好的效果.雙邊濾波在采樣時(shí)考慮像素的歐氏距離、空間距離關(guān)系以及像素范圍域(range domain)R中的輻射差異,因而相比起高斯濾波來(lái)說(shuō),可以更好的保持邊緣.

通常雙邊濾波可以用一個(gè)公式來(lái)定義.如式(14)：

其中,Wp的公式為：

其中,Iq為輸入圖像中的某個(gè)位置上的像素值,Ip是濾波后圖像.Wp是一個(gè)標(biāo)準(zhǔn)量,用于歸一化權(quán)重和.||p-q||表示的是兩個(gè)值p、q之間的歐式距離.Gσc(||p-q||)表示的是像素之間的空間距離關(guān)系,可以有效的減少遠(yuǎn)距離像素對(duì)我們處理中的原圖像像素的影響.Gσs(|Ip-Iq|)表示的是像素范圍域中的輻射差異,可以有效的減少灰度值不同于我們處理中的原圖像某位置像素的像素所帶來(lái)的影響.

傳統(tǒng)的雙邊濾波算法的性能并不是很高,因?yàn)槠渌惴ㄟ^(guò)程中的參數(shù)必須要人手動(dòng)設(shè)置,這樣就導(dǎo)致參數(shù)是憑借人的經(jīng)驗(yàn)值來(lái)設(shè)定的,而且設(shè)定后就是固定的值,不具有通用性.孟慶順等針對(duì)傳統(tǒng)算法中參數(shù)值的設(shè)定太依賴于人工經(jīng)驗(yàn)值設(shè)定以至于參數(shù)不夠合理的問(wèn)題,提出了一種新的基于參數(shù)估計(jì)的自適應(yīng)雙邊濾波算法[6],首先,對(duì)于雙邊濾波空間標(biāo)準(zhǔn)差σc的設(shè)定,我們可以引入灰度共生矩陣的慣性矩特征值,然后通過(guò)拉普拉斯進(jìn)行快速估計(jì)整幅圖像的各個(gè)光滑區(qū)域噪聲標(biāo)準(zhǔn)差σn’,接著噪聲標(biāo)準(zhǔn)差σn的取值就可以取為σn’的平均值,從而實(shí)現(xiàn)了對(duì)灰度標(biāo)準(zhǔn)差σs的自適應(yīng)設(shè)置.相比于使用傳統(tǒng)的雙邊濾波算法來(lái)改進(jìn)性能,我們參考文獻(xiàn)[6]提出的算法來(lái)執(zhí)行平滑處理,效果對(duì)比如圖2所示,3種濾波方法的圖像峰值信噪比(PSNR)和運(yùn)行時(shí)間的比較,如表1所示,改進(jìn)后的雙邊濾波算法可以獲得更好的效果.

圖2 圖像平滑處理對(duì)比圖

表1 3種濾波的PSNR和運(yùn)行時(shí)間對(duì)比結(jié)果

3.2 改進(jìn)計(jì)算梯度幅值和方向

傳統(tǒng)的Canny算法在計(jì)算梯度幅值的時(shí)候是利用一個(gè)2×2大小的模板矩陣,這樣容易受到噪聲的影響,不能很精確地檢測(cè)出邊緣.所以本文在此基礎(chǔ)上借鑒Sobel算子,用4個(gè)3×3大小的模板矩陣分別從X、Y、45°和135° 4個(gè)方向?qū)υ瓐D進(jìn)行卷積計(jì)算,得出圖像梯度幅值,在實(shí)驗(yàn)中有效的降低了噪聲敏感度并在一定程度上提高了邊緣定位的精度[7],4個(gè)模板如圖3所示.

圖3 方向模板

用圖3(b)中的4個(gè)模板矩陣對(duì)濾波后圖像進(jìn)行卷積計(jì)算獲得4個(gè)方向梯度分量的公式如式(16)-式(19)：

X方向梯度分量：

Y方向梯度分量：

45 °方向梯度分量：

135 °方向梯度分量：

從上面4個(gè)方向的梯度分量來(lái)獲得梯度幅值和梯度角度,公式如下[7,8]：

改進(jìn)后的梯度計(jì)算方法綜合考慮像素8鄰域內(nèi)X方向、Y方向、45°和135° 4個(gè)方向的梯度幅值,提高了邊緣定位的精度,同時(shí)也對(duì)錯(cuò)檢率進(jìn)行了一定的降低,也減少了邊緣丟失現(xiàn)象,如圖4.

圖4 改進(jìn)后的Sobel各方向梯度圖

3.3 改進(jìn)OTSU算法選取雙閾值

在眾多閾值選取的算法中,最早由OTSU在1978年提出的最大類間方差法這么多年以來(lái)一直是被大家使用最多的一種閾值選取方法[9-11].其基本思想是通過(guò)設(shè)定灰度閾值與圖像中的像素點(diǎn)進(jìn)行比較后把圖像分成兩個(gè)部分(前景目標(biāo)、背景),背景和前景目標(biāo)之間的類間方差越大,說(shuō)明背景和前景目標(biāo)在圖像中的差別越大,而類間方差越小則說(shuō)明背景和前景目標(biāo)在圖像中的差別越小,從而降低了圖像分割的準(zhǔn)確性.因此,當(dāng)背景類與前景目標(biāo)類的類間方差趨近于最大的時(shí)候,將此時(shí)的灰度等級(jí)值用來(lái)作為圖像分割的閾值能夠大大提高圖像分割的準(zhǔn)確性.

OTSU算法通過(guò)計(jì)算一幅圖像中所有灰度等級(jí)對(duì)應(yīng)的類間方差值,取使得類間方差達(dá)到最大的像素值(灰度等級(jí)值)作為分隔高閾值,根據(jù)文獻(xiàn)[12]的研究顯示,當(dāng)?shù)烷撝颠x取為高閾值的1/2時(shí)具有最好的分割結(jié)果,本文借鑒該結(jié)論,對(duì)低閾值的選取為高閾值的1/2.OTSU算法具體步驟如下：

假設(shè)一幅圖像I(M×N),記圖像中的某點(diǎn)的像素值為f(x,y),T為前景目標(biāo)和背景的分割閾值,前景目標(biāo)類所占圖像的比例為W0,前景目標(biāo)類灰度均值為U0；背景類所占整個(gè)圖像的比例為W1,背景類灰度均值為U1,則整個(gè)圖像的灰度均值Ur為：

則方差值 σ2為：

根據(jù)參考文獻(xiàn)[13]的研究,用式(24)代替式(23),可以大大優(yōu)化并縮短大津法的計(jì)算過(guò)程.

接著最大化類間方差函數(shù),當(dāng)σ2的值達(dá)到最大的時(shí)候,說(shuō)明此時(shí)前景目標(biāo)類與背景類最容易區(qū)分開(kāi),因此此時(shí)分離前景目標(biāo)與背景,準(zhǔn)確率最高,所以當(dāng)σ2達(dá)到最大值時(shí),取對(duì)應(yīng)的灰度值作為最佳閾值(高閾值),低閾值則參照文獻(xiàn)[12]取為高閾值的一半.

4 基于改進(jìn)邊緣檢測(cè)的視覺(jué)注意計(jì)算模型的實(shí)現(xiàn)

傳統(tǒng)Itti視覺(jué)顯著性模型通過(guò)對(duì)一幅輸入圖像提取顏色、亮度、方向3個(gè)特征并構(gòu)建相應(yīng)的高斯金字塔,然后對(duì)高斯金字塔使用中央-周邊方法和歸一化方法獲取多個(gè)特征圖,將這些特征圖進(jìn)行交叉尺度合并和歸一化操作得到相應(yīng)的單特征維顯著圖,再對(duì)3幅單特征維顯著圖用線性合并的處理方式進(jìn)行合并處理得到最終的顯著圖.而本文改進(jìn)的Itti模型是對(duì)圖像提取顏色、亮度、方向以及邊緣(利用改進(jìn)Canny邊緣檢測(cè)算法)4個(gè)特征,然后構(gòu)建4個(gè)特征的特征圖[14,15],最后獲得顯著圖.最終的顯著圖會(huì)受到一些細(xì)小物體的影響,我們可以通過(guò)面積法保留體積最大的連通區(qū)域,從而去除掉其余干擾點(diǎn),獲得最終的顯著圖(如圖5).

5 改進(jìn)模型驗(yàn)證分析

利用本文提出的該種建立在優(yōu)化后的Canny算法基礎(chǔ)上的視覺(jué)注意計(jì)算模型算法對(duì)100幅圖像進(jìn)行檢測(cè),數(shù)據(jù)來(lái)源于相機(jī)拍攝和網(wǎng)絡(luò)下載.將本文算法與經(jīng)典的Itti模型算法和基于傳統(tǒng)Canny邊緣檢測(cè)的視覺(jué)注意計(jì)算模型進(jìn)行比較,其中3個(gè)實(shí)驗(yàn)結(jié)果對(duì)比效果如圖6所示,對(duì)于100幅都是950×522的圖像進(jìn)行測(cè)試后,準(zhǔn)確率和耗時(shí)的分析如表2所示,本文算法耗時(shí)相對(duì)于傳統(tǒng)Itti計(jì)算模型來(lái)說(shuō)有所提升,但是可以更加準(zhǔn)確地檢測(cè)出目標(biāo)區(qū)域,且具有更清晰的邊界,相對(duì)于傳統(tǒng)Itti計(jì)算模型準(zhǔn)確率提升了15%,相對(duì)于基于傳統(tǒng)Canny邊緣檢測(cè)的視覺(jué)注意計(jì)算模型準(zhǔn)確率提升了6%.

圖5 第一行為雙閾值處理效果圖,第二行為Canny邊緣檢測(cè)效果圖對(duì)比圖

6 結(jié)論

在傳統(tǒng)Itti視覺(jué)注意計(jì)算模型的基礎(chǔ)上,引入邊緣檢測(cè),同時(shí)對(duì)于Canny邊緣檢測(cè)算法進(jìn)行了優(yōu)化改進(jìn)(改進(jìn)雙邊濾波對(duì)圖像平滑,改進(jìn)計(jì)算梯度幅值和方向,改進(jìn)OTSU算法選取雙閾值),提出一種建立在優(yōu)化后的Canny算法基礎(chǔ)上的視覺(jué)注意計(jì)算模型,有效改善了顯著區(qū)域提取效果,使得顯著區(qū)域的提取更加準(zhǔn)確、完整,同時(shí)提升了效率.

但是,該方法無(wú)法應(yīng)用到復(fù)雜環(huán)境下多物體的檢測(cè),對(duì)于復(fù)雜環(huán)境下的多物體能夠大體檢測(cè)識(shí)別卻無(wú)法精細(xì)區(qū)分,因此,如何精細(xì)區(qū)分并檢測(cè)出多個(gè)物體是下一步的研究重點(diǎn).

圖6 不同算法效果圖

表2 準(zhǔn)確率與耗時(shí)對(duì)比結(jié)果