淺析基于空間信息的視覺注意模型

葉 濤

（新鄉(xiāng)學(xué)院 計算機與信息工程學(xué)院，河南 新鄉(xiāng) 453000）

淺析基于空間信息的視覺注意模型

葉 濤

（新鄉(xiāng)學(xué)院 計算機與信息工程學(xué)院，河南 新鄉(xiāng) 453000）

近幾年，基于頻譜變化的視覺顯著性檢測模型逐漸成為研究熱點，大多數(shù)頻域視覺注意模型的主要思想通常是利用離散傅里葉變換或離散余弦變換等方法把圖像從空間域變換到頻譜域，然后通過對頻域內(nèi)的相位譜、幅度譜等信息進行分析和處理，提取顯著信息，最后再通過逆變換到空間域并進行后續(xù)處理得到最終的顯著圖。

空間信息；視覺注意；顯著性檢測

1 研究的目的和意義

在圖像壓縮領(lǐng)域，傳統(tǒng)方法一般都是把輸入圖像切分成小圖塊，然后不加區(qū)分地對所有圖塊采用一種變換機制進行編碼，這樣做沒有充分利用人眼的視知覺特性。相關(guān)研究表明，人眼對圖像進行非均勻采樣，同時人眼以高分辨率處理關(guān)注區(qū)域，以較低分辨率處理非關(guān)注區(qū)域。因此可以通過構(gòu)建視覺注意模型來預(yù)測人眼關(guān)注區(qū)域，然后分別對關(guān)注區(qū)域和非關(guān)注區(qū)域采用不同壓縮比方案，盡可能保留關(guān)注區(qū)域的圖像信息。此外，視覺注意機制的相關(guān)研究對其他一些實際應(yīng)用如汽車導(dǎo)航、廣告設(shè)計等也有著借鑒價值。在視頻監(jiān)控、自主駕駛、數(shù)字媒體庫中的信息檢索以及醫(yī)學(xué)圖像分析時，如果采用選擇性視覺注意的方法，便可以在海量數(shù)據(jù)中高效地找到有用的信息。因此，在神經(jīng)科學(xué)、認知科學(xué)和計算機工程等領(lǐng)域，視覺注意形成機制的探索和視覺注意計算模型的設(shè)計已經(jīng)成為目前國內(nèi)外的研究熱點。

2 研究內(nèi)容

2.1 聯(lián)合頻域分析與空間信息的視覺注意模型研究

為了提高頻域視覺注意模型的生物可信性和有效性，在綜合分析現(xiàn)有模型的基礎(chǔ)上，提出一種具有生物可信性的改進的超復(fù)數(shù)傅里葉變換視覺注意模型。為了驗證和評估提出的改進模型的性能，在相關(guān)數(shù)據(jù)集上對其進行了大量實驗，并將改進的模型應(yīng)用到了圖像檢索中。本研究主要從以下4個方面對HFT進行改進：

（1）四元數(shù)實部系數(shù)的選擇；（2）四元數(shù)虛部系數(shù)的選擇；（3）如何濾除重復(fù)圖案對應(yīng)的幅度譜；（4）如何利用廢棄的顯著圖選擇出最優(yōu)顯著圖。

2.2 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像檢索

深度學(xué)習(xí)提出了一種讓計算機自動學(xué)習(xí)出模式特征的方法，并將特征學(xué)習(xí)融入到了建立模型的過程中，從而減少了人為設(shè)計特征造成的不完備性。在卷積神經(jīng)網(wǎng)絡(luò)中，圖像的一小部分（局部感受區(qū)域）作為層級結(jié)構(gòu)的最低層的輸入，信息再依次傳輸?shù)讲煌膶?，每層通過一個數(shù)字濾波器去獲得觀測數(shù)據(jù)的最顯著的特征。這個方法能夠獲取對平移、縮放和旋轉(zhuǎn)不變的觀測數(shù)據(jù)的顯著特征，因為圖像的局部感受區(qū)域允許神經(jīng)元或者處理單元可以訪問到最基礎(chǔ)的特征，例如定向邊緣或者角點。本研究嘗試將其應(yīng)用于圖像檢索中，在顯著區(qū)域的提取基礎(chǔ)上，提出一個基于視覺顯著性的深度學(xué)習(xí)圖像檢索方法。基本思路是：首先，提取前面所述的融合頻域分析和空間信息的顯著性檢測的顯著區(qū)域；之后，利用卷積神經(jīng)網(wǎng)絡(luò)對該區(qū)域進行特征提?。蛔詈?，利用相似性度量得到檢索結(jié)果。

3 研究步驟

3.1 四元數(shù)實部的選擇

傳統(tǒng)的特征提取方法是將多個底層特征提取之后，只進行簡單的融合，使不同特征反映的目標(biāo)信息重新被掩蓋到單一的標(biāo)量顯著性中，導(dǎo)致區(qū)分度不夠。而本研究擬將標(biāo)量顯著性轉(zhuǎn)化為四元數(shù)顯著性，這樣能夠避免簡單的線性融合中信息的遺失，完整保留不同特征所表示的圖像信息。初級視覺皮層細胞對特定方向的刺激有著強烈的反應(yīng)。而二維濾波器非常適合表示這種反應(yīng)。二維Gabor濾波器是一種用于檢測邊緣的線性濾波器。本項目擬選取4個最有代表性的方向：0，45，90，135，這樣就構(gòu)造出4個Gabor濾波器，分別對輸入的自然圖像濾波，就得到了4個方向的方向特征圖。然后將自然圖像的方向和亮度特征值進行多尺度中心—邊緣操作，這樣得到各自的特征值。將兩個特征值線性融合，就得到了四元數(shù)顯著性的實部系數(shù)A。

3.2 四元數(shù)虛部的選擇

目前存在的四元數(shù)頻域分析模型中，都是將顏色簡單的定義為RG和BY兩種模型。RGB色彩模式是工業(yè)界的一種顏色標(biāo)準(zhǔn)，是通過對紅（R）、綠（G）、藍（B）3個顏色通道的變化以及它們相互之間的疊加來得到各式各樣的顏色，RGB即是代表紅、綠、藍3個通道的顏色。RGB的設(shè)計主要是用于顯示輸出的，和人的視覺感知并不接近。而HSV顏色空間的色域較寬闊，設(shè)計的目的是為了更好地接近人類視覺，致力于感知的均勻性。因此，首先在HSV顏色空間上對HFT改進，并且采用改進的H，S，V 3種顏色分量作為四元數(shù)的3個虛部系數(shù)。

3.3 如何最大限度地去除冗余信息，保留關(guān)鍵信息

某種模式出現(xiàn)的次數(shù)越多，其幅度譜就越集中在某些頻率上，而呈現(xiàn)出尖峰的形狀。因此，若圖像的背景是重復(fù)出現(xiàn)的冗余信息，那么相比于顯著目標(biāo)，圖像的背景所對應(yīng)的幅度譜的譜峰應(yīng)該更加尖銳。幅度譜的峰值對應(yīng)于重復(fù)圖案,而這些圖案應(yīng)該被顯著檢測抑制。因此，在幅度譜中抑制冗余背景可以從去除幅度譜譜峰角度考慮。

3.4 最終顯著圖的計算方法

HFT方法直接選用熵值最小的候選顯著圖作為最優(yōu)顯著圖。然而，在實驗中發(fā)現(xiàn)，一些被淘汰的候選顯著圖中含有重要的顯著信息，不能直接被廢棄。標(biāo)準(zhǔn)差反映了空間聚集程度。如果顯著圖的顯著區(qū)域非常集中，就會接近平均中心，此時標(biāo)準(zhǔn)差較?。蝗绻@著圖包含大片的背景區(qū)域，注意背景是分布在圖像中所有區(qū)域中，此時標(biāo)準(zhǔn)差較大。因此，計算k個顯著圖的標(biāo)準(zhǔn)差，根據(jù)一定準(zhǔn)則選擇一些小于某個閾值的顯著圖作為候選顯著圖。然后利用對比函數(shù)得到最優(yōu)的顯著圖。

4 結(jié)語

本研究在經(jīng)過中值濾波得到的尺度空間分析后，得到k個顯著圖，此時引入空間標(biāo)準(zhǔn)差σk。標(biāo)準(zhǔn)差是一個能夠反映出空間分布的聚集度，可以認為一個好的顯著圖應(yīng)該有較小的方差。計算k個顯著圖的標(biāo)準(zhǔn)差，若最小標(biāo)準(zhǔn)差為σmin，那么我們選取那些小于ασmin的顯著圖作為候選顯著圖。然后對比函數(shù)選擇最優(yōu)的顯著圖。這樣更加客觀地利用所有可能的顯著信息來選擇最優(yōu)顯著圖。

為提高復(fù)雜背景的自然圖像的檢索性能，本研究采用深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)方法在顯著區(qū)域提取的基礎(chǔ)之上進行特征提取，并采用相似性度量得到相似性結(jié)果。這樣避免了人工提取特征的不完備性，同時減少了計算復(fù)雜度和提高效率。本研究擬采用不同大小的中值濾波器分別進行濾波，然后從得到的結(jié)果中選擇一個最佳的結(jié)果。濾波器的尺寸設(shè)置是由圖像尺寸決定的。如何選擇最合適的值，能夠充分利用廢棄顯著圖中的信息。目前對于網(wǎng)絡(luò)層數(shù)與隱層節(jié)點的選取并沒有統(tǒng)一的標(biāo)準(zhǔn)，一般情況下，是根據(jù)經(jīng)驗或者通過訓(xùn)練學(xué)習(xí)之后，根據(jù)重構(gòu)誤差和訓(xùn)練速度綜合比較之后再選擇。

[1]WEN Z K, DU Y H, WU H S, et al. The research of visual attention mechanism model fuse multi-feature[C]. Multisensory Fusion and Information Integration for Intelligent Systems (MFI), 2014 International Conference on IEEE, 2014（10）：1-7.

[2]HOU B, YANG W, WANG S, et al. SAR image ship detection based on visual attention model[C]. Geosciences and Remote Sensing Symposium (IGARSS), 2013 IEEE International IEEE, 2013：2003-2006.

[3]ZHANG J W, LIAN M C, Wang W P, et al. Detection of abnormal nuclei in cervical smear images based on visual attention model[C]// Machine Learning and Cybernetics (ICMLC), 2013 International Conference on IEEE, 2013：920-924.

[4]ITTI L, KOCH C, NIEBUR E. A model of saliency-based visual attention for rapid scene analysis[J]. Pattern Analysis and Machine Intelligence, 2015（11）：1254–1259, 1998.

[5]ACHANTA R, Estrada F, Wils P, et al. S¨usstrunk. Salient region detection and segmentation[C]. International Conference on Computer Vision Systems, 2008.

[6]HOU, X D, ZHANG, L Q. Saliency detection: a spectral residual approach[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Los Alamitos: IEEE Computer Society Press, 2007: 1-8.

[7]GUO C, ZHANG L. A novel multi-resolution spatiotemporal saliency detection model and its applications in image and video compression[J]. IEEE Transactions on Image Processing, 2010（1）：185-198.

An analysis of visual attention model based on spatial information

Ye Tao
（Computer and Information Engineering College of Xinxiang University, Xinxiang 453000, China）

In recent years, the visual saliency detection model based on frequency domain of spectral change has become a hot research topic, most visual attention is usually the main thought of the model using discrete Fourier transform or discrete cosine transform method to image from the spatial domain to the frequency domain, then through analysis and processing of phase of frequency spectrum, amplitude spectrum and other information, extract significant information, and then through the inverse transform to the spatial domain and subsequent processing to get the final saliency map.

spatial information; visual attention; saliency detection

葉濤（1979— ），男，河南新鄉(xiāng)，本科，講師。