視覺顯著性預(yù)測(cè)綜述

孫 夏，石志儒

（1.中國科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所上海 200050；2.上?？萍即髮W(xué) 信息科學(xué)與技術(shù)學(xué)院，上海201210；3.中國科學(xué)院大學(xué) 北京 100049）

視覺顯著性預(yù)測(cè)綜述

孫 夏1，2，3，石志儒2

（1.中國科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所上海 200050；2.上海科技大學(xué) 信息科學(xué)與技術(shù)學(xué)院，上海201210；3.中國科學(xué)院大學(xué) 北京 100049）

本文針對(duì)視覺顯著性預(yù)測(cè)這一熱點(diǎn)問題，通過介紹和對(duì)比了基于認(rèn)知型、基于圖論模型、基于頻譜模型、和基于模式識(shí)別模型等視覺顯著性預(yù)測(cè)算法的優(yōu)缺點(diǎn)，得出基于模式識(shí)別模型在現(xiàn)有數(shù)據(jù)庫效果最好的結(jié)論。同時(shí)，本文探究了已有的數(shù)據(jù)庫特色以及適用范圍。除此之外，本文分析了Auc、NSS和EMD等性能評(píng)估方法對(duì)于評(píng)估各種視覺顯著性預(yù)測(cè)算法性能的優(yōu)勢(shì)和劣勢(shì)。文章最后針對(duì)已有視覺顯著性預(yù)測(cè)方法和數(shù)據(jù)庫的問題，對(duì)現(xiàn)有的視覺顯著性預(yù)測(cè)方面的研究做了總結(jié)和展望。

視覺顯著性；顯著性預(yù)測(cè)；認(rèn)知模型；模式分類

在過去的十幾年，基于視覺顯著性的研究日益增多，因?yàn)槠鋸V泛的應(yīng)用性。人類在觀測(cè)事物時(shí)會(huì)迅速捕捉與背景和周圍不同的顯著性區(qū)域，以此實(shí)現(xiàn)在短時(shí)間內(nèi)最大化所獲取的信息。因此，在計(jì)算機(jī)視覺領(lǐng)域，對(duì)視覺顯著性的研究有著重大意義。視覺顯著性可以用于圖像分割，圖像質(zhì)量評(píng)估，圖像匹配，圖像恢復(fù)，圖像渲染，圖像和視頻壓縮，圖像縮略圖，圖像重定向，視頻摘要，視頻壓縮，場(chǎng)景分類，物體檢測(cè)，物體識(shí)別，視覺跟蹤，興趣點(diǎn)檢測(cè)，自動(dòng)圖像拼貼，人臉分割和跟蹤等。在機(jī)器人領(lǐng)域，視覺顯著性可以用于機(jī)器人定位，機(jī)器人導(dǎo)航等。

1 視覺顯著性預(yù)測(cè)

鑒于許多研究者經(jīng)?；煜曈X顯著性預(yù)測(cè)與顯著性物體檢測(cè)這兩個(gè)概念，本文將簡單地闡述視覺顯著性預(yù)測(cè)與顯著性物體檢測(cè)的異同。視覺顯著性預(yù)測(cè)即預(yù)測(cè)人類的視覺凝視點(diǎn)和眼動(dòng)；顯著性物體檢測(cè)是基于視覺顯著性在圖像大小調(diào)整上的應(yīng)用而得來的概念。二者主要有二方面的不同。

1）兩者的標(biāo)準(zhǔn)集的定義不同。視覺顯著性預(yù)測(cè)只需預(yù)測(cè)出人類在3～5秒的凝視中所關(guān)注的點(diǎn)；顯著性物體檢測(cè)的目標(biāo)是檢測(cè)出最顯著的物體。其中顯著性物體作為一個(gè)整體被檢測(cè)出來，需要精確到像素級(jí)別；理論上，在顯著性預(yù)測(cè)模型上成功的方法在顯著性物體檢測(cè)的標(biāo)準(zhǔn)中會(huì)失敗。

2）兩者的評(píng)估標(biāo)準(zhǔn)不同。視覺顯著性預(yù)測(cè)的評(píng)估方法需要評(píng)估顯著性圖的相似程度，而顯著性物體檢測(cè)方法需要基于顯著性物體區(qū)域中每個(gè)像素點(diǎn)的命中率來計(jì)算準(zhǔn)確率和回召率。

圖1 視覺顯著性預(yù)測(cè)與顯著性物體檢測(cè)

2 常用的視覺顯著性預(yù)測(cè)方法

2.1 認(rèn)知模型

幾乎所有的顯著性模型都直接或間接地受認(rèn)知模型啟發(fā)而來。認(rèn)知模型的一大特點(diǎn)是與心理學(xué)和神經(jīng)學(xué)有著十分緊密的關(guān)聯(lián)。從心理學(xué)特征出發(fā)，Itti的基本模型使用了三個(gè)特征通道，顏色，屬性，方向。模型通過對(duì)這三個(gè)特征圖加權(quán)形成最終的顯著性圖。這一模型是后來需要衍生模型的基礎(chǔ)。同時(shí)，也成為了許多基準(zhǔn)在比較過程中使用的比較對(duì)象。一個(gè)輸入圖像被下采樣為高斯金字塔，每個(gè)金字塔層次σ被分解為通道紅色R，綠色G，藍(lán)色B，黃色Y，屬性I，和方向O。對(duì)于不同的通道，基于中心計(jì)算并歸一化其特征圖。在每個(gè)通道，相加特征圖并歸一化，

2.2 信息論模型

信息論模型的本質(zhì)是最大化來自所處視覺環(huán)境的信息。其中最有影響力的模型是AIM模型。首先，計(jì)算每個(gè)點(diǎn)的特征pi；接下來，計(jì)算特征的分布，平均值μ，方差Σ。然后，通過計(jì)算特征向量T間的馬氏距離Δ來計(jì)算顯著性，其中 Δ2=（T-μ）′Σ-1（T-μ）。Seo和Milanfar提出SDSR方法。首先，每個(gè)像素的局部結(jié)構(gòu)可以由局部描述矩陣 （局部回歸核）來計(jì)算。接下來，通過矩陣的余弦相似度來計(jì)算與相鄰像素的相似度。對(duì)于每一個(gè)像素，最終的顯著圖代表著特征矩陣Fi與身邊特征矩陣Fj的統(tǒng)計(jì)似然

其中ρ（Fi，F(xiàn)j）代表著矩陣間的余弦相似度，σ是局部權(quán)重參數(shù)。局部特征矩陣的列代表著局部旋轉(zhuǎn)內(nèi)核為：

其中l(wèi)=1，…，P，P是本地窗口中所含像素的個(gè)數(shù)。h是全局平滑函數(shù)。Cl是由圍繞當(dāng)?shù)胤治龃翱诘目臻g梯度向量計(jì)算而來的協(xié)方差矩陣。

2.3 圖論模型

4) 4臺(tái)推進(jìn)器變壓器，容量為5 300 kVA/2 650 kVA/2 650 kVA,電壓變比11 kV/0.71 kV/0.71 kV。

一個(gè)圖模型是一個(gè)基于圖的概率框架，這個(gè)圖是基于隨機(jī)變量間的條件獨(dú)立結(jié)構(gòu)。基于圖論的顯著性模型把眼動(dòng)數(shù)據(jù)看成時(shí)間序列。因?yàn)橛须[藏變量在影響眼動(dòng)的順序，因此方法如隱馬爾科夫模型（HMM），動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)（DBN），條件隨機(jī)場(chǎng)被囊括在內(nèi)。Salah提出一種基于圖論的顯著性模型并將其應(yīng)用到手寫數(shù)字化以及人臉識(shí)別。Harel提出基于圖論的方法 （GBVS）。他們?cè)诙鄠€(gè)空間尺度提取特征。接下來，建立一個(gè)基于各個(gè)特征圖的全連接的圖。兩個(gè)節(jié)點(diǎn)間的權(quán)重與兩個(gè)節(jié)點(diǎn)的特征相似度和空間距離成正比。特征圖中位置（i，j）和位置（p，q）的不相似度表示為

其中M（i，j），M（p，q）為對(duì)應(yīng)點(diǎn)的特征值。那么點(diǎn)（i，j）到點(diǎn)（p，q）的值，也就是權(quán)重為與他們的不相似度和距離成正比

最終的結(jié)果圖為經(jīng)過權(quán)重歸一化和平衡的馬爾科夫鏈。在平衡過程中，與鄰接頂點(diǎn)的相似度非常低的店被賦予大的顯著數(shù)值。圖論可以幫助研究者為顯著性模型構(gòu)建更復(fù)雜的顯著性機(jī)制。然而，圖論模型的缺點(diǎn)是模型的復(fù)雜度太高。

2.4 頻域模型

除了使用空域信息處理圖像外，利用頻域信息處理圖像往往可以得到更好的效果?；谙嗨菩匀哂嘣?，Hou提出了頻譜殘差的顯著性預(yù)測(cè)模型。他在文章中指出，頻譜上的統(tǒng)計(jì)奇異點(diǎn)對(duì)圖像中的異常區(qū)域有關(guān)聯(lián)，而圖像中的異常區(qū)域恰為圖像的顯著性區(qū)域。給定一個(gè)輸入圖像I（x），振幅A（f）=R（F（I（x））），以及相位P（f）=ψ（F（I（x））），同時(shí)可以計(jì)算出對(duì)數(shù)普L（f）=log（A（f））。已知對(duì)數(shù)普，可以計(jì)算頻譜殘差R（f）=L（f）-hn（f）*L（f）。然后通過逆傅里葉變換可以在頻域重建顯著圖。最后，用高斯濾波器g（x）來使顯著圖呈現(xiàn)更好的視覺效果

其中F和F-1代表傅里葉變換和逆傅里葉變換。

頻譜分析易于理解，計(jì)算高效而且效果顯著，但是關(guān)于頻域領(lǐng)域的相關(guān)解釋還未明朗。

2.5 模式分類模型

機(jī)器學(xué)習(xí)方法也同樣被應(yīng)用于視覺顯著性預(yù)測(cè)領(lǐng)域。一般的模型需要選擇特征，再評(píng)估權(quán)重，整合等3個(gè)步驟。因?yàn)槌３?huì)加入人臉，文字等高層視覺信息，這些方法也不是純粹的自底向上方法。Kienzle提出一種基于學(xué)習(xí)的非參數(shù)的自底向上方法。該模型通過訓(xùn)練一個(gè)支持向量街（SVM）[17-18]來決定顯著性。他們還在視頻上學(xué)習(xí)了一組空域?yàn)V波器來尋找顯著性區(qū)域。這種方法的優(yōu)勢(shì)是不需要事先定義哪些特征對(duì)顯著性有影響，哪些特征對(duì)顯著性的影響大。當(dāng)然，這種方法的結(jié)果也更傾向于在圖像中心。Judd，與Kienzle相似，訓(xùn)練了一個(gè)基于低層視覺，中層視覺，高層視覺特征的線性支持向量機(jī) （SVM）。他們的方法在1 003張圖片上測(cè)試效果顯著。隨著眼動(dòng)數(shù)據(jù)庫的增多，以及眼動(dòng)儀的普及，模式分類模型越來越受歡迎。在現(xiàn)有的數(shù)據(jù)庫評(píng)估中，排名最高的模型大多都是基于模式分類的模型。然而，這種模型是完全依賴于大量數(shù)據(jù)以及數(shù)據(jù)內(nèi)容的。這樣的一個(gè)弊端是使得顯著性模型的評(píng)估，計(jì)算速度。同時(shí)，容易造成研究者疏于研究視覺顯著性模型的內(nèi)部機(jī)理。

3 視覺顯著性數(shù)據(jù)庫

為評(píng)估視覺顯著性模型的效果，相關(guān)研究者提供了豐富的數(shù)據(jù)庫。早期的數(shù)據(jù)庫情景單一，背景和前景顏色對(duì)比強(qiáng)烈。近年，一些數(shù)據(jù)庫包含了復(fù)雜的背景和多個(gè)顯著物體。表一介紹了近些年的用于視覺顯著性預(yù)測(cè)的圖像數(shù)據(jù)庫，其中包括數(shù)據(jù)庫年份，圖像分辨率，圖像數(shù)量，觀測(cè)者數(shù)量，觀測(cè)時(shí)長等重要信息。每個(gè)數(shù)據(jù)庫都有它的優(yōu)點(diǎn)和局限性。評(píng)估一個(gè)視覺顯著性預(yù)測(cè)模型的最好方法是在不同的數(shù)據(jù)庫上同時(shí)評(píng)估。Salicon[3]是迄今為止規(guī)模最大的眼動(dòng)數(shù)據(jù)集，目前公開的圖像超過10 000張。與傳統(tǒng)的使用眼動(dòng)儀來收集標(biāo)注集的方法不同，該數(shù)據(jù)庫使用了一種鼠標(biāo)點(diǎn)擊的方法來收集標(biāo)準(zhǔn)集。數(shù)據(jù)庫中圖像來源于內(nèi)容復(fù)雜的MSCOCO。這為今后基于機(jī)器學(xué)習(xí)的顯著性預(yù)測(cè)方法提供了大規(guī)?？捎?xùn)練數(shù)據(jù)。

4 性能評(píng)估

4.1 Area Under ROC

在這些評(píng)估方法中，AUC是使用最廣泛的評(píng)估標(biāo)準(zhǔn)。在AUC的計(jì)算過程中，預(yù)測(cè)的顯著性圖用作分類器來區(qū)分正確的樣本（人眼所關(guān)注的區(qū)域）和錯(cuò)誤的樣本。通過改變顯著性圖的分類閾值，可以得到以真正類（true positive rate）和假負(fù)率（false negative rate）為橫縱軸的受試者工作特征曲線（簡稱ROC曲線）。Auc既是ROC曲線與橫縱坐標(biāo)所圍成圖形的面積。其中Auc數(shù)值為0代表沒有命中率為0，即顯著圖預(yù)測(cè)完全錯(cuò)誤；Auc數(shù)值為1代表命中率為百分之百。然而，由于ROC特性的局限，只要命中率高，ROC曲線與橫豎坐標(biāo)軸所圍成圖形的面積就會(huì)很高，盡管錯(cuò)誤率也會(huì)提升。由此可見，ROC分析方法不足以描述預(yù)測(cè)的顯著圖與實(shí)際的凝視圖至今的差異。在預(yù)測(cè)的顯著圖中，一個(gè)被錯(cuò)誤預(yù)測(cè)的位置，在離真實(shí)顯著性區(qū)域很近和很遠(yuǎn)這兩種情況下應(yīng)該是有區(qū)分的。為此，我們引入了EMD和相似度，相關(guān)性評(píng)估方法來彌補(bǔ)AUC方法的不足。

4.2 Similarity Score

相似度用于描述兩種分布的相似程度。在每種分布分別被歸一化后，相似度即為兩種分布所有位置最小值之和。數(shù)學(xué)上，顯著圖P和顯著圖Q的相似度S為：

兩個(gè)完全相同的分布的相似度為數(shù)值 1。兩個(gè)完全不同沒有任何重疊的分布相似度為數(shù)值 0。

4.3 Linear Correlation Coefficent

線性相關(guān)性（Linear Correlation Coeffcent，簡稱CC）用于描述預(yù)測(cè)的顯著圖和基準(zhǔn)顯著圖直接的線性相關(guān)性。對(duì)于兩個(gè)顯著圖，將其轉(zhuǎn)換為向量P和Q，那么

CC數(shù)值越接近1或者-1，說明預(yù)測(cè)的算法越好。CC數(shù)值為0說明兩幅顯著圖完全不相關(guān)。

4.4 Earth Mover's Distance

地球移動(dòng)距離 EMD（Earth Mover’s Distance（EMD））是在某一區(qū)域兩個(gè)概率分布距離的度量。不正式地說，如果兩個(gè)分布被看作在區(qū)域上兩種不同方式堆積一定數(shù)量的山堆，那么EMD就是把一堆變成另一堆所需要移動(dòng)單位小塊最小的距離之和。更正式地從數(shù)學(xué)角度可以描述為：

其中每個(gè)fi，j代表從第i個(gè)區(qū)域到第j個(gè)區(qū)域需要移動(dòng)的數(shù)量。di，j是第i區(qū)域第j區(qū)域之間的地球距離。EMD數(shù)值越大，說明兩個(gè)分布越不相同。相反地，兩個(gè)完全相同的分布EMD數(shù)值為0。

4.5 Normalized Scanpath Saliency

標(biāo)準(zhǔn)化掃描路徑顯著性 （Normalized Scanpath Saliency，簡稱NSS）由預(yù)測(cè)模型中人眼凝視點(diǎn)位置對(duì)應(yīng)的顯著性平均值來定義。首先，模型中點(diǎn)（xh，yh）被歸一化為均值為0，方差為1，繼而可以求得

NSS小于等于0代表顯著性模型不比隨機(jī)點(diǎn)模型效果好。

4.6 String Editing Distance

字符串編輯距離（String Editing Distance）常用于比較預(yù)測(cè)的顯著性模型的興趣區(qū)域 （Region of interest，檢測(cè)ROI）和人眼的興趣區(qū)域的相似度。首先將興趣區(qū)域安裝顯著性數(shù)值或者人眼掃描的空間路徑排序。字符串編輯距離Ss是由刪除，插入，替換三種操作的最少次數(shù)來定義，其中每刪除字符，插入字符或者替換字符則記錄為一次操作。最終，兩個(gè)字符串的最短編輯距離為

以上方法各自有它們的優(yōu)缺點(diǎn)，一個(gè)準(zhǔn)確的顯著圖應(yīng)有一個(gè)高的AUC數(shù)值，一個(gè)高的相似度，和一個(gè)低的EMD數(shù)值，一個(gè)高的NSS，一個(gè)高的字符串編輯距離。

5 研究趨勢(shì)

目前，隨著針對(duì)顯著性算法的不斷探索，大規(guī)模顯著性數(shù)據(jù)庫的增多，計(jì)算機(jī)器性能的提升，視覺顯著性預(yù)測(cè)模型已經(jīng)在現(xiàn)有的數(shù)據(jù)庫上達(dá)到不錯(cuò)的效果。然而，數(shù)據(jù)庫本身的局限性和偏差，使得顯著性預(yù)測(cè)模型所受的調(diào)整降低，基于復(fù)雜情景的顯著性預(yù)測(cè)結(jié)果仍與標(biāo)準(zhǔn)集有一定差距。一方面，創(chuàng)建一個(gè)情景更加復(fù)雜，多顯著性物體，顏色更加相似，基于語義的顯著性圖像數(shù)據(jù)庫將極大地促進(jìn)視覺顯著性預(yù)測(cè)的發(fā)展；另一方面，針對(duì)具體情景的研究將更具有實(shí)際意義，比如，公共交通中的顯著性預(yù)測(cè)，平面廣告設(shè)計(jì)中的顯著性預(yù)測(cè)，超市物品擺放的顯著性預(yù)測(cè)等。

6 結(jié) 論

目前，關(guān)于視覺顯著性的研究日益增多因?yàn)槠鋸V泛的應(yīng)用前景。因此，鑒于目前學(xué)術(shù)界對(duì)視覺顯著性預(yù)測(cè)綜述性質(zhì)的文章很少，本文對(duì)現(xiàn)有的顯著性預(yù)測(cè)算法做了一個(gè)總結(jié)和概述，同時(shí)展望了該領(lǐng)域未來的研究趨勢(shì)。本文的目的是方便研究者對(duì)顯著性預(yù)測(cè)有一個(gè)總體的認(rèn)識(shí)和把握，因?yàn)槠邢?，算法的具體實(shí)施可以參考文中對(duì)應(yīng)的參考文獻(xiàn)，希望對(duì)大家在相關(guān)領(lǐng)域的科研有所幫助或啟示。

[1]Borji A，Itti L.CAT2000:A large scale fixation dataset for boosting saliency research[C]//.CVPR 2015 workshop on “Future of Datasets”,2015. arXiv.

[2]Bylinskii Z，Isola P，Bainbridge C，et al.Intrinsic andextrinsic effects on imageme morability[J]. Vision research，2015，116:165-178.

[3]Jiang M，Huang S，Duan J，et al.SALICON: Saliency in Context[C]//The IEEE Conference on Computer Vision and Pattern Recognition(CVPR). 2015:1072-1080.

[4]Jiang M，Xu J，Zhao Q.Saliency in crowd[C].In Computer Vision-ECCV2014，Springer，2014：17-32.

[5]Shen C，Zhao Q.Webpage saliency[C].In Computer Vision-ECCV 2014，Springer，2014：33-46.

[6]Koehler K，Guo F，Zhang S，et al.What do saliency modelspredict [J].Journal of vision，2014，14（3）:14-14.

[7]Li Y，Hou X，Koch C，et al.The secrets of salient objectsegmentation[J].In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2014：280-287.

[8]Xu J，Jiang M，Wang S，et al.Predicting humangaze beyond pixels[J].Journal of vision，2014，14（1）:28-28.

[9]Ma K T，Sim T，Kankanhalli M.VIP:A unifying framework for compu-tational eye-gaze research[J]. In Human Behavior Understanding，Springer，2013：209-222.

[10]Li J，Levine M D，An X，et al.Visual saliency based on scale-space analysis in the frequency domain.Pattern Analysis and Machine Intelligence[J].IEEETransactionson,2013，35（4）:996-1010.

[11]Kootstra G，de Boer B，Schomaker L R.Predicting eye fixations oncomplex visual stimuli using local symmetry[J].Cognitive computation，2011，3（1）: 223-240.

[12]Chikkerur S，Serre T，Tan C，et al.What and where:A Bayesianinference theory of attention[J]. Vision research，2010，50（22）:2233-2247.

[13]Ramanathan S，Katti H，Sebe N，et al.An eye fixation database for saliency detection inimages[J]. Computer Vision-ECCV2010，2010：30-43.

[14]Judd T，Ehinger K，Durand F，et al.Learning to predict where humans look[J].Proceedings，2009，30（2）:2106-2113.

[15]Borji A，Sihite D N，Itti L.What stands out in a scene A study of humanexplicit saliency judgment [J].Vision research，2013，91:62-77.

[16]Van D L I,Rajashekar U,Bovik A C,et al. DOVES:a database of visual eye movements.[J]. Spatial Vision，2009，22（2）:77-161.

[17]鄔連東.基于SVM的生產(chǎn)性服務(wù)業(yè)與城鄉(xiāng)發(fā)展一體化耦合評(píng)價(jià)[J].西安工程大學(xué)學(xué)報(bào)，2016（6）：841-847.

[18]危傲.基于SVM算法的分類器設(shè)計(jì)[J].電子科技，2015（4）：23-26.

Light field compression based on HEVC encoding and decoding

SUN Xia1，2，3，SHI Zhi-ru2
（1.Shanghai Institute of Microsystem and Information Technology，Chinese Academy of Sciences，Shanghai 200050，China；2.School of Information Science and Technology，ShanghaiTech University，Shanghai 201210，China；3.University of Chinese Academy of Sciences，Beijing 100049，China）

Based on the core problem of visualsaliency prediction，this paper firstly analyzed the imagefeature，then introduced and compared the advantages and disadvantages of the existing prediction methods，such asthese methods based on the graph model，cognitivemodel，patternclassification model and etcanddrewtheconclusionthatthepatternclassificationmethodsworkthebestamong existing dataset.Also，this paper summarized existing dataset，dataset characteristic and usable range for fixation prediction. Meanwhile，this paper used Auc，NSS and EMD performance evaluation methods to assess the performance of various visual fixation prediction algorithms.Finallythis papermade the summary and outlook on future work of visual saliency predictionespecially on existing methods and dataset.

visual saliency；saliency prediction；cognitive model；pattern classification model

TN919.81

A

1674-6236（2017）09-0189-05

2016-04-07稿件編號(hào)：201604067

孫 夏（1991—），女，遼寧錦州人，碩士研究生。研究方向：計(jì)算機(jī)視覺。