圖像中顯著物體檢測方法綜述

沙聰　朱云峰　王鴻超　顧子尖　劉釗

摘要：伴隨著科技和信息技術(shù)的發(fā)展，人們通過電腦，手機等設(shè)備獲取的圖像信息逐漸的增多，由此而產(chǎn)生的圖片數(shù)據(jù)也日益變多。如何從這些海量的圖像中找到我們需要的那些信息，是一個很重要的課題。通過運用計算機視覺技術(shù)和深度學(xué)習(xí)技術(shù)，我們可以對顯著性的物體進行檢測，從而快速地獲得需要的信息。目前常見的顯著性物體檢測方法有基于分層，像素，區(qū)域和深度學(xué)習(xí)等幾種，他們各有優(yōu)劣，本文將 對這些方法進行總結(jié)和介紹。同時還將介紹常用的數(shù)據(jù)集和評估方式。

關(guān)鍵詞：計算機視覺;深度學(xué)習(xí);顯著物體檢測;數(shù)據(jù)集：檢測方法

1引言

圖像信息，是我們獲得外界信息的一個重要的途徑。現(xiàn)代信息技術(shù)的發(fā)展，產(chǎn)生了大量的圖像數(shù)據(jù)。這使得我們面臨這一個重大的問題，那就是如何從這海量的圖像數(shù)據(jù)之中獲得我們所需要的數(shù)據(jù)。如果我們選擇人工的方式去處理，那么這將是一個非常耗時并且無聊的工作。這時，我們可以選擇使用計算機視覺來智能地分析和處理這些圖像，從而得到與人工處理相近甚至相同的結(jié)果。而所謂計算機視覺，指的是我們通過設(shè)計相關(guān)的一些算法，在計算機上模擬人眼的視覺系統(tǒng)機理，從而使得計算機能夠像人類一樣去觀察理解事物。

人眼的視覺之所以能夠很快地找出一幅圖片中的重要信息，是因為人眼視覺有著注意機制，很多研究者對如何利用計算機來模擬這一機制，展開了大量的研究。這其中的一個關(guān)鍵問題，就是顯著性檢測。在信息化的今天，圖像的信息容量在不斷的擴大，在含有重要信息的同時，夾雜著很多無用的信息，很大地影響了信息獲取的效率。視覺顯著性，通常利用多種圖像特征來表征，例如圖像的位置特征，紋理特征，顏色特征等等。顯著性目標(biāo)的這些特征，相較于其他的場景更加突出，因此，該目標(biāo)會從觀察者的視覺中脫穎而出。顯著性物體檢測，可以很好地在去除這些冗余信息的同時，標(biāo)記出每個圖像中的重要信息。

通過設(shè)計算法，顯著性檢測技術(shù)能夠使得計算機從給出的圖像中，區(qū)分出較強的特征來表征圖像中區(qū)域的屬性，并且采用深度學(xué)習(xí)算法來給每個像素或區(qū)域計算權(quán)值，來衡量其重要性。下文我們將對不同的算法和應(yīng)用，進行介紹。

2顯著性檢測

顯著性物體檢測的研究，在很早以前就已經(jīng)有學(xué)者進行了。學(xué)者們提出了諸多的算法，雖然這些算法各有優(yōu)劣，但都對這項研究做出了貢獻(xiàn)。對于這些算法，Borji等人對它們進行了綜合和總結(jié)，大致可以分為三大類：基于區(qū)域的顯著性檢測方法，分層的顯著性檢測方法，基于像素的顯著性檢測方法。

2.1基于區(qū)域的顯著性檢測方法

基于區(qū)域的顯著性檢測的方法首先將圖像分割成了大量的區(qū)域，之后以每個區(qū)域為單位，去進行特征的提取，并且計算顯著值。Cheng等人認(rèn)為，可靠的視覺顯著性的估計，是在沒有先驗知識的情況下也能夠?qū)δ繕?biāo)進行處理。因此，他們提出了一種基于區(qū)域?qū)Ρ榷鹊娘@著性檢測的算法，該算法同時考慮全局對比性和空間相干性，并取得了較高的精度。Kim等人為每個區(qū)域進行提取高維顏色特征，并且采用高維顏色空間變換去計算顯著性圖，因為在高維顏色空間中，顯著性目標(biāo)和背景很容易進行區(qū)分。

這類方法能夠提取到很多復(fù)雜且區(qū)分力強的特征。但是，他們的效率及效果在很大的程度上依賴著分割的區(qū)域的個數(shù)，和分割區(qū)域的方法，對于不同的圖像，顯著性目標(biāo)的個數(shù)和大小會存在著很大的差異。若將其分割成固定的數(shù)量的區(qū)域時，則很難做得到去對所有的圖像進行準(zhǔn)確的顯著性檢測。

2.2基于分層的顯著性檢測方法

分層的顯著性檢測方法，首先將圖像分層地表示為包含著不同區(qū)域個數(shù)的圖像分割結(jié)果，之后再基于這些分層的區(qū)域計算顯著性圖。Kim等人利用CNN（卷積神經(jīng)網(wǎng)絡(luò)Convolutional Neural Networks，CNN）模型為每一個區(qū)域?qū)W習(xí)一個顯著性目標(biāo)的形狀，之后由此得到粗糙顯著性圖，為了在學(xué)習(xí)的過程之中能保留更多的上下文信息，利用大小不一的區(qū)域去進行學(xué)習(xí)，之后將圖像進行多水平的分割，最后基于分割的結(jié)果，進一步細(xì)化粗糙顯著性圖，得到最終的結(jié)果。Li等人將圖像在不同的水平下進行分解，從而得到多個分割結(jié)果，之后對每個圖像分割結(jié)果中的區(qū)域構(gòu)建三個不同的圖像塊，再用一個CNN模型對其進行特征提取，并且用一個神經(jīng)網(wǎng)絡(luò)進行顯著性的與預(yù)測，最后將不同水平下檢測的顯著性圖，進行線性加權(quán)融合，得到最終的檢測結(jié)果。

通過上述例子，我們能夠發(fā)現(xiàn)，這類方法利用了所有水平的信息，因此能夠得到更好的顯著性圖，但是計算的效率較低。

2.3基于像素的顯著性檢測方法

基于像素的顯著性檢測方法，以圖像中的像素為單位提取局部或者全局的特征，并用于顯著性檢測。Rosin等人先對圖像進行簡單的邊緣檢測，閾值分解，距離變換，二值化，來完成顯著性檢測，該方法簡單有效，并且是非參數(shù)的。Zhang等人認(rèn)為圖像邊界處的像素基本為背景，并且利用最小障礙距離變換，來計算像素之間的距離并估計顯著性值，最后結(jié)合基于光柵掃描的方法來對算法進行加速，極大提高了計算效率。

因為這類方法以像素為單位進行顯著性檢測，通常會突出具有強對比度邊緣的顯著性值，而不是突出整個顯著目標(biāo)的，或?qū)⒌玫斤@著性值對比度的檢測結(jié)果，可能得到顯著性邊緣保持不好的顯著性圖。

2.4基于深度學(xué)習(xí)的顯著性檢測方法

基于深學(xué)習(xí)的顯著性檢測方法，可以分為基于區(qū)域建議的深度學(xué)習(xí)目標(biāo)檢測和基于回歸的深度學(xué)習(xí)目標(biāo)檢測兩個類別。但從2015年開始，CNN開始被引入進行顯著性檢測，與基于對比線索的大多數(shù)經(jīng)典方法不同，基于CNN的方法消除了對手工特征的需求減輕了對中心偏見知識的依賴，因此被許多科研人員所采用。He S等人提出了一種新的超像素卷積神經(jīng)網(wǎng)絡(luò)方法，稱為SuperCNN，可以有效地學(xué)習(xí)顯著性的內(nèi)部表示。Hou Q等人提出了一種新的顯著性檢測方法，在HED（Holistically-Nested EdgeDetection）的基礎(chǔ)上，增加了一種高層信息指導(dǎo)低層信息的Skip Layer結(jié)構(gòu)，從而構(gòu)建了一種簡單，有效，快速的端對端的顯著性物體檢測網(wǎng)絡(luò)結(jié)構(gòu)。

雖然目前有很多的基于深度學(xué)習(xí)的研究方法，但目前的研究基本都是基于R-CNN系列顯著性目標(biāo)檢測框架和YOLO顯著性目標(biāo)檢測框架這兩個基本框架。目前研究人員基于這些框架從其他方面入手提出一系列提高目標(biāo)檢測性能的方法。如：難樣本挖掘、多層特征融合、使用上下文信息、更深網(wǎng)絡(luò)學(xué)習(xí)的特征等。

3.數(shù)據(jù)集及評價準(zhǔn)則

3.1數(shù)據(jù)集

早期的顯著性檢測研究是針對眼動圖進行的。但是，眼動圖是一些離散的人眼注視的空間點，不能表示出整個顯著的區(qū)域，因此出現(xiàn)了窗口框標(biāo)注的顯著性檢測數(shù)據(jù)集。早期的帶有包圍窗的來突出物體圖像的數(shù)據(jù)集，有MSRA-A和MSRA-B等。由于這類的數(shù)據(jù)集過于粗糙，之后出現(xiàn)了一類使用像素方式的二進制掩碼來注釋顯著對象的數(shù)據(jù)集，例如ASD和DUT-OMRO。

3.2評價準(zhǔn)則

對于顯著圖的素質(zhì)，我們有著對應(yīng)的評價準(zhǔn)則，下面將對這些準(zhǔn)則進行介紹。用S表示歸一化為[0，255]的預(yù)測顯著圖，G是顯著對象的地面正式二進制掩模。

（1）精確召回（PR）。首先將顯著圖S轉(zhuǎn)化為二進制掩碼M，然后通過將M與地面真值G進行比較來計算Precission和Recall：

（2）F值：通常Precission和Recall都不能完全評估顯著圖的質(zhì)量，為此提出F值作為Precission和Recall的非負(fù)權(quán)重的集權(quán)跳河平均：

（3）ROC（Receiver Operating Characteristic）曲線：是以假正率（FP_rate）和假負(fù)率（TP_rate）為軸的曲線

（4）ROC曲線下面積（AUC）：AUC越大性能越好

（5）平均絕對誤差（MAE）：進行更全面的比較。

4.總結(jié)

本文主要介紹了計算機視覺，顯著性檢測，深度學(xué)習(xí)，以及數(shù)據(jù)集合和評價準(zhǔn)則。在信息量劇增的當(dāng)代，計算機視覺等技術(shù)，能夠很好地幫助我們?nèi)ヌ幚頂?shù)量巨大的圖像信息，從而提高我們處理信息的效率，獲取更多的有效信息。

目前有非常多的算法去實現(xiàn)顯著性檢測，這些技術(shù)各有優(yōu)劣，我們在進行實驗的同時，也在學(xué)習(xí)著其他優(yōu)秀的算法，探索著更為高效的實現(xiàn)方法。我們之所以進行著這些努力，是為了能夠?qū)⑦@項技術(shù)更好地運用到實際的生活之中。生活中用到的人臉檢測，圖片分類，照片美化等等，都有著顯著性檢測技術(shù)的應(yīng)用。而更高效，準(zhǔn)確的算法能夠使得這些應(yīng)用有著更高的效率，為我們的生活帶來更多的便捷。

參考文獻(xiàn)

[1]Qin S，Manduchi R.A fast and robust text spotter[C]//IEEE Winter Conference on Applications of Computer Vision. 2016：1-8

[2]Li G，Yu Y.Visional saliency based on multiscale ?deep features [C]IEEE Conference on Computer Vision and Pattern Recognition . 2015：5455-5463

[3]Kim J，Han D，Tai Y W，et al.Salient region detection via high-dimensional color transform[C]//IEEE Conference on Computer Vision and Pattern Recognition.2014：883-890

[4]Cheng M M，Mitra N J，Huang X，et al. Global contrast based salient region detection [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37（3）：569-582.

[5]Borji A，Cheng M M，Jiang H，et al.Salient object detection：A survey[J].arXivpreprint arXiv：1411.5878，2014.