結(jié)合顯著性的主動輪廓圖像分割

潘沛鑫，潘中良

華南師范大學(xué) 物理與電信工程學(xué)院，廣州510006

圖像分割是計算機視覺等領(lǐng)域中的一種必不可少的預(yù)處理工作，在目標(biāo)檢測與識別中能起到重要的作用。其中的主動輪廓模型早已廣泛地應(yīng)用在圖像分割中，該模型能夠有效地提取圖像中的物體。例如，Lv等人[1]提出了基于模糊能量的主動輪廓模型，該模型利用非局部權(quán)重來構(gòu)造局部能量項以進行圖形分割。Ma等人[2]提出了結(jié)合隨機森林的主動輪廓模型，該模型利用隨機森林作為特征學(xué)習(xí)的內(nèi)核，通過學(xué)習(xí)圖像中的局部和上下文信息來進行圖像的分割。此外，人類視覺系統(tǒng)可以快速并準(zhǔn)確地識別圖像中的顯著物體[3]，因此顯著性檢測能夠迅速地從復(fù)雜的場景中提取出人們感興趣的部分。所以目前有許多顯著性區(qū)域檢測方法來提取目標(biāo)區(qū)域，例如，Cheng 等人[4]研究了基于全局對比度的顯著區(qū)域檢測算法，對基于直方圖統(tǒng)計的對比度以及基于區(qū)域?qū)Ρ榷鹊膬煞N顯著性檢測方法進行了實現(xiàn)。Yang 等人[5]提出了一種基于流形排序算法的顯著性檢測方法，通過使用基于圖論的流形排序算法，并根據(jù)圖像的像素或區(qū)域的相似性來進行排序，從而得到顯著性區(qū)域或目標(biāo)。

由于傳統(tǒng)的主動輪廓模型主要是把圖像分割成多個區(qū)域，沒有凸顯圖像對象的一些重要信息，如人類感興趣的顯著性信息。因此，本文把基于圖論的顯著性檢測算法和基于圖像全局灰度信息的主動輪廓模型結(jié)合起來，提出結(jié)合顯著性的主動輪廓圖像分割。首先通過線性光譜聚類（Linear Spectral Clustering，LSC）的超像素分割算法[6]，獲得緊湊且形狀規(guī)則的超像素，并使用基于圖論的流形排序算法來獲得顯著性圖；然后將高斯混合模型（Gaussian Mixture Model，GMM）[7]和顯著性信息引入到主動輪廓模型中，獲得新的能量泛函，利用GMM 模型計算曲線內(nèi)外的灰度值，并以顯著性區(qū)域邊界為初始邊界，通過水平集函數(shù)的演化方程指導(dǎo)圖像分割，來實現(xiàn)在復(fù)雜場景中的主動輪廓分割。

1 使用超像素的顯著性檢測

1.1 線性光譜聚類

超像素的分割效果直接影響了后續(xù)算法的精度，為了得到更好的分割效果，采用LSC 線性光譜聚類算法[6]，該算法不僅可以捕獲重要的全局圖像屬性，而且在線性復(fù)雜度下以高存儲效率運行。該算法是通過基于圖像像素之間的顏色相似度和空間接近度的相似性度量來進行超像素分割。根據(jù)在高維特征空間中輸入空間中亮點之間的相似度等于兩個相應(yīng)向量之間的加權(quán)內(nèi)積，因此本文使用高維特征空間的簡單加權(quán)均值來代替復(fù)雜的基于特征的方法，來最小化和歸一化切割目標(biāo)函數(shù)。所以LSC算法避免了對復(fù)雜矩陣的計算，并且收斂條件可以得到滿足。

首先將圖像轉(zhuǎn)化到CIELAB顏色空間，把該彩色圖像用如下的五維向量表示：p=(lp,αp,βp,xp,yp),其中，lp、αp、βp表示像素的顏色分量值，xp、yp表示其位置坐標(biāo)。將每個像素點p映射為特征空間的十維向量φ(p)，然后在整個圖像上以水平間隔Vx和垂直間隔Vy均勻采樣K個種子像素。所以Vx/Vy就等于圖像的高寬比，其中K是用戶所輸入的所需超像素的數(shù)量。

將這些種子移到3×3的鄰域中的最低梯度上，以避開圖像中的噪點和邊界像素，并用這些種子初始化搜索中心Ck，以及用這些種子的特征向量初始化相應(yīng)聚類的初始加權(quán)均值mk；然后計算并搜索中心附近2vx×2vy范圍內(nèi)的像素點與聚類的加權(quán)均值mk的距離，將每個像素對應(yīng)的最小距離的聚類加權(quán)均值的k值作為該像素的標(biāo)簽，將每個像素分配給其加權(quán)均值最接近特征空間中像素矢量的聚類。

本文用p和q表示輸入空間中聚類的數(shù)據(jù)用點，φ表示將數(shù)據(jù)點映射到更高維空間的函數(shù)。定義相似性度量的目標(biāo)函數(shù)為：

式中，w(p)表示點p的權(quán)重，πk表示第幾個聚類，mk表示聚類的初始加權(quán)均值，第一次聚類分割完成后，將每個聚類的加權(quán)均值和搜索中心進行相應(yīng)的更新；然后重復(fù)地迭代整個聚類過程直到收斂為止；最后把較小的像素點歸類到附近的像素。

1.2 基于圖論的顯著性檢測算法

顯著性檢測的任務(wù)就是識別場景中人們感興趣的區(qū)域，從而對圖像進行預(yù)處理，以便做進一步研究。本文采用Yang 等人[5]的基于圖論的流形排序算法來檢測顯著性，并改進其超像素分割部分，采用的是前面介紹的LSC超像素分割算法，該算法相對于簡單線性迭代聚類算法[8]（Simple Linear Iteration Clustering，SLIC）而言能夠利用圖像結(jié)構(gòu)來生成更合理的分割結(jié)果，并且可以保留圖像的全局屬性。使流形排序的顯著性算法更加精確。

該顯著性檢測算法分成兩個階段，第一階段采用將圖的上、下、左、右邊界上的節(jié)點作為背景種子，即標(biāo)記數(shù)據(jù)，其他節(jié)點作為未標(biāo)記的數(shù)據(jù)。使用標(biāo)記的節(jié)點與其他所有區(qū)域的節(jié)點相關(guān)性進行排序。由此可形成了四個顯著圖并使它們結(jié)合起來獲得第一步的顯著圖；然后將第一階段得到的顯著圖進行圖像分割得到的前景目標(biāo)作為標(biāo)記數(shù)據(jù)，使用標(biāo)記節(jié)點與其他節(jié)點的相關(guān)性進行排序得到最終的顯著性圖。

通過超像素構(gòu)造單層圖G=(V,E)，其中V是一組節(jié)點，E是一組無向邊。節(jié)點權(quán)重的定義為：

其中，ci和cj表示對應(yīng)于CIELAB顏色空間中的兩個節(jié)點的超像素的平均值，σ是控制權(quán)重強度的常數(shù)。通過權(quán)重就可以求出鄰接矩陣W。其流形排序的依據(jù)是：

其中，D是對角矩陣，D=diag{d11,d22,…,dnn}，W是鄰接矩陣，α=1/(1+u)，u控制平滑約束項和擬合約束項之間的平衡。平滑約束項能讓排序函數(shù)在附近點之間變化較小，擬合約束項能讓排序函數(shù)靠近初始種子點。y是一個指示向量，若yi=1，則表明該點是標(biāo)記節(jié)點。f*是一個排序向量，是一個N維向量（N是圖中節(jié)點總數(shù)）。在這個排序向量中的元素表示節(jié)點與背景種子點的相關(guān)性，其補碼是顯著性值；將向量進行歸一化到區(qū)間[0，1]，利用邊界表示的顯著性圖表示為：

其中，i表示索引圖中的超像素節(jié)點，表示歸一化向量。因此根據(jù)上、下、左和右圖像邊界作為標(biāo)記節(jié)點，可以得到St、Sb、Sl、Sr這四個顯著圖。對這四個顯著性圖，通過以下公式進行整合，從而就得到了第一階段的顯著圖：

在一階段，大部分的顯著性區(qū)域被檢測出來，所以在第二階段，將閾值設(shè)置為整個顯著圖上的平均顯著性進行圖像分割，將分割后的前景目標(biāo)作為標(biāo)記數(shù)據(jù)，形成指示向量y，并利用式（4）計算得到排序向量f*，將其歸一化區(qū)間[0，1]。

重復(fù)進行這一階段的操作，就形成了最終的顯著圖：

在基于圖論的顯著性檢測中，本文將超像素的數(shù)量設(shè)置為100，得到的超像素分割圖像如圖1所示。

圖1 LSC算法與SLIC算法的對比

在圖1中，圖1（a）為原圖，圖1（b）和圖1（c）是對圖1（a）分別使用SLIC 算法和LSC 算法進行超像素分割的結(jié)果。從圖1中可以看出：對圖中的兩個棍子之間的部分，LSC 算法比SLIC 算法所生成的超像素分割的邊緣更貼近于目標(biāo)邊緣。

圖2 是使用基于圖論的流形排序的顯著性檢測算法所得到的顯著性圖。

圖2 顯著性圖

在圖2 中，圖2（b）是SLIC 算法通過使用流形排序所得到的顯著圖，圖2（c）是LSC算法通過使用流形排序算法得到的顯著圖。從圖2中可以看出：由LSC算法所得到的顯著性區(qū)域得到加強，特別是在圖中的這個人的腳步位置，而SLIC算法有一部分沒有檢測出來。

2 改進的主動輪廓模型

本文方法的總體流程如圖3所示，主要由顯著圖生成和GMM 模型以及主動輪廓模型與兩者的融合等部分組成。

本文利用顯著性信息和GMM 模型改進主動輪模型的能量泛函，以獲得更好的分割效果。

2.1 結(jié)合GMM模型的主動輪廓分割

圖3 結(jié)合顯著性的主動輪廓模型

基于圖像全局灰度信息的CV 主動輪廓模型[9]，根據(jù)曲線內(nèi)部和外部的灰度分布促進水平集曲線的演變。對于強度均勻和對比度明顯的圖像，分割效果較好。但是，當(dāng)圖像的灰度分布不均勻時，曲線的演化速度將明顯變慢，分割效果也會變差。針對這一問題，本文將GMM模型引入到曲線演化過程中，優(yōu)化了能量函數(shù)中曲線內(nèi)部和外部的平均灰度。GMM模型是通過組合多個概率分布的多個高斯函數(shù)而形成的，可以用來描述灰度的復(fù)雜變化，因此，引入了GMM 模型來描述曲線內(nèi)部和外部的灰度分布，并且使用GMM模型的參數(shù)來優(yōu)化主動輪廓模型的演化函數(shù)中的平均灰度，該方法也能提高曲線的抗干擾能力，并運用水平集曲線實現(xiàn)正確的分割。

采用最大期望算法[10]（Expectation Maximization，EM）中參數(shù)計算的方法來對GMM模型參數(shù)進行估計，由水平集演化函數(shù)來計算迭代結(jié)果，根據(jù)迭代結(jié)果中曲線內(nèi)部和外部的灰度分布來更新參數(shù)。所以，首先，初始化水平集的演化曲線，然后使用K-means[11]聚類算法將曲線內(nèi)部和外部的區(qū)域劃分為k個部分。分割后，每個部分的灰度分布可通過高斯函數(shù)近似。根據(jù)初始分割的k個部分，構(gòu)造了曲線的內(nèi)部GMM和外部GMM，計算內(nèi)部和外部中子模型在整個GMM 模型中的比例πk、平均灰度值μk以及灰度方差σk，根據(jù)計算所得到的結(jié)果和其他參數(shù)來構(gòu)建曲線內(nèi)外圖像的GMM 模型。構(gòu)建GMM模型的式子如下：

經(jīng)過GMM 模型優(yōu)化后，可以計算每個點的能量值，并獲得新的水平集演化結(jié)果。Ω(x,y)表示輸入的圖像，C(x,y)表示閉合曲線，將圖像域Ω分為兩個區(qū)域，即內(nèi)部區(qū)域Ω1，和外部區(qū)域Ω2。結(jié)合GMM 模型定義一個以分割閉合曲線為自變量函數(shù)的能量泛函，通過對此能量泛函的極小化，以及對自變量的尋優(yōu)過程，來實現(xiàn)對目標(biāo)的分割。改進后的能量函數(shù)模型為定義：

其中，μ0(x,y) 表示圖像中某一點的灰度值，H(φ) 是Hesviside函數(shù)，H(φ)表示曲線的內(nèi)部區(qū)域和外部區(qū)域，?為梯度算子，φ是根據(jù)閉合曲線C構(gòu)造的水平集函數(shù)，當(dāng)點(x,y)在曲線C上時，φ(x,y)=0。當(dāng)點(x,y)在曲線的內(nèi)部時，φ(x,y)＞0 。當(dāng)點(x,y)在曲線的外部時，φ(x,y)＜0。

水平集函數(shù)的演化方程可以通過最小化式（9）的能量泛函得到，所以可以得出水平集函數(shù)的演化方程如下：

其中，δ(φ)表示一維Dirac函數(shù)，μ1和μ2表示曲線內(nèi)部和外部的灰度均值。以計算曲線外部的灰度均值μ2為例，首先計算第k個外部高斯子模型對灰度值為u的點的響應(yīng)度，從而可以獲得曲線外部不同像素點的動態(tài)平均灰度值，由此就可以計算曲線外部的灰度均值，計算過程如下：

其中，θk是曲線外部第k個高斯子模型，φ(u|θk)表示該點屬于曲線的外部區(qū)域的第k個子模型的概率，u表示該點的灰度值，μk表示曲線外部第k個高斯子模型的平均灰度，σk表示曲線外部第k個高斯子模型的方差。

2.2 結(jié)合顯著性的主動輪廓分割

顯著性檢測利用視覺注意機制從復(fù)雜場景中提取人們感興趣的顯著部分，在顯著圖中，目標(biāo)具有更高的信噪比，這使得它們易于檢測。傳統(tǒng)的主動輪廓在分割比較復(fù)雜的圖像時，由于前景和背景之間相差不大，所以GMM 模型很難得出精確的結(jié)果，比如說當(dāng)使用GMM模型算出圖像中一個像素點屬于前景和背景的概率都是0.5，無論這個點分為目標(biāo)或者是背景，這時的損失（風(fēng)險）都是最大的，怎樣劃分都是不合理的，所以在這時候使用高斯混合模型的主動輪廓的能量泛函的作用不大，圖像分割的效果不佳，而將顯著性信息引入到主動輪廓模型中，把圖像的顯著性加入到能量區(qū)域項中，以顯著性區(qū)域邊界為初始曲線，并通過顯著圖來估計GMM模型參數(shù)，其中第k個高斯模型的均值u(k)和協(xié)方差σk可通過計算其模型中包含的顯著值的均值和協(xié)方差得到。

經(jīng)過顯著性計算，用顯著性擬合的能量泛函定義如下：

其中，s1和s2為顯著性信息在曲線內(nèi)部和外部的灰度均值，一般情況下，在實際計算中，采用規(guī)范化的Heaviside函數(shù)和Dirac函數(shù)：

由此通過最小化能量泛函得到的水平集的演化方程為：

3 實驗結(jié)果及分析

為了驗證本文所提出的采用顯著性的主動輪廓模型的圖像分割算法的有效性，本文進行了大量的實驗。在進行實驗時所使用的圖像是來自伯克利[12]的圖像庫以及MSRA[13]數(shù)據(jù)庫；MSRA數(shù)據(jù)庫中有1 000幅圖像，并且每幅圖像都有對應(yīng)的全分辨率的二值化真值圖；所使用的實驗平臺是：Inter?CoreTMi7-7700 CPU @3.60 GHz 3.60 GHz 處理器，64 位Windows 10 操作系統(tǒng)，Matlab 2017a。

3.1 CV、GCV和本文算法的分割對比分析

對CV 模型[9]、GCV 模型（把結(jié)合GMM 模型的CV模型稱為GCV）、本文算法進行實驗比較。實驗結(jié)果如圖4所示。

圖4 CV、GCV和本文算法的分割結(jié)果

由圖4 可以看出，使用本文算法的圖4（c）的分割效果明顯好于使用CV 模型和GCV 模型的圖4（a）和圖4（b）的效果。雖然加入GMM 模型以后，可以看出圖4（b）的曲線分割效果得到了提升，分割噪聲減少，但是會出現(xiàn)曲線不貼合圖像的邊緣，在標(biāo)記的方框內(nèi)也出現(xiàn)不同程度的噪聲。而從圖4（a）可以明顯看出CV 模型與其他兩個模型（GCV 模型和本文算法）相比分割噪聲較多，分割并不準(zhǔn)確。但是在本文算法的圖4（c）中可以明顯看出在加入顯著性信息之后，分割的效果更加精準(zhǔn)，分割曲線完全貼合圖像邊緣，因此分割效果得到了大幅的改善，在分割同時避免了眾多背景噪聲，能夠?qū)⒛繕?biāo)圖像有效地分割出來。

3.2 本文算法與其他模型的性能比較

為了驗證本文所提出的采用顯著性的主動輪廓模型的圖像分割方法對圖形分割的有效性，本文使用了MSRA1000 圖像數(shù)據(jù)庫中的一些圖像進行了實驗。對采用圖像全局灰度信息的CV 模型、基于因式分解的FACM[14]模型以及本文算法進行了實驗和測試，實驗的比較結(jié)果如圖5所示。

如圖5所示，圖5（d）的分割效果明顯好于圖5（b）和圖5（c），圖5（d）的分割效果幾乎接近圖5（e）圖像分割的真值圖，在圖5（b）的基于圖像全局灰度信息CV模型的分割結(jié)果沒有體現(xiàn)魯棒性，在圖像的邊緣處會出現(xiàn)噪音，導(dǎo)致不精確分割。在圖5（c）的基于因式分解的FACM[14]模型中，在狗的頭部位置分割效果不精準(zhǔn)，在有花的圖像中亮度分配不均勻時，基于因式分解的FACM模型將后面的陽光識別為圖像對象導(dǎo)致圖像分割部準(zhǔn)確，所以加入顯著性信息能夠使得能量函數(shù)中區(qū)域項的可靠性增強，使得本文的算法能夠有效地分割復(fù)雜背景的圖像。

此外，評估指標(biāo)采用F值(F-Measure)[15]來評價對圖像分割的效果，并對每個模型分割的運行的時間進行了對比。F-Measure的計算公式如下：

式中，Rec表示的是召回率，該值反映圖像中的目標(biāo)被分割的完整性，Pre表示的是精確率，該值越高反映算法分割的結(jié)果中包含的背景越少，其計算公式為：

其中，Gt表示真值圖像，Bi表示算法分割后的二值圖像，但Rec和Pre指標(biāo)有時候會出現(xiàn)的矛盾的情況，這樣就需要綜合考慮，所以F-Measure就是Pre和Rec加權(quán)調(diào)和平均，F(xiàn)-Measure較高則表明在精確率較高的情況下召回率也較高，即表明本文算法能夠準(zhǔn)確完整地分割出圖像中的目標(biāo)。

本文對MSRA1000 圖像庫中的一些圖像進行了實驗，得到的結(jié)果如表1。

表1 主動輪廓模型的分割結(jié)果對比

圖5 CV、FACM和本文算法的分割結(jié)果

在表1中，對每種算法的迭代次數(shù)都設(shè)置為100；平均運行時間是指每種算法迭代100 次時的平均時間。由于本文加入了顯著性檢測使得運行時間比其他兩個算法相對較長，但是本文利用顯著圖的二值圖像來初始化輪廓，而FACM模型的初始輪廓設(shè)為一個橢圓框，CV模型根據(jù)圖像的大小，其初始輪廓為圖像長寬的1/3 到2/3處的矩形框，因此本文算法的迭代次數(shù)大幅地減少，所以在實際應(yīng)用中，F(xiàn)ACM算法的運行時間要遠(yuǎn)遠(yuǎn)大于本文算法，F(xiàn)ACM 算法是基于因式分解的主動輪廓模型，該算法僅從對象區(qū)域中選擇組合權(quán)重來處理曲線的運動，所以需要多次迭代才能得到更好的分割效果。因此FACM模型運行時間較長。從表1中，也能明顯地看出本文算法的F值明顯高于其他兩個模型，因此本文算法分割的性能更好。

4 結(jié)語

本文所提出的結(jié)合顯著性的主動輪廓圖像分割方法，能夠有效地分割背景較為復(fù)雜的圖像，通過使用LSC超像素分割算法將圖像分割成塊狀小區(qū)域，并對分割后的超像素進行流形排序以得到顯著性圖，在主動輪廓模型中加入顯著性信息，用像素的顯著性值來擬合能量函數(shù)。在實驗過程中，通過實驗的對比驗證了顯著性信息和GMM模型對主動輪廓分割的有效性，實驗結(jié)果表明本文算法在進行圖像分割時具有較好的性能。下一步的工作主要是將對顯著性提取算法和主動輪廓模型做進一步的優(yōu)化，以提高分割效果和普適性，并將其應(yīng)用到實際的目標(biāo)檢測中。