基于超像素的多視覺特征圖像分割算法研究

劉 叢，庹明煒，甘張俊逸，王 康，寧信強(qiáng)

（上海理工大學(xué)光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093）

0 引言

圖像分割是指使用某種規(guī)則將一幅圖像劃分成一組相互獨(dú)立、具有某種實(shí)際意義的區(qū)域，使得每個(gè)區(qū)域都有自己特定的屬性。圖像分割技術(shù)在模式識(shí)別、計(jì)算機(jī)視覺、醫(yī)學(xué)圖像處理以及工業(yè)圖像處理中都有著廣泛應(yīng)用。現(xiàn)已有多種圖像分割算法，其中基于聚類的圖像分割方法越來(lái)越受到研究者們關(guān)注。K-means 算法與Fuzzy Cmeans（FCM）算法為兩種比較經(jīng)典的聚類算法，雖然這兩種算法取得了較好的分割效果，但是仍存在以下幾個(gè)問(wèn)題：①現(xiàn)有算法大多是基于單一視覺特征而設(shè)計(jì)的，其中基于顏色特征的分割最為常見；②由于沒有考慮像素周圍的空間信息，因此分割結(jié)果中常常含有很多噪聲，缺乏區(qū)域性，而且由于像素點(diǎn)數(shù)量較多，導(dǎo)致算法具有很高的時(shí)間復(fù)雜度；③傳統(tǒng)的聚類優(yōu)化算法一般使用梯度信息進(jìn)行求解，該優(yōu)化算法對(duì)初始值較為敏感，容易陷入局部最優(yōu)。

因此，人們針對(duì)上述問(wèn)題進(jìn)行了大量研究。針對(duì)問(wèn)題①，部分研究者嘗試融合顏色特征與紋理特征設(shè)計(jì)基于多特征的圖像分割算法。如文獻(xiàn)［1］將顏色特征與紋理特征融合為一組特征向量，再設(shè)計(jì)合適的算法對(duì)圖像進(jìn)行分割，該算法雖然能獲得較好的分割效果，但其往往將多種特征直接或歸一化組合為一組特征向量，該策略會(huì)導(dǎo)致對(duì)多種特征賦予相同權(quán)重；文獻(xiàn)［2］將特征加權(quán)聚類算法應(yīng)用于超像素分割算法，獲得了較好的超像素分割效果，但該算法會(huì)導(dǎo)致取值較大的特征被賦予較小權(quán)重，而取值較小的特征被賦予較大權(quán)重。

針對(duì)問(wèn)題②，研究者提出兩種策略增加分割算法的空間信息：一是改進(jìn)目標(biāo)函數(shù)，將空間信息加入聚類目標(biāo)函數(shù)中［3］；二是首先使用預(yù)分割算法獲得過(guò)分割圖像，之后使用聚類算法對(duì)過(guò)分割圖像塊進(jìn)行合并［4-5］。雖然這類算法可有效去除部分噪聲點(diǎn)的影響，但由于其僅是基于顏色特征而設(shè)計(jì)的，對(duì)于復(fù)雜圖像并不能獲得較好的分割效果。

針對(duì)問(wèn)題③，進(jìn)化算法是一種較好的全局優(yōu)化算法。近年來(lái)許多研究者將進(jìn)化算法運(yùn)用于圖像分割中［6-7］，多目標(biāo)進(jìn)化算法在圖像分割領(lǐng)域也發(fā)展迅速。各種多目標(biāo)圖像分割方法被相繼提出，如多目標(biāo)粒子群算法［8］、多目標(biāo)人工蜂群算法［9］等。文獻(xiàn)［10］提出一種多目標(biāo)空間模糊聚類算法（MSFCA），該算法在適應(yīng)度函數(shù)中加入從圖像中提取的非局部空間信息。雖然該算法能有效避免部分噪聲點(diǎn)的影響，但由于其只使用了圖像顏色特征，并且是基于像素點(diǎn)進(jìn)行處理的，因此分割效果并不理想，且時(shí)間復(fù)雜度較高。

綜上所述，如何將多種特征有機(jī)融合是圖像分割算法設(shè)計(jì)中面臨的一個(gè)難題。筆者在前期曾經(jīng)提出一種多目標(biāo)進(jìn)化顏色與紋理分割算法（MECTS）［11］，該算法將顏色特征與紋理特征作為兩個(gè)目標(biāo)進(jìn)行優(yōu)化。雖然該算法取得了較好的分割效果，但由于其是基于像素點(diǎn)進(jìn)行分割的，所以無(wú)法有效去除噪聲，且時(shí)間復(fù)雜度較高?；诖?，本文提出一種基于超像素的多視覺特征圖像分割算法（SRMFS）。首先使用Meanshift 算法將圖像劃分為多個(gè)超像素區(qū)域，然后提取每個(gè)超像素區(qū)域的顏色和紋理特征，分別在顏色空間及紋理空間中設(shè)計(jì)兩個(gè)聚類目標(biāo)準(zhǔn)則，并使用多目標(biāo)優(yōu)化算法對(duì)其進(jìn)行并行優(yōu)化，最終在獲得的Pareto 解集中挑選出最佳分割結(jié)果。

1 相關(guān)算法介紹

1.1 Meanshift 算法

均值漂移（Meanshift）算法是基于核密度估計(jì)的爬山算法，該算法于1975 年由Fukunaga 等［12］提出，直到1995 年才得到研究者們的廣泛重視，現(xiàn)已被成功應(yīng)用于圖像分割與目標(biāo)跟蹤中。該算法在聚類時(shí)不需要指定聚類個(gè)數(shù)，只需要設(shè)置合適的帶寬，利用概率密度求得局部最優(yōu)解。該算法通過(guò)感興趣區(qū)域內(nèi)的數(shù)據(jù)密度變化計(jì)算中心點(diǎn)的漂移向量，再根據(jù)漂移向量移動(dòng)中心點(diǎn)進(jìn)行下一次迭代，直至到達(dá)密度最大處（中心點(diǎn)不變）。從每個(gè)數(shù)據(jù)點(diǎn)開始都可進(jìn)行此操作，同時(shí)統(tǒng)計(jì)在該過(guò)程中出現(xiàn)在感興趣區(qū)域內(nèi)的數(shù)據(jù)點(diǎn)次數(shù)，該參數(shù)將在最后作為分類依據(jù)。本文使用Meanshift 算法作為原始圖像的預(yù)分割算法。

1.2 聚類算法

本文在設(shè)計(jì)目標(biāo)函數(shù)時(shí)借鑒了FCM 算法思想，故在此對(duì)該算法作簡(jiǎn)單介紹。FCM 算法是一種經(jīng)典的基于模糊劃分的聚類算法，其思想是同一類內(nèi)對(duì)象之間的相似度需盡量大，而不同類之間的相似度需盡量小。該算法通過(guò)隸屬度確定每個(gè)數(shù)據(jù)點(diǎn)屬于某個(gè)聚類的程度。

1.3 多目標(biāo)進(jìn)化算法

在實(shí)際應(yīng)用中，許多問(wèn)題都可轉(zhuǎn)化成模型優(yōu)化問(wèn)題。當(dāng)某個(gè)問(wèn)題可轉(zhuǎn)化成針對(duì)多個(gè)模型的優(yōu)化問(wèn)題時(shí)，便是一個(gè)多目標(biāo)優(yōu)化問(wèn)題。對(duì)于多目標(biāo)優(yōu)化問(wèn)題（MOPs），其各個(gè)目標(biāo)通常是互相沖突的，即不可能同時(shí)達(dá)到最大值或最小值，而是得到一組對(duì)各個(gè)目標(biāo)折衷后的解集，稱為Pareto 最優(yōu)集。MOPs 可簡(jiǎn)單定義為：

其中，Ω 為可行搜索空間。

進(jìn)化多目標(biāo)算法在處理多目標(biāo)優(yōu)化問(wèn)題時(shí)具有較好效果，該算法使用支配集與非支配集的思想選擇最優(yōu)解。如果一個(gè)解λ*稱為非支配解，則找不到任何一個(gè)解λ′滿足fδ(λ′) ≥fδ(λ*)，并且至少有一個(gè)δ={1,…,S}滿 足fδ(λ′) >fδ(λ*)。經(jīng)過(guò)有限次迭代，可獲得一組滿足條件的非支配解集，稱為Pareto 前沿?，F(xiàn)有多種多目標(biāo)優(yōu)化算法，如NSGAII［13］、RM-MEDA［14］、MOEA/D［15］等，本文使用RM-MEDA作為優(yōu)化算法。

2 基于超像素的多視覺特征圖像分割

本文提出一種基于超像素的多視覺特征圖像分割算法（SRMFS），算法框架如圖1 所示。該算法主要包含5 部分：①對(duì)原始圖像進(jìn)行預(yù)分割，獲得一組超像素區(qū)域；②分別提取超像素區(qū)域的顏色特征和紋理特征；③使用多目標(biāo)進(jìn)化算法對(duì)超像素區(qū)域進(jìn)行聚類，獲得一組Pareto 解集，每一個(gè)解代表一種分割結(jié)果；④解碼每個(gè)Pareto 解，獲得整個(gè)圖像的分割結(jié)果；⑤挑選出最佳分割結(jié)果。

Fig.1 Framework of SRMFS algorithm圖1 SRMFS 算法框架

2.1 超像素區(qū)域

首先對(duì)原始圖像進(jìn)行預(yù)分割，獲得一組超像素區(qū)域。近年來(lái)，研究者們相繼提出多種超像素算法，如Meanshift算法、分水嶺算法［16］以及SLIC［17］等，本文使用Meanshift 算法作為預(yù)分割算法。給定一幅圖像，row、col分別為圖像的長(zhǎng)和寬，且a∈{0,…,row}，b∈{0,…,col}，每個(gè)像素pab含有R、G、B 3 種顏色。使用Meanshift 算法將該原始圖像分割成N 個(gè)超像素區(qū)域R={R1,…,RN}，針對(duì)不同的圖像，N 是不同的。預(yù)分割流程既能保證圖像在局域內(nèi)的連通性，又能通過(guò)減少像素規(guī)模而降低算法的時(shí)間復(fù)雜度。接下來(lái)提取每個(gè)超像素區(qū)域特征，使用每個(gè)超像素區(qū)域特征均值代表該超像素區(qū)域。特征均值可描述為r={r1,…,rN}。

2.2 特征提取

本節(jié)需要提取超像素區(qū)域特征，可提取的視覺特征有很多種，包括顏色特征、紋理特征、邊緣特征、統(tǒng)計(jì)特征及空間關(guān)系特征等。由于顏色特征和紋理特征已成為圖像處理中兩個(gè)比較重要的特征，并且這兩個(gè)特征在描述圖像信息時(shí)具有極強(qiáng)的不相關(guān)性。顏色特征可直觀描述圖像視覺特征，紋理特征可描述圖像局域內(nèi)的空間特征。因此，本文使用顏色特征和紋理特征作為算法融合特征。每個(gè)區(qū)域特征可表示為，其中分別表示超像素區(qū)域Ri的顏色特征和紋理特征，接下來(lái)介紹兩種特征提取方法。

（1）顏色特征提取。RGB 顏色空間是圖像分割中最常用的空間之一，其優(yōu)點(diǎn)在于直觀且容易理解。因此，本文從RGB 顏色空間中提取每個(gè)像素的顏色特征。計(jì)算公式如下：

其中，p（R，G，B）表示超像素區(qū)域Ri中某一個(gè)像素在RGB 空間中的取值，|Ri|表示該超像素區(qū)域中的像素?cái)?shù)目。

（2）紋理特征提取。紋理是一種反映像素空間分布屬性的圖像特征，是圖像中普遍存在又難以描述的特征。常見的紋理提取方法可分為統(tǒng)計(jì)方法、幾何法、模型法、信號(hào)處理法和結(jié)構(gòu)方法等，其中較為常用的是統(tǒng)計(jì)方法中的灰度共生矩陣、信號(hào)處理法中的小波變換方法等。本文采用Gabor 小波方法，該方法通過(guò)對(duì)濾波后的圖像進(jìn)行非線性操作和能量計(jì)算得到特征圖像，并用建立的特征矢量進(jìn)行分類，可對(duì)每個(gè)像素提取五維紋理特征。則每個(gè)超像素區(qū)域的紋理特征計(jì)算公式如下:

其中，p（T）表示超像素區(qū)域Ri中某一像素采用Gabor濾波方法提取到的紋理特征值。本文選取5 個(gè)方向進(jìn)行提取，故提取到的紋理特征值p（T）為五維數(shù)據(jù)。

2.3 多目標(biāo)進(jìn)化算法

（1）染色體編碼。首先需要將解編碼成染色體的形式，本文目標(biāo)是將預(yù)分割獲得的超像素區(qū)域R={R1,…,RN}聚類成具有特定意義區(qū)域的形式。由于本文使用的多目標(biāo)優(yōu)化算法為RM-MEDA，所以在此使用基于實(shí)數(shù)—標(biāo)簽的編碼形式。染色體串l可表示為：

式中，li∈(0,1]，表示超像素區(qū)域所表示的類標(biāo)簽，通過(guò)映射（5）將其轉(zhuǎn)化成整數(shù)形式：

（2）目標(biāo)函數(shù)。進(jìn)化算法求解圖像分割問(wèn)題，需要將分割模型轉(zhuǎn)化成進(jìn)化算法中目標(biāo)函數(shù)的形式。目標(biāo)函數(shù)為整個(gè)算法指明了方向，常用的聚類目標(biāo)函數(shù)有很多種，諸如等。在此本文使用常用的Jmse指標(biāo)，分別使用顏色特征和紋理特征設(shè)計(jì)兩個(gè)不同的目標(biāo)函數(shù)對(duì)染色體進(jìn)行評(píng)價(jià)。

首先對(duì)染色體進(jìn)行解碼，并計(jì)算每個(gè)類的類中心，第j類的類中心可表示為：

其中，rj表示第j類的類中心，其含有顏色特征和紋理特征，可表示為。I(·)是一個(gè)指示函數(shù)，如果括號(hào)內(nèi)條件為真，則I(·)=1，若為假，則I(·)=0。接下來(lái)分別計(jì)算顏色空間中的隸屬度矩陣ucij和紋理空間的隸屬度矩陣utij，如式（7）所示。

則基于顏色特征的目標(biāo)函數(shù)和基于紋理特征的目標(biāo)函數(shù)如式（8）所示。

（3）進(jìn)化算子。本文使用RM-MEDA 算法作為進(jìn)化多目標(biāo)優(yōu)化器，該算法通過(guò)建模與采樣產(chǎn)生新種群。假定種群規(guī)模為popsize，最大迭代次數(shù)為max_g，第g 代種群可描述為pop(g)={l1,…,lpopsize}。通過(guò)建模與采樣，可獲得子代種群off_pop(g)={off_l1,…,off_lpopsize}。然后使用非支配排序和擁擠距離，選擇popsize 個(gè)染色體作為第g+1 代種群pop(g+1)={l1,…,lpopsize}。

2.4 最佳分割圖像輸出

從Pareto 集中挑選出最優(yōu)解，根據(jù)所得標(biāo)簽值進(jìn)行聚類，將所有標(biāo)簽為j的區(qū)域合并成若干個(gè)完整區(qū)域，輸出最終分割后的圖像。由于最終獲得的分割圖像數(shù)量較少，手工挑選出最好的分割圖像。

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文提出算法的有效性，利用該算法對(duì)berkely圖像集和美國(guó)地質(zhì)調(diào)查局（USGS）的部分圖像進(jìn)行分割。選擇4 幅圖像作為測(cè)試圖像以展示該算法分割結(jié)果，如圖2所示。其中Image1 和Image2 來(lái)自于美國(guó)地質(zhì)調(diào)查局系統(tǒng)，兩幅圖片含有不同樣式的飛機(jī)，像素尺寸為256*256。對(duì)于Image1，飛機(jī)與地面具有相似的顏色特征，但紋理特征不同；對(duì)于Image2，飛機(jī)與地面都含有多種顏色，但紋理特征相同。Image3 和Image4 來(lái)自于berkely 圖像集，像素尺寸為481*321。對(duì)于Image3，該圖像含有兩只鷹，在RGB 顏色空間中，圖像中間與邊緣顏色不同，但具有相同紋理；對(duì)于Image4，海星具有不同顏色特征，但其自身具有相同的紋理特征。

Fig.2 Test images圖2 測(cè)試圖像

將本文算法與現(xiàn)有分割算法進(jìn)行對(duì)比，可選擇的對(duì)比算法有很多。由于本文算法是基于顏色和紋理兩種特征設(shè)計(jì)的，對(duì)比算法應(yīng)包括基于顏色特征的FCM 圖像分割算法（FCM-CF）、基于紋理特征的FCM 圖像分割算法（FCMTF）以及結(jié)合顏色與紋理特征的FCM 圖像分割算法（FCMCTF）；由于本文算法中的紋理信息考慮了像素間的空間關(guān)系，對(duì)比算法應(yīng)包括增加空間信息的AFCM_S1 方法；對(duì)比算法還包括預(yù)分割Meanshift 算法，以及基于像素點(diǎn)的多目標(biāo)顏色紋理融合算法MECTS。本文采用Meanshift 算法對(duì)圖像進(jìn)行預(yù)分割，考慮到分割區(qū)域太多會(huì)導(dǎo)致所得結(jié)果中圖像噪聲點(diǎn)較多，且時(shí)間復(fù)雜度也會(huì)相應(yīng)增大，而分割區(qū)域太少會(huì)導(dǎo)致本文算法過(guò)多地依賴于Meanshift 算法的預(yù)分割，故將帶寬設(shè)置為10。在紋理特征提取中，本文提取5個(gè)方向的紋理特征，可得到一組五維的特征向量。在RM-MEAD 算法中，設(shè)置種群大小為30，最大迭代次數(shù)為100。在所有FCM 算法中，設(shè)置隸屬度因子為m=2。

3.1 結(jié)果對(duì)比與分析

圖3-圖6 展示了使用本文算法與其它6 種算法的視覺分割結(jié)果。對(duì)于圖3，機(jī)身上的背景顏色與地面顏色極為相似。如果僅使用顏色特征，不可避免地會(huì)將飛機(jī)與地面劃分到同一類中，如圖3（b）所示。如果僅使用紋理特征，雖然可將機(jī)身與地面區(qū)分開，但缺少了顏色這一視覺特征，分割結(jié)果也不理想。雖然AFCM_S1 考慮了像素間的空間關(guān)系，對(duì)于噪聲圖像效果較好，但由于其僅使用了顏色特征，所以對(duì)于含有多種特征的圖像分割效果不太理想，如圖3（d）所示。FCM-CTF 雖然在分割過(guò)程中融合了顏色與紋理特征，但其對(duì)顏色和紋理采用相同權(quán)重。由于顏色的量綱遠(yuǎn)大于紋理的量綱，將導(dǎo)致顏色特征占有主導(dǎo)地位，因此圖3（f）的分割結(jié)果與圖3（b）較為相似。MECTS 也使用了顏色和紋理兩種特征對(duì)圖像進(jìn)行分割，且取得了較好效果，但該算法是基于像素點(diǎn)進(jìn)行分割的，所以會(huì)產(chǎn)生許多噪聲點(diǎn)。SRMFS 算法取得了較好的分割效果。對(duì)于圖4，飛機(jī)與地面都含有不同顏色，但機(jī)身紋理相同，所以使用紋理特征可將機(jī)身劃分到同一區(qū)域中。對(duì)于圖5、圖6，所有算法都基本能分割出圖像的主目標(biāo)，原因在于這兩幅圖的主目標(biāo)與背景目標(biāo)顏色差異明顯，紋理也有所不同。但是FCM-CF、FCM-TF、AFCM_S1 和FCM-CTF 的分割結(jié)果出現(xiàn)了較多噪聲點(diǎn)，只有MECTS 算法與本文提出的SRMFS 算法能成功避免大部分噪聲。

Fig.3 Segmentation results of Image1 by different algorithms圖3 不同算法對(duì)Image1 分割結(jié)果

Fig.4 Segmentation results of Image2 by different algorithms圖4 不同算法對(duì)Image2 分割結(jié)果

Fig.5 Segmentation results of Image3 by different algorithms圖5 不同算法對(duì)Image3 分割結(jié)果

Fig.6 Segmentation results of Image4 by different algorithms圖6 不同算法對(duì)Image4 分割結(jié)果

3.2 量化分析

本節(jié)使用分割精度（Segmentation Accuracy，SA）［19］和蘭德指數(shù)（Rand Index，RI）［20］兩個(gè)指標(biāo)對(duì)本文算法與對(duì)比算法進(jìn)行量化分析。兩個(gè)指標(biāo)的取值范圍均為［0，1］，并且指標(biāo)值越大，分割效果越好。6 種算法分割效果比較如表1 所示。

Table 1 Comparison of segmentation effects of 6 kinds of algorithm（SA/RI）表1 6 種算法分割效果比較（SA/RI） 單位：%

通過(guò)表1 可以看出，對(duì)于前兩幅遙感圖像，SRMFS 兩個(gè)指標(biāo)均取得了最大值。對(duì)于Image3，MECTS 和SRMFS 均取得了最大的SA 值，并且MECTS 所取得的RI 值大于SRMFS，但相差不大，原因在于該測(cè)試圖像基本不存在噪聲點(diǎn)，比較容易分割。對(duì)于Image4，MECTS 和SRMFS 的分割效果相同，原因在于該測(cè)試圖像主體與背景顏色差異較大，冗雜噪聲點(diǎn)也較少。因此，從總體上看，本文算法的分割效果優(yōu)于其他幾種算法。

4 結(jié)語(yǔ)

現(xiàn)有圖像分割算法大都是基于單一特征設(shè)計(jì)的，其中尤以顏色特征應(yīng)用最為廣泛。雖然基于紋理特征與基于空間關(guān)系特征的分割算法也應(yīng)用越來(lái)越廣，但是如何針對(duì)不同圖像選擇合適的視覺特征，或設(shè)計(jì)融合多種視覺特征的分割算法是當(dāng)前面臨的一大難題。針對(duì)該問(wèn)題，本文提出一種基于區(qū)域的多視覺特征圖像分割算法。首先，將原始圖像預(yù)分割成一組超像素區(qū)域，既能保留圖像局部的空間信息，又能減少運(yùn)行時(shí)間；其次，針對(duì)獲得的超像素區(qū)域，提取其顏色特征和紋理特征，分別對(duì)顏色特征和紋理特征設(shè)計(jì)兩個(gè)分割規(guī)則，并使用多目標(biāo)進(jìn)化算法進(jìn)行優(yōu)化；最后，獲得一組Pareto 集合，該集合中的每個(gè)解對(duì)應(yīng)一個(gè)分割結(jié)果，該結(jié)果含有不同權(quán)重的顏色紋理特征組合方式。實(shí)驗(yàn)結(jié)果表明，該算法具有兩個(gè)顯著優(yōu)點(diǎn)：①該算法可有效對(duì)顏色與紋理特征進(jìn)行融合；②由于分割對(duì)象是區(qū)域而不是像素點(diǎn)，可很大程度上降低算法的時(shí)間復(fù)雜度。

然而，本文工作還處于初級(jí)階段，還需作進(jìn)一步完善，兩個(gè)主要待完善的方向是：①本文算法為顏色與紋理兩個(gè)特征的融合，如何融合3 種以上特征是接下來(lái)需要考慮的問(wèn)題；②由于最終獲得一組Pareto 最優(yōu)解，如何自動(dòng)選擇最佳分割結(jié)果也需作進(jìn)一步研究。