融合自適應(yīng)局部特征與改進(jìn)模糊C均值的服飾分割算法

李立瑤,顧梅花,楊 娜

(西安工程大學(xué) 電子信息學(xué)院,陜西 西安 710600)

0 引 言

如何使用戶準(zhǔn)確、快速地在網(wǎng)上搜索到心儀服飾，線上常采用基于內(nèi)容的圖像檢索方法解決這一問題[1-2]。其中,服飾圖像分割作為圖像檢索的前期工作,目的是獲取圖像中的服裝區(qū)域[3-4]?，F(xiàn)實的服裝圖像呈海量性、多樣性等,在分割服裝區(qū)域時極易受著裝人體與拍攝環(huán)境等影響,產(chǎn)生光照不均、陰影遮擋、內(nèi)部紋理噪聲等,降低了分割準(zhǔn)確率。在聚類分割方面,文獻(xiàn)[5]通過分析陰影在不同顏色空間的特性,提出在YCbCr空間中依據(jù)本影檢測框架與半影邊界去除陰影。文獻(xiàn)[6]提出利用鄰域灰度的異質(zhì)性獲取局部上下文信息,并將高斯徑向基核函數(shù)引入FCM的目標(biāo)函數(shù)改善分割效果。文獻(xiàn)[7]結(jié)合形態(tài)學(xué)重建與鄰域信息優(yōu)化FCM算法的分割精度,增強(qiáng)算法的魯棒性。文獻(xiàn)[8]將改進(jìn)的超像素方法用于提取圖像的局部特征,融入FCM算法中實現(xiàn)對彩色圖像的快速分割。在服裝實例分割方面,文獻(xiàn)[9]采用基于局部空間信息的核模糊聚類算法分割服飾區(qū)域,但未標(biāo)記背景與目標(biāo)區(qū)域,對于彩色圖像中目標(biāo)服飾區(qū)域的提取效果不佳。文獻(xiàn)[10]提出結(jié)合輪廓檢測算法與全自動化GrabCut算法,解決服裝圖像前景提取時無法去除人體膚色干擾與復(fù)雜背景圖像存在欠分割的問題。

針對上述問題,本文提出了一種融合自適應(yīng)局部特征與改進(jìn)FCM的服飾分割算法。首先，通過改進(jìn)區(qū)域生長法消除陰影并提取前景區(qū)域。其次采用MDSMGR-WT超像素處理,獲取局部彩色特征信息,減少服飾內(nèi)部的紋理皺褶,以及光照不均產(chǎn)生的影響。再次，將自適應(yīng)區(qū)域局部信息融入經(jīng)雙加權(quán)改進(jìn)的FCM目標(biāo)方程中,通過二次聚類結(jié)合局部與全局特征。最后，過濾膚色區(qū)域?qū)崿F(xiàn)快速獲取輪廓更佳、分割效果更顯著的彩色服飾圖像。

1 算法設(shè)計

1.1 改進(jìn)區(qū)域生長前景提取法

與原始背景相比，被陰影遮擋的像素點飽和度與亮度明顯降低，而RGB顏色空間的色度與亮度信息被融入R、G、B等3個變量中[11]，故在處理陰影遮擋圖像時，應(yīng)先轉(zhuǎn)換為HSV顏色空間。分別提取飽和度矩陣S=[Sij]m×n與亮度矩陣V=[Vij]m×n及其對應(yīng)的直方圖，如圖1所示，其中直方圖中的第一峰值部分常代表圖像的背景分布情況。

(a) 原始圖像 (b) S對應(yīng)圖像 (c) V對應(yīng)圖像

(d) 原始圖像對應(yīng)直方圖

(e) S對應(yīng)直方圖

(f) V對應(yīng)直方圖圖 1 陰影圖像及其對應(yīng)直方圖Fig.1 Shadow image and corresponding histogram distribution

圖1(e)中，陰影部分對應(yīng)于圖中貼近第一峰值的小范圍凸起，呈現(xiàn)近似雙峰；圖1(f)中，陰影區(qū)域?qū)?yīng)于與第一峰值鄰近的凸起區(qū)域，呈現(xiàn)三峰分布，據(jù)此對S、V矩陣設(shè)定不同約束規(guī)則。

以V矩陣中4個頂點均值擬為背景值Vm，各點Vij值與Vm之比為評判量μ，分析數(shù)據(jù)集中100幅陰影圖像。設(shè)定μ為0.68<μ<0.96，滿足則標(biāo)記為陰影；對S矩陣通過OTSU法二值化，經(jīng)形態(tài)學(xué)處理標(biāo)記區(qū)域；最終結(jié)合S、V結(jié)果標(biāo)記陰影區(qū)域。上述判定規(guī)則可表示為

(1)

式中：ζv、ζs分別為V、S矩陣下的判定規(guī)則，ζv判定陰影區(qū)域為1，否則為0，ζs判定服飾區(qū)域為1，否則為0；Vg、Sg為S、V矩陣的高斯濾波結(jié)果;T為二值化閾值。標(biāo)記效果如圖2所示。

(a) S矩陣 (b) V矩陣 (c) 陰影檢測圖 2 陰影規(guī)則分步處理效果Fig.2 Step by step processing effect of shadow rule

區(qū)域生長法是根據(jù)預(yù)先定義的生長準(zhǔn)則[12]，從一組種子點開始，逐步將像素或子區(qū)域集合成較大區(qū)域的處理方法，生長規(guī)則可表示為

(2)

式中：f(x0,y0)為種子點；f(xi,yi)為當(dāng)前像素面；T′為生長判定閾值。

采用改進(jìn)區(qū)域生長的前景提取法，以RGB圖像中4個頂點的像素均值替換標(biāo)定陰影區(qū)域像素值，過濾原圖像，提取圖像中的著裝人體前景。

1.2 自適應(yīng)局部特征的FCM服飾分割

1.2.1 基于MDSMGR的標(biāo)記分水嶺超像素 分水嶺超像素是一種基于分水嶺變換(watershed transform,WT)的形態(tài)學(xué)分割方法[13]，聚合空間與梯度特征相近的像素點，但抗噪能力弱，易產(chǎn)生過分割現(xiàn)象。文獻(xiàn)[14]采用形態(tài)學(xué)操作預(yù)處理圖像消除區(qū)域極小值點，但抑制過分割現(xiàn)象不明顯。文獻(xiàn)[15]結(jié)合單層形態(tài)梯度重構(gòu)，消除噪聲與無用細(xì)節(jié)，保留目標(biāo)輪廓。LEI等提出對原圖像形態(tài)重構(gòu)結(jié)合FCM算法解決這一問題[16]。

形態(tài)學(xué)開運算SO與閉運算SC均能剔除梯度圖像中的區(qū)域極小值，可表示為

(3)

式中：Sδ為膨脹圖像；Sε為腐蝕圖像；SE是結(jié)構(gòu)元，默認(rèn)半徑為r的圓形結(jié)構(gòu);δ為膨脹操作；ε為腐蝕操作。

形態(tài)學(xué)處理是以結(jié)構(gòu)元對原始圖像進(jìn)行覆蓋的運算[17]，其覆蓋范圍對重構(gòu)特征影響很大，過小易產(chǎn)生過分割現(xiàn)象，反之易出現(xiàn)欠分割。因此，需要一種自適應(yīng)結(jié)構(gòu)元方法對不同圖像進(jìn)行處理，減少MGR-WT處理結(jié)果中的小區(qū)域數(shù)目。在文獻(xiàn)[15-16]的基礎(chǔ)上，通過優(yōu)化形態(tài)學(xué)重構(gòu)提取梯度圖像以消除MGR-WT的不良分割現(xiàn)象。以30°為步長，從0°～150°中選取6個不同方向提取特征構(gòu)建梯度圖像。以Gn表示融合6個方向的梯度特征，表示為

(4)

式中：k=0,1,2,…,5為任意方向數(shù)；f為待處理圖像。

在給定初始結(jié)構(gòu)體半徑r1的前提下，逐漸增大r值，擴(kuò)大覆蓋面積，以上升漸變式結(jié)構(gòu)元對梯度圖像進(jìn)行迭代形態(tài)學(xué)重構(gòu)，提出MDSMGR(multi direction and scale morphological gradient reconstruction)處理，定義為

(5)

通過大量實驗分析,設(shè)定1≤r1≤3。r2決定結(jié)構(gòu)體最大尺寸，增大r2能夠使超像素結(jié)果逐漸收斂，消除小區(qū)域影響，但對于不同圖像，r2取值不一。為應(yīng)對r2的自適應(yīng)性，對式(5)設(shè)置上升規(guī)則，取MDSMGR處理前后結(jié)果的最大均方根誤差為評估量，引入定值η取代r2，表示為

(6)

實驗結(jié)果表明，隨著η的增大r2值逐漸變大，當(dāng)η值小于等于10-6時，r2的值不再變化，因此，設(shè)定η=10-6。

1.2.2 改進(jìn)FCM服飾分割算法 將MDSMGR-WT獲取的局部直方圖信息融入FCM的目標(biāo)方程[18]中，通過計算各超像素塊與各聚類中心的相似程度分配權(quán)值，設(shè)樣本權(quán)值公式為

(7)

式中：0<τ<0.077 2；c為聚類中心數(shù)；xj為第j個超像素塊的像素值，j=1,2,…,n；vi為第i個聚類中心，i=1,2,…,c。

變異系數(shù)[19]是標(biāo)準(zhǔn)差與均值的比值，用于衡量聚類中心之間的差異程度，變異系數(shù)越大，表示以該組聚類中心為劃分依據(jù)能實現(xiàn)分割精度更高，設(shè)第i個聚類中心所包含的超像素區(qū)域為χ={x1,x2,…,xw}，對應(yīng)變異系數(shù)ωi為

(8)

(9)

式中：βn為第n個聚類中心的權(quán)重；ωn為指第n個聚類中心的變異系數(shù)。

綜上，融合自適應(yīng)局部特征的改進(jìn)FCM目標(biāo)方程可表示為

(10)

式中：c為聚類中心數(shù)；k為經(jīng)MDSMGR-WT處理后的超像素區(qū)域數(shù)；vj(1≤j≤c)為聚類中心；Qi為第i塊區(qū)域Si包括的像素數(shù)目；m(1

采用拉格朗日乘子[20]將上述問題轉(zhuǎn)化為無約束優(yōu)化問題，目標(biāo)函數(shù)為

(11)

式中：λ為拉格朗日乘數(shù)。通過求取拉格朗日函數(shù)的極值點，給出μij與vj的解為

(12)

綜上所述，提出的融合自適應(yīng)局部特征的改進(jìn)FCM算法步驟如下：

1) 讀入前景提取后的服飾圖像，設(shè)置聚類中心c，初始結(jié)構(gòu)體半徑r1，模糊化參數(shù)m，MDSMGR的最小誤差閾值η，樣本權(quán)值參量τ，以及FCM的最小誤差閾值η′;

2) 采用Sobel算子提取多向特征，經(jīng)多尺度MGR結(jié)合最小誤差閾值η處理，獲取保留重要輪廓細(xì)節(jié)、消除局部極小值的優(yōu)良梯度圖像；

3) 采用WT算法處理2)結(jié)果，獲取MDSMGR-WT超像素圖像；

4) 根據(jù)3)結(jié)果，隨機(jī)初始化隸屬度矩陣U0，置循環(huán)計數(shù)t=0；

5) 利用式(12)更新聚類中心vj與隸屬度劃分矩陣Ut；

6) 若max{Ut-Ut+1}≤η′，停止迭代,否則t=t+1，并跳轉(zhuǎn)至5)；

7) 結(jié)合膚色過濾，提取準(zhǔn)確的目標(biāo)服飾區(qū)域。

1.2.3 算法總體流程 首先,通過改進(jìn)區(qū)域生長法提取著裝人體區(qū)域，去除陰影遮擋與背景細(xì)節(jié)。其次，采用MDSDGR-WT超像素處理，消除服飾區(qū)域內(nèi)部噪聲以及光照不均的影響，將超像素的局部區(qū)域信息融入改進(jìn)的雙加權(quán)FCM目標(biāo)方程實現(xiàn)二次精細(xì)化快速聚類分割。最后，經(jīng)膚色過濾獲取目標(biāo)服飾區(qū)域。算法總體流程如圖3所示。

圖 3 融合自適應(yīng)局部特征與改進(jìn)FCM的服飾分割算法Fig.3 Clothing segmentation method with adaptive local features and improved FCM

2 實驗與分析

采用Matlab編程仿真實現(xiàn)了一種融合自適應(yīng)局部特征與改進(jìn)FCM的服飾分割算法，并采用簡單背景、陰影細(xì)節(jié)遮擋背景、以及不同人體姿態(tài)類型的服飾圖像進(jìn)行對比實驗。

2.1 前景提取效果對比

在背景光照不均與陰影遮擋情況下,采用改進(jìn)區(qū)域生長法過濾原圖像中的陰影部分并標(biāo)記前景區(qū)域，與原始區(qū)域生長法對比結(jié)果如圖4所示。

圖 4 前景提取效果對比Fig.4 Comparison of foreground extraction effect

傳統(tǒng)的區(qū)域生長合并法容易受背景噪聲與陰影遮蓋等影響，而采用改進(jìn)的區(qū)域生長方法則能較好地處理這一問題，使前景提取效果得到很大的改善。

2.2 服飾區(qū)域分割效果對比

該算法采用MDSMGR-WT超像素算法對圖像進(jìn)行粗分割，獲取局部特征信息，然后代入融合局部特征的雙加權(quán)FCM算法實現(xiàn)二次精細(xì)化聚類分割。部分服裝MDSMGR改進(jìn)的梯度特征如圖5所示，圖5(a)為原始服裝圖像，圖5(b)為圖5(a)經(jīng)MDSMGR提取的梯度特征效果。

(a) 原始圖像

(b) MDSMGR梯度提取效果圖 5 MDSMGR改進(jìn)的梯度特征提取效果Fig.5 Improved gradient feature extraction based on MDSMGR

將前景提取后的服飾圖像作為待處理圖像，驗證所提出的自適應(yīng)局部特征雙加權(quán)FCM分割算法應(yīng)用于服飾區(qū)域的標(biāo)記分割效果，并與文獻(xiàn)[6]的改進(jìn)FCM分割算法，文獻(xiàn)[7]給出的基于形態(tài)學(xué)重建與鄰域信息優(yōu)化的FCM算法，及文獻(xiàn)[8]所提出的SFFCM算法效果進(jìn)行對比，處理結(jié)果如圖6所示。

圖 6 不同算法在標(biāo)記服飾區(qū)域標(biāo)記分割效果對比Fig.6 Comparison of different algorithms in theextraction of clothing area

結(jié)果表明，上述算法均能在著裝人體服飾圖像中獲取目標(biāo)區(qū)域，區(qū)別在于，因受服飾的內(nèi)部花紋與光照不均等因素影響，結(jié)合形態(tài)學(xué)重構(gòu)與鄰域信息改進(jìn)的FCM算法與基于形態(tài)學(xué)重構(gòu)的FCM方法處理的服飾圖像，標(biāo)記的服飾區(qū)域存在較多孤立點。相比之下，文獻(xiàn)[8]所提出的SFFCM算法與本文所提出的融合自適應(yīng)局部特征雙加權(quán)FCM分割算法在結(jié)合了超像素預(yù)處理的情況下，消除了服飾內(nèi)部噪聲與孤立點影響。但由于SFFCM算法引入的類別特征較少，使得后續(xù)FCM聚類結(jié)果在目標(biāo)區(qū)域內(nèi)出現(xiàn)空洞，存在如第4列所示的錯誤識別，丟失了重要的目標(biāo)區(qū)域。自適應(yīng)局部特征的加權(quán)FCM分割算法在消除內(nèi)部噪聲的同時，依據(jù)樣本與類別特征信息，更好地保留了圖像點與點、塊與塊之間相關(guān)特征，在目標(biāo)服飾區(qū)域的標(biāo)記處理中效果較好。

為進(jìn)一步所提出的驗證融合自適應(yīng)局部特征的改進(jìn)FCM分割算法在服裝實例分割方面的有效性，將其與文獻(xiàn)[10] 、文獻(xiàn)[21]的算法性能進(jìn)行對比，結(jié)果如圖7所示。

圖 7 服飾實例分割效果對比Fig.7 Comparison of extraction results of clothing segmentation practice

為了客觀評價所提出算法的性能及效果，采取準(zhǔn)確率A、召回率R、查準(zhǔn)率P及F1值作為評價指標(biāo)，對圖6各個算法在服飾圖像的區(qū)域標(biāo)記效果定量分析，具體如式(13)所示:

(13)

式中：Gti為圖像Gi中目標(biāo)服飾所占區(qū)域大??；ri為通過分割算法獲取到的結(jié)果服飾區(qū)域大??；Pri為指圖像Gi中通過正確人工標(biāo)注的服飾區(qū)域大小。

表 1 服飾區(qū)域標(biāo)記分割算法的性能評估Tab.1 Performance evaluation of clothing region label segmentation algorithm

從表1可知，融合自適應(yīng)局部特征信息的FCM服飾分割方法在準(zhǔn)確率、召回率、精確率以及F1值的評估方面均優(yōu)于其他2種算法，綜合各項指標(biāo)而言，該算法更適合提取目標(biāo)服飾區(qū)域。

采用像素精度Ap與均交并比MIOU為評價指標(biāo)，對圖7不同算法的服裝實例分割結(jié)果定量評估，計算公式如下：

式中：pij為本屬于i但被歸為j類的像素數(shù)；pii為正確歸類的像素數(shù)；k為區(qū)域類別數(shù)。

從表2可知，與其他分割算法相比，融合自適應(yīng)局部特征信息的FCM服飾分割方法能夠消除背景噪聲、消除內(nèi)部空洞，獲得邊緣更貼合、區(qū)域分割效果更顯著的彩色服飾圖像，具有較高的服裝實例分割性能。

表 2 不同算法用于服飾實例分割的性能評估Tab.2 Performance evaluation of different algorithms for practice clothing segmentation

3 結(jié) 語

針對服飾圖像的分割過程中，因拍攝場景與著裝人體姿態(tài)等因素影響，普遍存在受服飾內(nèi)部紋理褶皺、背景部分細(xì)小噪聲，以及由光照引起的背景色不均及著裝人體陰影遮擋等問題，提出了一種融合自適應(yīng)局部特征與改進(jìn)FCM的服飾分割算法。通過改進(jìn)區(qū)域生長法提取前景區(qū)域，消除陰影遮擋與背景細(xì)節(jié)，經(jīng)MDSMGR-WT超像素粗分割，減少服飾區(qū)域內(nèi)部的紋理皺褶與光照不均的影響，然后將自適應(yīng)局部空間與彩色信息融入雙加權(quán)FCM目標(biāo)方程中，實現(xiàn)二次精細(xì)化分割處理，最終經(jīng)膚色過濾，快速而準(zhǔn)確地提取目標(biāo)服飾區(qū)域。