基于Grab Cut和區(qū)域生長的服裝圖像前景提取算法

陶彬嬌， 陳 倩， 潘中良， 李 萍

(華南師范大學(xué)物理與電信工程學(xué)院， 廣州 510006)

基于Grab Cut和區(qū)域生長的服裝圖像前景提取算法

陶彬嬌， 陳 倩*， 潘中良， 李 萍

(華南師范大學(xué)物理與電信工程學(xué)院， 廣州 510006)

針對Grab Cut算法應(yīng)用于服裝檢索系統(tǒng)中服裝圖像的前景提取時(shí)所存在的交互式和復(fù)雜背景提取效果差問題，首先提出了一種全自動化的Grab Cut算法，以實(shí)現(xiàn)自動根據(jù)背景情況，對單一背景和復(fù)雜背景圖像分別采用不同的方法生成初始矩形框并進(jìn)行前景提取. 由于該算法仍存在欠分割或過分割現(xiàn)象,故將該算法與區(qū)域生長算法相結(jié)合，給出了一種結(jié)合區(qū)域生長的全自動化Grab Cut算法. 實(shí)驗(yàn)結(jié)果表明，無論對于單一背景還是復(fù)雜背景的圖像，改進(jìn)算法的前景提取效果都明顯優(yōu)于傳統(tǒng)算法，不僅能準(zhǔn)確獲取服裝前景區(qū)域，而且對于服裝內(nèi)部的過分割問題也有很大的改善.

前景提??； Grab Cut算法； 區(qū)域生長算法； 服裝圖像檢索

Keywords： foreground extraction; Grab Cut algorithm; region growth algorithm; clothing image retrieval

前景提取是圖像處理和圖像分析的基礎(chǔ). 在基于內(nèi)容的服裝檢索系統(tǒng)中，無論是基于哪種特征的檢索，服裝圖像的前景提取都是其中一個(gè)重要的步驟，前景提取效果的好壞將在很大程度上影響最終的檢索效果.

近年來，已有不少學(xué)者對Grab Cut算法提出了不同的改進(jìn)方式,如:基于顯著圖的交互式Grab Cut改進(jìn)算法[1]及基于感興趣區(qū)域的Grab Cut算法[2]，這2種算法相對于傳統(tǒng)的Grab Cut算法在處理速度和精確度上都有所提高，但是仍采用交互的方式，不適合實(shí)際應(yīng)用中對批量圖像進(jìn)行處理；與顯著性檢測FT算法相結(jié)合，基于Grab Cut的自動圖像分割算法[3]，該算法在背景復(fù)雜、顯著性特征不明顯的情況下效果不好；基于區(qū)域分割和像素級細(xì)化的服裝圖像前景提取算法[4]，該算法的不足之處是不適合那些姿勢復(fù)雜或者沒有人體姿勢的服裝圖像；基于人類視覺模型的區(qū)域生長圖像分割算法[5]，該算法在復(fù)雜背景下能提取出接近人眼視覺特性的前景，且執(zhí)行效率較高，但只適用于灰度圖像的分割.

本文將針對服裝圖像的前景提取展開研究，對Grab Cut算法用于服裝前景提取時(shí)所存在的問題進(jìn)行改進(jìn)：針對交互式問題，首先提出一種全自動化的Grab Cut算法，以實(shí)現(xiàn)自動根據(jù)背景情況，對單一背景和復(fù)雜背景圖像分別采用不同的方法生成初始矩形框并進(jìn)行前景提取；針對全自動化的Grab Cut算法仍存在欠分割或過分割現(xiàn)象,將該算法與區(qū)域生長算法相結(jié)合，給出了一種結(jié)合區(qū)域生長的全自動化Grab Cut算法.

1 Grab Cut前景提取算法

1.1 算法思想

Grab Cut是一種交互式前景目標(biāo)提取算法.所謂的交互是指用戶需要勾畫出一個(gè)包含整個(gè)目標(biāo)對象的初始矩形框，把框外的像素設(shè)為背景，框內(nèi)的像素設(shè)為不確定，經(jīng)過多次迭代運(yùn)算后，實(shí)現(xiàn)前景目標(biāo)和背景的分割[6-8]. 該方法對用戶提供的初始矩形框內(nèi)外區(qū)域建立高斯混合模型，由此來提供初始分割的前景和背景種子點(diǎn)，經(jīng)過一次分割之后進(jìn)行高斯混合模型更新，再由此估計(jì)新的前景和背景種子點(diǎn)進(jìn)行分割，如此迭代下去直至收斂為止.

Grab Cut算法對于前景和背景顏色反差較大的圖像分割效果較好[9]. 大多數(shù)網(wǎng)絡(luò)服裝圖像的前景和背景顏色差異明顯，因此適合采用該算法提取服裝前景. 本文利用區(qū)域生長算法[10]、JSEG(Joint Systems Engineering Group)算法[11]、Grab Cut算法、K聚類算法[12]和分水嶺算法[13]分別對同一張服裝圖像進(jìn)行前景提取，對比效果(圖1)顯示Grab Cut算法的前景提取效果最好. 因此，本文選用Grab Cut算法.

圖1 前景提取效果對比

1.2 算法用于服裝圖像前景提取時(shí)存在的問題

Grab Cut算法在應(yīng)用時(shí)仍然存在一些問題:

(1)Grab Cut算法的交互方式不適合服裝圖像的批量處理. 如1.1節(jié)所述，利用Grab Cut算法對每一幅圖像進(jìn)行前景提取時(shí)都需要人工標(biāo)注初始矩形框，工作量很大，不適合服裝檢索系統(tǒng)中的批量服裝處理.

(2)單一背景和復(fù)雜背景下的前景提取效果存在較大差異. 本文對單一背景和復(fù)雜背景圖像的前景提取效果進(jìn)行了對比實(shí)驗(yàn)，其中Grab Cut算法均采取固定比例和位置來生成初始矩形框. 實(shí)驗(yàn)結(jié)果表明，對于背景單一的服裝圖像可以采取固定比例和位置來生成初始矩形框，提取前景的效果比較好. 而對于背景復(fù)雜，特別是服裝顏色與背景顏色非常接近的情況，用上面同樣的方法進(jìn)行前景提取的效果就不太理想. 因此，有必要對單一背景和復(fù)雜背景的圖像分別采用不同的方案進(jìn)行前景提取.

2 全自動化的Grab Cut算法

針對1.2節(jié)提到的2個(gè)問題，本文對Grab Cut算法進(jìn)行改進(jìn)，提出了一種對簡單背景和復(fù)雜背景分別處理的全自動化的Grab Cut算法.

該算法的基本思想如下：首先，對服裝圖像的背景情況進(jìn)行判斷，將圖像背景分為單一背景和復(fù)雜背景. 判斷的依據(jù)是：比較圖像4個(gè)角點(diǎn)的顏色特征，通常，復(fù)雜背景圖像各角點(diǎn)顏色差異較大，而單一背景圖像的各角點(diǎn)顏色幾乎完全相同或十分接近. 本文采用以下步驟進(jìn)行判斷：第一步，提取圖像左上、右上、左下和右下等4個(gè)角點(diǎn)的顏色特征；第二步，對每2個(gè)角點(diǎn)之間的顏色特征進(jìn)行相似性度量，即：計(jì)算出4個(gè)角點(diǎn)兩兩之間的歐氏距離，共得到6個(gè)數(shù)據(jù)；第三步，統(tǒng)計(jì)出兩點(diǎn)之間歐氏距離小于閾值5及小于閾值55的個(gè)數(shù)，若小于閾值5的個(gè)數(shù)大于1或者小于閾值55的個(gè)數(shù)為6，則判斷該服裝圖像為單一背景，否則，判斷為復(fù)雜背景.

然后，針對單一背景和復(fù)雜背景分別采用不同的方法生成Grab Cut算法所需的初始矩形框.

對于單一背景的服裝圖像，采用固定比例和位置來生成初始矩形框，初始矩形框的寬度(Width)為15 px、高度(Height)為15 px，矩形框的位置位于原圖像的中心.

對于復(fù)雜背景的服裝圖像，采用區(qū)域生長算法生成初始矩形框，具體步驟如下：首先將圖像均分為7×7塊，分別提取4個(gè)邊角與最中心小矩形的顏色直方圖，計(jì)算出4個(gè)邊角與中心矩形的顏色直方圖之間的歐氏距離，從中選取最小的歐氏距離值作為區(qū)域生長的閾值. 然后，選取圖像的中心點(diǎn)作為區(qū)域生長的初始種子點(diǎn)，向其鄰域進(jìn)行生長，具體為：將種子點(diǎn)與其八鄰域點(diǎn)進(jìn)行比較，若顏色差小于閾值則進(jìn)行生長，生長點(diǎn)處的像素點(diǎn)作為服裝圖像的前景區(qū)域，標(biāo)記為白色；反之，將不滿足生長條件的點(diǎn)作為背景區(qū)域，標(biāo)記為黑色. 當(dāng)種子點(diǎn)生長完畢后獲得X圖像. 最后，將X圖像的前景區(qū)域作為Grab Cut算法的初始矩形框.

對于單一背景和復(fù)雜背景的服裝圖像，分別采用上述2種方法獲取初始矩形框，其后的步驟與傳統(tǒng)Grab Cut算法一致.

3 結(jié)合區(qū)域生長的全自動化Grab Cut算法

第2節(jié)給出的全自動化的Grab Cut算法仍存在欠分割或過分割的現(xiàn)象：當(dāng)服裝前景與背景顏色較為接近時(shí)，往往會出現(xiàn)欠分割現(xiàn)象，不能準(zhǔn)確地提取服裝前景；當(dāng)服裝圖像為復(fù)雜背景且服裝花紋圖案比較復(fù)雜時(shí)，往往會出現(xiàn)過分割現(xiàn)象，即對服裝的內(nèi)部區(qū)域造成過度分割，把服裝的花紋和圖案也當(dāng)作是背景. 為改進(jìn)該算法的欠分割和過分割問題，本文提出了一種結(jié)合區(qū)域生長的全自動化Grab Cut算法：該算法流程圖如圖2所示，主要步驟如下：

(1)對服裝圖像進(jìn)行背景情況的判斷，對于單一背景的圖像，采用固定比例和位置生成Grab Cut算法所需的初始矩形框；對于復(fù)雜背景的圖像，采用區(qū)域生長算法生成Grab Cut算法所需的初始矩形框.

圖2 結(jié)合區(qū)域生長的全自動化Grab Cut算法流程圖

Figure 2 The flow diagram of fully automated Grab Cut algorithm combined with region growing algorithm

(2)用Grab Cut算法初步提取前景，獲得一個(gè)S圖，即初步前景圖，僅有黑白部分，白色為前景，黑色為背景.

(3)將S圖作為待處理圖像，對S圖采用區(qū)域生長算法提取最外層的背景X圖. 具體操作為：先選取生長點(diǎn)，為了確保生長的正確性，本文選取了8個(gè)生長點(diǎn)，分別是S圖的邊緣4個(gè)頂點(diǎn)和4條邊的中點(diǎn)，假設(shè)圖像的矩陣為M(x,y)，則8個(gè)生長點(diǎn)分別是(0,0)、(0,y/2)、(0,y-1)、(x/2,0)、(x-1,0)、(x/2,y-1)、(x-1,y-1)、(x-1,y/2). 接著，從這些生長點(diǎn)往內(nèi)進(jìn)行區(qū)域生長，具體為：當(dāng)生長點(diǎn)所在的像素點(diǎn)為白色時(shí)不進(jìn)行區(qū)域生長，因?yàn)樵擖c(diǎn)屬于前景，若生長點(diǎn)所在的像素點(diǎn)為黑色時(shí)，則進(jìn)行區(qū)域生長. 最后，當(dāng)種子點(diǎn)生長完畢，就獲得了背景X圖.

(4)將X圖與原圖進(jìn)行與運(yùn)算，從而獲得最終的完整前景圖.

4 實(shí)驗(yàn)結(jié)果與分析

本文用Java語言實(shí)現(xiàn)了一個(gè)基于結(jié)合區(qū)域生長的全自動Grab Cut算法、傳統(tǒng)的Grab Cut算法、區(qū)域生長算法、JSEG算法等多種算法的服裝圖像前景提取軟件，并對服裝圖庫中的圖像進(jìn)行對比實(shí)驗(yàn). 實(shí)驗(yàn)所用的圖庫包括單一背景、復(fù)雜背景和人物模特等不同背景的服裝圖像. 從實(shí)用的角度考慮，圖庫中的1 000多幅服裝圖像都是從天貓、京東等網(wǎng)站下載的. 本文從圖庫中共選取了72幅有代表性的服裝圖像進(jìn)行測試，其中，單一背景的31幅、復(fù)雜背景的41幅. 分別采用本文的結(jié)合區(qū)域生長的全自動化Grab Cut算法和傳統(tǒng)Grab Cut算法進(jìn)行對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如下.

4.1 單一背景的服裝圖像前景提取效果對比

由圖3可見，對于單一背景的服裝圖像，如果前景顏色與背景色比較接近，用傳統(tǒng)Grab Cut算法提取會出現(xiàn)欠分割現(xiàn)象，不能準(zhǔn)確提取服裝前景. 而采用結(jié)合區(qū)域生長的全自動化Grab Cut算法則能很好地解決這一問題，前景提取效果得到很大改善.

圖3 單一背景的服裝圖像前景提取效果對比

Figure 3 Result comparison of foreground extraction for single clothing images

4.2 復(fù)雜背景的服裝圖像前景提取效果對比

由圖4可見，對于復(fù)雜背景的服裝圖像，尤其是模特身上的服裝，若采用傳統(tǒng)的Grab Cut算法通常不能去除模特而準(zhǔn)確提取出服裝，如果背景較復(fù)雜，則欠分割現(xiàn)象比較嚴(yán)重. 若采用全自動化Grab Cut算法，雖然能較好地去除服裝以外部分，但卻產(chǎn)生過分割現(xiàn)象，尤其是花色和圖案服裝，服裝內(nèi)部花紋出現(xiàn)大量的過分割. 而結(jié)合區(qū)域生長的全自動化Grab Cut算法提取效果最佳，不僅能夠去除模特準(zhǔn)確獲取服裝區(qū)域，同時(shí)過分割現(xiàn)象也有很大改善.

實(shí)驗(yàn)結(jié)果表明：結(jié)合區(qū)域生長的全自動化Grab Cut算法的前景提取效果優(yōu)于傳統(tǒng)算法的有70幅(占97.2%)，2種算法前景提取效果持平的有2幅. 由此可見結(jié)合區(qū)域生長的全自動化Grab Cut算法的優(yōu)越性.

4.3 算法運(yùn)行效率對比

結(jié)合區(qū)域生長的全自動化Grab Cut算法和傳統(tǒng)的Grab Cut算法的運(yùn)行時(shí)間見表1，其中，運(yùn)行時(shí)間為分別計(jì)算2種算法對所有簡單背景圖像和所有復(fù)雜背景圖像的運(yùn)行時(shí)間總和后取平均值.

圖4 復(fù)雜背景的服裝圖像前景提取效果對比

算法運(yùn)行時(shí)間/s簡單背景復(fù)雜背景傳統(tǒng)GrabCut算法0.89060.9623結(jié)合區(qū)域生長的全自動化GrabCut算法0.89211.4388

由表1可見，對于簡單背景的圖像，改進(jìn)后算法的運(yùn)行時(shí)間僅僅增加了0.168%，與改進(jìn)前算法的運(yùn)行時(shí)間幾乎相當(dāng). 但對于復(fù)雜背景的圖像，改進(jìn)后算法的運(yùn)行時(shí)間則增加了49.5%，運(yùn)行效率有較明顯的下降. 這主要是由于復(fù)雜背景圖像在生成初始矩形框時(shí)比較耗費(fèi)時(shí)間.

5 總結(jié)

本文將傳統(tǒng)的交互式Grab Cut算法應(yīng)用于服裝圖像的前景提取，發(fā)現(xiàn)傳統(tǒng)算法在提取服裝前景時(shí)存在2個(gè)問題：第一，交互方式不適合服裝圖像的批量處理；第二，復(fù)雜背景的提取效果較差. 針對這2個(gè)問題，本文提出了一種全自動化的Grab Cut算法，能夠自動根據(jù)背景情況，對單一背景和復(fù)雜背景圖像分別采用不同的方法生成初始矩形框，然后進(jìn)行前景提取. 全自動化Grab Cut算法仍存在欠分割或過分割現(xiàn)象. 針對這一問題，本文又提出了一種結(jié)合區(qū)域生長的全自動化Grab Cut算法. 實(shí)驗(yàn)結(jié)果表明，無論是單一背景還是復(fù)雜背景，結(jié)合區(qū)域生長的全自動化Grab Cut算法的前景提取效果都明顯優(yōu)于傳統(tǒng)算法，不僅能準(zhǔn)確獲取服裝前景區(qū)域，而且對于服裝內(nèi)部的過分割問題也有很大的改善.

[1] KIM K S,YOON Y J,KANG M C,et al. An improved GrabCut using a saliency map[C]//Proceedings of the 3rd IEEE Global Conference on Consumer Electronics．Washington:IEEE,2015:317-318.

[2] HUA S,SHI P. GrabCut color image segmentation based on region of interest[C]//Proceedings of the 7th International Congress on Image and Signal Processing. Washington:IEEE,2014:392-396.

[3] HE Y R,SUN Y Q. An automatic image segmentation algorithm based on GrabCut[C]//Proceedings of the 6th International Conference on Wireless,Mobile and Multi-Media． Beijing,China:IET,2015:185-190.

[4] LIU Z R,WU X,ZHAO B,et al. Clothing extraction using region-based segmentation and pixel-level refinement[C]//Proceedings of the 2014 IEEE International Symposium on Multimedia. Washington:IEEE,2014:303-310.

[5] 譚洪波，侯志強(qiáng)，劉榮． 基于人類視覺模型的區(qū)域生長圖像分割[J]． 中國圖象圖形學(xué)報(bào)，2010,15(9):1352-1356．

TAN H B,HOU Z Q,LIU R. Region growing image segmentation based on human visual model[J]. Journal of Image and Graphics,2010,15(9):1352-1356．

[6] KIM G,SIM J. Depth guided selection of adaptive region of interest for Grabcut-Based image segmentation[C]//Proceedings of 2016 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference. Washington:IEEE,2016:1-4.

[7] BOYKOV Y,ISACK H,OLSSON C,et al. Volumetric bias in segmentation and reconstruction:secrets and solutions[C]//Proceedings of the IEEE International Conference on Computer Vision． Washington:IEEE,2015:1769-1777.

[8] JAYASUMANA S,HARTLEY R,SALZMANN M,et al. Kernel methods on Riemannian manifolds with Gaussian RBF kernels[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(12):2464-2477.

[9] SANGUESA A A,JORGENSEN N K,LARSEN C A,et al. Initiating GrabCut by color difference for automatic foreground extraction of passport imagery[C]//Proceedings of the 6th International Conference on Image Processing Theory,Tools and Applications. Washington:IEEE,2016:1-6.

[10] HAPP P N,BENTES C,FEITOSA R Q,et al. A cloud computing strategy for region-growing segmentation[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2016,9(12):5294-5303.

[11] KANG J,WANG L,CHEN F,et al. Identifying tree crown areas in undulating eucalyptus plantations using JSEG multi-scale segmentation and unmanned aerial vehicle near-infrared imagery[J]. International Journal of Remote Sensing,2017,38(8/9/10):2296-2312.

[12] TANG M,AYED I B,MARIN D,et al. Secrets of grabcut and kernel K-Means[C]//Proceedings of the 2015 IEEE International Conference on Computer Vision．Washington:IEEE,2015:1555-1563.

[13] KIRUTHIKAA R. An implementation of watershed based image segmentation algorithm using fpga processor[J]. International Journal of Science and Research,2013,2(12):399-402.

Foreground Extraction Algorithm Combined with Grab Cut and Region Growing for Clothing Image

TAO Binjiao, CHEN Qian*, PAN Zhongliang, LI Ping

(School of Physics & Telecommunication Engineering, South China Normal University, Guangzhou 510006, China)

Aiming at the problem of the interactive and complex background extraction effect of Grab Cut algorithm applied in the foreground retrieval of garment images in a garment retrieval system, a fully automated Grab Cut algorithm is proposed to adopt different methods to automatically generate the initial rectangle and then extract the foreground for single backgrounds and complex background images, depending on the background. As the algorithm still has under-segmentation and over-segmentation problems， a new fully automated Grab Cut algorithm combined with region growing algorithm is proposed. The results show that, the improved Grab Cut algorithm is superior to classical algorithms for both single background and complex background，and can not only accurately extract the foreground of clothing images, but also effectively reduce the over-segmentation within the images.

2017-03-24 《華南師范大學(xué)學(xué)報(bào)(自然科學(xué)版)》網(wǎng)址：http://journal.scnu.edu.cn/n

2014年廣東省科技廳公益研究與能力建設(shè)專項(xiàng)資金(2014A040401076)

*通訊作者:陳倩,講師,Email:rqjsrqjs@126.com.

TP391.41;TP751.1

A

1000-5463(2017)05-0115-05

【中文責(zé)編：莊曉瓊 英文審校：肖菁】