基于MeanShift算法的航空影像聯(lián)合分割

許佳佳

(中國(guó)科學(xué)院 長(zhǎng)春光學(xué)精密機(jī)械與物理研究所 中國(guó)科學(xué)院航空光學(xué)成像與測(cè)量重點(diǎn)實(shí)驗(yàn)室，吉林 長(zhǎng)春 130033)

1 引 言

隨著遙感技術(shù)的不斷發(fā)展進(jìn)步，如何快速高效的分析、利用遙感信息已成為一個(gè)重要研究課題。其中，對(duì)影像進(jìn)行分割是由遙感圖像處理進(jìn)入到遙感數(shù)據(jù)分析的關(guān)鍵步驟。目前，相關(guān)學(xué)者已提出了許多圖像分割方法，它們往往是針對(duì)單幀圖像進(jìn)行操作的。而在當(dāng)今的遙感應(yīng)用中，越來(lái)越多地需要對(duì)同一地區(qū)不同時(shí)相的多幀影像進(jìn)行聯(lián)合分析(如變化檢測(cè)等)。此時(shí)，若對(duì)每個(gè)時(shí)相的遙感影像進(jìn)行單獨(dú)分割，得到的對(duì)象邊緣在不同時(shí)相的影像間是難以重合的，導(dǎo)致后續(xù)的對(duì)象比較分析步驟無(wú)法進(jìn)行。為了獲得準(zhǔn)確一致的分割結(jié)果，簡(jiǎn)單的方法是將兩時(shí)相影像疊加在一起，然后再進(jìn)行分割處理。但這對(duì)高分辨率的航空影像處理是不合適的。首先，不同時(shí)相的航空影像雖然存在變化，但變化區(qū)域只是一小部分，兩時(shí)相影像間存在很大的關(guān)聯(lián)性，簡(jiǎn)單的數(shù)據(jù)疊加會(huì)產(chǎn)生大量的冗余信息，導(dǎo)致分割耗時(shí)長(zhǎng)；其次，高分辨率航空影像中豐富的空間結(jié)構(gòu)信息和紋理特征信息會(huì)導(dǎo)致分割結(jié)果雜亂無(wú)章，難以利用。因此，本文針對(duì)以上兩個(gè)分割問(wèn)題，提出了一種高分辨率航空影像聯(lián)合分割方法。該方法以MeanShift分割算法為基礎(chǔ)，采用主成分分析和紋理影像分析法剔除冗余數(shù)據(jù)，利用高斯平滑思想解決高分影像分割結(jié)果零散問(wèn)題，取得了不錯(cuò)的聯(lián)合分割效果。

2 MeanShift算法

MeanShift最初是在一篇關(guān)于概率密度梯度函數(shù)估計(jì)的文獻(xiàn)[1]中提出來(lái)的。直到1995年，另外一篇關(guān)于MeanShift的重要文獻(xiàn)[2]發(fā)表，在這篇文獻(xiàn)中，Yizong Cheng對(duì)基本的Mean Shift算法做了重要的推廣，大大擴(kuò)大了Mean Shift的適用范圍。后來(lái)，Comaniciu等人[3-4]成功地將Mean Shift推廣到特征空間分析的領(lǐng)域，在圖像分割中得到了很好的應(yīng)用。同時(shí)，Comaniciu等還證明了在滿足一定條件下，MeanShift算法一定可以收斂到最近的一個(gè)概率密度函數(shù)的穩(wěn)態(tài)點(diǎn)。MeanShift算法，一般是指一個(gè)迭代的過(guò)程，即先算出當(dāng)前點(diǎn)的漂移均值，移動(dòng)該點(diǎn)到其偏移均值，然后以此為新的起點(diǎn)，繼續(xù)移動(dòng)，直到滿足一定的條件結(jié)束[5]。

MeanShift的擴(kuò)展形式如式(1)：

(1)

其中：h為一個(gè)常系數(shù)；G(x)是一個(gè)單位核函數(shù)；w(xi)≥0是一個(gè)賦給采樣點(diǎn)xi的權(quán)重。

當(dāng)MeanShift用于影像分割時(shí)，為了綜合考慮空間信息與色彩信息，需要采用多元核函數(shù)Khs，hr來(lái)估計(jì)x的分布，Khs，hr表示如式(2)：

(2)

其中：hs，hr控制著平滑的解析度，C是一個(gè)歸一化常數(shù)。此時(shí)，MeanShift的收斂點(diǎn)表示如式(3)：

yi，j+1=

(3)

3 聯(lián)合分割

聯(lián)合分割是要同時(shí)利用兩時(shí)相遙感影像的信息，獲得一致的對(duì)象邊緣。通常不同時(shí)相的遙感影像會(huì)存在部分變化(如圖1所示)，因此聯(lián)合分割的關(guān)鍵是對(duì)多個(gè)波段數(shù)據(jù)進(jìn)行融合分析，利用盡可能少而全面的數(shù)據(jù)參與分割，提高處理效率；同時(shí)，還要考慮高分辨率影像的復(fù)雜特性，避免過(guò)分割或者分割不足。

3.1 數(shù)據(jù)綜合方式

綜合分割首先要選擇合適的數(shù)據(jù)綜合方式，主成分分析(Principal Component Analysis，PCA)是一種經(jīng)典的圖像分析方法，其基本思想為：用線性變換從原有特征得到一組個(gè)數(shù)相同的新特征，對(duì)應(yīng)的特征值依次遞減，變換后的前幾個(gè)特征就包含了原有特征的主要信息，成為主分量；這樣可以達(dá)到既保留了原有特征的主要信息，又減小了特征個(gè)數(shù)，同時(shí)將噪聲與信號(hào)分離開(kāi)來(lái)，達(dá)到了去噪的效果[6-7]。具體來(lái)講，它通過(guò)特征分量的自相關(guān)矩陣的正交特征向量矩陣對(duì)原有特征進(jìn)行重構(gòu)，去除相關(guān)性，并且找到方差、能量最大的特征，具體算法參見(jiàn)文獻(xiàn)[8]。對(duì)圖1中兩時(shí)相影像進(jìn)行波段組合后進(jìn)行主成分分析后的第一主分量如圖2所示。

圖2 第一主分量Fig.2 First principal component

如果僅僅利用灰度信息進(jìn)行分割，對(duì)于高分辨率影像來(lái)說(shuō)就浪費(fèi)了其豐富的紋理信息，因此，提取兩時(shí)相的紋理影像加以利用將會(huì)得到有效的結(jié)果[9-10]。本文采用LBP/C(Local Binary Pattern and Contrast)紋理分析方法提取紋理影像。LBP/C是Ojala于1996年提出的一種統(tǒng)計(jì)分析紋理描述方法，對(duì)紋理特征具有很強(qiáng)的區(qū)分性，并且計(jì)算較為簡(jiǎn)單，具體步驟參見(jiàn)文獻(xiàn)[11-12]。對(duì)圖1中兩時(shí)相影像分別提取的紋理圖像如圖3所示。

本文基于主分量分析及紋理分析法設(shè)計(jì)了如下數(shù)據(jù)綜合方式：疊加兩時(shí)相影像所有波段，然后對(duì)組合后的多波段影像進(jìn)行PCA變換，取第一主分量；最后分別提取兩時(shí)相影像的紋理影像，與第一主分量進(jìn)行組合，作為最后參與分割的數(shù)據(jù)(如圖4所示)。

圖3 紋理影像

圖4 第一主分量與紋理影像組合結(jié)果Fig.4 Result combined the first component with texture images

3.2 平滑對(duì)分割結(jié)果的影響

由于航空影像通常具有較高的空間分辨率，雖然便于視覺(jué)觀察，但卻為圖像處理帶來(lái)了更大的難度。在高分辨率影像上，同一地物內(nèi)部的微小差別將會(huì)表現(xiàn)得非常明顯，地物的同質(zhì)性大大降低，使得分割結(jié)果非常破碎。

從圖像分割的角度來(lái)說(shuō)，高分辨率影像上地物內(nèi)部的突出細(xì)節(jié)可以認(rèn)為是一種噪聲，它不僅使對(duì)象間原本平滑的邊界出現(xiàn)“毛刺”，也會(huì)降低對(duì)象的同質(zhì)程度，影響分割結(jié)果[13-14]。

高斯平滑是一類(lèi)根據(jù)高斯函數(shù)的形狀來(lái)選擇權(quán)值得線性平滑濾波器，能夠在去除噪聲的同時(shí)保持邊界曲線的基本形狀[15-16]。因此，在分割之前采用高斯濾波器對(duì)高分辨率影像進(jìn)行平滑處理，可大大改善分割效果。

4 實(shí)驗(yàn)與分析

4.1 不同數(shù)據(jù)綜合方式的分割實(shí)驗(yàn)

為了說(shuō)明本文數(shù)據(jù)綜合方式的有效性，在分割實(shí)驗(yàn)中設(shè)計(jì)了以下幾種數(shù)據(jù)綜合方式，其中第4種為本文提出的數(shù)據(jù)綜合方式：

(1)兩時(shí)相影像的全部波段進(jìn)行組合，形成一個(gè)6波段的影像文件；

(2)從一個(gè)時(shí)相選擇一個(gè)波段，另一個(gè)時(shí)相選擇兩個(gè)波段，然后組合；

(3)對(duì)組合后的6波段影像進(jìn)行PCA變換，取其前3個(gè)分量；

(4)對(duì)組合后的6波段影像進(jìn)行PCA變換，取第一主分量；分別提取兩時(shí)相影像的紋理影像，與第一主分量進(jìn)行組合。

對(duì)4種數(shù)據(jù)綜合方式進(jìn)行分割的結(jié)果如圖 5所示。

由圖5可以看出，6波段的分割結(jié)果非常破碎，水域以及耕地等平坦的區(qū)域被分成了很小的部分，失去了對(duì)象的意義。從兩時(shí)相影像中選擇3個(gè)波段的分割結(jié)果同樣比較破碎，而且由于缺少了另外3個(gè)波段的信息，分割結(jié)果偏向于其中一個(gè)時(shí)相，導(dǎo)致某些對(duì)象在另外一個(gè)時(shí)相上并不是一個(gè)同質(zhì)區(qū)。3個(gè)主分量的分割結(jié)果相對(duì)于前兩種綜合分割的結(jié)果有了很大的提高，但是它對(duì)亮度變化過(guò)于敏感，比如在耕地等區(qū)域，顏色稍有不同，便會(huì)被劃分成不同的對(duì)象，實(shí)際上它們的紋理是極其相似的；另外，水域與其周邊的植被在亮度特征上基本是相似，此時(shí)的分割效果非常不好。采用本文提出的數(shù)據(jù)綜合方法獲得的分割結(jié)果中，對(duì)象相對(duì)于采用3個(gè)主分量的分割結(jié)果更加完整，比較接近于實(shí)際地物的形狀，特別是在建筑物區(qū)有較大的改善；由于增加了紋理特征的約束，分割結(jié)果對(duì)亮度的變化不再過(guò)于敏感，并且在一定程度上改善了水域與其周邊植被的分割效果；另外，通過(guò)比較還可以看出，對(duì)象邊緣的準(zhǔn)確性也比前3種分割結(jié)果的好。

另外，在實(shí)驗(yàn)中也統(tǒng)計(jì)了影像分割所需要的時(shí)間，6個(gè)波段所需的時(shí)間基本上是3個(gè)波段所需時(shí)間的2倍。因此，不論從分割效果的角度還是從分割效率上來(lái)講，本文提出的數(shù)據(jù)綜合方式都具有較大的優(yōu)勢(shì)。

圖5 不同數(shù)據(jù)綜合方式的分割結(jié)果，MeanShift分割參數(shù)均相同

Fig.5 Segmentation using different joint type of image data with same parameter of MeanShift

4.2 高斯平滑分割實(shí)驗(yàn)

采用不同大小σ的高斯核函數(shù)對(duì)圖1中第一時(shí)相影像進(jìn)行高斯平滑，然后分割，結(jié)果如圖6所示。

由圖6可以看出，平滑對(duì)高分辨率影像的分割結(jié)果具有巨大的影響。未平滑影像的分割結(jié)果如(b)，分割的對(duì)象非常破碎，同一個(gè)地物通常會(huì)被分割成若干個(gè)對(duì)象。(c)為小尺度平滑后的影像，其分割結(jié)果如(d)，與(b)圖相比，對(duì)象的完整性以及整體分割效果是顯而易見(jiàn)的。隨著平滑尺度的加大，分割所得對(duì)象的數(shù)目逐漸減少，對(duì)象的尺寸在逐漸增大。當(dāng)平滑過(guò)度時(shí)，不僅會(huì)降低同一地物間的差異，也會(huì)大大減弱不同地物間的差異，此時(shí)分割結(jié)果將會(huì)過(guò)于粗獷，使得一個(gè)對(duì)象內(nèi)包含兩種或多種地物，如圖(f)。另外，過(guò)度平滑會(huì)使影像的邊緣變得非常模糊，使分割所得對(duì)象的邊緣產(chǎn)生較大的偏移，而小尺度平滑后分割所得對(duì)象的邊緣偏移較小，對(duì)分割結(jié)果幾乎沒(méi)有影響。因此，總體來(lái)說(shuō)，對(duì)影像進(jìn)行合適的平滑是必要的，有利于改善分割的效果。

圖6 不同平滑尺度的影像分割結(jié)果，MeanShift分割參數(shù)均相同

Fig.6 Segmentation using different scale image with same parameter of MeanShift

在兩時(shí)相影像的綜合分割中，采用的是亮度影像與紋理影像組合的形式，前文的實(shí)驗(yàn)已經(jīng)證明對(duì)亮度影像平滑將會(huì)很大程度上改善分割效果。接下來(lái)，實(shí)驗(yàn)分析了平滑紋理影像對(duì)分割結(jié)果的影響。圖7顯示了平滑紋理影像與未平滑紋理影像分別與第一主分量進(jìn)行組合后的綜合分割結(jié)果。需要注意的是，這里平滑后的紋理影像指的是在平滑后的亮度影像上提取的紋理影像而不是直接對(duì)提取的紋理影像進(jìn)行平滑。

圖7 平滑紋理影像對(duì)分割結(jié)果的影響，MeanShift分割參數(shù)均相同

Fig.7 Segmentation using origin texture images and smoothed teture images with same parameter of MeanShift

由圖7中兩組分割結(jié)果的比較可以看出，是否采用平滑的紋理影像對(duì)分割結(jié)果也有很大的影響，采用平滑后紋理影像進(jìn)行組合的分割結(jié)果顯得分割不足，對(duì)象過(guò)大，同一個(gè)對(duì)象中出現(xiàn)了不同的地物。這可能是因?yàn)楸疚牟捎玫牟ǘ谓M合方式中，紋理影像占了較大的比重，而影像平滑主要減弱了地物的細(xì)節(jié)特征，影響最大的就是紋理。因此，影像平滑后提取的紋理影像大大降低了地物之間的差異性，使得組合后影像中地物之間的差異也不夠明顯，導(dǎo)致分割不足。所以，采用未平滑的紋理影像進(jìn)行組合更加合理。

5 結(jié) 論

基于MeanShift分割算法，提出了一種多時(shí)相高分辨率航空影像聯(lián)合分割方法。該方法包括若干種數(shù)據(jù)綜合方式，通過(guò)實(shí)驗(yàn)比較證明：對(duì)濾波后影像進(jìn)行波段組合，然后進(jìn)行主成分分析，提取第一主分量作為灰度分量；再分別對(duì)兩時(shí)相影像進(jìn)行紋理分析，提取兩時(shí)相紋理影像與灰度分量進(jìn)行組合這種數(shù)據(jù)綜合方式能夠取得較好的分割效果。

[1] Fukunaga K，Hostetler L. The estimation of the gradient of a density function，with applications in pattern recognition[J].IEEETransactionsonInformationTheory，1975，21(1)：32-40.

[2] Yizong C. Mean shift，mode seeking，and clustering [J].IEEETransactionsonPatternAnalysisandMachineIntelligence，1995，17 (8)：790-799.

[3] Comaniciu D，Meer P. Mean shift：a robust approach toward feature space analysis [J].IEEETransactionsonPatternAnalysisandMachineIntelligence，2002，24 (5)：603-619.

[4] Comaniciu D，Ramesh V，Meer P. Real-time tracking of non-rigid objects using mean shift [C].IEEEConferenceonComputerVisionandPatternRecognition，2000：142-149.

[5] 張宇洋，劉滿華，韓韜. 基于Mean Shift圖像分割和支持向量機(jī)判決的候梯人數(shù)視覺(jué)檢測(cè)系統(tǒng)[J]. 光學(xué) 精密工程，2013，21(4)：1079-1085.

Zhang Y Y，Liu M H，Han T. Elevator-waiting people counting system based on mean shift segmentation and SVM classification [J].Opt.PrecisionEng.，2013，21 (4)：1079-1085. (in Chinese)

[6] Ran H，Bao-Gang H，Wei-Shi Z，etal. Robust principal component analysis based on maximum correntropy criterion [J].IEEETransactionsonImageProcessing，2011，20 (6)：1485-1494.

[7] 李海森，張艷寧，姚睿，等. 基于主成分分析的直線運(yùn)動(dòng)模糊參數(shù)估計(jì)[J]. 光學(xué) 精密工程，2013，21(10)：2656-2663.

Li H S，Zhang Y N，Yao R，etal. Parameter estimation of linear motion blur based on principal component analysis[J].Opt.PrecisionEng.，2013，21(10)：2656-2663. (in Chinese)

[8] 魏旭. 基于主成分分析的特征融合及其應(yīng)用[D]. 成都：電子科技大學(xué)，2008.

Wei X. Research on methods and applications of image feature fusion based on PCA [D].Chengdu：University of Electronic Science and Technology of China，2008. (in Chinese)

[9] 韓延祥，張志勝，郝飛，等. 灰度序列圖像中基于紋理特征的移動(dòng)陰影檢測(cè)[J]. 光學(xué) 精密工程，2013，21(11)：2931-2942.

Han Y X，Zhang Z S，Hao F，etal. Shadow detection based on texture features in gray sequence images [J].Opt.PrecisionEng.，2013，21(11)：2931-2942. (in Chinese)

[10] 張來(lái)剛，魏仲慧，何昕，等. 面向低紋理圖像的快速立體匹配[J]. 液晶與顯示，2013，28(3)：450-458.

Zhang L G，Wei Z H，He X，etal. New stereo matching method based edge extration[J].ChineseJournalofLiquidCrystalsandDisplays，2013，28(3)：450-458. (in Chinese)

[11] Ojala T，Pietikainen M，Harwood D. A comparative study of texture measures with classification based on feature distributions[J].PatternRecognition，1996，29 (1)：51-59.

[12] Hu X Y，Tao C V，Prenzel B. Automatic segmentation of high-resolution satellite imagery by integrating texture，intensity，and color features[J].PhotogrammEng.Rem.S，2005，71(12)：1399-1406.

[13] 吳笑天，魯劍鋒，賀柏根，等. 霧天降質(zhì)圖像的快速?gòu)?fù)原[J]. 中國(guó)光學(xué)，2013，6 (6)：892-899.

Wu X T，Lu J F，He B G，etal. Fast restoration of haze-degraded image [J].ChineseOptics，2013，6(6)：892-899. (in Chinese)

[14] 朱明，楊航，賀柏根，等.聯(lián)合梯度預(yù)測(cè)與導(dǎo)引濾波的圖像運(yùn)動(dòng)模糊復(fù)原[J]. 中國(guó)光學(xué)，2013，6(6)：850-855.

Zhu M，Yang H，He B G，etal. Image motion blurring restoration of joint gradient prediction and guided filter[J].ChineseOptics，2013，6(6)：850-855. (in Chinese)

[15] 閆輝，許廷發(fā)，吳青青，等. 多特征融合匹配的多目標(biāo)跟蹤[J]. 中國(guó)光學(xué)，2013，6 (2)：163-170.

Yan H，Xu T F，Wu Q Q，etal. Multi-object tracking based on muli-feature joint matching [J].ChineseOptics，2013，6(2)：163-170. (in Chinese)

[16] 龔俊亮，何昕，魏仲慧，等. 基于貝葉斯估計(jì)的剪切波域局部自適應(yīng)圖像去噪[J]. 液晶與顯示，2013，28 (5)：799-804.

Gong J L，He X，Wei Z H，etal. Local adaptive image denoising based on bayesian estimation in shearlet domain[J].ChineseJournalofLiquidCrystalsandDisplays，2013，28(5)：799-804. (in Chinese)