基于擴(kuò)展CENTRIST的遙感場(chǎng)景分類(lèi)

馬 瑾 袁寶華* 王 歡

1(南京理工大學(xué)泰州科技學(xué)院計(jì)算機(jī)科學(xué)與工程學(xué)院 江蘇 泰州 225300)2(南京理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 江蘇 南京 210094)

0 引 言

隨著各種衛(wèi)星傳感器的不斷發(fā)展，獲取高分辨率遙感圖像數(shù)據(jù)變得越來(lái)越容易，這些高分辨率遙感圖像通常具有豐富的空間布局信息和紋理結(jié)構(gòu)，這對(duì)識(shí)別不同的土地利用場(chǎng)景類(lèi)別有很大幫助。根據(jù)一組語(yǔ)義類(lèi)別對(duì)場(chǎng)景圖像進(jìn)行分類(lèi)是一個(gè)非常具有挑戰(zhàn)性的問(wèn)題，因?yàn)榻o定類(lèi)別的土地覆蓋特征可能表現(xiàn)出很大的變化，并且物體可能出現(xiàn)在不同的尺度和方向上。

CENTRIST作為一種描述局部紋理結(jié)構(gòu)的特征，已經(jīng)在紋理分類(lèi)、圖像檢索和人臉圖像分析等領(lǐng)域被廣泛應(yīng)用[1-8]。Chu等[8]設(shè)計(jì)了彩色CENTRIST(cCENTRIST)描述符，將顏色信息嵌入到CENTRIST的框架中，提升了對(duì)彩色信息的獲取能力。Xiao等[7]提出了一種多通道CENTRIST(mCENTRIST)描述符，用于多通道圖像的不同通道互補(bǔ)信息的獲取。由于CENTRIST中僅涉及局部區(qū)域中像素的符號(hào)分量，Meng等[5]提出將局部區(qū)域像素的差異數(shù)值分量和符號(hào)分量?jī)蓚€(gè)部分，共同組合成局部差分二值模式(LDBP)。大量研究表明具有幾何和光度變換不變性的局部描述符在遙感場(chǎng)景分類(lèi)中是有效的[9-11]。近年來(lái)，Chen等[10]提出多尺度的完整局部二值模式(Multi-scale Completed Local Binary Patterns，MS-CLBP)，從多分辨率遙感圖像中獲得紋理特征，提高場(chǎng)景識(shí)別精度；文獻(xiàn)[11]提出基于局部二值模式(Local Binary Pattern，LBP)和局部相位量化(Local Phase Quantization，LPQ)描述符的組合對(duì)高分辨率遙感圖像的紋理進(jìn)行表征，并將其應(yīng)用到土地覆蓋分類(lèi)中。

考慮到CENTRIST描述符的鄰域僅為3×3，鄰域像素個(gè)數(shù)僅為8個(gè)，限制了其對(duì)空間特征的表達(dá)能力，因此本文提出一種擴(kuò)展CENTRIST(eCT)紋理描述符進(jìn)行高分辨率遙感場(chǎng)景的識(shí)別方法。該描述符由三種不同模式的算子構(gòu)成，擴(kuò)展了更大的空間區(qū)域，能夠獲取不同結(jié)構(gòu)的紋理特征。該算子易于實(shí)現(xiàn)，無(wú)須調(diào)整參數(shù)并且可以快速運(yùn)行。通過(guò)將三種子模式的算子提取的特征進(jìn)行融合，形成圖像最終的特征向量，然后通過(guò)譜回歸判別分析進(jìn)行分類(lèi)識(shí)別。同時(shí)為了挖掘不同通道的圖像信息，提出一種多通道的擴(kuò)展CENTRIST融合機(jī)制(meCT)，可以充分利用多通道信息互補(bǔ)的優(yōu)勢(shì)，獲取圖像的不同通道的紋理特征，提高分類(lèi)結(jié)果的準(zhǔn)確性。

1 相關(guān)知識(shí)

1.1 CENTRIST算子

CENTRIST是對(duì)圖像進(jìn)行Census變換的直方圖特征，它能夠表征圖像的局部和全局信息。Census變換表示3×3區(qū)域的中心像素及其八鄰域像素灰度值之間的大小關(guān)系[4]。將鄰域的像素灰度值與中心像素灰度值進(jìn)行閾值化操作，順時(shí)針?lè)较虻玫蕉M(jìn)制數(shù)，最后將其轉(zhuǎn)換為十進(jìn)制數(shù)來(lái)作為該像素的Census值，如圖1所示。

圖1 Census變換

通過(guò)圖像的單次掃描就能完成Census變換的計(jì)算，是一種非參數(shù)變換。它是一種鄰域與中心對(duì)比度的映射關(guān)系。假定中心像素為(xc,yc)，則Census變換表示為：

(1)

式中：gc代表區(qū)域中心像素的灰度值;gp代表區(qū)域周?chē)袼氐幕叶戎?。s(x)函數(shù)定義如下：

(2)

這些Census變換值的統(tǒng)計(jì)直方圖就形成了該圖像的CENTRIST特征。

1.2 譜回歸判別分析

當(dāng)樣本的個(gè)數(shù)遠(yuǎn)大于類(lèi)別數(shù)時(shí)，LDA無(wú)法進(jìn)行求解，為了避免特征分解問(wèn)題，Cai等[12]提出了譜回歸判別分析算法，將LDA統(tǒng)一到圖嵌入框架中求解。SRDA通過(guò)式(3)、式(4)求解。

Wy=λy

(3)

(4)

求解式(3)得到y(tǒng)，找到能夠滿(mǎn)足式(4)的a。

(5)

式中:yi是y的第i個(gè)元素。

當(dāng)訓(xùn)練樣本個(gè)數(shù)大于樣本維數(shù)時(shí)，通過(guò)式(6)求解。

(6)

式中:ε≥0為正則化因子;I為單位矩陣。

反之，如果樣本個(gè)數(shù)小于樣本維數(shù)時(shí)，則通過(guò)式(7)求解。

(7)

(8)

式中：L為上三角矩陣。假設(shè)SRDA的投影矩陣為A=[a1,a2,…,ad]∈Rn×d，通過(guò)變換zi=ATxi，從而使X向量的投影到低維空間Z∈Rd(d?n)。

2 基于擴(kuò)展CENTRIST的場(chǎng)景分類(lèi)算法

2.1 eCT算子

CENTRIST進(jìn)行圖像分類(lèi)主要依賴(lài)于Census變換，而Census變換僅僅在3×3的鄰域上進(jìn)行運(yùn)算，如此小的空間尺度區(qū)域影響其表達(dá)能力，因此需提高其空間尺度，獲取更大區(qū)域的信息，從而提升Census變換的表達(dá)能力。

將鄰域尺寸擴(kuò)大到5×5，其鄰域像素的個(gè)數(shù)增加到24個(gè)，如果按照基本Census變換會(huì)產(chǎn)生24位二進(jìn)制，轉(zhuǎn)換成十進(jìn)制則大小范圍是[0,224]。在實(shí)際應(yīng)用中，CENTRIST的維度將過(guò)大，通常是不可接受的。如何既能獲取到更多的區(qū)域信息，又不增加CENTRIST的維度，成為一種挑戰(zhàn)。為此，提出擴(kuò)展的CENTRIST算子，其基本思想就是將5×5區(qū)域的Census分割成3個(gè)不同結(jié)構(gòu)的區(qū)域，每個(gè)區(qū)域通過(guò)變換的Census進(jìn)行表示，如圖2所示，每個(gè)區(qū)域的紋理表示為一種子模式。

圖2 擴(kuò)展CENTRIST的三個(gè)不同子模式

將5×5的區(qū)域分成圖中所示不同的子模式，每種子模式的結(jié)構(gòu)不同，能夠表示不同形式的紋理信息。而三個(gè)子模式的像素均為8個(gè)，這樣就能轉(zhuǎn)換到基本的Census變換。通過(guò)這樣的分割，原先CENTRIST的維度224，就分解為3×28，維度大大減少，即擴(kuò)展了更大的區(qū)域，而維度又沒(méi)有顯著增加。eCT與CENTRIST的不同點(diǎn)在于：(1) 鄰域范圍不同，eCT鄰域范圍更大，大小為5×5，而CENTRIST鄰域大小為3×3；(2) eCT三種子模式的結(jié)構(gòu)分別呈現(xiàn)十字形、交叉形、圓形，能夠獲取不同結(jié)構(gòu)的紋理特征，而CENTRIST的結(jié)構(gòu)固定，類(lèi)似于正方形邊緣；(3) eCT特征維數(shù)是CENTRIST的三倍。

2.2 meCT算子

相比于灰度圖像，彩色圖像包含更多的信息，為了更好地挖掘不同通道信息，提出meCT算子。

圖3 多通道的擴(kuò)展Census變換金字塔

通過(guò)這樣的方式，融合兩個(gè)通道的子模式meCT1。按照相同的方式，融合第二個(gè)子模式meCT2和第三個(gè)子模式meCT3，然后將三個(gè)子模式的直方圖串接成meCT直方圖。為了降低多通道的特征維數(shù)，后續(xù)采用降維(例如：PCA)操作。meCT特征的提取過(guò)程如圖4所示。

圖4 meCT特征提取

meCT遙感場(chǎng)景分類(lèi)算法的主要流程，如圖5所示。首先將輸入圖像分解成多通道圖像，每個(gè)通道表征不同的圖像信息；然后通過(guò)金字塔匹配核將圖像不斷細(xì)化成相同大小的圖像塊，獲得圖像的多尺度信息；利用eCT算子獲得每個(gè)圖像塊直方圖特征，按照meCT方式形成最終的圖像全局特征；最后利用分類(lèi)器進(jìn)行分類(lèi)識(shí)別。

圖5 meCENTRIST遙感場(chǎng)景分類(lèi)的主要流程

3 實(shí) 驗(yàn)

為了驗(yàn)證基于eCT遙感場(chǎng)景特征表達(dá)方法的有效性，本節(jié)在UC Merced標(biāo)準(zhǔn)遙感圖像庫(kù)進(jìn)行場(chǎng)景分類(lèi)實(shí)驗(yàn)。實(shí)驗(yàn)比較了eCT三種子模式的分類(lèi)性能，表明三種模式的特征互補(bǔ)性。實(shí)驗(yàn)驗(yàn)證多通道下的meCT的分類(lèi)性能并與現(xiàn)有的具有較高分類(lèi)性能的場(chǎng)景分類(lèi)方法進(jìn)行了比較。另外，實(shí)驗(yàn)從訓(xùn)練時(shí)間、分類(lèi)效果上比較了SR-KDA和SVM分類(lèi)器的性能。

3.1 UC Merced數(shù)據(jù)庫(kù)

UC Merced 數(shù)據(jù)集是常用的高分辨率遙感圖像公共數(shù)據(jù)集，被廣大研究者普遍接受，其共有2 100幅圖像，分為21個(gè)場(chǎng)景類(lèi)別，每個(gè)類(lèi)別有100幅圖像，每幅圖像大小為256×256。圖6為UC Merced部分示例圖。

圖6 UC Merced數(shù)據(jù)集示例圖

3.2 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)中采用從數(shù)據(jù)集中隨機(jī)選擇訓(xùn)練和測(cè)試樣本集，將每類(lèi)100幅圖像分為五等份，四份作為訓(xùn)練樣本，其余的作為測(cè)試樣本。實(shí)驗(yàn)中采用5次交叉驗(yàn)證方法，所有實(shí)驗(yàn)的識(shí)別率的平均值作為最后的分類(lèi)性能。實(shí)驗(yàn)中采用空間金字塔模型如2.2節(jié)所述。

為了評(píng)估提出的eCT算子的有效性，將其與另外兩個(gè)算子進(jìn)行比較。一個(gè)是CENTRIST；另一個(gè)是LDBP[5]，是CT的擴(kuò)展版本，采用了符號(hào)和幅度信息。此外還比較了不同分類(lèi)器對(duì)于實(shí)驗(yàn)的影響。在SR-KDA分類(lèi)器中采用多項(xiàng)式核函數(shù)，參數(shù)d=9，L2正則參數(shù)設(shè)為0.001。SVM分類(lèi)器采用公開(kāi)的機(jī)器學(xué)習(xí)包(LIBSVM)[6]。SR-KDA則采用公開(kāi)的譜回歸核判別分析包。實(shí)驗(yàn)環(huán)境如下：I5 Quadcore (3.1 GHz)， 內(nèi)存8 GB，MATLAB編程環(huán)境。

為了評(píng)估m(xù)eCT的性能，比較了5個(gè)多通道描述符：(1) mCENTRIST[7]，場(chǎng)景分類(lèi)中的多通道的特征生成機(jī)制。(2) cCENTRIST[8]，一種適用于HSV顏色空間的擴(kuò)展CENTRIST。(3) mGISTs[13]，直接從多通道獲取場(chǎng)景的串聯(lián)GIST特征。(4) mSIFT[13]，從多通道直接串聯(lián)SIFT特征。(5) msSIFT[14]，從多通道串聯(lián)SIFT特征，后續(xù)通過(guò)PCA降維處理。

3.3 實(shí)驗(yàn)分析

3.3.1eCT有效性

為了驗(yàn)證eCT描述符的有效性，首先驗(yàn)證分別采用三個(gè)獨(dú)立的子模式描述符進(jìn)行遙感場(chǎng)景分類(lèi)識(shí)別實(shí)驗(yàn)。實(shí)驗(yàn)表明三種不同的子模式能夠獲取不同的區(qū)域信息，三種獨(dú)立子模式分別為sub-eCT1、sub-eCT2和sub-eCT3，分類(lèi)器采用SR-KDA。UC Merced數(shù)據(jù)集中圖像是彩色圖像，首先將圖像的顏色空間進(jìn)行轉(zhuǎn)換RGB->YCbCr，然后采用Y分量(亮度)作為灰度圖像。

由表1發(fā)現(xiàn)sub-eCT2相比于其他兩個(gè)描述符能夠獲得較好的識(shí)別率。圖7為三種模式的描述符在每類(lèi)上的識(shí)別率。在大多數(shù)類(lèi)上，三種子模式描述符有相似的結(jié)果。在“叢林”類(lèi)上，sub-eCT1能獲得較高的識(shí)別率。而在“沙灘”“網(wǎng)球場(chǎng)”“移動(dòng)家庭公園”“高爾夫球場(chǎng)”sub-eCT2獲得最好的結(jié)果。在“建筑物”“中密度住宅區(qū)”“停車(chē)場(chǎng)”“河流”類(lèi)中，sub-eCT3獲得最好的結(jié)果。每種sub-eCT描述符在不同的類(lèi)別上都各有所長(zhǎng)，單純地依靠其中一個(gè)算子并不能在所有類(lèi)別上都能表現(xiàn)很好。三個(gè)子描述符之間相互獨(dú)立且包含互補(bǔ)信息，因此通過(guò)融合這三個(gè)特征，能夠獲得更好的識(shí)別率。

表1 三種子模式的識(shí)別率 %

圖7 三種子描述符在每個(gè)類(lèi)別上的識(shí)別率

3.3.2與CENTRIST和LDBP算子的分析比較

在直方圖的空間金字塔中，從三個(gè)不同的層次級(jí)別上描述了場(chǎng)景：eCT包含關(guān)于像素級(jí)別的信息；區(qū)域直方圖產(chǎn)生區(qū)域級(jí)的信息；將區(qū)域直方圖串聯(lián)以構(gòu)建場(chǎng)景的全局描述。實(shí)驗(yàn)結(jié)果見(jiàn)表2，eCT能獲得比CENTRIST和其他算子更高的識(shí)別率，達(dá)到84.52%。這也進(jìn)一步表明，eCT算子相比其他算子能夠獲得更多的紋理特征，從而獲得較好的識(shí)別效果。采用SR-KDA分類(lèi)器相比SVM，識(shí)別率能夠提高3個(gè)百分點(diǎn)。

表2 不同算子分類(lèi)性能的比較 %

CENTRIST和eCT的每類(lèi)識(shí)別率如圖8所示。在大多數(shù)類(lèi)中，eCT能夠獲得比CENTRIST更高的識(shí)別率。

圖8 CENTRIST和eCENTRIST在每個(gè)類(lèi)別上的識(shí)別率

3.3.3meCT有效性

本節(jié)實(shí)驗(yàn)設(shè)置采用與文獻(xiàn)[8-9]中相同的設(shè)置保證實(shí)驗(yàn)的公平性。如表3所示，meCT在多通道情況下都能夠獲得最好的識(shí)別率。通過(guò)增加通道信息，能夠提高分類(lèi)性能，這是因?yàn)橥ǖ赖脑龆啾厝荒軌驈母嗟慕嵌热カ@取場(chǎng)景特征。實(shí)驗(yàn)結(jié)果表明,由于eCT算子能夠獲得豐富的紋理特征，同樣在多通道的融合中，meCT也能在不同的通道信息融合過(guò)程中獲得不同通道互補(bǔ)的紋理信息，融合后其效果比其他算子表現(xiàn)更好。

表3 不同多通道描述符在UC Merced數(shù)據(jù)集上的分類(lèi)結(jié)果 %

mCT和meCT在每個(gè)類(lèi)別上的識(shí)別率如圖9所示?？梢钥闯鰉eCT在17個(gè)類(lèi)別中性能優(yōu)于mCT，表明多通道的圖像對(duì)大部分類(lèi)別的識(shí)別率提高是有益的?？傮w上meCT方法能獲得較好的結(jié)果，特別在沙灘、叢林和森林，這些類(lèi)別中能夠100%識(shí)別。

圖9 mCENTRIST和meCT在每個(gè)類(lèi)別上的識(shí)別率

meCT的混淆矩陣如圖10所示，在這些類(lèi)別對(duì)中會(huì)有混淆，如建筑物和密集居民區(qū)、密集居民區(qū)和中密度居民區(qū)、建筑物和油罐。除此之外，有些類(lèi)別有明顯的形狀特征，比如：建筑物和油罐，將來(lái)可以考慮利用這些形狀特征來(lái)進(jìn)行識(shí)別。

圖10 meCT在UC Merced數(shù)據(jù)集上的混淆矩陣

不同描述符特征提取的時(shí)間如表4所示?？梢钥闯觯琺eCT執(zhí)行效率要高于mSIFT、msSIFT和mGIST，低于mCT。在這些方法中，meCT能夠兼顧計(jì)算效率和鑒別能力。

表4 不同的多通道描述符特征提取時(shí)間的比較

為了驗(yàn)證所提出meCT的有效性，將其在UC Merced數(shù)據(jù)集上的分類(lèi)性能與在類(lèi)似實(shí)驗(yàn)設(shè)置下文獻(xiàn)中報(bào)告的方法進(jìn)行比較(即將每個(gè)類(lèi)別80%的圖像用作訓(xùn)練，剩余的20%圖像用作測(cè)試)。meCT模型優(yōu)于其他方法，如表5所示。meCT的精度比基于BOW框架的最好方法(PSR)還高2個(gè)百分點(diǎn)。使用多尺度CLBP(MS-CLBP1)描述符[10]的特征提取方法的精度比meCT低1個(gè)百分點(diǎn)。采用四種圖像特征進(jìn)行融合的方法[20]精度比meCT低1.7個(gè)百分點(diǎn)。meCT僅采用eCT特征，并且沒(méi)有融合其他特征，如果考慮更多特征，精度可能會(huì)更高。

表5 不同方法在UC Merced數(shù)據(jù)集上的分類(lèi)精度(mean±SD)比較

與UC Merced數(shù)據(jù)集中其他方法的對(duì)比結(jié)果，證明了本文模型對(duì)遙感土地利用分類(lèi)的有效性。這可能是因?yàn)檫b感場(chǎng)景比自然場(chǎng)景具有更多的規(guī)則結(jié)構(gòu)體，并且擅長(zhǎng)捕捉場(chǎng)景的結(jié)構(gòu)屬性。最重要的是，該方法保留了CENTRIST的優(yōu)點(diǎn)，例如更快的速度和更容易實(shí)現(xiàn)。

4 結(jié) 語(yǔ)

針對(duì)目前CENTRIST算子的鄰域3×3范圍較小，不能充分表達(dá)主要區(qū)域特征，提出一種擴(kuò)展CENTRIST紋理算子用于場(chǎng)景識(shí)別的全局圖像特征的方法。eCT由三個(gè)獨(dú)立的子模式運(yùn)算符組成，三個(gè)子模式結(jié)構(gòu)不同，捕獲的紋理信息也不相同，它們之間包含補(bǔ)充信息，滿(mǎn)足了遙感場(chǎng)景分類(lèi)所需的特性，實(shí)現(xiàn)了較好的分類(lèi)性能。此外，本文方法保留了CENTRIST的優(yōu)點(diǎn)，易于實(shí)現(xiàn)，幾乎沒(méi)有參數(shù)可以調(diào)整，并且可以快速運(yùn)行。最后，為了能夠從多個(gè)通道圖像中獲得互補(bǔ)信息，提出meCT多通道融合機(jī)制，相比于傳統(tǒng)的多通道串接方法，其能夠獲得良好的分類(lèi)性能。