基于視覺注意的遙感圖像森林植被紋理分割

(遼寧師范大學 計算機與信息技術學院,遼寧 大連 116029)

0 概述

森林植被是構成生態(tài)系統(tǒng)不可或缺的部分,同時也是人類生存和發(fā)展的重要條件之一。隨著遙感技術的高速發(fā)展,使用從遙感影像中獲得的數(shù)據(jù)提取森林植被信息是當前一種重要、有效的技術措施,為大面積調查、檢測和分析森林資源提供了基礎條件。由于高分辨率遙感圖像中地物的紋理和結構等信息十分豐富,因此結合紋理結構提取和分類森林植被信息已經(jīng)成為一種趨勢。文獻[1]結合光譜、紋理和形狀結構信息分割森林植被,改善了分割質量。但該方法適合具有明顯幾何形狀特征的城區(qū)影像,且鄰接圖區(qū)域合并停止閾值易受形狀參數(shù)影響導致欠分割。文獻[2]提出結合光譜和紋理特征的分割方法,提高了不同地物目標的分割效率和準確度。但該方法屬于單一層次的多分類方法,不能充分利用不同目標的紋理信息和尺度精準分割。文獻[3]結合視覺注意方法,通過設計基于反饋卷積神經(jīng)網(wǎng)絡的結構,使神經(jīng)元能夠自上而下地捕捉視覺注意,明顯提高了分割效率,但該方法對感興趣區(qū)域邊界不清晰的情況分割精度不高。文獻[4]提出基于視覺注意的森林植被多尺度分割方法,以多尺度視覺注意算子的最大值為圓心建立顯著圖圓盤(Salient Image Disk,SID)模型標記樹冠。該方法可有效提高分割效率,但由于不能充分利用森林植被紋理信息,因此難以提高分割精度。

本文研究基于視覺注意的森林區(qū)域多尺度分割方法,并在此基礎上利用樹冠的紋理信息構建一個多尺度樹冠SID模型,其中包括2種面向視覺注意目標的紋理濾波方法,用于準確標記典型樹冠。同時通過改進的區(qū)域生長算法,以多尺度樹冠SID為種子生長出森林植被區(qū)域,從而提高森林植被分割的準確率。

1 視覺注意機制與森林植被紋理

1.1 視覺注意機制

視覺注意是視覺對一定對象的指向和集中,是伴隨著知覺、記憶、思維和想象等過程的一種心理特征。面對一個復雜的場景,人類視覺系統(tǒng)會迅速被少數(shù)顯著對象所吸引,視覺注意選擇感興趣的對象并優(yōu)先處理它們,這個過程被稱為選擇性視覺注意[5]。場景中亮度、顏色和方向等方面具有快速變化的區(qū)域,會擁有更高的注意優(yōu)先級[6]。在圖像處理研究領域中,大量關于顯著點的研究表明,基于視覺注意的方法能夠使人們非?？焖俸蜏蚀_地找到圖像中的顯著區(qū)域[7-8]。視覺心理學研究表明人類視覺系統(tǒng)選擇性注意包括2種機制:bottom-up視覺注意機制和top-down視覺注意機制。bottom-up是原始快速機制,也稱數(shù)據(jù)驅動方式,是不帶主觀目的的,僅從圖像顏色亮度等特征去觀察;top-down屬于高級認知機制,也稱任務驅動方式,是從先驗知識的角度看待圖像。將視覺注意機制引入到圖像處理領域,用于實現(xiàn)圖像分析和目標分割等處理,目前已經(jīng)取得了很好的效果。在文獻[4]提出的基于視覺注意的森林區(qū)域多尺度分割方法中,采用的是bottom-up視覺注意機制,其以區(qū)域形狀和灰度對比度作為顯著區(qū)域選擇條件,分割效果較好。

遙感圖像森林植被的分割如果采用top-down視覺注意機制,可以在遙感圖像森林紋理先驗知識的支持下,結合樹冠紋理形成更完善的顯著區(qū)域選擇條件。同時面向樹冠紋理采用適當?shù)臑V波方法增強紋理信息,使樹冠與其他地物目標的區(qū)分度加大,最終實現(xiàn)森林植被的理想分割。

1.2 森林植被紋理

遙感圖像森林植被紋理由分布在空間位置上反復出現(xiàn)的灰度形成,習慣上把圖像中這種局部看似不規(guī)則而宏觀有規(guī)律的特性稱為紋理[9]。圖像處理中的紋理通常被理解為某種灰度基元的重復排列,其描述包括灰度基元和灰度基元間的相互關系。在觀察者視覺感受中,起主要作用的紋理特征為周期性、方向性、粗糙度和一致性等。

森林植被以高大的喬木為主體,也包含部分低矮的灌木。在遙感圖像中,森林植被呈簇狀和成片分布,其紋理具有高頻隨機的空間結構,同一區(qū)域的森林植被受樹種和光照等因素的影響,會有較弱的方向一致性。樹冠是喬木或灌木樹干以上的部分,由若干樹枝構成,橫斷面形狀近似視為圓形。樹冠呈簇團狀結構,中心與周圍對比度明顯,灰度分布均勻,結構的細節(jié)以灰度躍變形成的線條為主[10]。由于樹冠是遙感圖像森林植被的典型紋理單元,具有突出的結構紋理特征,因此顯然應作為森林植被區(qū)域的視覺注意目標。SID模型是一個基于視覺注意機制的多尺度視覺顯著區(qū)域表達模型,可以用于標記遙感圖像中的樹冠[11]。遙感圖像中樹冠的形狀和樹冠及陰影的灰度分布關系等屬性非常適合用多尺度SID模型來描述。但是,遙感圖像中會存在與樹冠形狀相似的其他易混淆地物,如圓形建筑物和水坑等,它們同樣可以被多尺度SID描述。因此,只有將樹冠的結構紋理描述補充到傳統(tǒng)的多尺度SID模型中,才能有效地排除易混淆地物。另外,采用雙邊濾波和高斯拉普拉斯濾波方法也可以有針對性地增強森林植被區(qū)域的樹冠紋理信息。將2種紋理濾波處理加入到SID模型中,可使模型的紋理表達能力得到明顯增強。

1.3 多尺度樹冠SID模型

圖1 多尺度樹冠SID模型示意圖

在紋理濾波的前提下,用多尺度樹冠SID標記典型樹冠的過程是以多尺度樹冠注意算子為基礎進行的。如果多尺度樹冠注意算子在尺度范圍R內的值超過預設閾值,則在當前點(i,j)處選取最大ρ值建立多尺度樹冠SID模型標記樹冠。利用多尺度樹冠SID標記樹冠的具體流程見圖2。

圖2 利用多尺度樹冠SID標記樹冠的流程

多尺度樹冠注意算子包含的主要計算有S區(qū)域與Q區(qū)域灰度對比度、S區(qū)域同質性和S區(qū)域兩方向灰度差分均值,其計算過程是在對圖像分別進行LoG濾波和雙邊濾波之后進行的。多尺度樹冠注意算子MMTA(i,j,ρ)計算公式如下:

kMLoG(i,j,ρ)

(1)

式(1)中第1項是樹冠形狀描述,第2項是樹冠區(qū)域內樹枝紋理描述。其中,ρ表示樹冠尺度,R為樹冠尺度范圍,CLoG和CBil分別是LoG濾波和雙邊濾波后S區(qū)域與Q區(qū)域的對比度,DBil為雙邊濾波后S區(qū)域內灰度均方差,MLoG是LoG濾波后S區(qū)域內兩方向灰度差分均值,k是公式第2項的約束系數(shù),用于控制兩項之間的比例。尺度ρ下的局部對比度CLoG(i,j,ρ)和CBil(i,j,ρ)描述S區(qū)域與Q區(qū)域間的灰度對比度,計算公式如下:

(2)

其中,i和j是S區(qū)域中心位置的橫縱坐標,m和n表示Q區(qū)域的橫縱坐標,f(m,n)是Q區(qū)域(m,n)處像素點的灰度值,fe是S區(qū)域像素點的灰度均值,N1是Q區(qū)域的像素點總數(shù)。

尺度ρ下的S區(qū)域同質性描述DBil(i,j,ρ)的計算公式如下:

(3)

其中,i和j是S區(qū)域中心位置的橫縱坐標,m和n是Q區(qū)域的橫縱坐標,f(m,n)是S區(qū)域(m,n)處像素點的灰度值,fe是S區(qū)域像素點的灰度均值,N2是S區(qū)域的像素點總數(shù)。

為避免尺度范圍R內的易混淆地物被錯誤地標記為樹冠,需要排除紋理光滑的目標和全局紋理不一致的目標。前者可用兩方向灰度差分均值排除,后者可用兩方向灰度差分均值和式(3)共同排除。尺度ρ下的兩方向差分均值MLoG(i,j,ρ)計算公式如下:

p(i,j,ρ,dy,L)]

(4)

在點(i,j)處,R范圍內的不同尺度可得到不同的MTA(i,j,ρ)值,滿足判定條件的MMTA(i,j,ρ)所對應的最大ρ值作為多尺度樹冠SID的直徑,同時該點被選為特征點,即多尺度樹冠SID的圓心。判定條件為:

MMTA(i,j,ρ)>T

(5)

其中,T為經(jīng)驗閾值,取0.65,是根據(jù)對包含多樹種森林植被的32幅分辨率為0.5 m的遙感圖像進行分割實驗得到的經(jīng)驗值,適用于高于此分辨率的遙感圖像。

2 紋理濾波

用濾波技術增強紋理特征,是把紋理圖像與一系列特別設計的濾波器進行卷積,將紋理圖像轉換到頻域以利于進一步提取紋理特征。通常紋理濾波也是視覺注意處理的前提。增強森林植被紋理特征會拉大紋理之間的特征差距,為更精確地標記多尺度樹冠SID創(chuàng)造了條件。因此,根據(jù)視覺注意機制和森林區(qū)域紋理先驗知識,恰當?shù)剡x擇能增強這些紋理信息的濾波器,在視覺注意方面削弱混淆目標,相對加強樹冠目標,可以提高SID標記樹冠的準確率和效率。

2.1 雙邊濾波

雙邊濾波器模板的卷積權值不僅取決于高斯低通濾波像素鄰域位置關系,而且還由相鄰像素的亮度信息所決定,既實現(xiàn)了局部高斯平滑處理,又保持了邊緣信息[12]。在合適的尺度下,樹冠紋理單元內的灰度將被雙邊濾波器處理為具有清晰階躍的多層分布,這將直接支持譜直方圖的紋理灰度分布表達[13]。樹冠紋理單元微觀上呈簇團狀結構,中心與周圍對比度明顯,而雙邊濾波器可以階梯性增強樹冠與周圍區(qū)域的對比度,使CBil(i,j,ρ)增大。在S區(qū)域內部,雙邊濾波使樹冠灰度平滑分布到少量灰度層次,將導致灰度均方差DBil(i,j,ρ)降低。雙邊濾波器由2個函數(shù)構成,一個是由幾何空間距離決定濾波器系數(shù),另一個是由像素差決定濾波器系數(shù)。輸出像素的值依賴于鄰域像素的值的加權組合,雙邊濾波可以表示為:

(6)

空間鄰近度因子d(i,j,k,l)和亮度相似度因子r(i,j,k,l)計算公式如下:

(7)

(8)

權重系數(shù)是空間鄰近度因子和亮度相似度因子的乘積,表示為:

(9)

雙邊濾波實驗結果見圖3。實驗使用的遙感圖像分辨率為0.5 m,在此分辨率下,樹冠形成的紋理單元尺寸一般在9個～25個像素范圍內。用譜直方圖表達濾波后局部區(qū)域的灰度分布情況。譜直方圖以ρ作為積分窗口尺寸,使窗口覆蓋范圍可以表達樹冠紋理單元的平均特性。對于256級灰度圖像來說,為了便于對譜直方圖結果分析對比,將譜直方圖的橫坐標灰度級數(shù)均勻分成16段,每段里包括16個灰度級。

圖3 雙邊濾波實驗結果

圖3(b)是雙邊濾波結果,從中分別選取典型樹冠區(qū)域(右側圓圈標記)和小水坑區(qū)域(左側圓圈標記)進行譜直方圖統(tǒng)計,圖3(c)和圖3(d)是對應的譜直方圖。可以看出,樹冠區(qū)域的譜直方圖中灰度分布稍廣,但2個譜直方圖中灰度均集中于均值附近。對于文獻[4]方法,由于MIA對LoG濾波結果做區(qū)域的同質性測量,因此小水坑成為更符合標記的地物目標。本文方法對雙邊濾波結果做同質性測量,2種區(qū)域的同質性接近,能夠保證MTA公式的第二部分發(fā)揮更大作用以排除小水坑。

2.2 LoG濾波

LoG濾波是高斯低通濾波與拉普拉斯濾波的一種結合,在高斯平滑處理的基礎上增強邊緣信息。LoG濾波對于森林植被紋理單元這種灰度變化明顯的邊界及線條紋理特征有較好的增強能力,通過平滑處理,消除尺度小于標準偏差的信號強度變化,再通過二次微分得到邊緣[14]。因此,LoG濾波能夠捕捉到線條紋理結構,凸顯出樹冠單元內部的灰度空間變化特征,使樹冠枝條邊緣更清晰。本文沿用文獻[4]的LoG濾波方法,在多尺度樹冠注意算子中用作雙向差分均值計算的預處理。LoG函數(shù)表示為:

(10)

圖4 LoG濾波實驗結果

圖4(b)是雙邊濾波結果,從中分別選取典型樹冠區(qū)域(右側圓圈標記)和小水坑區(qū)域(左側圓圈標記)進行譜直方圖統(tǒng)計和垂直方向差分直方圖統(tǒng)計。圖4(c)和圖4(d)是對應的譜直方圖。LoG濾波強化了樹冠的枝條邊緣并且抑制了平滑部分,樹冠區(qū)域的譜直方圖中灰度分布對比度較大,而小水坑區(qū)域譜直方圖中灰度分布卻集中于較低的均值附近。圖4(e)和圖4(f)是對應的垂直方向差分直方圖。濾波增強后的樹枝紋理差分結果仍呈現(xiàn)豐富的灰度分布,而小水坑區(qū)域的差分結果中灰度集中于低灰度均值附近。這種分布結果通過MTA公式的第二部分MLoG(i,j,ρ)計算雙向差分均值,可以有效排除水坑之類紋理平滑地物的混淆。

3 分割實驗

3.1 分割流程

在分割過程中,首先對全色遙感圖像分別進行雙邊濾波和LoG濾波,目的是增強樹冠作為視覺注意目標的紋理信息;然后遍歷圖像所有像素,在多尺度范圍內計算多尺度樹冠注意算子MTA,如果滿足條件則標記樹冠SID位置;最后用改進的區(qū)域生長方法由各樹冠SID合并附近區(qū)域所有滿足生長條件的像素,實現(xiàn)森林植被的準確分割。

由于已經(jīng)標記出的多尺度樹冠SID表達的是圖像中典型的樹冠及陰影,因此SID覆蓋區(qū)域不再需要生長,并且區(qū)域生長的種子必須同時具備樹冠和陰影的特征。改進的區(qū)域生長算法即基于多尺度樹冠SID的區(qū)域生長算法,其將整個SID作為區(qū)域生長的種子,生長規(guī)則由多尺度樹冠SID的尺度特征、灰度分布特征和紋理特征整體確定。多尺度樹冠SID所表達的是已經(jīng)分割完成的區(qū)域,S區(qū)域像素可以標記成樹冠區(qū)域像素,Q區(qū)域像素可以標記成陰影區(qū)域像素或樹冠區(qū)域像素。Q區(qū)域中陰影區(qū)域灰度均值可以作為欲生長的陰影像素鄰域內陰影灰度均值的參考值,但為了控制陰影范圍,必須同時判斷該像素與最近樹冠區(qū)域的距離小于Q區(qū)域半徑。DBil作為欲生長像素鄰域內樹冠紋理的第1個參考值,MLoG作為樹冠紋理的第2個參考值。欲生長像素鄰域設為5×5?；诙喑叨葮涔赟ID的區(qū)域生長算法描述如下:

FOR按直徑ρ由大到小找到未生長的SID

IF未找到,則算法結束;

FOR對當前SID

FOR對SID以外且距SID中心1.5ρ以內區(qū)域中所有未分割像素(i,j)

IF(i,j)鄰域內灰度均值在Q區(qū)域中陰影區(qū)域灰度均值的±g范圍內,且(i,j)距最近樹冠區(qū)域小于Q區(qū)域半徑,則(i,j)標記為陰影區(qū)域像素;

ELSE IF (i,j)鄰域內DBil和MLoG均分別在參考值的±d和±m(xù)范圍內,則(i,j)標記為樹冠區(qū)域像素;

ELSE(i,j)標記為未知像素;

END FOR

FOR對距SID中心1.5ρ～2ρ之間區(qū)域中所有未分割像素(i,j)

ELSE(i,j)標記為未知像素;

END FOR

END FOR

END FOR

3.2 實驗對象

本文以Matlab7.12.0為實驗環(huán)境,實驗所用遙感圖像為QuickBird衛(wèi)星全色數(shù)據(jù),全色分辨率為0.5 m。主要以闊葉林為分割目標,其樹冠直徑在4 m～13 m之間,在遙感圖像分辨率為0.5 m的條件下,根據(jù)先驗知識,樹枝形成的樹冠典型紋理單元尺度(直徑)一般在9個～25個像素之間。本文方法是文獻[4]方法的改進,因此,將實驗過程和實驗結果與文獻[4]方法進行對比。

3.3 實驗結果分析

選取2幅包含森林植被和不同易混淆地物的遙感圖像,完成2組對比實驗,實驗結果如圖5和圖6所示。對比的2種方法均使用視覺注意機制確定典型樹冠作為視覺顯著區(qū)域,并以多尺度SID模型標記樹冠,通過區(qū)域生長方法實現(xiàn)森林植被分割。2種分割方法之間有2點主要不同:

1)紋理濾波方式不同。文獻[4]方法使用LoG濾波增強紋理信息,同時用于多尺度視覺注意算子的對比度和同質性計算;本文方法使用雙邊濾波和LoG濾波2種方法有針對性地增強視覺注意目標,分別用于多尺度視覺注意算子的對比度、同質性和樹冠紋理屬性計算。

2)多尺度視覺注意算子不同。本文方法的多尺度視覺注意算子在對比度和同質性基礎上增加了兩方向差分均值計算,用于表達樹冠紋理屬性。圖5為第1組對比實驗結果,圖6為第2組對比實驗結果。森林植被區(qū)域用同一級灰度標記,2種分割結果的明顯差異位置以箭頭標記。

圖5 分割效果對比1

圖6 分割效果對比2

第1組實驗原圖中除森林植被外,還包含草地、沙坑和水坑等地物。尺寸較小的沙坑和水坑在形狀上與樹冠相近,對于文獻[4]方法而言,這些地物在尺度、區(qū)域對比度和區(qū)域同質性這些因素上都滿足視覺注意顯著區(qū)域的條件,容易被誤標記為樹冠。文獻[4]方法的多尺度視覺注意算子中,區(qū)域同質性計算是在LoG濾波結果上進行的,加大了問題的嚴和重性。圖5(b)中4處沙坑和1處水坑被SID標記,導致圖5(d)分割結果出現(xiàn)5處明顯誤分割情況。由于沙坑和水坑的紋理較平滑,在本文方法的多尺度視覺注意算子中兩方向差分均值較低,不會被SID標記,見圖5(a)。

第2組實驗原圖中主要的易混淆地物是建筑物,包含屋頂和水池等。小型建筑物經(jīng)常在尺寸形狀上接近樹冠的特征,在文獻[4]方法中的視覺注意算子描述里,這些小型建筑物容易滿足條件,從而被SID標記為樹冠。圖6(b)左上角1處方形屋頂和1處圓形水池被誤標記,導致圖6(d)中對應位置森林植被區(qū)域擴大;左上角1處圓形屋頂被誤標記,導致圖6(d)中對應位置多出一小片森林植被區(qū)域;左側中部1處圓形水池和右側中部1處圓形水池被誤標記,導致圖6(d)中對應位置各增加了一部分森林植被區(qū)域。雖然屋頂這類地物在區(qū)域灰度分布上不像沙坑和水坑那樣一致性好,但與樹冠的紋理相比,小區(qū)域的灰度一致性仍然較好,在兩方向灰度差分計算中仍然表現(xiàn)較低均值,因此,本文方法可以較好地排除這類地物的干擾,見圖6(a)。本文方法在計算兩方向灰度差分均值時使用的是LoG濾波結果,屋頂區(qū)域除少量線條外大部分以平滑區(qū)域呈現(xiàn),保證了兩方向灰度差分均值不高。

由圖5(c)和圖6(c)的分割結果可知,本文方法對于樹冠相似地物有較強的排除能力,森林植被分割精度較高。

4 結束語

本文在基于視覺注意的多尺度SID森林植被分割方法基礎上,利用森林植被的先驗知識,將樹冠紋理結構特點作為濾波處理的目標和視覺注意算子的計算依據(jù),提出一種新的森林植被紋理分割方法。首先構建以多尺度樹冠視覺注意算子MTA為核心的多尺度樹冠SID模型,然后在圓盤模型中增加兩方向差分均值作為樹冠紋理描述,并通過改進的區(qū)域生長方法以SID為種子區(qū)域進行生長,最終得到分割結果。實驗結果表明,本文方法能準確標記典型樹冠,對森林植被區(qū)域分割精確度較高,其對于遙感圖像分割,尤其是以特定地物為目標的分割具有一定借鑒意義。下一步將把圖像等分為若干區(qū)域,對未出現(xiàn)樹冠標記的區(qū)域適當降低多尺度樹冠視覺注意算子的各項約束條件,以提高樹冠標記的準確率。

[1] 巫兆聰,胡文忠.結合光譜、紋理與形狀結構信息的遙感影像分割方法[J].測繪學報,2013,42(1):44-50.

[2] YUAN J Y,WANG D L,LI R X.Remote sensing image segmentation by combining spectral and texture features[J].IEEE Transactions on Geoscience and Remote Sensing,2014,52(1):16-24.

[3] CAO C,HUANG Y,YANG Y,et al.Look and think twice:capturing top-down visual attention with feedback convolutional neural networks[C]//Proceedings of IEEE Conference on Computer Vision.Washington D.C.,USA:IEEE Press,2015:2956-2964.

[4] PALENICHKA R M,LAKHSSASSI A.Multi-scale segmenta-tion of forest areas and tree detection in LiDAR images by the attentive vision method[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2013,6(3):1939-1404.

[5] SHARMA S,KIROS R,SALAKHUTDINOV R.Fast object detection based on selective visual attention[J].Neurocomputing,2014,144(20):184-197.

[6] 胡燕翔,萬 莉.基于視覺注意機制的異源圖像融合[J].計算機工程,2015,41(3):247-252.

[7] MATEESCU V A,BAJIC I V.Visual attention retargeting[J].IEEE MultiMedia,2016,23(1):82-91.

[8] 侯慶岑,潘 辰,楊 勇.基于視覺顯著度的多聚焦圖像融合方法[J].計算機工程,2015,41(1):211-217.

[9] 王 妮,彭世揆,李明詩.基于樹種分類的高分辨率遙感數(shù)據(jù)紋理特征分析[J].浙江農林大學學報,2012,29(2):210-217.

[10] 劉小丹,楊 燊.基于藍噪聲理論的遙感圖像森林植被紋理測量[J].國土資源遙感,2015,27(2):63-68.

[11] PALENICHKA R M,ZAREMBA M B.Automatic extraction of control points for the registration of optical satellite and LiDAR images[J].IEEE Transactions on Geoscience and Remote Sensing,2010,48(7):2864-2879.

[12] 周雨薇,陳 強,孫權森,等.結合暗通道原理和雙邊濾波的遙感圖像增強[J].中國圖象圖形學報,2014,19(2):313-321.

[13] 劉小丹,于 寧.河流濕地遙感圖像分層次多尺度分割[J].網(wǎng)絡新媒體技術,2016,5(5):51-59.

[14] 賀錦鵬,孫 楓,劉利強.基于濾波器陣列與圖割的彩色紋理分割[J].計算機工程,2011,37(14):217-219.

[15] 王 瑋,李見為,黃非非,等.基于Log-Gobor濾波的指紋圖像增強[J].計算機科學,2007,34(7):241-243.