基于無人機(jī)遙感圖像的森林火災(zāi)檢測(cè)

楊海川， 茹志鵬， 張?jiān)娪?/p>

(1.九天智能科技(寧夏)有限公司大數(shù)據(jù)中心，寧夏 石嘴山 753000； 2.寧夏工商職業(yè)技術(shù)學(xué)院，寧夏 銀川 750021)

森林對(duì)自然生態(tài)有重要意義，可以保持水土、調(diào)節(jié)氣候，為野生動(dòng)植物提供棲息地.同時(shí)，森林也為人類提供大量的動(dòng)植物生態(tài)資源[1].但是，由于森林火災(zāi)的發(fā)生，大量自然森林區(qū)被破壞，造成嚴(yán)重的生態(tài)與經(jīng)濟(jì)損失.而森林火災(zāi)的發(fā)生具有偶然性、突發(fā)性等特點(diǎn)，為了保護(hù)動(dòng)植物的生態(tài)環(huán)境，減少森林火災(zāi)造成的損失，節(jié)約自然生態(tài)保護(hù)的人力與經(jīng)濟(jì)成本，需要對(duì)大型森林地區(qū)進(jìn)行實(shí)時(shí)監(jiān)測(cè).由于火災(zāi)發(fā)生時(shí)蔓延性強(qiáng)難以控制，對(duì)森林火災(zāi)進(jìn)行及時(shí)、準(zhǔn)確的檢測(cè)便成為目前國內(nèi)外研究的重要方向[2].

森林區(qū)多是人煙稀少的地區(qū)，一般傳感器檢測(cè)設(shè)備在森林地區(qū)難以部署. 目前，森林火災(zāi)檢測(cè)多采用遙感圖像作為判別依據(jù)進(jìn)行火災(zāi)識(shí)別[3—5]，并用無人機(jī)搭載攝像頭進(jìn)行實(shí)時(shí)拍攝監(jiān)測(cè)，基于無人機(jī)的遙感視頻拍攝被廣泛應(yīng)用于森林監(jiān)測(cè)領(lǐng)域[6—7].同時(shí)，隨著計(jì)算機(jī)技術(shù)及圖像處理技術(shù)的發(fā)展，基于視覺的遙感技術(shù)已經(jīng)被廣泛應(yīng)用于火災(zāi)檢測(cè)系統(tǒng).

目前，國內(nèi)外對(duì)火焰和火災(zāi)的檢測(cè)方法多為基于圖像處理技術(shù)[8—9]及深度學(xué)習(xí)理論的目標(biāo)識(shí)別方法[10—12].基于圖像處理技術(shù)的檢測(cè)方法是對(duì)火焰圖像進(jìn)行分析，提取火焰特征.由于森林背景與火焰差異明顯，該方法算法簡(jiǎn)單，對(duì)火焰特征提取準(zhǔn)確，但對(duì)煙霧以及云的特征區(qū)分效果較差.然而，該方法實(shí)時(shí)性較好，目前可以廣泛應(yīng)用.而基于深度學(xué)習(xí)理論的檢測(cè)方法，直接利用火焰圖像進(jìn)行標(biāo)定學(xué)習(xí)檢測(cè)，可以提取形態(tài)復(fù)雜的火焰特征，并對(duì)煙霧檢測(cè)有一定的效果，準(zhǔn)確率較高.但該方法算法復(fù)雜，需要大量標(biāo)定圖片，目前難以在移動(dòng)平臺(tái)中應(yīng)用.

針對(duì)森林火災(zāi)檢測(cè)的研究現(xiàn)狀，兼顧識(shí)別的準(zhǔn)確率與時(shí)效性，并基于無人機(jī)無人監(jiān)測(cè)平臺(tái)開發(fā)的森林火災(zāi)檢測(cè)系統(tǒng)，本文考慮利用遙感圖像結(jié)合圖像處理技術(shù)與機(jī)器學(xué)習(xí)理論進(jìn)行森林火災(zāi)檢測(cè).

1 遙感圖像預(yù)處理方法

1.1 遙感圖像分析

由于森林多位于人煙稀少地區(qū)，根據(jù)應(yīng)用場(chǎng)景，本文利用無人機(jī)平臺(tái)拍攝的遙感圖像進(jìn)行火災(zāi)識(shí)別.首先對(duì)識(shí)別的火災(zāi)目標(biāo)進(jìn)行圖像預(yù)處理，提取火災(zāi)檢測(cè)中的感興趣區(qū)域(ROI).圖1為利用無人機(jī)采集到的部分森林遙感圖像.

圖1 森林遙感圖像

在森林環(huán)境中，自然背景包括森林、巖石、土壤、天空與云，識(shí)別目標(biāo)為火焰與煙霧.由于火災(zāi)與森林的背景差異明顯，對(duì)火焰的檢測(cè)較為簡(jiǎn)單，但在火災(zāi)發(fā)生前期，森林中僅有煙霧未出現(xiàn)明火，此時(shí)對(duì)煙霧的檢測(cè)就顯得更為重要.

一張森林遙感圖像中會(huì)包含多類目標(biāo)，本文基于目標(biāo)分類截取包含目標(biāo)類別的原始圖像，將RGB圖像進(jìn)行圖像分割，分別提取森林、巖石、云、煙霧以及火焰的RGB圖像，并進(jìn)行人工標(biāo)定，結(jié)果見圖2.

圖2 目標(biāo)RGB像素提取

圖2中R、G、B分別代表RGB像素分量.散點(diǎn)分布越接近坐標(biāo)軸，當(dāng)前像素點(diǎn)的像素值越接近坐標(biāo)軸所代表的顏色，像素點(diǎn)距離坐標(biāo)軸原點(diǎn)越遠(yuǎn)其亮度越高.利用標(biāo)定圖像進(jìn)行標(biāo)定，由圖2可以看出不同目標(biāo)的像素向量分布存在一定的差異：森林、巖石、火焰目標(biāo)的亮度整體偏低，當(dāng)R軸向量值相同時(shí)森林目標(biāo)的G分量較高，火焰目標(biāo)的R分量最高，巖石目標(biāo)的亮度位于森林目標(biāo)與火焰目標(biāo)之間，而云目標(biāo)整體亮度較高且其G分量相對(duì)較高，煙霧目標(biāo)多分布于坐標(biāo)軸的主對(duì)角線上，代表亮度以黑白為主，與實(shí)際相符，且煙霧目標(biāo)與云目標(biāo)的RGB分量重合度較高.通過選取不同視角可得圖3.

圖3 目標(biāo)RGB像素聚類

圖3是由圖2經(jīng)視角變換得到的.由圖3可以看出，5個(gè)類別在像素空間距離上有明顯的聚類關(guān)系，可以根據(jù)各目標(biāo)在像素空間中的位置關(guān)系，利用無人機(jī)系統(tǒng)采集的監(jiān)控圖像可以作為火災(zāi)目標(biāo)識(shí)別的判斷依據(jù).考慮根據(jù)機(jī)器學(xué)習(xí)方法對(duì)帶標(biāo)簽的像素點(diǎn)進(jìn)行分類判斷.

1.2 基于SVM的圖像預(yù)處理方法

首先，根據(jù)RGB 3個(gè)分量對(duì)圖像像素點(diǎn)進(jìn)行森林、巖石、云、煙霧、火焰分類.由圖2可以看出像素分量之間存在明顯的線性相關(guān)關(guān)系，但回歸方法僅能體現(xiàn)像素組合之間的關(guān)系，無法體現(xiàn)像素點(diǎn)中的亮度差異.考慮利用支持向量機(jī)(SVM)機(jī)器學(xué)習(xí)方法對(duì)像素點(diǎn)進(jìn)行分類.

首先，定義正樣本(Positive sample)與負(fù)樣本(Negative sample)的分割計(jì)算方法，即為待尋優(yōu)的超平面分類函數(shù)：

1-yi(wTf(xi)+b)-ξi≤0，

(1)

式中:wT與b為分割平面參數(shù);xi為像素點(diǎn)訓(xùn)練樣本，包含R、G、B 3個(gè)特征向量；f(xi)為映射函數(shù)；yi為符號(hào)函數(shù)，作為判斷正、負(fù)樣本的條件；ξi為松弛參數(shù)，防止標(biāo)定過程中偶然標(biāo)定錯(cuò)誤等人為因素導(dǎo)致的訓(xùn)練過擬合.

其次，定義訓(xùn)練目標(biāo)優(yōu)化函數(shù)：

(2)

式中：λi，μi為約束參數(shù)；w,b,ξi為正、負(fù)樣本的分割平面參數(shù).由于用于樣本數(shù)據(jù)分類的超平面有無數(shù)個(gè)，在(2)式中引入間隔最大化作為訓(xùn)練目標(biāo)，從而超平面參數(shù)的求解結(jié)果唯一.

對(duì)目標(biāo)優(yōu)化函數(shù)(2)中w,b,ξi分別求導(dǎo)取極值，化簡(jiǎn)得到目標(biāo)分割平面參數(shù)約束條件：

(3)

(4)

λi+μi=1.

(5)

對(duì)于第i個(gè)訓(xùn)練樣本，根據(jù)(1)式可得

(6)

(7)

以(2)式為目標(biāo)函數(shù)，(3)～(7)式為約束條件，對(duì)參數(shù)wT、b進(jìn)行尋優(yōu)，得到最優(yōu)分類超平面公式(1).

由(1)式可知經(jīng)典的支持向量機(jī)為傳統(tǒng)二分類器，本文在圖像預(yù)處理中考慮了5類目標(biāo)，不能滿足本文提出的火災(zāi)檢測(cè)方法的要求，為克服經(jīng)典支持向量機(jī)的缺陷，本方法定義森林目標(biāo)分類模塊中共包含5(5-1)/2=10個(gè)SVM模型，每個(gè)分類器對(duì)當(dāng)前像素點(diǎn)進(jìn)行分類投票.當(dāng)分類器對(duì)某像素進(jìn)行分類時(shí), 將像素點(diǎn)導(dǎo)入SVM模型中, 根據(jù)10個(gè)SVM模型的投票結(jié)果得出目標(biāo)類別的預(yù)測(cè).訓(xùn)練樣本中，森林樣本92 400個(gè)，巖石樣本85 624個(gè)，云樣本107 046個(gè)，煙霧樣本89 676個(gè)，火焰樣本29 547個(gè).整體分類模塊的輸入是一個(gè)3維向量，輸出為5維向量.

2 HOG-SVM火災(zāi)檢測(cè)方法

在火災(zāi)檢測(cè)中，利用方向梯度直方圖(HOG)提取遙感圖像中感興趣區(qū)域的形態(tài)與紋理特征.利用機(jī)器學(xué)習(xí)方法基于形態(tài)特征,對(duì)火災(zāi)與非火災(zāi)遙感圖像進(jìn)行二分類.

根據(jù)遙感圖像感興趣區(qū)域,計(jì)算每個(gè)像素點(diǎn)的梯度強(qiáng)度和梯度方向，以梯度強(qiáng)度最大的像素點(diǎn)對(duì)應(yīng)的梯度方向?yàn)楫?dāng)前像素的梯度方向.梯度方向和梯度強(qiáng)度的計(jì)算公式為

(8)

G(x,y)=

(9)

式中：I為遙感圖像對(duì)應(yīng)的像素點(diǎn)；x，y為像素點(diǎn)坐標(biāo)；g為紅外溫度圖像的Gamma系數(shù).由于遙感圖像拍攝時(shí)間及角度不同，為減少光度對(duì)火災(zāi)檢測(cè)的影響，將遙感圖像映射到標(biāo)準(zhǔn)化Gamma空間.

計(jì)算遙感森林檢測(cè)圖像中所有像素點(diǎn)的梯度方向與梯度強(qiáng)度，構(gòu)建細(xì)胞單元(cell)的方向梯度直方圖.將0°～180°平均分為8組，以22.5°為一個(gè)梯度方向集，定義合梯度方向?yàn)橐粋€(gè)梯度方向集中的整體方向，建立梯度方向直方圖，將梯度方向量化為8個(gè)直方圖通道(圖4).

圖4 HOG方向塊

基于8個(gè)直方圖通道對(duì)細(xì)胞單元中各像素點(diǎn)的梯度強(qiáng)度進(jìn)行投影；依次以投影量為權(quán)值,疊加到8個(gè)梯度方向代表的直方圖上，定義相鄰2×2個(gè)細(xì)胞單元為塊(block)，通過滑動(dòng)歸一化消除目標(biāo)與遠(yuǎn)景的光照強(qiáng)度差異影響.

在本文提出的基于HOG-SVM的火災(zāi)檢測(cè)方法中，將8個(gè)合梯度方向作為方向梯度直方圖的統(tǒng)計(jì)量，將感興趣區(qū)域的尺寸轉(zhuǎn)化為256×256，選取細(xì)胞單元的尺寸為8×8，細(xì)胞塊尺寸為2×2，一個(gè)元胞塊包含4×8個(gè)特征，一幀遙感圖像包含(256/8-1)2×(4×8)=307 52個(gè)維度的特征向量，以此為分類輸入代入(1)式，將1 000張存在火災(zāi)的遙感圖片與1 000張不存在火災(zāi)的遙感圖片作為訓(xùn)練集，進(jìn)行火災(zāi)與非火災(zāi)的目標(biāo)二分類.

3 仿真實(shí)驗(yàn)

3.1 硬件平臺(tái)系統(tǒng)

森林火災(zāi)檢測(cè)系統(tǒng)包括無人機(jī)監(jiān)測(cè)平臺(tái)、北斗導(dǎo)航定位系統(tǒng)、地面站通信平臺(tái)(圖5).

圖5 森林火災(zāi)檢測(cè)系統(tǒng)平臺(tái)

由圖5可見，在森林火災(zāi)檢測(cè)系統(tǒng)中，通過無人機(jī)搭載遙感攝像頭采集森林火災(zāi)的遙感圖像，利用北斗導(dǎo)航系統(tǒng)定位無人機(jī)，從而間接定位森林火災(zāi).由于圖像傳輸具有實(shí)時(shí)性且功耗過高，考慮在無人機(jī)平臺(tái)中實(shí)現(xiàn)火災(zāi)識(shí)別. 為保證實(shí)時(shí)性，提高運(yùn)算速度，對(duì)攝像頭采集到的每幀遙感圖像的感興趣區(qū)域做整體火災(zāi)檢測(cè)，且僅在檢測(cè)到火災(zāi)時(shí)進(jìn)行圖像傳輸，并基于5G通信進(jìn)行數(shù)據(jù)交互，將檢測(cè)結(jié)果及火災(zāi)現(xiàn)場(chǎng)視頻圖像發(fā)送至地面終端.

3.2 火災(zāi)識(shí)別方法

在無人機(jī)硬件平臺(tái)中嵌入基于遙感圖像的森林火災(zāi)檢測(cè)方法，整體識(shí)別流程包括圖像預(yù)處理與森林火災(zāi)識(shí)別兩部分(圖6).

圖6 森林火災(zāi)識(shí)別方法流程圖

將森林遙感圖像分為訓(xùn)練圖像數(shù)據(jù)與測(cè)試圖像數(shù)據(jù)，對(duì)訓(xùn)練圖像數(shù)據(jù)根據(jù)森林、巖石、云、煙霧及火焰目標(biāo)進(jìn)行分類，訓(xùn)練目標(biāo)特征分類器，用于圖像預(yù)處理與感興趣區(qū)域的提取.利用目標(biāo)特征分類器對(duì)帶標(biāo)簽的學(xué)習(xí)圖像進(jìn)行預(yù)處理，得到學(xué)習(xí)樣本圖片，提取HOG特征后利用HOG特征分類器進(jìn)行學(xué)習(xí)，完成對(duì)森林火災(zāi)遙感圖像的識(shí)別.整個(gè)方法中包含2個(gè)相互獨(dú)立的特征分類器，分別用于遙感圖像的預(yù)處理和火災(zāi)的識(shí)別.

分類結(jié)果見表1.由表1可以看出，分類器的分類準(zhǔn)確率整體較高.存在一定偏差的原因?yàn)樵谏汁h(huán)境中選取目標(biāo)時(shí),不存在一個(gè)像素塊僅含有一個(gè)單一分類的目標(biāo)，每個(gè)像素塊中都含有部分其他分類目標(biāo)，進(jìn)行標(biāo)定時(shí)不可避免地加入了噪聲.由表1可知，由于像素點(diǎn)的RGB值相近，對(duì)煙霧和云的檢測(cè)準(zhǔn)確率較低，同樣也驗(yàn)證了上文的結(jié)論.

表1 目標(biāo)分類結(jié)果 %

火災(zāi)發(fā)生初期森林中未出現(xiàn)明火，根據(jù)表1的虛線框所示，云與煙霧的識(shí)別存在一定的偏差，若僅對(duì)煙霧進(jìn)行檢測(cè)，則準(zhǔn)確率較低.考慮圖像處理后利用煙霧與火災(zāi)的形態(tài)特征檢測(cè)火災(zāi).為提高遙感圖像處理速度，對(duì)無人機(jī)采集的遙感圖像進(jìn)行預(yù)處理.根據(jù)圖3，遙感圖像中的每個(gè)像素點(diǎn)經(jīng)過多分類支持向量機(jī)的識(shí)別后,都將得到一個(gè)分類結(jié)果.將相鄰分類結(jié)果作為一個(gè)分類塊，判斷當(dāng)前分類塊中的主分類結(jié)果，將主分類結(jié)果作為該分類塊的分類結(jié)果，利用分類塊確定感興趣區(qū)域，提取感興趣區(qū)域進(jìn)行火災(zāi)檢測(cè).圖1中第2、第3張遙感圖像的預(yù)處理結(jié)果及感興趣區(qū)域的劃分結(jié)果如圖7所示.

圖7 感興趣區(qū)域提取

利用圖像預(yù)處理提取感興趣區(qū)域，將遙感圖片的感興趣區(qū)域縮至256×256，統(tǒng)計(jì)方向梯度，計(jì)算每個(gè)細(xì)胞單元模的梯度直方圖.梯度特征提取結(jié)果見圖8.

圖8 HOG特征提取

利用HOG特征表示火災(zāi)遙感圖像的紋理特征.HOG可以準(zhǔn)確提取遙感圖像的紋理特征,適用于對(duì)火災(zāi)以及煙霧的檢測(cè).由圖8可以看出煙霧的方向梯度以縱向?yàn)橹?，背景干擾的方向梯度無明顯指向.將遙感圖像中所有細(xì)胞單元的方向梯度直方圖作為輸入x代入(1)式，利用支持向量機(jī)進(jìn)行訓(xùn)練.以100張火災(zāi)遙感圖片與100張非火災(zāi)遙感圖片為測(cè)試集進(jìn)行測(cè)試. 將引入遙感圖像預(yù)處理方法前后的火災(zāi)檢測(cè)結(jié)果進(jìn)行對(duì)比，計(jì)算公式為

(10)

圖9a、圖9b中上、下兩組概率分別表示火災(zāi)遙感圖像的識(shí)別正確率、錯(cuò)誤率及非火災(zāi)遙感圖像的識(shí)別錯(cuò)誤率、正確率.本文檢測(cè)方法的準(zhǔn)確率較高(平均為93.5%)，具有一定的可行性.

圖9 森林火災(zāi)識(shí)別結(jié)果

4 結(jié)論

本文提出了一種基于遙感圖像的森林火災(zāi)檢測(cè)方法，其識(shí)別過程包括基于遙感圖像像素點(diǎn)的目標(biāo)分類和火災(zāi)目標(biāo)識(shí)別.利用圖像預(yù)處理技術(shù)對(duì)森林火災(zāi)的背景、煙霧、火災(zāi)進(jìn)行區(qū)分，提取遙感圖像的感興趣區(qū)域，并對(duì)感興趣區(qū)域進(jìn)行基于邊緣與紋理特征的火災(zāi)目標(biāo)識(shí)別.仿真實(shí)驗(yàn)結(jié)果表明，對(duì)火災(zāi)遙感圖像進(jìn)行感興趣區(qū)域提取及預(yù)處理后火災(zāi)識(shí)別效果更好，驗(yàn)證了該方法的可行性.將火災(zāi)識(shí)別方法嵌入硬件平臺(tái)，搭建基于遙感圖像的檢測(cè)系統(tǒng)可實(shí)現(xiàn)對(duì)森林火災(zāi)的精準(zhǔn)監(jiān)測(cè).