基于能量累積多特征融合的機(jī)場(chǎng)跑道異物檢測(cè)算法研究

王方順，張 崟

(中國(guó)電子科技集團(tuán)公司第二十八研究所，江蘇 南京 210007)

跑道異物對(duì)飛機(jī)在跑道上的滑行、起降存在嚴(yán)重威脅，易造成航班延誤、中斷起飛，甚至?xí)＜俺丝蜕黐1]。一件小小的金屬紐扣、硬幣等異物，極有可能在飛機(jī)起降、滑行過(guò)程中損壞飛機(jī)的發(fā)動(dòng)機(jī)等重要部件，引起重大安全事故，產(chǎn)生巨大經(jīng)濟(jì)損失，帶來(lái)惡劣后果。每年都會(huì)發(fā)生多起由跑道異物引發(fā)的航空事故，造成巨大的直接或間接損失[2]。

現(xiàn)階段，我國(guó)絕大多數(shù)機(jī)場(chǎng)對(duì)跑道異物的檢測(cè)采用人工檢測(cè)方式，在固定的時(shí)間組織人員在跑道進(jìn)行異物搜尋和清理，但人工搜尋存在速度慢、時(shí)間長(zhǎng)、可靠性差等不足，并且長(zhǎng)時(shí)間占用跑道影響飛機(jī)班次的安排。因此，有必要設(shè)計(jì)一套檢測(cè)系統(tǒng)，能夠快速識(shí)別出跑道上的異物，提高人工工作效率。

1 總體設(shè)計(jì)

基于能量累積多特征融合的機(jī)場(chǎng)FOD檢測(cè)系統(tǒng)的總體設(shè)計(jì)思路如下，系統(tǒng)主要包括檢測(cè)模塊和識(shí)別模塊。檢測(cè)模塊利用可夜視的攝像頭采集視頻圖像，利用融合FOD檢測(cè)算法對(duì)跑道異物進(jìn)行檢測(cè)，當(dāng)發(fā)現(xiàn)異物時(shí)標(biāo)注異物位置；識(shí)別模塊對(duì)發(fā)現(xiàn)的異物進(jìn)行模式特征提取，并進(jìn)行識(shí)別分類(lèi)異物類(lèi)型，判斷是否報(bào)警，同時(shí)將識(shí)別的異物存入FOD數(shù)據(jù)庫(kù)，記錄FOD信息，系統(tǒng)具備自學(xué)習(xí)能力，越用越智能，系統(tǒng)工作流程如圖1所示。

圖1 系統(tǒng)工作流程圖

基于能量累積多特征融合的機(jī)場(chǎng)FOD檢測(cè)算法的流程如圖2所示，其主要算法節(jié)點(diǎn)設(shè)計(jì)說(shuō)明如下。

圖2 算法設(shè)計(jì)流程圖

1)道面標(biāo)志線的去除：每一幀視頻畫(huà)面都有唯一的圖像直方圖，如果該幀畫(huà)面有差距明顯的不同區(qū)域，那么不同區(qū)域的灰度值相差較大，則灰度直方圖就會(huì)出現(xiàn)多個(gè)峰值，分別對(duì)應(yīng)于不同區(qū)域的中心灰度值。通常谷點(diǎn)為2個(gè)區(qū)域峰值的空間內(nèi)的最低點(diǎn)，取該谷點(diǎn)的灰度值為閥值，作為圖像區(qū)域邊界分割的依據(jù)。

道面標(biāo)志線呈白色或者黃色，與跑道特征差距明顯，在灰度直方圖中會(huì)形成對(duì)應(yīng)的峰值。當(dāng)機(jī)場(chǎng)跑道道面中有異物時(shí)，道面標(biāo)志線的峰值會(huì)造成異物峰值判別干擾。

2)多特征融合：對(duì)同一個(gè)目標(biāo)或相同事物的多源特征信息，通過(guò)信息融合技術(shù)對(duì)多源特征要素進(jìn)行數(shù)據(jù)處理和使用，避免使用單一特征信息對(duì)事物本質(zhì)產(chǎn)生局部認(rèn)識(shí)的缺點(diǎn)，從而實(shí)現(xiàn)對(duì)事物更全面、更客觀、更本質(zhì)的認(rèn)識(shí)。

3)模式特征降維：可利用加窗傅里葉變換(Gabor核函數(shù))對(duì)二維圖像求卷積[3]，將運(yùn)算得到的Gabor幅值級(jí)聯(lián)生成異物圖像的特征向量，但該向量維數(shù)高，計(jì)算復(fù)雜，對(duì)計(jì)算機(jī)的硬件基礎(chǔ)要求高；為降低計(jì)算的復(fù)雜度和對(duì)計(jì)算機(jī)硬件平臺(tái)的要求，應(yīng)將高維特征向量映射為低維特征向量。

2 算法設(shè)計(jì)

本算法方案是基于能量累積多源特征融合的機(jī)場(chǎng)FOD檢測(cè)方法，其基本思想是獲取干凈的機(jī)場(chǎng)跑道和含有異物的機(jī)場(chǎng)跑道的圖像的底層數(shù)據(jù)特征，并對(duì)每一種特征進(jìn)行定性、定量分析；然后針對(duì)灰度、邊緣、亮度等圖像特征信息，通過(guò)信息融合技術(shù)對(duì)特征數(shù)據(jù)處理和使用，識(shí)別出圖像異物并做標(biāo)記告警；最后采用多幀能量累積方法消除隨機(jī)噪聲，將一組具有重疊區(qū)域的多幀圖像進(jìn)行拼接，并再次采用基于多特征融合的機(jī)場(chǎng)FOD檢測(cè)算法對(duì)拼接圖像進(jìn)行二次檢測(cè)，在圖像中識(shí)別出異物，提升檢測(cè)準(zhǔn)確性。

2.1 機(jī)場(chǎng)跑道異物及道面特征分析

圖像的底層特征主要包括顏色、紋理、形狀及空間關(guān)系[4]，機(jī)場(chǎng)跑道道面異物檢測(cè)識(shí)別主要通過(guò)對(duì)圖像的這些特征進(jìn)行研究分析實(shí)現(xiàn)。顏色是圖像最直觀、可視覺(jué)化的特征信息；紋理是依據(jù)物體表面結(jié)構(gòu)按照一定的形式變化形成的某類(lèi)圖案；形狀是圖像輪廓、圖像區(qū)域所展現(xiàn)的特征要素；而空間關(guān)系說(shuō)明按某類(lèi)規(guī)則分割后的區(qū)域圖像仍存在一定的關(guān)聯(lián)關(guān)系。

圖像的顏色常用顏色直方圖、聚合向量等特征來(lái)定性定量分析，非常適合與背景色相差較大的異物檢測(cè)識(shí)別；紋理特征適合圖像區(qū)域特征表現(xiàn)明顯的異物檢測(cè)識(shí)別；形狀特征適合輪廓邊界有一定規(guī)則的異物識(shí)別；空間關(guān)系非常適合道面標(biāo)志線識(shí)別。本設(shè)計(jì)從采集到的視頻中按一定的頻幀獲取機(jī)場(chǎng)跑道圖像，對(duì)圖像的顏色、灰度、邊緣、形狀、頻譜、紋理等多個(gè)特征要素進(jìn)行定性、定量分析。

2.2 道面標(biāo)志線去除

道面標(biāo)志線的存在會(huì)對(duì)機(jī)場(chǎng)跑道異物檢測(cè)造成一定的誤判，因此在檢測(cè)前應(yīng)去除跑道的標(biāo)志線。首先對(duì)含有標(biāo)志線的圖像進(jìn)行特征定量定性分析，結(jié)合邊緣和灰度融合算法的優(yōu)勢(shì)，完成對(duì)圖像的區(qū)域分割。然后利用霍夫變換法，對(duì)跑道的道面圖像進(jìn)行直線檢測(cè)[5]，依據(jù)檢測(cè)的邊緣特征值將圖像進(jìn)行分割，計(jì)算各分割區(qū)域的灰度均值，最后根據(jù)分割的各模塊區(qū)域灰度值區(qū)分該模塊屬于哪類(lèi)區(qū)域。

通過(guò)基于邊緣和灰度融合的道面標(biāo)志線的去除方法，圖像處理后效果如圖3所示，圖3a～圖3d是整個(gè)圖像數(shù)據(jù)處理過(guò)程的形象化展現(xiàn)，通過(guò)視頻采集、邊緣檢測(cè)處理[6]、霍夫變換檢測(cè)[7]、空間關(guān)系圖像灰度信息[8]計(jì)算等步驟形成原始圖像、二值圖像、直線邊緣圖像和分割結(jié)果圖像。

圖3 基于邊緣和灰度融合的道面標(biāo)志線分割結(jié)果

2.3 基于多特征融合的跑道異物檢測(cè)

本文根據(jù)機(jī)場(chǎng)道面圖像特征分析[9]，采用基于圖像的灰度、邊緣、亮度多源特征進(jìn)行融合處理識(shí)別方法，提升系統(tǒng)的異物檢測(cè)的精準(zhǔn)能力?；叶忍卣骶哂休^好的魯棒性，但難以處理連續(xù)性的像素圖像，如異物的顏色和道面的顏色灰度值相近時(shí)，該檢測(cè)方法就失效；邊緣特征檢測(cè)能較好地處理連續(xù)性的像素圖像，并大大減少圖像的數(shù)據(jù)量，降低對(duì)計(jì)算機(jī)處理模塊的性能要求，但有較高幾率檢測(cè)出圖像偽邊緣，增加圖像檢測(cè)的誤報(bào)率；亮度特征也是圖像的一種較常用的顏色特征[10]，機(jī)場(chǎng)跑道金屬異物對(duì)飛機(jī)的危害最大，是機(jī)場(chǎng)航空器的高危物件，但金屬異物通常有較高的亮度，同時(shí)已通過(guò)清除道面標(biāo)志線來(lái)避免對(duì)檢測(cè)結(jié)果產(chǎn)生誤判，因此圖像的亮度特征是高危異物檢測(cè)的一種有效方法。

2.4 基于圖像拼接的離線跑道異物檢測(cè)

本方案采用基于車(chē)載的毫米波和夜視圖像融合檢測(cè)方法，本文主要描述的是基于夜視圖像的檢測(cè)方法，車(chē)載攝像頭采集的圖像存在分辨率不高、視場(chǎng)范圍不大、部分頻幀圖像畫(huà)質(zhì)較差等缺陷，為有效降低圖像的隨機(jī)噪聲，降低圖像信息要素不全的影響，采用多幀能量累積和圖像拼接的方法來(lái)進(jìn)行圖像檢測(cè)。

多幀能量累積是通過(guò)多幀圖像對(duì)同一目標(biāo)的能量累積，來(lái)有效提高圖像信噪比，提高系統(tǒng)檢測(cè)能力。通過(guò)對(duì)同一目標(biāo)的多幀圖像求均值，提升目標(biāo)能量，降低噪聲強(qiáng)度，因?yàn)槟繕?biāo)能量對(duì)連續(xù)的不同頻幀圖像有很強(qiáng)的相關(guān)性，而噪聲在不同頻幀圖像之間的相關(guān)性很低，所以目標(biāo)的多幀能量累積遠(yuǎn)大于噪聲的能量累積，因此能量累積方法能有效地提升檢測(cè)異物的能力，實(shí)現(xiàn)異物和機(jī)場(chǎng)道面區(qū)分。

圖像拼接[11]是指將一組不同但有重疊的圖像合并為一副新的、信息完整的圖像，從而解決車(chē)載攝像頭采集的圖像存在分辨率不高、視場(chǎng)范圍不大的問(wèn)題。

離線跑道異物檢測(cè)就是再次進(jìn)行基于多特征融合的機(jī)場(chǎng)FOD檢測(cè)算法對(duì)多幀拼接圖像進(jìn)行二次檢測(cè)、再次異物篩查，保證檢測(cè)結(jié)果的可靠性。

通過(guò)上述算法和系統(tǒng)設(shè)計(jì)，對(duì)某機(jī)場(chǎng)道面圖像進(jìn)行測(cè)試，能夠識(shí)別機(jī)場(chǎng)跑道測(cè)試的各類(lèi)異物，同時(shí)不將道面標(biāo)志線判斷為異物，避免誤判。異物檢測(cè)效果如圖4所示。

圖4 系統(tǒng)的異物檢測(cè)效果

3 結(jié)語(yǔ)

本文設(shè)計(jì)的機(jī)場(chǎng)異物檢測(cè)算法系統(tǒng)，首先對(duì)采集到的視頻基于機(jī)場(chǎng)跑道面異物及道面特征進(jìn)行多維度定量、定性分析，然后去除道面標(biāo)志線獲取跑道標(biāo)志線區(qū)域或者非跑道標(biāo)志線區(qū)域，避免標(biāo)志線對(duì)檢測(cè)結(jié)果的誤判影響，接著采用基于灰度、邊緣、亮度多特征融合算法進(jìn)行異物檢測(cè)，最后采用多幀能量累積方法消除隨機(jī)噪聲，將一組分辨率較低、視場(chǎng)范圍較小但具有一定重疊區(qū)域的圖像組合拼接，并再次采用基于多特征融合的異物檢測(cè)算法進(jìn)行二次檢測(cè)，提升異物檢測(cè)的準(zhǔn)確性。