基于海天線引導(dǎo)與卷積神經(jīng)網(wǎng)絡(luò)的艦船目標(biāo)檢測(cè)?

梅升陽(yáng) 田金文

（華中科技大學(xué)自動(dòng)化學(xué)院多譜信息處理技術(shù)國(guó)家級(jí)重點(diǎn)實(shí)驗(yàn)室 武漢 430074）

1 引言

紅外艦船目標(biāo)檢測(cè)一直是國(guó)內(nèi)外關(guān)注的熱點(diǎn)問(wèn)題，因?yàn)樗羌t外制導(dǎo)武器在海面背景下識(shí)別、跟蹤、可靠捕獲目標(biāo)的重要基礎(chǔ)和前提。實(shí)際海面存在大量海雜波、海浪、太陽(yáng)光反射等諸多干擾。為了實(shí)現(xiàn)海天背景下艦船目標(biāo)的可靠檢測(cè)，眾多學(xué)者提出了許多方法。在空域，有基于多尺度局部方差的方法［1］，基于多尺度局部梯度的方法［2］，基于多尺度分形與均值漂移的方法［3］，基于數(shù)學(xué)形態(tài)學(xué)的方法，基于梯度統(tǒng)計(jì)特性的方法，以及基于小波包和高階統(tǒng)計(jì)量的方法等等。在頻域，有基于頻譜殘留變換的方法［4］等。這些方法在簡(jiǎn)單的背景干擾下都能取得較好的檢測(cè)效果。

傳統(tǒng)的檢測(cè)模型通常采用人工特征提取方法獲得目標(biāo)的特征描述，然后進(jìn)行目標(biāo)的分割提取識(shí)別等。這種人工特征提取方法相對(duì)復(fù)雜，對(duì)特征提取的方式要求較高。而且人工特征也沒(méi)有比較好的適用性，不同的場(chǎng)景用不同的特征會(huì)有不同的效果。其次，很多特征提取方式需要小尺度、小角度的變換等等，在現(xiàn)實(shí)應(yīng)用中難以滿足。這些年來(lái)，隨著神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)技術(shù)的不斷進(jìn)步與發(fā)展，其在目標(biāo)檢測(cè)、識(shí)別、分類等領(lǐng)域越來(lái)越顯示其強(qiáng)大之處。卷積神經(jīng)網(wǎng)絡(luò)（Convolution neural net?works，CNNs）是為圖像處理領(lǐng)域特別設(shè)計(jì)的深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)，它將多層人工神經(jīng)網(wǎng)絡(luò)與卷積運(yùn)算相結(jié)合，通過(guò)卷積運(yùn)算讓計(jì)算機(jī)自動(dòng)從圖像中提取目標(biāo)特征，這樣獲得的特征更自然，通用性更好。同時(shí)，它對(duì)一定程度的扭曲形變有良好的魯棒性。另外，它根據(jù)圖像特點(diǎn)，使用局部圖像來(lái)做卷積，這種稀疏連接和權(quán)重共享，極大減少了神經(jīng)網(wǎng)絡(luò)模型的參數(shù)個(gè)數(shù)［5］。

然而，卷積神經(jīng)網(wǎng)絡(luò)需要對(duì)整個(gè)目標(biāo)進(jìn)行處理，對(duì)于一些復(fù)雜目標(biāo)，模型需要大量的中間節(jié)點(diǎn)，計(jì)算量大。為了減少目標(biāo)檢測(cè)的計(jì)算量，這里引入了海天線檢測(cè)方法。根據(jù)海天線檢測(cè)結(jié)果，得到目標(biāo)檢測(cè)的ROI區(qū)域。在ROI區(qū)域中進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)，可以大大提高目標(biāo)檢測(cè)的效率，提高檢測(cè)方法的可用性。許多學(xué)者對(duì)海天線提取的研究取得了很好的成果。張峰等采用行映射直方圖的方法確定海天線區(qū)域。這種方法在簡(jiǎn)單的海天背景上取得良好效果，但是用于圖像二值化的門限不好確定。Mohanty［6］則通過(guò)行平均，尋找列方向梯度最大值位置作為海天線位置。但是這種方法對(duì)海雜波十分敏感。裴繼紅、劉松濤［7］、楊磊［8］、呂俊偉［9］、裴立力［10］、魏穎［11］等提出了相應(yīng)的海天線檢測(cè)方法，這些方法都有較好的效果，但是在復(fù)雜背景下又會(huì)面臨這樣那樣的問(wèn)題。本文將提出基于特性融合的海天線檢測(cè)方法，以取得較好的檢測(cè)效果和魯棒性。

2 海天線檢測(cè)

經(jīng)過(guò)大量實(shí)驗(yàn)研究發(fā)現(xiàn)，海天線具有分界特性與直線特性。海天線上部區(qū)域與下部區(qū)域具有不同的統(tǒng)計(jì)特性，如方差、熵等的差別。很多檢測(cè)方法也是基于這個(gè)特性提出的，如基于局部方差、局部梯度的方法等。另一個(gè)特性是直線特性，也就是海天線接近一條直線，利用這個(gè)特性，可以用Hough變換的方法來(lái)檢測(cè)海天線。但是在復(fù)雜圖像背景情形下，海天線的分界特性會(huì)受到干擾。這樣單一的基于分界特性的算法難以準(zhǔn)確檢測(cè)海天線，需要結(jié)合直線特性進(jìn)行檢測(cè)。將亮度、紋理、直線特性等進(jìn)行融合以實(shí)現(xiàn)更好的海天線檢測(cè)是本節(jié)的主要內(nèi)容。

2.1 行分割熵差

考慮一個(gè)大小M×N的圖像f（x，y），用Gabor濾波器g（u，v）濾波后的圖像為t（x，y）：

以第i行為界，分割t為上下兩部分：

分別求取t1的熵 H1(i)與t2的熵H2(i)，則行分割熵差為

2.2 行對(duì)比度

計(jì)算行對(duì)比度時(shí)先把圖像按照步長(zhǎng)Step分割成多個(gè)條帶。其中，第1條帶由第1行至第Step行構(gòu)成，第2條帶由第Step+1行至第2Step行構(gòu)成，第k條帶由第（k-1）Step+1至第kStep行構(gòu)成。設(shè)第k條帶第1行的行號(hào)為i：

第k條帶像素強(qiáng)度和為Sk：

2.3 行直線擬合系數(shù)

根據(jù)海天線的直線特性，海天線所在的點(diǎn)應(yīng)當(dāng)可以回歸成一條直線。用條帶的列重心來(lái)代表海天線上的點(diǎn)，根據(jù)這些點(diǎn)的直線回歸相關(guān)系數(shù)可以得知擬合的好壞，也就值直線性的強(qiáng)弱。

對(duì)于第m條帶，設(shè)其第一行的行號(hào)為i，條帶步長(zhǎng)為Step，則第n列的重心為

將 第m條 帶 的 重 心G1(x1，y1)，G2(x2，y2)，…，Gn((xn，yn))，…，GN(xN，yN)回歸成一條直線，則該回歸的相關(guān)系數(shù)，即行直線擬合系數(shù)為

2.4 多特性融合的檢測(cè)方法

為取得更好的融合效果，先用Gabor濾波器對(duì)原紅外圖像進(jìn)行濾波，得到紋理圖像。在紋理圖像基礎(chǔ)上，分別計(jì)算分割熵差、行對(duì)比度、直線擬合系數(shù)等，最后進(jìn)行乘積融合。過(guò)程如圖1。

圖1 多特性融合流程

用公式表示就是

其中，i表示第i行。

這樣就得到了海天線的位置，當(dāng)然這里沒(méi)有考慮海天線的傾斜問(wèn)題。對(duì)于確定ROI區(qū)域來(lái)說(shuō)，這樣的精確度足夠了。

3 基于卷積神經(jīng)網(wǎng)絡(luò)的檢測(cè)方法

3.1 CNN網(wǎng)絡(luò)檢測(cè)模型

本文提出的網(wǎng)絡(luò)檢測(cè)模型由多個(gè)卷積層與多個(gè)池化層構(gòu)成。分別是輸入層、卷積層（Convolu?tional Layer）、池化層（Pooling Layer）、卷積層、池化層。卷積層通過(guò)將輸入層或者前一層的局部區(qū)域神經(jīng)元的輸出與卷積核的權(quán)重做點(diǎn)積以提取目標(biāo)特征。卷積層的步長(zhǎng)都為1，卷積核大小都為5。所得特征經(jīng)過(guò)激活函數(shù)作用，成為下一層的輸入。激活函數(shù)使用sigmoid函數(shù)：

池化層對(duì)上一層的輸入做空間上的降采樣，以減少整個(gè)網(wǎng)絡(luò)的參數(shù)個(gè)數(shù)，既可以降低計(jì)算量，提高檢測(cè)效率，又可以避免過(guò)擬合問(wèn)題。這里池化層降采樣比率設(shè)為2，也就是池化后的層寬高皆為輸入的一半。整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

最終網(wǎng)絡(luò)輸出檢索區(qū)域?qū)儆谂灤繕?biāo)的概率P。

3.2 ROI區(qū)域提取

為了減少卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)時(shí)的計(jì)算量，可以將檢測(cè)區(qū)域縮小到海天線上下一定區(qū)域范圍內(nèi)。設(shè)上下寬度取為δ，則ROI區(qū)域?yàn)?/p>

圖2 本文卷積神經(jīng)網(wǎng)絡(luò)框架結(jié)構(gòu)

一般艦船分布區(qū)域不會(huì)太寬，δ取15～30左右即可。

3.3 目標(biāo)檢測(cè)流程

整個(gè)檢測(cè)過(guò)程是在ROI區(qū)域內(nèi)，利用多個(gè)尺度的搜索窗口尋找艦船目標(biāo)。尋找艦船目標(biāo)的過(guò)程中，利用訓(xùn)練好的CNN網(wǎng)絡(luò)求取搜索窗口區(qū)域?qū)儆谀繕?biāo)艦船的概率。然后進(jìn)行后處理得到目標(biāo)檢測(cè)結(jié)果。整個(gè)過(guò)程如圖3所示。

圖3 本文目標(biāo)檢測(cè)流程圖

4 實(shí)驗(yàn)結(jié)果分析與討論

4.1 海天線檢測(cè)實(shí)驗(yàn)

將直線擬合方法、Hough變換法檢測(cè)海天線結(jié)果與本文提出的方法比較。實(shí)驗(yàn)圖像都是320×256的紅外圖像。直線擬合方法中分區(qū)寬度K=4，平均值濾波窗口大小為3×3。本文方法中計(jì)算行對(duì)比度的步長(zhǎng)Step=4。

從第一第二幅圖像可以看到，煙幕彈情形下，直線擬合方法、Hough變換法與本文方法檢測(cè)海天線效果接近，直線擬合方法對(duì)于有一定傾斜角度的海天線有優(yōu)勢(shì)。

從第三幅圖像可以看到，云霧干擾情況下，直線擬合方法無(wú)法準(zhǔn)確檢測(cè)海天線，Hough變換法與本文方法可以較為準(zhǔn)確檢測(cè)海天線。

從第四幅圖像可以看到，較強(qiáng)海雜波情形下，直線擬合方法與Hough變換法也無(wú)法準(zhǔn)確檢測(cè)海天線，而本文方法可以較為準(zhǔn)確檢測(cè)海天線。

綜上所述，本文方法在各種海天線干擾下都有較好的檢測(cè)效果，尤其是云霧干擾與海雜波干擾時(shí)有較大優(yōu)勢(shì)，但是對(duì)于傾斜的海天線稍顯不足。

圖4 本文方法與典型的海天線檢測(cè)方法對(duì)比

4.2 CNN網(wǎng)絡(luò)訓(xùn)練

本文對(duì)卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練使用紅外艦船圖像數(shù)據(jù)。使用人工標(biāo)記的方法在艦船目標(biāo)周圍選取正樣本，在背景區(qū)域選取負(fù)樣本。在多達(dá)220張連續(xù)的艦船序列圖像中，用其中200張圖像標(biāo)記出400個(gè)正樣本與600個(gè)負(fù)樣本。接著對(duì)標(biāo)記出的樣本進(jìn)行左右對(duì)稱處理，以提高訓(xùn)練模型對(duì)艦船方向的適應(yīng)性。然后對(duì)總計(jì)2000張樣本進(jìn)行歸一化處理，尺度為28×28。將這些樣本放入本文的CNN網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

圖5 典型的紅外圖像數(shù)據(jù)

圖6 經(jīng)過(guò)歸一化的正樣本，樣本中含有艦船目標(biāo)

圖7 經(jīng)過(guò)歸一化的負(fù)樣本，樣本中為背景或者干擾

圖8 經(jīng)過(guò)多次迭代，訓(xùn)練樣本的均方誤差越來(lái)越小

4.3 基于CNN的艦船目標(biāo)檢測(cè)實(shí)驗(yàn)

提取ROI區(qū)域過(guò)程中，海天線上下寬度δ設(shè)為13。實(shí)際檢測(cè)過(guò)程中，這個(gè)參數(shù)要根據(jù)艦船具體大小來(lái)設(shè)定。如果艦船大小不同，或者艦船可能偏離海天線較遠(yuǎn)，就需要設(shè)定較大的δ值，并使用多尺度窗口搜索技術(shù)來(lái)檢測(cè)目標(biāo)。由于篇幅有限，這里就不對(duì)此參數(shù)做過(guò)多討論。

圖9 基于CNW的艦船目標(biāo)檢測(cè)實(shí)驗(yàn)

得到ROI區(qū)域后，在ROI行方向上采集滑動(dòng)窗口，放入訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型計(jì)算窗口屬于目標(biāo)艦船的概率，從而得到概率曲線。由于圖像上只有一個(gè)艦船，獲取最大概率對(duì)應(yīng)的列位置，即可得到目標(biāo)艦船的位置。實(shí)際檢測(cè)過(guò)程中，可能有多個(gè)艦船目標(biāo)，就需要考慮恒虛警處理以及目標(biāo)合并的問(wèn)題。這里就不展開(kāi)了。

從上面的研究可以看到，本文基于海天線引導(dǎo)與卷積神經(jīng)網(wǎng)絡(luò)的艦船目標(biāo)檢測(cè)方法確實(shí)可以準(zhǔn)確檢測(cè)艦船位置。

5 結(jié)語(yǔ)

結(jié)合海天線的分界特性與直線特性，本文提出了海天線的多特性融合的檢測(cè)方法。相比于傳統(tǒng)的直線擬合方法與Hough變換方法，本文方法在復(fù)雜背景下有較大優(yōu)勢(shì)。在海天線檢測(cè)基礎(chǔ)上，本文進(jìn)一步在圖像上提取ROI區(qū)域，用于CNN網(wǎng)絡(luò)檢測(cè)艦船目標(biāo)。通過(guò)自主設(shè)計(jì)的網(wǎng)絡(luò)模型，在人工標(biāo)記樣本訓(xùn)練的基礎(chǔ)上，取得較好的檢測(cè)效果。今后將進(jìn)一步研究多尺度的檢測(cè)方法以改進(jìn)算法的整體性能。

［1］鄒常文，馮力天，劉先志，等.基于多尺度局部方差的海面紅外艦船檢測(cè)［J］.激光與紅外，2011，41（6）：697-699.ZOU Changwen，F(xiàn)ENG Litian，LIU Xianzhi，et al.Infrared Warship Target Detection based on Multi-scale Variance［J］.Laser&Infrared，2011，41（6）：697-699.

［2］邢莎，吉林，雍楊，等.基于多尺度局部邊緣梯度的紅外艦船目標(biāo)檢測(cè)［J］.兵工自動(dòng)化，2014（5）：61-64.XING Sha，JI Lin，YONG Yang，et al.Infrared Warship Target Detection based on Multi-Scale Edge Gradient［J］.Ordnance Industry Automation，2014（5）：61-64.

［3］鄒常文，劉先志，戴軍，等.基于多尺度分形與均值漂移的紅外海面艦船目標(biāo)分割［J］.激光與紅外，2010，40（9）：1023-1026.ZOU Changwen，LIU Xianzhi，DAI Jun，et al.Infrared Ship Object Segment based on MFFK and MeanShift filter?ing［J］.Laser&Infrared，2010，40（9）：1023-1026.

［4］張志龍，楊衛(wèi)平，張焱，等.基于頻譜殘留變換的紅外遙感圖像艦船目標(biāo)檢測(cè)方法［J］.電子與信息學(xué)報(bào)，2015，37（9）：2144-2150.ZHANG Zhilong，YANG Weiping，ZHAN Yan，et al.Ship Detection in Infrared Remote Sensing Images Based on Spectral Residual Transform［J］.Journal of Electronics&Information Technology，2015，37（9）：2144-2150.

［5］盧宏濤，張秦川.深度卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)中的應(yīng)用研究綜述［J］.數(shù)據(jù)采集與處理，2016，31（1）：1-17.LU Hongtao，ZHANG Qinchuan.Applications of Deep Con?volutional Neural Network in Computer Vision［J］.Journal of Data Acquisition&Processing，2016，31（1）：1-17.

［6］Mohanty，N.C.Image Enhancement and Recognition of Moving Ship in Cluttered Background［J］.Pattern Analy?sis and Machine Intelligence，IEEE Transactions on，1981，3（5）：606-610.

［7］劉松濤，沈同圣，韓艷麗，等.艦船目標(biāo)海天線提取方法研究［J］.海軍航空工程學(xué)院學(xué)報(bào)，2002，17（6）：51-53.LIU Songtao，SHEN Tongshen，HAN Yanli，et al.Re?search on Locating the Sea-sky Boundary of Ship Target［J］.Journal of Naval Aeronautical Engineering Institute，2002，17（6）：51-53.

［8］Yang，L.，et al.Variance WIE based Infrared Images Pro?cessing［J］.Electronics Letters，2006，42（15）：857-859.

［9］呂俊偉，王成剛，周曉東，等.基于分形特征和Hough變換的海天線檢測(cè)算法［J］.海軍航空工程學(xué)院學(xué)報(bào)，2006，21（5）：545-548.LV Junwei，WANG Chenggang，ZHOU Xiaodong，et al.A Sea-sky-line Detection Algorithm based on Fractal Fea?ture and Hough Transform［J］.Journal of Naval Aeronauti?cal Engineering Insititute，2006，21（5）：545-548.

［10］裴立力，史澤林，羅海波.一種基于小波多尺度分析的水天線檢測(cè)方法［J］.沈陽(yáng)工業(yè)大學(xué)學(xué)報(bào)，2003，25（2）：125-128.PEI Lili，SHI Zelin，LUO Haibo.Detection of Sea-level based on Wavelet Multi-scale Analysis［J］.Journal of Shenyang University of Technology，2003，25（2）：125-128.

［11］Wei，Y.Z.Shi，and H.Yu.Wavelet Analysis based Detec?tion Algorithm for Infrared Image Small Target in Back?ground of Sea and Sky［C］//Image and Signal Processing and Analysis，2003.ISPA 2003.Proceedings of the 3rd International Symposium on.2003（1）：23-28.