• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于深度分離卷積神經(jīng)網(wǎng)絡(luò)的高速高精度SAR艦船檢測

    2020-01-17 06:54:52張曉玲張?zhí)煳?/span>韋順軍
    雷達(dá)學(xué)報(bào) 2019年6期
    關(guān)鍵詞:艦船注意力卷積

    張曉玲 張?zhí)煳?師 君 韋順軍

    (電子科技大學(xué)信息與通信工程學(xué)院 成都 611731)

    1 引言

    SAR是一種主動(dòng)式的微波成像傳感器,具有全天時(shí)、全天候的工作能力,對氣候變幻無常的海洋進(jìn)行監(jiān)測具有良好的適應(yīng)性[1]。其中,海洋上的艦船是一種需要重點(diǎn)監(jiān)測的高價(jià)值對象,對其有效的檢測有利于海洋交通管制、漁業(yè)管理、油污泄漏監(jiān)察、戰(zhàn)事部署等[2]。

    傳統(tǒng)的SAR艦船檢測有恒虛警率(Constant False Alarm Rate,CFAR)方法[3-5],該類方法根據(jù)預(yù)先建立的雜波統(tǒng)計(jì)模型來確定檢測閾值,但這些模型容易受到洋流、氣候等影響,存在應(yīng)用場景受限的缺點(diǎn),并且求解復(fù)雜的模型方程十分耗時(shí),影響其檢測速度。模版匹配[6-10]是另外一種常見的傳統(tǒng)方法,此類方法通過人工設(shè)計(jì)多種模版,一種模板對應(yīng)一種特征(艦船的長度、寬度、周長、面積、輪廓、紋理等),在實(shí)際檢測時(shí),用這些模版在圖像上進(jìn)行滑動(dòng)搜索,從而獲得檢測結(jié)果。但該類方法建立全面的模板庫耗費(fèi)大量人力,并且常常依賴于專家經(jīng)驗(yàn),具有較差的泛化能力。特別地,在大場景的SAR圖像中進(jìn)行窗口滑動(dòng)也耗費(fèi)較長時(shí)間,對實(shí)時(shí)性帶來一定的挑戰(zhàn)。

    近些年來,隨著人工智能的興起,由于深度學(xué)習(xí)無需人工耗時(shí)耗力進(jìn)行特征設(shè)計(jì)便能實(shí)現(xiàn)有效的目標(biāo)檢測,因此越來越多的學(xué)者將計(jì)算機(jī)視覺領(lǐng)域的目標(biāo)檢測器引入到SAR領(lǐng)域中。特別地,深度學(xué)習(xí)的方法不受場景限制,無需海陸分離,只要給定標(biāo)注好的數(shù)據(jù)集,便能夠自發(fā)有效地學(xué)習(xí)艦船特征,具有高效性、高準(zhǔn)確性等優(yōu)點(diǎn)。

    對于SAR圖像中的艦船檢測,自從海軍航空大學(xué)提出了國內(nèi)第一個(gè)公開的SAR艦船檢測數(shù)據(jù)集(SAR Ship Detection Dataset,SSDD)以來[11],基于深度學(xué)習(xí)的SAR艦船檢測發(fā)展日益迅速。文獻(xiàn)[12]將候選區(qū)域提取的二值化賦范梯度方法(BInarized Normed Gradients,BING)[13]和快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Faster Region-Convolutional Neural Network,Fast R-CNN)[14]結(jié)合,采用級(jí)聯(lián)CNN的形式檢測精度達(dá)到了73.5%。文獻(xiàn)[15]優(yōu)化Faster R-CNN[16]來進(jìn)行艦船檢測,結(jié)合特征融合、遷移學(xué)習(xí)等方式在SSDD數(shù)據(jù)集上實(shí)現(xiàn)了78.8%的檢測精度。文獻(xiàn)[17]將單點(diǎn)多框檢測器(Single Shot multi-box Detector,SSD)[18]應(yīng)用到SAR艦船檢測中,提出了基于上下文信息的遷移學(xué)習(xí)模型實(shí)現(xiàn)了87.1%的檢測精度。文獻(xiàn)[19]針對SAR圖像中復(fù)雜的艦船背景提出了一種改進(jìn)的“你只需看一遍”版本3 (You Only Look Once version 3,YOLOv3)[20]算法,并結(jié)合特征金字塔[21]結(jié)構(gòu),實(shí)現(xiàn)了多尺度的艦船檢測,尤其對小尺寸艦船檢測性能更佳,精度提高了6%,但是速度卻從原始的27 ms降至32 ms。遺憾的是,以上文獻(xiàn)中的檢測模型都比較大,網(wǎng)絡(luò)參數(shù)較多,在提高精測精度的同時(shí)往往犧牲了檢測速度。因此,對于實(shí)時(shí)性要求高的SAR應(yīng)用場合,存在一定的局限性,例如緊急軍事部署、迅速海難救援、實(shí)時(shí)海洋環(huán)境監(jiān)測等。

    因此,為解決上述缺陷,本文提出一種基于深度分離卷積神經(jīng)網(wǎng)絡(luò)(Depthwise Separable Convolution Neural Network,DS-CNN)[22]的高速高精度SAR艦船檢測方法SARShipNet-20,該方法取代傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)(Traditional Convolution Neural Network,T-CNN),并結(jié)合通道注意力機(jī)制(Channel Attention,CA)[23,24]和空間注意力機(jī)制(Spatial Attention,SA)[23],能夠同時(shí)實(shí)現(xiàn)高速和高精度的SAR艦船檢測。該方法在實(shí)時(shí)性SAR應(yīng)用領(lǐng)域具有一定的現(xiàn)實(shí)意義,并且其輕量級(jí)的模型有助于未來的FPGA或DSP的硬件移植。

    相比于先前研究成果[2],本文創(chuàng)新點(diǎn)如下:

    (1)本文中的網(wǎng)絡(luò)結(jié)構(gòu)是全新的,和文獻(xiàn)[2]中結(jié)構(gòu)完全不同,并命名為SARShipNet-20,這里的20指有20個(gè)卷積層。該網(wǎng)絡(luò)結(jié)構(gòu)更加精簡,層數(shù)更少,并且為前向流水線結(jié)構(gòu),無復(fù)雜多余的正向反饋或負(fù)向反饋支路。特別地,SARShipNet-20模型為23.17 MB,而文獻(xiàn)[2]中網(wǎng)絡(luò)模型為38.05 MB,網(wǎng)絡(luò)輕了約40%;

    (2)SARShipNet-20中全部采用DS-CNN,而文獻(xiàn)[2]中的方法為了避免較大的精度損失,采用DS-CNN和T-CNN相混合的機(jī)制;

    (3)本文額外加入通道注意力(CA)和空間注意力(SA)機(jī)制,使檢測精度得到了改善,而文獻(xiàn)[2]沒有采用注意力機(jī)制。

    2 CNN

    2.1 T-CNN

    卷積神經(jīng)網(wǎng)絡(luò)具有類似于人眼的感受野[25],能夠更全面地觀測目標(biāo)信息,因此在目標(biāo)檢測領(lǐng)域得到了廣泛地應(yīng)用。不同于BP神經(jīng)網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò)采用參數(shù)共享機(jī)制,能夠?qū)崿F(xiàn)更深網(wǎng)絡(luò)的訓(xùn)練,從而達(dá)到深度學(xué)習(xí)的目的。特別地,自從AlexNet[26]網(wǎng)絡(luò)在目標(biāo)檢測領(lǐng)域被成功應(yīng)用,越來越多的學(xué)者開始使用卷積神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)目標(biāo)檢測任務(wù)。近年來,眾多利用卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測器已經(jīng)被提出,例如Faster R-CNN,YOLO,SSD等,并且已經(jīng)被眾多學(xué)者成功地應(yīng)用到SAR艦船檢測領(lǐng)域。為便于闡述所提方法,本文稱以上最初提出的卷積神經(jīng)網(wǎng)絡(luò)為傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)(T-CNN)。

    圖1(a)為T-CNN的結(jié)構(gòu)圖,其中I1,I2,I3代表輸入,K1,K2,K3代表卷積核,O1,O2,O3代表輸出。在T-CNN中,每個(gè)卷積核需要對輸入的所有通道進(jìn)行卷積,卷積運(yùn)算的過程融合了通道相關(guān)性和空間相關(guān)性。

    T-CNN的計(jì)算量為

    其中,L為輸入圖像的尺寸,k為卷積核的尺寸,Nkernel為卷積核數(shù)目,Ninput為輸入通道數(shù)目。

    2.2 DS-CNN

    圖1(b)為DS-CNN的結(jié)構(gòu)圖,其中I1,I2,I3代表輸入,K1,K2,K3和代表卷積核,J1,J2,J3代表中間層輸出,O1,O2,O3代表輸出。DS-CNN由深度卷積(Depthwise Convolution,D-Conv)和點(diǎn)狀卷積(Pointwise Convolution,P-Conv)組成。其中,D-Conv只卷積輸入的一個(gè)通道,相比T-CNN能夠大幅減少網(wǎng)絡(luò)的參數(shù)量;P-Conv進(jìn)行傳統(tǒng)的卷積運(yùn)算,但它的卷積核的尺寸為1×1,相比大尺寸的卷積核,也具有較少的參數(shù)量。DS-CNN能夠成功解耦通道相關(guān)性和空間相關(guān)性[2,27],能夠在不損失精度的條件下,大幅減少計(jì)算量,從而提高檢測速度,這主要由于T-CNN存在一定的網(wǎng)絡(luò)冗余[2,27]。

    DS-CNN的計(jì)算量為

    式(2)和式(1)的比值為

    其中,Nkernel>> 1,k> 1。

    因此,ratio <1,這從理論上證明了DS-CNN確實(shí)比T-CNN具有更少的計(jì)算量,這對提高艦船的檢測速度具有促進(jìn)作用。

    3 網(wǎng)絡(luò)結(jié)構(gòu)

    3.1 網(wǎng)絡(luò)結(jié)構(gòu)圖

    當(dāng)前SAR艦船檢測研究中大多采用計(jì)算機(jī)視覺領(lǐng)域現(xiàn)有的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn),這存在一定的缺陷。一方面,計(jì)算機(jī)視覺領(lǐng)域所提出的眾多目標(biāo)檢測都針對光學(xué)圖像,若直接應(yīng)用在SAR圖像中存在數(shù)據(jù)源不平衡的問題;另一方面,計(jì)算機(jī)視覺領(lǐng)域中的目標(biāo)檢測器都針對多種類別的目標(biāo),而SAR圖像艦船檢測只需檢測艦船這一類目標(biāo),那么這些模型必然存在較大的冗余度。因此,不同于現(xiàn)有的其他研究,本文在借鑒YOLO[20,28,29]網(wǎng)絡(luò)的基礎(chǔ)上,從0開始構(gòu)建了一個(gè)全新的網(wǎng)絡(luò)結(jié)構(gòu),為便于敘述,本文將網(wǎng)絡(luò)結(jié)構(gòu)命名為SARShipNet-20,這里的20指有20個(gè)卷積層。

    圖2為SARShipNet-20示意圖。圖2中,數(shù)字80,40,20,10,5代表不同層的特征圖(feature maps)的尺寸,且所有的卷積層均采用DS-CNN。如圖2所示,網(wǎng)絡(luò)中均采用3×3的卷積核,這可減少網(wǎng)絡(luò)參數(shù)量。由于網(wǎng)絡(luò)越深,特征圖的尺寸越小,可能導(dǎo)致丟失較多的艦船特征,因此網(wǎng)絡(luò)后端的層數(shù)被設(shè)置逐漸增加。另外,為了能夠檢測不同尺寸的檢測,網(wǎng)絡(luò)中設(shè)置了3種不同的檢測尺度,分別位于特征圖尺寸為20的輸出,特征圖尺寸為10的輸出,特征圖尺寸為5的輸出。計(jì)算機(jī)視覺領(lǐng)域中的目標(biāo)檢測器大多幾十層甚至上百層,而本網(wǎng)絡(luò)只有20層,結(jié)構(gòu)清晰簡單,更適合于SAR圖像中艦船檢測這種簡單的任務(wù),能夠大幅降低網(wǎng)絡(luò)的冗余度。

    每個(gè)卷積層的內(nèi)部詳細(xì)操作流程如圖3所示。

    為了使網(wǎng)絡(luò)訓(xùn)練更充分,網(wǎng)絡(luò)中每個(gè)卷積層后均進(jìn)行批量歸一化(Batch Normalization,BN)[30]操作,該操作將卷積層中的參數(shù)值歸一化到[0,1]的高斯分布,有助于避免訓(xùn)練過程中的梯度消失,其定義為

    其中,X為輸入向量,Y為輸出向量,m()為求均值,參數(shù)ξ和η為超參數(shù),這兩個(gè)超參數(shù)無需手工設(shè)置,而是在訓(xùn)練過程中通過自動(dòng)學(xué)習(xí)獲得,ε為接近于0的常數(shù),以避免分母為0的情況發(fā)生。

    圖1 傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)和深度分離卷積神經(jīng)網(wǎng)絡(luò)示意圖Fig.1 Diagrammatic sketch of T-CNN and DS-CNN

    圖2 網(wǎng)絡(luò)結(jié)構(gòu)示意圖 (SARShipNet-20)Fig.2 Network structure (SARShipNet-20)

    圖3 卷積層內(nèi)部操作流程Fig.3 Internal operation flow in convolution layers

    為了加快激活速度,網(wǎng)絡(luò)中的激活函數(shù)選擇為ReLU,其定義為

    3.2 損失函數(shù)

    SARShipNet-20無需產(chǎn)生候選區(qū)域,因此是一個(gè)單階段目標(biāo)檢測器,其訓(xùn)練的損失函數(shù)可借鑒YOLOv3。實(shí)現(xiàn)SAR艦船檢測任務(wù)就是獲得艦船的以下參數(shù):

    (1)艦船檢測框的坐上頂點(diǎn)的坐標(biāo)(x,y);

    (2)艦船檢測框的寬度和高度(w,h);

    (3)艦船檢測框的置信得分。

    因此,訓(xùn)練SARShipNet-20的損失函數(shù)由以上3部分組成。

    檢測框的坐標(biāo)損失函數(shù)為

    其中,xi和yi為第i個(gè)真實(shí)框的坐標(biāo),為第j個(gè)網(wǎng)格的第i個(gè)檢測框的坐標(biāo)(網(wǎng)格劃分機(jī)制詳見YOLOv3[20]);當(dāng)網(wǎng)格中包含艦船或者艦船的一部分時(shí)否則;λc為坐標(biāo)損失的權(quán)重系數(shù),B為生成的檢測框的數(shù)目,S為劃分的網(wǎng)格數(shù)目。

    檢測框的寬度和高度損失函數(shù)為

    其中,wi和hi為第i個(gè)真實(shí)框的寬度和高度,和為第j個(gè)網(wǎng)格的第i個(gè)檢測框的寬度和高度;λw,h為寬度和高度損失函數(shù)的權(quán)重系數(shù)。

    檢測框的置信得分損失函數(shù)為

    IoU為預(yù)測框和真實(shí)框的交并比,定義為

    其中,BP為預(yù)測框,BG為真實(shí)框,即IoU為預(yù)測框和真實(shí)框區(qū)域交集和并集的面積比值。

    3.3 通道注意力機(jī)制

    SARShipNet-20采用DS-CNN來搭建網(wǎng)絡(luò)模型,可能存在檢測精度的損失。因此,為了提高檢測精度,本文在此基礎(chǔ)上增加了通道注意力機(jī)制模型(CA),CA加在圖2黑色虛線框中的每兩層之間。

    網(wǎng)絡(luò)中的通道數(shù)目本質(zhì)就是卷積核的個(gè)數(shù),在網(wǎng)絡(luò)中,并不是每個(gè)卷積核都起到關(guān)鍵的作用,有些甚至?xí)z測產(chǎn)生負(fù)面的影響。因此,CA可以關(guān)注到有效的通道和抑制無效的通道,從而能夠提高網(wǎng)絡(luò)中信息流動(dòng)的效率[23]。

    圖4為通道注意力機(jī)制的示意圖,通道注意力機(jī)制加在每一個(gè)卷積層的輸出端。輸入的特征圖維度為N×H×W,其中N為通道數(shù),H為高,W為寬,該通道注意力機(jī)制實(shí)現(xiàn)為

    其中,F(xiàn)為輸入特征圖,MLP為多層感知機(jī),GAP為全局平均池化,GMP為全局最大池化,sg為激活函數(shù),定義為

    在注意力機(jī)制處理后得到一個(gè)維度為N×1×1的向量Fc

    其中,αi,i=1,2,···,N代表第N個(gè)通道的重要等級(jí)。最后該向量點(diǎn)乘輸入得到最終的輸出,能夠有效關(guān)注到有效的通道。

    通道注意力機(jī)制的詳細(xì)原理可參考文獻(xiàn)[23]。

    3.4 空間注意力機(jī)制

    SARShipNet-20中還增加了空間注意力機(jī)制(SA)來進(jìn)一步提高檢測精度,SA加在圖2黑色虛線框中的每兩層之間。在一幅SAR圖像中,在空間上存在不同價(jià)值的信息,例如對于停靠于港口的艦船,艦船是重點(diǎn)關(guān)注的對象,而港口設(shè)備不是關(guān)注的對象,空間注意力機(jī)制能夠有效地關(guān)注到艦船而抑制圖像中其他不重要的信息,從而提高檢測精度。

    圖5為空間注意力機(jī)制的示意圖,空間注意力機(jī)制加在通道注意力機(jī)制的輸出端。輸入的為被通道注意力機(jī)制處理后的特征圖,該空間注意力機(jī)制實(shí)現(xiàn)為

    其中,F(xiàn)′為輸入特征圖,該特征圖為通道注意力機(jī)制的輸出;f7×7為7×7的卷積。

    在注意力機(jī)制處理后得到一個(gè)維度為1×H×W的矩陣Fs

    其中,βi,j,i=1,2,···,H;j=1,2,···,W代表空間中(i,j)坐標(biāo)位置信息的重要等級(jí)。最后該矩陣點(diǎn)乘輸入得到最終的輸出,能夠有效地關(guān)注到有效的空間信息。

    空間注意力機(jī)制的詳細(xì)原理可參考文獻(xiàn)[23]。

    4 實(shí)驗(yàn)驗(yàn)證

    本文基于Keras[31]編寫程序,以Tensorflow[32]為程序后端,在Pycharm軟件平臺(tái)上進(jìn)行。實(shí)驗(yàn)硬件配置的CPU為Intel(R)i9-9900K,GPU為NVIDIA RTX2080Ti,內(nèi)存為32 G,使用CUDA10.0和CUDNN7.6調(diào)用GPU進(jìn)行訓(xùn)練加速。本實(shí)驗(yàn)中,設(shè)置IoU等于0.5為檢測閾值,即當(dāng)檢測框和真實(shí)框的重疊區(qū)域超過50%,才認(rèn)為該檢測框檢測正確。

    圖4 通道注意力機(jī)制Fig.4 Channel Attention (CA)

    圖5 空間注意力機(jī)制Fig.5 Spatial Attention (SA)

    4.1 實(shí)驗(yàn)數(shù)據(jù)

    本文方法在國內(nèi)公開的SSDD數(shù)據(jù)集上進(jìn)行驗(yàn)證,SSDD數(shù)據(jù)集中包含1160張SAR圖像,共有2358只艦船,平均每張圖像中有2.03只艦船,最小的艦船為7×7像素,最大的艦船為211×298像素。該數(shù)據(jù)集已被海軍航空大學(xué)李健偉等學(xué)者[11,12,15]正確標(biāo)注,另外,數(shù)據(jù)集中的SAR圖像具有多種極化模型、多種分辨率、多種艦船場景,能夠有效驗(yàn)證艦船檢測器的魯棒性,已被眾多學(xué)者使用[1,2,11,12,15,17,19]。

    SSDD數(shù)據(jù)集可在以下鏈接下載獲取:https://pan.baidu.com/s/1vnTakmVkTuaVECCOL5EyA;提取碼:uduc。

    4.2 訓(xùn)練策略

    SSDD數(shù)據(jù)集按照7:2:1的比例被隨機(jī)劃分為訓(xùn)練集、驗(yàn)證集和測試集。Adam優(yōu)化器被用來進(jìn)行網(wǎng)絡(luò)參數(shù)迭代更新,并且訓(xùn)練2000個(gè)epoch,本文采用Poly[33]機(jī)制來動(dòng)態(tài)調(diào)整學(xué)習(xí)率,定義為

    其中,lr為學(xué)習(xí)率,lr0為初始學(xué)習(xí)率,本文中設(shè)置為0.001,max_epoch為最大的迭代次數(shù)即2000,current_epoch為當(dāng)前的迭代次數(shù),power為超參數(shù),本文中設(shè)置為0.9。

    訓(xùn)練過程中,Tensorboard[32]被用來監(jiān)測訓(xùn)練信息,并且只有當(dāng)前迭代得到的模型性能優(yōu)于前一次迭代的模型時(shí),才被保留,最后當(dāng)完成2000輪訓(xùn)練,得到最優(yōu)的檢測模型。

    4.3 評價(jià)指標(biāo)

    本文提供兩種類型的評價(jià)指標(biāo),一種為傳統(tǒng)的評價(jià)指標(biāo),例如檢測概率Pd,漏檢概率Pm和虛警概率Pf;另一種為深度學(xué)習(xí)中的評價(jià)指標(biāo),例如召回率Recall,精度Precision,平均精度mAP。

    檢測概率Pd定義為

    其中,TP(True Positives)為正確的艦船檢測數(shù)目,GT(Ground Truth)為真實(shí)的艦船數(shù)目。

    漏檢概率Pm,定義為

    其中,F(xiàn)N(False Negatives)為漏檢的艦船數(shù)目。

    虛警概率Pf,定義為

    其中,F(xiàn)P(False Positives)為虛警的艦船數(shù)目。

    召回率(Recall),定義為

    其中,本質(zhì)上,Recall=Pd。

    精度(Precision),定義為

    其中,本質(zhì)上,Precision=1-Pf。

    平均精度(mean Average Precision,mAP),定義為

    其中,P為精度,R為召回率,P(R)為精度和召回率曲線。

    4.4 實(shí)驗(yàn)結(jié)果

    圖6為SARShipNet-20在SSDD數(shù)據(jù)集上部分樣本的艦船檢測結(jié)果,圖6中白色框?yàn)檎鎸?shí)的艦船,綠色框?yàn)闄z測的艦船,紅色為漏檢和虛警情況。從圖6中可看出,多種背景下的多種尺寸的艦船均能夠被成功地檢測。為驗(yàn)證SARShipNet-20的泛化能力,本文在SSDD測試集上進(jìn)行評估。表1為測試集上檢測結(jié)果的定量評價(jià)指標(biāo)。從表1中DS-CNN+CA+SA可知,SSDD測試集中有184只真實(shí)的艦船,180只艦船被成功地檢測,檢測率為97.83%,4只艦船被漏檢,漏檢率為2.17%,另外產(chǎn)生了8只虛警,虛警率為4.26%,深度學(xué)習(xí)領(lǐng)域中精度的評價(jià)指標(biāo)mAP為96.93%。從以上檢測結(jié)果表明SARShipNet-20具有高的檢測精度,充分表明SARShipNet-20具有良好的泛化能力和強(qiáng)壯的魯棒性(SSDD數(shù)據(jù)集外的SAR圖像的泛化測試將在未來進(jìn)行詳細(xì)實(shí)驗(yàn)和分析討論,這里不再詳細(xì)展開,這不影響本文結(jié)論)。另外,完成一幅SAR圖像的檢測時(shí)間為8.72 ms,因此完成整個(gè)測試集中116張SAR圖像的檢測僅需要約0.1 s,這表明SARShipNet-20具有快的檢測速度。另外,SARShipNet-20在CPU上的速度為16.79 ms/每張SAR圖像,因此完成整個(gè)測試集中116張SAR圖像的檢測僅需要約1.95 s,也能基本滿足實(shí)時(shí)性的應(yīng)用需求。值得關(guān)注的,在SSDD數(shù)據(jù)集中,一些具有嚴(yán)重相干斑噪聲的艦船樣本也能被成功地檢測,精度達(dá)到95%以上,這表明SARShipNet-20具有一定程度的抗斑點(diǎn)噪聲性能(一般地,與傳統(tǒng)方法相比,基于深度學(xué)習(xí)的SAR艦船方法大多具有較強(qiáng)的抗斑點(diǎn)噪聲性能),該項(xiàng)工作可查閱筆者先前研究成果[2],本文不再詳細(xì)展開分析和討論。另外,由于缺少嵌入式設(shè)備,F(xiàn)PGA/DSP等移植工作未在本文體現(xiàn),但可作為未來的研究工作。

    圖7為SARShipNet-20的性能評價(jià)曲線。圖7(a)為Pd-Pf曲線,圖7(b)為P-R(精度-召回率)曲線,圖7(c)為mAP-IoU曲線。

    4.5 實(shí)驗(yàn)分析

    由表1可知,盡管DS-CNN比T-CNN的檢測精度低3.24%,但是檢測速度快了約2倍;通道注意(CA)和空間注意(SA)機(jī)制可以改善精度,同時(shí)對速度受到輕微的負(fù)面影響,但仍快于T-CNN;最終DS-CNN同時(shí)結(jié)合CA和SA可以獲得最高的檢測精度96.93% mAP,并且還略微高于T-CNN的96.88%mAP,這表明CA和SA對精度確實(shí)起到了提升作用。

    4.6 方法對比

    表2為SARShipNet-20與其他目標(biāo)檢測器的對比結(jié)果。表2中的各種方法均經(jīng)過超參數(shù)的調(diào)節(jié)和優(yōu)化直至檢測精度基本飽和(鑒于筆者精力有限,可能還有提升的余地),否則直接將計(jì)算機(jī)視覺領(lǐng)域的目標(biāo)檢測器直接使用,均導(dǎo)致不理想的檢測性能。從表2中可以發(fā)現(xiàn),SARShipNet-20的檢測精度高于其他的所有方法,并且檢測速度也高于其他所有的方法。一方面,RetinaNet的精度為95.68%mAP,接近SARShipNet-20的精度96.93% mAP,但是速度為314.43 ms/每張SAR圖像,遠(yuǎn)慢于SARShipNet-20的速度8.72 ms/每張SAR圖像;另外一方面,YOLOv2-tiny的檢測速度為9.43 ms/每張SAR圖像,但是它的檢測精度僅為44.40% mAP遠(yuǎn)低于SARShipNet-20的精度。因此SARShipNet-20實(shí)現(xiàn)了真正地高速高精度的SAR艦船檢測。

    圖6 SARShipNet-20的SAR艦船檢測結(jié)果Fig.6 SAR ship detection results of SARShipNet-20

    表1 SARShipNet-20的SAR艦船檢測結(jié)果評價(jià)指標(biāo)Tab.1 Evaluation index of SAR ship detection results of SARShipNet-20

    圖7 SARShipNet-20性能評價(jià)曲線Fig.7 Performance evaluation curve of SARShipNet-20

    表3為SARShipNet-20與其他目標(biāo)檢測器的模型比較。從表3中可以發(fā)現(xiàn),SARShipNet-20的網(wǎng)絡(luò)參數(shù)、浮點(diǎn)運(yùn)算量和模型都是最少的,這是其能夠?qū)崿F(xiàn)高速檢測的本質(zhì)原因。SARShipNet-20的模型僅有23.17 MB,如此輕量級(jí)的模型可便于未來的FPGA或DSP移植。

    SARShipNet-20能夠用更少參數(shù)和更輕的模型實(shí)現(xiàn)更高的檢測精度和更快的檢測速度,核心原因主要如下:

    (1)通道注意力機(jī)制和空間注意力機(jī)制可以有效提高檢測精度;

    (2)與計(jì)算機(jī)視覺領(lǐng)域中的多類別檢測任務(wù)相比,SAR圖像中的艦船檢測更加簡單,只包含背景和艦船的二分類任務(wù);

    (3)與光學(xué)圖像中的艦船相比(RGB圖),SAR圖像中的艦船具有相對簡單的背景(灰度圖),并且特征相對單一,因此無需復(fù)雜的網(wǎng)絡(luò)模型去實(shí)現(xiàn);

    (4)如果將計(jì)算機(jī)視覺領(lǐng)域中的模型直接應(yīng)用到SAR艦船檢測領(lǐng)域,由于其網(wǎng)絡(luò)規(guī)模巨大,但是SSDD數(shù)據(jù)集中圖像數(shù)量過少,可能會(huì)過擬合,導(dǎo)致檢測精度變差;但SARShipNet-20模型小,可以避免該問題的出現(xiàn);

    (5)在訓(xùn)練過程中,更輕的模型可以得到充分訓(xùn)練,網(wǎng)絡(luò)中的所有參數(shù)迭代更新的速度較快,可使網(wǎng)絡(luò)得到充分的擬合。另外,SARShipNet-20無需在ImageNet[36]數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練,也能取得良好的檢測性能,根本原因就是參數(shù)量少。

    4.7 方法說明

    根據(jù)文獻(xiàn)調(diào)研發(fā)現(xiàn),表2中不同方法在SSDD數(shù)據(jù)集上的艦船檢測精度(mAP)大多高于現(xiàn)有的其它公開文獻(xiàn)報(bào)道,出現(xiàn)此種現(xiàn)象的可能原因如下:

    (1)測試集隨機(jī)劃分的差異:海軍航空大學(xué)李健偉等學(xué)者[11]提供給筆者的SSDD數(shù)據(jù)集并未明確規(guī)定具體的訓(xùn)練集、驗(yàn)證集和測試集,僅提供7:2:1的劃分比例。盡管本文采用隨機(jī)劃分獲得測試集(類似于Matlab/Python中的random函數(shù),非人為隨機(jī)),但SSDD數(shù)據(jù)集僅有1160張SAR圖像,并且遠(yuǎn)離海岸場景的簡單樣本占據(jù)多數(shù),靠岸和密集排列場景的困難樣本占據(jù)少數(shù),因此從中獲得116張測試樣本(1160×10%),存在較大的隨機(jī)性。若測試集中遠(yuǎn)離海岸的艦船樣本占據(jù)多數(shù),根據(jù)文獻(xiàn)[37]報(bào)道檢測精度已高達(dá)95%以上。因此,李健偉等學(xué)者目前已意識(shí)到該問題可能會(huì)導(dǎo)致學(xué)術(shù)研究上的對比不嚴(yán)謹(jǐn),因此其已聯(lián)合武漢大學(xué)對SSDD數(shù)據(jù)集進(jìn)行更加嚴(yán)格的使用規(guī)定,并在將來提供更加公正的方法基準(zhǔn)(baseline)。筆者感謝并期待李健偉等學(xué)者未來的研究成果。另外,增加SSDD數(shù)據(jù)集中SAR圖像的數(shù)量可減弱這種由于隨機(jī)劃分帶來的結(jié)果偏差,畢竟SSDD數(shù)據(jù)集中僅有1160張SAR圖像,這遠(yuǎn)遠(yuǎn)小于計(jì)算機(jī)視覺中約17 k的Pascal VOC數(shù)據(jù)集,328 k的COCO數(shù)據(jù)集,30 w的ImageNet數(shù)據(jù)集。

    表2 不同方法的檢測性能對比Tab.2 Comparison of detection performance of different methods

    表3 不同方法的模型對比Tab.3 Model comparison of different methods

    (2)方法框架的差異。目前深度學(xué)習(xí)領(lǐng)域中具有眾多不同的框架,例如Caffe,Theano,MXNet,PaddlePaddle,Keras,Tensorflow,PyTorch等。同種方法在不同框架上的實(shí)現(xiàn)存在一定的區(qū)別,導(dǎo)致結(jié)果的差異。因此,最公正合理的比較應(yīng)該在同一種框架上執(zhí)行,但是由于不同學(xué)者對不同框架的理解度和熟悉度不盡相同,給實(shí)際操作帶來一定的困難。

    (3)方法超參數(shù)優(yōu)化的差異。目前深度學(xué)習(xí)領(lǐng)域中的目標(biāo)檢測器均針對光學(xué)圖像,因此引入到SAR圖像領(lǐng)域中,若直接使用在大多數(shù)情況下效果較差,因此需要進(jìn)行超參數(shù)的調(diào)節(jié),并且不同方法的超參數(shù)類型和數(shù)量存在較大的差異,不同學(xué)者設(shè)置的超參數(shù)也不盡相同,導(dǎo)致得出的方法結(jié)論也不盡相同。

    (4)訓(xùn)練策略的差異。針對同一種方法,采用不同的訓(xùn)練策略會(huì)帶來不同的實(shí)驗(yàn)結(jié)果,目前,如何使網(wǎng)絡(luò)得到最充分的訓(xùn)練和最理想的優(yōu)化,仍然是一個(gè)具有挑戰(zhàn)性的問題。

    (5)數(shù)據(jù)增強(qiáng)的差異。SSDD數(shù)據(jù)集中的SAR圖像數(shù)量較少,可能會(huì)使計(jì)算機(jī)視覺中的目標(biāo)檢測器學(xué)習(xí)不充分,目前部分學(xué)者對訓(xùn)練數(shù)據(jù)進(jìn)行增強(qiáng),而不同的數(shù)據(jù)增強(qiáng)方式也可能給實(shí)驗(yàn)結(jié)果帶來差異。

    (6)編程語言的差異。例如Caffe廣泛采用的是C/C++,PyTorch廣泛采用的是Python,這兩種不同的語言盡管在實(shí)現(xiàn)方法的流程上是相同的,但存在執(zhí)行效率的區(qū)別,可能會(huì)帶來結(jié)果的差異。并且不同學(xué)者的軟件程序的優(yōu)化也存在一定的差異,帶來執(zhí)行速度的不同。

    本文中的各種方法盡管大多高于現(xiàn)有的其他報(bào)道,但都是基于相同的測試集得到的,因此不影響本文的結(jié)論。若采用更復(fù)雜測試樣本,那么所有方法的檢測精度必然同時(shí)降低,甚至低于90%,但各方法之間差異的整體規(guī)律應(yīng)該是基本保持恒定的。需要說明的是,表2中各種指標(biāo)僅供驗(yàn)證本文所提方法的有效性,考慮到本文得到的實(shí)驗(yàn)結(jié)果的合理性受限(盡管測試樣本是隨機(jī)獲取的,但由于SSDD數(shù)據(jù)集樣本量少并且簡單樣本所占比例較大,導(dǎo)致測試集中背景簡單艦船樣本所占比例較高,而靠岸和密集分布的小尺寸困難艦船樣本所占比例較低),因此不作為未來的研究基準(zhǔn)。目前,李健偉等學(xué)者正聯(lián)合武漢大學(xué)將對SSDD數(shù)據(jù)集提供嚴(yán)謹(jǐn)?shù)氖褂靡?guī)范和公正嚴(yán)謹(jǐn)?shù)难芯炕鶞?zhǔn)。

    目前SSDD數(shù)據(jù)集更公正的基準(zhǔn)還未公布,但幸運(yùn)的是,2019年12月16日,中國科學(xué)院空天信息創(chuàng)新研究院、中國科學(xué)院大學(xué)和中國科學(xué)院網(wǎng)絡(luò)信息體系技術(shù)科技創(chuàng)新重點(diǎn)實(shí)驗(yàn)室在《雷達(dá)學(xué)報(bào)》公開了一個(gè)全新的高分辨率SAR艦船檢測數(shù)據(jù)集AIR-SARShip-1.0[38](可在《雷達(dá)學(xué)報(bào)》官網(wǎng)的數(shù)據(jù)子欄目下載),該數(shù)據(jù)集該包含31景高分三號(hào)SAR圖像,場景類型包含港口、島礁、不同級(jí)別海況的海面等,背景涵蓋近岸和遠(yuǎn)海等多樣場景,數(shù)據(jù)集更加貼近實(shí)際應(yīng)用[38];并且提供了公正的指標(biāo)基準(zhǔn),不僅囊括深度學(xué)習(xí)的方法基準(zhǔn),還包含了傳統(tǒng)不同類型CFAR的方法基準(zhǔn),這也將方便其他學(xué)者在此數(shù)據(jù)集基礎(chǔ)上進(jìn)一步展開SAR艦船檢測相關(guān)研究。因此,筆者未來也將增加基于AIR-SARShip-1.0數(shù)據(jù)集的SAR艦船檢測研究。

    5 結(jié)論

    本文基于深度分離卷積神經(jīng)網(wǎng)絡(luò)提出了一種高速高精度的S A R圖像中艦船檢測方法,即SARShipNet-20。其具有更少的參數(shù)數(shù)量、浮點(diǎn)計(jì)算量和更輕的檢測模型。本方法結(jié)合通道注意力機(jī)制和空間注意力機(jī)制能夠?qū)崿F(xiàn)高速高精度的SAR艦船檢測。與9種先進(jìn)的目標(biāo)檢測器的性能比較結(jié)果,表明了本文所提方法的正確性和有效性,在實(shí)時(shí)性SAR應(yīng)用領(lǐng)域具有一定的現(xiàn)實(shí)意義,并且其輕量級(jí)的模型有助于未來的FPGA或DSP的硬件移植。

    猜你喜歡
    艦船注意力卷積
    艦船通信中的噪聲消除研究
    讓注意力“飛”回來
    基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
    艦船測風(fēng)傳感器安裝位置數(shù)值仿真
    從濾波器理解卷積
    電子制作(2019年11期)2019-07-04 00:34:38
    基于傅里葉域卷積表示的目標(biāo)跟蹤算法
    “揚(yáng)眼”APP:讓注意力“變現(xiàn)”
    傳媒評論(2017年3期)2017-06-13 09:18:10
    A Beautiful Way Of Looking At Things
    艦船腐蝕預(yù)防與控制系統(tǒng)工程
    一種基于卷積神經(jīng)網(wǎng)絡(luò)的性別識(shí)別方法
    中阳县| 五莲县| 宾阳县| 乌海市| 慈溪市| 疏附县| 昭平县| 东源县| 姜堰市| 西藏| 双江| 郎溪县| 崇仁县| 正镶白旗| 璧山县| 佛坪县| 宁强县| 老河口市| 康定县| 双柏县| 龙胜| 东光县| 盘山县| 宁安市| 南昌市| 无棣县| 靖边县| 漠河县| 繁峙县| 辛集市| 成安县| 咸阳市| 临武县| 洪洞县| 东阳市| 油尖旺区| 志丹县| 平原县| 金寨县| 靖远县| 郸城县|