基于深度學習的炸點圖像識別與處理方法

劉佳音,李翰山,張曉倩

(1.西安工業(yè)大學兵器科學與技術(shù)學院,陜西 西安 710021;2.西安工業(yè)大學電子信息工程學院,陜西 西安 710021)

0 引言

隨著實戰(zhàn)化訓(xùn)練的不斷深入,實彈射擊訓(xùn)練不斷貼近實戰(zhàn),其形成的炸點可用于估計擊中敵方火力位置和評估炮兵射擊訓(xùn)練效果等[1],因此,尋找一種可以實時準確識別炸點的方法,有助于驗證武器系統(tǒng)的整體性能,而且對現(xiàn)代數(shù)字化戰(zhàn)爭具有重要意義。

當前炸點識別方法常用的有聲測法、激光掃描法、雷達探測法和圖像識別法。文獻[2]利用聲學測量設(shè)備求解連發(fā)彈丸落炸點,采用空域搜索算法求解彈丸的炸落點三維坐標,具有較好的求解效果。文獻[3]針對聲源被動測向的傳統(tǒng)方法存在精度低和結(jié)構(gòu)單一的問題,利用不規(guī)則排列聲傳感器接收到聲信號的時間差,采用最小二乘原理計算聲源方位。文獻[4]針對彈目交會過程中難以精確控制炸點的問題,采用置于彈丸頭部橫向旋轉(zhuǎn)掃描的線陣激光引信作為探測裝置,并利用Monte-Carlo算法對彈目交會過程進行數(shù)學統(tǒng)計,計算分析破片數(shù)目和目標有效交會面積對目標毀傷的影響,最終確定引信最佳炸點。文獻[5]研究了炸點和普通目標回波信號經(jīng)動目標檢測(MTD)處理后的特征,利用炸點目標與普通目標的多普勒分布差的區(qū)別進行目標識別,并取得了很好的效果。文獻[6]提出采用基于定目標為參照的雙面陣相機交匯攝像法來測量近炸引信對空中目標引炸的炸點位置,利用交匯相機的空間幾何關(guān)系、圖像處理技術(shù)與模擬目標實際尺寸,計算彈丸炸點相對模擬目標的空間三維坐標。文獻[7]利用高速相機幀頻高、布站方便、多鏡頭靈活更換的優(yōu)點,提出基于高速相機的近地炸點三維坐標測試方法,利用萊卡定位系統(tǒng)實際測量炸點坐標進行誤差分析。

聲測法測試精度較低且易受噪聲影響;激光掃描法投入成本較高且實時性差;雷達探測法耗費巨大且需要搭建龐大系統(tǒng)。而圖像識別技術(shù)投入成本低,定位準確度高,且不受風力、風向、溫度、地質(zhì)條件等影響,因此利用圖像識別技術(shù)準確捕捉炸點爆炸產(chǎn)生的火焰,從而準確識別炸點位置成為目前的研究熱點。由于圖像識別技術(shù)針對炸點位置的識別主要依賴于所檢測到的炸點輪廓精確度,所以需要對爆炸火焰的外部輪廓進行高精度分割。

基于深度學習的語義分割算法主要采用深度神經(jīng)網(wǎng)絡(luò)對圖像進行細粒度特征提取,并標記圖像中每個像素點,分割出目標區(qū)域[8]。文獻[8]針對炮兵對抗訓(xùn)練系統(tǒng)中炸點圖像目標捕捉的問題,提出一種基于YOLACT 的炸點區(qū)域快速識別及分割方法,根據(jù)區(qū)域信息得到炸點中心坐標。文獻[9]針對目前靶場炮彈火焰圖像分割算法對火焰邊界分割效果差而導(dǎo)致定位精度下降的問題,提出改進PSPNet的炮彈火焰分割PSP_FPT算法,實現(xiàn)對炮彈火焰目標的高精度分割。文獻[10]為了實現(xiàn)炮口火焰與復(fù)雜背景環(huán)境的分離,引入深度可分卷積與殘差結(jié)構(gòu),對U-Net語義分割模型進行優(yōu)化。

上述基于深度學習的語義分割網(wǎng)絡(luò)相較于傳統(tǒng)方法具有更好的魯棒性與泛化性,能夠克服目標周圍復(fù)雜環(huán)境以及光照強度的影響,但分割效果依賴網(wǎng)絡(luò)層數(shù)。若層數(shù)過少,無法提取到更深層、更關(guān)鍵的分割特征信息;若層數(shù)過多,則容易增大網(wǎng)絡(luò)運算量,造成過擬合。

因此提出一種改進的U-Net網(wǎng)絡(luò)。將主干特征提取網(wǎng)絡(luò)換為層數(shù)更深的ResNet50,且為了解決前景與背景類別不平衡問題,結(jié)合FocalLoss與DiceLoss函數(shù),并采用自適應(yīng)矩估計函數(shù)增加標簽圖像與分割圖像之間的相似度,最終對改進U-Net網(wǎng)絡(luò)進行訓(xùn)練和測試,獲取最佳的網(wǎng)絡(luò)性能,實現(xiàn)炸點圖像分割及后續(xù)圖像處理。

1 炸點圖像獲取及位置信息分析

本文采用高速攝像機對炸點爆炸過程進行拍攝,獲得起爆時刻至爆炸結(jié)束的圖像全過程,由于最終要獲取炸點位置,而爆炸瞬間與爆炸后期所拍攝到的炸點圖像對炸點位置的獲取影響很大,因此要對拍攝的爆炸圖像進行分類篩選。將炸點爆炸瞬間的幾幀圖像作為選取的目標,因為此刻拍攝的炸點圖像受周圍環(huán)境干擾較小,且炸點形狀一般呈現(xiàn)扇形或不規(guī)則圓形,特征較為一致,能夠準確地反映炸點位置;而當炸點爆炸一段時間后,由于受風向及炸點擴散等影響,相機拍攝的炸點圖像會發(fā)生很大變化,若對此刻的炸點圖像作后續(xù)圖像處理,其獲取的炸點位置偏差較大。GoogLeNet是基于Inception模塊的深度神經(jīng)網(wǎng)絡(luò)模型,Inception模塊將多個卷積與池化操作并列組成網(wǎng)絡(luò)結(jié)構(gòu),在相同的計算量下提取更多的特征,提高網(wǎng)絡(luò)訓(xùn)練效果。本文利用GoogLeNet對所拍攝的近景及遠景多序列爆炸圖像進行分類,首先將拍攝的炸點爆炸過程分為多幀圖像處理;其次根據(jù)炸點爆炸瞬間形成的炸點形狀特征進行圖像分類,即將不包含炸點形狀特征的圖像定義為“未起爆”,將包含炸點形狀特征的圖像定義為“爆炸瞬間”,將包含炸點形狀特征及煙塵特征的圖像定義為“爆炸后期”;然后將已定義的多幀圖像作為GoogLeNet網(wǎng)絡(luò)的輸入,對其訓(xùn)練并測試,最后得出分類結(jié)果。分類結(jié)果如圖1、圖2所示,網(wǎng)絡(luò)訓(xùn)練后的分類準確率及損失如圖3所示。

圖1 近景場景下炸點圖像分類結(jié)果Fig.1 Classification results of fried point images in close-up scenes

圖2 遠景場景下炸點圖像分類結(jié)果Fig.2 Classification results of fried point images in long-range scenes

圖3 網(wǎng)絡(luò)分類準確率及損失Fig.3 Network classification accuracy and loss

根據(jù)GoogLeNet網(wǎng)絡(luò)分類結(jié)果,提取“爆炸瞬間”炸點圖像作為炸點位置信息獲取的樣本數(shù)據(jù)集?；跇颖緮?shù)據(jù)集,先利用改進U-Net分割網(wǎng)絡(luò)對炸點圖像進行分割,再采用邊緣提取算法對分割出的炸點圖像進行輪廓提取及最小二乘法輪廓擬合,獲取圖像中的炸點位置信息,最后采用攝像機成像原理將二維炸點坐標信息轉(zhuǎn)換為三維炸點位置信息。假設(shè)圖像中炸點的像素坐標為(u,v),圖像坐標為(x,y),相機坐標為(X,Y,Z),空間坐標為(U,V,W),利用二維至三維坐標轉(zhuǎn)換公式,將獲取到的炸點圖像二維坐標計算得出炸點空間坐標。

(1)

(2)

(3)

(4)

f=185 mm,Z=20 000 mm。

為了更加接近炸點空間真實坐標值,利用改進U-Net網(wǎng)絡(luò)對樣本數(shù)據(jù)集訓(xùn)練測試,提高炸點分割精度,獲取更為準確的炸點二維坐標。

2 改進U-Net網(wǎng)絡(luò)分割炸點圖像模型的構(gòu)建

面對炸點的復(fù)雜環(huán)境,本文利用ResNet50代替原網(wǎng)絡(luò)中的特征提取網(wǎng)絡(luò),通過增加網(wǎng)絡(luò)層數(shù)來提取更多的目標特征信息;為了解決圖像分割中前景與背景類別不平衡問題,本文采用以焦點損失函數(shù)FocalLoss為主函數(shù),DiceLoss為輔函數(shù)的多重損失函數(shù)優(yōu)化網(wǎng)絡(luò)模型;同時為了縮小實際輸出值與樣本真實值的差距,增加分割標簽圖像與分割圖像之間的相似度,在反向傳播更新權(quán)值參數(shù)階段,選用自適應(yīng)矩估計函數(shù)作為優(yōu)化函數(shù)[11],動態(tài)地調(diào)整學習率,尋找最優(yōu)權(quán)重參數(shù)。改進U-Net網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

2.1 改進主干特征提取網(wǎng)絡(luò)

ResNet網(wǎng)絡(luò)被廣泛應(yīng)用于各種特征提取場合中,深度學習網(wǎng)絡(luò)層數(shù)越深,特征表達能力越強,但當深度達到一定程度后,分類性能不但不會提高,還會導(dǎo)致網(wǎng)絡(luò)收斂更加緩慢,準確率也會降低,即使把數(shù)據(jù)集擴增,解決過擬合問題,網(wǎng)絡(luò)的分類性能和準確度也不會提高[12],ResNet50網(wǎng)絡(luò)層次結(jié)構(gòu)如表1表示。

表1 ResNet50網(wǎng)絡(luò)層次結(jié)構(gòu)Tab.1 ResNet50 network hierarchy

由表1可知,ResNet50經(jīng)過了4個Block,每一個Block中分別有3,4,6三個Bottleneck模塊,每一個Bottleneck模塊里包含兩種Block。第一種是Conv Block,如圖5(a)所示,通過1×1卷積核對特征圖像先進行降維操作,再用3×3卷積核做一次卷積操作,最后通過1×1卷積核恢復(fù)圖像維度,后續(xù)傳入BN層與ReLu層,虛線處采用256個1×1的卷積網(wǎng)絡(luò),將maxpool的輸出降維;另一種是Identity Block,如圖5(b)所示,即用實線連接,不經(jīng)過卷積網(wǎng)絡(luò)降維操作,直接將輸入加到最后的1×1卷積輸出上,再經(jīng)過后續(xù)的Block,進行平均池化操作和全連接操作,用Softmax實現(xiàn)回歸。圖像降維卷積處理過程如圖6所示。

圖5 結(jié)構(gòu)圖Fig.5 Structure diagram

圖6 圖像降維卷積處理過程Fig.6 Image dimensionality reduction convolution processing

2.2 優(yōu)化損失函數(shù)

在語義分割中存在大量前景與背景類別不平衡問題,使用單一損失函數(shù)往往趨向于捕捉炸點占比更大的樣本,而炸點占比小、背景占比大的樣本容易被損失函數(shù)過濾掉,為解決該問題,本文采用以焦點損失函數(shù)FocalLoss為主函數(shù),DiceLoss為輔函數(shù)的多重損失函數(shù)優(yōu)化網(wǎng)絡(luò)模型。

DiceLoss是計算集合的相似度函數(shù)[13],用于監(jiān)督實際輸出值與樣本真實值之間的相似度,數(shù)值越小越相似,預(yù)測效果越理想,使用 DiceLoss 可以在初期加快收斂,提升模型訓(xùn)練效率。同時采用以上兩種損失函數(shù)監(jiān)督網(wǎng)絡(luò),可以從不同角度捕捉預(yù)測過程中的不足和損失,在定位全局最優(yōu)的結(jié)果下得到局部最優(yōu),提高泛化性。損失函數(shù)計算公式為

(5)

LFocal(pj)=-a(1-pj)γlog(pj),

(6)

LALL=LFocal(pj)+λ×LDice,

(7)

式中:|X|表示其標簽值像素個數(shù);|Y|表示預(yù)測值像素個數(shù);|X∩Y|表示標簽值和預(yù)測值交集的像素數(shù);-log(pj)為初始交叉熵損失函數(shù);a為類別區(qū)間(0或1二分類)的權(quán)重參數(shù);(1-pj)γ為簡單/困難樣本調(diào)節(jié)因子;γ為聚焦參數(shù)[14];λ為經(jīng)驗參數(shù),用于調(diào)節(jié)兩個損失函數(shù)之間的權(quán)重。

為了減小損失函數(shù)數(shù)值,縮小實際輸出值與樣本真實值的差距,增加分割標簽圖像與分割圖像之間的相似度,在反向傳播更新權(quán)值參數(shù)階段,選用自適應(yīng)矩估計函數(shù)作為優(yōu)化函數(shù),利用梯度的一階矩估計和二階矩估計,動態(tài)地調(diào)整學習率,尋找到最優(yōu)的權(quán)重參數(shù),公式如式(8)—式(12)所示。

mt=μ×mt-1+(1-μ)×gt,

(8)

(9)

(10)

(11)

(12)

3 實驗結(jié)果與分析

3.1 實驗環(huán)境與參數(shù)設(shè)置

本文實驗操作環(huán)境為Windows10系統(tǒng),CPU參數(shù)為16 vCPU Intel(R) Xeon(R) Platinum 8350C CPU @ 2.60 GHz,42 GB內(nèi)存,RTX 3080 Ti(12 GB)×1。網(wǎng)絡(luò)框架基于PyTorch 1.10.0,Cuda 11.3,使用Python 3.8版本進行編程實現(xiàn),網(wǎng)絡(luò)初始參數(shù)設(shè)置如表2所示。

表2 網(wǎng)絡(luò)初始參數(shù)Tab.2 Network initial parameters

3.2 炸點圖像標簽數(shù)據(jù)集的構(gòu)建

本文利用Labelme軟件對數(shù)據(jù)集進行輪廓標注,形成名稱為boom的標簽,并保存成json格式。以VOC2007數(shù)據(jù)集為格式標準,將json格式的數(shù)據(jù)轉(zhuǎn)換為png格式的圖片,單獨保存至名為“SegmentationClass”的文件夾,同時將原始炸點數(shù)據(jù)集保存至名為“JPEGImages”的文件夾,確保后續(xù)進行網(wǎng)絡(luò)訓(xùn)練的文件路徑統(tǒng)一。利用Labelme軟件標注標簽示例圖如圖7所示。

圖7 炸點標簽圖Fig.7 Fried point label

3.3 實驗結(jié)果分析

3.3.1基于改進U-Net網(wǎng)絡(luò)的圖像分割結(jié)果評價指標

本文選用PA,MPA,MIOU三個評價指標來評估改進U-Net網(wǎng)絡(luò)模型的性能。PA表示分類正確的像素占總像素的比例,PA值越高,說明分割結(jié)果越精確。MPA表示圖像整體分割效果,MPA值越高,說明模型對所有類別的分割效果越好。MIOU表示整個圖像中所有類別分割結(jié)果的平均質(zhì)量,MIOU值越高,說明分割結(jié)果越準確。其計算公式為

(13)

(14)

(15)

式中:Nij代表真實值為i,被預(yù)測為j的數(shù)量;k代表分割類別數(shù);Nii為真正,代表正確分為該類的像素數(shù)量;Nij為假正,表示他類被分為該類的像素數(shù);Nji為假負,表示該類被誤分為他類的像素數(shù)。式中先將背景和炸點分別作為正樣本求出評價指標,再取平均值便可得到所有類的平均評價指標,式中正樣本為炸點[15]。

3.3.2基于改進U-Net網(wǎng)絡(luò)的圖像分割結(jié)果

為了驗證本文提出的改進U-Net分割網(wǎng)絡(luò)在圖像分割精度上有一定的提升,本文選用原始U-Net分割網(wǎng)絡(luò)與U-Net+ResNet50,U-Net+優(yōu)化函數(shù)以及改進U-Net網(wǎng)絡(luò)進行測試,使用相同的炸點數(shù)據(jù)集和初始網(wǎng)絡(luò)權(quán)重參數(shù)進行訓(xùn)練,然后對訓(xùn)練好的網(wǎng)絡(luò)模型,用炸點原始圖像進行對比驗證,實驗結(jié)果如圖8所示。

圖8 實驗結(jié)果對比圖Fig.8 Comparison of experimental results

由圖8可以看出:原始U-Net網(wǎng)絡(luò)對炸點的分割效果不夠理想,對比標簽圖像會有毛刺出現(xiàn);特征提取主干為ResNet50的U-Net網(wǎng)絡(luò),由于增加了網(wǎng)絡(luò)層數(shù),因此可以獲得炸點更深層的細節(jié)信息,但對比標簽圖像,其相似度有所下降;加入優(yōu)化函數(shù)后的U-Net網(wǎng)絡(luò),對比標簽圖像其分割效果相對較好,但所提取的圖像信息仍有不足;改進U-Net網(wǎng)絡(luò)融合上述兩個改進點,對比標簽圖像,分割效果更好,有利于后續(xù)的目標邊緣提取。其實驗結(jié)果對比如表3所示。

表3 改進U-Net分割算法評價指標結(jié)果對比Tab.3 Comparison of evaluation indicators of improved U-Net segmentation algorithm

原U-Net的特征提取網(wǎng)絡(luò)為VGG16,提取更深層次的細節(jié)特征需要增加網(wǎng)絡(luò)層數(shù),這會導(dǎo)致模型計算量大,因此本文選用ResNet50網(wǎng)絡(luò)將其替換,通過加入殘差模塊連接輸入與輸出,緩解網(wǎng)絡(luò)層數(shù)增多過程中的梯度消失問題。圖9為ResNet50與VGG16對同一張圖像分別進行特征提取的結(jié)果示意圖。

圖9 特征提取示意圖Fig.9 Feature extraction diagram

從圖9可以看出,采用ResNet50主干特征提取網(wǎng)絡(luò)的模型能夠捕捉到更廣泛的圖像信息,提取出更加有細節(jié)的目標特征。

本文選用模型運行時間、模型計算量及模型體積大小三個指標作為網(wǎng)絡(luò)模型優(yōu)勢評價標準,具體數(shù)值如表4所示。由表4分析得出,相比于原始VGG16主干特征提取網(wǎng)絡(luò),本文采用的ResNet50模型體積較大,但運行時間更短,計算量更少,同時結(jié)合表3,也可以反映出ResNet50模型的精度更高,因此可以證明ResNet50主干特征提取網(wǎng)絡(luò)在增加網(wǎng)絡(luò)層數(shù)的同時,能夠提取到更深層圖像特征信息,提升模型收斂速度。

表4 不同主干特征提取網(wǎng)絡(luò)參量對比Tab.4 Comparison of networkparameters extracted from different backbone features

為了驗證添加優(yōu)化函數(shù)前后圖像的相似度變化,以標簽圖像像素面積為判斷標準,分別對U-Net原始網(wǎng)絡(luò)、U-Net+ResNet50和U-Net+優(yōu)化函數(shù)以及改進U-Net網(wǎng)絡(luò)的圖像分割結(jié)果與標簽圖像進行相似度計算,其結(jié)果如表5所示。

表5 各分割圖像與標簽圖像相似度計算結(jié)果Tab.5 The similarity calculation result of each segmented image andthe label image

3.3.3炸點圖像二維坐標到空間位置的轉(zhuǎn)換

用已訓(xùn)練好的改進U-Net分割網(wǎng)絡(luò)模型,對數(shù)據(jù)集中的炸點圖像進行分割,采用Canny邊緣輪廓提取算法提取炸點的邊緣輪廓,Canny算法主要利用高斯函數(shù)對炸點圖像進行平滑處理,再根據(jù)一階微分處理后的炸點圖像像素點的極大值來確定邊緣點,之后使用最小二乘法輪廓擬合,獲得輪廓中心及半徑,根據(jù)攝像機成像原理求得炸點位置。具體步驟如下:

1) 利用GoogLeNet分類出的炸點圖像數(shù)據(jù)集對改進U-Net網(wǎng)絡(luò)進行訓(xùn)練并測試,獲得分割圖像;

2) 使用Canny邊緣提取算法,對炸點分割圖像進行邊緣檢測,并輸出炸點邊緣輪廓圖像;

3) 使用最小二乘法進行輪廓擬合,獲得輪廓中心及半徑,并用輪廓中心y軸數(shù)值與半徑求差,求得炸點像素坐標;

4) 根據(jù)攝像機成像原理轉(zhuǎn)換炸點像素坐標,獲取炸點空間坐標。

選用多張炸點圖像,對其分別進行上述操作處理,處理結(jié)果如圖10所示。

圖10 炸點圖像處理結(jié)果圖Fig.10 Explosion point image processing result

將獲取的像素坐標記為(u,v),代入第一章的坐標轉(zhuǎn)換公式(1)—(4)中,計算炸點空間坐標(U,V,W),如表6所示。

表6 炸點空間坐標Tab.6 Bursting point in air coordinates

由圖10可以看出,采用爆炸瞬間的炸點數(shù)據(jù)集訓(xùn)練改進U-Net網(wǎng)絡(luò),獲得的分割圖像精度更高,因此獲取的炸點像素坐標更為準確,通過坐標轉(zhuǎn)換關(guān)系,求出更加接近真實炸點位置的三維坐標,由此證明本文基于深度學習的炸點圖像識別與處理方法可以對炸點目標實現(xiàn)位置獲取及準確識別。

4 結(jié)論

本文首先利用GoogLeNet對高速攝像機拍攝的多序列爆炸圖像進行分類,提取出爆炸瞬間的多幀圖像,作為獲取炸點位置信息的圖像數(shù)據(jù)集;其次對U-Net分割網(wǎng)絡(luò)進行改進,將特征提取主干網(wǎng)絡(luò)替換為ResNet50,通過與VGG16作為主干特征提取網(wǎng)絡(luò)對比,可知本文采用的ResNet50主干特征提取網(wǎng)絡(luò)模型計算量更少,運行速度更快,結(jié)合FocalLoss與DiceLoss函數(shù),并采用自適應(yīng)矩估計函數(shù)作為優(yōu)化函數(shù),增加分割圖像與標簽圖像的相似性,由計算結(jié)果可知,采用自適應(yīng)矩估計函數(shù)作為優(yōu)化函數(shù)的相似度結(jié)果為98.67%,比不加該優(yōu)化函數(shù)的U-Net原始網(wǎng)絡(luò)相似度結(jié)果高出1.30%,能夠提高網(wǎng)絡(luò)分割精度;然后采用Canny邊緣提取算法對已分割的炸點圖像進行輪廓提取,并采用最小二乘法輪廓擬合,獲得輪廓中心及半徑,對輪廓中心y軸數(shù)值與半徑求差得到炸點像素坐標;最后利用攝像機成像原理將炸點二維坐標轉(zhuǎn)換為三維坐標,獲取炸點空間位置信息。