基于深度學(xué)習(xí)的水下目標(biāo)聲學(xué)識(shí)別與定位技術(shù)研究

岳成海，王 旭，宮俊玲，曾俊寶，徐高朋

（1.中國(guó)科學(xué)院沈陽(yáng)自動(dòng)化研究所 機(jī)器人學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室，遼寧 沈陽(yáng) 110016；2.中國(guó)科學(xué)院機(jī)器人與智能制造創(chuàng)新研究院，遼寧 沈陽(yáng) 110169；3.中國(guó)科學(xué)院光電信息處理重點(diǎn)實(shí)驗(yàn)室，遼寧 沈陽(yáng) 110169；4.遼寧省水下機(jī)器人重點(diǎn)實(shí)驗(yàn)室，遼寧 沈陽(yáng) 110169）

0 引言

隨著聲學(xué)傳感技術(shù)的不斷發(fā)展，聲吶設(shè)備的不斷先進(jìn)，基于聲學(xué)圖像的水下目標(biāo)識(shí)別已經(jīng)成為越來(lái)越重要的一個(gè)課題，世界上各國(guó)的軍事專(zhuān)家，學(xué)者，研究人員等都對(duì)其極為關(guān)注。傳統(tǒng)的聲學(xué)圖像目標(biāo)識(shí)別系統(tǒng)中，主要以圖像分割、輪廓提取等人工特征為主。近年來(lái)，隨著深度學(xué)習(xí)在圖像識(shí)別技術(shù)領(lǐng)域的不斷發(fā)展，將深度特征應(yīng)用到聲學(xué)圖像目標(biāo)識(shí)別中來(lái)[1-4]，與人工特征進(jìn)行結(jié)合，以此提高目標(biāo)識(shí)別準(zhǔn)確率成為可能。

1 聲圖合成與處理

聲吶成像是獲取水下信息的重要方式，其設(shè)備包括前視聲吶系統(tǒng)、側(cè)掃聲吶系統(tǒng)、合成孔徑聲吶系統(tǒng)等。側(cè)掃聲吶成像分辨率高、成像覆蓋完整，被廣泛應(yīng)用于目標(biāo)探測(cè)與搜索，水下地形勘探等[5-6]。

側(cè)掃聲吶回波數(shù)據(jù)受作用原理[7-8]、復(fù)雜水下環(huán)境等因素影響，存在干擾與衰減，一般而言聲波頻率越高、距離越遠(yuǎn)衰減的越嚴(yán)重，同時(shí)噪聲干擾也越明顯。因此需要對(duì)側(cè)掃聲吶數(shù)據(jù)進(jìn)行必要的預(yù)處理，包括衰減補(bǔ)償及噪聲抑制等。側(cè)掃描聲吶以盡可能高的采樣頻率對(duì)回波數(shù)據(jù)進(jìn)行采集，通過(guò)結(jié)合AUV運(yùn)動(dòng)參數(shù)與聲吶參數(shù)建立時(shí)空模型，對(duì)聲吶換能器接收到的回波數(shù)據(jù)進(jìn)行解析，定位每次回波的首尾位置（包含水底、水面等信息）。聲吶換能器接收到的第1個(gè)回波信號(hào)一般來(lái)自載體正下方，其強(qiáng)度較大，之后接收到的回波在強(qiáng)度上具有較好的連續(xù)性，根據(jù)聲吶量程設(shè)置完成一次測(cè)量，一次測(cè)量得到的回波序列稱(chēng)為1 Ping。如圖1，圖 1（a）為側(cè)掃聲吶工作模型，圖 1（b）為單側(cè)聲吶回波數(shù)據(jù)，根據(jù)AUV采集到的水深、高度、姿態(tài)等信息可知，圖1（b）中“1”為AUV端、“2”為水底、“3”為水面、“4”為最遠(yuǎn)端。

圖1 回波信號(hào)Fig.1 Sonar signals

對(duì)換能器采集的回波數(shù)據(jù)進(jìn)行定位解析后，進(jìn)行一定的濾波處理與補(bǔ)償，量化編碼后映射為圖像中的灰度信息，得到一行圖像數(shù)據(jù)。聲吶在前進(jìn)過(guò)程中，結(jié)合載體的運(yùn)動(dòng)參數(shù)以特定的頻率不斷發(fā)射、接收處理回波信號(hào)，形成回波圖像序列，將左右舷的回波圖像序列進(jìn)行拼接，形成側(cè)掃聲吶瀑布圖像。拼接后的圖像為灰度圖像，為便于分析與觀測(cè)，一般按照一定的色表進(jìn)行像素映射，從而得到較為直觀的彩色圖像。

由于各類(lèi)干擾源的存在，側(cè)掃描聲納的原始圖像存在一定的條紋干擾與像素空洞，一般為采樣數(shù)據(jù)丟失或回波數(shù)據(jù)丟失造成的。本文采用二步濾波法去除噪聲：首先采用垂直方向的中值濾波去除條紋噪聲，然后采用水平方向的均值濾波填充空洞噪聲如圖3。

圖2 側(cè)掃聲吶圖像Fig.2 Side-scan sonar image

圖3 圖像去噪Fig.3 Image denoised

2 卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

本文基于Darknet框架設(shè)計(jì)輕量化卷積神經(jīng)網(wǎng)絡(luò)模型，該深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)由 C語(yǔ)言實(shí)現(xiàn)，沒(méi)有任何依賴(lài)項(xiàng)，支持CPU與GPU，可裁剪性強(qiáng)，便于嵌入式部署。本文充分考慮到側(cè)掃聲吶成像特點(diǎn)，針對(duì)目標(biāo)聲學(xué)圖像尺寸變化大等問(wèn)題，設(shè)計(jì)有效的網(wǎng)絡(luò)模型。本文設(shè)計(jì)的單類(lèi)別目標(biāo)識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)如下。

1）網(wǎng)絡(luò)輸入。

側(cè)掃聲吶圖像合成瀑布圖后，包含左右聲吶數(shù)據(jù)的圖像較寬，本文按照一定高度截取圖像后，將左右聲吶圖像按照上下方式拼接。拼接后的圖像同樣滿足寬度大于高度。卷積神經(jīng)網(wǎng)絡(luò)模型輸入尺寸設(shè)置為608×416（W×H），如圖4。

圖4 圖像拼接Fig.4 Image merged

2）骨干網(wǎng)絡(luò)。

骨干網(wǎng)絡(luò)參考YOLO-v3結(jié)構(gòu)[2-3]，設(shè)計(jì)層數(shù)為12層，如圖5。第1層利用24個(gè)3×3/1的卷積核對(duì)原始圖像進(jìn)行卷積計(jì)算，提取淺層特征，對(duì)卷積結(jié)果采用leaky進(jìn)行激活輸出，得到608×416*24大小的特征圖；第2層采用最大值池化處理，窗口大小為2×2，移動(dòng)步長(zhǎng)為2，得到304×208*24的特征圖，實(shí)現(xiàn)對(duì)輸入淺層特征的降維處理，以減少計(jì)算量；第3層利用32個(gè)3×3/1的卷積核對(duì)上層輸出的特征子圖進(jìn)行卷積運(yùn)算，使用leaky進(jìn)行激活輸出；第4層為窗口大小2×2，步長(zhǎng)為2的最大值池化層；第5～12層分別進(jìn)行5次卷積運(yùn)算與3次最大值池化處理，依次得到不同深度的網(wǎng)絡(luò)特征。

圖5 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.5 Network structure

3）特征選擇。

被識(shí)別目標(biāo)尺寸變化范圍較大，本文分別選擇淺層、中層、深層3個(gè)網(wǎng)絡(luò)層特征，以適應(yīng)不同尺度的目標(biāo)識(shí)別。特征層1選擇第12層輸出，維度為 19×13*512；特征層 2由第 11層輸出進(jìn)行 1次1×1/1*128的卷積運(yùn)算后與第9層特征合并，再分別經(jīng)過(guò) 3×3/1*256、1×1/1*128、3×3/1*256 的卷積運(yùn)算得到，維度為38×26*256；特征層3合并特征層2的部分輸出與第7層卷積輸出結(jié)果，經(jīng)過(guò)1次3×3/1*256卷積運(yùn)算得到，維度為76×52*256。

4）結(jié)果輸出。

本文采用 yolo網(wǎng)絡(luò)結(jié)構(gòu)[10-11]思想，直接輸出目標(biāo)的位置與置信信息（x、y、w、h、confidence）5個(gè)基本參數(shù)，由于本文只做單類(lèi)別目標(biāo)識(shí)別，每個(gè)特征層可預(yù)測(cè)3個(gè)不同尺度的輸出，因此對(duì)上述特征輸出采用1×1/1*18的卷積運(yùn)算。

3 卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練

本文訓(xùn)練數(shù)據(jù)由AUV采集的水下金屬球體聲吶數(shù)據(jù)經(jīng)過(guò)圖像合成得到，通過(guò)不同角度、不同水深與航行參數(shù)得到。數(shù)據(jù)集劃分為2類(lèi)，一類(lèi)是標(biāo)注好的帶有目標(biāo)的圖像，一類(lèi)是沒(méi)有目標(biāo)的背景圖像，數(shù)據(jù)量以一比一設(shè)置，以便于網(wǎng)絡(luò)正確收斂。

使用K-means統(tǒng)計(jì)anchor（尺度參數(shù)）：本文的網(wǎng)絡(luò)結(jié)構(gòu)需要首先根據(jù)標(biāo)注數(shù)據(jù)計(jì)算anchor值，由于采用的是3特征層結(jié)構(gòu)，需要統(tǒng)計(jì)9個(gè)anchor值，K-means聚類(lèi)算法，采用距離作為相似性的評(píng)價(jià)指標(biāo)，即認(rèn)為2個(gè)對(duì)象的距離越近，其相似度就越大，該算法可比較準(zhǔn)確的統(tǒng)計(jì)出代表框大小。

損失函數(shù)與YOLO-v3相同，包含3部分：第1部分是目標(biāo)位置x，y，w，h（左上角和長(zhǎng)寬）帶來(lái)的誤差，也即是box帶來(lái)的loss，box帶來(lái)的loss分為x，y帶來(lái)的BCE Loss以及w，h帶來(lái)的MSE Loss；第2部分是目標(biāo)置信度帶來(lái)的誤差，也就是obj帶來(lái)的loss（BCE Loss）；第3部分是類(lèi)別帶來(lái)的誤差，也就是class帶來(lái)的loss（類(lèi)別數(shù)個(gè)BCE Loss）。

模型訓(xùn)練采用AlexeyAB開(kāi)源庫(kù)實(shí)現(xiàn)，訓(xùn)練數(shù)據(jù)為1 900個(gè)，測(cè)試數(shù)據(jù)為200個(gè)，從下圖訓(xùn)練過(guò)程可見(jiàn)，經(jīng)過(guò)8 400次迭代后，loss小于0.1，平均檢測(cè)精度達(dá)99.1%，模型達(dá)到收斂狀態(tài)。最終得到的模型大小為11 MB，單次目標(biāo)檢測(cè)時(shí)間為105 ms（Intel I7處理器）。

4 圖像增強(qiáng)與目標(biāo)特性分析

基于卷積神經(jīng)網(wǎng)絡(luò)完成目標(biāo)識(shí)別后，還需要對(duì)目標(biāo)進(jìn)行進(jìn)一步的特征分析[9，12]。特定聲學(xué)成像場(chǎng)景下，目標(biāo)聲圖灰度等級(jí)較低，特征單一，需采用有效的圖像增強(qiáng)、目標(biāo)分割、人工特征提取來(lái)鑒別真實(shí)目標(biāo)。圖 7（a）為包含目標(biāo)的聲學(xué)圖像（經(jīng)過(guò)去噪處理后轉(zhuǎn)為灰度圖像），對(duì)比度較低，不利于目標(biāo)提取與分割。本文首先采用去均值處理得到圖7（b），圖7（b）中目標(biāo)附近依然存在灰度干擾，對(duì)圖7（b）采用Gamma增強(qiáng)處理，γ取值1.5，效果如圖7（c），可見(jiàn)目標(biāo)區(qū)域有效凸顯，非常利于后續(xù)目標(biāo)分割。

圖6 訓(xùn)練過(guò)程Fig.6 Training result

圖7 處理效果Fig.7 Image processed

本文所述人工特征包含：尺度、亮度值、外形、高亮區(qū)域數(shù)量、灰度值分布等。對(duì)聲學(xué)圖像分析可知，空心金屬球與實(shí)心金屬球展現(xiàn)的聲圖具有較為明顯的不同：空心球體呈現(xiàn)多亮斑特點(diǎn)、實(shí)心球亮斑較大且比較圓，該特征可作為金屬球的類(lèi)別判定。圖8（a）為空心球體，圖8（b）為實(shí)心球體。

圖8 處理效果Fig.8 Image processed

5 幾何校正與目標(biāo)定位

如圖9，側(cè)掃聲吶圖像中像素點(diǎn)的位置實(shí)際上是換能器與水底表面回波點(diǎn)之間的聲波往返時(shí)間與水中聲速相乘獲得的傾斜距離，并不是載體與水底成像點(diǎn)之間的水平距離，這是導(dǎo)致聲學(xué)圖像幾何畸變的主要原因。此外，載體的運(yùn)動(dòng)參數(shù)與姿態(tài)也對(duì)成像造成幾何畸變。本文基于聲圖定位目標(biāo)后，引入修正機(jī)制得到目標(biāo)的真實(shí)位置。根據(jù)側(cè)掃聲吶成像方式可知，目標(biāo)物在側(cè)掃聲吶圖像中存在橫向壓縮，目標(biāo)與載體距離越大，壓縮率越大。所以為了準(zhǔn)確獲取聲圖中目標(biāo)物的實(shí)際位置，有必要對(duì)目標(biāo)的坐標(biāo)位置進(jìn)行斜距校正。

圖9 幾何模型Fig.9 Geometric model

假設(shè)海底表面是水平面，海底回波點(diǎn)的平距就可以用下式來(lái)計(jì)算：

式中：D為平距；S為斜距；H為載體距離水底高度。得到平距后，已知AUV的空間位置信息，即可計(jì)算出目標(biāo)實(shí)際所處的位置。

6 結(jié)束語(yǔ)

本文針對(duì)待識(shí)別目標(biāo)的聲吶圖像特點(diǎn)，設(shè)計(jì)了輕量化卷積神經(jīng)網(wǎng)絡(luò)模型，達(dá)到了99.1%以上的目標(biāo)檢測(cè)精度，模型大小11 MB，適于低功耗嵌入式平臺(tái)部署。融合了人工特征進(jìn)行目標(biāo)特性分析，針對(duì)聲圖灰度等級(jí)較低的情形，采用的目標(biāo)提取與圖像增強(qiáng)方法簡(jiǎn)單有效。