一種基于弱監(jiān)督學(xué)習(xí)的聲圖小目標(biāo)快速檢測方法*

徐利剛 朱可卿 韋琳哲 王 朋

(1 海裝駐無錫地區(qū)軍代室 無錫 214061)

(2 中國科學(xué)院聲學(xué)研究所 北京 100190)

(3 中國科學(xué)院大學(xué) 北京 100049)

0 引言

水下圖像中小目標(biāo)的自動檢測一直以來是聲圖解譯領(lǐng)域所研究的重要課題，其成果可應(yīng)用于許多水下探查任務(wù)中，包括海底打撈、小目標(biāo)探測、管線追蹤等。文獻(xiàn)[1]中，目前較為先進(jìn)的深度學(xué)習(xí)框架YOLO 被用于聲吶圖像的小目標(biāo)檢測，通過大量的訓(xùn)練迭代，取得了較好的檢測效果。然而在水下應(yīng)用場景中，數(shù)據(jù)的獲取往往需要耗費較多的時間和財力。在某些自主檢測應(yīng)用場景下，無論人工輔助判讀還是計算機的算力，都受到了一定程度的限制。同時，由于目前對目標(biāo)先驗知識和抵近目標(biāo)觀察手段的缺少，目標(biāo)的確認(rèn)十分困難。在大多數(shù)情況下，研究人員所掌握的數(shù)據(jù)集相對較小，標(biāo)注也不完善，很難對監(jiān)督學(xué)習(xí)算法模型進(jìn)行有效的訓(xùn)練。在這種條件下，無監(jiān)督或弱監(jiān)督學(xué)習(xí)方法則更為適用。Klausner 等[2]討論了一種通過對海底散射建模，來預(yù)測水下目標(biāo)是否存在的方法。Wang 等[3]將行人檢測領(lǐng)域中的方向梯度直方圖(Histogram of oriented gradient,HOG)和支持向量機(Support vector machine,SVM)用于水下目標(biāo)的檢測。Williams[4]通過一組模板提取目標(biāo)的陰影，并根據(jù)陰影的特征進(jìn)行決策。Kim 等[5]基于自適應(yīng)增強算法實現(xiàn)了基于聲圖的實時水下目標(biāo)檢測。Ma 等[6]利用最小二乘支持向量機方法降低了側(cè)掃聲圖人工目標(biāo)檢測的虛警率。針對掩埋線纜目標(biāo)的識別問題，Maussang 等[7]提出了局部統(tǒng)計參數(shù)融合的思想。在合成孔徑聲吶圖像中，目標(biāo)的陰影與高亮區(qū)域也是目標(biāo)識別的重要特征[8]。此外，Sawas 等[9]提出利用分類器級聯(lián)方式可實現(xiàn)水下目標(biāo)快速檢測。

一般情況下，聲圖中小目標(biāo)的檢測主要關(guān)注兩類課題：(1)對大范圍水下場景中感興趣區(qū)域(Regions of interests,ROI)的提??；(2)為每一可能含有小目標(biāo)的感興趣區(qū)域賦予正確的標(biāo)簽。這些課題在廣義上都可歸為對圖像中潛在的候選區(qū)域的分類問題。為降低遍歷圖像的時間開銷、增強對圖像的概括，通常需要進(jìn)行數(shù)據(jù)降維，將圖像變換至某一特征域，實現(xiàn)對內(nèi)容的抽象。

本文提出了一種基于離散余弦變換(Discrete cosine transform,DCT)和K 近鄰-高斯混合模型(K-nearest Gaussian mixture model,KN-GMM)的檢測方法。檢測過程共分為兩個步驟，步驟1 中，首先從聲圖中提取一系列包含可疑目標(biāo)的候選區(qū)域，并評估置信度用于輔助決策。這類檢測方法可以勝任大多數(shù)實時目標(biāo)的標(biāo)注任務(wù)，但對于有更高精確度要求的任務(wù)，需要采用步驟2 的方法進(jìn)一步精化結(jié)果，即通過候選框回歸和決策以精確分析和篩選備選目標(biāo)，這一處理有效地降低了虛警率，但在計算消耗上有所增加。本文所提出的快速檢測方法框架如圖1所示。

圖1 本文所提出的快速檢測方法框架Fig.1 Framework of proposed fast detection method

1 小目標(biāo)快速檢測

1.1 圖像塊的指紋提取

步驟1 主要完成一系列候選邊界框的獲取，對聲圖進(jìn)行粗略標(biāo)注。每一幀原始實時圖像將被劃分為統(tǒng)一尺寸的圖像塊，算法將預(yù)測每個圖像塊中是否有目標(biāo)存在。該預(yù)測主要基于譜的稀疏性特征和數(shù)據(jù)集中學(xué)習(xí)到的知識。最后，相鄰的候選圖像塊將被合并以形成粗略的邊界框。

步驟1 首先需要對圖像進(jìn)行一系列預(yù)處理操作。對于合成孔徑聲吶(Synthetic aperture sonar,SAS)圖像，由于相干斑噪聲的存在，需要進(jìn)行自適應(yīng)濾波處理。接著，通過引入圖像均衡和增強緩解圖像中不同位置散射強度的差異。除此之外，還需使用海底跟蹤方法預(yù)先將海底和水體區(qū)域分離，檢測時對二者分別處理，再對圖像進(jìn)行下采樣并分成小的圖像塊。對圖像進(jìn)行下采樣的過程可表示為

其中，I ∈RA×B表示原始圖像，表示下采樣圖像，Iij ∈RS×S為m×n圖像塊，g(·)是自適應(yīng)相干斑抑制器。

圖像塊的網(wǎng)格劃分將保留一定的重疊范圍(通常為50%)，以減少邊界效應(yīng)的影響。為了使圖像塊具有相同的尺寸，對圖像的最后一行或一列一般會采用更高的重疊量。換言之，m、n可通過式(2)計算：

在聲吶圖像中，每個像素在物理上有固定的距離和方位分辨率?？紤]到這一特點，圖像塊尺寸S的確定需要參考整幅圖像的尺寸以及分辨率，滿足每個圖像塊具有恒定的長度L。設(shè)r為聲吶圖像的平均分辨率，約束條件可表達(dá)為

這里，為便于DCT的計算，強制S為2的整數(shù)冪。

接下來，算法將預(yù)測每個圖像塊中是否存在目標(biāo)，這時面臨的主要問題就是特征描述子和分類器的選擇。本文采用的特征描述子基于DCT 和鏈碼(chain coding)，如圖2所示。DCT 生成一個圖像塊的頻譜能量圖，其紋理類似于人類指紋，可作為圖像塊的唯一標(biāo)識。主成分位于能量圖的左上角，代表了穩(wěn)定的低頻區(qū)域。因此，從能量圖中取出一個4×4矩陣，并用特定的鏈碼對其進(jìn)行排序，以保留紋理圖案：

這里，DCT(·)代表圖像塊的離散余弦變換，chaincode(·)代表鏈碼，亦是DCT矩陣的查找表。

圖2 圖像塊指紋生成示例Fig.2 An example of the generation of image block fingerprints

同時，除DCT 指紋外，算法還將計算每個圖像塊的標(biāo)準(zhǔn)差、動態(tài)范圍和熵，以生成顯著圖，作為下一步圖像指紋分類的正則項。

1.2 K近鄰-高斯混合模型

將圖像塊的指紋輸入基于KN-GMM 的分類器。經(jīng)典的K-近鄰(K-nearest neighbor,KNN)模型通過在距離度量(如歐幾里得或曼哈頓距離)下找到k個最近的訓(xùn)練樣本，并以多數(shù)的標(biāo)簽作為測試樣本的標(biāo)簽。由于算法直接采用向量化的圖像指紋作為分類器的輸入，在沒有在特征空間中進(jìn)行更高級別的抽象，因此在處理小樣本問題和含有錯誤標(biāo)簽數(shù)據(jù)問題時保留了很好的穩(wěn)健性。然而，這種簡化也導(dǎo)致了一些潛在的問題：(1)計算量將隨著數(shù)據(jù)集的擴充而增加；(2)當(dāng)特征維數(shù)增加時，距離度量變得不再有效；(3)算法不適用于類別不均衡的數(shù)據(jù)集。

為適用于對較大數(shù)據(jù)集和類別不均衡數(shù)據(jù)集的分類任務(wù)，對經(jīng)典KNN 模型進(jìn)行改進(jìn)，在算法框架中引入預(yù)處理k均值聚類和GMM 以增強該模型對數(shù)據(jù)的概括能力。

首先，假設(shè)某一特定類別的數(shù)據(jù)服從高斯混合分布。設(shè)數(shù)據(jù)集為X=(x1,x2,···,xN)，標(biāo)簽為Y=(y1,y2,···,yN)，可被描述為

其中，T 表示轉(zhuǎn)置，這里，強制αl為統(tǒng)一的值以應(yīng)對數(shù)據(jù)集中類別不平衡的特點。

不同于經(jīng)典KNN 模型采用歐幾里德距離度量去尋找k個最近鄰樣本，改進(jìn)算法通過求解K 近鄰-高斯混合期望向量(μ1,μ2,···,μK)來預(yù)測測試樣本的標(biāo)簽。標(biāo)簽的預(yù)測值?y通過可貝葉斯方程來表示：

這里，從KN-GMM 中計算出的概率可作為圖像塊的置信度得分：

GMM 的訓(xùn)練過程如下：首先，進(jìn)行K-均值聚類。具有某一類別標(biāo)記的數(shù)據(jù)被分成L個聚類以形成GMM模型L個原始分量。對于每個聚類，估計期望μl和標(biāo)準(zhǔn)差∑l來初始化GMM。接著，通過最大期望(Expectation maximization,EM)算法來迭代訓(xùn)練GMM。GMM用于預(yù)測訓(xùn)練樣本，那些預(yù)測不正確的樣本會反過來修正GMM 的參數(shù)值。直至沒有訓(xùn)練樣本被錯誤預(yù)測時，迭代結(jié)束。KN-GMM的訓(xùn)練過程如圖3所示。

對數(shù)據(jù)進(jìn)行手動標(biāo)注時，一般采用矩形框?qū)D像中出現(xiàn)目標(biāo)的位置進(jìn)行標(biāo)注。換言之，一個聲圖片段的標(biāo)注中將包含一系列矩形框的坐標(biāo)和它們所對應(yīng)的類別標(biāo)簽。在弱監(jiān)督場景下，未標(biāo)注區(qū)域?qū)⒈灰曌鳌耙伤曝?fù)樣本”。對這些未標(biāo)注或標(biāo)注不全的樣本，將首先借助基于式(5)所示的局部統(tǒng)計特征的顯著圖這一外部正則化條件，找出在局部統(tǒng)計先驗下的L2范數(shù)最大似然標(biāo)簽：

其中，X=(σ,d,h)T為未標(biāo)注塊的局部統(tǒng)計量，式(9)中采用L2 范數(shù)即為默認(rèn)該局部統(tǒng)計矢量與各類中心之間的距離符合高斯分布。式(9)中權(quán)重參數(shù)矩陣Λ=diag(λσ,λd,λh)是一個對角陣，用于調(diào)整3 種局部統(tǒng)計特征的偏好，本文方法直接按照直觀理解將其賦為固定值，將三者歸一化。也可考慮使用前述的GMM 模型對這三個參數(shù)進(jìn)行學(xué)習(xí)。在最大似然標(biāo)簽的監(jiān)督下，這些未標(biāo)注或標(biāo)注不全的樣本就可以轉(zhuǎn)化為一般的監(jiān)督學(xué)習(xí)場景。

通常，將一個200 m×400 m 大小、含有目標(biāo)的聲圖片段分割成5 m×5 m、包含50%重疊的圖像塊，所有和標(biāo)注矩形框相交的圖像塊都將被視作正樣本，這樣便可以得到大約包含6000個樣本的數(shù)據(jù)集。這種量級的數(shù)據(jù)足以訓(xùn)練KN-GMM，可保證在弱監(jiān)督學(xué)習(xí)應(yīng)用場景下，檢測系統(tǒng)具有較為可靠的性能。

考慮增量學(xué)習(xí)的情況，新加入的數(shù)據(jù)樣本將同樣首先進(jìn)行K-均值聚類，然后用于修正GMM 模型的參數(shù)值。

最后，通過對比置信度的預(yù)測矩陣和由每個圖像塊的標(biāo)準(zhǔn)差、動態(tài)范圍和熵生成的顯著圖，剔除上述兩個值與其他樣本具有較大差異的候選圖像塊。采用KN-GMM 和顯著圖指導(dǎo)的預(yù)測過程如圖4所示。

圖3 KN-GMM 的訓(xùn)練過程Fig.3 Procedure of training KN-GMM

圖4 采用KN-GMM 和顯著圖指導(dǎo)的預(yù)測過程Fig.4 Procedure of predicting using KN-GMM and a guidance saliency map

1.3 ROI回歸及決策

如應(yīng)用場景對準(zhǔn)確度有更高的要求，可采用步驟2 進(jìn)一步處理。步驟2 中首先對圖割算法進(jìn)行了改進(jìn)，使之可以適用于圖像中3 種標(biāo)簽部分的分割；對于每個邊界框，采用這種改進(jìn)算法將框內(nèi)的圖像分割為背景、疑似目標(biāo)的高亮和陰影部分。圖割方法使用高斯混合模型對三者建模，算法將預(yù)先在ROI上進(jìn)行K-均值聚類以初始化背景、陰影和高亮部分，再迭代執(zhí)行高亮/背景和陰影/背景分割。在高亮/背景分割中，陰影和真實的背景均被認(rèn)為是背景，同理，在陰影/背景分割中，高亮和真實的背景被認(rèn)為是背景?；陉幱安糠挚偸潜雀吡敛糠稚园狄恍┑南闰炛R，均值較高的陰影高斯分量和均值較低的高亮高斯分量將進(jìn)行標(biāo)簽交換。同時，參考側(cè)掃聲吶成像幾何關(guān)系，位于高亮部分近端的陰影將會被直接丟棄。

完成對ROI的圖像分割后，一些沒有檢測到前景或是前景中只有很少分散像素點的ROI 將會被丟棄。接著計算高亮部分的最小外接矩形來估計目標(biāo)的尺寸，并通過對比高亮部分以及其形態(tài)學(xué)膨脹鄰域計算目標(biāo)強度。經(jīng)上述處理后，絕大多數(shù)虛警將會被排除。ROI回歸和決策過程示例如圖5所示。

最后，步驟2 將對經(jīng)虛警濾除后仍然保留的邊界框進(jìn)行回歸。通過計算高亮部分的中心像素，邊界框?qū)⒈恢匦露ㄎ唬鼓繕?biāo)位于邊界框的中心，以獲取更為精確的ROI，步驟2處理流程如圖6所示。圖像分割的引入提升了算法對弱監(jiān)督場景的適應(yīng)能力：首先，步驟1 中所有和標(biāo)注區(qū)域相交的圖像塊都將被視作正樣本，步驟2 中圖像分割提供了對目標(biāo)范圍的精確描述，標(biāo)注不夠確切的邊界框?qū)⒈恢匦露ㄎ弧?/p>

圖6 步驟2 處理流程Fig.6 Procedure of Phase 2

2 試驗結(jié)果

2.1 數(shù)據(jù)集

對檢測效果的評估主要基于專家標(biāo)注的高頻SAS圖像數(shù)據(jù)集。數(shù)據(jù)集由一系列200 m×400 m的連續(xù)實時SAS 條帶圖像片段組成，并對條帶圖像片段中的小目標(biāo)進(jìn)行人工標(biāo)注作為真實標(biāo)記(Ground truth,GT)。以在丹江口水庫布放的兩類仿制目標(biāo)為例，如圖7所示，圖中幾個目標(biāo)被放置在湖底，包括φ3 cm 電纜和φ40 cm 圓柱體煤氣罐。目標(biāo)的圖像及其高亮-陰影分割結(jié)果如圖8所示，第一行為目標(biāo)實物照片，第二行為目標(biāo)高頻SAS 圖像，第三行為目標(biāo)高亮-陰影分割結(jié)果。

圖7 兩類目標(biāo)的正樣本及其真實標(biāo)記Fig.7 Two positive samples and their ground truth

圖8 布放目標(biāo)示例Fig.8 Examples of counterfeit targets

2.2 檢測結(jié)果

采用圖7 中的樣本2(丹江口水庫試驗數(shù)據(jù)，包含電纜和圓柱體目標(biāo))，從中獲取15138 個圖像塊來訓(xùn)練KN-GMM，對南中國海試驗數(shù)據(jù)中圓柱體目標(biāo)的檢測的實例如圖9、圖10和圖11所示。

借助顯著圖指導(dǎo)和ROI回歸的處理，所有疑似區(qū)域的目標(biāo)均被正確標(biāo)出。下面，使用不同尺寸的、從不同地點獲取的數(shù)據(jù)集進(jìn)一步驗證算法的魯棒性。采用A、B、C三個試驗數(shù)據(jù)集，分別來自丹江口、千島湖和南中國海，字母A、B、C后面的數(shù)字代表所使用的片段編號。數(shù)據(jù)集被標(biāo)注為0～4等級，代表5 個漸進(jìn)的置信度，其中等級0 代表不存在目標(biāo)，等級4 代表存在確信的人造目標(biāo)。在一般場景下，3 個模型均采用高召回率約束(即認(rèn)為2～4 等級目標(biāo)均為正樣本)進(jìn)行訓(xùn)練。采用與弱監(jiān)督學(xué)習(xí)相關(guān)的工作，HOG和SVM作為對比方法。

算法的精確度(Precision,P)和召回率(Recall,R)可由檢測結(jié)果和真實標(biāo)記統(tǒng)計計算得到。連通的正樣本圖像塊被認(rèn)為是同一個目標(biāo)。例如圖8 中的樣本1，總共有5 個正樣本。此外，本文還選擇了F值(F-measure)作為對算法的整體性評估：

如表1所示，本文方法可在數(shù)據(jù)集較小時獲得相對較低的虛警。

表1 不同數(shù)據(jù)集試驗中得到的精確度和召回率Table 1 Precision and recall rate of experiments on different dataset

圖9 基于圖像指紋和KN-GMM 的預(yù)測結(jié)果示例1Fig.9 Example 1 of predictions by image fingerprints and KN-GMM

圖10 基于圖像指紋和KN-GMM 的預(yù)測結(jié)果示例2Fig.10 Example 2 of predictions by image fingerprints and KN-GMM

圖11 基于圖像指紋和KN-GMM 的預(yù)測結(jié)果示例3Fig.11 Example 3 of predictions by image fingerprints and KN-GMM

2.3 算法性能

實時工作條件下，一般將以流水的形式逐幀對條帶式側(cè)視聲圖進(jìn)行目標(biāo)檢測處理。當(dāng)圖像幀達(dá)到一定大小后，觸發(fā)一次檢測計算，并要求在下一幀相同大小的圖像累積結(jié)束前完成檢測。圖像幀的生成時間可由沿航跡向分辨率和拖體的運動速度計算得出。通過對比目標(biāo)檢測的時間開銷和產(chǎn)生該圖像幀所需的測繪時間，可大致估計出算法是否滿足實時性要求。若檢測時間開銷有較大冗余，還可選擇設(shè)置一定比例的幀重疊，以改善在幀邊界的目標(biāo)檢測效果。

數(shù)據(jù)集A、B、C 典型圖像的處理結(jié)果如表2所示。所使用CPU配置為i5四代，8 GB內(nèi)存。

隨著圖像中疑似目標(biāo)數(shù)量的增加，本文算法在步驟2 中的時間消耗也會增加，因為對每一個疑似目標(biāo)都需基于圖割進(jìn)行ROI 回歸和決策。由于步驟1 的設(shè)置目的在于盡可能地減少漏檢，步驟2 則用于排除虛警，可以認(rèn)為若獲取的ROI與正樣本差異越大，場景越復(fù)雜，步驟2 的必要性就益發(fā)凸顯。為滿足實時性要求，算法將對尺寸超出一定范圍的ROI 進(jìn)行下采樣以避免圖割計算時間過長，同時引入目標(biāo)的屬性進(jìn)行預(yù)評估。所提出算法可以滿足實時性要求，但不能保證可適用于最壞的情況。

表2 本文方法在不同場景下的效果Table 2 The performance of proposed method on different scene

3 結(jié)論與展望

3.1 結(jié)論

本文提出了一種用于水下小目標(biāo)檢測的快速弱監(jiān)督學(xué)習(xí)算法。算法包含基于DCT和KNN 用于獲取較高目標(biāo)召回率的步驟1 和基于圖割算法用于消除虛警的步驟2。DCT 對目標(biāo)區(qū)域的海底地物散射變化進(jìn)行了總體描述，KNN模型為低可靠性數(shù)據(jù)提供了兼容性，增強了對小樣本集的適應(yīng)能力，基于圖割的回歸步驟使檢測系統(tǒng)更加準(zhǔn)確和高效。在合成孔徑聲吶的不同數(shù)據(jù)集中的試驗結(jié)果證明本文方法在一般情況下，可以滿足實時性要求，同時在使用較小訓(xùn)練集時，可以達(dá)到相對較高的精確度和召回率。

3.2 展望

步驟1 和步驟2 的級聯(lián)構(gòu)造了一種簡單框架以實現(xiàn)對精確度和召回率的折中，但仍存在一些局限，有待未來進(jìn)一步的工作中解決：

(1)復(fù)雜場景中的靈活性。本文方法在地貌豐富(如從千島湖獲取的數(shù)據(jù)集B)的圖像中測試時，步驟1的效果較差。在目前的框架下，只能采用獨立的手動級別1來標(biāo)注自然地形，期望通過KN-GMM來消除干擾。復(fù)雜場景的自適應(yīng)一直是目標(biāo)檢測中的一個重要話題。

(2)增量學(xué)習(xí)。KNN 模型的特點決定了其預(yù)測時間將隨著數(shù)據(jù)集規(guī)模的增大而大幅增加。對KN-GMM 進(jìn)行優(yōu)化可降低時間消耗，但從增量學(xué)習(xí)的角度來說，效率仍有待提高。

(3)虛警消除步驟的優(yōu)化。本文方法的步驟2對于簡單虛警的消除略顯復(fù)雜?？梢允褂妙A(yù)評估消除一些容易判斷的虛警，從而避免使用圖割，降低時間開銷。

(4)強化對目標(biāo)細(xì)節(jié)信息的利用。本文方法主要針對顆粒度較為粗糙的分類體系，DCT指紋特征更關(guān)注聲圖的局部區(qū)域特征，這樣的框架保留了對地物場景的整體概括，但目標(biāo)的細(xì)節(jié)信息(如多視角特征等)并未得到充分利用。在步驟2 中增加對目標(biāo)特征的提取和篩選將有助于提升算法對于更精細(xì)的分類問題的適應(yīng)能力。