暗弱環(huán)境下小天體隕石坑智能檢測算法

邵 巍,郗洪良,王光澤,肖 揚,馬廣飛,姚文龍

(青島科技大學自動化與電子工程學院,青島 266061)

0 引 言

小天體探測有助于人類了解太陽系的形成和演化,探索地球生命和水的起源,是當前及未來主要航天國家深空探測任務的重點研究問題之一[1-2]。隕石坑作為天體表面最為常見的地形特征之一,常被用作探測器著陸過程中的導航陸標及障礙規(guī)避的主要對象[3-5]。

近年來,國內外研究學者們對隕石坑檢測開展了諸多相關研究工作。Cheng等[6]結合光照方向與隕石坑邊緣信息,通過定位點檢測與邊緣分組來選取橢圓弧,最終利用橢圓擬合實現隕石坑的檢測；Kim等[7]構造了隕石坑模板,并利用模板匹配的方法完成隕石坑的檢測；陳建清等[8]提出了基于圖像灰度值特征的隕石坑自主檢測方法,通過興趣區(qū)快速確定隕石坑邊緣分布,進而實現隕石坑檢測。以上算法都屬于傳統的基于形態(tài)特征及圖像處理的隕石坑檢測算法,在復雜地形中檢測能力有限。隨著人工智能的發(fā)展,隕石坑檢測越來越趨向于深度學習方面的自動識別領域[9]。Xin等[10]結合暗區(qū)提取與AdaBoost機器學習算法,在火星圖像的隕石坑檢測率達到84.5%；Emami等[11]采用Faster R-CNN(Faster-Region Convolutional Neural Network)網絡實現了對月球勘測軌道器拍攝圖像上隕石坑的自動識別；Silburt等[12]利用U-NET模型在月球的數字高程圖像上實現隕石坑的檢測,并遷移學習到水星的數字高程圖像上。這些基于深度學習的檢測方法相比于傳統方法檢測率有一定提高。但由于小天體環(huán)境暗弱,存在自旋等特性,國內外鮮有對其隕石坑檢測的研究。同時,現有的小天體隕石坑圖像較少,難以滿足深度學習網絡模型的訓練,相較于月球、火星等大天體檢測難度更大。

針對上述問題,本文提出了一種暗弱環(huán)境下小天體隕石坑智能檢測算法,具體安排如下：第一部分利用局部方差均衡算法增強暗弱環(huán)境下隕石坑特征,并加入圖像空間多視角重投影等數據增強方法擴充數據集,構建小天體隕石坑基準數據集；第二部分提出YOLOv4結合自學習的網絡架構及檢測圖像切分方法來進一步提高隕石坑檢測率；第三部分與現有5種主流目標檢測算法進行對比實驗,并給出實驗結果及分析；最后給出本文結論及未來研究方向。

1 隕石坑基準數據集構建

1.1 圖像數據來源

世界各國積極開展多次小天體探測任務,如美國的“近地小行星交會”(NEAR)任務[13]、“黎明號”(Dawn)任務[14],歐洲空間局“羅塞塔”(Rosetta)任務[15]以及日本“隼鳥2號”(Hayabussa 2)任務[16]。但總體探測任務數量較少,且其中有些小天體由于體積、質量小,星體表面基本沒有隕石坑存在,可以用于標注的小天體隕石坑圖像實際上是有限的。針對以上問題,收集愛達、愛神星及灶神星等4個小天體帶有的隕石坑圖像作為原始數據集,并按照圖1形式人工標注隕石坑,各個小天體圖像數量見表1。

表1 原始數據集數量統計Table 1 Statistics of original dataset

圖1 小天體隕石坑標注Fig.1 Small body craters annotation

1.2 基于局部方差均衡的圖像增強

小天體目標環(huán)境暗弱,導致圖像整體對比度偏低,許多隕石坑特征不明顯,影響后續(xù)網絡模型的訓練。針對以上問題,采用一種基于局部方差均衡的圖像增強算法。該算法相對于傳統的基于直方圖均衡化圖像增強方法來說,能夠有效增強整幅圖像的對比度,在突出隕石坑邊緣信息的同時,避免出現過增強的現象。

定義以像素點P(i,j)為中心,大小為(2k+1)×(2k+1)的滑動窗口。

(1)

式中：m(i,j)、σ2(i,j)分別為基于窗口中心像素點P(i,j)的局部均值及方差；f(x,y)表示窗口中心像素點(i,j)所對應的灰度值。

利用式(2)來對暗弱環(huán)境下的小天體圖像進行相應的增強,q(i,j)為增強后的滑動窗口中心(i,j)的灰度值。

(2)

選擇大小合適的滑動窗口對圖像進行逐像素位置移動,用增強后的灰度值代替原窗口中心的灰度值。實驗表明,選擇3×3大小的滑動窗口增強效果最佳,增強前后效果對比如圖2所示。

圖2 局部方差均衡化增強對比Fig.2 Comparison of local variance equalization enhancement

1.3 基于多視角重投影的數據增強

初步收集的小天體帶有隕石坑圖像共730張,數量難以滿足深度學習網絡模型的訓練,容易產生過擬合現象。同時,考慮到小天體自旋特性及探測器著陸過程中存在相機視角變化,采用圖像空間多視角重投影來生成新的數據。

如圖3所示,設相機繞其光心Q做旋轉運動,相機的初始相機坐標系與世界坐標系重合,P為空間場景中的一點。假設同一場景下,相機在初始位置和繞光心Q旋轉之后拍攝的兩幅圖像分別為A和B,P點在圖像A、B中的投影點分別為ua、ub,根據相機成像原理：

圖3 相機繞光心旋轉Fig.3 The camera rotates around the optical center

ua=[K|0]P

(3)

ub=[KR|0]P

(4)

式中:K為相機內部參數矩陣;R為旋轉矩陣。

結合式(3)和式(4),則：

ub=KRK-1ua

(5)

取旋轉矩陣R三軸旋轉角度區(qū)間為[-45°,+45°],每個軸在此區(qū)間間隔10°取樣,總共得到1000個旋轉矩陣用來模擬小天體自旋及相機在不同視角下拍攝的圖像。

除此之外,加入高斯噪聲、鏡像、剪裁、旋轉多種傳統數據增強方法來進一步擴充數據集。將圖像預處理后的小天體圖像按照表2數據增強方法擴充到3730張,部分增強效果如圖4所示。

表2 各類數據增強樣本數量Table 2 Number of data augmentation

圖4 圖像數據增強Fig.4 Image data augmentation

2 隕石坑檢測網絡

2.1 YOLOv4結合自學習網絡

由于小天體形狀不規(guī)則且表面隕石坑尺度差異大,在構建小天體隕石坑數據集時,存在隕石坑漏標或標注錯誤的情況。針對該問題,加入自學習算法,利用已有標注信息來預測未標記的數據,并自動生成新的注釋信息,更新數據集,用于后續(xù)網絡模型訓練。同時,YOLOv4利用空間金字塔池化以及路徑聚合網絡使得對于小隕石坑的檢測得到了相應加強；在訓練過程中,通過隨機的遮擋、抹除一部分圖像來增強模型泛化能力,一定程度上解決了隕石坑受侵蝕風化導致形狀不規(guī)則的問題。因此采用YOLOv4結合自學習的網絡來實現隕石坑檢測模型的訓練。

YOLOv4結合自學習的網絡結構如圖5所示,具體訓練步驟如下：首先利用數據集訓練YOLOv4網絡,獲得初始隕石坑檢測模型。然后,通過該模型對數據集圖像進行隕石坑檢測,并根據檢測結果對數據集標注信息進行更新。對于數據集標注信息中沒有的檢測結果,若其置信度大于所設高閾值,則將其添加到標注信息中。對于數據集標注信息中存在,而檢測結果中不存在或置信度小于所設低閾值的目標,將其相應標注信息刪除。最后,重復上述兩個步驟,使用更新后的數據集重新訓練模型并不斷更新數據集,直至數據集標注信息不再更新,此時的數據集為最終數據集,并用于后續(xù)的網絡訓練。

圖5 YOLOv4結合自學習網絡Fig.5 YOLOv4 combined with self-learning network

本文特征提取網絡包括53個卷積層、23個殘差單元,在主干網絡中使用了Mish激活函數,網絡中的其他部分使用了Leaky_relu激活函數,并且使用Dropblock正則化方式隨機刪除神經元的數量,簡化網絡整體結構,防止訓練過程中出現過擬合。在3×3卷積核作用下,采用的網絡輸入尺寸應該為32的倍數,輸入圖像尺寸越大,數據信息越豐富,特征提取網絡越深,但是訓練和檢測速度就會越慢。然而,輸入圖像調整統一尺寸過小,會導致模型無法學習小隕石坑的顯著特征,對于模型的性能會產生負面影響。同時,由于所做實驗GPU使用的是NVIDIA GTX 2080Ti,對于尺寸過大的圖像,訓練過程中會出現顯存不足問題,導致訓練無法進行。通過圖6可以看出,分辨率越小,檢測率越低,到416×416 pixel時,檢測率趨于穩(wěn)定,但是分辨率越高,訓練時間越長,因此將輸入圖像輸入前調整為統一尺寸大小416×416 pixel最有利于小天體隕石坑檢測。

圖6 圖像分辨率與檢測率曲線Fig.6 Image resolution and detection rate curve

為驗證該算法對于隕石坑漏標或標注錯誤的有效性,我們將一組標注70%的數據集用于自學習訓練。如圖7所示,在迭代25次左右,數據集標注占比逐漸穩(wěn)定于95%左右。

圖7 迭代次數與標注占比曲線Fig.7 Number of iterations and labeling percentage curve

2.2 檢測圖像切分

針對小天體圖像中小隕石坑漏檢問題,將圖像增強后的預測圖片自適應切分成若干個有重疊區(qū)域的子圖像送入檢測網絡,并將預測結果合并顯示在預測圖像中。

為保證最大隕石坑至少出現在任意一塊切分子圖像中,切分子圖像間應該保留一定的重疊區(qū)域。假設已知小天體最大隕石坑直徑為R,檢測圖像為相機在高度H處拍攝,相機焦距為f,則：

(6)

式中：t為最大隕石坑直徑在圖像中所占像素大小,令其為切分子圖像間重疊區(qū)域寬度。

利用式(7)對圖像進行切分,黑色區(qū)域補齊其邊緣部分,切分示意圖如圖8所示。

圖8 圖像切分示意圖Fig.8 Schematic diagram of image segmentation

(7)

式中：L×W為預測圖像的分辨率大小;C×D為切分子圖像的分辨率大??；m,n為圖像水平方向、豎直方向切分的子圖像塊數；ΔL,ΔM為水平方向、豎直方向補全的像素數。

3 實驗結果及分析

3.1 實驗配置及模型訓練

本文所做實驗是在Windows系統下的pytorch框架中進行,GPU使用NVIDIA GTX 2080Ti。按照7∶2∶1的比例,隨機將數據集劃分為訓練集、測試集與驗證集,具體訓練參數見表3。

表3 訓練參數Table 3 Training parameters

如圖9所示,隨著訓練代數增加,損失函數不斷減小,經過2000代左右,損失函數大小逐漸穩(wěn)定于0.18,表明網絡模型訓練效果良好。

圖9 訓練損失函數曲線Fig.9 Training loss function curve

3.2 實驗對比及分析

為驗證本文算法有效性,分別與YOLOv4網絡[17]、SSD網絡[18]、Faster R-CNN網絡[19]、EfficientNet網絡[20]及CenterNet網絡[21]進行對比實驗。

由圖10檢測結果可以看出：1)SSD網絡與Faster R-CNN網絡對于隕石坑重疊、密集的區(qū)域以及小隕石坑檢測效果差,存在較多漏檢；2)EfficientNet網絡、CenterNet網絡及YOLOv4網絡屬于近兩年新型目標檢測網絡,能夠檢測到更多的隕石坑,其中YOLOV4網絡檢測效果最好,但是依舊存在小隕石坑漏檢問題；3)本文算法由于加入圖像空間多視角重投影及切分等改進方法,對于圖像中各視角下的隕石坑與小隕石坑檢測效果更佳,相較于其他5種主流目標檢測算法檢測出的數量最多。

圖10 小天體隕石坑檢測結果Fig.10 Results of small bodies craters detection

引入圖像平均檢測精確率P與檢測率R作為評價性能指標。

(8)

式中：TP,FP,FN分別為檢測到的正確隕石坑數目、檢測到的非隕石坑數目、未檢測到的隕石坑數目。

表4表明本文算法的精確率及檢測率最高,該算法優(yōu)于現有主流目標檢測算法,相比于YOLOv4網絡檢測結果提高了10.97%,能夠更好地完成小天體隕石坑檢測任務。

表4 6種算法性能指標對比Table 4 Comparison of six algorithm performance indicators

4 結 論

本文針對小天體環(huán)境暗弱、存在自旋情況下,隕石坑難以檢測的問題,提出了一種暗弱環(huán)境下小天體隕石坑智能檢測算法。通過局部方差均衡算法解決小天體環(huán)境暗弱的問題,并加入圖像空間多視角重投影模擬小天體自旋及相機視角變化帶來的圖像變換；采用YOLOv4結合自學習網絡解決標注過程中隕石坑漏標及標注錯誤的問題；對于小隕石坑漏檢問題,提出一種切分圖像檢測方法。實驗結果表明,該算法能夠更好地完成小天體隕石坑檢測任務,檢測率達到86.75%。

但由于可見光圖像抗干擾能力較弱,在外界光線條件差時,圖像所獲取信息較為局限,因此后續(xù)計劃結合激光雷達獲取的信息來進一步提高隕石坑檢測效果。