基于局部對比度和全卷積網(wǎng)絡(luò)的小空間碎片檢測

陶 江，曹云峰

(南京航空航天大學(xué) 航天學(xué)院，南京 211106)

0 引言

空間碎片數(shù)量的急劇增加是在軌運行航天器的主要威脅。一般而言，空間碎片是指在地球軌道上或重新進(jìn)入大氣層的人造物體，不再具有任何用途，包括其碎片和部件[1]。空間碎片可以通過不同的方式產(chǎn)生，例如航天器的超高速撞擊、高強度爆炸或低強度爆炸、失效衛(wèi)星和火箭上面級[2]。截止2018年，太空中的空間碎片質(zhì)量超過300萬公斤，且還在大幅增加。2018年2月的統(tǒng)計數(shù)據(jù)表明，尺寸大于10厘米的空間物體數(shù)量已超過18 500個，其中75%是空間碎片[3]。由于其高軌道速度，小尺寸碎片也可能導(dǎo)致災(zāi)難性破裂，這不僅會損壞正在運行的航天器，還會增加軌道上的危險碎片數(shù)量，進(jìn)而導(dǎo)致進(jìn)一步的空間碰撞。因此，空間碎片監(jiān)視對于避免潛在的碰撞風(fēng)險和確?？臻g活動的安全具有重要意義，其中，基于天基監(jiān)視平臺的空間碎片檢測對于準(zhǔn)確的威脅度評估至關(guān)重要。

為了給碰撞規(guī)避預(yù)留充足的時間，需要在較遠(yuǎn)的距離檢測空間碎片，盡管遠(yuǎn)距離的空間碎片大小為幾十米，但是其在整個圖像中占據(jù)幾十個像素甚至幾個像素，屬于典型的“小目標(biāo)”。與大目標(biāo)相比，小目標(biāo)沒有形狀、紋理、顏色和局部特征等視覺特征，呈現(xiàn)出斑點狀，因此空間碎片小目標(biāo)檢測難度較大。此外，宇宙噪聲和星空背景(恒星等)也為空間碎片檢測增加了難度。為了解決上述問題，本文利用空間碎片與天體背景中恒星運動特征的差異，并結(jié)合多幀星圖對空間小目標(biāo)進(jìn)行檢測。

在過去的幾十年中，小空間目標(biāo)檢測方法受到了廣泛關(guān)注[4]，如背景減除法[5，6]，光流法[7-9]，檢測前跟蹤法[10]，幀差法[11-12]。局部對比度法(LCM，local contrast method)[13]是一種有效的小目標(biāo)檢測方法，可以在增強目標(biāo)信息的同時抑制背景雜波，但忽視了視頻中的幀間信息。近年來，提取顯著區(qū)域和計算時空顯著性在視頻目標(biāo)檢測中得到了廣泛應(yīng)用，取得了一定的進(jìn)展[14-16]，但受限于光流估計的計算復(fù)雜度，導(dǎo)致實時性較差。隨著深度學(xué)習(xí)的發(fā)展，通過訓(xùn)練的端到端全卷積網(wǎng)絡(luò)(FCN，fully convolutional network)可以直接生成像素級顯著性圖[17]，通過學(xué)習(xí)幀間的關(guān)聯(lián)，避免了耗時的光流計算[18]。與傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)(CNN，convolutional neural network)不同，CNN是在最后一個卷積層后采用全連接層得到固定長度的特征向量從而實現(xiàn)目標(biāo)或圖片分類。而FCN是在最后一個卷積層后連接反卷積層，實現(xiàn)對卷積層得到的特征圖進(jìn)行上采樣，使得特征圖恢復(fù)到和輸入圖像相同的尺寸，最后對每個像素進(jìn)行損失計算，從而對每個像素都可以實現(xiàn)預(yù)測。這樣既保留了原始輸入圖像的空間信息，又實現(xiàn)了對最后的特征圖的逐像素分類。由于FCN具有精細(xì)的目標(biāo)檢測優(yōu)勢，近年來被廣泛應(yīng)用于空間目標(biāo)探測中。Andrea等人[19]提出了一種基于U-Net的空間目標(biāo)軌跡提取方法。U-Net也是一種全卷積網(wǎng)絡(luò)，和FCN[20]有兩個區(qū)別：(1)U-Net采取了編碼器-解碼器網(wǎng)絡(luò)結(jié)構(gòu)，編碼器和解碼器對稱，而FCN的解碼器只有一個反卷積層。(2)U-Net采取了跳躍連接，將反卷積上采樣的結(jié)果和編碼器結(jié)構(gòu)中輸出的相同分辨率的特征圖的模塊進(jìn)行拼接操作(concentration)，作為解碼器中下一個子模塊的輸入。而FCN中采取的是相加操作(addition)。相加操作的特征圖通道數(shù)不變，但每個特征圖包含了更多的信息；而拼接操作使特征圖通道數(shù)增加，每個特征圖保留了更多的位置信息，對于像素級分類任務(wù)更有優(yōu)勢。Guo等人[21]提出了一種改進(jìn)的U-Net方法Channel and Space Attention U-net(CSAU-Net)用于單幀圖像的空間目標(biāo)分割。該方法通過添加注意力模塊使得網(wǎng)絡(luò)更充分地利用小尺度特征圖信息并增強空間目標(biāo)的注意力。然而上述方法忽略了空間目標(biāo)的運動特性以及連續(xù)時域信息，無法實現(xiàn)對序列圖像中的空間目標(biāo)檢測。

本文提出了一種針對序列圖像的高效空間碎片小目標(biāo)顯著性檢測方法。首先，基于局部對比度度量獲得局部對比度映射；然后，將對比度映射饋送到深度網(wǎng)絡(luò)，并通過深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)幀間信息，捕獲時空顯著性。本文的主要結(jié)構(gòu)安排如下：第1節(jié)介紹了空間碎片小目標(biāo)顯著性檢測的主要框架，以及單幀局部對比圖和時空顯著性模型；第2節(jié)討論了實驗結(jié)果和分析；第3節(jié)對全文工作進(jìn)行總結(jié)。

1 空間碎片小目標(biāo)顯著性檢測方法

1.1 算法總體方案

在介紹算法的具體細(xì)節(jié)之前，首先對空間碎片小目標(biāo)顯著性檢測算法的總體方案進(jìn)行概述。本文算法的思想為：人類視覺系統(tǒng)[22-23]表明，靜態(tài)視覺顯著性和動態(tài)視覺顯著性等低級視覺特征是在人類注意前階段處理的，本文受此啟發(fā)，將基于亮度的對比度和基于運動的動態(tài)顯著性結(jié)合到空間碎片顯著性檢測模型中。將一系列天基監(jiān)測視頻幀輸入顯著性模型，可以從模型中獲得空間碎片小目標(biāo)的顯著性分析結(jié)果，即更亮的圖像像素意味著更高的顯著性。本文根據(jù)空間碎片小目標(biāo)的時空特性，設(shè)計了如圖1所示的空間碎片小目標(biāo)顯著性檢測模型。該模型包括兩個模塊：1)單幀模塊。受對比機制的啟發(fā)，該模塊采用了局部對比度度量方法，并利用核模型來度量單幀圖像的局部對比度；2)幀間模塊。以空間碎片視頻相鄰幀的圖像作為輸入，直接生成時空顯著性圖。該模型采用全卷積網(wǎng)絡(luò)進(jìn)行像素級時空顯著性估計，并采用基于大規(guī)模圖像數(shù)據(jù)集的預(yù)訓(xùn)練模型來節(jié)省訓(xùn)練時間。

圖1 基于深度卷積神經(jīng)網(wǎng)絡(luò)的空間碎片小目標(biāo)檢測算法流程圖

1.2 單幀模塊

局部對比度測量將天基監(jiān)測視頻中的灰度圖像作為輸入，并輸出空間碎片的局部對比度圖。由于空間碎片區(qū)域具有與其周圍區(qū)域不連續(xù)的特點，并且集中在一個相對較小的區(qū)域，可以認(rèn)為是一個均勻、緊湊的區(qū)域。同時，周圍的背景與其相鄰區(qū)域一致[24]，因此，圖像中與鄰域不一致的像素區(qū)域很可能是一個目標(biāo)，可以通過對比度圖來描述。如圖2所示，w表示單幀圖像，u表示空間碎片，v是一個滑動窗口可以移動的圖像。因此，可以通過在單幀圖像w上移動窗口v來生成圖像塊。當(dāng)移動到目標(biāo)u所在的位置時，v中除u以外的區(qū)域目標(biāo)的背景區(qū)域。然后，將獲取的圖像分為九個單元。

圖2 圖像塊和圖像柵格

圖像塊的中心單元標(biāo)記為0，空間碎片可能出現(xiàn)在該區(qū)域。第i個單元格的灰度平均值由以下公式計算：

(1)

(2)

(3)

因此，局部對比度度量可以通過式(4)計算得到：

(4)

上述方程式表明，Cn越大，出現(xiàn)空間碎片小目標(biāo)的可能性就越大。

最后，將中心像素值替換為當(dāng)前圖像塊的局部對比度值Cn。重復(fù)上述過程，可以獲得與整個圖像相對應(yīng)的局部對比度圖?？紤]到空間碎片的大小隨運動而變化，采用了多尺度局部對比度測量方法。首先給出了一系列的尺度l，然后計算每個尺度的局部對比度Cl，然后通過式(5)計算多尺度局部對比圖。

(5)

其中：lmax是最大比例，p和q分別表示對比度圖像矩陣的行數(shù)和列數(shù)。

1.3 幀間模塊

基于FCN的空時顯著性網(wǎng)絡(luò)如圖4所示。該網(wǎng)絡(luò)以序列圖像的前后幀為輸入，結(jié)合局部對比度測量產(chǎn)生的局部對比度信息作為顯著區(qū)域的先驗信息(潛在顯著區(qū)域)，直接生成最終的時空顯著性圖。該網(wǎng)絡(luò)由5個卷積層和5個反卷積層組成，學(xué)習(xí)時間顯著性和空間顯著性信息。圖中的CRn表示n個卷積(convolution)+非線性校正單元(ReLU)模塊，DRn表示n個反卷積(deconvolution)+非線性校正單元(ReLU)模塊。首先，前后幀(It，It+1)和當(dāng)前幀It的局部對比度圖Pt在通道方向上連接，即張量拼接操作(contact)，張量拼接示意圖如圖3所示。前后幀以及當(dāng)前幀對應(yīng)的局部對比度圖均具有相同的寬h和高w。前后幀圖像均為RGB三通道的彩色圖像，局部對比度圖為一維的灰度圖。

圖3 全卷積網(wǎng)絡(luò)和局部對比圖結(jié)合過程

通過拼接得到維度為(h，w，7)的張量，其中7和h，w分別表示張量的通道數(shù)和高度、寬度。因此，維數(shù)為(h，w，7)的張量被輸入到基于全卷積網(wǎng)絡(luò)的時空顯著性網(wǎng)絡(luò)中。通過對輸入特征圖進(jìn)行卷積操作加上偏差可得到輸出特征圖，該特征圖表示對于輸入特征圖所有位置上的特征表達(dá)。定義輸入特征圖為I，輸出特征圖為F，卷積核為W，偏差為b，卷積步長為s，則輸入特征圖和輸出特征圖的關(guān)系如式(6)所示：

F(I，W，b，s)=W*sI+b

(6)

在每個卷積層的輸出中應(yīng)用校正線性單元(ReLUs)的非線性特性，以提高特征表示能力，在此之后連接最大值池化層以得到更加魯棒的特征表達(dá)能力，例如對輸入特征圖上微小變化的抗擾能力。由于卷積核池化操作使得輸出的特征圖分辨率較低，而對于顯著性檢測，需要獲取精確的像素級顯著性預(yù)測，因此在卷積層之后添加多個反卷積層，以實現(xiàn)對卷積層和最大池化層獲得的特征圖上采樣。定義輸入圖像為I，通過卷積操作得到的輸出特征圖為F，反卷積層為D，上采樣因子為s，則通過反卷積操作得到的輸出特征圖Y可表示為：

Y=Ds(F(I，ΘF)；ΘD)

(7)

其中：ΘF和ΘD分別表示卷積操作中和反卷積操作中的可學(xué)習(xí)的參數(shù)。最后一個卷積層的卷積核大小為1×1，結(jié)合sigmoid激活函數(shù)實現(xiàn)將特征圖映射為顯著圖。sigmoid激活函數(shù)的作用是將每一個預(yù)測值映射為0到1之間。最終，通過結(jié)合局部對比度先驗信息和空時域顯著性學(xué)習(xí)網(wǎng)絡(luò)實現(xiàn)對當(dāng)前幀的顯著性預(yù)測。

本文方法和現(xiàn)有的基于FCN的方法的主要區(qū)別在于：(1)輸入端引入了當(dāng)前幀的局部對比度圖作為先驗信息。由于該局部對比度圖不僅具有增強目標(biāo)信息的優(yōu)點，同時可以抑制空間背景噪聲，因此，可以極大改善網(wǎng)絡(luò)對于空間域信息的學(xué)習(xí)性能。(2)通過同時輸入連續(xù)的視頻序列圖像，可以避免傳統(tǒng)的FCN將圖像作為獨立個體的缺點。充分利用了連續(xù)幀的空時域上下文線索，使得網(wǎng)絡(luò)具備對空時域顯著性的學(xué)習(xí)能力。

圖4 空間碎片空時域顯著性檢測網(wǎng)絡(luò)示意圖

在訓(xùn)練過程中，利用視頻序列數(shù)據(jù)集的前后幀和空間碎片的當(dāng)前幀的顯著性標(biāo)簽對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，同時從空間動態(tài)場景中學(xué)習(xí)空時域顯著性。卷積網(wǎng)絡(luò)對應(yīng)于VGGNet網(wǎng)絡(luò)中的前5個卷積層。因此，在訓(xùn)練過程中，首先在大型數(shù)據(jù)集上訓(xùn)練權(quán)重[26]，其他層的權(quán)重隨機初始化。采用大小為1×1的卷積核和sigmoid激活函數(shù)的全卷積網(wǎng)絡(luò)來產(chǎn)生空時域顯著性結(jié)果。每個元素的輸出都有一個從0到1的實值。采用5幅圖像的小批量隨機梯度下降(SGD)和初始學(xué)習(xí)率為0.000 01的多項式學(xué)習(xí)策略來最小化損失函數(shù)。由于空間碎片屬于小目標(biāo)，最終預(yù)測得到的顯著圖中顯著性區(qū)域和非顯著性區(qū)域像素個數(shù)極不平衡，因此采取加權(quán)交叉熵?fù)p失函數(shù)來解決正負(fù)樣本不平衡的問題。加權(quán)交叉熵?fù)p失函數(shù)定義如下：

(8)

其中：G表示當(dāng)前幀的顯著性真值圖，P為當(dāng)前幀的顯著性預(yù)測圖，α表示顯著性像素面積在真值圖中的比例，G∈{0，1}h×w，P∈{0，1}h×w，gi∈G，pi∈P。

訓(xùn)練完成后，給定一對幀間圖像和當(dāng)前幀的局部對比度圖作為輸入，空時域顯著性網(wǎng)絡(luò)就可以輸出當(dāng)前幀對應(yīng)的顯著圖。獲取當(dāng)前幀顯著圖后，迭代輸入下一幀就可以實現(xiàn)整個視頻序列圖像的顯著性預(yù)測。和當(dāng)前的兩分支視頻顯著性預(yù)測網(wǎng)絡(luò)[27-29]相比，本文通過直接將局部對比度和空時域顯著性網(wǎng)絡(luò)相結(jié)合的方式更加簡潔，避免了分別學(xué)習(xí)空域特征和時域特征并另外設(shè)計空時域特征融合網(wǎng)絡(luò)架構(gòu)。此外，本文方法可以直接輸出空時域顯著圖，避免了耗時的光流計算。和當(dāng)前的兩模塊方法[30]相比，本文方法通過局部對比度方法直接獲取當(dāng)前幀的空間域信息，避免了單獨設(shè)計和訓(xùn)練空域顯著性網(wǎng)絡(luò)。

2 實驗結(jié)果

2.1 評價指標(biāo)

為了評估該方法的性能，本文給出了定性和定量的比較結(jié)果。本文中使用的量化指標(biāo)是準(zhǔn)確率/召回率(PR)曲線、F-score和平均絕對誤差(MAE)。

首先采用PR曲線來評估顯著性檢測結(jié)果的性能。準(zhǔn)確率表示正確生成的顯著性像素在所提出方法檢測到的所有顯著像素中所占的比例，召回率表示正確生成的顯著像素占顯著性真值的百分比。通過將操作點閾值從0變?yōu)?55得到256個準(zhǔn)確率和召回率點對，從而繪制PR曲線。

為了全面評估顯著圖的性能，同時使用F-score度量。F-score定義為：

(9)

根據(jù)前期Achanta等人的研究工作[31]，β2設(shè)為0.3。

2.2 實驗設(shè)置

由于缺乏關(guān)于空間碎片的真實視頻序列數(shù)據(jù)集，本文在TERRIER[32]等人提出的阿波羅航天器三維模型基礎(chǔ)上，并通過3dsMAX[29]進(jìn)行渲染，構(gòu)建了一個空間碎片視頻仿真數(shù)據(jù)集，以驗證所提出的方法。該數(shù)據(jù)集是一個視頻序列，模擬了空間碎片、太陽和空間監(jiān)視平臺之間的相對運動，總共包括2 000幅可見光圖像。該場景描述了一個空間碎片接近位于近地軌道(LEO)的天基監(jiān)視平臺。為簡化實驗，本文目前不把其他行星(如地球)和恒星(如太陽)作為圖像背景的一部分，只考慮遠(yuǎn)距離恒星。模擬圖像背景時，位置、運動參數(shù)和光度數(shù)據(jù)參考Tycho-2星表。視頻序列圖像大小為640×480。模擬的空間碎片與可見傳感器之間的最遠(yuǎn)距離為30公里，最近距離為20公里。國際光學(xué)工程學(xué)會對小目標(biāo)的定義，模擬的小目標(biāo)總像素不超過80[33]。視頻序列中的空間碎片最大像素數(shù)量為50個，距離為20公里，符合標(biāo)準(zhǔn)小目標(biāo)的定義。此外，本文參考林肯實驗室的天基可見光傳感器[34-35]，設(shè)置了圖像傳感器的參數(shù)。模擬的空間碎片視頻序列數(shù)據(jù)集的具體參數(shù)如表1所示。圖5為不同觀測距離下的空間碎片視頻圖像。如圖5(a)所示為距離觀測傳感器為30 km的空間碎片圖像，空間碎片的大小為16像素；圖5(b)為距離觀測傳感器為20 km的空間碎片圖像，空間碎片的大小為50像素。

圖5 不同距離和像素大小的空間碎片

表1 實驗參數(shù)設(shè)置

2.3 實驗結(jié)果分析

定性分析：如圖6所示為第71～74幀的空間碎片視頻序列圖像，相應(yīng)的顯著性真值圖如圖7所示。圖8為局部對比度圖。如圖8所示，僅考慮空間信息的顯著性檢測方法在動態(tài)場景中面臨巨大挑戰(zhàn)，因為該方法沒有充分利用時域信息導(dǎo)致一些恒星被同時檢測?？諘r域顯著性檢測結(jié)果如圖9所示。從圖9可知，網(wǎng)絡(luò)輸出的顯著圖只包含空間碎片目標(biāo)，濾除了圖8中殘留的少量背景恒星目標(biāo)，實現(xiàn)了對視頻序列圖像中空間碎片的準(zhǔn)確檢測。

定量分析：由于本文提出的視頻顯著性檢測方法是目前已知的首次將其用于空間目標(biāo)檢測的方法。因此，本文沒有與其他相關(guān)方法進(jìn)行比較。但本文使用了文獻(xiàn)[18]中提出的視頻顯著性目標(biāo)檢測方法對我們的數(shù)據(jù)集進(jìn)行了測試，但測試結(jié)果表明，該方法對動態(tài)場景中的小目標(biāo)具有局限性。由于宇宙背景中存在白噪聲，參考文獻(xiàn)[31]，本文建立了方差為0.005和0.01的兩組零均值高斯白噪聲。不同方差下的PR曲線和F-score曲線如圖10所示。從圖10左圖可知，本文提出的方法在不添加噪聲時的檢測準(zhǔn)確率最好，當(dāng)高斯噪聲方差值變?yōu)?.005和0.01時，檢測性能變化不大，顯示了該方法對方差變化具有良好的魯棒性。從圖10右圖可知，當(dāng)高斯噪聲方差值變?yōu)?.005和0.01時，檢測性能下降不大，同樣顯示了該方法檢測準(zhǔn)確率的魯棒性。為了真實地模擬天基傳感器，還討論了眩光效應(yīng)[36]。眩光效應(yīng)是指在光學(xué)傳感器的透鏡系統(tǒng)中，由明亮的光線衍射(如陽光)引起的透鏡眩光效果。眩光效果可通過3dsMAX渲染軟件中的filter參數(shù)進(jìn)行設(shè)置。設(shè)置了大小為1和2的兩組眩光效果。不同方差下的PR曲線和F-score曲線如圖11所示。其中圖11左圖為不添加眩光、眩光大小為1、眩光大小為2三種情況的PR曲線圖。當(dāng)不添加眩光時，該方法具有較好的檢測準(zhǔn)確率；當(dāng)眩光大小為1時，檢測性能顯著下降；當(dāng)眩光大小為2時，檢測性能較低。圖11右圖為不添加眩光、眩光大小為1、眩光大小為2三種情況的F-score曲線圖。和PR曲線圖具有同樣的檢測性能變化程度。因此由實驗結(jié)果可知，該方法對眩光效果非常敏感。

圖6 部分原始視頻序列圖像

圖7 顯著圖真值

圖8 視頻序列的局部對比圖

圖9 視頻序列的顯著圖

圖10 不同方差下的PR曲線和F-score曲線

圖11 不同眩光效果下的精度-召回率曲線和F值曲線

3 結(jié)束語

本文提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的天基監(jiān)視平臺空間碎片顯著性檢測方法，分為局部對比度和空時域顯著性網(wǎng)絡(luò)兩部分，分別獲取動態(tài)場景的空間信息和空時域信息。該方法將局部對比度度量輸出的局部對比度圖和時空顯著性網(wǎng)絡(luò)進(jìn)行融合，能夠捕獲小目標(biāo)的顯著性先驗信息，同時學(xué)習(xí)幀間時間信息。通過本文構(gòu)建的空間碎片視頻序列數(shù)據(jù)集上測試了本文提出的方法，并在不同的宇宙噪聲下對其進(jìn)行了評估。驗證結(jié)果表明，該方法對于空間碎片小目標(biāo)顯著性檢測非常有效，并且在不同噪聲背景下具有良好的魯棒性。由于該方法對于太陽眩光較為敏感，下一步可通過結(jié)合語義分割的方法對太陽預(yù)處理，實現(xiàn)太陽背景下的空間碎片準(zhǔn)確檢測。