改進(jìn)Oriented R-CNN的遙感尾礦庫檢測

李敏 蘇文博 隋正偉 李俊杰

改進(jìn)Oriented R-CNN的遙感尾礦庫檢測

李敏1蘇文博1隋正偉1李俊杰2

（1 中國四維測繪技術(shù)有限公司，北京 100086）（2 中國資源衛(wèi)星應(yīng)用中心，北京 100094）

尾礦庫中含有大量的尾砂，是一個(gè)具有高勢能的人造泥石流危險(xiǎn)源，一旦發(fā)生潰壩危險(xiǎn)，就會(huì)帶來嚴(yán)重的人員損失和環(huán)境災(zāi)難。掌握尾礦庫的數(shù)量和空間分布情況，對尾礦庫事故的預(yù)防具有重要的意義。傳統(tǒng)的尾礦庫調(diào)查依賴人工目視解譯和地面驗(yàn)證，難以實(shí)現(xiàn)大范圍、高頻次的監(jiān)測。文章以多源高分辨率衛(wèi)星影像為數(shù)據(jù)源，采用人工遍歷解譯的方式標(biāo)注樣本，并結(jié)合多種數(shù)據(jù)增廣方法構(gòu)建了深度學(xué)習(xí)的尾礦庫檢測數(shù)據(jù)集。在此基礎(chǔ)上，通過嵌入輕量化的注意力機(jī)制模塊，同時(shí)設(shè)置自適應(yīng)的錨框，優(yōu)化Oriented R-CNN模型。實(shí)驗(yàn)結(jié)果表明：改進(jìn)后的模型在尾礦庫檢測數(shù)據(jù)集上的性能顯著提升，全類平均精度和召回率分別能夠達(dá)到84.14%和90.32%，同時(shí)模型具有較強(qiáng)的可靠性和泛化性。文章提出的方法有利于推動(dòng)尾礦庫自動(dòng)化、智能化的應(yīng)急監(jiān)管。

尾礦庫 目標(biāo)檢測 注意力機(jī)制 遙感應(yīng)用

0 引言

尾礦庫是指筑壩攔截谷口或圍地構(gòu)成的，用以堆存金屬或非金屬礦山進(jìn)行礦石選別后排出的尾礦或其他工業(yè)廢渣的場所，一般由堆存系統(tǒng)、排洪系統(tǒng)、回水系統(tǒng)等部分組成。尾礦庫中含有大量的尾砂，是一個(gè)具有高勢能的人造泥石流危險(xiǎn)源，易造成潰壩的危險(xiǎn)，存在極大的安全隱患[1]。此外，受地形和結(jié)構(gòu)的限制，尾礦庫多位于偏遠(yuǎn)山區(qū)，受監(jiān)管程度相對較弱，常出現(xiàn)尾礦庫建設(shè)不達(dá)標(biāo)、尾礦庫安全管理不善等問題，對社會(huì)經(jīng)濟(jì)和生態(tài)環(huán)境產(chǎn)生嚴(yán)重的負(fù)面影響[2]。因此，快速準(zhǔn)確地掌握尾礦庫的數(shù)量、范圍和空間分布等信息，對于尾礦庫的應(yīng)急管理和事故預(yù)防具有非常重要的意義[3]。

傳統(tǒng)的尾礦庫遙感監(jiān)測方法大多采用地面調(diào)查和人工解譯相結(jié)合的方式，但我國尾礦庫分布范圍廣，且多存在于偏遠(yuǎn)地區(qū)，這種方法不僅費(fèi)時(shí)費(fèi)力，也難以滿足全面性和時(shí)效性的要求。隨著遙感技術(shù)的發(fā)展，已有學(xué)者借助遙感圖像進(jìn)行尾礦庫的監(jiān)測與統(tǒng)計(jì)分析，最常用的方法是基于遙感影像的光譜、紋理等特征提取尾礦庫。例如，文獻(xiàn)[4]利用Landsat 7和SPOT 5融合圖像，采用線性光譜分解方法提取了礦山尾砂；文獻(xiàn)[5]利用Landsat 8 OLI影像建立了超低品位鐵相關(guān)物指數(shù)，然后基于尾礦庫與采場的熵差提取尾礦庫；文獻(xiàn)[6]利用Landsat 8數(shù)據(jù)，通過構(gòu)建多種指標(biāo)以實(shí)現(xiàn)尾砂的提取。然而，由于不同尾礦庫的顏色、形狀、尺寸等差異較大，且背景復(fù)雜，這種自動(dòng)化程度低的方法往往不能適應(yīng)大范圍的目標(biāo)檢測。因此，如何快速、全面、準(zhǔn)確地提取尾礦庫，仍然是一個(gè)具有挑戰(zhàn)性的問題。

憑借著卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)提取特征的優(yōu)勢，近年來，深度學(xué)習(xí)技術(shù)在計(jì)算機(jī)視覺領(lǐng)域得到了廣泛的應(yīng)用，已被證明是一種強(qiáng)大的圖像處理技術(shù)[7]。目前基于深度學(xué)習(xí)的目標(biāo)檢測方法可以分為兩類：即以區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Regions with CNN Features，R-CNN）及其改進(jìn)算法為代表的兩階段方法[8-10]，和以YOLO、SSD為代表的單階段檢測方法[11-14]。這些算法在自然圖像處理領(lǐng)域取得了甚至超過人類識(shí)別能力的巨大成功[15]，也在遙感影像的目標(biāo)檢測和地物提取領(lǐng)域發(fā)揮了重要作用，為大范圍、自動(dòng)化、智能化的遙感影像尾礦庫提取奠定了基礎(chǔ)。例如，文獻(xiàn)[16]基于單階段的SSD模型，自動(dòng)提取了京津冀地區(qū)的尾礦庫；文獻(xiàn)[17]以U-Net網(wǎng)絡(luò)框架為基礎(chǔ)，利用衛(wèi)星影像提取了尾礦庫并驗(yàn)證了方法的可靠性；文獻(xiàn)[18]通過在Faster R-CNN中嵌入特征金字塔和注意力機(jī)制，顯著提高了尾礦庫的檢測精度和召回率；此外，文獻(xiàn)[19]在改進(jìn)的Faster R-CNN網(wǎng)絡(luò)中加入近紅外波段信息，同樣實(shí)現(xiàn)了高性能的尾礦庫檢測。

以上方法均采用水平框的方式提取尾礦庫，雖然能夠在一定程度上提高尾礦庫的檢測識(shí)別精度，但是，由于地形、結(jié)構(gòu)等因素的影響，尾礦庫在遙感影像上的方向是任意的，水平框中冗余的背景信息會(huì)增加噪聲干擾，降低尾礦庫檢測的精度。目前，基于旋轉(zhuǎn)框的目標(biāo)檢測算法在飛機(jī)、艦船等目標(biāo)的檢測中取得了顯著性突破，為有效解決尾礦庫的精準(zhǔn)檢測問題提供了一種新的思路和方法[20-23]。

針對上述尾礦庫提取的難題，本文采用多期山東和河南省的國產(chǎn)高分辨率衛(wèi)星影像構(gòu)建了2 402個(gè)尾礦庫樣本，并結(jié)合多種數(shù)據(jù)增廣方法擴(kuò)充樣本集。在此基礎(chǔ)上，通過改進(jìn)Oriented R-CNN模型[24]對尾礦庫進(jìn)行檢測，實(shí)現(xiàn)了大范圍遙感影像內(nèi)尾礦庫信息的快速、精確提取，并以山西省忻州市為示范應(yīng)用區(qū)，驗(yàn)證了改進(jìn)后模型的適用性和有效性。

1 實(shí)驗(yàn)數(shù)據(jù)

1.1 樣本采集

受地形地貌、礦產(chǎn)資源開采、經(jīng)營規(guī)模等因素的影響，我國現(xiàn)存的尾礦庫大體上可分為山谷型、傍山型和平地型三種，如圖1所示。本文以這三種尾礦庫為目標(biāo)，進(jìn)行尾礦庫的樣本制作和檢測識(shí)別。

圖1 三種尾礦庫示例

我國河南省和山東省具有豐富的礦產(chǎn)資源。據(jù)統(tǒng)計(jì)，截至2022年，河南省現(xiàn)存尾礦庫數(shù)量為365座，山東省現(xiàn)存尾礦庫數(shù)量146座。為制作深度學(xué)習(xí)目標(biāo)檢測的樣本數(shù)據(jù)集，本文以河南省和山東省為研究區(qū)，以2 m分辨率的高分系列和資源系列衛(wèi)星影像為數(shù)據(jù)源，采集2021年的影像數(shù)據(jù)。經(jīng)過正射校正、鑲嵌融合等一系列預(yù)處理后，對尾礦庫的形狀、大小、紋理、色調(diào)等特征進(jìn)行分析，構(gòu)建尾礦庫的解譯標(biāo)志。在此基礎(chǔ)上，采用ArcGIS矢量編輯工具勾畫帶有地理坐標(biāo)信息的尾礦庫目標(biāo)最小面積外包矩形，圖2展示了2021年河南省和山東省的尾礦庫分布情況。之后，為滿足深度學(xué)習(xí)訓(xùn)練的需求，利用Python的空間數(shù)據(jù)處理庫將影像處理成1 024像元×1 024像元大小的三波段8比特的切片（重疊區(qū)域?yàn)?5%），如果目標(biāo)過大，則將切片尺寸放大至包含目標(biāo)。同時(shí)，生成對應(yīng)圖像坐標(biāo)的尾礦庫標(biāo)簽文件，初步完成樣本的制作。樣本數(shù)據(jù)統(tǒng)計(jì)信息如表1所示。

圖2 尾礦庫樣本分布

表1 樣本數(shù)據(jù)集信息統(tǒng)計(jì)

Tab.1 Statistics of tailings pond dataset

為提升模型的泛化性能，本文充分利用遙感影像的時(shí)空特性，結(jié)合多時(shí)相的影像數(shù)據(jù)豐富樣本庫。收集三期（2016年、2018年、2020年）空間分辨率為2 m的衛(wèi)星影像數(shù)據(jù)（如表1所示），疊加2021年的矢量標(biāo)注文件，通過人工遍歷的方式檢查目標(biāo)對象并進(jìn)行增刪改操作，快速實(shí)現(xiàn)了長時(shí)間序列影像的樣本標(biāo)注。最終，基于四期多源衛(wèi)星遙感影像共生成了1 693個(gè)尾礦庫切片，包含2 402個(gè)尾礦庫目標(biāo)*：部分樣本數(shù)據(jù)已在《中國科學(xué)數(shù)據(jù)》發(fā)布，數(shù)據(jù)服務(wù)網(wǎng)站：https://doi.org/10.57760/sciencedb.06518。。將數(shù)據(jù)集按照7︰2︰1比例隨機(jī)分為訓(xùn)練集、驗(yàn)證集和測試集，以進(jìn)行模型的訓(xùn)練迭代和效果評(píng)估。

1.2 樣本增廣

深度學(xué)習(xí)模型的性能極大程度上依賴于大規(guī)模的樣本數(shù)據(jù)集，但是由于尾礦庫分布較為稀疏，采用大批量原始圖像進(jìn)行人工遍歷標(biāo)注需要耗費(fèi)大量的人力、物力。因此，考慮到不同傳感器、不同時(shí)間、不同角度拍攝的影像特征以及尾礦庫的尺度大小不同，本文對訓(xùn)練集中的尾礦庫樣本進(jìn)行幾何增廣（隨機(jī)縮放、翻轉(zhuǎn)、旋轉(zhuǎn)）、色彩增廣（亮度、對比度）、數(shù)量增廣（Copy Paste）等增強(qiáng)處理，以擴(kuò)充訓(xùn)練數(shù)據(jù)集。前兩種增強(qiáng)方式是對整個(gè)樣本切片進(jìn)行處理，如圖3所示。數(shù)量增廣則是將包含尾礦庫目標(biāo)的最小面積外接矩形區(qū)域粘貼至其他負(fù)樣本切片中，以此增加尾礦庫目標(biāo)背景的多樣性。

圖3 幾何增廣和色彩增廣示例

1.2.1 幾何增廣

幾何增廣需要考慮樣本切片大小和形狀產(chǎn)生的變化，尾礦庫相對于圖像的坐標(biāo)位置（Bounding Box）也會(huì)發(fā)生相應(yīng)的變化。圖像的幾何變化可以用如下公式表示

1.2.2 色彩增廣

色彩增廣是指通過改變樣本切片各通道的像素值，使其圖像亮度、對比度、飽和度等呈現(xiàn)出與原始圖像不同的特征，以此提高模型算法對于色彩的魯棒性。色彩增廣主要針對樣本切片，不需要考慮目標(biāo)相對圖像的Bounding Box變化。

1）亮度。亮度增廣操作是將樣本切片各通道的像素值隨機(jī)加減一個(gè)整數(shù)，同時(shí)保證變換后的像素值在[0，255]范圍內(nèi)，再依次合并各通道數(shù)據(jù)形成增廣后的樣本切片。

2）對比度。對比度增廣操作是按照一定的數(shù)學(xué)規(guī)則對原始圖像的每個(gè)像素進(jìn)行逐點(diǎn)計(jì)算生成新的樣本切片。

1.2.3 數(shù)量增廣

由于尾礦庫形狀、紋理等特征復(fù)雜，較容易與水體、耕地、山脈等背景地物相混淆。為了解決此問題，本文首先利用現(xiàn)有數(shù)據(jù)集訓(xùn)練一個(gè)模型，對研究區(qū)進(jìn)行測試，并將輸出結(jié)果中存在誤檢的影像切片作為負(fù)樣本。采用Copy Paste方法將正樣本中的尾礦庫標(biāo)簽區(qū)域裁剪下來，隨機(jī)粘貼至負(fù)樣本切片上，以此來增加訓(xùn)練集中尾礦庫的目標(biāo)數(shù)量，同時(shí)豐富樣本數(shù)據(jù)集的目標(biāo)背景多樣性。

2 研究方法

2.1 算法架構(gòu)

本文以兩階段目標(biāo)檢測算法Oriented R-CNN為基礎(chǔ)，通過改進(jìn)特征提取器和錨框設(shè)置，充分獲取尾礦庫目標(biāo)的上下文信息，模型結(jié)構(gòu)如圖4所示。首先，將遙感圖像切片調(diào)整大小后，輸入結(jié)合注意力機(jī)制（Squeeze and Extraction，SE）[25]的殘差神經(jīng)網(wǎng)絡(luò)（Residual Network，ResNet）[26]進(jìn)行特征提取，輸出多級(jí)特征。其次，將多層級(jí)特征輸入特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）中進(jìn)行特征融合，生成具有豐富上下文信息的多尺度特征圖。第三，將特征圖輸入方向區(qū)域建議生成網(wǎng)絡(luò)（Oriented Region Proposal Network，Oriented RPN），通過適應(yīng)性地設(shè)置大小和長寬比不同的錨框，生成一系列的旋轉(zhuǎn)區(qū)域候選框。第四，將特征圖和區(qū)域候選框輸入到區(qū)域特征對齊的Rotated RoIAlign層，生成大小一致的候選區(qū)域特征圖。最后，將候選區(qū)域的特征圖輸入到全連接層（Full-Connected Layer，F(xiàn)C），進(jìn)行目標(biāo)的分類和定位，獲得尾礦庫目標(biāo)的精確位置。

圖4 模型總體架構(gòu)

與原始的Oriented R-CNN相比，本文模型有以下改進(jìn)：1）采用多種數(shù)據(jù)增廣方式豐富樣本數(shù)據(jù)，并利用Copy Paste方法增加目標(biāo)背景信息，進(jìn)行迭代訓(xùn)練，能夠有效降低錯(cuò)檢率。2）將注意力機(jī)制SE嵌入ResNet的殘差結(jié)構(gòu)中作為特征提取網(wǎng)絡(luò)，校準(zhǔn)通道的特征貢獻(xiàn)度，增強(qiáng)貢獻(xiàn)度高的特征，可以提升特征表達(dá)能力。3）根據(jù)數(shù)據(jù)集設(shè)置大小和長寬比自適應(yīng)的錨框，以檢測不同尺度和大小的目標(biāo)。

2.2 結(jié)合注意力機(jī)制的殘差神經(jīng)網(wǎng)絡(luò)

注意力機(jī)制借鑒人類的選擇性認(rèn)知原理，從眾多信息中選擇出對當(dāng)前任務(wù)目標(biāo)更關(guān)鍵的信息加以增強(qiáng)，同時(shí)抑制無關(guān)信息。為了提高ResNet網(wǎng)絡(luò)的特征提取與表達(dá)能力，本文在特征提取階段采用結(jié)合SE注意力機(jī)制的ResNet網(wǎng)絡(luò)殘差結(jié)構(gòu)獲取深層特征，結(jié)構(gòu)圖如圖5所示。

圖5 SE注意力機(jī)制結(jié)構(gòu)

在原始?xì)埐罹W(wǎng)絡(luò)的基礎(chǔ)上，SE模塊增加了一條連接。首先對卷積得到的特征圖進(jìn)行全局池化的壓縮操作，得到通道級(jí)的全局特征，然后通過兩個(gè)全連接層和激活函數(shù)對全局特征進(jìn)行激勵(lì)操作，學(xué)習(xí)并更新特征通道的權(quán)重。SE注意力機(jī)制可以突出重要通道的特征，同時(shí)抑制冗余通道的特征，提高模型的檢測精度。

壓縮操作的公式如下

此外，激勵(lì)操作的公式如下

2.3 特征金字塔網(wǎng)絡(luò)

圖6 特征金字塔FPN的生成

2.4 方向區(qū)域建議生成網(wǎng)絡(luò)

圖7 樣本目標(biāo)的長邊尺寸和長寬比分布

式中 是預(yù)測候選框的中心坐標(biāo)；w和是預(yù)測候選框外接矩形的寬和高；和分別為預(yù)測候選框相對于外接矩形上邊界和右邊界的偏差。表示水平錨框的位置，表示預(yù)測輸出候選框坐標(biāo)相對于錨框的偏差值，最終，可以通過六參數(shù)確定預(yù)測候選框的位置。區(qū)域建議生成網(wǎng)絡(luò)Oriented RPN的基本結(jié)構(gòu)如圖8所示。

3 結(jié)果分析

3.1 參數(shù)設(shè)置

本文采用的深度學(xué)習(xí)框架為PyTorch，編譯器為PyCharm。所有實(shí)驗(yàn)均在Ubuntu 18.04 LTS操作系統(tǒng)的工作站上運(yùn)行。該工作站配備了NVIDIA GeForce RTX 3080Ti的GPU顯卡，并已安裝GPU開發(fā)包CUDA11.1以及深度學(xué)習(xí)加速庫CUDNN8.3。在訓(xùn)練階段，模型初始學(xué)習(xí)率設(shè)置為0.002 5，迭代訓(xùn)練36輪次。當(dāng)?shù)?xùn)練至24和33輪次時(shí)，分別將學(xué)習(xí)率調(diào)整為原來的十分之一。此外，本實(shí)驗(yàn)采用的優(yōu)化方法為Adam，批處理大小為2。

3.2 精度評(píng)估

本文采用準(zhǔn)確率（Precision）、召回率（Recall）和全類平均精確度mAP（mean Average Precision）三個(gè)指標(biāo)對模型結(jié)果進(jìn)行定量評(píng)估。準(zhǔn)確率和召回率的計(jì)算公式分別為：

其中，TP為正確識(shí)別為尾礦庫的目標(biāo)數(shù)；FP為誤識(shí)別為尾礦庫的目標(biāo)數(shù)；FN為未識(shí)別出的尾礦庫目標(biāo)數(shù)。因此，準(zhǔn)確率可以表示預(yù)測正確的樣本數(shù)與所有預(yù)測出的對應(yīng)類別目標(biāo)數(shù)之比，召回率可以表示預(yù)測正確的樣本數(shù)占實(shí)際對應(yīng)類別正樣本數(shù)的比例。召回率越高，表明模型對正樣本的識(shí)別能力越強(qiáng)。本研究中，當(dāng)預(yù)測框與真實(shí)框面積的交集與并集的比值（交并比IoU）大于0.5時(shí)，將預(yù)測框標(biāo)記為正樣本。

由于準(zhǔn)確率和召回率是一對相互制約的指標(biāo)，因此，目標(biāo)檢測中通常采用平均精確度AP來評(píng)估模型的準(zhǔn)確度。AP是準(zhǔn)確率和召回率所圍成的曲線下面的面積，mAP是所有類別AP的平均值。

式中表示待檢測的目標(biāo)類別數(shù)，由于本文的檢測目標(biāo)只有一類即=1，因此尾礦庫檢測的結(jié)果AP值即為mAP。mAP值越大，模型的檢測效果就越好。

3.3 實(shí)驗(yàn)結(jié)果

本文以多源高分辨率的遙感影像為數(shù)據(jù)源，采用數(shù)據(jù)增廣擴(kuò)充訓(xùn)練樣本集，同時(shí)融合注意力機(jī)制和自適應(yīng)錨框改進(jìn)網(wǎng)絡(luò)。通過迭代訓(xùn)練模型并在驗(yàn)證集上進(jìn)行性能評(píng)估，獲得檢測結(jié)果的召回率為90.32%，mAP為84.14%。

圖9展示了測試集上不同類型尾礦庫的檢測結(jié)果，其中紅色框?yàn)榈孛嬲鎸?shí)框，藍(lán)色框?yàn)轭A(yù)測結(jié)果框?？傮w上看，對于山谷型（圖9（a））、傍山型（圖9（b））和平地型（圖9（c））的尾礦庫，改進(jìn)后的模型都能取得優(yōu)異的檢測效果。模型的檢測誤差（圖9（d））主要存在于中：1）坑塘、湖泊等水域與尾礦庫匯水區(qū)特征較為相似，最容易產(chǎn)生誤檢；2）由于尾礦庫尺寸差異較大，對于部分大面積的尾礦庫，尤其是廢棄后有植被覆蓋的區(qū)域，會(huì)造成檢測定位的不全面；3）平地型尾礦庫形式多樣，特征較為復(fù)雜，易與施工或耕種后的裸地相混淆，產(chǎn)生誤檢或漏檢。

圖9 檢測結(jié)果示例

本文通過消融實(shí)驗(yàn)來定量分析不同網(wǎng)絡(luò)組成結(jié)構(gòu)對模型檢測性能的影響，精度評(píng)價(jià)結(jié)果如表2所示。可以看出，以ResNet-50[26]為特征提取網(wǎng)絡(luò)的Oriented R-CNN基準(zhǔn)模型檢測尾礦庫的mAP僅為78.65%，召回率為85.74%；采用ResNet-101[26]網(wǎng)絡(luò)能夠有效提升檢測器對目標(biāo)特征的學(xué)習(xí)能力，網(wǎng)絡(luò)檢測的mAP值相對提高了1.57%，召回率提高了1.44%；在模型中嵌入SE注意力機(jī)制模塊，有效抑制了無用信息，檢測性能進(jìn)一步提升，mAP值達(dá)到了82.33%，召回率上升了1.23%；在此基礎(chǔ)上，設(shè)置自適應(yīng)的錨框大小，使得模型的檢測mAP值相對基準(zhǔn)模型提升了5.49%，最終召回率超過90%。結(jié)果表明，改進(jìn)后的Oriented R-CNN模型能夠取得最優(yōu)的檢測性能，在尾礦庫的檢測中表現(xiàn)出了一定的優(yōu)越性。

表2 模型檢測結(jié)果表

Tab.2 Detection results of ablation study

表注：√表示模型包含該結(jié)構(gòu)，否則為不包含該結(jié)構(gòu)。

為進(jìn)一步驗(yàn)證模型的性能，本文將改進(jìn)后的Oriented R-CNN與現(xiàn)有的多種旋轉(zhuǎn)框目標(biāo)檢測模型進(jìn)行對比，包括雙階段的Rotated Faster R-CNN[27]、RoI Transformer[28]、Gliding_Vertex[29]、ReDet[30]以及單階段的S2ANet[31]、R3Det[32]，不同模型的檢測結(jié)果如表3所示?？梢钥闯?，改進(jìn)后的Oriented R-CNN在尾礦庫檢測數(shù)據(jù)集上的性能顯著優(yōu)于其他雙階段網(wǎng)絡(luò)，其mAP值比Gliding_Vertex和RoI Transformer分別高19.03個(gè)百分點(diǎn)和5.94個(gè)百分點(diǎn)，召回率分別高14.90個(gè)百分點(diǎn)和2.81個(gè)百分點(diǎn)。此外，與單階段的S2ANet和R3Det相比，改進(jìn)后Oriented R-CNN網(wǎng)絡(luò)的mAP值分別高了5.76百分點(diǎn)和6.16百分點(diǎn)，召回率相差較低，約為1%。綜上所述，改進(jìn)后的Oriented R-CNN網(wǎng)絡(luò)在尾礦庫檢測數(shù)據(jù)集上的性能都超過了其他網(wǎng)絡(luò)模型，能夠?qū)崿F(xiàn)最優(yōu)效果的尾礦庫檢測。

表3 不同檢測模型結(jié)果對比

Tab.3 Detection results of different models on test dataset

在獲取高性能的檢測模型之后，本文以山西省忻州市為應(yīng)用示范區(qū)進(jìn)行尾礦庫的檢測應(yīng)用，以進(jìn)一步驗(yàn)證模型的泛化能力以及在實(shí)際應(yīng)用中的效果。忻州市位于山西省中北部，介于東經(jīng)110°53′3″～113°58′，北緯38°6′5″～39°40′之間，南北長約170 km，東西寬約245 km，總面積25 157.641 km2。作為山西省面積最大的市，忻州市礦產(chǎn)資源豐富，已知礦產(chǎn)達(dá)50余種，尾礦庫數(shù)量超200座，是安全監(jiān)管和應(yīng)急管理的重點(diǎn)區(qū)域[33]。

選擇忻州市2021年2 m分辨率的高分系列和資源系列衛(wèi)星影像，在經(jīng)過正射校正、鑲嵌融合等預(yù)處理后，采用訓(xùn)練好的模型在15 min內(nèi)即完成了忻州市區(qū)域的尾礦庫檢測。最終，在目標(biāo)框置信度閾值為0.5的條件下，共檢測出尾礦庫184座，如圖10所示?？梢钥闯?，忻州市尾礦庫主要集中在東部山區(qū)和西部邊界區(qū)域，中部只有少量尾礦庫。此外，在類型上，忻州市尾礦庫以平地型居多，山谷型次之，傍山型較少。

圖10 忻州市尾礦庫檢測結(jié)果

通過人工目視遍歷的方式對檢測結(jié)果進(jìn)行定量分析，結(jié)果如表4所示。2021年忻州市共有尾礦庫204座，正確檢測的為172座，漏檢32座，召回率為84.3%；檢測結(jié)果中共有184座尾礦庫，誤檢的尾礦庫有12座，準(zhǔn)確率為93.4%。初步分析可能是由于忻州市地區(qū)平地型尾礦庫偏多，造成了檢測召回率相比驗(yàn)證集的結(jié)果略有偏低，可考慮通過降低置信概率來提高檢測結(jié)果的召回率。綜合而言，模型在忻州市的應(yīng)用效果較為優(yōu)異，表明了該模型具有較強(qiáng)的泛化性和適用性。

表4 忻州市尾礦庫檢測結(jié)果統(tǒng)計(jì)表

Tab.4 Statistics of detection results in Xinzhou city

4 結(jié)束語

尾礦庫作為具有高勢能的人造泥石流危險(xiǎn)源，是國家應(yīng)急管理的重點(diǎn)對象。針對如何快速檢測識(shí)別尾礦庫的難題，本文以多源高分辨率衛(wèi)星影像為數(shù)據(jù)源，結(jié)合多種數(shù)據(jù)增廣操作構(gòu)建了尾礦庫的樣本數(shù)據(jù)集。在此基礎(chǔ)上，通過嵌入注意力機(jī)制，并設(shè)置自適應(yīng)錨框大小改進(jìn)Oriented R-CNN網(wǎng)絡(luò)，提出了一種高分辨率遙感影像的尾礦庫智能識(shí)別方法。實(shí)驗(yàn)結(jié)果表明：1）改進(jìn)后的模型能夠顯著提高尾礦庫檢測的召回率和精度，具有良好的可靠性；2）與其他目標(biāo)檢測模型相比，本研究的方法在尾礦庫檢測數(shù)據(jù)集上具有最優(yōu)的檢測性能，能夠?qū)崿F(xiàn)高精度的尾礦庫檢測；3）改進(jìn)后的模型具有良好的泛化性能，可實(shí)現(xiàn)大范圍的尾礦庫檢測。本研究的方法可促進(jìn)大規(guī)模、高精度、自動(dòng)化、智能化的尾礦庫監(jiān)測應(yīng)用，為尾礦庫的應(yīng)急管理提供有效的支持。

雖然本研究模型能夠在一定程度上精確定位尾礦庫，但也存在一定的誤差。一方面是由于尾礦庫的組成較為復(fù)雜，尤其是平地型尾礦庫，其形狀、結(jié)構(gòu)、色調(diào)等特征根據(jù)背景的不同呈現(xiàn)出多樣性，導(dǎo)致模型在檢測過程中會(huì)將水體、裸地等地物誤識(shí)別為尾礦庫目標(biāo)；另一方面，尾礦庫尺寸差異較大，部分大型目標(biāo)的各部分會(huì)被識(shí)別為獨(dú)立的尾礦庫，造成檢測精度的下降。在后續(xù)的研究中，可深入分析樣本數(shù)據(jù)，針對不同類型的尾礦庫分別構(gòu)建關(guān)鍵性特征提取網(wǎng)絡(luò)，提升尾礦庫的總體檢測效果。同時(shí)融合不同分辨率的影像數(shù)據(jù)，解決目標(biāo)尺寸范圍大的問題，進(jìn)一步提高模型的性能，探索不同方法在全國范圍尾礦庫提取中的有效性和適用性。

[1] 王昆, 楊鵬, 呂文生, 等. 尾礦庫潰壩災(zāi)害防控現(xiàn)狀及發(fā)展[J]. 工程科學(xué)學(xué)報(bào), 2018, 40(5): 526-539.WANG Kun, YANG Peng, LYU Wensheng, et al. Status and Development for the Prevention and Management of Tailings Dam Failure Accidents[J]. Chinese Journal of Engineering, 2018, 40(5): 526-539. (in Chinese)

[2] 王儀心, 米占寬. 尾礦壩潰壩安全風(fēng)險(xiǎn)分析評(píng)價(jià)方法[J]. 金屬礦山, 2019, 1(6): 184-188.WANG Yixin, MI Zhankuan. Safety Risk Analysis and Evaluation Method for Tailings Dam Break[J]. Metal Mine, 2019, 1(6): 184-188. (in Chinese)

[3] 高小盼, 張志學(xué), 宋金蕊, 等. 天空地一體化技術(shù)在尾礦庫監(jiān)測預(yù)警中的應(yīng)用[J]. 金屬礦山, 2020, 2(2): 188-193.GAO Xiaopan, ZHANG Zhixue, SONG Jinrui, et al. Application of Space, Air and Ground Integrated Technology in Monitoring and Early Warning of Tailings Pond[J]. Metal Mine, 2020, 2(2): 188-193. (in Chinese)

[4] MEZNED N, MECHRGUI N, ABDELJAOUAD S. Mine Wastes Environmental Impact Mapping Using Landsat ETM+ and SPOT 5 Data Fusion in the North of Tunisia[J]. Journal of the Indian Society of Remote Sensing, 2016, 44(3): 451-455.

[5] MA B, CHEN Y, ZHANG S, et al. Remote Sensing Extraction Method of Tailings Ponds in Ultra-low-grade Iron Mining Area Based on Spectral Characteristics and Texture Entropy[J]. Entropy, 2018, 20(5): 345-353.

[6] HAO L, ZHANG Z, YANG X. Mine Tailing Extraction Indexes and Model Using Remote-Sensing Images in Southeast Hubei Province[J]. Environmental Earth Sciences, 2019, 78(15): 1-11.

[7] LECUN Y, BENGIO Y, HINTON G. Deep Learning[J]. Nature, 2015, 521(7553): 436-444.

[8] GIRSHICK R. Fast R-CNN[C]//2015 IEEE International Conference on Computer Vision, December 7-13, 2015, Santiago, Chile. IEEE, 2015: 1440-1448.

[9] GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[C]//IEEE Conference on Computer Vision and Pattern Recognition, June 3-28, 2014, Columbus, OH, USA. IEEE, 2014: 580-587.

[10] REN S, HE K, GIRSHICK R, et al. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(6): 1137-1149.

[11] LIU W, ANGUELOV D, ERHAN D, et al. SSD: Single Shot Multi-Box Detector[C]//Computer Vision–ECCV 2016: 14th European Conference, October 11-14, 2016, Amsterdam, The Netherlands. Springer International Publishing, 2016: 21-37.

[12] REDMON J, DIVVALA S, GIRSHICK R, et al. You Only Look Once: Unified, Real-Time Object Detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition, June 27-30, 2016, Las Vegas, NV, USA. IEEE, 2016: 779-788.

[13] REDMON J, FARHADI A. YOLO9000: Better, Faster, Stronger[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition, July 21-26, 2017, Honolulu, HI, USA. IEEE, 2017: 7263-7271.

[14] REDMON J, FARHADI A. YOLOv3: An Incremental Improvement[EB/OL]. [2022-04-05]. https://arxiv.org/abs/1804.02767.

[15] ZHAO Z, ZHENG P, XU S, et al. Object Detection with Deep Learning: A Review[J]. IEEE Transactions on Neural Networks and Learning Systems, 2019, 30(11): 3212-3232.

[16] 李慶. 基于深度學(xué)習(xí)的尾礦庫自動(dòng)識(shí)別方法及應(yīng)用研究[D]. 焦作: 河南理工大學(xué), 2020.LI Qing. Research on Automatic Identification Method and Application of Tailings Pond Based on Deep Learning[D]. Jiaozuo: Henan Polytechnic University, 2020. (in Chinese)

[17] ZHANG C, XING J, LI J, et al. Recognition of the Spatial Scopes of Tailing Ponds Based on U-Net and GF-6 Images[J]. Remote Sensing for Land & Resources, 2021, 33(4): 252-257.

[18] YAN D, LI G, LI X, et al. An Improved Faster R-CNN Method to Detect Tailings Ponds from High-Resolution Remote Sensing Images[J]. Remote Sensing, 2021, 13(11): 2052-2069.

[19] YAN D, ZHANG H, LI G, et al. Improved Method to Detect the Tailings Ponds from Multispectral Remote Sensing Images Based on Faster R-CNN and Transfer Learning[J]. Remote Sensing, 2021, 14(1): 103-123.

[20] CHEN X, LIU J, XU F, et al. A Novel Method of Aircraft Detection under Complex Background Based on Circular Intensity Filter and Rotation Invariant Feature[J]. Sensors, 2022, 22(1): 319-335.

[21] LI L, ZHOU Z, WANG B, et al. A Novel CNN-based Method for Accurate Ship Detection in HR Optical Remote Sensing Images via Rotated Bounding Box[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 59(1): 686-699.

[22] YU Y, GUAN H, LI D, et al. Orientation Guided Anchoring for Geospatial Object Detection from Remote Sensing Imagery[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 160(1): 67-82.

[23] ZHANG C, XIONG B, LI X, et al. Learning Higher Quality Rotation Invariance Features for Multioriented Object Detection in Remote Sensing Images[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2021, 14(1): 5842-5853.

[24] XIE X, CHENG G, WANG J, et al. Oriented R-CNN for Object Detection[C]//2021 IEEE/CVF International Conference on Computer Vision, October 10-17, 2021, Montreal, QC, Canada. IEEE, 2021: 3520-3529.

[25] HU J, SHEN L, SUN G. Squeeze-and-Excitation Networks[C]//2018 IEEE Conference on Computer Vision and Pattern Recognition, June 18-23, 2018, Salt Lake City, UT, USA. IEEE, 2018: 7132-7141.

[26] HE K, ZHANG X, REN S, et al. Deep Residual Learning for Image Recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition, June 27-30, 2016, Las Vegas, NV, USA. IEEE, 2016: 770-778.

[27] YANG S, PEI Z, ZHOU F, et al. Rotated Faster R-CNN for Oriented Object Detection in Aerial Images[C]//Proceedings of the 2020 3rd International Conference on Robot Systems and Applications. ICRSA, 2020: 35-39.

[28] DING J, XUE N, LONG Y, et al. Learning RoI Transformer for Oriented Object Detection in Aerial Images[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition, June 15-20, 2019, Long Beach, CA, USA. IEEE, 2019: 2849-2858.

[29] XU Y, FU M, WANG Q, et al. Gliding Vertex on the Horizontal Bounding Box for Multi-Oriented Object Detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 43(4): 1452-1459.

[30] HAN J, DING J, XUE N, et al. ReDet: A Rotation-Equivariant Detector for Aerial Object Detection[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition, June 20-25, 2021, Nashville, TN, USA. IEEE, 2021: 2786-2795.

[31] HAN J, DING J, LI J, et al. Align Deep Features for Oriented Object Detection[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 60: 1-11.

[32] YANG X, YAN J, FENG Z, et al. R3det: Refined Single-Stage Detector with Feature Refinement for Rotating Object[C]//Proceedings of the AAAI Conference on Artificial Intelligence, 2021, 35(4): 3163-3171.

[33] 賈虎瑞, 張鵬俊. 瞄準(zhǔn)全災(zāi)種適應(yīng)大應(yīng)急——山西省忻州市應(yīng)急管理工作側(cè)記[J]. 中國應(yīng)急管理, 2021, 4(1): 87-89.JIA Hurui, ZHANG Pengjun. Aiming at All Kinds of Disasters and Adapt to Emergency—Sidelights on Emergency Management in Xinzhou, Shanxi Province[J]. China Emergency Management, 2021, 4(1): 87-89. (in Chinese)

An Improved Oriented R-CNN for Tailings Ponds Detection on Remote Sensing Images

LI Min1SU Wenbo1SUI Zhengwei1LI Junjie2

（1 China Siwei Surveying and Mapping Technology Co. Ltd., Beijing 100086, China）（2 China Centre for Resources Satellite Data and Application, Beijing 100094, China）

The accidents of tailings pond may lead to casualties and environmental pollution. It is of great significance to monitor tailings pond timely and accurately for the prevention and management of dams’ accidents. Traditional remote sensing methods,relying on manual visual interpretation and ground verification, are inefficient and unsuitable for large scale extraction. Using multi-source high-resolution satellite images as data source, a high quality dataset for tailings pond detection is constructed by manual interpretation, combining a variety of data augmentation methods. On this basis,the Oriented R-CNN model is optimized by embedding a lightweight attention mechanism and feature pyramid network to residual structure, which is effectively to fuse deep multi-scale features and recalibrate the input contributions. Meanwhile, a series of original anchors are generated adaptively according to the self-made dataset. The experimental results show that the mean average precision and recall of the proposed algorithm for tailings pond detection reache 84.14% and 90.32%, respectively, which indicate a significant improvement compared with the original Oriented R-CNN. The results also prove the feasibility and generalization of the improved model. This study is important for large-scale, high-precision, and intelligent monitoring of tailings ponds, which can serve as a reference for tailings pond management.

tailings pond; object detection; attention mechanism; remote sensing application

TP79

A

1009-8518(2023)05-0116-14

10.3969/j.issn.1009-8518.2023.05.013

李敏，女，1996年生，2021年榮獲中國科學(xué)院大學(xué)地圖學(xué)與地理信息系統(tǒng)專業(yè)理學(xué)碩士學(xué)位，工程師。研究方向?yàn)檫b感圖像目標(biāo)智能檢測與識(shí)別。E-mail：limin@chinasiwei.com。

2022-12-17

國家重點(diǎn)研發(fā)計(jì)劃（2018YFB0505000）

李敏, 蘇文博, 隋正偉, 等. 改進(jìn)Oriented R-CNN的遙感尾礦庫檢測[J]. 航天返回與遙感, 2023, 44(5): 116-129.

LI Min, SU Wenbo, SUI Zhengwei, et al. An Improved Oriented R-CNN for Tailings Ponds Detection on Remote Sensing Images[J]. Spacecraft Recovery & Remote Sensing, 2023, 44(5): 116-129. (in Chinese)

（編輯：龐冰）