基 于Sea-thru 和Mask R-CNN 的深海多金屬結(jié)核圖像處理①

鄧君蘭， 董澧輝， 宋 偉，2， 趙小兵， 劉同木， 龐云天

（1.中央民族大學 信息工程學院，北京 100081； 2.自然資源部海洋環(huán)境探測技術(shù)與應(yīng)用重點實驗室，廣東 廣州 510310； 3.國家海洋局南海調(diào)查技術(shù)中心，廣東 廣州 510300； 4.北京先驅(qū)高技術(shù)開發(fā)有限責任公司，北京 100081）

隨著陸地金屬礦床資源逐漸枯竭，近年來多個海洋強國已將目光瞄向了礦物資源儲量豐富的深海［1－2］。深海中的多金屬結(jié)核、富鈷結(jié)殼、硫化物和熱液礦床等能夠用于提煉現(xiàn)代工業(yè)制造所需的稀有金屬。 若對結(jié)核礦區(qū)進行有效勘探，選擇高豐度、低成本的區(qū)域進行合理、綠色開采，一定程度上能夠緩解目前陸地金屬資源緊缺的局面。

深海礦產(chǎn)資源處于高氣壓、低溫度、極黑暗的惡劣環(huán)境中［3］。 目前許多學者對海底資源礦物評估方法進行了研究［4－5］。 海底資源評估主要采用了3種方法：取樣器取樣、多波束回波反射和海底高清攝像。 這些方法在實踐中均存在不足：取樣器取樣成本高、覆蓋面窄；多波束回波反射準確率低，對礦物個體信息挖掘不足。 使用海底高清攝像獲取的礦物圖像對礦物資源進行評估時，由于海水和懸浮體會對光的吸收和散射造成較大影響［6］，不同水質(zhì)、不同照明以及不同拍攝距離下的深海礦物成像會產(chǎn)生不同程度的色偏與模糊，從而給后續(xù)的礦物圖像分析帶來困難。 Sea-thru算法［7］通過攝像機與水中物體之間的距離和水下成像物理模型計算水對光的衰減影響，逐像素逆轉(zhuǎn)海底圖像的失真。 Mask R-CNN［8］是一種用于目標檢測的神經(jīng)網(wǎng)絡(luò)，同時能夠輸出高質(zhì)量的實例分割掩模。 本文首先使用Sea-thru 去除圖像中水的干擾，然后基于Mask-RCNN 對預(yù)處理后的圖像進行分割，最后統(tǒng)計數(shù)據(jù)集中的礦物分布情況。 結(jié)果表明，該算法可快速準確地挖掘礦物個體信息，為采礦作業(yè)提供準確的礦物分布信息。

1 深海結(jié)核評估原理和方法

1.1 基于Sea-thru 的海底圖像增強

深海中的錳結(jié)核礦物分布于水下4 000 m 以下，隨著水深增加，不同波長的光因被水吸收而衰減，其中紅光在深度約3 m 處消失，橙光在5 m 處消失，大部分黃光在10 m 處消失。 因此當拍攝距離較遠時，礦物圖像往往存在藍綠色的色偏。 光在水下傳播時，由于懸浮物引起前向散射和后向散射，圖像的清晰度和對比度會降低。 此外，當照明度低時，圖像顏色也會衰退。海底圖像的增強方法可以分為基于物理模型和非物理模型兩大類。 忽略前向散射的水下成像物理模型（IFM）［7］可以表示為：

式中Ic為攝像機捕獲的最終信號；Dc為衰減后的直接信號；Bc為后向散射造成的藍綠色遮蔽光；Jc為清晰的未衰減的直接信號；B∞c為背景光；c為RGB 中的任一通道；z為每個像素的實際位置與攝像機的距離；和為衰減系數(shù)，分別為影響最終信號中直接信號和后向散射信號的比例與拍攝距離z、反射率、環(huán)境光譜、相機光譜響應(yīng)以及水體對光的衰減率有關(guān)與環(huán)境光譜、相機光譜響應(yīng)以及水體對光的物理散射和衰減率有關(guān)。 Sea-thru 方法通過擬合IFM 中的z、參數(shù)求解出Jc，實現(xiàn)水下圖像的顏色矯正和去霧。

1.1.1 深度z的估計

深度圖是描述圖像各像素實際位置距離攝像機遠近的圖像。z的估計是關(guān)鍵，它影響后向散射以及照明圖的估計。 Sea-thru 使用運動恢復(fù)結(jié)構(gòu)（SFM）算法從多幅二維圖像序列中估計三維結(jié)構(gòu)，從而獲得深度z。 由于缺乏同一位置的多張圖，本文通過單幅圖像的紅光吸收差異來估計z。

水下圖像中較近的場景點紅光衰減小，較遠的場景點紅光衰減大。 對紅色通道圖像、最大值合并后的藍綠色通道圖像使用大小為9 × 9、滑動步長為1 的窗口做最大值池化，兩者差值為紅光衰減度d：

d歸一化并取反為估計的深度z：

1.1.2 后向散射Bc的估計

對于水下圖像中的較暗點，最終信號中后向散射信號的比例往往大于直接信號，因此估計的后向散射信號可近似為暗場景點的最終信號，用后向散射信號加上直接信號的殘差項表示：

圖1 根據(jù)暗場景點擬合3個通道的Bc 值

將散射信號Bc從最終信號Ic中移除后能夠獲得衰減后的直接信號Dc，估算出衰減系數(shù)則能推導(dǎo)出未衰減的直接信號Jc?？梢酝ㄟ^相機和場景之間的照明度Ec和深度z估計：

基于深度信息z，采用局部空間平均顏色（LSAC）方法，可以很好地估計圖像的照明度Ec。 LSAC 算法首先將深度圖中像素點與其上下左右4 點的深度差小于某一閾值的位置劃分為一類鄰域，計算出鄰域圖Ne；然后將減去均值后的鄰域圖Ne′與直接信號Dc進行加權(quán)形成新的鄰域圖：

本文加權(quán)系數(shù)p取0.5，式（6）迭代100 次后去噪獲得最終的照明圖Ec。 此外，根據(jù)先驗知識，βD c可以建模為兩項指數(shù)函數(shù)的疊加：

將求解出的z、Bc、代入IFM 模型，恢復(fù)出清晰圖像Jc，并通過白平衡算法增強Jc，完成海底礦物圖像的預(yù)處理。

1.2 基于Mask R-CNN 的海底圖像分割

深海礦物資源評估需要礦物覆蓋率、粒徑和豐度等信息，因此需要對拍攝的深海礦物圖像進行準確分割以獲得礦物邊界圖。 深度學習模型Mask R-CNN［8］可以完成結(jié)核礦物的準確分割，該模型由何凱明在2017 年提出，首次將實例分割引入Faster R-CNN［9］，在目標檢測模型上添加了Mask分支。 模型用局部特征圖對齊層替換了局部特征圖池化層，是RCNN 系列模型的里程碑。

Mask R-CNN 由兩個階段組成［8］，如圖2 所示。第一階段，將通過特征提取網(wǎng)絡(luò)和特征金字塔網(wǎng)絡(luò)得到的特征圖送入建議框網(wǎng)絡(luò)中，得到初步篩選的建議框，然后采用對齊的方式將每個建議框?qū)?yīng)的特征圖統(tǒng)一為單一尺寸。 第二階段，將建議框?qū)?yīng)的特征圖輸入全連接層，經(jīng)過回歸和分類處理得到邊界框。 在Mask分割分支中，針對每一個邊界框生成k個Mask，k是目標類別數(shù)。 本文將不同形態(tài)的多金屬結(jié)核認為是同一個類別，即k＝1。 礦物圖分割之后能獲取礦物顆粒個體信息，分割結(jié)果進一步通過橢圓形態(tài)擬合還原出結(jié)核礦物真實形態(tài)，最后計算出礦區(qū)的礦物分布信息。

圖2 Mask R-CNN 網(wǎng)絡(luò)結(jié)構(gòu)

2 驗證與應(yīng)用

2.1 實驗結(jié)果分析

使用分割準確度、UIQM［10］、UCIQE［11］、CCF［12］作為圖像增強后的質(zhì)量評價指標。 礦物分割準確度Accuracy為Mask R-CNN分割出的礦物個數(shù)與實際礦物個數(shù)的比值：

式中Na為箱式取樣獲得的礦石個數(shù)；Nb為神經(jīng)網(wǎng)絡(luò)分割的礦石個數(shù)。

UIQM、UCIQE、CCF 均為專門評價水下圖像視覺質(zhì)量的無參考評價指標，其值越大表示水下圖像的恢復(fù)質(zhì)量越好。 UIQM 通過將色度、清晰度、對比度測量指標進行線性組合來衡量圖像的視覺質(zhì)量。 其中，色度指標基于Hering 的對立色理論，使用紅綠色通道和藍黃色通道的均值和方差來度量圖像色彩的平衡。 清晰度指標首先使用Sobel 算子獲得各個通道的圖像邊緣，再使用EME 算法度量圖像清晰度。 對比度指標基于lg（AMEE）算法獲得。 UCIQE 同樣是色度、飽和度和對比度的線性組合。 UCIQE 的色度計算與UIQM 類似，通過CIELab 顏色空間內(nèi)各通道的均值和方差獲得；清晰度計算與UIQM 一致；對比度基于AME 算法獲得。 CCF 通過色度、對比度和霧密度分別量化水下光線吸收導(dǎo)致的顏色衰減、前向散射引起的模糊和后向散射引起的霧化。 CCF 的顏色指標計算與UCIQE一致；計算對比度時，圖像被劃分為小塊，通過Sobel算子獲得的邊緣像素數(shù)量大于塊中總像素數(shù)量的0.2%則判斷為邊緣塊，所有邊緣塊的RMS 對比度值之和為對比度測試結(jié)果；霧密度通過FADE 模型計算出霧的等級。

本文使用Sea-thru 算法對數(shù)據(jù)集進行預(yù)處理并使用Mask R-CNN 算法進行圖像分割。 表1 顯示了紅光衰減嚴重場景下的圖像增強情況，圖像大小為1 000×1 000 像素。 結(jié)果顯示，通過圖像預(yù)處理矯正了色偏，去水效果明顯。

表1 明顯色偏的海底礦物圖像增強結(jié)果

表2 顯示了照明條件較差的礦物圖像經(jīng)Sea-thru預(yù)處理后的結(jié)果。 結(jié)果表明，增強后的圖像質(zhì)量明顯優(yōu)于原圖，能夠清晰地觀察到礦物細節(jié)，圖像光照得到補償，顏色得到矯正，對比度得到提高。

表2 照明條件差的海底礦物圖像增強結(jié)果

不同光照和深度下拍攝的圖像經(jīng)過Sea-thru 預(yù)處理后呈現(xiàn)出較為統(tǒng)一的顏色分布，這不僅提高了礦物分割準確率，而且能夠提高模型泛化能力。

表3 顯示了表1～2 中各圖基于Mask R-CNN 的礦物分割準確度以及各項圖像質(zhì)量評價指標值，斜杠后為增強圖像的結(jié)果。 UCIQE、UIQM、CCF 指標通過水下圖像質(zhì)量網(wǎng)頁評價平臺（PUIQE）獲得。 數(shù)據(jù)表明，經(jīng)過預(yù)處理的圖像不僅視覺質(zhì)量變好，礦石分割的準確度也得到了一定的提升。

表3 原圖和增強圖像的指標對比

基于Mask R-CNN 的礦物分割采用了Detectron2工具箱，訓練集包括86 張圖片，標注工具使用了Labelme。 訓練階段超參數(shù)中的批處理大小設(shè)置為1，迭代次數(shù)為40 000，初始學習率為0.000 25，動量設(shè)置為0.9，建議框數(shù)量經(jīng)過非極大值抑制后設(shè)置為60 000個，測試階段置信度設(shè)置為0.7，其余參數(shù)與Detecron2默認值一致。 當海底礦物圖像清晰度受限時，Mask R-CNN 存在欠分割現(xiàn)象，經(jīng)過Sea-thru 增強后，一些原本不能被識別的礦物顆粒能被分割出來，圖3 中框框所標識的區(qū)域?qū)Ρ茸顬槊黠@。 圖3 的粒徑分布統(tǒng)計結(jié)果如表4 所示。 數(shù)據(jù)顯示，增強后的圖像在［0，3）、［3，6）、［6，9）范圍內(nèi)均識別出了更多礦物。

圖3 基于Mask R-CNN 算法的海底礦物圖像分割結(jié)果

表4 海底礦物圖像分割結(jié)果的粒徑分布統(tǒng)計

2.2 資源評估

選取覆蓋率和粒徑作為資源評估的參數(shù)。 覆蓋率為海底表面一定面積內(nèi)結(jié)核覆蓋面積所占百分比，粒徑為圓形或橢圓擬合所有結(jié)核后的平均直徑。

結(jié)核覆蓋率的計算公式為：

式中Si為第i個結(jié)核礦物擬合區(qū)域的像素面積；Iwidth和Iheight分別為圖像寬度和高度。

粒徑的像素長度為所有礦物分割后進行橢圓擬合的長軸平均值。 采集設(shè)備上附載的激光坐標儀能夠標定每個像素的實際距離，從而得到粒徑的實際長度。實驗通過紅綠藍3個通道的閾值范圍篩選獲得激光點坐標。

本文隨機選取70 張圖像作為測試集，礦物分布信息統(tǒng)計結(jié)果如圖4 所示。 礦物密集區(qū)域的平均粒徑5～6 cm，覆蓋率70%左右；礦物稀疏區(qū)域平均粒徑2 ～3 cm，覆蓋率20%左右。 統(tǒng)計結(jié)果與箱式取樣器獲取的實際分布情況基本一致，驗證了本文算法的正確性。通過對比測試集的礦物分割顆粒數(shù)量與礦物實際數(shù)量，密集區(qū)域平均分割準確率97.12%，較稀疏區(qū)域平均分割準確率92.46%，稀疏區(qū)域平均分割準確率80.00%。 這可能是覆蓋率低的區(qū)域泥沙掩埋較明顯，導(dǎo)致偏差增大。

圖4 礦物分布信息統(tǒng)計

3 結(jié) 語

1） 利用紅光吸收差異改進Sea-thru 算法可以有效還原海底礦物的真實深度圖，減少圖像的顏色失真。

2） Sea-thru 算法可以減少海水、懸浮體、不均勻光照帶來的影響，有助于后續(xù)分割更多的礦物顆粒。

3） 采用Mask R-CNN 算法獲得的分割結(jié)果在密集區(qū)域的平均分割準確率為97.12%，經(jīng)過橢圓擬合計算出的礦物粒徑、覆蓋率等信息與實際結(jié)核礦物資源分布一致。

4） 基于Sea-thru 與Mask R-CNN 的海底礦物圖像處理算法仍存在一些不足：亮度不均勻問題尚未徹底解決；礦物存在掩埋、遮擋的情況下，仍需找到更加有效的算法進行原始狀態(tài)的擬合，從而更進一步提升礦物資源的評估準確率。 未來可以構(gòu)建海底礦物圖像信息挖掘系統(tǒng)，通過將箱式采樣數(shù)據(jù)、圖像分割數(shù)據(jù)和多波束數(shù)據(jù)統(tǒng)一進行數(shù)據(jù)建模，以精確的采樣數(shù)據(jù)校正亞精確的分割數(shù)據(jù)，再用亞精確的分割數(shù)據(jù)校正多波束數(shù)據(jù)，點線面相結(jié)合得到三者之間的映射關(guān)系，輔助完成深海采礦工程中礦物勘探數(shù)據(jù)的收集任務(wù)。