一種基于海冰場景圖像分類的三維重建方法

趙春暉，趙若晨，馮 收

(哈爾濱工程大學(xué) 信息與通信工程學(xué)院，哈爾濱 150001)

0 引 言

受極地自然環(huán)境的惡劣條件影響，獲取極地?cái)?shù)據(jù)具有較高的作業(yè)難度，這一特點(diǎn)使航空拍攝成為獲取信息的一個(gè)重要途徑。通過搭載的光學(xué)成像傳感器對(duì)地成像是尤為重要的一種形式，其具有成本低、使用靈活、作業(yè)周期短等特點(diǎn)，在軍事和民用領(lǐng)域成為不可替代的測繪手段。在圖像處理方面，通過序列圖像分析對(duì)目標(biāo)三維重建已成為近年來研究的方向之一[1-2]。

圖1 預(yù)處理和三維重建階段基本流程圖Fig.1 Basic flow chart for pre-processing and 3D reconstruction

通過序列圖像進(jìn)行三維重建的方法，主要分為基于光流的三維重建方法、基于機(jī)器學(xué)習(xí)方法和基于特征的運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)方法[3-7]。其中光流法對(duì)變化的光線敏感[8]，而機(jī)器學(xué)習(xí)的方法對(duì)數(shù)據(jù)要求較高。因此基于特征的運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)是目前用于場景三維重建的主流方法。

航拍海冰場景圖像由于視場范圍大，飛行速度快，使得拍攝圖像尺度變化大，相似區(qū)域少；同時(shí)由于海冰場景自身成像特點(diǎn)，使得海冰圖像具有很高的相似性。這對(duì)場景重建造成了很大的困難，難以應(yīng)用現(xiàn)有的三維重建方法。

為解決這一問題，本文提出了一種基于海冰場景分類的三維重建方法，利用神經(jīng)網(wǎng)絡(luò)自動(dòng)篩選分類后，分割待重建區(qū)域，最后實(shí)現(xiàn)海冰場景三維重建。相比于傳統(tǒng)的重建方法，該方法大幅提高了重建速度，同時(shí)降低了重建流程中累積的誤差。通過利用NSIDC格陵蘭島附近海域真實(shí)航拍數(shù)據(jù)進(jìn)行測試，驗(yàn)證了該方法的優(yōu)越性。

1 本文方法

本文提出的海冰航拍場景的三維重建方法，分為預(yù)處理與三維重建兩個(gè)階段。預(yù)處理階段基本流程見圖1(a)，后續(xù)三維重建流程見圖1(b)。在預(yù)處理階段，通過結(jié)合海冰自身物理性質(zhì)及特征分布特點(diǎn)，制定了一種分類標(biāo)準(zhǔn)，將全部海冰數(shù)據(jù)分為5類來訓(xùn)練一個(gè)VGG[9]分類模型，以實(shí)現(xiàn)可自動(dòng)篩選可重建的海冰圖像這一目的。在得到同一類序列圖像后，將待處理圖像進(jìn)行8鄰域填充算法分割，得到候選重建區(qū)域。

在三維重建階段，采用主流的基于特征的SFM[10](Structure from motion，運(yùn)動(dòng)恢復(fù)結(jié)構(gòu))方法，首先通過對(duì)預(yù)處理獲取的候選重建區(qū)域圖像依次提取SIFT[11]特征并進(jìn)行兩兩匹配，在匹配后利用RANSAC[12](Random Sample Consensus，隨機(jī)抽樣一致)以獲得匹配的內(nèi)點(diǎn)集，之后經(jīng)BA[13](Bundle Adjustment，光束平差)平差后得到這組圖像的相對(duì)位姿和相機(jī)參數(shù)，最后通過PMVS[14](Patch-based MVS，基于面片的三維多視角立體視覺算法)算法，利用多視匹配原理得到可利用的稠密點(diǎn)云數(shù)據(jù)，從而完整實(shí)現(xiàn)海冰場景的三維重建。

2 海冰場景航拍圖像的分類與篩選

通過SFM進(jìn)行三維重建的第一步，是找到合適的一組序列圖像。這一組圖像數(shù)據(jù)需在保證隸屬于同一海冰場景的同時(shí)具有一定重合區(qū)域，從而得到圖像的匹配特征對(duì)。而海冰場場景航拍圖像受限于極地環(huán)境及自身物理屬性的影響，重合區(qū)域的圖像相似度較高，給人工篩選帶來了較高的難度，本文結(jié)合特征點(diǎn)分布特性，綜合海冰物理特性，將總體海冰數(shù)據(jù)分為5大類，通過訓(xùn)練并測試幾種分類神經(jīng)網(wǎng)絡(luò)模型，最終選定VGG模型用做海冰的篩選分類。

2.1 海冰自身特性及場景分類依據(jù)

海冰分類方式依照研究問題的不同有多種分類方法，常見的有依其發(fā)展階段分類、運(yùn)動(dòng)狀態(tài)分類等。這里結(jié)合海冰的發(fā)展過程及SIFT特征分布情況，將其分為：厚冰(a)、薄冰(b)、混合冰(c)、陸生冰(d)、海水(e)5大類，這5類不同種類的海冰圖像見圖2。

2.2 海冰場景分類方法

在光學(xué)圖像場景分類任務(wù)上，基于VGG及其改進(jìn)型模型表現(xiàn)出了極高的準(zhǔn)確度。VGG網(wǎng)絡(luò)模型是由牛津大學(xué)視覺小組于2014年提出，相比于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)模型，它具有小卷積核、小池化核、特征圖寬的特點(diǎn)。在海冰航拍圖像分類任務(wù)上，由于數(shù)據(jù)量較大，小運(yùn)算核可以在保證參數(shù)量基本持平的情況下降低卷積計(jì)算量。同時(shí)較寬的特征圖也保證了特征的豐富性。VGG網(wǎng)絡(luò)結(jié)構(gòu)模型見圖3。

由圖3可見，輸入為下采樣后224×224×3的RGB海冰圖像，卷積層步長(Stride)及卷積核的填充(Padding)均設(shè)為1像素。白色部分為有修正單元的卷積層；紅色部分為池化層，采用最大池化(Max Pooling)；藍(lán)色部分為具有修正單元的全連接層(Fully Connected Layer)。最后的橙色部分為Soft Max邏輯回歸函數(shù)，以實(shí)現(xiàn)多分類的目的。其中修正單元為非線性修正激活函數(shù)ReLU，函數(shù)見圖4，函數(shù)表達(dá)式為：

(1)

圖4 ReLU激活函數(shù)Fig.4 Activation function ReLU

3 候選重建區(qū)域的分割

通過對(duì)篩選歸類后的海冰場景依次進(jìn)行特征提取，發(fā)現(xiàn)針對(duì)于本文所使用的數(shù)據(jù)集，可靠特征點(diǎn)的分布呈現(xiàn)連通域稀疏的特性，而不利于三維重建的離群特征點(diǎn)也多分布于短連通域中。幾種典型的場景特征分布情況見圖5。因此，若能在三維重建的預(yù)處理過程中，剔除短連通域，可以降低后續(xù)去除離群點(diǎn)時(shí)的計(jì)算量，從而保證在不影響重建準(zhǔn)確性的情況下，提升后續(xù)降噪過程的效果。

圖5 幾類海冰場景特征分布Fig.5 Features distribution of sea-ice scenes

圖6 8鄰域填充過程Fig.6 Eight neighborhood filling’s process

針對(duì)這一問題，本文采用了基于8鄰域填充算法的圖像分割，以去除海冰圖像數(shù)據(jù)集的短連通域。通過查找目標(biāo)像素點(diǎn)的上，下，左，右，左上，左下，右上，右下8個(gè)臨近像素點(diǎn)，是否被填充，若已被填充則填充它們，并且繼續(xù)尋找它們的8鄰域像素，直到封閉區(qū)域完全被填充為止。填充過程見圖6。

設(shè)目標(biāo)像素點(diǎn)的坐標(biāo)為p(x,y)，則遞歸填充過程可表示為：

N4(p)=∪ (x,y+1),(x,y-1),(x-1,y),(x+1,y)

(2)

N8=N4∪ (x+1,y+1),(x+1,y-1),(x-1,y+1),(x-1,y-1)

(3)

其中，式(2)為4鄰域填充，目標(biāo)像素點(diǎn)p的上下左右填充過程，式(3)為在4鄰域基礎(chǔ)上的8方向填充過程。

4 海冰場景的三維重建

海冰三維場景重建的根本任務(wù)是求解空間中點(diǎn)間的相對(duì)位姿關(guān)系。其核心步驟是通過求解二維圖像中特定點(diǎn)間的關(guān)系，建立匹配的特征點(diǎn)對(duì)。由于二維特征點(diǎn)空間關(guān)系與其對(duì)應(yīng)三維點(diǎn)相對(duì)位姿間存在非線性映射。如何提取每幅二維圖像中的特征點(diǎn)是重建過程的重要工序。在SFM流程中，進(jìn)行到特征提取這一步時(shí)，現(xiàn)階段最常用且成熟的方法是提取待處理圖像的SIFT特征。

4.1 SIFT特征提取與匹配

SIFT(Scale Invariant Feature Transform)即尺度不變特征變換，由加拿大學(xué)者David G.Lowe 2004年提出。該算法通過對(duì)所有尺度空間上的圖像進(jìn)行高斯微分以形成一個(gè)尺度連續(xù)變化的高斯差分空間。在檢測到尺度空間中極值點(diǎn)后，生成極值點(diǎn)的128維特征描述子。通過對(duì)描述子的匹配以實(shí)現(xiàn)特征點(diǎn)的匹配。匹配過程采用K-D樹最近鄰域搜索算法[15-16]，通過迭代比較與目標(biāo)匹配點(diǎn)歐式距離最近兩點(diǎn)，小于閾值的點(diǎn)即視為可接受匹配點(diǎn)。同樣，閾值設(shè)置過高會(huì)導(dǎo)致誤匹配點(diǎn)增加；過低會(huì)使匹配點(diǎn)數(shù)減少，使后續(xù)的重建過程由于匹配對(duì)數(shù)量過少而無法進(jìn)行。

經(jīng)多類不同海冰數(shù)據(jù)匹配結(jié)果驗(yàn)證，設(shè)置參數(shù)param_p3p_inlier_ratio_min 0.4即閾值為0.4時(shí)可獲得較好的特征匹配結(jié)果。

4.2 離群點(diǎn)的去除

受限于三維重建工作的長流程特性，每一子環(huán)節(jié)累積的誤差是不可避免的。由于所選取的特征提取與匹配的方法存在目標(biāo)特異性，上一步得到的粗匹配結(jié)果必然存在較多的誤匹配特征對(duì)。對(duì)于海冰場景圖像，離群點(diǎn)問題較為顯著，幾種典型的離群點(diǎn)誤匹配結(jié)果見圖7。為了獲得更穩(wěn)定可靠的內(nèi)點(diǎn)集，在此流程本文采用了RANSAC算法來自動(dòng)去除誤匹配點(diǎn)，結(jié)果表明，針對(duì)海冰場景圖像，該方法可有效去除離群點(diǎn)，提高匹配效果。詳細(xì)參數(shù)設(shè)置見表1。

圖7 海冰圖像特征點(diǎn)外點(diǎn)集Fig.7 Exterior feature points of sea ice image

4.3 海冰場景的稀疏重建

在建立稀疏點(diǎn)云過程中，最后一步是解決區(qū)域平差問題。通過前面一系列工作得到的二維點(diǎn)間的相對(duì)關(guān)系，對(duì)空間中同一點(diǎn)而言，從每個(gè)對(duì)應(yīng)的相機(jī)光心發(fā)射并經(jīng)過圖像中該點(diǎn)對(duì)應(yīng)的像素的光線，都將交匯于這一點(diǎn)。全部的三維空間點(diǎn)形成大量的光束(bundle)，由于實(shí)際應(yīng)用中存在噪聲等問題，每條光線不可能匯聚于一點(diǎn)，因此在求解過程中需不斷對(duì)信息進(jìn)行調(diào)整(adjustment)，使最終光線能交匯于同一點(diǎn)來得到更準(zhǔn)確的空間點(diǎn)位姿。為了解決這一問題，本文采用結(jié)合Levenberg-Marquardt(簡稱LM)的稀疏光束平差法(Sparse Bundle Adjustment,簡稱SBA)[17]。對(duì)于m幅序列圖像中存在n個(gè)具有多相機(jī)成像的點(diǎn)進(jìn)行光束平差的目標(biāo)函數(shù)可表示為：

表1 RANSAC算法詳細(xì)參數(shù)Table 1 Detailed parameters of RANSAC

(4)

式中，xij為n個(gè)空間點(diǎn)中第i個(gè)點(diǎn)投影到m幅圖像上存在對(duì)應(yīng)成像點(diǎn)時(shí)的第j幅圖像；aj為圖像的投影矩陣；bi為空間點(diǎn)；Q(aj,bi)為第i個(gè)空間點(diǎn)到第j幅圖像的投影函數(shù)；d(x,y)為觀測點(diǎn)和估計(jì)點(diǎn)的歐式距離。

將式(4)中的向量am，bn，xmn歸一化并整合為兩個(gè)單一向量，可得參數(shù)向量P及觀測向量X：

(5)

(6)

X=f(P)

(7)

(8)

為求解上述提到的最小二乘問題，這里采用了LM算法。設(shè)J為式(7)的雅可比矩陣，δ為最佳參數(shù)的迭代步長，由于投影矩陣互不相關(guān)，必然存在一個(gè)具有更快迭代速度的稀疏結(jié)構(gòu)式:

JT∑x-1Jδ=JT∑x-1ε

(9)

這一稀疏性特征提高了迭代運(yùn)算的速度并在這一步獲得更可靠的三維空間內(nèi)點(diǎn)的坐標(biāo)及相機(jī)參數(shù)。

4.4 海冰場景的稠密重建

經(jīng)過上述一系列重建工作后，得到的是一組稀疏的點(diǎn)云數(shù)據(jù)。這并不利于觀察重建效果，也很難滿足實(shí)際應(yīng)用的需要。為了更加直觀地恢復(fù)海冰場景的三維結(jié)構(gòu)，還需要進(jìn)行稠密重建。

圖8 PMVS基本流程圖Fig.8 Basic flow chart for PMVS

近年來基于多視圖的稠密重建(Multi-View Stereo，簡稱MVS)在三維重建任務(wù)上取得了良好的效果。本文采用了Furukawa等人提出的PMVS算法，相比于更魯棒的SIFT特征，PMVS在初始化特征匹配的過程中，使用高斯差分金字塔和Harris角點(diǎn)特征代替這一過程。在獲得更多特征點(diǎn)的同時(shí)，使用極線幾何約束生成種子點(diǎn)。結(jié)合稀疏重建過程獲取的魯棒性較高的相機(jī)參數(shù)，并以種子點(diǎn)為中心向鄰域進(jìn)行擴(kuò)散從而得到稠密的點(diǎn)云數(shù)據(jù)。

最后，利用以稀疏重建時(shí)得到的第一個(gè)相機(jī)坐標(biāo)為世界坐標(biāo)系，建立稠密點(diǎn)云和世界坐標(biāo)系間的位姿關(guān)系，其后用離散的稠密點(diǎn)云數(shù)據(jù)生成三角網(wǎng)表面模型，得到目標(biāo)海冰場景的三維模型。PMVS流程見圖8。

5 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)數(shù)據(jù)來源為NISDIC航拍海冰場景光學(xué)圖像數(shù)據(jù)，數(shù)據(jù)詳細(xì)信息見表2。

實(shí)驗(yàn)主要分為：①驗(yàn)證所制定的分類標(biāo)準(zhǔn)，及在此標(biāo)準(zhǔn)下海冰場景航拍圖像分類篩選方案的準(zhǔn)確性；②分析海冰場景SIFT特征分布情況及分割后區(qū)域的三維重建。通過對(duì)真實(shí)數(shù)據(jù)使用上述完整過程進(jìn)行仿真，驗(yàn)證三維重建效果。

5.1 海冰場景分類篩選

選用了VGG網(wǎng)絡(luò)模型及其衍生的VGG-16，VGG-19共3種模型進(jìn)行對(duì)比實(shí)驗(yàn)。筆者從總體數(shù)據(jù)集中，將每類海冰場景分為若干子場景，對(duì)一個(gè)特定的子場景，抽取一定數(shù)量的連續(xù)時(shí)間拍攝的序列圖像。這些圖像要盡量保證時(shí)間上的連續(xù)性，以減少光照條件變化對(duì)實(shí)驗(yàn)結(jié)果造成的干擾。

在此條件下，共選取每類500張，5類共計(jì)2 500張航拍海冰圖像作為訓(xùn)練集；不同于這2 500張的，另外選取每類100張，5類共500張作為測試集。

測試3種不同的網(wǎng)絡(luò)模型，更改相關(guān)參數(shù)并比較分類效果，結(jié)果見表3。

表2 數(shù)據(jù)源詳細(xì)參數(shù)Table 2 Detailed parameters of data

表3 分類篩選實(shí)驗(yàn)參數(shù)和結(jié)果Table 3 Parameters and result of classification

由表3可見，在分類篩選的過程中，選用VGG模型在合理的參數(shù)設(shè)置下，可以取得較好的圖像分類結(jié)果。同樣，為了便于后續(xù)的三維重建工作，結(jié)合海冰特征分布的特點(diǎn)，所選取的分類方案達(dá)到了整體精度90.4%的成績。驗(yàn)證了所指定海冰場景航拍圖像分類標(biāo)準(zhǔn)并以場景類別作后續(xù)工作約束的可行性。

5.2 場景重建過程特征點(diǎn)的處理

上述過程已經(jīng)得到了歸類好的序列圖像，通過依次對(duì)一子類序列圖像進(jìn)行SIFT特征提取和匹配可以發(fā)現(xiàn)匹配點(diǎn)數(shù)量決定了該場景是否可以進(jìn)行三維重建，不同場景部分粗匹配過程結(jié)果見圖9。

通過上述實(shí)驗(yàn)，可直觀的得到結(jié)論，相比于其他3類場景，混合冰和陸生冰場具有更多的匹配特征對(duì)。在多級(jí)降噪后，三維重建的結(jié)果更具可靠性。

圖9 部分場景粗匹配結(jié)果Fig.9 Sample rough matching result of scenes

傳統(tǒng)的特征提取和匹配過程，存在大量的冗余計(jì)算。由于SIFT特征要對(duì)整幅圖像進(jìn)行特征提取，而三維重建工作前期需將大量的序列圖像兩兩匹配，以獲取相機(jī)位姿等參數(shù)。

圖10 圖像分割后結(jié)果Fig.10 Result of image segmentation

這里結(jié)合海冰的成像特點(diǎn)和任務(wù)目標(biāo)需求，在特征提取前將海冰光學(xué)圖像通過8鄰域填充法進(jìn)行分割，以陸生冰場景為例分割后的結(jié)果見圖10。原始圖像使用RANSAC算法去除誤匹配后的結(jié)果和分割后去除誤匹配的結(jié)果見圖11。

匹配結(jié)果表明，在特定海冰場景三維重建任務(wù)特征匹配步驟上，使用圖像分割算法可以降低由RANSAC算法固定參數(shù)設(shè)置帶來的局限性。

5.3 海冰場景三維重建

經(jīng)過以上幾步后，最后將各子步驟整合為一個(gè)完整的流程。

選取兩組不同場景的海冰航拍圖像作為重建數(shù)據(jù)來源，以其對(duì)應(yīng)的機(jī)載激光雷達(dá)數(shù)據(jù)為真值。以在前步工序中表現(xiàn)良好的陸生冰和混合冰為例，重建后的結(jié)果見圖12和圖13。

圖12(a)為陸生冰航拍圖像，(b)為重建的稀疏點(diǎn)云，(c)和(d)分別為稠密重建后生成的三角網(wǎng)表面模型。

圖13(a)為混合冰航拍圖像，(b)為重建的稀疏點(diǎn)云，(c)和(d)為生成的表面模型。

為了驗(yàn)證所生成模型的準(zhǔn)確性，本文使用了同一架次飛行任務(wù)上同一海冰場景的激光雷達(dá)數(shù)據(jù)作為真實(shí)值。由于SFM算法得到的模型沒有絕對(duì)的尺度關(guān)系，所得模型為相對(duì)模型，而場景邊界范圍很難界定，同時(shí)真實(shí)數(shù)據(jù)為激光雷達(dá)傳感器采集的密集點(diǎn)云數(shù)據(jù)。所以，這里采用了將三維點(diǎn)云數(shù)據(jù)二維化的方法，把兩組點(diǎn)云數(shù)據(jù)轉(zhuǎn)化為散點(diǎn)圖，通過比較兩幅圖像的相似度，以結(jié)構(gòu)相似性作為評(píng)價(jià)重建精度的指標(biāo)，航拍圖像和與其對(duì)應(yīng)激光雷達(dá)信息所生成散點(diǎn)圖間關(guān)系見圖14。選取3組不同場景，進(jìn)行重建，實(shí)驗(yàn)所得結(jié)果見表4。

圖11 去除誤匹配后結(jié)果Fig.11 Removal of mismatched features

圖12 三維重建結(jié)果Fig.12 Result of 3D reconstruction

圖13 三維重建結(jié)果Fig.13 Result of 3D reconstruction

圖14 三維重建結(jié)果Fig.14 Result of 3D reconstruction

表4 三維重建結(jié)果Table 4 Result of 3D reconstruction

6 結(jié) 論

本文設(shè)計(jì)了一種基于海冰場景圖像分類的三維重建方法。相比于傳統(tǒng)方法，該方法通過先分類后分割的預(yù)處理思想，大幅提高篩選圖像序列時(shí)的準(zhǔn)確性，減少三維重建前的準(zhǔn)備工作。同時(shí)，在三維重建的流程中，通過分割重建區(qū)域的方法有效去除了離群點(diǎn)，改善了重建流程中篩選匹配特征的效果，降低了各子流程中的累積誤差，提高了重建的精度。通過真實(shí)的航拍海冰數(shù)據(jù)仿真實(shí)驗(yàn)對(duì)所提方法的精度進(jìn)行了驗(yàn)證，實(shí)驗(yàn)結(jié)果表明，自動(dòng)分類的海冰數(shù)據(jù)是可靠的，可用于后續(xù)的三維重建工作，且運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)方法不僅可用在小場景范圍，也可在特定情況下應(yīng)用于極地遙感測繪領(lǐng)域。