面向智能化測繪的城市地物三維提取

楊必勝，陳 馳，董 震

武漢大學(xué)測繪遙感信息工程國家重點實驗室，湖北 武漢 430079

基礎(chǔ)測繪是為經(jīng)濟社會發(fā)展和國防建設(shè)提供基礎(chǔ)地理信息的基礎(chǔ)性、公益性、先導(dǎo)性事業(yè)，是實現(xiàn)經(jīng)濟社會可持續(xù)發(fā)展的基礎(chǔ)條件和重要保障[1]。我國基礎(chǔ)測繪經(jīng)歷了從模擬測繪到數(shù)字化測繪再到信息化測繪的重大變革，逐步實現(xiàn)了全行業(yè)數(shù)字化轉(zhuǎn)型，推動了數(shù)字化產(chǎn)品生產(chǎn)與服務(wù)體系的全面建立。但是，近年來數(shù)字化測繪技術(shù)帶來的“紅利”已基本用完[2]，且面臨數(shù)據(jù)完整覆蓋難、信息自動化提取難、智能化服務(wù)難等困境，已無法有效滿足新型基礎(chǔ)設(shè)施建設(shè)、實景三維中國、自然資源管理與監(jiān)測等國家重大需求[3]。因此，從數(shù)字化測繪走向智能化測繪，綜合利用空-天-地多平臺、多類型對地觀測手段和人工智能先進技術(shù)，建立以數(shù)據(jù)為基礎(chǔ)、算法為核心、知識為引導(dǎo)、應(yīng)用為驅(qū)動的智能化測繪新范式[2]，為智能交通、智慧城市、全球變化等提供精準(zhǔn)決策，已成為國內(nèi)外測繪學(xué)者的普遍共識和熱門話題[4-6]。

2020年中國測繪學(xué)會學(xué)術(shù)年會上，陳軍、劉經(jīng)南、郭仁忠、周成虎等多位院士圍繞測繪技術(shù)如何與新技術(shù)、新產(chǎn)品、新業(yè)態(tài)相融，測繪行業(yè)如何轉(zhuǎn)型升級，實現(xiàn)高質(zhì)量發(fā)展，進行了深入研討，提出了建立智能化測繪觀念更新、理論創(chuàng)新、技術(shù)研發(fā)、體系構(gòu)建與示范應(yīng)用的戰(zhàn)略構(gòu)想。2021年《測繪學(xué)報》組織出版了?？瑢χ悄芑瘻y繪進行了頂層設(shè)計、深入剖析和深刻探討[2,4-14]。國際測量師聯(lián)合會(International Federation of Surveyors,FIG)針對城市增長、智能能源、安全交通等對測繪科技的新需求進行了深入分析，并對測繪科技服務(wù)多源對地觀測數(shù)據(jù)處理平臺、時空地理信息分析與統(tǒng)計、全球變化模擬分析等方面進行了展望[15]。

多平臺移動測量系統(tǒng)可以全天候、高速度、高密度地獲取道路城市環(huán)境的三維點云與圖像紋理信息，為面向智能化測繪的城市地物三維提取提供了一種全新技術(shù)手段，顯著提升了三維空間數(shù)據(jù)獲取效率。然而，在點云質(zhì)量、三維信息提取等方面仍然面臨如下問題：①受全球定位系統(tǒng)定位誤差、慣性導(dǎo)航單元定姿誤差、掃描儀測角和測距誤差、多傳感器同步與標(biāo)定誤差等影響，往返、不同時相的重訪車載點云之間存在分米甚至米級的非剛性形變；②點云、影像等多模態(tài)數(shù)據(jù)融合存在同名特征檢測與精準(zhǔn)刻畫難、跨模態(tài)誤匹配率高等缺陷；③城市地物目標(biāo)提取的自動化程度、語義完整性、結(jié)構(gòu)化表達等尚不能滿足城市場景理解的需求。

針對以上技術(shù)瓶頸，本文首先提出顧及多重約束的移動測量點云位置精度改善方法，將原始點云位置精度從米級提升至厘米級；其次，把位置改正后的點云作為空間基準(zhǔn)，利用點云與全景圖像中同名路標(biāo)、桿狀物的自動化匹配，進行全景影像與位置改正點云的高精度融合；然后，利用融合后的點云和影像作為數(shù)據(jù)源，充分發(fā)揮點云高精度幾何特征和圖像豐富紋理特征的優(yōu)勢，實現(xiàn)城市典型地物要素的高精度三維提??；最后，在上述3項關(guān)鍵技術(shù)的基礎(chǔ)上，研制融合點云與影像的三維信息智能化提取軟件Point2Model，有效支撐全國新型基礎(chǔ)測繪項目開展。整體方法流程如圖1所示。

圖1 整體方法流程

1 車載移動測量點云位置精度改善

城市場景中建筑物、立交橋、玻璃幕墻、路側(cè)植被等造成GNSS信號遮擋、多路徑效應(yīng)嚴(yán)重，導(dǎo)致直接地理定向的激光點云在重訪區(qū)域出現(xiàn)重影、斷層甚至畸變等現(xiàn)象，嚴(yán)重制約了移動測量點云要素提取和模型重建的位置精度[16]。因此，本文提出一種顧及多重約束的車載移動測量點云位置精度改善方法，包括顧及點云誤差分布特性的自適應(yīng)分段、由粗到細的多層級兩兩配準(zhǔn)以及多重約束的全局圖優(yōu)化3個核心模塊，整體流程如圖2所示。

圖2 點云位置精度改善整體流程

1.1 顧及點云誤差分布特性的自適應(yīng)分段

首先，通過對移動測量車的運動狀態(tài)進行分析，選擇其發(fā)生劇烈速度變化和較大方向變化的軌跡點構(gòu)建候選分段點集合；然后，為了最大化點云分段中的同名區(qū)域，搜索候選分段點鄰域內(nèi)的軌跡點作為重訪分段點，并加入分段點集合中，同時，為避免點云過分割現(xiàn)象，刪除軌跡交叉附近的分段點，按照一定長度對軌跡進行分塊，保證每個分段內(nèi)只有一個分段點，得到最終的分段點集合；最后，按照分段點集合將點云劃分為長度不同的分段。

1.2 由粗到細的層級化點云兩兩配準(zhǔn)

考慮到城市場景中存在大量對稱結(jié)構(gòu)、重復(fù)場景，點云分段較短時，直接兩兩匹配容易出現(xiàn)誤匹配，因此提出由粗到細的層級兩兩配準(zhǔn)方法。首先，通過分段包圍盒之間的重疊度值獲取重訪分段，并提取每個重訪細分段內(nèi)的二進制形狀上下文描述子[17]；其次，通過雙向最優(yōu)和幾何驗證進行同名特征匹配，利用同名特征實現(xiàn)粗分段的兩兩匹配，并將相對位姿傳遞到所包含的細分段中；然后，基于所屬粗分段匹配的同名特征點殘差限定細分段匹配時特征搜索的半徑，通過由粗到細的位姿傳遞以及搜索半徑不斷縮小，排除不相似特征，提升匹配效率；最后，根據(jù)特征點匹配數(shù)量、自身旋轉(zhuǎn)量、相鄰分段間的相對變換關(guān)系過濾掉不可靠匹配結(jié)果。

1.3 多重約束的全局圖優(yōu)化

層級化兩兩配準(zhǔn)結(jié)果中無法保證絕對的準(zhǔn)確，而且場景中依舊存在點云重訪但是被過濾掉的分段。為保證整個點云數(shù)據(jù)質(zhì)量的連續(xù)性，本文提出一種估計多重約束的點云分段全局圖優(yōu)化方法。對匹配成功的重訪細分段，利用匹配同名特征點對構(gòu)建重訪約束Er；對相鄰細分段點云，利用虛擬采樣點構(gòu)建平滑約束Es，如果外業(yè)采集了同區(qū)域的GNSS控制點，可構(gòu)建相應(yīng)同名點和分段點云之間的參考約束Eref，如式(1)所示

Eglb=ωrEr+ωsEs+ωrefEref

(1)

式中，ωr、ωs、ωref為相應(yīng)權(quán)重。

通過將分段點云的局部位姿抽象為優(yōu)化圖中的節(jié)點，不同類型分段之間的關(guān)系抽象為邊，構(gòu)建完整的圖模型，采用全局優(yōu)化的方式，對所有分段點云進行平差，實現(xiàn)誤差重新合理分配到所有分段點云中，并最終實現(xiàn)車載激光點云數(shù)據(jù)的數(shù)據(jù)質(zhì)量改善。

為驗證方法的有效性，本文利用上海市張江高科技園區(qū)和武漢市江漢區(qū)移動測量點云進行了試驗，結(jié)果如圖3所示。圖3(a-1)、(b-1)為點云分塊結(jié)果，不同顏色表示不同分塊；圖3(a-2)、(a-4)、(b-2)、(b-4)為數(shù)據(jù)改善前重訪區(qū)域位置偏差；圖3(a-3)、(a-5)、(b-3)、(b-5)為數(shù)據(jù)改善后的結(jié)果，改善后點云位置精度從米級提升至厘米級。

圖3 城市場景車載激光點云數(shù)據(jù)質(zhì)量改善結(jié)果

2 移動測量點云與全景圖像高精度融合

由于移動測量系統(tǒng)的定位、定姿誤差，以及激光掃描儀和相機外方位參數(shù)的標(biāo)定誤差，導(dǎo)致采集的點云與全景圖像之間存在較大偏差[18]。自動化、高精度的點云和影像融合，是實現(xiàn)兩者優(yōu)勢互補的基礎(chǔ)和前提，同時也是提升要素提取和模型重建精度的有效途徑。因此，本文提出一種基于路標(biāo)桿狀物的點云與全景圖像高精度方法，通過在兩種模態(tài)數(shù)據(jù)中分別精準(zhǔn)提取對應(yīng)的桿狀物目標(biāo)，并進行位置匹配獲取2D-3D對應(yīng)點，從而解算出正確的轉(zhuǎn)換參數(shù)，詳細的技術(shù)路線如圖4所示。

圖4 點云與全景圖像自動配準(zhǔn)技術(shù)路線

2.1 全景圖像桿狀物提取

首先，利用語義分割網(wǎng)[19]進行全景圖像的語義分割，根據(jù)分割結(jié)果提取出桿狀物；然后，對區(qū)域生長算法進行改進，將搜索范圍鎖定在垂直方向且在原算法基礎(chǔ)上擴大搜索范圍，優(yōu)化桿狀物提取結(jié)果，解決由遮擋問題導(dǎo)致的桿狀物目標(biāo)上下分離問題；最后，將優(yōu)化后的全景分割圖像二值化，并采用連通域分析方法對二值圖像進行實例化，得到全景圖像中所有桿狀物目標(biāo)的單體化結(jié)果。

2.2 點云桿狀物提取

為精準(zhǔn)獲取點云桿狀物，采用全景圖像分割結(jié)果作為輔助，根據(jù)初始的轉(zhuǎn)換參數(shù)，利用式(2)將點云轉(zhuǎn)換到球面坐標(biāo)系

(2)

然后采用式(3)和式(4)將球面坐標(biāo)轉(zhuǎn)為全景圖像的像素坐標(biāo)

(3)

(4)

式中，(xw,yw,zw)和(x,y,z)分別表示點云在世界坐標(biāo)系和相機坐標(biāo)系下的坐標(biāo)；Rinitial和Tinitial表示初始的位姿參數(shù)；W和H分別表示全景圖像的寬和高；θ和φ表示球面坐標(biāo)系上的點分別與x軸和z軸的夾角；r和c分別表示點云投影在全景圖像中的行和列。

根據(jù)全景圖像中實例化的桿狀物目標(biāo)可以同步獲取點云中對應(yīng)范圍內(nèi)的點(即點云中的桿狀物)，由于初始的外方位參數(shù)及車輛行駛過程中的環(huán)境影響，兩者之間的對應(yīng)關(guān)系存在偏差。為保證點云桿狀物的完整性，針對全景圖像中實例化的桿狀物目標(biāo)構(gòu)建緩沖區(qū)，篩選出位于緩沖區(qū)內(nèi)的點云，即視錐體點云。

由于遮擋及投影偏差的影響，每個視錐體點云既包括前景點(桿狀物點云)也包括背景點(非桿狀物點云)。本文采用聚類、分割和隨機森林分類等方法在視錐體點云中提取桿狀物[20]，對于全景圖像中的每個桿狀物目標(biāo)分別提取對應(yīng)的視錐體點云中的桿狀物，最后將點云場景中所有的桿狀物目標(biāo)進行融合，實現(xiàn)點云桿狀物目標(biāo)提取。

2.3 同名目標(biāo)精準(zhǔn)匹配

將點云桿狀物通過初始參數(shù)投影到全景圖像上，并轉(zhuǎn)換為對應(yīng)的二值圖Ipc，尺寸大小與全景圖像一致，對應(yīng)的全景圖像桿狀物二值圖為Ipano，以Ipano為模版，構(gòu)建損失函數(shù)

L=‖Ipc+r-Ipano‖0

(5)

式中，‖·‖0表示L0范數(shù)，即統(tǒng)計二值圖像之間不同像素的個數(shù)；r表示點云桿狀物投影圖像的偏移量，平移后當(dāng)兩者重疊度最高時L達到最優(yōu)。

完成匹配后即可獲得大量的點云與全景圖像對應(yīng)點，將全景圖像通過虛擬成像技術(shù)投影成框幅式圖像，間接獲得點云與框幅式圖像的2D-3D對應(yīng)點。最后，采用EPnP[21]模型解算點云與框幅式圖像之間的轉(zhuǎn)換參數(shù)，結(jié)合初始的轉(zhuǎn)換參數(shù)，最終得到點云與全景圖像之間更精確的轉(zhuǎn)換參數(shù)。

為驗證方法的有效性，本文利用上海市張江區(qū)和武漢市江漢區(qū)的移動測量點云和影像進行了試驗，結(jié)果如圖5所示。統(tǒng)計結(jié)果表明，數(shù)據(jù)融合之前點云與影像的最小偏差為15個像素，最大偏差為35個像素；自動融合后所有偏差均在5個像素以內(nèi)，最低偏差為1個像素，滿足點云和圖像聯(lián)合測圖的需求。

圖5 本文方法車載點云與全景圖像配準(zhǔn)結(jié)果

3 融合點云與影像的城市典型地物要素提取

準(zhǔn)確高效地勘測城市典型地物要素，掌握其部件級的類別、位置、尺寸、形狀等信息，對城市管理和規(guī)劃具有重要意義。本文針對城市典型地物要素部件級分割效果不佳、影像和點云聯(lián)合處理技術(shù)不成熟、語義和幾何信息兼顧困難等技術(shù)瓶頸，提出一種融合影像和點云的城市典型地物要素提取方法。主要包括：基于街景全景影像目標(biāo)檢測的地物要素視錐裁切、綜合多任務(wù)深度神經(jīng)網(wǎng)絡(luò)的單視錐點云實例分割、基于多視角視錐關(guān)聯(lián)融合的實例精化3個關(guān)鍵步驟。詳細的技術(shù)路線如圖6所示。

圖6 城市典型地物要素提取技術(shù)流程

3.1 基于街景全景影像目標(biāo)檢測的地物要素視錐裁切

首先利用影像目標(biāo)檢測深度學(xué)習(xí)模型從全景影像檢測城市典型地物要素，得到地物的二維包圍框和對應(yīng)的語義標(biāo)簽；然后根據(jù)前文介紹的坐標(biāo)映射關(guān)系，將二維包圍框投影至點云空間裁切視錐點云，作為三維空間中實例分割的基礎(chǔ)[22]。該部分以圖像的目標(biāo)檢測結(jié)果為指導(dǎo)，不僅提供了細粒度的語義標(biāo)簽，還能大幅縮小點云中的目標(biāo)搜索空間。具體而言，本文采用基于Objects365[23]和Tsinghua-Tencent 100K[24]訓(xùn)練的Cascade-RCNN目標(biāo)檢測模型[25]，在圖像中檢測信號燈、路燈、垃圾桶、交通標(biāo)志牌、消防栓、錐桶、花壇、街邊座椅等多類別城市典型地物要素，并對交通標(biāo)志牌語義信息作了精細分類?；诮⒌狞c云到像素坐標(biāo)的映射關(guān)系，以及城市地物要素檢測結(jié)果，每一個目標(biāo)檢測框都被投影至點云空間的一個三維視錐，保留三維視錐內(nèi)的點云，認為其中包含一個地物要素目標(biāo)實例，然后將點云坐標(biāo)轉(zhuǎn)至視錐坐標(biāo)系，作為視錐點云輸入后續(xù)的視錐點云處理神經(jīng)網(wǎng)絡(luò)。

3.2 綜合多任務(wù)深度神經(jīng)網(wǎng)絡(luò)的單視錐點云實例分割

地物要素目標(biāo)視錐裁切有效縮小了點云空間中的實例搜索范圍，為部件級的目標(biāo)實例分割提供了良好的基礎(chǔ)。但是如果直接根據(jù)逐點特征預(yù)測實例分割掩碼，由于缺乏全局信息和實例相關(guān)上下文信息，非常容易受到噪聲的影響而輸出錯誤的實例點云，對于復(fù)雜場景的穩(wěn)健性較差[26]。因此，本文設(shè)計了一個多任務(wù)深度學(xué)習(xí)網(wǎng)絡(luò)，包括實例包圍盒、實例掩碼、語義分割等多分支，實現(xiàn)多任務(wù)互相促進。該網(wǎng)絡(luò)將聚合后的全局信息和三維包圍盒信息作為實例掩碼預(yù)測的輸入，增強了對全局信息和實例上下文感知能力，能有效提升實例掩碼預(yù)測的準(zhǔn)確性。

(6)

3.3 基于多視角視錐關(guān)聯(lián)融合的實例精化

通過視錐點云處理神經(jīng)網(wǎng)絡(luò)，每個視錐都輸出了實例三維包圍盒和實例掩碼，但是相同地物往往會在相鄰的全景影像中被同時檢測到，因此直接累積多視角的視錐預(yù)測結(jié)果不僅會造成大量重復(fù)，還會造成誤差的累積。針對此問題，本文研究了以目標(biāo)為中心、融合多視角信息的目標(biāo)實例分割方法，主要包括基于多目標(biāo)追蹤的多視角視錐關(guān)聯(lián)方法和融合關(guān)聯(lián)視錐的點云實例分割網(wǎng)絡(luò)，最終輸出地物目標(biāo)實例分割結(jié)果。首先，利用基于匈牙利算法的多目標(biāo)追蹤方法，根據(jù)視錐點云處理網(wǎng)絡(luò)輸出的實例三維包圍盒進行同目標(biāo)多視角視錐關(guān)聯(lián)[28]；然后，利用多尺度聚合PointNet++網(wǎng)絡(luò)融合多視角視錐預(yù)測的實例掩碼信息，從而對每個目標(biāo)分別進行實例分割，輸出所有城市典型地物要素的實例點云、位置坐標(biāo)和語義類別。

為驗證方法的有效性，在武漢市洪山區(qū)和上海市張江區(qū)的移動測量數(shù)據(jù)集上對方法效果和性能作了測試，部分類別提取效果如圖7所示。定量評估結(jié)果顯示，在上海數(shù)據(jù)集的實例級平均召回率和精確率分別為86.4%、80.9%，在武漢數(shù)據(jù)集的分別為83.2%、87.8%，基本滿足智能化測繪對城市典型地物要素提取要求。

圖7 城市典型地物要素部件級提取結(jié)果

4 點云影像智能處理軟件研發(fā)與實踐

在上述關(guān)鍵技術(shù)研發(fā)基礎(chǔ)上，團隊研制了融合點云與影像的三維信息智能化提取軟件Point2Model(圖8)，已應(yīng)用于上海、武漢、南京、青島、沈陽、廣州、北京等全國新型基礎(chǔ)測繪項目。上述工程實踐標(biāo)明，道路三維邊界提取及矢量化的精度和完整性優(yōu)于90.0%，道路交通標(biāo)志線提取目標(biāo)檢測精度優(yōu)于95.0%，單木提取和4類樹木參數(shù)(樹高、胸徑、冠幅、落地點位置)自動測量的精度及召回率優(yōu)于88.0%，城市基礎(chǔ)設(shè)施提取整體精度優(yōu)于85.0%，支持127類交通標(biāo)志的點云與全景影像交通標(biāo)志牌檢測與識別，提取精度達97.9%，同時提供方便快捷的半自動矢量采集、編輯、質(zhì)檢功能，提高生產(chǎn)效率30%以上。

圖8 融合點云與影像的三維信息智能化提取軟件Point2Model

5 總 結(jié)

智能化測繪所產(chǎn)生的新型空間數(shù)據(jù)產(chǎn)品，既是國家基礎(chǔ)性、戰(zhàn)略性的數(shù)據(jù)資源，又能在數(shù)字時代下發(fā)揮大數(shù)據(jù)的乘數(shù)效用，賦能政府管理與社會經(jīng)濟高質(zhì)量發(fā)展。但智能化測繪在采集手段、數(shù)據(jù)內(nèi)容、信息提取方法等方面還需要深入完善。具體而言，在數(shù)據(jù)采集設(shè)備方面需進一步向無人化、眾包化的方向發(fā)展，滿足數(shù)據(jù)采集時效性的要求；在數(shù)據(jù)種類方面需接入物聯(lián)網(wǎng)等流式數(shù)據(jù)，豐富數(shù)據(jù)的維數(shù)，全面反映物理世界的瞬時變化；關(guān)注范圍也需從地表空間擴展到地表、地下、水上、水下的全空間測繪；在三維信息提取方法方面需要進一步加強大數(shù)據(jù)和人工智能技術(shù)的應(yīng)用，提升處理處理的自動化水平和質(zhì)量。相信在可預(yù)見的未來，在大數(shù)據(jù)、人工智能、5G通信、數(shù)字孿生、邊緣計算等新興技術(shù)的支撐下，三維信息提取的質(zhì)量和時效性將為地球科學(xué)應(yīng)用研究、實景三維中國等提供更加科學(xué)的決策支撐。