移動端地下管線增強現(xiàn)實系統(tǒng)設計

李 睿，陳 強，張新宇，閆豐亭，郭夢茹

移動端地下管線增強現(xiàn)實系統(tǒng)設計

李 睿，陳 強，張新宇，閆豐亭，郭夢茹

（上海工程技術大學 電子電氣工程學院，上海 201620）

針對傳統(tǒng)地下管線信息系統(tǒng)存在的查看管線空間感不足、管線施工決策不靈活、對本地軟件程序依賴性高的問題，設計了一個基于移動端的地下管線增強現(xiàn)實系統(tǒng)。為實現(xiàn)移動端增強現(xiàn)實管線建模功能，利用圓參數(shù)方程結合標架技術的方法對管線自動化三維建模，并通過高精度定位來加載附近管線數(shù)據(jù)；然后，設計了一種視覺與多傳感器融合的方法，實現(xiàn)混合跟蹤注冊；最終，基于阿爾·吉斯（AR.js）技術編寫代碼實現(xiàn)了系統(tǒng)的整體功能。實驗表明，系統(tǒng)三維模型渲染流暢，位姿估計誤差小，在查看地下管線作業(yè)中具有直觀準確、便捷靈活、運行環(huán)境適應性強的特點，在智慧城市推進工作中，為管線信息的智能化管理，提供了穩(wěn)定可靠實時交互可視化的系統(tǒng)方案。

增強現(xiàn)實；地下管線；實時定位；三維建模；跟蹤注冊

0 引言

隨著我國新時代城鎮(zhèn)化的迅速發(fā)展，地下管線也在迅速擴張鋪設與改建。地下管線包含有供水管線、排水排污管線、燃氣石油運輸管線、電力通信管線等[1]，具有分布錯綜復雜、種類多樣、鋪設更新速度快的特點。當前城市已經(jīng)步入數(shù)字化智能時代，傳統(tǒng)地下管線系統(tǒng)的二維數(shù)據(jù)表達已經(jīng)不能滿足當前的用戶需求[2]，由于畫面空間感不足，用戶在分析地下管線分布情況時可能出現(xiàn)誤判，導致管道鋪設沖突和開挖施工事故，對管線三維可視化管理已是必然需求。

目前，國內(nèi)有很多學者基于計算機利用虛擬地理環(huán)境（virtual geographic environments, VGE）與地理信息系統(tǒng)（geographic information system, GIS）來解決上述問題[3]。文獻[4]基于GIS平臺建立的管線數(shù)據(jù)應用管理系統(tǒng)，將地面建筑物和地下管線三維可視化，實現(xiàn)了對園區(qū)內(nèi)建筑物及地下管線二、三維一體化管理；文獻[5]以阿爾克·吉斯（ArcGIS）、結構化查詢語言服務器（structured query language server, SQL Server）、內(nèi)特（.NET）框架（Framework）為應用支撐平臺，將三維仿真技術和傳統(tǒng)的管線信息系統(tǒng)有機結合，構建了三維化、立體化和精細化的三維管線信息系統(tǒng)。以上方法雖然彌補了傳統(tǒng)查看地下管線方式的不足，但是仍存在著系統(tǒng)對硬件要求高、海量地面建筑模型存儲和渲染難度大、無法及時同步真實場景變化的問題。國外很多研究學者將增強現(xiàn)實技術（augmented reality，AR）與GIS結合應用于地下管線管理工作[6]。文獻[7]基于Unity3D平臺和Google Tango Phab2研究開發(fā)了一種地下管線增強現(xiàn)實顯示系統(tǒng)；文獻[8]利用增強現(xiàn)實技術并基于硬件設備Tango，實現(xiàn)了地下管網(wǎng)設施生命周期管理過程中的主要功能。在移動端通過AR技術實現(xiàn)地下管網(wǎng)三維可視化，雖然減少了大量地面建筑模型存儲與渲染的工作量，但是系統(tǒng)依賴本地插件程序和特定硬件設備的問題依然沒有解決，使應用不易跨平臺。

本文基于移動端，通過實時定位技術、三維建模技術和混合跟蹤注冊技術，研究設計了一套在網(wǎng)頁上實現(xiàn)的地下管線增強現(xiàn)實系統(tǒng)，通過移動端瀏覽器實現(xiàn)了以AR的方式實時定位查看地下管線分布情況，同時可以實時交互，不僅有效解決了VGE決策不靈活、海量數(shù)據(jù)存儲和顯示的問題，還可以輕松跨平臺使用，方便快捷。

1 系統(tǒng)框架設計

本文采用智能手機作為系統(tǒng)應用平臺，近些年智能手機的性能迅速提升，不僅具有高清攝像頭，還具有靈敏的慣性測量單元[9]，并在移動網(wǎng)絡支持下，已滿足增強現(xiàn)實需求。本文系統(tǒng)整體架構如圖1所示。

圖1 系統(tǒng)架構設計

移動端部分有五大模塊組成：1）定位模塊，該模塊包含全球衛(wèi)星導航系統(tǒng)（global navigation satellite system，GNSS）接收機和手機的全球定位系統(tǒng)（global positioning system, GPS）接收機，用于實時獲取高精度定位坐標和位移；2）數(shù)據(jù)傳輸模塊，該模塊為手機中的藍牙，用來與GNSS接收機進行數(shù)據(jù)交互；3）位姿測量模塊，該模塊由重力加速度計、電子羅盤和攝像機組成；4）數(shù)據(jù)處理模塊，該模塊由基于進階精簡指令集機器（advanced RISC machine, ARM）架構的微處理器組成，用于移動端本地數(shù)據(jù)處理和協(xié)調(diào)控制工作；5）顯示模塊，該模塊為顯示屏。

該系統(tǒng)使用超文本5.0（hyper text markup language 5, HTML5)、層疊樣式表3級（cascading style sheets level 3, CSS3）和賈瓦·斯克里普特（JavaScript）等技術實現(xiàn)系統(tǒng)網(wǎng)站搭建，通過網(wǎng)頁實時通信（web real-time communication, WebRTC）技術，實時獲取真實場景，采用蒙戈（Mongo）數(shù)據(jù)庫（database, DB）作為數(shù)據(jù)庫，利用思里·吉斯（Three.js）技術[10]渲染三維模型，基于阿爾·吉斯（AR.js）和奧彭·克夫·吉斯（OpenCV.js）實現(xiàn)AR功能，并將系統(tǒng)部署在阿里彈性云服務器（elastic compute service，ECS）上。

2 系統(tǒng)關鍵技術

2.1 高精度定位與數(shù)據(jù)篩選

該系統(tǒng)由于根據(jù)實時定位獲取數(shù)據(jù)庫中的地下管線信息進行建模并渲染，對定位的要求非常高，所以，采用實時動態(tài)載波相位差分（real-time kinematic，RTK）定位技術，獲取高精度的定位坐標[11]以滿足系統(tǒng)需求，精度可達到厘米級[12]。本文利用一臺GNSS接收機在連續(xù)運行參考站（continuously operating reference stations，CORS）模式下作為移動站進行測量定位，并將安卓（Android）手機代替為RTK手薄獲取高精度定位坐標，根據(jù)用戶需要導出對應格式坐標文件。

系統(tǒng)將高精度定位坐標為圓心，30 m為半徑作為篩選條件，從數(shù)據(jù)庫中選取符合范圍的管線數(shù)據(jù)進行建模，數(shù)據(jù)庫存儲的管線數(shù)據(jù)分為屬性數(shù)據(jù)和空間數(shù)據(jù)[13]，其中空間數(shù)據(jù)用于系統(tǒng)三維建模，結構如表1所示。

表1 管線段的空間數(shù)據(jù)結構

（續(xù)）

2.2 自動化三維建模技術

利用圓參數(shù)方程結合標架技術的方法對圓形管線建模，主要思路為利用管線中心線建立標架[14]，通過參數(shù)方程和設置的管線半徑以及精細度計算得出模型表面頂點坐標，按照一定順序連接頂點形成多個小三角形來擬合管線模型表面[15]，如圖2所示。

圖2 管線表面擬合示意圖

在管線建模過程中，拐角部分采用倒圓角處理[17]，利用微分的思想將圓弧分成多個小直線段組成，再利用直線段建模方法建立三維模型。

2.3 多類信息融合三維跟蹤注冊技術

基于計算機視覺跟蹤注冊方法具有良好的準確性，但是有時無法識別到足夠的特征點從而導致跟蹤注冊失敗，無法保證實時性[18]。利用硬件傳感器進行跟蹤注冊具有較好的實時性，但是在準確性方面存在不足[19]。本文設計的多類信息融合三維跟蹤注冊方法，融合了基于視覺位姿估計信息與基于硬件傳感器的位姿估計信息實現(xiàn)最終的跟蹤注冊，保證了系統(tǒng)跟蹤注冊的準確性和健壯性。

2.3.1 視覺位姿估計

本系統(tǒng)利用WebRTC技術，通過攝像頭實時獲取視頻流[20]，以固定時間間隔將幀圖像上傳至服務器進行處理并解算出位姿估計信息。

1）特征提取與描述。本文使用定向的FAST和旋轉的 BRIEF（oriented FAST and rotated BRIEF, ORB）算法對幀圖像進行特征提取與描述，其中FAST（features from accelerated segment test）是基于加速分割測試的特征，BRIEF（binary robust independent elementary features）為二進制魯棒獨立基本特征。ORB特征由有向加速段測試的特征（oriented features from accelerated segment test, oFAST）關鍵點和旋轉二進制魯棒獨立基本特征（rotated binary robust independent elementary features, rBRIEF）描述子構成[21]。

ORB算法對圖像建立圖像金字塔保證特征點的尺度一致性[22]，然后在圖像中選取像素點比較灰度值大小來確定FAST關鍵點，因為其不具有方向信息，所以采用灰度質(zhì)心法保證了旋轉不變性[23]，計算步驟如下。

FAST關鍵點增加了旋轉和尺度的描述后為oFAST關鍵點。提取特征點時使用非極大值抑制法，避免檢測出的特征點集中分布。

rBRIEF描述子是由256個0、1組成的二元特征向量，描述了關鍵點周圍像素點對之間的關系[24]。ORB算法首先將oFAST關鍵點的方向信息賦予描述特征點的像素點對，計算得到steerBRIEF描述子，保證了旋轉不變性，再利用一種貪婪算法得到可區(qū)分性較強的rBRIEF描述子。

2）特征匹配。基于描述子用0和1表示，采用漢明距離法統(tǒng)計特征點描述子之間對應不同元素數(shù)量，將其作為匹配度量[25]。比較兩幀圖像特征點描述子之間的對應元素，若描述子的相似度大于閾值則判定為同一特征點。

2.3.2 多傳感器融合位姿估計

圖3 重力加速度計測量示意

右手坐標系下，在三個坐標軸上的旋轉矩陣分別為

2.3.3 信息融合跟蹤注冊

2.4 虛實融合

系統(tǒng)采用兩種方式對管線與真實場景疊加：一種是基于虛擬標志平面確定管線映射位置，并將平面作為參考對模型跟蹤注冊；另一種是根據(jù)管線的坐標將世界坐標系中的位置分配給管線模型，使用戶將設備朝向管線位置時就可以看到它，并利用傳感器實現(xiàn)對管線模型的運動跟蹤。

其中，對真實場景道路進行平面檢測基于隨機抽樣一致算法（random sample consensus, RANSAC）實現(xiàn)[30]，首先選取3個特征點構造坐標矩陣，根據(jù)三點建立平面方程，然后計算所有其他特征點到平面的垂直距離，將距離小于閾值的點記為內(nèi)點，并統(tǒng)計個數(shù)，重復上述步驟，得到多個平面，最終選取內(nèi)點數(shù)量最多的平面作為虛擬標志平面。為了防止平面檢測錯誤，需要判斷平面的法向量與世界坐標系軸是否趨于平行。

3 系統(tǒng)實現(xiàn)與測試

3.1 實驗環(huán)境

本實驗測試所采用的移動端設備如表2所示。

表2 實驗設備

GNSS接收機采用上海華測RTK i80設備進行實時定位，當拿著手機步行到管線附近時，開啟RTK i80，手機端打開測地通軟件，開啟藍牙與i80連接，設置好相關配置，登陸CORS賬號，接入CORS網(wǎng)開始測量，待手機接收到精確坐標后，通過瀏覽器打開系統(tǒng)進行定位查看管線。

3.2 系統(tǒng)功能實現(xiàn)

以校園地下管線為例，通過增強現(xiàn)實技術實時定位查看地下管線分布情況，本系統(tǒng)分為“俯視查看”和“沉浸式查看”兩種模式，前者基于虛擬標志平面進行跟蹤注冊，后者基于坐標位置關系進行跟蹤注冊。實驗測試如圖4所示，對應的沉浸式查看效果圖如圖5所示。

圖4 俯視查看效果

圖5 沉浸式查看效果

通過系統(tǒng)的“沉浸式查看”方式進一步查看實驗地點旁邊的排水管線，并點擊“查看管線屬性”獲取此時正在查看的管線對應的屬性數(shù)據(jù)，如圖6所示。

圖6 沉浸式查看排水管線效果

3.3 系統(tǒng)性能測試

1）查看管線時系統(tǒng)性能情況如表3所示，其中FPS（frames per second）為一秒鐘渲染的幀數(shù)。

表3 手機端渲染性能

2）對不同手機瀏覽器和操作系統(tǒng)的兼容性測試如表4所示。

表4 兼容性測試情況

實驗測試表明，該系統(tǒng)可輕松實現(xiàn)跨平臺應用，常用的瀏覽器均可兼容，并且系統(tǒng)使用過程中模型渲染流暢，跟蹤注冊狀況良好，漂移誤差小。

4 結束語

本文依據(jù)RTK載波相位差分技術、自動化三維建模技術和混合跟蹤注冊技術，設計了基于移動端地下管線增強現(xiàn)實系統(tǒng)并通過手機瀏覽器實現(xiàn)了系統(tǒng)應用。該系統(tǒng)增加了用戶查看管線的便利性；采用RTK設備結合手機GPS定位，提高了系統(tǒng)定位準確性；利用自動化三維建模技術，提高了管線模型精細度；基于視覺和傳感器融合的方式，提高了跟蹤注冊的準確性與健壯性，使用戶擁有更好的感官體驗。本系統(tǒng)有效解決了用戶依靠傳統(tǒng)地下管線系統(tǒng)在地下管線施工和設計中，決策不及時、查看管線空間感不強烈和系統(tǒng)對本地軟件程序依賴性高的問題，在數(shù)字化智慧城市發(fā)展建設中可以發(fā)揮良好的作用，更好地避免在施工過程中因管線位置不明確而造成的工程事故。

[1] PANG L Y, LAN G W, TAO Y Y. Design and implementation of 3D urban underground pipe network system[EB/OL]. [2021-06-24]. https: //iopscience. iop. org/article/10. 1088/1755-1315/283/1/012013/pdf.

[2] 李健, 王順利, 潘華, 等. 基于移動終端的增強現(xiàn)實地下管線可視化技術[J]. 鄭州大學學報(理學版), 2019, 51(3): 115-119.

[3] MA R , YI C Z, ZHANG L , et al. Design of and research on underground pipeline system in campus based on 3DGIS[EB/OL]. [2021-06-24]. https: //doi. org/10. 1051/e3sconf/202016503004.

[4] 馮琳. 地下管網(wǎng)信息化在智慧園區(qū)建設中的應用[J]. 測繪通報, 2020(12): 144-147.

[5] 羅強. 三維仿真技術在地下管線成果中的應用[J]. 測繪通報, 2020(增刊1): 65-69.

[6] FENAIS A, ARIARATNAM S, AYER S K, et al. Integrating geographic information systems and augmented reality for mapping underground utilities[J]. Infrastructures, 2019, 4(4): 60.

[7] LI W, HAN Y, LIU Y, et al. Real-time location-based rendering of urban underground pipelines[J]. ISPRS International Journal of Geo-Information, 2018, 7(1): 32.

[8] SORIA G, ORTEGA A L M, FEITO F R. Augmented and virtual reality for underground facilities management[J]. Journal of Computing and Information Science in Engineering, 2018, 18(4): 1-9.

[9] 劉星, 郭杭. 手機視覺與慣性融合的松耦合濾波算法[J]. 測繪通報, 2020(2): 61-65.

[10] 陳林. 基于Three. js的地下管線三維建?？梢暬芯縖J]. 測繪與空間地理信息, 2018, 41(8): 93-96.

[11] 梁健, 韓彥嶺, 于文浩, 等. 低成本GNSS/INS組合導航系統(tǒng)探討[J]. 導航定位學報, 2019, 7(4): 110-117.

[12] 陳波, 高成發(fā), 劉永勝, 等. 安卓手機終端原始GNSS觀測數(shù)據(jù)質(zhì)量分析[J]. 導航定位學報, 2019, 7(3): 87-95.

[13] 張玉紅, 任東風, 賁忠奇, 等. 基于skyline的城市地下三維管線建立研究[J]. 測繪工程, 2016, 25(2): 71-76.

[14] 程筱勝, 徐白, 戴寧. Sweep曲面離散建模技術研究[J]. 機械設計與制造工程, 2016, 45(11): 13-18.

[15] 周京春, 李清泉, 施昆. 利用Sweep造型法進行管網(wǎng)精細化三維建模[J]. 武漢大學學報(信息科學版), 2015, 40(5): 661-666.

[16] 趙江洪, 馬思宇, 黃明, 等. 地下工井電纜網(wǎng)絡模型及拓撲關系構建[J]. 測繪科學, 2019, 44(3): 142-148.

[17] 詹勇, 陳良超. 城市地下管網(wǎng)參數(shù)化三維建模流程與方法[J]. 城市勘測, 2017(2): 19-24.

[18] 韓玉仁, 李鐵軍, 楊冬. 增強現(xiàn)實中三維跟蹤注冊技術概述[J]. 計算機工程與應用, 2019, 55(21): 26-35.

[19] 曲毅, 李愛光, 徐旺, 等. 面向ArGIS的多傳感器混合跟蹤注冊研究[J]. 測繪與空間地理信息, 2017, 40(3): 114-117, 121.

[20] 何洪磊, 胡平. 基于WebGIS和WebRTC的可視化校園[J]. 實驗室研究與探索, 2018, 37(12): 141-146.

[21] 樊彥國, 柴江龍, 許明明, 等. 基于ORB與RANSAC融合改進的圖像配準[J]. 光學精密工程, 2019, 27(3): 702-717.

[22] 雍玖, 王陽萍, 黨建武, 等. 改進TLD與ORB的AR系統(tǒng)長時跟蹤注冊方法[J]. 計算機工程與應用, 2021, 57(7): 178-184.

[23] 李一, 馮楠, 譚順成. 基于KCF與改進ORB的增強現(xiàn)實方法[J]. 計算機工程, 2019, 45(8): 230-235.

[24] 沈燕芬, 張小紅, 朱鋒. ORB-SLAM2車載雙目視覺的自主導航性能評估[J]. 導航定位學報, 2018, 6(2): 29-35.

[25] 楊炳坤, 程樹英, 鄭茜穎. 改進的ORB特征匹配算法[J]. 傳感器與微系統(tǒng), 2020, 39(2): 136-139.

[26] 侯守明, 韓吉, 張煜東, 等. 基于視覺的增強現(xiàn)實三維注冊技術綜述[J]. 系統(tǒng)仿真學報, 2019, 31(11): 2206-2215.

[27] 傅思勇, 吳祿慎, 陳華偉, 等. 綜合多畸變因素的攝像機標定[J]. 儀器儀表學報, 2018, 39(2): 248-256.

[28] 周玲, 陳強. 城市地下管網(wǎng)增強現(xiàn)實系統(tǒng)研究[J]. 計算機工程與應用, 2020, 56(1): 251-256.

[29] 張會清, 許瀟民, 代汝勇. 基于MEMS與Android智能手機融合的室內(nèi)個人導航算法[J]. 北京工業(yè)大學學報, 2017, 43(5): 729-735.

[30] 蘇云龍, 平雪良, 李楠. 基于RANSAC三維點云的平面提取算法[J]. 激光與紅外, 2019, 49(6): 780-784.

Design of mobile underground pipeline augmented reality system

LI Rui, CHEN Qiang, ZHANG Xinyu, YAN Fengting, GUO Mengru

（School of Electronic and Electrical Engineering, Shanghai University of Engineering Science, Shanghai 201620, China）

Aiming at the problems of the traditional underground pipeline information system, such as insufficient sense of space for viewing pipelines, inflexible pipeline construction decision-making, and high dependence on local software programs, a mobile-based augmented reality system for underground pipelines is designed. In order to realize the mobile-end augmented reality pipeline modeling function, the method of circle parameter equation combined with frame technology is used to automate the three-dimensional modeling of the pipeline, and the nearby pipeline data is loaded through high-precision positioning; then a vision and multi-sensor fusion is designed. The method realizes hybrid tracking registration; finally, the code is written based on AR.js technology to realize the overall function of the system. Experiments show that the 3D model of the system renders smoothly, the pose estimation error is small, and it is intuitive and accurate, convenient and flexible, and adaptable to the operating environment in viewing underground pipeline operations. It is the intelligent management of pipeline information in the promotion of smart cities. A stable and reliable real-time interactive visualization system solution is provided.

augmented reality; underground pipeline; real-time positioning; 3D modeling; tracking registration

P228

A

2095-4999(2022)02-0183-08

李睿，陳強，張新宇，等. 移動端地下管線增強現(xiàn)實系統(tǒng)設計[J]. 導航定位學報, 2022, 10(2): 183-190. (LI Rui, CHEN Qiang, ZHANG Xinyu, et al. Design of mobile underground pipeline augmented reality system[J]. Journal of Navigation and Positioning,2022, 10(2): 183-190. )

10.16547/j.cnki.10-1096.20220224.

2021-06-24

國家自然科學基金資助項目（61705127）；上海市科技委員會重點項目（18511101600）；上海聯(lián)盟計劃基金資助項目（LM201745）。

李睿（1996－），女，河南信陽人，碩士研究生，研究方向為增強現(xiàn)實。

陳強（1965－），男，湖北荊州人，博士，教授，研究方向為地球探測與信息技術、軟件工程、增強現(xiàn)實與虛擬現(xiàn)實。