大型構(gòu)筑物水下檢測(cè)多源數(shù)據(jù)處理及可視化系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)?

姜 艷 段安民 肖雪露

（1.中國(guó)人民解放軍91404部隊(duì) 秦皇島 066000）（2.中國(guó)船舶集團(tuán)有限公司第七二二研究所 武漢 430200）

1 引言

港珠澳大橋是我國(guó)國(guó)家工程，隨著信息化建設(shè)的高速發(fā)展，相關(guān)部門高度重視橋梁安全監(jiān)控［1］，十分關(guān)注智慧監(jiān)測(cè)領(lǐng)域的可視化展示［2］，同時(shí)經(jīng)過不斷發(fā)展與建設(shè)，橋基智慧監(jiān)測(cè)在整體的工作建設(shè)中上取得了很大的進(jìn)步，在相關(guān)設(shè)施不斷完善的進(jìn)行中，對(duì)于橋基環(huán)境智慧監(jiān)測(cè)部分積累了大量的基礎(chǔ)數(shù)據(jù)，而如何有效整合、充分運(yùn)用數(shù)據(jù)，提升監(jiān)管和決策的精準(zhǔn)度、有效性和科學(xué)性，是當(dāng)前橋梁安全智慧監(jiān)測(cè)工作的迫切需求。

在全國(guó)大數(shù)據(jù)時(shí)代的背景下，數(shù)據(jù)成為最寶貴的信息資產(chǎn)，可視化作為大數(shù)據(jù)產(chǎn)業(yè)鏈的最后一公里，是讓漫長(zhǎng)復(fù)雜的大數(shù)據(jù)建設(shè)可見，讓數(shù)據(jù)真正可知可感的最后一環(huán)，有效地幫助用戶實(shí)現(xiàn)“駕馭數(shù)據(jù)、洞悉價(jià)值”。而目前現(xiàn)狀是，橋梁水下檢測(cè)普遍存在“看不見、摸不到”，水下多源數(shù)據(jù)融合與展示平臺(tái)空白，亟需提出一種基于大型構(gòu)筑物水下檢測(cè)多源數(shù)據(jù)處理及三維可視化系統(tǒng)。

本文基于先進(jìn)的大數(shù)據(jù)處理［3］和可視化［4］技術(shù)，開發(fā)基于大數(shù)據(jù)管理平臺(tái)的大型構(gòu)筑物水下檢測(cè)多源數(shù)據(jù)處理及可視化系統(tǒng)，充分整合、挖掘用戶現(xiàn)有數(shù)據(jù)資源，并將各項(xiàng)關(guān)鍵數(shù)據(jù)進(jìn)行綜合展現(xiàn)，實(shí)現(xiàn)：1）海量原始數(shù)據(jù)和處理數(shù)據(jù)、結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的分布式存儲(chǔ)和安全高效調(diào)用；2）橋基基礎(chǔ)環(huán)境監(jiān)測(cè)數(shù)據(jù)自動(dòng)處理；3）橋基基礎(chǔ)監(jiān)測(cè)數(shù)據(jù)的融合和二維、三維可視化展示，數(shù)據(jù)統(tǒng)計(jì)、分析和預(yù)警，最大化輔助監(jiān)控，提高研判效率；4）結(jié)合港珠澳大橋周邊環(huán)境三維重建，支持對(duì)聲學(xué)探測(cè)數(shù)據(jù)融合后的點(diǎn)云數(shù)據(jù)進(jìn)行VR 展示，將大橋所處地理環(huán)境進(jìn)行三維重建和渲染，疊加顯示橋梁數(shù)據(jù)、水流數(shù)據(jù)等，實(shí)現(xiàn)人機(jī)交互操作查看。

2 系統(tǒng)總體設(shè)計(jì)

2.1 系統(tǒng)組成

大型水下構(gòu)筑物及周邊環(huán)境大數(shù)據(jù)處理及可視化系統(tǒng)由水下檢測(cè)大數(shù)據(jù)管理平臺(tái)子系統(tǒng)、水下檢測(cè)多源數(shù)據(jù)處理子系統(tǒng)和水下構(gòu)筑物及周邊環(huán)境三維可視化子系統(tǒng)組成，如圖1所示。

圖1 大型構(gòu)筑物水下檢測(cè)多源數(shù)據(jù)處理及可視化系統(tǒng)組成

通過對(duì)水下檢測(cè)大數(shù)據(jù)管理平臺(tái)的開發(fā)，圍繞環(huán)境監(jiān)測(cè)數(shù)據(jù)處理和融合展示的關(guān)鍵技術(shù)問題，進(jìn)行研究和技術(shù)突破，構(gòu)建大型構(gòu)筑物水下檢測(cè)多源數(shù)據(jù)處理及可視化系統(tǒng)，具體設(shè)計(jì)如下：

1）水下檢測(cè)大數(shù)據(jù)管理平臺(tái)子系統(tǒng)：實(shí)現(xiàn)海量原始數(shù)據(jù)和處理后數(shù)據(jù)、結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的分布式存儲(chǔ)和高效調(diào)用，實(shí)現(xiàn)在多用戶高并發(fā)情況下的數(shù)據(jù)穩(wěn)定性要求及數(shù)據(jù)安全要求［5］。

2）水下檢測(cè)多源數(shù)據(jù)處理子系統(tǒng)：處理橋基環(huán)境監(jiān)測(cè)的多波束、側(cè)掃聲吶、淺地層剖面等數(shù)據(jù)，對(duì)多波束數(shù)據(jù)獲取其點(diǎn)云數(shù)據(jù)，側(cè)掃聲吶獲取海底影像二值圖，淺地層剖面數(shù)據(jù)獲取地層剖面信息、地質(zhì)結(jié)構(gòu)信息等，實(shí)現(xiàn)多波束、側(cè)掃、淺剖探測(cè)數(shù)據(jù)的融合處理，能夠形成連續(xù)、整體、直觀、多維圖像，根據(jù)用戶的需要進(jìn)行多維展示，根據(jù)用戶需要進(jìn)行模型標(biāo)準(zhǔn)化。

3）水下構(gòu)筑物及周邊環(huán)境三維可視化子系統(tǒng)：開發(fā)橋基環(huán)境監(jiān)測(cè)數(shù)據(jù)的融合及三維展示系統(tǒng)［6～7］，實(shí)現(xiàn)統(tǒng)計(jì)分析數(shù)據(jù)以及結(jié)合橋梁和橋墩相關(guān)標(biāo)準(zhǔn)的預(yù)警功能；結(jié)合港珠澳大橋周邊環(huán)境三維重建，支持對(duì)多波束、側(cè)掃、淺剖監(jiān)測(cè)數(shù)據(jù)融合后的點(diǎn)云數(shù)據(jù)進(jìn)行VR 展示；將港珠澳大橋所處地理環(huán)境進(jìn)行三維重建和渲染，疊加顯示橋梁數(shù)據(jù)、水流數(shù)據(jù)等，實(shí)現(xiàn)人機(jī)交互實(shí)時(shí)查看和監(jiān)控。

2.2 系統(tǒng)開發(fā)思路

本系統(tǒng)首先對(duì)數(shù)據(jù)需求調(diào)研與分析，建立大數(shù)據(jù)管理Hadoop 管理平臺(tái)，實(shí)現(xiàn)對(duì)橋梁自身數(shù)據(jù)、橋基基礎(chǔ)環(huán)境監(jiān)測(cè)數(shù)據(jù)、文檔視頻等異構(gòu)數(shù)據(jù)、VR資源數(shù)據(jù)和用戶管理等數(shù)據(jù)的標(biāo)準(zhǔn)化和統(tǒng)一管理，從而進(jìn)行系統(tǒng)架構(gòu)設(shè)計(jì)、系統(tǒng)平臺(tái)開發(fā)，完成系統(tǒng)部署與測(cè)試；最后，系統(tǒng)開發(fā)思路如圖2所示。

圖2 系統(tǒng)開發(fā)思路

3 關(guān)鍵實(shí)現(xiàn)技術(shù)

3.1 水下檢測(cè)大數(shù)據(jù)管理平臺(tái)構(gòu)建

水下檢測(cè)大數(shù)據(jù)管理平臺(tái)硬件由一個(gè)主控節(jié)點(diǎn)、6 個(gè)數(shù)據(jù)節(jié)點(diǎn)組成，主控節(jié)點(diǎn)負(fù)責(zé)調(diào)度，數(shù)據(jù)節(jié)點(diǎn)負(fù)責(zé)數(shù)據(jù)存儲(chǔ)和運(yùn)算，另外依據(jù)用戶的屏幕情況和數(shù)據(jù)規(guī)模，規(guī)劃可視化渲染工作站兩臺(tái)，以支撐可視化系統(tǒng)運(yùn)行、圖像渲染輸出和交互控制。

在數(shù)據(jù)庫(kù)設(shè)計(jì)方面，建立橋基環(huán)境監(jiān)測(cè)數(shù)據(jù)數(shù)據(jù)庫(kù)，包含有多波束、側(cè)掃聲吶、淺地層剖面、水下機(jī)器人監(jiān)測(cè)等數(shù)據(jù)；建立海洋環(huán)境監(jiān)測(cè)數(shù)據(jù)數(shù)據(jù)庫(kù)，調(diào)用現(xiàn)有橋梁環(huán)境在線監(jiān)測(cè)數(shù)據(jù)，如風(fēng)、浪、流、溫度、鹽度等數(shù)據(jù)，開發(fā)相應(yīng)API接口，獲取數(shù)據(jù)并存儲(chǔ)在本平臺(tái)的數(shù)據(jù)庫(kù)中；建立文檔數(shù)據(jù)庫(kù)，包含文檔元數(shù)據(jù)信息、存儲(chǔ)路徑等，便于系統(tǒng)查看和下載編輯等操作；建立VR 三維數(shù)據(jù)庫(kù)，包含VR 場(chǎng)景模型數(shù)據(jù)、渲染參數(shù)表等用于存儲(chǔ)VR 使用過程中需使用改的資源數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)及半結(jié)構(gòu)化數(shù)據(jù)以不同的存儲(chǔ)模型存儲(chǔ)在數(shù)據(jù)庫(kù)中，通過開發(fā)特定用途的API 數(shù)據(jù)接口，安全調(diào)用數(shù)據(jù)庫(kù)中的相應(yīng)的數(shù)據(jù)進(jìn)行進(jìn)一步操作。

3.2 水下檢測(cè)多源數(shù)據(jù)處理技術(shù)

在港珠澳大橋伶仃洋海洋環(huán)境下橋島隧周邊水下地形、地層狀態(tài)采集過程中，由于儀器自身噪聲、海況因素、聲吶參數(shù)設(shè)置不合理或者使用了較大誤差的聲速剖面，導(dǎo)致測(cè)量數(shù)據(jù)不可避免地存在假信號(hào)（噪聲），造成虛假地形，從而使檢測(cè)的地形、地層與真實(shí)的海底存在差異；為提高水下地形、地層檢測(cè)精度，必須消除這些假地形信號(hào)，對(duì)實(shí)施采集的檢測(cè)數(shù)據(jù)進(jìn)行編輯或者校正，剔除假信號(hào)，恢復(fù)保留真實(shí)信息，為后續(xù)人機(jī)交互成圖做好必要準(zhǔn)備，主要包括多波束數(shù)據(jù)數(shù)據(jù)后處理、淺地層剖面儀數(shù)據(jù)后處理、側(cè)掃聲吶數(shù)據(jù)后處理和多源數(shù)據(jù)融合處理。

目前國(guó)外有相對(duì)成熟的多波束數(shù)據(jù)、淺地層剖面儀數(shù)據(jù)、側(cè)掃聲吶數(shù)據(jù)后處理軟件，但無論國(guó)內(nèi)還是國(guó)外均沒有多波束、淺剖、側(cè)掃以及水下機(jī)器人監(jiān)測(cè)數(shù)據(jù)的融合處理軟件，這使得橋基水下監(jiān)測(cè)相互獨(dú)立，給用戶帶來極大不便，本系統(tǒng)自主研發(fā)多源數(shù)據(jù)融合處理軟件，接入多波束數(shù)據(jù)、淺地層剖面儀數(shù)據(jù)、側(cè)掃聲吶數(shù)據(jù)后處理、水下機(jī)器人監(jiān)測(cè)數(shù)據(jù)結(jié)果，實(shí)現(xiàn)橋島隧水下多類信息數(shù)據(jù)融合，形成橋島隧及其周圍環(huán)境的整體、多維數(shù)據(jù)融合結(jié)果，供三維可視化使用，主要由數(shù)據(jù)導(dǎo)入、多源數(shù)據(jù)解析、數(shù)據(jù)融合以及特征提取組成，如圖3所示。

圖3 組成框圖

1）數(shù)據(jù)導(dǎo)入

從數(shù)據(jù)管理功能中的統(tǒng)一存儲(chǔ)區(qū)域劃分的目錄中選擇相關(guān)的已經(jīng)導(dǎo)入的成果數(shù)據(jù)文件，包括多波束、淺地層剖面儀、側(cè)掃聲吶經(jīng)過后處理的成果數(shù)據(jù)，BIM 三維模型數(shù)據(jù)，以及水下機(jī)器人的探測(cè)數(shù)據(jù)及影像成果數(shù)據(jù)，經(jīng)過數(shù)據(jù)讀取暫存為備用數(shù)據(jù)，供后續(xù)的多源數(shù)據(jù)解析、三維整體模型構(gòu)建做準(zhǔn)備。

2）多源數(shù)據(jù)解析

分別對(duì)導(dǎo)入的多波束成果數(shù)據(jù)、淺剖成果數(shù)據(jù)、側(cè)掃成果數(shù)據(jù)、影像數(shù)據(jù)以及BIM 模型數(shù)據(jù)進(jìn)行解析以及信息提取。即多波束成果數(shù)據(jù)、淺剖成果數(shù)據(jù)以及側(cè)掃成果數(shù)據(jù)據(jù)解析出點(diǎn)云信息，影像數(shù)據(jù)需要解析出經(jīng)緯度、級(jí)別等信息并轉(zhuǎn)換為統(tǒng)一模型中的坐標(biāo)信息以及網(wǎng)格信息，BIM 模型解析出立體幾何圖形信息、紋理、貼圖、材質(zhì)等信息。

3）數(shù)據(jù)融合

將影像數(shù)據(jù)、多波束后處理數(shù)據(jù)、淺剖后處理數(shù)據(jù)、側(cè)掃后處理數(shù)據(jù)提取出的數(shù)據(jù)進(jìn)行融合處理，首先將多波束后處理數(shù)據(jù)和側(cè)掃后處理數(shù)據(jù)融合，利用多波束聲吶圖像與側(cè)掃聲吶影像的匹配實(shí)現(xiàn)對(duì)側(cè)掃聲吶圖像位置不準(zhǔn)的校正，進(jìn)而實(shí)現(xiàn)多波束水下地形數(shù)據(jù)與地貌數(shù)據(jù)的融合，在此基礎(chǔ)上，與淺剖后處理數(shù)據(jù)進(jìn)行垂直和水平基準(zhǔn)的統(tǒng)一，并通過三角化后的多波束數(shù)據(jù)與淺剖數(shù)據(jù)求交，得到淺剖數(shù)據(jù)的實(shí)際深度值，然后對(duì)數(shù)字地表模型［8］和三維地質(zhì)模型［9］進(jìn)行融合建模，實(shí)現(xiàn)多波束后處理數(shù)據(jù)、淺剖后處理數(shù)據(jù)融合，同時(shí)基于統(tǒng)一坐標(biāo)系，將水下機(jī)器人獲取到橋基表觀聲/光影像數(shù)據(jù)、橋墩BIM 模型與融合后的地形、地層、地貌數(shù)據(jù)進(jìn)行三維疊加，形成統(tǒng)一的海底地形數(shù)據(jù)、海底地層數(shù)據(jù)、地貌、橋島隧模型數(shù)據(jù)及表觀聲/光影像數(shù)據(jù)。

4）特征提取

特征提取層能對(duì)地形、地層、地貌數(shù)據(jù)中特征點(diǎn)、特征區(qū)域進(jìn)行提取，包括水平定位、高程信息等，并根據(jù)特征信息評(píng)估調(diào)整（平滑、編輯）融合數(shù)據(jù)，提高數(shù)據(jù)質(zhì)量。

3.3 水下構(gòu)筑物及周邊環(huán)境三維可視化技術(shù)

三維可視化系統(tǒng)采用目前先進(jìn)的Unity3d［10～11］三維引擎為基礎(chǔ)進(jìn)行開發(fā)，并且結(jié)合專業(yè)的動(dòng)態(tài)海洋引擎完成橋梁現(xiàn)實(shí)場(chǎng)景模擬和橋墩周邊泥沙沖刷淤積情況查看。水流及泥沙淤積沖刷基于shad?er技術(shù)［12］進(jìn)行可視化渲染，能夠完美地對(duì)其運(yùn)動(dòng)的狀態(tài)進(jìn)行表現(xiàn)。系統(tǒng)接收水位和海洋網(wǎng)格數(shù)據(jù)等，能夠完美表現(xiàn)海浪的狀態(tài)（海平面、浪高、海面類型等）；三維可視化系統(tǒng)還可以接收二維GIS 平臺(tái)所提供的海面相關(guān)區(qū)域點(diǎn)云數(shù)據(jù)匹配相關(guān)的區(qū)域特性。

1）三維場(chǎng)景建模

場(chǎng)景地形和建筑物等實(shí)體三維模型采用3dmax 建模工具進(jìn)行構(gòu)建，通過現(xiàn)有橋梁數(shù)據(jù)和高程數(shù)據(jù)對(duì)三維場(chǎng)景地形進(jìn)行建模，形成真實(shí)的地形模型；高程數(shù)據(jù)采用標(biāo)準(zhǔn)dem 格式，不能低于30m精度。地表三維實(shí)體模型通過3dmax 工具進(jìn)行精確建模，包括建筑物、道路、植被等，最終格式為fbx格式。

2）三維場(chǎng)景渲染

系統(tǒng)采用shader 渲染技術(shù)對(duì)海洋環(huán)境進(jìn)行真實(shí)模擬，能夠?qū)崿F(xiàn)海洋的浪高、光線反射、折射、多級(jí)波浪效果。

3）數(shù)據(jù)融合疊加

海洋引擎通過特征范圍點(diǎn)陣位置、屬性、時(shí)間和其它數(shù)據(jù)共同計(jì)算，并且導(dǎo)入到海洋引擎中進(jìn)行計(jì)算，通過圖形繪制算法對(duì)相關(guān)位置區(qū)域進(jìn)行shader 渲染，最終疊加到海洋表面，形成不同的海面特效，表達(dá)不同的特征屬性。

4）三維數(shù)據(jù)場(chǎng)景發(fā)布

系統(tǒng)界面采用Unity 界面庫(kù)進(jìn)行定制，包括系統(tǒng)設(shè)置、視角切換、功能配置、模式切換、圖層可見等?？梢酝ㄟ^導(dǎo)出WebGL 的方式發(fā)布到web 端，可以直接在支持html5 標(biāo)準(zhǔn)的瀏覽器中運(yùn)行，另外也可以導(dǎo)出Web Player。

5）人機(jī)交互操作

系統(tǒng)交互采用桌面式操作方式，通過鼠標(biāo)和鍵盤外設(shè)對(duì)場(chǎng)景進(jìn)行交互。操作者可以在場(chǎng)景中進(jìn)行自由漫游，也可以根據(jù)系統(tǒng)默認(rèn)設(shè)置的自定義視角進(jìn)行多視角觀看。自定義視角包括俯視角、側(cè)視角、正視角、自定義視角等幾種方式。

4 系統(tǒng)實(shí)現(xiàn)與實(shí)例驗(yàn)證

大型構(gòu)筑物水下檢測(cè)多源數(shù)據(jù)處理及可視化系統(tǒng)整體界面如圖4 所示。用戶可以根據(jù)需要進(jìn)行整體展示或者分項(xiàng)局部展示。

圖4 系統(tǒng)界面展示

圖5 橋梁整體結(jié)構(gòu)

圖6 橋基環(huán)境細(xì)節(jié)展示

1）橋梁整體結(jié)構(gòu)重建

結(jié)合橋梁建設(shè)施工圖及橋梁實(shí)景拍攝圖，一比一地模擬橋梁外觀及構(gòu)造，為實(shí)現(xiàn)當(dāng)橋基環(huán)境發(fā)生變化時(shí)對(duì)大橋整體所產(chǎn)生的影響提供直觀的視覺效果。

2）橋基環(huán)境細(xì)節(jié)展示

對(duì)橋基附近水流環(huán)境，土質(zhì)環(huán)境進(jìn)行監(jiān)測(cè)，將多波束后處理水下地形數(shù)據(jù)進(jìn)行接入并進(jìn)行展示。

3）融合展示

通過港珠澳大橋周邊水下地形、地層實(shí)測(cè)，采集橋、島、隧水下相關(guān)地形、地層數(shù)據(jù)，進(jìn)行融合展示，如圖7、圖8所示。

圖7 多波束與淺剖數(shù)據(jù)融合展示

圖8 實(shí)測(cè)地形數(shù)據(jù)（多波束數(shù)據(jù)）與GIS影像融合

圖9 橋墩周邊地形沖刷顯示

4）預(yù)警展示

用不同顏色表示橋基附近土質(zhì)等高線，實(shí)時(shí)接入并顯示監(jiān)測(cè)采集到的深度數(shù)據(jù)。當(dāng)水流沖刷到一警戒值時(shí)，系統(tǒng)會(huì)進(jìn)行預(yù)警提示。

5 結(jié)語(yǔ)

本文針對(duì)大型構(gòu)筑物水下狀態(tài)大數(shù)據(jù)處理及三維可視化展示需求，通過對(duì)水下檢測(cè)大數(shù)據(jù)管理平臺(tái)的開發(fā)，圍繞環(huán)境監(jiān)測(cè)數(shù)據(jù)處理和融合展示的關(guān)鍵技術(shù)問題，進(jìn)行研究和技術(shù)突破，開發(fā)了港珠澳大橋水下檢測(cè)多源大數(shù)據(jù)處理及三維可視化展示系統(tǒng)，基于港珠澳大橋?qū)崪y(cè)數(shù)據(jù)，驗(yàn)證了系統(tǒng)數(shù)據(jù)融合和三維展示能力，本系統(tǒng)研發(fā)對(duì)港珠澳大橋日常的運(yùn)營(yíng)和管理起到了非常重要的作用，證明了基于多源時(shí)空大數(shù)據(jù)融合構(gòu)建三維實(shí)景可視化模型的可行性，對(duì)于當(dāng)前云環(huán)境下多源時(shí)空大數(shù)據(jù)集成技術(shù)的研究和多源時(shí)空大數(shù)據(jù)融合構(gòu)建三維實(shí)景可視化模型具有引領(lǐng)性參考價(jià)值。