基于約束關(guān)系的石化裝置三維重建方法研究*

王 春，張嘉亮，矯恒超，張奕奕，劉 剛

(1.中國石化青島安全工程研究院，山東青島 2660712.國家安全生產(chǎn)監(jiān)督管理總局化學(xué)品登記中心，山東青島 266071)

虛擬現(xiàn)實(shí)三維重建技術(shù)在制造業(yè)，影視業(yè)等行業(yè)得到了較廣泛的應(yīng)用，主要采用激光掃描數(shù)據(jù)三維重建、基于圖像的三維重建和人工交互式幾何建模等技術(shù)。激光掃描數(shù)據(jù)三維重建和基于圖像的三維重建所構(gòu)建的模型存在點(diǎn)云數(shù)據(jù)量大，數(shù)據(jù)處理難度大，數(shù)據(jù)易丟失等問題。綜合考慮，傾向于選擇人工交互式幾何建模重建的方法，但該方法在三維工廠數(shù)字化建模過程中工作量龐大。以石化裝置為例，芳烴裝置需要投入約40人月，延遲焦化裝置需要約20人月，一個石化企業(yè)通常包含十多套裝置，建模工作量巨大。

工廠三維模型的數(shù)字化是“智能工廠”建設(shè)的基礎(chǔ)，通過建立石化裝置、設(shè)備、環(huán)境、工藝及生產(chǎn)管理的三維模型，在其基礎(chǔ)上集成工程設(shè)計、生產(chǎn)運(yùn)營、機(jī)動設(shè)備、環(huán)保安全等各種動態(tài)和靜態(tài)數(shù)據(jù)，為企業(yè)提供安全生產(chǎn)解決方案。因此，面向石化裝置的快速高效三維重建技術(shù)研究是虛擬現(xiàn)實(shí)技術(shù)在石化產(chǎn)業(yè)中應(yīng)用的關(guān)鍵技術(shù)，也是急需研究的技術(shù)。

1 三維重建方法關(guān)鍵技術(shù)現(xiàn)狀

三維重建方法的關(guān)鍵技術(shù)是算法，本文主要涉及的算法有：基于視頻的三維重建、點(diǎn)云分割及基于約束條件的三維建模等。

a)基于視頻的三維重建技術(shù)。該技術(shù)是將同一場景不同角度拍攝得到的圖像還原出場景中點(diǎn)的三維位置。O.Faugeras[1]提出了基礎(chǔ)矩陣在射影重建中的應(yīng)用。美國華盛頓大學(xué)的Y.Furukawa[2]研究的可視化外殼重建算法運(yùn)行效率很高，但比較適用于小規(guī)模數(shù)據(jù)。Saxena等人[3]使用馬爾可夫隨機(jī)場和監(jiān)督學(xué)習(xí)的方法估算圖片中的深度信息。浙江大學(xué)鮑虎軍教授[4]研究了SFM及魯棒的三維相機(jī)實(shí)時追蹤技術(shù)。

b)三維點(diǎn)云分割及語義識別。點(diǎn)云分割是指將三維空間中的點(diǎn)劃分成更小的、連貫和連接的子集的過程。經(jīng)過分割后，具有相似屬性的點(diǎn)歸為一類，可以得到對應(yīng)于相應(yīng)相似性度量方法的同質(zhì)區(qū)域。通常來講，點(diǎn)云分割的算法有很多種，包括：邊緣檢測法、曲面生長法、基于顏色和區(qū)域生長相結(jié)合的方法、基于徑向反射的分割方法等[5]。

c)基于約束條件的三維建模。過程式建模是基于約束條件的三維建模技術(shù)的代表，該技術(shù)由Lindenmayer提出，Parish等人[6]通過初值和約束驅(qū)動產(chǎn)生式迭代，在小區(qū)內(nèi)隨機(jī)構(gòu)造幾類建筑體幾何和紋理。P.Merrell等人[7]研究了直觀、通用的過程建模語法，讓用戶可以交互編輯過程式模型。劉劍敏等人[8]探討了面向三維機(jī)械CAD的靜態(tài)幾何特征建模和動態(tài)造型過程建模，基于語義建模開發(fā)了智能培訓(xùn)系統(tǒng)。安全工程研究院的趙祥迪等人[9]提出了罐區(qū)三維模型快速構(gòu)建方法，并實(shí)現(xiàn)了事故模擬。中原油田的趙忠軍等人[10]研究了油田企業(yè)三維建模方法，并對操作仿真、管網(wǎng)三維管理等進(jìn)行了可視化應(yīng)用。廣州石化的肖斌濤[11]通過對事故過程的三維快速構(gòu)建，開發(fā)了事故演練開放操作平臺。

2 石化設(shè)備模型庫及重建流程

2.1 石化設(shè)備三維模型庫

經(jīng)分析發(fā)現(xiàn)石化裝置具有以下特性：

a)標(biāo)準(zhǔn)性。石化裝置有嚴(yán)格的設(shè)計及實(shí)施規(guī)范，其中的部件、設(shè)備都是標(biāo)準(zhǔn)化組件，不能隨意改變。比如加氫裂化裝置通常分為加熱爐及反應(yīng)器區(qū)、高壓分離器等，而采用的設(shè)備造型跟型號密切相關(guān)，不能任意造型。

b)復(fù)雜性。設(shè)備與設(shè)備之間的連接、配管、閥門布局根據(jù)裝置的性質(zhì)都有復(fù)雜的約束。

c)規(guī)則性。塔、爐、罐、槽、泵等設(shè)備是構(gòu)成石油化工裝置的基本要素，不同設(shè)備的組合形成具有獨(dú)特性質(zhì)的裝置，在建模過程中具有一定的規(guī)則性。

基于石化裝置的特性，安全工程研究院耗時兩年多，開發(fā)了一套面向石化設(shè)備的三維模型庫系統(tǒng)，涉及近千個專業(yè)設(shè)備模型，以實(shí)現(xiàn)設(shè)備組件的復(fù)用。解決了部分問題，但仍需進(jìn)一步完善和改進(jìn)。因此，部分學(xué)者提出可借助一些自動識別及定位技術(shù)，基于模型庫部件模型實(shí)現(xiàn)石化裝置的自動配裝，此類算法的研究與實(shí)現(xiàn)將具有重大的應(yīng)用價值。

2.2 模型重建方法流程

本文研究的基于模型庫的石化裝置三維重建方法主要是利用SFM技術(shù)從預(yù)處理視頻序列中恢復(fù)石化裝置場景的稀疏三維點(diǎn)云及相機(jī)定標(biāo)。融合多源數(shù)據(jù)提取裝置部件的空間關(guān)系語法約束庫；在設(shè)備模型庫系統(tǒng)中，集成真實(shí)感光照渲染算法，著重提取與分析預(yù)設(shè)的石化設(shè)備組建模型或圖像的特征點(diǎn)信息及分布規(guī)律，實(shí)現(xiàn)虛實(shí)基準(zhǔn)設(shè)備的圖像語義匹配；基于底層視覺特征分析復(fù)雜裝置管架、管廊、管道等非設(shè)備模型的上下文形狀語法，剔除噪聲并提取管道的矢量信息；最終實(shí)現(xiàn)三維點(diǎn)云的語義理解，結(jié)合空間關(guān)系語法實(shí)現(xiàn)石化裝置的裝配式重建。流程見圖1。

圖1 石化裝置三維重建方法流程

3 基于模型庫石化裝置三維重建核心算法

3.1 基于SFM技術(shù)實(shí)現(xiàn)裝置場景三維特征點(diǎn)提取及關(guān)鍵幀相機(jī)定標(biāo)

SFM是計算機(jī)視覺的經(jīng)典問題,指從輸入的一系列圖像中恢復(fù)場景的三維結(jié)構(gòu)和圖像對應(yīng)的相機(jī)參數(shù)。相機(jī)定標(biāo)是指在計算機(jī)視覺應(yīng)用中，為確定空間物體表面某點(diǎn)的三維幾何位置與其在圖像中對應(yīng)點(diǎn)之間的相互關(guān)系，建立的相機(jī)成像幾何模型。

首先采用SIFT算子對序列幀圖片進(jìn)行特征提取，在為視頻序列上的每一幀圖像獨(dú)立抽取特征點(diǎn)后，逐幀匹配這些特征點(diǎn)，由于噪聲和移動物體等原因，存在誤匹配，根據(jù)極限約束，利用隨機(jī)采樣一致性算法消除誤匹配點(diǎn)，再利用定標(biāo)理論算法獲取攝像機(jī)的位置和方向信息，見圖2中(a)。計算出點(diǎn)云信息及連續(xù)的相機(jī)定標(biāo)信息，進(jìn)一步自動選擇在多幀圖像中穩(wěn)定出現(xiàn)的特征點(diǎn)，并確定關(guān)鍵幀，選擇最佳的三個關(guān)鍵幀進(jìn)行場景三維的初始化，并及時定標(biāo)完成從射影空間到歐拉空間的轉(zhuǎn)換，求解其它關(guān)鍵幀，在歐氏空間漸進(jìn)式地求解所有關(guān)鍵幀，最終用集束調(diào)整對整個序列的結(jié)構(gòu)和相機(jī)參數(shù)進(jìn)一步優(yōu)化，見圖2中(b)。

圖2 SFM技術(shù)三維特征點(diǎn)提取及相機(jī)定標(biāo)

3.2 構(gòu)建石化裝置基準(zhǔn)設(shè)備、管道、閥門的空間關(guān)系語法庫

采用機(jī)器學(xué)習(xí)的方法，自動化學(xué)習(xí)矢量、文本信息，在與模型庫相同尺度空間中重點(diǎn)提取基準(zhǔn)設(shè)備、管道、閥門的空間關(guān)系語法。將約束語法訓(xùn)練為設(shè)備與管道、管道與閥門、閥門與閥門及其他部件之間多對多的空間位置約束關(guān)系。其中，石化裝置閥門有自身特征：結(jié)構(gòu)特征顯著、分布廣泛、重復(fù)性強(qiáng)且有固定的閥門組類型。基于以上特征，可充分發(fā)揮閥門的橋接作用，研究閥門、閥組與其他部件及閥門間的構(gòu)造語法。比如所有管道進(jìn)出設(shè)備都需要有閥門、調(diào)節(jié)閥前后有切斷閥、閥組一般都在地面或平臺上距離操作面高度大約500 mm、安全閥組必須有進(jìn)出口切斷閥等。通過這些構(gòu)造語法的學(xué)習(xí)構(gòu)建三維閥門空間定位約束語法庫。進(jìn)一步匹配校準(zhǔn)建立的三維場景，提高場景重建的準(zhǔn)確性與精度。

3.3 基于多層次圖像識別算法的關(guān)鍵幀圖像基準(zhǔn)設(shè)備映射及管道提取

為保證三維模型數(shù)據(jù)配準(zhǔn)的精度，可在關(guān)鍵幀圖像中找到特征顯著、定位準(zhǔn)確的設(shè)備作為其他部件定位參考的基準(zhǔn)。而管道是石化裝置的重要組成部分，特征點(diǎn)相對較少，本文采用圖像的底層視覺特征，結(jié)合形狀語法來進(jìn)行管道矢量建模，因此在關(guān)鍵幀識別過程中，從底層視覺特征、局部特征、形狀語法多個層次綜合運(yùn)用來提取基準(zhǔn)設(shè)備及管道的信息，算法流程見圖3。

圖3 關(guān)鍵幀中基準(zhǔn)設(shè)備及管道提取算法流程

鑒于石化設(shè)備結(jié)構(gòu)特征比較顯著，采用圖像局部特征描述算子提取設(shè)備圖像中的關(guān)鍵結(jié)構(gòu)信息，與虛擬設(shè)備庫中的設(shè)備圖像進(jìn)行匹配，從而識別該設(shè)備。所選取的圖像局部描述算子能夠?qū)D像旋轉(zhuǎn)、尺度縮放、視角變化、光照變化等圖像變化因素保持一定的不變性，而對物體運(yùn)動、遮擋、噪聲等因素也保持較強(qiáng)可匹配性。理想狀態(tài)下基于虛擬設(shè)備模型庫，在不同視角下渲染輸出設(shè)備圖像，并進(jìn)行特征訓(xùn)練與分類，可實(shí)現(xiàn)虛實(shí)模型的直接快速匹配。但實(shí)際情況中有的模型損害嚴(yán)重，無法與模型庫中的模型通過特征快速匹配，對于這種匹配不準(zhǔn)的模型，可采用中間圖像標(biāo)注的方式實(shí)現(xiàn)虛擬模型與實(shí)體模型的自動連接。

如圖4所示，某一廠區(qū)的常減壓場景，其管道錯綜復(fù)雜。而管道通常為圓柱形，特征點(diǎn)相對較少，因此僅靠特征點(diǎn)匹配識別的方式，難以準(zhǔn)確的重構(gòu)管道信息?？刹捎脠D像的底層視覺特征，提取直線、L型彎、T型彎等基本圖形元素，基于圖像及設(shè)計文檔構(gòu)建管道、管廊、管架等相似部件的上下文形狀語法，結(jié)合語法特征重點(diǎn)剔除欄桿、管廊、管架等干擾信息，提取管道的矢量信息。同時，每個裝置都會配備完善的工藝流程圖，描述了工藝上涉及的設(shè)備、管道、閥門等信息?；诠に嚵鞒痰募s束學(xué)習(xí)校正識別出的管道信息，以工藝流程語法約束為主線，結(jié)合識別出的管道特征信息、校準(zhǔn)設(shè)備模型信息及閥門管廊等相關(guān)信息共同約束提取復(fù)雜管道中的二維矢量信息。

圖4 設(shè)備管線效果圖

3.4 裝置部件SFM特征點(diǎn)及設(shè)備管道裝配重構(gòu)

基于上述關(guān)鍵幀匹配識別的結(jié)果，可將局部圖像識別出的信息嵌入到相應(yīng)的三維特征點(diǎn)上。對于基準(zhǔn)設(shè)備，需首先建立關(guān)鍵幀設(shè)備與虛擬設(shè)備圖像間相機(jī)標(biāo)定轉(zhuǎn)換矩陣，然后建立二維與三維點(diǎn)云之間的轉(zhuǎn)換矩陣，由此可根據(jù)特征顯著的特征點(diǎn)信息計算虛擬基準(zhǔn)設(shè)備的模型變換矩陣，從而實(shí)現(xiàn)特征點(diǎn)的嵌入和模型匹配，實(shí)現(xiàn)基準(zhǔn)設(shè)備的裝配。在點(diǎn)云的識別過程中，根據(jù)每步算法的可信度，計算識別結(jié)果的成功率。以此為依據(jù)，結(jié)合三維模型間的裝配語法，對識別結(jié)果進(jìn)行矩陣校準(zhǔn)，進(jìn)而實(shí)現(xiàn)石化裝置局部的裝配式重建。效果見圖5。

圖5 虛實(shí)設(shè)備特征匹配結(jié)果

4 結(jié)語

針對石化裝置人工幾何建模效率低下，結(jié)合已有的石化設(shè)備三維模型庫系統(tǒng)，研究基于視頻三維點(diǎn)云識別定位與約束相結(jié)合的三維重建算法。該算法操作簡便，僅用視頻結(jié)合約束關(guān)系就可以進(jìn)行部件的識別定位，面向布局復(fù)雜、安全性要求極高的石化企業(yè)運(yùn)行環(huán)境施行性較強(qiáng)。另外，結(jié)合了SFM算法與石化設(shè)備空間約束，可逆向恢復(fù)SFM遮擋點(diǎn)云、側(cè)背面或不顯著的特征信息，輔助提高SFM技術(shù)在石化行業(yè)的重構(gòu)及定位精度，可作為石化行業(yè)增強(qiáng)現(xiàn)實(shí)、智能導(dǎo)航的研究基礎(chǔ)。

[1] O.Faugeras, Q. T.Luong. The Geometry of Multiple Images [M]. The MIT Press 2001.

[2] Y. Furukawa, J. Ponce. Carved Visual Hulls for Image-Based Modeling [J]. International Journal of Computer Vision, 2008, 81(1):53-67.

[3] M.Klopschitz, A.Irschara, G.Reitmayr, D.Schmalstieg. Robust incremental structure from motion [C]. In Proceeding of 3D Data Processing, Visualization and Transmission (3DPVT), 2010.

[4] Z. Dong, G. Zhang, J.Jia, H.Bao. Efficient keyframe-based real-time camera tracking [J]. Computer Vision and Image Understanding, 2014, (118):97-110.

[5] 劉進(jìn),武仲科,周明全. 點(diǎn)云模型分割及應(yīng)用技術(shù)綜述[J], 計算機(jī)科學(xué), 2011，38(4):21-24..

[6] Y. Parish, P.Muller. Procedural Modeling of Cities[C]. In Proceeding of Computer Graphics, ACM SIGGRAPH, 2001, 301-308.

[7] L.Krecklau, L.Kobbelt.Interactive modeling by procedural high-level primitives [J]. Computers & Graphics, 2012, 36(5): 376-386.

[8] 劉劍敏, 胡潔, 王偉明, 等.三維CAD語義建模及其應(yīng)用研究[J], 機(jī)械設(shè)計與研究, 2005, 21(5):66-69.

[9] 趙祥迪.基于三維事故仿真模擬確定罐區(qū)安全距離，安全、健康和環(huán)境，2015，15(10)：15-18.

[10] 趙忠軍，王春，范亞蘋.油田企業(yè)安全生產(chǎn)三維數(shù)字化系統(tǒng)研究與應(yīng)用，安全、健康和環(huán)境，2016，16(07):52-54.

[11] 肖斌濤.三維可視化應(yīng)急預(yù)案自由組態(tài)平臺研究，安全、健康和環(huán)境，2017，17(10)：13-15.