(南京航空航天大學機電學院,南京210016)
飛機具有尺寸大、結構復雜和零部件數(shù)目多等特點,飛機裝配從零件、組件、段件、板件、部件到最后總裝對接過程中,需要大量內容復雜、形式多樣的行業(yè)知識。同時,產(chǎn)品在研發(fā)、設計和制造工作中產(chǎn)生的眾多技術信息是支持產(chǎn)品裝配的重要資源[1]。在傳統(tǒng)裝配工作中,裝配所需的大量信息和數(shù)據(jù)都分散在各個資料手冊中,分散式的二維信息給管理和使用增加了不必要的麻煩。二維圖紙的表達直觀性不強,給工作人員提出了很高的視覺空間能力要求,即工作人員需要結合多個不同視圖來想象產(chǎn)品的綜合外觀。除此以外,二維圖紙的技術要求等信息不集中,不便于工作人員獲取裝配信息,這給裝配工作增加了難度,大大降低了裝配工作效率。隨著近幾十年航空工業(yè)的快速發(fā)展,航空公司對飛機制造商的要求也隨之提高。飛機更新?lián)Q代頻率的加快和飛機壽命的增加,對飛機裝配的時間、成本和質量等提出了越來越高的要求。傳統(tǒng)的裝配方法、信息管理方法和信息交互方式已經(jīng)不能滿足于現(xiàn)代化的飛機制造和裝配要求。
近年來,隨著計算機技術的快速發(fā)展,虛擬現(xiàn)實(Virtual Reality,VR)和增強現(xiàn)實技術(Augment Reality,AR)開始逐漸成熟[2],并且已經(jīng)開始應用于飛機裝配。VR和AR技術作為飛機裝配的有效輔助手段,可以解決傳統(tǒng)二維圖紙的表達不直觀和信息不集中等缺點。研究人員可以利用計算機建立一個虛擬環(huán)境或增強現(xiàn)實環(huán)境,所建立的新環(huán)境可以提供裝配所需的更集中、更全面的信息數(shù)據(jù)和更真實、更強烈的感官體驗[3]?;赩R的虛擬裝配系統(tǒng)可以為飛機裝配方案設計和工藝設計提供有效的驗證和評估方法,并形成演示文件以供培訓。同時,基于AR的增強信息可以在實際裝配中指導或輔助裝配工作,提高裝配效率。
國內外很多企業(yè)開發(fā)了虛擬裝配系統(tǒng)來完成裝配工作,如虛擬裝配設計環(huán)境(Virtual assembly design environment,VADE)[4],概念動態(tài)(Concept dynamics,CODY)[5],虛擬訓練工作室(Virtual training studio,VTS)[6]和虛擬設計與裝配系統(tǒng)(virtual design and virtual assembly system,VDVAS)[7]等。飛機裝配中,虛擬現(xiàn)實技術最先被應用于虛擬現(xiàn)實仿真裝配中[8],近年來,越來越多的企業(yè)開始綜合運用VR、AR等技術來開發(fā)虛擬裝配系統(tǒng),波音公司的電纜導線裝配系統(tǒng)是AR在工業(yè)裝配領域中的典型案例[9],芬蘭 VTT 技術研究中心開發(fā)增強裝配(Augmented Assembly)系統(tǒng),用虛擬零件、虛擬裝配工具和增強裝配提示信息來指導工作人員執(zhí)行裝配操作[10]。
圖1 虛擬現(xiàn)實連續(xù)統(tǒng)一體技術Fig.1 VR continuum
國際上一般把計算機視覺、增強現(xiàn)實、增強虛擬環(huán)境和虛擬現(xiàn)實這4類相關技術統(tǒng)稱為虛擬現(xiàn)實連續(xù)統(tǒng)一體(VR continuum),這4類技術之間的關系如圖1所示。
虛擬現(xiàn)實首先出現(xiàn)并應用于工業(yè)制造領域,是各類 “虛擬-現(xiàn)實”技術的基礎。VR涉及計算機圖形學、人機交互技術、傳感技術、人工智能、多學科軟件交叉應用等領域,利用VR技術可以對復雜數(shù)據(jù)進行可視化操作與信息交互[11]。VR技術利用計算機建立一個三維虛擬環(huán)境,提供給用戶關于視覺、聽覺、觸覺等多通道的體驗和交互,給用戶實時、沉浸式的體驗。虛擬現(xiàn)實包含4 個關鍵要素:虛擬環(huán)境、沉浸感、感覺反饋以及交互性[12]。VR中的體感交互設備能夠獲取用戶的位置和操作等信息,從而反饋給用戶相應的三維圖像,因此對于用戶而言,三維環(huán)境中的三維物體具有強烈的存在感,用戶可以實時、交互地觀察三維空間內的事物。
增強現(xiàn)實和增強虛擬環(huán)境是在虛擬現(xiàn)實技術基礎上發(fā)展起來的兩種人機交互新技術。兩種技術從不同方面將真實環(huán)境和虛擬環(huán)境進行匹配合成,以增強用戶的體驗感和交互感。其中增強現(xiàn)實技術是通過傳感技術將計算機產(chǎn)生的三維虛擬對象疊加到真實環(huán)境中,而增強虛擬環(huán)境技術則是將真實對象的信息疊加到虛擬環(huán)境中[12]。形象地說,增強現(xiàn)實技術和增強虛擬環(huán)境技術分別給用戶提供“實中有虛”和“虛中有實”的新環(huán)境,用戶通過相應的顯示設備,可以觀察到一個感官效果更加真實的新環(huán)境,在減少了三維建模工作量的同時,借助真實場景和真實對象增強了用戶的體驗感[13-14]。
Milgram等[15]將虛擬現(xiàn)實連續(xù)統(tǒng)一體定義為混合現(xiàn)實(Mixed Redlity,MR)。MR實現(xiàn)了真實環(huán)境和虛擬環(huán)境的匹配和合成,產(chǎn)生一個新的實時、交互的可視化環(huán)境,不僅可以給用戶提供真實環(huán)境和真實對象的信息,同時也可以提供虛擬環(huán)境和虛擬對象的信息,這兩種信息相互補充、疊加,從而拓展了用戶的信息獲取范圍,增強了用戶對真實環(huán)境的感知能力。
空客軍用飛機公司(AIRBUS Military)的 Serván等[16]將 AR 技術應用在飛機車間裝配指令(Work Instruction,WI)中,結合工業(yè)數(shù)字樣機(industrial Digital Mock-Up,iDMU)技術,開發(fā)了MOON(Assembly Oriented Authoring Augme Nted Reality)項目,并用A400M FAL中的一個用例說明了該項目的可行性。WI是指導工作人員如何執(zhí)行裝配任務的文檔,文檔包括產(chǎn)品信息、資源信息和裝配工藝信息,詳細描述了裝配工作人員需要執(zhí)行的操作步驟、操作順序和關鍵參數(shù)等。傳統(tǒng)的WI是紙質文檔,由制造部門創(chuàng)建和維護,使用于飛機裝配工作,并隨著工程的進行不斷變更。WI紙質文檔的修改、更新和管理,不僅僅浪費大量人力和物力資源,而且紙質文檔信息離散、表達不直觀,已經(jīng)不適合于現(xiàn)代化的飛機數(shù)字化制造和裝配。
與此同時,丁旭光還指出,印刷行業(yè)還需要有創(chuàng)意、會溝通的人才。有創(chuàng)意的人才能幫助企業(yè)跳脫出固有思維框架,找到新的增長點與發(fā)展方向;會溝通的人才能幫助企業(yè)跨界尋求合作,擴大產(chǎn)業(yè)既有版圖。
MOON方法選擇了增強現(xiàn)實的信息交互方式,使用網(wǎng)絡攝像頭實時捕捉裝配工作區(qū)域的圖像,然后從IDMU中提取相應的虛擬信息疊加到實時圖像上。MOON系統(tǒng)可以拓展工作人員的信息獲取范圍,并且增強工作人員對信息的感知體驗。該系統(tǒng)的結構如圖2所示。
系統(tǒng)總共有兩個不同類型的輸入,兩個輸入用于增強現(xiàn)實系統(tǒng)生成可視化的工作指令作為輸出。第一個輸入是來自于真實的工作區(qū)域的圖像信息,由安裝在平板電腦上的攝像機(視覺采集設備)獲取。工作區(qū)域中應預先設定后期用于校準和定位的識別標示,并且所捕捉的實時圖像中需要包括該識別標識。第二個輸入是來自虛擬信息的3D模型。虛擬環(huán)境的iDUM包含了裝配中的所有CAD模型,所以首先需要在CATIA V5中選擇在增強現(xiàn)實系統(tǒng)中看到的相應元素的CAD模型,并且需要選擇為其創(chuàng)建的工作指令和資源配置等用于裝配的所有虛擬信息。由Dassault Systemes開發(fā)的相關組件可以將iDMU幾何信息轉化為3DXML格式。
增強現(xiàn)實系統(tǒng)三維處理子系統(tǒng)、定位子系統(tǒng)和信息集成子系統(tǒng)組成。三維處理子系統(tǒng)負責識別、處理和調整3DXML文件,并將這些文件提供給增強現(xiàn)實系統(tǒng)。定位子系統(tǒng)負責計算需要執(zhí)行的裝配操作的位置和方向等數(shù)據(jù)。定位子系統(tǒng)通過檢測真實場景圖像中的識別標識,來對虛擬對象在圖像中的位置來進行調整和定位。信息集成子系統(tǒng)是形成增強現(xiàn)實圖像的信息處理系統(tǒng),可以將虛擬信息和真實場景圖像進行實時匹配和合成,并且輸出到平板電腦上,用戶可以在用戶界面上看到合成的增強現(xiàn)實圖像。
MOON方法的驗證選擇A400M軍用飛機的框架36中的電氣線路裝配,該裝配內容復雜,工作空間狹窄,觀察條件極差。在傳統(tǒng)裝配工作中,電氣線路的裝配需要工作人員有極好的視覺空間能力來正確解釋圖紙,確定裝配位置。圖3[16]為MOON項目在電氣線路裝配中的驗證。驗證證明,使用MOON項目的新系統(tǒng),AR技術把裝配信息直接以三維形式疊加到真實裝配環(huán)境中,大大減少了裝配過程中裝配誤差的產(chǎn)生。
在飛機裝配工作中,MOON項目能夠將WI文檔信息進行統(tǒng)一的管理,并通過AR信息交互技術將iDMU以3D視覺形式呈現(xiàn)給工作人員,增強現(xiàn)實技術所提供的全面、集中的交互式視覺信息可以更加直接、有效地指導裝配工作,減少裝配錯誤,提高裝配效率和裝配質量。
圖2 MOON系統(tǒng)結構圖Fig.2 Structure of the MOON system
圖3 MOON項目的驗證Fig.3 MOON project workshop testing
華中科技大學的李世其等[17]將混合現(xiàn)實技術應用到了飛機機艙裝配中。由于裝配空間狹窄,裝配過程復雜和裝配要求高等特點,飛機客艙的裝配已成為飛機研制的一大難題。在飛機裝配中,VR技術已得到廣泛應用,如虛擬現(xiàn)實仿真技術、虛擬現(xiàn)實下的裝配工藝規(guī)劃等。虛擬現(xiàn)實技術能給用戶強烈的沉浸感和互動感,但是構造一個全三維的虛擬環(huán)境通常需要建立大量的三維模型,成本極高,并且全虛擬的環(huán)境無法直接為裝配工人提供直觀、有效的支持。然而,AR技術利用現(xiàn)有的真實裝配環(huán)境和物理模型可以大大減少建模工作量,并且虛擬模型疊加到真實的裝配場景上能夠給裝配工人更強烈的現(xiàn)實感,同時增強現(xiàn)實技術所提供的全面、集中的信息可以更加直接、有效地指導裝配工作,減少裝配錯誤,提高裝配效率和質量。
混合現(xiàn)實技術將VR和AR有機結合,除了虛擬手、虛擬菜單和其他傳統(tǒng)交互方式之外,系統(tǒng)還可以給用戶呈現(xiàn)裝配知識,將虛擬對象、幾何特征和文本信息等裝配知識疊加到真實環(huán)境中,從而可視化地引導用戶完成裝配工作。基于混合現(xiàn)實技術的虛擬裝配系統(tǒng)結構如圖4所示。
基于混合現(xiàn)實的真實場景和虛擬場景的匹配和融合的過程如圖5所示,主要分為以下6個步驟:
(1)需要建立和真實裝配場景相一致的虛擬裝配場景,需要建立部分真實對象的三維模型和虛擬對象的三維數(shù)字模型;
(2)用視覺采集設備(如攝像機)在真實場景中獲得相應的視頻信號。在獲取真實場景的過程中,用計算機來處理圖像信息、提取元素特征,并且調整設備參數(shù);
(3)在確定了攝像機參數(shù)后,通過預先設定的識別標記將虛擬場景和真實場景相匹配,以確定虛擬場景在真實場景中的位置;
(4)虛擬零件的圖像由計算機生成并直接導入到真實場景中,通過實時生成和相關渲染,真實場景和虛擬場景能夠在虛擬裝配環(huán)境中合為一體;
(5)裝配信息數(shù)據(jù)庫中的文本信息(如產(chǎn)品名稱、產(chǎn)品ID,裝配工藝等信息)在場景疊加的過程中轉換為數(shù)字地圖,并匹配合成到混合現(xiàn)實場景中;
(6)最后,包含真實場景、虛擬零件和集中的裝配信息的混合現(xiàn)實場景由輸出設備呈現(xiàn)給裝配人員,提供真實、全面、沉浸的交互體驗和高效可靠的裝配指導。
該虛擬裝配系統(tǒng)使用AR技術來實現(xiàn)裝配信息的增強,裝配信息的增強是該虛擬裝配系統(tǒng)區(qū)別于一般虛擬現(xiàn)實仿真裝配系統(tǒng)的一大特點?;旌犀F(xiàn)實場景中的增強信息是裝配人員獲得裝配指導的主要渠道,可以大大減少裝配錯誤,提高裝配質量。建立面向裝配的增強信息模型可以統(tǒng)一管理混合現(xiàn)實環(huán)境中裝配所需的各類信息,裝配信息主要包括4個方面:裝配工藝信息,零件管理信息,零件幾何信息和零件拓撲信息。如圖6所示,增強裝配信息模型可以分3層來建立,裝配層、零件層和特征層這,層與層之間有相應的映射關系,模型的建立有助于信息的管理和提取。裝配信息中的所有信息可以分為文本類信息和特征類信息兩種類型。文本類信息主要有2D或3D文本模型、3D信息框架和文本圖片3種表示方法。特征類信息可以參考CAD模型中的特征表示方法。
圖4 基于混合現(xiàn)實的虛擬裝配系統(tǒng)結構Fig.4 Systematic structure of mixed reality assembly system
圖5 真實場景和虛擬場景的匹配和合成過程Fig.5 Integrative process of virtual-physical scenes
VR技術在該虛擬裝配系統(tǒng)中的應用主要體現(xiàn)在虛擬手裝配子系統(tǒng)中。在缺乏力反饋的虛擬裝配環(huán)境中,只靠視覺引導來完成裝配不能達到精確裝配的要求,幾何約束引導和虛擬手相配合的裝配方法是在虛擬環(huán)境中提高裝配質量的必要手段[18]。
采用約束代理的方法對約束信息進行表達,從而引導虛擬手完成裝配工作。在虛擬環(huán)境中,基于片面的幾何模型不包含任何的約束信息,圖7[17]中添加在零件上帶有關鍵點坐標信息的線和面等可視化裝配特征成為實體的約束代理,圖7顯示了將約束代理添加到虛擬零件后的情況。在飛機裝配中,軸線和平面約束是最常見的兩種約束,但是CAD系統(tǒng)中軸線或平面約束的選擇在不發(fā)生沖突的情況下是不受限制的,這導致裝配中會產(chǎn)生很多冗余約束信息。在虛擬裝配中,需要對約束組合的所有可能性進行歸納和分析,從而完成裝配約束冗余的分析工作,才能得到較合理的裝配約束作用的順序[19]。
在工作人員執(zhí)行虛擬裝配操作時,虛擬手和操作者手的位姿關系通過數(shù)據(jù)手套保持實時同步。首先,系統(tǒng)需要計算虛擬環(huán)境中被抓取零件的全局位姿矩陣。然后,根據(jù)約束代理與虛擬零件之間的位姿關系,實時計算兩個代理實體之間的相對位置關系。當約束參數(shù)在預設的捕捉誤差(角度或距離)范圍內時,系統(tǒng)自動捕獲約束[19]。根據(jù)約束幾何元素的類型,約束的識別規(guī)則可以分為3種情況:(1)平面—平面:從平面Pa上的點到平面P的距離dp-p;兩個平面的角度θP-P; (2)平面—直線:直線上的點到平面的距離dP-L和他們之間的夾角θP-L; (3)直線—直線:直線上的點到另外一條直線的距離dL-L和他們之間的夾角θL-L。根據(jù)軸線和平面約束特征的組合分析,可知3個非冗余約束完全可以實現(xiàn)對于目標零件的精確定位。這種約束零件的方式在裝配過程中可以高效、快速實現(xiàn)零件精確定位,因此能夠解決裝配過程中零件的多重約束的情況。
在虛擬環(huán)境中創(chuàng)建虛擬手,通過數(shù)據(jù)手套和位置追蹤器(Flock of birds,F(xiàn)OB)建立虛擬手和真實手之間的關系,在約束指導下,虛擬手根據(jù)裝配要求對虛擬部件執(zhí)行平移、抓取和釋放等操作。當虛擬手在執(zhí)行操作時,測試虛擬手與零件之間的碰撞狀態(tài),通過零件的約束狀態(tài)、能夠分析零件約束信息并存儲在約束鏈中。最后,系統(tǒng)測量并根據(jù)誤差要求調整組件和目標部件之間的姿態(tài)關系。在約束的作用下,零件的運動不僅僅由虛擬手驅動,而是在約束函數(shù)的導航下運動。圖8[17]展示了虛擬手在虛擬環(huán)境中的約束指導的裝配。
使用VR技術建立虛擬手并用幾何約束指導虛擬手的運動可以模擬實際裝配工作中的裝配情況。使用AR技術建立增強裝配信息模型可以統(tǒng)一、方便地管理大量分散的裝配信息。使用MR技術建立新的環(huán)境,將虛擬對象和裝配信息匹配并疊加到真實場景中,可以加強虛擬對象和真實對象之間的聯(lián)系,得到加強的空間關系和約束特征給裝配人員提供了一些現(xiàn)實環(huán)境中很難感知或無法得到的信息,大大減少了裝配工作量、提高了裝配質量。
圖6 增強裝配信息模型Fig.6 Augmented information model
圖7 添加約束代理信息的零件Fig.7 Constraint proxies betweentwo parts
圖8 約束指導下的虛擬手裝配Fig.8 Constraint-guided virtual hand assembly
在飛機裝配中,VR技術已得到廣泛應用,如虛擬現(xiàn)實仿真技術、虛擬現(xiàn)實下的裝配工藝規(guī)劃等,給飛機裝配的方案設計和工藝設計提供了有效的驗證和評估手段,同時也給新產(chǎn)品的研制提供了仿真和培訓的途徑。虛擬現(xiàn)實技術能給用戶強烈的沉浸感和互動感,但是構造一個全三維的虛擬環(huán)境通常需要建立大量的三維模型,成本極高,并且全虛擬的環(huán)境無法直接為裝配工人提供直觀、有效的支持。然而,AR技術利用現(xiàn)有的真實裝配環(huán)境和物理模型可以大大減少建模工作量,并且虛擬模型和虛擬信息疊加到真實的裝配場景上能夠給裝配工人更強烈的現(xiàn)實感,集中的裝配信息大大降低了對工作人員視覺空間能力的要求,減少了工作量,給實際裝配工作提供了更有效的輔助手段。
混合現(xiàn)實技術可以將VR和AR有機結合,形成一種更靈活的人機交互技術,基于MR技術建立的虛擬裝配系統(tǒng),可以將VR的高沉浸感、互動感與AR的小規(guī)模建模、高現(xiàn)實感相結合,所提供的全面、集中的信息可以更加直接、有效地指導或輔助裝配工作,減小裝配誤差,提高裝配效率和質量。MR的應用對產(chǎn)品開發(fā)前期的設計、裝配和驗證等有重要的作用,可以大大縮短飛機裝配前置時間,提高飛機裝配效率和質量,節(jié)省大量的成本和資源。
參 考 文 獻
[1]WANG J, CHEN T, LI S, et al.Applying brief algorithm to product assembly guidance based on augmented reality[J].Mechanical Science & Technology for Aerospace Engineering, 2013, 32(2):213-216.
[2]AZUMA R, BAILLOT Y, BEHRINGER R, et al. Recent advances in augmented reality[J].IEEE Computer Graphics & Apprications, 2001,21(6): 34-47
[3]JAYARAM S, JAYARAM U, WANG Y, et al. VADE: a virtual assembly design environment[J]. IEEE Computer Graphics &Applications, 1999, 19(6): 44-50.
[4]JUNG B,LATOSCHIK M,WACHSMUTH I. Knowledge-based assembly simulation for virtual prototype modeling[C]//Proceedings of the 24th Annual Conference of the IEEE Industrial Electronics Society, Aachen,1998.
[5]BROUGH J E, SCHWARTZ M,GUPTA S K, et al. Towards development of a virtual environment-based training system for mechanical assembly operations[J]. Virtual Reality, 2007, 11(4): 189-206.
[6]WAN H G, GAO S M, PENG Q S.VDVAS: an integrated virtual design and virtual assembly environment[J]. Journal of Computer-Aided Design & Computer Graphics, 2002, 7(1):27-35.
[7]CAUDELL T P, MIZELL D W.Augmented reality: an application of head-ups display technology to manual manufacturing processes[C]//Proceedings of International Conference on System Sciences, Hawaii, 1992.
[8]WANG F. Virtual reality simulation and its application on aircraft assembling[J].Journal of Beijing University of Aeronautics &Astronautics, 2001,27(2): 213-216.
[9]SALONEN T, S??SKI J,HAKKARAINEN M, et al. Demonstration of assembly work using augmented reality[C]//Proceedings of the ACM International Conference on Image and Video Retrieval, Amsterdam, 2007.
[10]SALONEN T, S??SKI J,HAKKARAINEN M, et al. Demonstration of assembly work using augmented reality[C]//Proceedings of the ACM International Conference on Image and Video Retrieval, Amsterdam,2007.
[11]畢利文. 虛擬現(xiàn)實技術在飛機裝配工藝規(guī)劃中的應用[C]//中國航空學會.第六屆中國航空學會青年科技論壇文集(上冊).北京: 中國航空學會,2014.BI Liwen. Application of virtual reality technology in aircraft assembly process planning[C]//China Aviation Society. Proceedings of the Sixth China Aviation Institute of Youth Science and Technology Forum (one). Beijing:China Aviation Society, 2014.
[12]周忠,周頤,肖江劍.虛擬現(xiàn)實增強技術綜述[J].中國科學:信息科學, 2015,45(2): 157-180.ZHOU Zhong, ZHOU Yi, XIAO Jiangjian.Review of virtual reality enhancement techniques[J]. Chinese Science: Information Science, 2015, 45(2): 157-180.
[13]陳一民,李啟明,馬德宜,等.增強虛擬現(xiàn)實技術研究及其應用[J].上海大學學報(自然科學版), 2011,17(4): 412-428.CHEN Yimin, LI Qiming,MA Deyi,et al. A survey on augmented reality and its application[J].Journal of Shanghai University (Natural Science Edition) , 2011,17(4): 412-428.
[14]郭天太,王引童.虛擬現(xiàn)實技術與增強現(xiàn)實技術[J].機械制造, 2003,41(6): 7-9.GUO Tiantai, WANG Yintong. Virtual reality and augmented reality[J]. Machinery,2003,41(6): 7-9.
[15]MILGRAM P, KISHINO F. A taxonomy of mixed reality visual displays[J].IEICE Transactions on Information and Systems,1994,E77-D(12): 1321-1329.
[16]SERVáN J, MAS F, MENéNDEZ J L, et al. Using augmented reality in AIRBUS A400M shop floor assembly work instructions[J].American Institute of Physics, 2012,1431(1):633-640.
[17]LI S Q, PENG T, WANG J, et al.Mixed reality-based interactive technology for aircraft cabin assembly[J]. Journal of Mechanical Engineering, 2009, 22(3):403-409.
[18]WANG Y, JAYARAM U, JAYARAM S, et al. Methods and algorithms for constraintbased virtual assembly[J]. Virtual Reality, 2003,6(4): 229-243.
[19]PENG T, SHIQI L I, WANG J F, et al.Research on constraint proxy based virtual hand assembly[J]. Machinery Design & Manufacture,2009.