虛擬現(xiàn)實(shí)技術(shù)在航空智能制造中的應(yīng)用思考與展望

（中航工業(yè)成都飛機(jī)工業(yè)（集團(tuán)）有限責(zé)任公司，成都 610092）

智能制造（Intelligent Manufacturing，IM）已成為我國(guó)制造業(yè)新一輪產(chǎn)業(yè)技術(shù)變革的主要方向，它集合了人工智能、柔性制造、虛擬制造、系統(tǒng)控制、網(wǎng)絡(luò)集成、信息處理等學(xué)科和技術(shù)的發(fā)展[1-2]，由智能裝備、智能控制和智能信息共同組成的人機(jī)一體化制造系統(tǒng)，能夠?qū)崿F(xiàn)各種制造過程自動(dòng)化、智能化、精益化、綠色化，是傳統(tǒng)產(chǎn)業(yè)轉(zhuǎn)型升級(jí)發(fā)展的重要途徑。

人機(jī)結(jié)合、虛實(shí)融合的新一代智能界面是智能制造的一個(gè)顯著特征，主要體現(xiàn)在物理世界與虛擬世界、人與機(jī)器之間的界限進(jìn)一步模糊。虛擬現(xiàn)實(shí)技術(shù)作為一種高級(jí)人機(jī)交互技術(shù)，將在智能制造系統(tǒng)（Intelligent Manufacturing System, IMS）中負(fù)責(zé)提供人與智能設(shè)備之間傳遞、交換信息的媒介和對(duì)話接口。隨著智能制造的向前發(fā)展和虛擬現(xiàn)實(shí)技術(shù)的不斷成熟和進(jìn)步，虛擬現(xiàn)實(shí)必將逐步深入工業(yè)應(yīng)用，充分發(fā)揮其“智能之窗”的作用。

面向航空制造實(shí)際需求，結(jié)合研究團(tuán)隊(duì)對(duì)智能制造規(guī)劃的思考，本文分別從工藝設(shè)計(jì)、車間執(zhí)行及管理3個(gè)方面詳細(xì)闡述虛擬現(xiàn)實(shí)技術(shù)在智能制造中的應(yīng)用思考與展望。

虛擬現(xiàn)實(shí)技術(shù)概述

1 虛擬現(xiàn)實(shí)

虛擬現(xiàn)實(shí)（Virtual Reality，VR）概念最早由美國(guó)VPL Research公司創(chuàng)始人之一的Jaron Lanier在1989年提出，目前在業(yè)界得到了廣泛應(yīng)用。虛擬現(xiàn)實(shí)描述為由交互式計(jì)算機(jī)仿真組成的一種媒體，能夠感知參與者的位置和動(dòng)作，替代或增強(qiáng)一種或多感官反饋，從而產(chǎn)生一種精神沉浸于或出現(xiàn)在仿真環(huán)境（虛擬世界）中的感覺[3]。虛擬現(xiàn)實(shí)應(yīng)用計(jì)算機(jī)技術(shù)創(chuàng)造出了一個(gè)包含三維物體的三維環(huán)境，對(duì)用戶而言，三維環(huán)境中的物體具有強(qiáng)烈的空間存在感，用戶與三維物體之間的交互感和與圖片或電影的感知是完全不同的。虛擬現(xiàn)實(shí)包含4個(gè)關(guān)鍵要素：虛擬世界、沉浸感、感覺反饋以及交互性[4]。根據(jù)用戶參與程度和沉浸感的不同，通常將虛擬現(xiàn)實(shí)系統(tǒng)分為：桌面式虛擬現(xiàn)實(shí)系統(tǒng)、沉浸式虛擬現(xiàn)實(shí)系統(tǒng)、分布式虛擬現(xiàn)實(shí)系統(tǒng)[5]。

虛擬現(xiàn)實(shí)技術(shù)目前已廣泛應(yīng)用于各類領(lǐng)域。在工業(yè)應(yīng)用虛擬環(huán)境中，通過虛擬現(xiàn)實(shí)交互外設(shè)進(jìn)行3D仿真試驗(yàn)，以避免潛在問題，獲得最優(yōu)方案，指導(dǎo)實(shí)際系統(tǒng)的實(shí)施。圖1所示為CAVE虛擬仿真環(huán)境中的加工生產(chǎn)線仿真評(píng)估，系統(tǒng)提供一個(gè)較大的封閉空間，用戶與虛擬世界進(jìn)行交互時(shí)，不會(huì)受到外界的干擾，是較為完善的虛擬現(xiàn)實(shí)系統(tǒng)[6]。

2 增強(qiáng)現(xiàn)實(shí)

圖1 虛擬仿真環(huán)境中的加工生產(chǎn)線仿真評(píng)估Fig.1 Simulation and evaluation of machining production line in virtual environment

增強(qiáng)現(xiàn)實(shí)技術(shù)（Augmented Reality, AR）來源于虛擬現(xiàn)實(shí)技術(shù)，是虛擬現(xiàn)實(shí)技術(shù)的擴(kuò)展。增強(qiáng)現(xiàn)實(shí)技術(shù)將虛擬信息與真實(shí)場(chǎng)景相融合，通過計(jì)算機(jī)系統(tǒng)將虛擬信息通過文字、圖形圖像、聲音、觸覺方式渲染補(bǔ)充至人的感官系統(tǒng)，用以增強(qiáng)用戶對(duì)現(xiàn)實(shí)世界感知的技術(shù)。增強(qiáng)現(xiàn)實(shí)技術(shù)并沒有使用戶完全沉浸在虛擬環(huán)境，使人能夠看到的是虛擬物體合成于真實(shí)環(huán)境中的雙重世界，擴(kuò)大人類的感知能力。AR技術(shù)的關(guān)鍵在虛實(shí)融合、實(shí)時(shí)交互和三維注冊(cè)?！霸鰪?qiáng)現(xiàn)實(shí)”是在1990年初就由波音公司Caudell和Mizell創(chuàng)造的，他們開發(fā)出試驗(yàn)性的AR系統(tǒng)，如圖2所示，頭戴眼鏡上顯示電路圖像和導(dǎo)線類型，用以在工人組裝線路時(shí)提供輔助[7]。同樣，AR可用于復(fù)雜機(jī)械維護(hù)和修理[8]。

3 混合現(xiàn)實(shí)

Milgram和Kishino在1994年發(fā)表的文章中提出的混合現(xiàn)實(shí)概念，源自于對(duì)虛擬-現(xiàn)實(shí)連續(xù)統(tǒng)一體的描述[9]，如圖3所示，真實(shí)環(huán)境和虛擬環(huán)境(Virtual Environment,VE)在兩端中間是混合現(xiàn)實(shí)(Mixed Reality, MR)，包含增強(qiáng)現(xiàn)實(shí)、增強(qiáng)虛擬（Augmented Virtuality, AV）。混合現(xiàn)實(shí)結(jié)合真實(shí)世界和虛擬世界創(chuàng)造了新的可視化環(huán)境，可以實(shí)現(xiàn)真實(shí)世界與虛擬世界的無縫連接。

圖2 波音公司開發(fā)的AR布線試驗(yàn)系統(tǒng)Fig.2 AR wiring test system developed by Boeing company

圖3 虛擬-現(xiàn)實(shí)連續(xù)統(tǒng)一體Fig.3 Virtual - reality continuum

目前，混合現(xiàn)實(shí)技術(shù)的應(yīng)用多處于研發(fā)階段，采用了混合現(xiàn)實(shí)的方法實(shí)施數(shù)據(jù)可視化或操作引導(dǎo)，從而減少實(shí)物模型的制作，減少時(shí)間和成本。Fan等將MR技術(shù)引入汽車內(nèi)飾評(píng)估，通過將汽車車身模型和儀表板模型與真實(shí)汽車方向盤座椅融合，進(jìn)行A立柱視野評(píng)估[10]。

虛擬現(xiàn)實(shí)在航空智能制造的應(yīng)用

1 航空智能制造

針對(duì)未來飛機(jī)快速研制周期和降低生產(chǎn)成本的需求，筆者結(jié)合工廠實(shí)際對(duì)智能制造進(jìn)行了相關(guān)研究與思考，如圖4所示。首先，開展具有動(dòng)態(tài)感知、實(shí)時(shí)分析、自主決策、精準(zhǔn)執(zhí)行為特征的智能制造使能技術(shù)研究，結(jié)合物聯(lián)網(wǎng)、大數(shù)據(jù)和云計(jì)算等新一代信息技術(shù)，圍繞核心價(jià)值鏈進(jìn)行智能制造重點(diǎn)布局，研究智能工藝設(shè)計(jì)與虛擬驗(yàn)證、智能工裝、數(shù)字化測(cè)量、智能物流、生產(chǎn)線/單元/執(zhí)行終端的智能感知與執(zhí)行、智能生產(chǎn)管控、大數(shù)據(jù)深加工與決策分析等方面的關(guān)鍵技術(shù)；再以先進(jìn)工藝方法為主線，既重視自動(dòng)化生產(chǎn)終端與物流系統(tǒng)研究，又解決集成與交互問題，將現(xiàn)場(chǎng)重構(gòu)與管控的多層級(jí)技術(shù)同步研究，引領(lǐng)以流程驅(qū)動(dòng)的裝配、復(fù)材、導(dǎo)管、熱表等專業(yè)的智能生產(chǎn)單元/生產(chǎn)線/車間的建設(shè)，建設(shè)形成成套的智能制造標(biāo)準(zhǔn)、規(guī)范，實(shí)現(xiàn)人、產(chǎn)品、機(jī)器/裝備的深度融合，提升公司核心技術(shù)能力，實(shí)現(xiàn)飛機(jī)未來快速研制和低成本制造。

虛擬現(xiàn)實(shí)技術(shù)的應(yīng)用貫穿于飛機(jī)智能制造的整個(gè)業(yè)務(wù)流程，從制造的上游頂層工藝設(shè)計(jì)延伸到車間執(zhí)行端，并拓展到管理維度。下面從制造流程與管理方法兩個(gè)維度，詳細(xì)闡述虛擬現(xiàn)實(shí)技術(shù)在航空智能制造中的應(yīng)用思考。

2 VR/MR/AR在工藝設(shè)計(jì)層的應(yīng)用

圖4 航空智能制造規(guī)劃思考Fig.4 Research of aerospace intelligent manufacturing

飛機(jī)制造的核心是工藝設(shè)計(jì)，車間的安排及管理是圍繞著這個(gè)看不見的手——工藝優(yōu)化來安排和實(shí)施的。有了標(biāo)準(zhǔn)化的工藝，整個(gè)實(shí)施過程才得以有序而可控。自動(dòng)化的實(shí)施過程是企業(yè)制造工藝在標(biāo)準(zhǔn)化、工藝流程可控、可拓展的前提下進(jìn)行的；自動(dòng)化工藝是圍繞制造工藝實(shí)施的，即：自動(dòng)化僅僅是實(shí)施的手段，但不是最終的目的。因此，工藝設(shè)計(jì)是智能制造的核心，通過把VR/MR/AR技術(shù)深度應(yīng)用于工藝設(shè)計(jì)過程，以提高工藝設(shè)計(jì)的質(zhì)量與效益。

VR/MR/AR在工藝設(shè)計(jì)層的應(yīng)用如圖5所示，主要應(yīng)用于工藝設(shè)計(jì)、工藝評(píng)審、工藝仿真及特設(shè)試驗(yàn)3個(gè)方面，即沉浸式工藝設(shè)計(jì)（Immersive Process Design，IPD）、沉浸式工藝評(píng)審（Immersive Process Review，IPR）、沉 浸 式 工 藝 仿 真（Immersive Process Simulation，IPS）、沉浸式虛擬試驗(yàn)（Immersive Virtual Environment，IVE）。

2.1 沉浸式工藝評(píng)審（IPR）

飛機(jī)裝配工藝評(píng)審主要是針對(duì)設(shè)計(jì)圖樣、數(shù)模、文件等進(jìn)行工藝性審查，協(xié)調(diào)解決工藝性審查中與設(shè)計(jì)部門產(chǎn)生的不同意見，在生產(chǎn)實(shí)施前，通過工藝性審查開展工藝準(zhǔn)備工作。目前，對(duì)產(chǎn)品的工藝審查僅靠人工審查，雖然能很好地理解設(shè)計(jì)規(guī)則，但存在著審查遺漏點(diǎn)多、效率低等弊端。引入虛擬現(xiàn)實(shí)技術(shù)進(jìn)行工藝評(píng)審，工藝人員完成沉浸在虛擬環(huán)境中，與虛擬對(duì)象進(jìn)行自然、直接的交互，從而能夠?qū)υO(shè)計(jì)和制造過程進(jìn)行仿真，可以改變傳統(tǒng)的耗時(shí)費(fèi)力的審查方式，提高工藝審查效率和準(zhǔn)確性，縮短工藝準(zhǔn)備周期。波音787工藝評(píng)審應(yīng)用場(chǎng)景如圖6所示。

2.2 沉浸式工藝仿真（IPS）

飛機(jī)工藝設(shè)計(jì)由“傳統(tǒng)的以經(jīng)驗(yàn)為主的設(shè)計(jì)模式”向“基于建模和仿真的科學(xué)設(shè)計(jì)模式”的轉(zhuǎn)變是其發(fā)展的必然趨勢(shì)。作為先進(jìn)的仿真技術(shù)手段，虛擬現(xiàn)實(shí)技術(shù)與系統(tǒng)仿真方法相結(jié)合，既可以發(fā)揮仿真工具的預(yù)測(cè)能力，同時(shí)用戶也可置身于虛擬世界中，將感受到的信息經(jīng)過思考和分析，從而把人的經(jīng)驗(yàn)融合到仿真過程中，以更好地預(yù)知和決策。

通過集成虛擬現(xiàn)實(shí)技術(shù)與工藝仿真軟件，可構(gòu)建多源信息融合的具有沉浸性、交互性和構(gòu)想性的系統(tǒng)仿真環(huán)境，實(shí)現(xiàn)工藝設(shè)計(jì)人員完全沉浸到該虛擬環(huán)境中進(jìn)行工藝設(shè)計(jì)過程中的各種仿真分析活動(dòng)。典型應(yīng)用包括飛機(jī)工藝數(shù)字樣機(jī)的運(yùn)動(dòng)機(jī)構(gòu)模擬、空間分析與漫游，飛機(jī)全要素虛擬裝配、飛機(jī)裝配過程人機(jī)工程評(píng)估、工藝布局仿真與優(yōu)化、交互式虛擬試驗(yàn)等內(nèi)容。Yang等[11]將VR技術(shù)引入船舶工藝設(shè)計(jì)中，通過對(duì)船舶管系進(jìn)行裝配過程虛擬仿真，實(shí)現(xiàn)管系裝配的裝配干涉檢測(cè)、路徑規(guī)劃、人機(jī)工學(xué)評(píng)估等，該實(shí)踐對(duì)飛機(jī)工藝設(shè)計(jì)具有重要的借鑒意義。

圖5 VR/AR/MR在工藝設(shè)計(jì)層的應(yīng)用Fig.5 Application of VR/AR/MR in aerospace maufacturing process planning

圖6 波音787飛機(jī)工藝評(píng)審Fig.6 Process review of Boeing 787

沉浸式仿真平臺(tái)的一般方案如圖7所示，包括輸入、輸出設(shè)備，仿真軟件以及虛擬現(xiàn)實(shí)引擎。虛擬現(xiàn)實(shí)引擎是任何虛擬現(xiàn)實(shí)系統(tǒng)的關(guān)鍵部分，它從輸入設(shè)備中讀取數(shù)據(jù)，訪問與任務(wù)相關(guān)的數(shù)據(jù)庫，執(zhí)行任務(wù)要求的實(shí)時(shí)計(jì)算，從而實(shí)時(shí)更新虛擬世界的狀態(tài)，并把結(jié)果反饋給輸出顯示設(shè)備。虛擬現(xiàn)實(shí)引擎種類繁多，開源引擎如Open Scene Graph，商業(yè)虛擬現(xiàn)實(shí)引擎如Unity 3D等。目前，虛擬現(xiàn)實(shí)引擎大多都不支持直接讀取CAD數(shù)據(jù)，需要相應(yīng)的轉(zhuǎn)換接口，導(dǎo)致其不能直接與仿真軟件進(jìn)行交互，極大程度上阻礙了虛擬現(xiàn)實(shí)在工業(yè)仿真中的深度應(yīng)用。

3 VR/MR/AR在車間執(zhí)行層的應(yīng)用

3.1 智能增強(qiáng)操作手冊(cè)（ARIM）

目前的操作手冊(cè)普遍以文檔為中心的信息組織方式，采用靜態(tài)文字或 2D 圖形為主進(jìn)行描述，形成電子技術(shù)手冊(cè)（IETM）。IETM替代了傳統(tǒng)的紙質(zhì)出版物，有效地解決了資料的存儲(chǔ)問題，加快了信息檢索的速度，但未能從根本上改變傳統(tǒng)作業(yè)過程中使用信息的方式。

隨著高級(jí)人機(jī)交互技術(shù)的發(fā)展，信息的使用方式也將發(fā)生根本性的變革，AR技術(shù)即是近幾年發(fā)展起來的先進(jìn)人機(jī)交互技術(shù)之一。AR最大的特點(diǎn)在于虛實(shí)的實(shí)時(shí)融合，既提供虛擬信息，同時(shí)也保留了用戶對(duì)現(xiàn)實(shí)環(huán)境直觀透明的觀察，所以使用AR技術(shù)對(duì)真實(shí)環(huán)境進(jìn)行輔助增強(qiáng)，就可以在不干擾原環(huán)境信息的前提下，給予用戶最直觀舒適的感官體驗(yàn)。

在生產(chǎn)現(xiàn)場(chǎng)，針對(duì)飛機(jī)制造過程中復(fù)雜、易出錯(cuò)的操作，引入AR技術(shù)建立智能增強(qiáng)的三維操作手冊(cè)（AR- Intelligent Manual，AR-IM ），例如可將裝配要求、制造要求以及操作指引信息、三維動(dòng)畫等實(shí)時(shí)疊加到物理對(duì)象上，解放作業(yè)人員的雙手，幫助作業(yè)人員理解工作任務(wù)，增強(qiáng)作業(yè)人員認(rèn)知能力，進(jìn)而提高操作效率，減少操作差錯(cuò)，節(jié)約制造成本。ARIM的應(yīng)用場(chǎng)景如圖8、圖9所示，其中圖8為貨物運(yùn)輸AR-IM，通過實(shí)時(shí)引導(dǎo)運(yùn)輸車行進(jìn)方向，提示貨物放置信息，實(shí)現(xiàn)將貨物快速準(zhǔn)確地放到指定位置。圖9為復(fù)雜裝備測(cè)試AR-IM，通過操作信息的虛實(shí)注冊(cè)與遠(yuǎn)程在線指導(dǎo)相結(jié)合，實(shí)現(xiàn)機(jī)電系統(tǒng)的快速測(cè)試。

3.2 智能機(jī)器人系統(tǒng)虛擬監(jiān)控

隨著航空制造自動(dòng)化程度逐漸提高，先進(jìn)飛機(jī)智能機(jī)器人系統(tǒng)類型與數(shù)量也日益增多（例如智能機(jī)器人制孔與焊接系統(tǒng)、智能機(jī)器人搬運(yùn)系統(tǒng)、智能機(jī)器人涂膠系統(tǒng)、智能機(jī)器人噴漆系統(tǒng)、智能對(duì)接裝配系統(tǒng)、智能柔性支撐系統(tǒng)、智能自動(dòng)鉆鉚系統(tǒng)等）。智能機(jī)器人系統(tǒng)的大量引入對(duì)監(jiān)控技術(shù)與手段提出了新的要求，由原來分散式的臨場(chǎng)監(jiān)控逐漸向集中式的遠(yuǎn)程監(jiān)控發(fā)展，即物理世界的監(jiān)控逐漸向虛擬世界的監(jiān)控轉(zhuǎn)變，并最終實(shí)現(xiàn)二者的完全融合。

圖7 沉浸式仿真平臺(tái)一般方案Fig.7 General scheme of immersive simulation platform

圖8 貨物運(yùn)輸AR-IMFig.8 Cargo transportation with AR-IM

圖9 復(fù)雜裝備測(cè)試AR-IMFig.9 Complex equipment test with AR-IM

虛擬現(xiàn)實(shí)技術(shù)的發(fā)展為監(jiān)控技術(shù)注入了新的活力。虛擬現(xiàn)實(shí)系統(tǒng)作為高級(jí)的人機(jī)交互方式，其特有的沉浸感和交互性特征能滿足現(xiàn)有數(shù)字化裝備遠(yuǎn)程監(jiān)控系統(tǒng)在模擬呈現(xiàn)上的不足。通過將虛擬現(xiàn)實(shí)技術(shù)和遠(yuǎn)程監(jiān)控技術(shù)相結(jié)合，構(gòu)建基于虛擬現(xiàn)實(shí)的遠(yuǎn)程監(jiān)控系統(tǒng)，用戶可以身臨其境地對(duì)整個(gè)系統(tǒng)進(jìn)行實(shí)時(shí)的監(jiān)測(cè)與控制：實(shí)時(shí)監(jiān)測(cè)數(shù)字化裝備運(yùn)行狀態(tài)，基于現(xiàn)場(chǎng)數(shù)據(jù)進(jìn)行虛擬仿真，根據(jù)仿真結(jié)果對(duì)裝備進(jìn)行交互式在線控制。此外，通過虛擬監(jiān)控場(chǎng)景中引入實(shí)時(shí)碰撞檢測(cè)，設(shè)定被監(jiān)控對(duì)象之間的碰撞安全距離，可實(shí)現(xiàn)對(duì)現(xiàn)場(chǎng)碰撞事故的提前預(yù)警。

智能自動(dòng)鉆鉚系統(tǒng)的虛擬監(jiān)控應(yīng)用場(chǎng)景如圖10所示，面向系統(tǒng)關(guān)鍵部件，進(jìn)行狀態(tài)監(jiān)測(cè)和故障診斷，通過網(wǎng)絡(luò)化傳感器系統(tǒng)，實(shí)時(shí)采集系統(tǒng)運(yùn)行過程中的振動(dòng)、電流、噪音等信息，對(duì)信息進(jìn)行分析處理，實(shí)現(xiàn)對(duì)關(guān)鍵部件健康狀態(tài)的預(yù)警；系統(tǒng)工作前對(duì)其工作過程進(jìn)行虛擬仿真，確認(rèn)無誤后用戶對(duì)鉆鉚系統(tǒng)進(jìn)行交互控制，鉆鉚系統(tǒng)按照控制指令進(jìn)行工作。

3.3 基于AR的全息索引（ARTII）

飛機(jī)生產(chǎn)現(xiàn)場(chǎng)，不論是裝配車間還是零件制造車間，都存在大量的數(shù)字化裝備、工裝夾具以及零部件。如果工程師需要立即知道某個(gè)零件全部信息（如材料信息、加工信息、表面處理信息、檢驗(yàn)信息等），則需要根據(jù)零件編號(hào)到PDM、ERP等系統(tǒng)手動(dòng)查詢；同理，如果工程人員在現(xiàn)場(chǎng)需要立即知道某數(shù)字化裝備的運(yùn)行狀態(tài)、采購(gòu)時(shí)間、使用時(shí)間、故障履歷等，則需要多個(gè)系統(tǒng)查詢才能獲取全部信息，耗時(shí)耗力。

引入基于AR的全息索引（ARTotal Information Index，AR-TII）技術(shù)，即通過AR技術(shù)，將用戶需要的物理對(duì)象信息，采用文字、動(dòng)畫、圖表等方式，放到物理世界中合適的位置，實(shí)現(xiàn)在物理世界直接“觀看”虛擬世界。隨著信息物理融合的不斷推進(jìn)，未來的車間乃至整個(gè)工廠中每一個(gè)物理對(duì)象，都將其納入互聯(lián)網(wǎng)，其在虛擬世界中存在唯一的身份，從而可通過AR-TII實(shí)現(xiàn)整個(gè)工廠物理對(duì)象信息的快速、便捷、實(shí)時(shí)及完備獲取，幫助工程人員快速做出決策。圖11為AR-TII的設(shè)備運(yùn)行狀態(tài)信息、電路圖等設(shè)計(jì)信息直接疊加到裝備上，實(shí)現(xiàn)維護(hù)人員對(duì)設(shè)備快速診斷和維護(hù)。

圖10 智能自動(dòng)鉆鉚系統(tǒng)的虛擬監(jiān)控應(yīng)用場(chǎng)景Fig.10 Intelligent automatic drilling and riveting system based on virtual supervisory

3.4 基于VR/AR/MR的操作培訓(xùn)

（1）基于VR的操作培訓(xùn)系統(tǒng)（VR-TS）。和課堂教學(xué)、現(xiàn)場(chǎng)培訓(xùn)相比，VR-TS具有明顯優(yōu)勢(shì)：具有立體、系統(tǒng)、客觀、可重復(fù)性的特點(diǎn)，可實(shí)現(xiàn)沉浸式操作演示、交互式操作體驗(yàn)和技能考核等功能。通過VRTS，培訓(xùn)人員可提高感性認(rèn)識(shí)和實(shí)際操作動(dòng)手能力，以最少的可重復(fù)利用的物質(zhì)投入，實(shí)現(xiàn)系統(tǒng)化的全面的人員培訓(xùn)，對(duì)一些復(fù)雜裝配操作以及數(shù)字化裝備的操作培訓(xùn)等。

（2）基于AR的誘導(dǎo)式培訓(xùn)系統(tǒng)（AR-TS）。目前，純虛擬現(xiàn)實(shí)系統(tǒng)在力等觸覺反饋方面仍處于研究階段，對(duì)于強(qiáng)調(diào)觸覺、力反饋的操作，可以采用AR技術(shù)來構(gòu)造誘導(dǎo)式的培訓(xùn)系統(tǒng)。圖12為上海交通大學(xué)系統(tǒng)仿真與虛擬現(xiàn)實(shí)實(shí)驗(yàn)室（SS&VR）開發(fā)的誘導(dǎo)式培訓(xùn)系統(tǒng)，培訓(xùn)人員根據(jù)預(yù)置的工藝指令，逐步操作，操作過程中通過虛實(shí)注冊(cè)技術(shù)將虛擬對(duì)象放置在真實(shí)世界中的正確位置，并同時(shí)提供操作輔助信息，引導(dǎo)培訓(xùn)人員進(jìn)行操作。

圖11 基于AR的全息索引Fig.11 Entire manufacturing information index based on AR

（3）基于MR的操作培訓(xùn)系統(tǒng)（MR-TS）。圖13為SS&VR實(shí)驗(yàn)室開發(fā)的基于MR的行車虛擬操作培訓(xùn)系統(tǒng)，系統(tǒng)采用半實(shí)物仿真方案，控制部分采用真實(shí)裝置，顯示部分采用虛擬現(xiàn)實(shí)技術(shù)，即操作裝置為真實(shí)操作裝置，行車虛擬操作培訓(xùn)訓(xùn)練場(chǎng)景為3D虛擬環(huán)境，培訓(xùn)人員通過在不同虛擬場(chǎng)景中反復(fù)訓(xùn)練，通過考核后方可進(jìn)行實(shí)際操作，極大地降低了培訓(xùn)成本的同時(shí)，提高了培訓(xùn)質(zhì)量和效率。

4 VR/MR/AR在管理層的應(yīng)用

基于信息互聯(lián)（CPS）的智能管控平臺(tái)是智能工廠的“大腦”，工廠內(nèi)部所有資源、數(shù)據(jù)的運(yùn)行和使用均通過“大腦”進(jìn)行分析、判斷、管理和控制。智能管控平臺(tái)包括智能制造執(zhí)行管理、智能物流管理及智能生產(chǎn)監(jiān)控，其構(gòu)建的基礎(chǔ)是企業(yè)資源管理系統(tǒng)（ERP）、制造執(zhí)行系統(tǒng)（MES）、生產(chǎn)計(jì)劃系統(tǒng)（PPS）、產(chǎn)品數(shù)據(jù)管理系統(tǒng)（PDM）等的建立，以實(shí)現(xiàn)對(duì)工廠內(nèi)部設(shè)備運(yùn)行數(shù)據(jù)、生產(chǎn)資料狀態(tài)數(shù)據(jù)、物流系統(tǒng)運(yùn)轉(zhuǎn)數(shù)據(jù)實(shí)時(shí)監(jiān)控，對(duì)工廠內(nèi)部系統(tǒng)運(yùn)轉(zhuǎn)過程中面臨的生產(chǎn)資源調(diào)配、設(shè)備故障預(yù)警、設(shè)備運(yùn)轉(zhuǎn)效率、工廠經(jīng)營(yíng)指標(biāo)等開展統(tǒng)計(jì)、分析、優(yōu)化、決策；另一方面，智能管控平臺(tái)還將不斷獲取真實(shí)工廠的運(yùn)行信息來驅(qū)動(dòng)虛擬工廠的運(yùn)行，將依據(jù)虛擬工廠的運(yùn)行反饋情況來決策對(duì)真實(shí)工廠的控制。

圖12 基于AR的誘導(dǎo)式培訓(xùn)系統(tǒng)Fig.12 Induction training system based on AR

圖13 基于MR的行車虛擬操作培訓(xùn)系統(tǒng)Fig.13 Virtual operation training system of bridge crane based on MR

目前，國(guó)內(nèi)部分單位已開發(fā)了車間級(jí)的智能管控中心雛形，構(gòu)建了與現(xiàn)實(shí)車間同步運(yùn)行的虛擬車間，實(shí)現(xiàn)對(duì)車間內(nèi)部設(shè)備運(yùn)行數(shù)據(jù)、生產(chǎn)狀態(tài)數(shù)據(jù)的實(shí)時(shí)監(jiān)控，從而對(duì)生產(chǎn)資源數(shù)據(jù)、設(shè)備運(yùn)轉(zhuǎn)效率、工廠經(jīng)營(yíng)指標(biāo)等開展統(tǒng)計(jì)、分析，并正在逐步引入VR技術(shù)構(gòu)建虛擬工廠與物理工廠之間的人機(jī)交互智能接口，朝著智慧工廠更近一步發(fā)展?；赩R技術(shù)構(gòu)建的智能管控平臺(tái)應(yīng)用場(chǎng)景如圖14所示。

虛擬現(xiàn)實(shí)在航空智能制造中的應(yīng)用實(shí)踐

面向智能制造的發(fā)展趨勢(shì)，研究團(tuán)隊(duì)在虛擬現(xiàn)實(shí)技術(shù)在工藝仿真方面的深度應(yīng)用方面進(jìn)行了相關(guān)的實(shí)踐。通過建立“人在回路”的沉浸式裝配仿真平臺(tái)（Immersive Assembly Simulation Platform, IASP），將該平臺(tái)與裝配相關(guān)的仿真軟件工具結(jié)合，構(gòu)建多源信息融合的具有沉浸性、交互性和構(gòu)想性的系統(tǒng)仿真環(huán)境，實(shí)現(xiàn)工藝設(shè)計(jì)人員完全沉浸到該虛擬環(huán)境中進(jìn)行工藝設(shè)計(jì)過程中的各種仿真分析活動(dòng)，提升工藝設(shè)計(jì)水平。未來，IASP通過與機(jī)器人等數(shù)字化裝備進(jìn)行虛實(shí)融合，研究航空數(shù)字化裝備的智能化遠(yuǎn)程虛擬監(jiān)控技術(shù)；通過該平臺(tái)與生產(chǎn)大數(shù)據(jù)融合，研究飛機(jī)生產(chǎn)過程中的智能管控技術(shù)，最終提高公司的智能制造水平。

圖14 智能管控平臺(tái)應(yīng)用場(chǎng)景Fig.14 Intelligent control platform based on VR

圖15 IASP總體方案Fig.15 IASP overall plan

面向航空制造的IASP平臺(tái)的總體方案如圖15所示，它有別于一般的沉浸式仿真，主要區(qū)別體現(xiàn)在IASP不需要虛擬現(xiàn)實(shí)數(shù)據(jù)轉(zhuǎn)換接口，可實(shí)現(xiàn)CAD數(shù)據(jù)直接應(yīng)用。IASP采用單通道主動(dòng)立體技術(shù)，結(jié)合航空制造廣泛采用的設(shè)計(jì)與仿真軟件CATIA、DELMIA，對(duì)其虛擬現(xiàn)實(shí)模塊進(jìn)行相應(yīng)的二次開發(fā)，將其直接作為虛擬現(xiàn)實(shí)引擎，同時(shí)它又是裝配工藝仿真的主要軟件，從而實(shí)現(xiàn)虛擬現(xiàn)實(shí)引擎與仿真軟件完全融合，避免了各種繁瑣的數(shù)據(jù)轉(zhuǎn)換，最終實(shí)現(xiàn)虛擬現(xiàn)實(shí)技術(shù)在裝配工藝仿真上的深度應(yīng)用。

IASP詳細(xì)設(shè)計(jì)方案如圖16所示，虛擬現(xiàn)實(shí)立體投影系統(tǒng)為單通道正投主動(dòng)立體方式，采用主動(dòng)立體投影機(jī)實(shí)現(xiàn)主動(dòng)立體顯示，主動(dòng)立體方式通過投影儀以120Hz的刷新率交替顯示左右眼圖像，通過發(fā)射器發(fā)射信號(hào)控制眼鏡液晶層開關(guān)信號(hào)狀態(tài)，讓3D眼睛和屏幕之間實(shí)現(xiàn)精確同步以實(shí)現(xiàn)左右眼兩幅圖像的交替顯示，從而產(chǎn)生立體效果。

結(jié)束語

隨著兩化融合的逐步深入，不可避免地引入虛擬現(xiàn)實(shí)技術(shù)助推智能制造邁向虛擬完全融合的終極目標(biāo)。本文正是從智能制造的角度出發(fā)，論述了虛擬現(xiàn)實(shí)在智能制造系統(tǒng)中作為“智能之窗”的基礎(chǔ)支撐作用，并結(jié)合智能制造規(guī)劃，從技術(shù)與管理兩個(gè)維度，工藝設(shè)計(jì)與車間執(zhí)行兩個(gè)層次，闡述了虛擬現(xiàn)實(shí)技術(shù)在航空智能制造中的應(yīng)用思考與展望。

圖16 IASP詳細(xì)方案Fig.16 IASP detailed design

[1]SETOYA H. History and review of the IMS (Intelligent Manufacturing System)[C]//Prcoceedings of 2011 International Conference on Mechatronics and Automation (ICMA). IEEE Computer Society, 2011:30-33.

[2]朱劍英. 智能制造的意義、技術(shù)與實(shí)現(xiàn)[J]. 航空制造技術(shù), 2013 (S2):1-6.ZHU Jianying. The significance, technology and realization of intelligent manufacturing[J].Aeronautical Manufacturing Technology, 2013(S2):1-6.

[3]BURDEA G C. 虛擬現(xiàn)實(shí)技術(shù)[M]. 北京:電子工業(yè)出版社，2005.BURDEA G C. Virtual reality technology[M]. Beijing: Publishing House of Electronics Industry, 2005.

[4]WILLIAM R S. 虛擬現(xiàn)實(shí)系統(tǒng)：接口、應(yīng)用與設(shè)計(jì)[M]. 北京:電子工業(yè)出版社, 2004.WILLIAM R S. Virtual reality system:interface, application and design[M]. Beijing:Publishing House of Electronics Industry, 2004.

[5]莊春華. 虛擬現(xiàn)實(shí)技術(shù)及其應(yīng)用[M].北京:電子工業(yè)出版社, 2010.ZHUANG Chunhua. Virtual reality technology and its application[M]. Beijing:Publishing House of Electronics Industry, 2010.

[6]DOROZHKIN D V, VANCE J M,REHN G D, et al. Coupling of interactive manufacturing operations simulation and immersive virtual reality[J]. Virtual Reality, 2012,16(1):15-23.

[7]AZUMA R T. A survey of augmented reality[J]. Presence Teleoperators & Virtual Environments, 1996, 6(4):355-385.

[8]DANGELMAIER W, FISCHER M,GAUSEMEIER J, et al. Virtual and augmented reality support for discrete manufacturing system simulation[J]. Computers in Industry, 2005,56(4):371-383.

[9]MILGRAM P, KISHINO F. A taxonomy of mixed reality visual displays[J].IEICE Transactions on Information & Systems,1994(12):1321-1329.

[10]QIU S, JING X, FAN X, et al. Using AR technology for automotive visibility and accessibility assessment[C]// Prcoceedings of 2011 international conference on virtual reality and visualization. IEEE Computer Society,2011:217-224.

[11]YANG R D, FAN X M, WU D L, et al.Virtual assembly technologies based on constraint and DOF analysis[J]. Robotics and Computer-Integrated Manufacturing, 2007, 23(4):447-456.