AR設(shè)備在直升機(jī)保障領(lǐng)域的應(yīng)用研究

陳 鑫， 辛 冀

(航空工業(yè)直升機(jī)設(shè)計(jì)研究所，江西 景德鎮(zhèn) 333001)

隨著現(xiàn)代直升機(jī)技術(shù)的不斷進(jìn)步，直升機(jī)已出現(xiàn)在各國(guó)的裝備列表中。其作為一種重要的民用裝備或軍用裝備，已體現(xiàn)出如運(yùn)輸、通信、搜救、反潛、救護(hù)、武裝、電子戰(zhàn)等方方面面的作用，并且展現(xiàn)出越來(lái)越重要的社會(huì)價(jià)值、經(jīng)濟(jì)價(jià)值和軍事價(jià)值。為保證直升機(jī)能夠充分發(fā)揮作用，其維修與保障能力是基礎(chǔ)，這種能力對(duì)直升機(jī)的完好率、再次出動(dòng)能力等戰(zhàn)斗力指標(biāo)的影響巨大。而隨著直升機(jī)的功能日益增多，裝備越來(lái)越復(fù)雜，直升機(jī)的維修保障能力已凸顯出一些不足之處，基于增強(qiáng)現(xiàn)實(shí)技術(shù)(Augmented Reality，AR)的維修輔助設(shè)備的出現(xiàn)可以有效解決這個(gè)問(wèn)題[1]。

AR作為虛擬現(xiàn)實(shí)技術(shù)(Virtual Reality，VR)的一個(gè)重要分支，近年來(lái)已經(jīng)成為科技進(jìn)步過(guò)程中研究的熱點(diǎn)[2-3]。通過(guò)計(jì)算機(jī)將圖形圖像和數(shù)據(jù)交互技術(shù)結(jié)合構(gòu)建虛擬模型，再將虛擬模型映照入現(xiàn)實(shí)場(chǎng)景中，AR技術(shù)保證了使用者在實(shí)際應(yīng)用中可以將兩種來(lái)源的信息互相補(bǔ)充，增強(qiáng)了使用者對(duì)真實(shí)信息所感知的信息量與理解程度，從而可以獲得更多的信息來(lái)輔助工作[4]。這種技術(shù)對(duì)于直升機(jī)的現(xiàn)場(chǎng)維修保障能力的適用性強(qiáng)，能有效地幫助機(jī)務(wù)人員對(duì)裝備原理進(jìn)行了解和快速上手維修保障。

歐美等發(fā)達(dá)國(guó)家對(duì)增強(qiáng)現(xiàn)實(shí)技術(shù)的研究較早。美國(guó)波音公司的Tom Caudell和其同事在20世紀(jì)90年代初期首次提出將AR技術(shù)應(yīng)用到輔助布線系統(tǒng)中，之后又用于飛機(jī)制造中連接器的裝配和電力線纜的連接[5]。曾有報(bào)道顯示，DART 510型航空發(fā)動(dòng)機(jī)由于應(yīng)用了AR技術(shù)，其維修時(shí)間減少了56%。NASA在JPL實(shí)驗(yàn)室中提出過(guò)使用仿真圖像在視頻圖像上疊加增強(qiáng)的方法來(lái)克服操作中時(shí)延的問(wèn)題，經(jīng)驗(yàn)證節(jié)約了50%的操作時(shí)間。2013年，新加波Zhu等[6]開(kāi)發(fā)了可編程的環(huán)境感知AR系統(tǒng)(Authorable Context-Awareaugmented Reality System，ACARS)。2015年6月，NASA將微軟的AR產(chǎn)品Hololen眼鏡納入Sidekick項(xiàng)目的關(guān)鍵工具，它能夠讓宇航員在太空快速掌握空間站維修的能力，縮短訓(xùn)練時(shí)間，適應(yīng)空間站的環(huán)境[7]。意大利Univet公司在2017年發(fā)布了Univet5.0增強(qiáng)現(xiàn)實(shí)眼鏡，實(shí)現(xiàn)了鏡片的可替換性。

國(guó)內(nèi)AR技術(shù)由于起步較晚，目前還未在軍事領(lǐng)域中廣泛使用，但在一些民用復(fù)雜設(shè)備的維修和工業(yè)生產(chǎn)方面取得了一定進(jìn)展。2000年，王涌天等[8-10]將AR技術(shù)成功應(yīng)用于圓明園景觀數(shù)字重現(xiàn)。2017年，李佳寧[11]對(duì)AR系統(tǒng)中VSLAM技術(shù)的應(yīng)用進(jìn)行了深入的研究。白柯萌等[12]利用PST跟蹤儀和AR頭盔，結(jié)合手勢(shì)識(shí)別和語(yǔ)音技術(shù)，研發(fā)了一套基于多傳感器融合式AR系統(tǒng)。2019年，陳麗等[13]利用AR技術(shù)在沒(méi)有實(shí)驗(yàn)條件的情況下實(shí)現(xiàn)了“對(duì)平板電視檢測(cè)與維修”這一知識(shí)點(diǎn)的教學(xué)并獲得成功。2020年，崔海青等[14]基于Hololens設(shè)備開(kāi)發(fā)了一套數(shù)字化飛機(jī)增強(qiáng)現(xiàn)實(shí)教學(xué)平臺(tái)，提升了教學(xué)效果和學(xué)生的積極性。

AR技術(shù)在國(guó)內(nèi)逐漸趨于成熟，其在軍用直升機(jī)維修與綜合保障領(lǐng)域的前景一片大好。本文結(jié)合AR維修輔助設(shè)備所需的關(guān)鍵技術(shù)，根據(jù)直升機(jī)保障現(xiàn)況闡述了AR維修輔助設(shè)備將應(yīng)用于哪些直升機(jī)維修與綜合保障的場(chǎng)景；根據(jù)保障場(chǎng)景的構(gòu)建，闡述了目前AR設(shè)備在直升機(jī)維修保障方面的優(yōu)勢(shì)；最后對(duì)AR維修輔助設(shè)備的不足與未來(lái)發(fā)展趨勢(shì)進(jìn)行了分析。

1 AR維修輔助設(shè)備關(guān)鍵技術(shù)

1.1 跟蹤注冊(cè)技術(shù)

跟蹤注冊(cè)技術(shù)是AR維修輔助設(shè)備中最難實(shí)現(xiàn)的技術(shù)、目前AR技術(shù)的發(fā)展大都是圍繞著跟蹤注冊(cè)技術(shù)發(fā)展。所謂跟蹤注冊(cè)技術(shù)，是指將虛擬物體并入真實(shí)環(huán)境的坐標(biāo)系中，讓使用者能夠通過(guò)AR設(shè)備看到虛擬物體的存在，并且隨著使用者的視角轉(zhuǎn)換，虛擬物體能夠自然實(shí)時(shí)準(zhǔn)確地融入到現(xiàn)實(shí)場(chǎng)景中。隨著計(jì)算能力的提升和攝像頭的便攜化，基于視覺(jué)的跟蹤注冊(cè)方法逐漸成為主流，以此為基礎(chǔ)產(chǎn)生了3種算法原理不同的位姿跟蹤和估計(jì)方法，即基于平面標(biāo)志的跟蹤注冊(cè)、基于視覺(jué)定位與地圖構(gòu)建的無(wú)標(biāo)志跟蹤注冊(cè)(Visual Simultaneous Localization and Mapping，VSLAM)和基于三維物體的跟蹤注冊(cè)。

早期實(shí)用化和商業(yè)化AR維修輔助設(shè)備中的跟蹤注冊(cè)技術(shù)為基于平面標(biāo)志的跟蹤注冊(cè)技術(shù)。如2007年美國(guó)空軍為探索和評(píng)估AR系統(tǒng)在裝備和維修保障中的可行性，開(kāi)發(fā)的維修保障AR研究計(jì)劃ARMAR原型機(jī)，以及2013年在阿爾及利亞先進(jìn)技術(shù)發(fā)展中心，針對(duì)光伏太陽(yáng)能水泵維修問(wèn)題，開(kāi)發(fā)的基于AR的光伏水泵維修系統(tǒng)ARPPSM等。這些設(shè)備都采用了平面標(biāo)志和傳感器相結(jié)合的跟蹤方法，根據(jù)標(biāo)志物特定的幾何或光譜特征來(lái)識(shí)別跟蹤現(xiàn)實(shí)場(chǎng)景。另外基于ARToolKit、FLARToolKit、SLARToolKit、ARTag等開(kāi)源平臺(tái)開(kāi)發(fā)的AR應(yīng)用系統(tǒng)，也均為利用封裝好的復(fù)雜標(biāo)志物圖像處理和數(shù)字符號(hào)處理數(shù)據(jù)庫(kù)，來(lái)實(shí)現(xiàn)現(xiàn)實(shí)場(chǎng)景的快速跟蹤注冊(cè)[15]。但基于標(biāo)志物的跟蹤注冊(cè)技術(shù)具有一定的局限性，即標(biāo)志物必須一直在現(xiàn)實(shí)場(chǎng)景中放置，以便于記錄其與對(duì)象的相對(duì)關(guān)系，在視角范圍內(nèi)，標(biāo)志物必須全程可見(jiàn)，一旦離開(kāi)，就不能繼續(xù)進(jìn)行跟蹤注冊(cè)工作[16-17]。

Klinker等[18]在2011年提出了PTAM算法，開(kāi)始了對(duì)無(wú)標(biāo)志跟蹤注冊(cè)技術(shù)的研究。無(wú)標(biāo)志跟蹤注冊(cè)主要指，在攝像機(jī)與現(xiàn)實(shí)場(chǎng)景的相對(duì)運(yùn)動(dòng)過(guò)程中，通過(guò)對(duì)攝像機(jī)拍攝的連續(xù)圖像視頻來(lái)提取現(xiàn)實(shí)場(chǎng)景的自然特征并匹配，實(shí)時(shí)地計(jì)算出攝像機(jī)與現(xiàn)實(shí)場(chǎng)景的位置和姿態(tài)，從而調(diào)整虛擬物體在使用者眼中的狀態(tài)，進(jìn)行虛實(shí)融合。這個(gè)過(guò)程一般采用VSLAM技術(shù)來(lái)實(shí)現(xiàn)。其流程如圖1所示，包括離線處理和在線注冊(cè)兩個(gè)階段。如微軟的HoloLen眼鏡就是通過(guò)單目和RGB-D的VSLAM算法來(lái)準(zhǔn)確顯示虛擬界面的。

此外，基于三維物體的跟蹤注冊(cè)技術(shù)主要應(yīng)用于運(yùn)動(dòng)場(chǎng)景，用于對(duì)三維物體進(jìn)行檢測(cè)、識(shí)別和跟蹤[19]。目前主流的方法是在模板上提取物體邊緣方向，之后與待檢測(cè)圖像進(jìn)行比對(duì)的模板匹配方法。隨著計(jì)算機(jī)技術(shù)的發(fā)展，現(xiàn)在也出現(xiàn)了通過(guò)深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)方法來(lái)區(qū)分圖像較高層次特征的方法，以此進(jìn)行物體檢測(cè)和識(shí)別[20]。基于此種原理的跟蹤注冊(cè)方法基本不會(huì)用在直升機(jī)后勤保障過(guò)程中，此處不多贅述。

圖1 無(wú)標(biāo)志跟蹤注冊(cè)過(guò)程

1.2 維修引導(dǎo)及人機(jī)交互技術(shù)

在用于維修輔助作業(yè)的AR維修輔助設(shè)備中，維修引導(dǎo)信息主要是指融入進(jìn)現(xiàn)實(shí)場(chǎng)景中，為用戶(hù)提供信息提示的注冊(cè)內(nèi)容，包括標(biāo)志、文字、圖像、音頻、視頻等[21]。這些注冊(cè)的信息內(nèi)容主要來(lái)自于交互式電子手冊(cè)，包括二維和三維兩種信息模式[22]。二維信息如文字、圖片和視頻等在AR用戶(hù)界面中以二維的文字貼圖方式疊加渲染，為使用者提供包括設(shè)備名稱(chēng)、用途、維修所需工具、維修流程、注意事項(xiàng)等內(nèi)容[23]。三維信息主要包括維修操作對(duì)象設(shè)備模型和操作工具模型，在AR維修輔助設(shè)備中以三維模型的方式在現(xiàn)實(shí)場(chǎng)景中進(jìn)行疊加渲染，為使用者提供除所需的二維信息外更詳細(xì)直觀的內(nèi)容，如工具設(shè)備的幾何模型、空間位姿信息和用戶(hù)的引導(dǎo)路徑信息。

AR維修輔助設(shè)備的人機(jī)交互方式主要分為兩種，分別為人體動(dòng)作識(shí)別方式和語(yǔ)音識(shí)別方式[24]，針對(duì)直升機(jī)設(shè)備工具的維修可更加細(xì)化為裸手動(dòng)作識(shí)別和語(yǔ)音識(shí)別，兩種方式應(yīng)該都為可用狀態(tài)，以使使用者選擇更舒適的方式[25]。裸手動(dòng)作識(shí)別，可以對(duì)維修引導(dǎo)信息進(jìn)行翻頁(yè)、選擇、拉伸、旋轉(zhuǎn)、縮放等操作[26]，同時(shí)，不影響使用者手部的自然操作，對(duì)使用者的觸覺(jué)感知不產(chǎn)生干擾。裸手識(shí)別因?yàn)樯婕暗街讣狻⑼蟛康炔煌课坏膭?dòng)作識(shí)別，因而是一個(gè)復(fù)雜的模式識(shí)別問(wèn)題。單攝像頭可以識(shí)別用戶(hù)簡(jiǎn)單的手勢(shì)交互，雙攝像頭或多攝像頭通過(guò)三維視覺(jué)以及內(nèi)部算法可以提取手部的三維特征，從而對(duì)使用者復(fù)雜的手勢(shì)操作進(jìn)行識(shí)別，解決部分遮擋問(wèn)題，并添加現(xiàn)實(shí)場(chǎng)景深度信息。

1.3 交互式電子手冊(cè)(IETM)技術(shù)

面向使用者展開(kāi)的維修引導(dǎo)界面以及人機(jī)交互界面的信息主要來(lái)自于所需要維護(hù)的設(shè)備及工具的維護(hù)手冊(cè)、器材目錄或者生產(chǎn)試驗(yàn)的樣機(jī)數(shù)據(jù)等，這些數(shù)據(jù)各有其不同的來(lái)源和類(lèi)型[27]。如目前的建模軟件就包括了CATIA、Solidworks、Pro/E、CAXA等[28]，不同軟件的模型文件也各不相同，為了讓使用者能夠正確讀取并應(yīng)用這些文件，必須將維修所需的技術(shù)資料按照統(tǒng)一的格式存儲(chǔ)在數(shù)據(jù)庫(kù)中[29]，使雜亂的信息得到管理，并能順利與使用者進(jìn)行交互，這種技術(shù)就是交互式電子手冊(cè)技術(shù)(IETM)[30]。當(dāng)使用者通過(guò)維修引導(dǎo)界面進(jìn)行信息檢索時(shí)，通過(guò)IETM技術(shù)，能夠?qū)⑹褂谜咚枰男畔⑷缥淖?、圖像、音頻、視頻、圖紙、三維模型等以最優(yōu)的方式呈現(xiàn)出來(lái)[31]。目前，IETM技術(shù)已經(jīng)相對(duì)成熟，已在直升機(jī)產(chǎn)品和其他軍用產(chǎn)品中廣泛應(yīng)用，使用者可直接采用現(xiàn)有的研究成果。

1.4 實(shí)時(shí)反饋與使用評(píng)價(jià)技術(shù)

AR系統(tǒng)實(shí)時(shí)反饋技術(shù)是AR維修輔助設(shè)備在應(yīng)用中必不可少的一部分。使用AR維修輔助設(shè)備進(jìn)行設(shè)備維修輔助過(guò)程中，難免存在一些問(wèn)題，如電子手冊(cè)中維修引導(dǎo)內(nèi)容與實(shí)際維修設(shè)備不一致、所需維修信息缺乏、維修引導(dǎo)方式用戶(hù)不適應(yīng)等。當(dāng)發(fā)現(xiàn)這些問(wèn)題時(shí)，需要將問(wèn)題反饋給設(shè)計(jì)人員進(jìn)行更改調(diào)整，可選用在線反饋和離線反饋兩種方式。在線反饋可將問(wèn)題實(shí)時(shí)反饋給設(shè)計(jì)方，但不能解決軍工系統(tǒng)中的保密問(wèn)題。因此，可以選用離線反饋。在用戶(hù)界面中設(shè)置反饋通道，將問(wèn)題實(shí)時(shí)記錄，待設(shè)備使用完畢后，通過(guò)專(zhuān)用途徑反饋相應(yīng)問(wèn)題。

針對(duì)AR設(shè)備本身的性能優(yōu)劣評(píng)價(jià)也是AR關(guān)鍵技術(shù)之一，如ARMAR系統(tǒng)原型機(jī)就曾通過(guò)直觀度、滿(mǎn)意度和舒適度來(lái)衡量一個(gè)AR系統(tǒng)的性能優(yōu)劣。我國(guó)趙守偉等[4]為研究這一關(guān)鍵技術(shù)，通過(guò)實(shí)驗(yàn)室搭建了一套AR系統(tǒng)，從直觀度、舒適度、滿(mǎn)意度和故障排除時(shí)間等方面，對(duì)AR系統(tǒng)進(jìn)行了主客觀評(píng)價(jià)，從而可以定量描述AR技術(shù)在復(fù)雜裝備中的維修效果，但目前還存在故障樣本不具有廣泛性、參評(píng)人員不足等問(wèn)題。這些關(guān)鍵問(wèn)題，還需要隨著AR設(shè)備的普及化，逐漸攻克。

1.5 4種技術(shù)的內(nèi)在聯(lián)系

AR維修輔助設(shè)備在服務(wù)于直升機(jī)維修輔助人員的過(guò)程中，需要有跟蹤注冊(cè)技術(shù)、維修引導(dǎo)及人機(jī)交互技術(shù)、IETM技術(shù)和實(shí)時(shí)反饋與使用評(píng)價(jià)技術(shù)這4種技術(shù)的支持。4種技術(shù)各有其應(yīng)用范圍，也有其內(nèi)在的聯(lián)系，它們相互支撐，缺一不可。4種技術(shù)的內(nèi)在聯(lián)系如圖2所示。

圖2 4種技術(shù)內(nèi)在聯(lián)系

根據(jù)使用過(guò)程將AR維修輔助設(shè)備劃分為3個(gè)層次：基礎(chǔ)層、應(yīng)用層和現(xiàn)實(shí)層。IETM技術(shù)位于基礎(chǔ)層，是AR設(shè)備的基礎(chǔ)，也是其他技術(shù)應(yīng)用的數(shù)據(jù)來(lái)源。使用者或管理員需要預(yù)先將所需維修設(shè)備的詳細(xì)數(shù)據(jù)信息以規(guī)定的格式錄入其中，以便其他技術(shù)應(yīng)用時(shí)進(jìn)行數(shù)據(jù)提取。IETM與使用者之間的聯(lián)系橋梁是通過(guò)跟蹤注冊(cè)技術(shù)和維修引導(dǎo)及人機(jī)交互技術(shù)來(lái)實(shí)現(xiàn)的。跟蹤注冊(cè)技術(shù)是最難實(shí)現(xiàn)的技術(shù)，它可以將現(xiàn)實(shí)世界中的物體與數(shù)據(jù)庫(kù)中的記載聯(lián)系起來(lái)，并隨著使用者視線的移動(dòng)實(shí)時(shí)跟蹤。在此基礎(chǔ)上，維修引導(dǎo)技術(shù)以使用者眼中的跟蹤目標(biāo)為核心展開(kāi)該目標(biāo)的維修方式，展開(kāi)方式則由人機(jī)交互技術(shù)來(lái)實(shí)現(xiàn)。與此同時(shí)，維修方式中所注明并在現(xiàn)實(shí)場(chǎng)景中出現(xiàn)的維修工具設(shè)備，會(huì)由跟蹤注冊(cè)技術(shù)再次跟蹤，循環(huán)往復(fù)，直到使用者維修工作結(jié)束。

目前國(guó)內(nèi)AR輔助維修設(shè)備發(fā)展還不成熟，因此實(shí)時(shí)反饋與使用評(píng)價(jià)技術(shù)的存在是必要的。作為其他3種技術(shù)的監(jiān)督機(jī)制，它可以為廠家反饋使用者遇到的問(wèn)題和困難，從而對(duì)AR設(shè)備其他3項(xiàng)技術(shù)進(jìn)行改進(jìn)，以便對(duì)維修保障工作提供更強(qiáng)大的技術(shù)支持。

2 直升機(jī)維修保障中的使用場(chǎng)景假定

直升機(jī)基層級(jí)維修檢查按照飛行時(shí)間劃分，主要分為日常檢查和定期檢查。AR維修輔助設(shè)備可貫穿于整個(gè)維修保障過(guò)程中，輔助使用者的整個(gè)維修保障過(guò)程。此外，還可以協(xié)助進(jìn)行維修人員的培訓(xùn)。下面以某型直升機(jī)為例進(jìn)行具體分析。

2.1 日常檢查

直升機(jī)日常檢查以飛行的時(shí)間為分界線，一般可以分為3個(gè)階段：飛行前檢查、再次出動(dòng)準(zhǔn)備檢查和飛行后檢查。這3個(gè)階段的日常檢查以目視檢查為主。AR維修輔助設(shè)備的使用者，通過(guò)在眼前顯示的用戶(hù)界面，選擇相應(yīng)的維修輔助過(guò)程。如選擇飛行前檢查，使用者眼前會(huì)出現(xiàn)飛行前檢查所需要的全部程序，包括狀態(tài)檢查、安裝固定檢查、泄露檢查、部件間隙檢查、清潔檢查、管路檢查，以及各項(xiàng)檢查所需要的站位等。使用者用手點(diǎn)擊用戶(hù)界面中的不同選項(xiàng)，會(huì)顯示不同的內(nèi)容：

① 狀態(tài)檢查項(xiàng)。顯示狀態(tài)檢查的內(nèi)容，指導(dǎo)使用者通過(guò)目視檢查直升機(jī)的零部件狀態(tài)，確認(rèn)相對(duì)于初始狀態(tài)的變化：其表面有無(wú)明顯變形、裂紋、刮傷、破損、磨損、腐蝕和燒蝕的情況出現(xiàn)。

② 安裝固定檢查。指導(dǎo)使用者檢查部件的安裝點(diǎn)與鎖緊狀態(tài)。

③ 泄露檢查。指導(dǎo)使用者確認(rèn)液體的損耗或滲漏的痕跡。

④ 部件間隙檢查。指導(dǎo)使用者判斷間隙。

⑤ 清潔檢查。指導(dǎo)使用者檢查直升機(jī)外表情況，有無(wú)潛在污垢、雜物、油液滲漏和污跡。

⑥ 管路檢查。指導(dǎo)使用者檢查管路、套管連接處和卡箍卡緊情況。

使用者也可選擇按照站位進(jìn)行檢查，在檢查的過(guò)程中，實(shí)時(shí)顯示使用者進(jìn)行直升機(jī)日常檢查時(shí)的站位和檢查的先后順序，一旦從頭到尾按照設(shè)備提示完成檢查，則可表示該項(xiàng)日常檢查結(jié)束。同時(shí)，在使用者使用AR維修輔助設(shè)備的過(guò)程中，交互界面實(shí)時(shí)顯示各項(xiàng)檢查所需要關(guān)注的注意事項(xiàng)，和過(guò)去使用者關(guān)于各個(gè)檢查項(xiàng)目的備注情況，以便檢查更加方便快捷。AR維修輔助設(shè)備還具有備注與反饋功能，將使用者的心得體會(huì)記錄于設(shè)備交互界面與數(shù)據(jù)庫(kù)中，待管理者審核。若審核通過(guò)，則可作為注意事項(xiàng)留在AR維修輔助設(shè)備的總數(shù)據(jù)庫(kù)中，反之則刪除備注。

2.2 定期檢查

直升機(jī)的定期檢查主要分為S檢、T檢、G檢、A檢、C檢等，各有其不同的間隔時(shí)間?？傮w來(lái)說(shuō)，定期檢查比日常檢查所涉及的項(xiàng)目更多，操作更復(fù)雜。此時(shí)則更凸顯出AR維修輔助設(shè)備的重要性。

以某直升機(jī)主槳葉后緣調(diào)整片的裂紋、脫膠和腐蝕的修理為例。在使用者進(jìn)行維修過(guò)程之前，首先裝備好相應(yīng)的AR維修輔助設(shè)備，調(diào)整到該項(xiàng)維修的選項(xiàng)。交互界面應(yīng)按照程序列出準(zhǔn)備工作、保障設(shè)備、消耗品、備件、維修程序等條目。點(diǎn)進(jìn)準(zhǔn)備工作條目，可以得到該維修項(xiàng)目的準(zhǔn)備工作，包括核實(shí)環(huán)境濕度及溫度、確保產(chǎn)品合格、確保主槳葉在拆卸狀態(tài)等。之后進(jìn)入保障設(shè)備條目，顯示所需要的保障設(shè)備包括鉗子、鉚接鉗子、手持鉚槍、鉆頭、鉚錘、空氣鉆孔機(jī)、打孔機(jī)、不銹鋼卷尺等；進(jìn)入消耗品條目，顯示需要的消耗品為防腐蝕膠、清洗劑、棉紗布、砂紙等；進(jìn)入備件條目，顯示需要的備件為沉頭鉚釘、平頭空心鉚釘?shù)?。顯示的保障設(shè)備、消耗品、備件均以圖片和文字的形式列出，供使用者參考。之后進(jìn)行維修程序，在AR維修輔助設(shè)備的維修輔助幫助下，使用者可以通過(guò)交互界面得到使用各類(lèi)保障設(shè)備、消耗品和備件的流程與使用方式。隨著維修流程的進(jìn)行，有些位置的維修可能變得微小且麻煩，AR維修輔助設(shè)備可以通過(guò)調(diào)用數(shù)據(jù)庫(kù)中的產(chǎn)品模型，從而以三維立體的方式呈現(xiàn)在使用者眼前，幫助使用者實(shí)時(shí)地理解與應(yīng)用各種工具，直至維修過(guò)程結(jié)束。

2.3 維修人員培訓(xùn)

AR維修輔助設(shè)備可參與到維修人員的培訓(xùn)過(guò)程中。教學(xué)中，老師在講完課本中的內(nèi)容后，通過(guò)佩戴AR維修輔助設(shè)備，學(xué)員可以看到需維修設(shè)備的三維全貌，而不是單純的文字堆積。圖文結(jié)合，二維三維協(xié)同教學(xué)，可使學(xué)員在學(xué)習(xí)時(shí)印象更為深刻。

3 AR維修輔助設(shè)備優(yōu)勢(shì)分析

AR維修輔助設(shè)備能夠給維修活動(dòng)帶來(lái)很大的便利，但由于設(shè)備尚未完全市場(chǎng)化，其相較傳統(tǒng)維修方法更有優(yōu)勢(shì)的數(shù)據(jù)只能從一些實(shí)驗(yàn)室原型機(jī)中得到，國(guó)外兩種AR維修輔助設(shè)備原型機(jī)使用效果及提升程度如表1[1]所示。

2013年，新加波Zhu等開(kāi)發(fā)了可編程的環(huán)境感知AR系統(tǒng)，面向維修任務(wù)進(jìn)行場(chǎng)景實(shí)體建模，并在開(kāi)發(fā)后通過(guò)專(zhuān)家打分的方式對(duì)原型機(jī)和紙質(zhì)手冊(cè)進(jìn)行評(píng)價(jià)，其中項(xiàng)目最高為5分，最低為1分，如表2所示。

表2 ACARS原型機(jī)各項(xiàng)打分評(píng)價(jià)表

我國(guó)趙守偉等[3]2016年在實(shí)驗(yàn)室搭建了ARSAM原型機(jī)用來(lái)考察AR維修輔助設(shè)備的維修效率，主要由視頻透射式頭戴系統(tǒng)、內(nèi)置增強(qiáng)現(xiàn)實(shí)軟件和維修引導(dǎo)數(shù)據(jù)庫(kù)的計(jì)算機(jī)組成。原型機(jī)完成后，對(duì)其進(jìn)行了打分評(píng)價(jià)，由表3所示。由于打分法帶有一定的主觀性，表2和表3不進(jìn)行合并。

表3 ARSAM原型機(jī)各項(xiàng)打分評(píng)價(jià)表

不論何種原型機(jī)，都顯而易見(jiàn)地對(duì)設(shè)備的維修工作產(chǎn)生了積極作用。通過(guò)走訪試飛基地地機(jī)務(wù)人員，結(jié)合AR設(shè)備實(shí)際情況，總結(jié)出AR維修輔助設(shè)備相對(duì)傳統(tǒng)紙質(zhì)手冊(cè)的維修方式具有以下優(yōu)勢(shì)。

3.1 高效性

直升機(jī)的后勤保障，如果采用傳統(tǒng)的紙質(zhì)維護(hù)手冊(cè)的方式進(jìn)行維護(hù)，維護(hù)流程為：

① 前往辦公室查詢(xún)或攜帶維護(hù)手冊(cè)；

② 根據(jù)維護(hù)手冊(cè)中的內(nèi)容去工具/備件庫(kù)(一般在機(jī)庫(kù)或機(jī)庫(kù)附近)中匹配維護(hù)所需要的工具/備件/耗材等；

③ 在機(jī)庫(kù)對(duì)直升機(jī)所需維護(hù)部位進(jìn)行維護(hù)，維護(hù)過(guò)程中可能需要翻閱維護(hù)手冊(cè)內(nèi)容。

熟練的機(jī)務(wù)人員對(duì)維護(hù)手冊(cè)較為熟悉，會(huì)省去第一步的過(guò)程，但這對(duì)于新任機(jī)務(wù)人員不是非常友好。引入AR維修輔助設(shè)備，將會(huì)極大提升維修操作的效率，從而提高直升機(jī)型號(hào)的整體進(jìn)度。其在高效性上的優(yōu)勢(shì)主要體現(xiàn)在以下幾個(gè)方面。

① 完全拋棄過(guò)去所用的維護(hù)手冊(cè)和工卡。其完全作為電子版存入AR維修輔助設(shè)備的IETM中，以便維修人員通過(guò)交互的方式查閱。紙質(zhì)版維護(hù)手冊(cè)和工卡只作為備用。由此，在需要了解維修信息時(shí)，只需要閱讀AR維修輔助設(shè)備提供的信息即可，節(jié)省了原本用來(lái)前往辦公室翻閱維護(hù)手冊(cè)和工卡的時(shí)間，即時(shí)瀏覽；解放了雙手，可以一邊看流程一邊進(jìn)行工作；在維修過(guò)程有問(wèn)題時(shí)可以隨時(shí)記錄問(wèn)題所在，避免遺忘的同時(shí)提高了反饋機(jī)制的效率。

② 不需要強(qiáng)行記憶維修流程。人是有遺忘機(jī)制的，就算有些維修人員技術(shù)較為熟練，對(duì)維修過(guò)程中的某些細(xì)節(jié)如力矩值、穿接方向等難免遺忘。AR維修輔助設(shè)備以數(shù)據(jù)庫(kù)的方式幫助維修人員減少了再次翻閱維護(hù)手冊(cè)的時(shí)間。

③ 拍照留證。在維修人員操作過(guò)程中出現(xiàn)問(wèn)題時(shí)，可通過(guò)AR維修輔助設(shè)備上安裝的攝像頭隨時(shí)進(jìn)行拍照留證，數(shù)據(jù)留存在專(zhuān)用的局域網(wǎng)中，提高了維修人員描述問(wèn)題時(shí)的可信度與詳細(xì)程度。

④ 機(jī)組人員專(zhuān)用。AR維修輔助設(shè)備的定位為下發(fā)到機(jī)組維護(hù)人員的設(shè)備，由機(jī)務(wù)人員使用，因此避免了如便攜式維修輔助設(shè)備(PMA)等設(shè)備雖也有查閱維護(hù)手冊(cè)的功能，但需要機(jī)組人員臨時(shí)申請(qǐng)才可使用的尷尬境地。

3.2 防差錯(cuò)

在傳統(tǒng)的使用紙質(zhì)手冊(cè)維護(hù)的過(guò)程中，經(jīng)常發(fā)生相似件錯(cuò)認(rèn)、維護(hù)位置錯(cuò)認(rèn)的情況，謹(jǐn)慎的機(jī)務(wù)人員會(huì)復(fù)查維護(hù)手冊(cè)，粗心的維護(hù)人員可能會(huì)因此對(duì)直升機(jī)造成一定隱患或損傷[32]。

引入AR維修輔助設(shè)備，如果設(shè)備的精確度足夠高，那么就可以避免一系列人為操作失誤的問(wèn)題，主要體現(xiàn)在以下幾個(gè)方面。

① 不會(huì)錯(cuò)認(rèn)。一方面，對(duì)于某些相似件，如在維修旋翼、槳轂、拆卸發(fā)動(dòng)機(jī)、拆卸槳葉的過(guò)程中，看到的兩種螺釘，一種為7 mm，一種為10 mm，可立即用文字或標(biāo)志的方式提醒使用者，提高了辨識(shí)度。另一方面，對(duì)于新手維修人員來(lái)說(shuō)，翻閱工卡可能看錯(cuò)；對(duì)于老練的維修人員，長(zhǎng)時(shí)間不操作會(huì)遺忘，也會(huì)產(chǎn)生誤判。AR維修輔助設(shè)備則完美解決了這種問(wèn)題。

② 快速識(shí)別位置。使用AR維修輔助設(shè)備，所需要維修的設(shè)備及其關(guān)鍵點(diǎn)會(huì)在使用者看到的現(xiàn)實(shí)場(chǎng)景中以文字或標(biāo)志的方式直接顯示，對(duì)于某些隱蔽性較強(qiáng)的位置一目了然，避免了維護(hù)人員長(zhǎng)時(shí)間的尋找。

3.3 可作為培訓(xùn)輔助設(shè)備

傳統(tǒng)的培訓(xùn)采用的是授課加實(shí)操的方式，在授課的過(guò)程中，學(xué)員們面對(duì)的是維護(hù)手冊(cè)上的文字和圖片，以及教師的講解[33]。若將AR維修輔助設(shè)備作為維修人員的培訓(xùn)設(shè)備，有非常良好的使用效果，主要體現(xiàn)在以下幾個(gè)方面。

① 培訓(xùn)過(guò)程中，學(xué)員通過(guò)佩戴設(shè)備可看到更加動(dòng)態(tài)化和清晰化的維修流程，學(xué)習(xí)內(nèi)容中的圖像和文字更加生動(dòng)形象[34]、易于理解。

② 對(duì)學(xué)員上機(jī)實(shí)操過(guò)程中遺忘的維護(hù)內(nèi)容與設(shè)備信息可實(shí)時(shí)提醒，對(duì)第一次見(jiàn)到的設(shè)備工具也有實(shí)時(shí)說(shuō)明講解，理論和實(shí)際相結(jié)合。

③ 機(jī)上一些位置可能空間較小，維修人員無(wú)法深入，通過(guò)AR設(shè)備則可更直觀地看到[35]。

4 AR維修輔助設(shè)備的不足與發(fā)展趨勢(shì)

4.1 魯棒性問(wèn)題

AR系統(tǒng)的視覺(jué)識(shí)別目前過(guò)于依賴(lài)圖像本身特征，當(dāng)出現(xiàn)圖像特征不夠豐富的情況時(shí)，僅從圖像無(wú)法復(fù)原相機(jī)的運(yùn)動(dòng)，也就無(wú)法識(shí)別使用者頭部的運(yùn)動(dòng)軌跡。若通過(guò)直接法復(fù)原相機(jī)的位姿，需要構(gòu)建稠密的網(wǎng)格，這帶來(lái)了大量的計(jì)算量，也對(duì)AR維修輔助設(shè)備的實(shí)時(shí)性產(chǎn)生了影響。未來(lái)可能會(huì)出現(xiàn)基于圖像的邊緣、平面等更為高層的圖像信息作為設(shè)備識(shí)別的特征，以此緩解設(shè)備的特征點(diǎn)依賴(lài)問(wèn)題，來(lái)提高系統(tǒng)的魯棒性。也可以通過(guò)結(jié)合其他傳感器進(jìn)行優(yōu)勢(shì)互補(bǔ)，來(lái)實(shí)現(xiàn)設(shè)備魯棒性快速跟蹤定位。

4.2 實(shí)時(shí)性問(wèn)題

目前的AR維修輔助設(shè)備還存在著延遲較高的問(wèn)題。一方面，由于設(shè)備本身運(yùn)算過(guò)程可能導(dǎo)致使用者在實(shí)際體驗(yàn)中使用體驗(yàn)不佳，跟蹤注冊(cè)圖像會(huì)延遲于現(xiàn)實(shí)場(chǎng)景出現(xiàn)。另一方面，使用者在使用AR維修輔助設(shè)備的過(guò)程中，經(jīng)常會(huì)快速地移動(dòng)或者旋轉(zhuǎn)頭部，從而導(dǎo)致跟蹤注冊(cè)的圖像丟失，重新定位程序頻繁啟動(dòng)。因此，如何提升AR維修輔助設(shè)備的計(jì)算速度，降低延遲是貫穿AR技術(shù)的主題，也是未來(lái)的發(fā)展趨勢(shì)。近年來(lái)，隨著深度學(xué)習(xí)技術(shù)的不斷進(jìn)步，深度學(xué)習(xí)技術(shù)將在圖像匹配和檢測(cè)過(guò)程中發(fā)揮巨大作用，是降低延遲，提高重定位能力的關(guān)鍵所在。

4.3 交互性問(wèn)題

AR技術(shù)近年來(lái)已經(jīng)取得了較大進(jìn)展，但在交互性方面，還存在一些不足之處。目前主流的AR維修輔助設(shè)備采用了視頻透射式頭戴顯示器，由計(jì)算機(jī)提供現(xiàn)實(shí)場(chǎng)景與注冊(cè)信息疊加的圖像，在保證足夠的場(chǎng)景沉浸感的同時(shí)，設(shè)備有一定重量，使用起來(lái)較為困難，使用者長(zhǎng)時(shí)間佩戴易產(chǎn)生不適。另一種AR維修輔助設(shè)備為光學(xué)投射性頭戴顯示器，使用者可同時(shí)看到現(xiàn)實(shí)場(chǎng)景和注冊(cè)信息，長(zhǎng)時(shí)間佩戴不易眩暈。該設(shè)備重量較輕，但因無(wú)自帶處理模塊，有一定延遲。此外，這些設(shè)備在觸覺(jué)等其他感官的方面交互性也有所欠缺。要提高AR維修輔助設(shè)備的交互能力，需要減輕設(shè)備重量，提高匹配與注冊(cè)精度，增加可視范圍，增加肢體運(yùn)動(dòng)感知、觸覺(jué)感知等。

4.4 維修人員依賴(lài)性

維修人員對(duì)AR維修輔助設(shè)備容易產(chǎn)生依賴(lài)性。雖然采用了機(jī)器輔助記憶的方式，減少了人腦記憶的工作量，但也正因如此，一旦脫離了AR設(shè)備，維修人員就可能無(wú)法繼續(xù)維修工作，或回到翻閱維護(hù)手冊(cè)的狀態(tài)。隨著科技的發(fā)展，這方面也需要保持一定的平衡，防止設(shè)備不在身邊導(dǎo)致的維修人員失去對(duì)設(shè)備進(jìn)行維修保障的能力。

4.5 需要其他設(shè)備配合進(jìn)行問(wèn)題定位

AR維修輔助設(shè)備是一種維修輔助設(shè)備，它的定位是維修人員在維修保障過(guò)程中進(jìn)行輔助的工具，與故障診斷相結(jié)合是其未來(lái)的發(fā)展趨勢(shì)。目前的故障診斷方式主要為各類(lèi)技術(shù)人員進(jìn)行排查，如通過(guò)直升機(jī)健康與使用監(jiān)控系統(tǒng)(HUMS，Helicopter Health & Usage Monitoring System)、飛參識(shí)別等其他類(lèi)型設(shè)備進(jìn)行問(wèn)題定位，或者兩者相結(jié)合的方式進(jìn)行確定。將來(lái)AR維修輔助設(shè)備納入直升機(jī)維修保障工作后，可以通過(guò)打通各類(lèi)設(shè)備進(jìn)行數(shù)據(jù)交換，以達(dá)到故障處理結(jié)果實(shí)時(shí)分析、實(shí)時(shí)顯示的效果，以此進(jìn)一步提升直升機(jī)的后勤維修保障能力。

5 結(jié)束語(yǔ)

隨著我國(guó)科技實(shí)力的不斷加強(qiáng)，各類(lèi)以計(jì)算機(jī)技術(shù)為核心的現(xiàn)代技術(shù)不斷應(yīng)用在軍事領(lǐng)域中?，F(xiàn)代直升機(jī)越來(lái)越趨向于智能化、復(fù)雜化、信息化，AR維修輔助設(shè)備的引入是必然趨勢(shì)。我國(guó)目前AR維修輔助設(shè)備還處于發(fā)展階段，隨著相應(yīng)理論、軟件、硬件能力的不斷提升，AR維修輔助設(shè)備的廣泛應(yīng)用必然能顯著提高直升機(jī)的維修保障效率，對(duì)于軍隊(duì)的作戰(zhàn)能力和信息化水平有著重要意義。對(duì)AR維修輔助設(shè)備關(guān)鍵技術(shù)進(jìn)行了分析，對(duì)應(yīng)用在直升機(jī)后勤維修保障場(chǎng)景的優(yōu)缺點(diǎn)與未來(lái)發(fā)展趨勢(shì)進(jìn)行了闡述，希望對(duì)我軍直升機(jī)的智能化和信息化維修保障系統(tǒng)建設(shè)提供參考。