基于增強(qiáng)現(xiàn)實(shí)技術(shù)的動(dòng)車組檢修作業(yè)指導(dǎo)解決方案研究

陳 彥，李 樊，王 治，王 輝

（中國(guó)鐵道科學(xué)研究院 電子計(jì)算技術(shù)研究所，北京 100081）

在動(dòng)車組檢修作業(yè)過程中，檢修人員需要掌握眾多的信息才能進(jìn)行作業(yè)，如被維修部件內(nèi)部結(jié)構(gòu)、維修方法及標(biāo)準(zhǔn)等。由于動(dòng)車組結(jié)構(gòu)復(fù)雜，部件設(shè)備精密，單純依靠維修培訓(xùn)不能解決員工“學(xué)時(shí)不能用，用時(shí)不能學(xué)”和“遺忘曲線”的困境。檢修人員也無(wú)法記住每個(gè)操作細(xì)節(jié)或認(rèn)識(shí)每個(gè)零部件，即使記憶超強(qiáng)，也不能保證持續(xù)規(guī)范操作，因此需要借助檢修作業(yè)指導(dǎo)加以引導(dǎo)。

目前，動(dòng)車組管理信息系統(tǒng)實(shí)現(xiàn)了動(dòng)車組檢修作業(yè)指導(dǎo)電子化管理，檢修人員可以通過工位機(jī)、智能手持終端查詢作業(yè)指導(dǎo)書等相關(guān)信息，但這種方式不能解放檢修人員雙手，無(wú)法邊作業(yè)邊查看指導(dǎo)信息。同時(shí)，現(xiàn)有的檢修作業(yè)指導(dǎo)主要依靠文字和圖片作為展示手段，不夠直觀生動(dòng)。為此，需要研究新方法和新技術(shù)來解決現(xiàn)有作業(yè)指導(dǎo)方式存在的問題。

增強(qiáng)現(xiàn)實(shí)技術(shù)(AR，Augmented Reality Technique)，是在虛擬現(xiàn)實(shí)基礎(chǔ)上發(fā)展起來的新技術(shù)，這種技術(shù)是在屏幕上把虛擬信息疊加在現(xiàn)實(shí)世界并進(jìn)行互動(dòng)。它能夠?qū)⒂?jì)算機(jī)生成的虛擬物體、場(chǎng)景或提示等信息疊加到真實(shí)場(chǎng)景中，從而實(shí)現(xiàn)對(duì)現(xiàn)實(shí)世界的“增強(qiáng)”。同時(shí)，由于其與真實(shí)世界的聯(lián)系并未被切斷，因此交互方式也就顯得更加真實(shí)、自然[1]。增強(qiáng)現(xiàn)實(shí)用戶可以佩戴智能眼鏡，透過它能夠看到整個(gè)真實(shí)的世界，由計(jì)算機(jī)生成的虛擬信息投射到智能眼鏡上，給人造成一種真實(shí)世界與虛擬世界相結(jié)合的增強(qiáng)現(xiàn)實(shí)環(huán)境。這種增強(qiáng)的信息可以是在真實(shí)環(huán)境中與之共存的虛擬物體，也可以是實(shí)際存在物體的相關(guān)信息（文字、圖片等）。

增強(qiáng)現(xiàn)實(shí)技術(shù)已在多個(gè)領(lǐng)域得到了應(yīng)用，文獻(xiàn)[2]對(duì)虛擬現(xiàn)實(shí)技術(shù)在數(shù)字營(yíng)銷、數(shù)字出版、移動(dòng)導(dǎo)覽、設(shè)計(jì)與仿真、物聯(lián)網(wǎng)等領(lǐng)域的應(yīng)用進(jìn)行了綜述；文獻(xiàn)[3]對(duì)增強(qiáng)現(xiàn)實(shí)技術(shù)在智慧城市導(dǎo)覽的應(yīng)用進(jìn)行了研究；文獻(xiàn)[4]將增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用于軍事裝備維修和模擬訓(xùn)練中，對(duì)增強(qiáng)現(xiàn)實(shí)技術(shù)在軍事裝備和模擬訓(xùn)練中的軍事需求、應(yīng)用前景、實(shí)現(xiàn)方法和關(guān)鍵環(huán)節(jié)進(jìn)行了分析。

本文對(duì)動(dòng)車組檢修作業(yè)指導(dǎo)需求進(jìn)行分析，提煉需要展示的信息；設(shè)計(jì)基于增強(qiáng)現(xiàn)實(shí)技術(shù)的動(dòng)車組檢修作業(yè)系統(tǒng)。對(duì)于利用文字圖片展示復(fù)雜檢修工序不夠直觀的問題，提出利用增強(qiáng)現(xiàn)實(shí)技術(shù)進(jìn)行展示的方案。

1 需求分析

1.1 功能需求分析

（1）部件信息

部件信息包括基本信息、結(jié)構(gòu)信息和三維模型?；拘畔ú考男蛄刑?hào)、類型、生產(chǎn)廠家、生產(chǎn)日期和走行里程等，結(jié)構(gòu)信息包括子部件位置名稱、各位置對(duì)應(yīng)子部件序列號(hào)、走行時(shí)間和走行里程信息。

通過部件基本信息，檢修人員可以識(shí)別部件的身份，并根據(jù)每日的檢修作業(yè)安排進(jìn)行作業(yè)，生產(chǎn)日期和走行里程可以幫助檢修人員確認(rèn)部件需要執(zhí)行哪些維修項(xiàng)目。結(jié)構(gòu)信息幫助檢修人員了解部件的子部件信息，并通過子部件的運(yùn)用情況判斷是否需要更換子部件。部件三維模型幫助檢修人員更為直觀地了解部件的內(nèi)部結(jié)構(gòu)，便于檢修人員進(jìn)行部件的拆卸和組裝作業(yè)。

目前動(dòng)車組管理信息系統(tǒng)實(shí)現(xiàn)了部件信息的管理，因此可以通過與動(dòng)車組管理信息系統(tǒng)的接口獲取部件信息并進(jìn)行展示。

（2）作業(yè)任務(wù)

車間調(diào)度制定當(dāng)日的作業(yè)計(jì)劃后，檢修人員需要查看今天的作業(yè)任務(wù)，以便于按照計(jì)劃進(jìn)行作業(yè)。

（3）工藝卡片

工藝卡片是檢修工序的作業(yè)標(biāo)準(zhǔn)，用于指導(dǎo)檢修人員進(jìn)行規(guī)范作業(yè)，也稱之為作業(yè)指導(dǎo)書。每道檢修工序均有對(duì)應(yīng)的工藝卡片，主要包括各作業(yè)步驟的作業(yè)標(biāo)準(zhǔn)、注意事項(xiàng)和相應(yīng)的圖示。動(dòng)車組交互式電子技術(shù)手冊(cè)管理系統(tǒng)已實(shí)現(xiàn)了工藝卡片的標(biāo)準(zhǔn)化管理，系統(tǒng)應(yīng)將動(dòng)車組管理信息系統(tǒng)與動(dòng)車組交互式電子技術(shù)手冊(cè)管理系統(tǒng)的相關(guān)信息進(jìn)行結(jié)合，根據(jù)檢修進(jìn)度顯示當(dāng)前檢修工序的工藝卡片，提高作業(yè)指導(dǎo)的便捷性。

1.2 設(shè)備需求分析

目前，檢修作業(yè)指導(dǎo)工作使用的筆記本電腦、工位終端、智能手機(jī)、平板電腦等傳統(tǒng)硬件平臺(tái)，檢修人員需要查詢相關(guān)信息時(shí)，必須停下檢修工作，無(wú)法做到邊檢修邊看指導(dǎo)信息的目的，為此需要采用新的硬件平臺(tái)。

智能眼鏡像智能手機(jī)一樣，具有獨(dú)立的操作系統(tǒng)，可以安裝軟件，通過語(yǔ)音和手勢(shì)識(shí)別進(jìn)行交互。與傳統(tǒng)的工位機(jī)、智能手持終端相比，檢修人員可以佩戴智能眼鏡，在進(jìn)行檢修作業(yè)的同時(shí)查看作業(yè)指導(dǎo)信息，提高作業(yè)指導(dǎo)的效率和便捷性。

2 系統(tǒng)設(shè)計(jì)

2.1 系統(tǒng)架構(gòu)

基于增強(qiáng)現(xiàn)實(shí)技術(shù)的動(dòng)車組檢修作業(yè)指導(dǎo)系統(tǒng)架構(gòu)如圖1所示。

（1）基礎(chǔ)設(shè)施層?；A(chǔ)設(shè)施層主要是系統(tǒng)運(yùn)行所需的各類基礎(chǔ)軟硬件，硬件包括服務(wù)器、存儲(chǔ)設(shè)備、前端設(shè)備等；軟件包括操作系統(tǒng)、存儲(chǔ)管理軟件等。

（2）數(shù)據(jù)層。數(shù)據(jù)層主要功能是數(shù)據(jù)的存儲(chǔ)，與動(dòng)車組管理信息系統(tǒng)、動(dòng)車組交互式電子技術(shù)手冊(cè)的數(shù)據(jù)接口獲取需要展示的信息。

（3）應(yīng)用中間件層。應(yīng)用中間件層包括支撐系統(tǒng)應(yīng)用功能而開發(fā)的或者第三方的組件，主要有3D引擎，計(jì)算機(jī)視覺組件，基礎(chǔ)類庫(kù)。3D引擎實(shí)現(xiàn)部件3D模型以及虛擬3D動(dòng)畫的展示，計(jì)算機(jī)視覺組件實(shí)現(xiàn)圖片識(shí)別，基礎(chǔ)類庫(kù)包括系統(tǒng)開發(fā)所需的一些常用組件。

（4）系統(tǒng)應(yīng)用層。根據(jù)需求分析，系統(tǒng)應(yīng)用層主要由部件信息、作業(yè)任務(wù)和作業(yè)指導(dǎo)3個(gè)功能組成，用于指導(dǎo)檢修人員進(jìn)行作業(yè)。

圖1 系統(tǒng)架構(gòu)

2.2 功能架構(gòu)

基于檢修作業(yè)指導(dǎo)需求分析，圍繞檢修作業(yè)指導(dǎo)所需要的部件信息、作業(yè)任務(wù)和工藝卡片信息，設(shè)計(jì)以下應(yīng)用功能：

（1）部件信息。系統(tǒng)通過掃描二維碼來識(shí)別部件的身份信息，利用部件身份信息（部產(chǎn)品標(biāo)識(shí)碼和序列號(hào)），通過與動(dòng)車組管理信息系統(tǒng)接口獲取部件的基本信息和結(jié)構(gòu)信息，并進(jìn)行展示。根據(jù)部件類型，調(diào)取相應(yīng)三維模型進(jìn)行展示。

（2）作業(yè)任務(wù)。通過與動(dòng)車組管理信息系統(tǒng)的接口，根據(jù)工位ID獲取工位當(dāng)日的作業(yè)任務(wù)信息，并進(jìn)行展示。工位ID可通過智能眼鏡MAC地址與工位的對(duì)應(yīng)關(guān)系獲得。

（3）作業(yè)指導(dǎo)。系統(tǒng)通過掃描部件二維碼，獲取部件身份信息后，根據(jù)部件身份信息利用與動(dòng)車組管理信息系統(tǒng)（EMIS）的接口，獲取部件正在執(zhí)行的檢修工序ID，通過檢修工序ID可從動(dòng)車組交互式電子技術(shù)手冊(cè)管理系統(tǒng)（IETM）獲取對(duì)應(yīng)的工藝卡片，將工藝卡片按作業(yè)步驟順序，顯示各作業(yè)步驟的作業(yè)標(biāo)準(zhǔn)、注意事項(xiàng)和相關(guān)圖示信息。其實(shí)現(xiàn)流程如圖2所示。

2.3 接口設(shè)計(jì)

2.3.1 與動(dòng)車組管理信息系統(tǒng)的接口

圖2 工藝卡片展示實(shí)現(xiàn)流程

通過部件序列號(hào)和產(chǎn)品標(biāo)識(shí)碼，從動(dòng)車組管理信息系統(tǒng)獲取部件的類型、生產(chǎn)日期、生產(chǎn)廠家、子部件名稱及對(duì)應(yīng)的部件序列號(hào)、正在執(zhí)行的檢修工序信息。根據(jù)需求，分為獲取部件基本信息、結(jié)構(gòu)信息、檢修工序3個(gè)方法,并通過WebService方式實(shí)現(xiàn)。

2.3.2 與動(dòng)車組交互式電子技術(shù)手冊(cè)管理系統(tǒng)的接口

動(dòng)車組交互式電子技術(shù)手冊(cè)管理系統(tǒng)按S1000D標(biāo)準(zhǔn)以XML形式管理工藝卡片。通過檢修工序ID從動(dòng)車組交互式電子技術(shù)手冊(cè)管理系統(tǒng)中獲取工藝卡片，有兩種實(shí)現(xiàn)方式：

（1）同步方式。通過檢修工序ID從動(dòng)車組交互式電子技術(shù)手冊(cè)管理系統(tǒng)中查找相關(guān)的工藝卡片XML文件，解析XML文件提取、作業(yè)步驟、作業(yè)標(biāo)準(zhǔn)、注意事項(xiàng)和相關(guān)圖示信息，然后傳輸給系統(tǒng)進(jìn)行展示。這種方式需要進(jìn)行XML文件檢索、解析、信息傳輸，效率不高，響應(yīng)速度不快，影響用戶體驗(yàn)。

（2）異步方式。在系統(tǒng)數(shù)據(jù)庫(kù)中建立工藝卡片相關(guān)數(shù)據(jù)表，當(dāng)工藝卡片有新版本時(shí)，由動(dòng)車組交互式電子技術(shù)手冊(cè)管理系統(tǒng)按照約定的規(guī)則，從工藝卡片XML文件中提取相關(guān)信息后，推送到系統(tǒng)相關(guān)數(shù)據(jù)表中。展示時(shí)系統(tǒng)直接從數(shù)據(jù)庫(kù)中提取數(shù)據(jù)，這種方式相較于同步方式，避免了重復(fù)的XML文件檢索、解析、信息傳輸?shù)?，效率更高，響?yīng)速度更快。

3 工藝卡片增強(qiáng)現(xiàn)實(shí)展示方案

對(duì)于復(fù)雜的檢修工序，提出基于圖片標(biāo)識(shí)的工藝卡片增強(qiáng)現(xiàn)實(shí)展示方案。將檢修工序圖片作為圖片標(biāo)識(shí)（稱為marker），通過實(shí)時(shí)獲取攝像頭的圖像并與檢修工序圖片進(jìn)行特征對(duì)比進(jìn)行圖像識(shí)別，在完成圖像識(shí)別后，通過計(jì)算攝像頭的位置和朝向，確定在攝像頭圖像上繪制檢修作業(yè)三維虛擬動(dòng)畫的空間坐標(biāo)，利用3D引擎將檢修作業(yè)三維虛擬動(dòng)畫疊加到真實(shí)的維修部件上，并配以相關(guān)文字說明，實(shí)現(xiàn)基于增強(qiáng)現(xiàn)實(shí)的檢修作業(yè)指導(dǎo)。通過該功能，用戶可以從智能眼鏡中看到檢修工序各作業(yè)步驟的三維動(dòng)畫以及相關(guān)文字說明，較傳統(tǒng)方式更為直觀。

具體實(shí)現(xiàn)流程如圖3所示。

圖3 工藝卡片增強(qiáng)現(xiàn)實(shí)展示實(shí)現(xiàn)流程

4 結(jié)束語(yǔ)

本文對(duì)增強(qiáng)現(xiàn)實(shí)技術(shù)在動(dòng)車組檢修作業(yè)指導(dǎo)中的應(yīng)用進(jìn)行研究，對(duì)動(dòng)車組檢修過程中的作業(yè)指導(dǎo)需求進(jìn)行分析，歸納總結(jié)出部件信息、作業(yè)任務(wù)、工藝卡片三類需求，在此基礎(chǔ)上，設(shè)計(jì)系統(tǒng)架構(gòu)、功能架構(gòu)和系統(tǒng)接口，設(shè)計(jì)了基于圖片標(biāo)識(shí)的復(fù)雜檢修工序工藝卡片AR展示方案。該方案可解決現(xiàn)有檢修作業(yè)指導(dǎo)中存在的檢修人員無(wú)法邊作業(yè)邊查看指導(dǎo)信息以及信息顯示不直觀的問題。

[1]朱淼良, 姚 遠(yuǎn), 蔣云良.增強(qiáng)現(xiàn)實(shí)綜述[J].中國(guó)圖形圖像學(xué)報(bào)，2004，9（7）：767-774.

[2]羅 斌，王涌天，沈 浩，等.增強(qiáng)現(xiàn)實(shí)混合跟蹤技術(shù)綜述[J].自動(dòng)化學(xué)報(bào)，2013，39（8）：1185-1201.

[3]吳 帆，張 亮.增強(qiáng)現(xiàn)實(shí)技術(shù)發(fā)展及應(yīng)用綜述[J].電腦知識(shí)與技術(shù)，2012（12）：8319-8325.

[4]張運(yùn)超，陳 靖，王涌天，等.基于移動(dòng)增強(qiáng)現(xiàn)實(shí)的智慧城市導(dǎo)覽[J].計(jì)算機(jī)研究與發(fā)展，2014，51（2）：302-310.

[5]陳玉文.增強(qiáng)現(xiàn)實(shí)技術(shù)及其在軍事裝備和模擬訓(xùn)練中的應(yīng)用研究[J].系統(tǒng)仿真學(xué)報(bào)，2013，25（S1），258-262.

[6]張惟皎，賈志凱.動(dòng)車組運(yùn)用檢修信息化管理探討[J].鐵路計(jì)算機(jī)應(yīng)用，2013，22（1）：5-9.

[7]王 輝，張惟皎，王 治.動(dòng)車段動(dòng)車組管理信息系統(tǒng)架構(gòu)設(shè)計(jì)與關(guān)鍵技術(shù)分析[J].鐵路計(jì)算機(jī)應(yīng)用，2013，22（1）：13-16.

[8]王 輝，張惟皎，李 樊，等.基于S1000D的動(dòng)車組技術(shù)信息結(jié)構(gòu)化方法[J].中國(guó)鐵路，2016（2）：27-31.