基于多人協(xié)同操作的無(wú)人機(jī)巡檢作業(yè)仿真培訓(xùn)系統(tǒng)研究

楊 遷 胡 元 林易樂(lè)

（浙江圖盛輸變電工程有限公司溫州科技分公司，浙江 溫州 325000）

輸電線路無(wú)人機(jī)巡檢作業(yè)是保證電網(wǎng)安全穩(wěn)定運(yùn)行的重要手段，開(kāi)展專項(xiàng)操作技能培訓(xùn)對(duì)于線路運(yùn)維作業(yè)的順利開(kāi)展具有重要意義。無(wú)人機(jī)巡檢作業(yè)有時(shí)需要由2人及以上人員構(gòu)成的班組協(xié)同完成。實(shí)際培訓(xùn)通常是由專家或有經(jīng)驗(yàn)的教師先進(jìn)行理論講授，再開(kāi)展實(shí)操訓(xùn)練。通過(guò)對(duì)注意事項(xiàng)、職責(zé)任務(wù)、配合要點(diǎn)等內(nèi)容進(jìn)行講述的方式，作業(yè)人員對(duì)協(xié)同操作過(guò)程和要領(lǐng)的體會(huì)往往不夠深刻。在理論講解后直接在實(shí)際線路上進(jìn)行操作訓(xùn)練，容易出現(xiàn)操作配合不到位的情況，存在較大的安全風(fēng)險(xiǎn)。綜合采用虛擬現(xiàn)實(shí)、人機(jī)交互和網(wǎng)絡(luò)技術(shù)，構(gòu)建一個(gè)沉浸式作業(yè)環(huán)境和可自由操作的仿真培訓(xùn)平臺(tái)，讓多名作業(yè)人員通過(guò)不同崗位角色參與到作業(yè)過(guò)程中，體驗(yàn)如何配合、協(xié)同完成線路設(shè)備的巡檢檢修操作，將有效解決當(dāng)前無(wú)人機(jī)巡檢作業(yè)培訓(xùn)中所面臨的問(wèn)題。

目前，仿真培訓(xùn)已廣泛應(yīng)用于軍工、教育等多個(gè)行業(yè)的操作訓(xùn)練，協(xié)同操作仿真在航天、裝配、空戰(zhàn)仿真等多個(gè)領(lǐng)域中得到了應(yīng)用。結(jié)果表明；該方式不僅能夠在經(jīng)濟(jì)上帶來(lái)較大效益，而且能夠有效提升訓(xùn)練水平[1-3]。仿真培訓(xùn)在線路運(yùn)維培訓(xùn)領(lǐng)域應(yīng)用最初是通過(guò)采用三維仿真技術(shù)還原線路運(yùn)維場(chǎng)景和標(biāo)準(zhǔn)化操作過(guò)程，通過(guò)形象直觀地講解項(xiàng)目的作業(yè)方法、人員組合、工器具配備、作業(yè)步驟、安全措施等內(nèi)容，提升教學(xué)培訓(xùn)效果。近年來(lái)，隨著虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，虛擬現(xiàn)實(shí)頭盔、手柄、傳感器等多種設(shè)備逐步應(yīng)用于線路運(yùn)維的培訓(xùn)中，實(shí)現(xiàn)了線路運(yùn)維過(guò)程的人機(jī)交互和沉浸式體驗(yàn)，有效增強(qiáng)了培訓(xùn)效果，并且使得基于虛擬場(chǎng)景的線路運(yùn)維技能培訓(xùn)成為可能[4-6]。但目前僅能夠用于單人、單流程的模擬操作訓(xùn)練，還不能用于多人協(xié)同操作。

協(xié)同仿真訓(xùn)練是以虛擬現(xiàn)實(shí)技術(shù)為基礎(chǔ)，在由計(jì)算機(jī)生成的包含了作業(yè)場(chǎng)景與作業(yè)人員動(dòng)作過(guò)程的三維虛擬場(chǎng)景中，不同人員通過(guò)各自的終端進(jìn)行實(shí)時(shí)操作信息交互，驅(qū)動(dòng)協(xié)同虛擬環(huán)境中的人體模型來(lái)完成整個(gè)作業(yè)過(guò)程的仿真操作。實(shí)現(xiàn)虛擬協(xié)同操作需要解決兩個(gè)關(guān)鍵問(wèn)題：一是如何對(duì)多用戶的并發(fā)維修行為進(jìn)行控制，防止沖突發(fā)生；二是如何保證多個(gè)不同客戶端中仿真作業(yè)場(chǎng)景的一致性。基于此，本文重點(diǎn)研究了線路運(yùn)維多人協(xié)同操作模型的構(gòu)建方法，通過(guò)對(duì)基于多人協(xié)同操作的系統(tǒng)構(gòu)成、體系架構(gòu)和網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)進(jìn)行設(shè)計(jì)，采用Unity 3D、3DMax、VC++、數(shù)據(jù)庫(kù)管理系統(tǒng)軟件等基礎(chǔ)開(kāi)發(fā)平臺(tái)，實(shí)現(xiàn)了線路運(yùn)維多人協(xié)同仿真操作和對(duì)作業(yè)過(guò)程的監(jiān)控和管理，解決了多用戶并發(fā)操作沖突控制和虛擬仿真場(chǎng)景的一致性的問(wèn)題。

1 多人協(xié)同操作模型

1.1 協(xié)同操作流程設(shè)計(jì)

線路運(yùn)維多人協(xié)同仿真操作過(guò)程中，各作業(yè)人員分別使用虛擬現(xiàn)實(shí)交互設(shè)備進(jìn)入同一作業(yè)場(chǎng)景中進(jìn)行作業(yè)任務(wù)的仿真操作，多人協(xié)同過(guò)程中涉及大量的并發(fā)操作可能導(dǎo)致沖突的出現(xiàn)。因此，對(duì)多用戶的并發(fā)操作行為進(jìn)行控制，防止沖突發(fā)生是實(shí)現(xiàn)線路運(yùn)維虛擬協(xié)同操作訓(xùn)練首先需要解決的問(wèn)題。由于線路運(yùn)維協(xié)同操作過(guò)程比較復(fù)雜，且涉及的作業(yè)工具和線路設(shè)備比較多，因此本文采用令牌機(jī)制和動(dòng)態(tài)權(quán)限分配方法[7-9]對(duì)作業(yè)項(xiàng)目的操作流程進(jìn)行規(guī)劃，通過(guò)主動(dòng)分配操作令牌，引導(dǎo)每個(gè)環(huán)節(jié)的操作過(guò)程，防止多人操作中沖突的發(fā)生。

根據(jù)線路運(yùn)維項(xiàng)目的實(shí)際操作需求，每個(gè)作業(yè)項(xiàng)目的操作過(guò)程都可以分為并行操作過(guò)程和多人同步操作過(guò)程。每個(gè)角色設(shè)定序號(hào)、崗位、權(quán)限和狀態(tài)四個(gè)特征量，各角色的崗位根據(jù)實(shí)際操作要求分配，設(shè)置等待和操作兩種狀態(tài)。根據(jù)實(shí)際作業(yè)要求設(shè)計(jì)各個(gè)步驟的操作內(nèi)容和崗位角色，在各步驟開(kāi)始時(shí)動(dòng)態(tài)分配操作權(quán)限，在步驟結(jié)束處設(shè)置提醒標(biāo)志，作業(yè)人員在各操作步驟結(jié)束收到提醒標(biāo)志后的釋放操作權(quán)限，在下一步驟開(kāi)始前重新進(jìn)行權(quán)限分配。例如，假設(shè)某項(xiàng)運(yùn)維作業(yè)由K名人員參與，作業(yè)任務(wù)由M個(gè)操作步驟組成。仿真操作任務(wù)啟動(dòng)后，系統(tǒng)首先根據(jù)實(shí)際作業(yè)要求將不同權(quán)限（1～K）分配給不同的角色，然后由權(quán)限最高的角色負(fù)責(zé)完成操作具體操作動(dòng)作，其他多人角色進(jìn)行協(xié)助。當(dāng)最高權(quán)限的角色出現(xiàn)操作異常時(shí)，系統(tǒng)會(huì)自動(dòng)將操作令牌分配給權(quán)限最高的等待作業(yè)人員，通過(guò)實(shí)現(xiàn)操作權(quán)限的動(dòng)態(tài)分配避免并發(fā)沖突，保證整個(gè)過(guò)程的順利進(jìn)行和系統(tǒng)的正常運(yùn)行。

1.1.1 并行操作過(guò)程

線路運(yùn)維協(xié)同操作過(guò)程中存在多人在同一時(shí)段分別獨(dú)立開(kāi)展各自任務(wù)的情況，本文稱之為并行操作過(guò)程。并行操作流程如圖1所示，系統(tǒng)首先對(duì)作業(yè)人員進(jìn)行分流，將作業(yè)人員劃分為互不相關(guān)的N個(gè)串行操作小組。對(duì)某一組內(nèi)作業(yè)人員來(lái)說(shuō)，系統(tǒng)根據(jù)線路運(yùn)維實(shí)際操作要求對(duì)組內(nèi)所有參與操作的人員進(jìn)行權(quán)限分配，獲得最高優(yōu)先級(jí)的作業(yè)人員按照單人串行模式進(jìn)行操作，當(dāng)該人員出現(xiàn)網(wǎng)絡(luò)掉線、退出等異常情況時(shí)，系統(tǒng)將主動(dòng)從等待狀態(tài)的人員中挑選一名候補(bǔ)人員繼續(xù)進(jìn)行操作。所有作業(yè)人員在每個(gè)步驟完成后均將操作權(quán)限釋放，在進(jìn)入下個(gè)環(huán)節(jié)后獲得系統(tǒng)重新分配的權(quán)限。由于在線路運(yùn)維中有嚴(yán)格的操作標(biāo)準(zhǔn)，當(dāng)兩路作業(yè)人員還有一人未完成設(shè)定任務(wù)，則需等待另一人員完成后才能共同進(jìn)入到下一類型的操作步驟中。

1.1.2 多人同步操作過(guò)程

無(wú)人機(jī)巡檢操作中存在需要多人協(xié)同操作才能完成的任務(wù)，例如無(wú)人機(jī)飛行控制、無(wú)人機(jī)云臺(tái)控制等，為了保證操作的正確性和有效性，系統(tǒng)需要對(duì)操作權(quán)限進(jìn)行設(shè)置。多人協(xié)同操作流程如圖2所示，首先根據(jù)權(quán)限遞減次序選出兩名作業(yè)人員，然后系統(tǒng)會(huì)向兩名作業(yè)人員發(fā)布協(xié)作指令，當(dāng)兩名作業(yè)人員都回復(fù)同意時(shí)，操作正式開(kāi)始。操作過(guò)程中，系統(tǒng)時(shí)刻監(jiān)控是否有作業(yè)人員掉線、退出等特殊情況，如出現(xiàn)此類情況，系統(tǒng)及時(shí)將操作指令按照權(quán)限遞減次序發(fā)布給下一作業(yè)人員，以保證操作順利執(zhí)行完畢。作業(yè)人員在完成各步驟的任務(wù)后主動(dòng)釋放操作權(quán)限，即進(jìn)入下一個(gè)操作步驟。

圖1 并行操作流程圖

圖2 多人協(xié)同操作流程圖

1.2 仿真任務(wù)建模

1.2.1 層次化任務(wù)結(jié)構(gòu)

實(shí)現(xiàn)輸配電線路無(wú)人機(jī)巡檢作業(yè)的多人協(xié)同操作過(guò)程的仿真，首先要能夠全面、清晰地描述所有可能的操作任務(wù)，并能夠真實(shí)、流暢地還原各項(xiàng)具體操作動(dòng)作。將無(wú)人機(jī)線路巡檢作業(yè)仿真操作任務(wù)進(jìn)行層次化分解，實(shí)現(xiàn)對(duì)線路運(yùn)維操作任務(wù)的建模與封裝，可以更靈活地操控虛擬人以及虛擬無(wú)人機(jī)執(zhí)行指定的操作動(dòng)作，實(shí)現(xiàn)對(duì)線路巡檢仿真過(guò)程的準(zhǔn)確實(shí)時(shí)控制。因此，任務(wù)分解是實(shí)現(xiàn)操作過(guò)程仿真的關(guān)鍵，本文將操作任務(wù)分解與人體活動(dòng)仿真相結(jié)合，設(shè)計(jì)以人體活動(dòng)為核心的操作任務(wù)分解模型，作業(yè)人員完成某一任務(wù)的具體操作過(guò)程如圖3所示。

圖3 操作過(guò)程

以操作過(guò)程中的人體活動(dòng)為依據(jù)，實(shí)現(xiàn)每個(gè)具體操作的仿真是完成整個(gè)仿真操作過(guò)程的基礎(chǔ)，因此任務(wù)分解應(yīng)將完整的過(guò)程分解至完成操作的所有運(yùn)動(dòng)及動(dòng)作信息的層次，并實(shí)現(xiàn)對(duì)這些具體動(dòng)作信息的準(zhǔn)確表達(dá)。本文基于過(guò)程和分層的設(shè)計(jì)思想[12]，認(rèn)為各項(xiàng)復(fù)雜的操作任務(wù)由若干子任務(wù)構(gòu)成，而每項(xiàng)子任務(wù)由互不相關(guān)且易于描述的多個(gè)基本動(dòng)作構(gòu)成。根據(jù)動(dòng)作類型和任務(wù)的抽象程度，本文將線路運(yùn)維操作活動(dòng)由上到下分為三層：業(yè)務(wù)相關(guān)的檢修任務(wù)層、面向較小作業(yè)目標(biāo)的作業(yè)單元層、任務(wù)無(wú)關(guān)的基本動(dòng)作層。任務(wù)分解模型如圖4所示。

圖4 任務(wù)的層次分解

（1）基本動(dòng)作層：參數(shù)化的基本動(dòng)作層與具體操作任務(wù)無(wú)關(guān)，具有通用語(yǔ)義，例如作業(yè)人員行走、彎腰、轉(zhuǎn)身、拿放工具等不同的基本動(dòng)作形式。

（2）作業(yè)單元層：作業(yè)單元層用來(lái)描述虛擬作業(yè)人員完成某一作業(yè)任務(wù)而需要開(kāi)展的各項(xiàng)操作，是對(duì)所要實(shí)現(xiàn)檢修任務(wù)層過(guò)程的細(xì)分，各單元內(nèi)容通過(guò)基本動(dòng)作組合得到。

（3）檢修任務(wù)層：最終要實(shí)現(xiàn)的目標(biāo)，由作業(yè)單元的順序組合來(lái)完成，例如無(wú)人機(jī)起飛、懸停、拍照等任務(wù)。通過(guò)檢修任務(wù)層—作業(yè)單元層—基本動(dòng)作層三個(gè)層次不僅可以完整地描述任意作業(yè)任務(wù)，還可以為作業(yè)過(guò)程的評(píng)價(jià)和分析提供信息支撐。

1.2.2 動(dòng)作庫(kù)的建立

根據(jù)上述對(duì)作業(yè)任務(wù)進(jìn)行層次化分解，當(dāng)作業(yè)人員對(duì)虛擬場(chǎng)景中的仿真對(duì)象進(jìn)行操作時(shí)，通過(guò)調(diào)用動(dòng)作庫(kù)中的基本動(dòng)作，組合成一個(gè)操作行為完成單元操作任務(wù)，再通過(guò)完成多項(xiàng)單元任務(wù)可最終實(shí)現(xiàn)檢修任務(wù)目標(biāo)。因此，基本動(dòng)作庫(kù)應(yīng)具備不相交性、完整性和可重用性，涵蓋一整套可以描述實(shí)際作業(yè)所需的各種操作且能被重復(fù)使用的基本動(dòng)作。為了便于實(shí)現(xiàn)線路運(yùn)維中各項(xiàng)操作的建模和仿真，本文根據(jù)結(jié)合實(shí)際線路運(yùn)維的操作內(nèi)容和特點(diǎn)，定義了一套基本動(dòng)作作為描述各種操作行為的標(biāo)準(zhǔn)，并通過(guò)設(shè)定指令實(shí)現(xiàn)對(duì)基本動(dòng)作的調(diào)用，例如：

（1）Worker Gesture（gesture1：手部操作；gesture2：身體姿態(tài)）：虛擬人從當(dāng)前姿勢(shì)調(diào)整到所希望的手部操作及合適的身體姿態(tài)。

（2）Target Location（location：作業(yè)位置）：通過(guò)傳遞位置參數(shù)，虛擬人可到達(dá)執(zhí)行操作任務(wù)的作業(yè)位置。

（3）Use Tool（name：工器具名稱；gesture1：手部操作；gesture2：身體姿態(tài)；equipment：操作對(duì)象）：虛擬人獲取場(chǎng)景中的設(shè)備對(duì)某設(shè)備進(jìn)行操作。

（4）Operation（equipment area：設(shè) 備 區(qū) 域；action：操作動(dòng)作）：對(duì)某一設(shè)備執(zhí)行具體的巡檢操作。

（5）Release（equipment：釋放設(shè)備名稱；gesture1：手部復(fù)原狀態(tài)；gesture2：身體復(fù)原姿態(tài)）：虛擬人完成操作后，釋放設(shè)備，手部和身體均恢復(fù)到初始或某種指定狀態(tài)。

本文綜合采用關(guān)鍵幀動(dòng)畫(huà)仿真和逆向運(yùn)動(dòng)計(jì)算方法對(duì)虛擬人的基本動(dòng)作進(jìn)行表達(dá)。采用關(guān)鍵幀方法實(shí)現(xiàn)相對(duì)固定的動(dòng)作，首先建立由關(guān)鍵幀動(dòng)畫(huà)構(gòu)成的基本動(dòng)畫(huà)庫(kù)，通過(guò)調(diào)用數(shù)據(jù)庫(kù)中的關(guān)鍵幀動(dòng)畫(huà)實(shí)現(xiàn)虛擬作業(yè)人員的操作行為。對(duì)于一些難以用固定動(dòng)作表示的動(dòng)作，例如操作大小不同的物體，抓取時(shí)手部張開(kāi)的范圍和姿態(tài)存在一定差異，此類情況則采用逆向運(yùn)動(dòng)學(xué)方法實(shí)現(xiàn)真實(shí)的交互，例如通過(guò)獲得初始手型的位置和方向以及目標(biāo)手型的位置和方向，則可以計(jì)算出完成從初始手型到目標(biāo)手型的轉(zhuǎn)換所需要的時(shí)間步數(shù)，實(shí)現(xiàn)對(duì)非固定動(dòng)作的模擬。

1.3 三維仿真資源建模

1.3.1 模型定義

為了實(shí)現(xiàn)虛擬作業(yè)人員與虛擬場(chǎng)景中的對(duì)象的動(dòng)態(tài)交互和展示，線路運(yùn)維仿真環(huán)境中的部分三維物體是非靜態(tài)的。為了便于進(jìn)行動(dòng)畫(huà)控制，提高仿真過(guò)程中虛擬作業(yè)人員與仿真對(duì)象之間的交互效率，本文基于特征建模思想建立一個(gè)預(yù)定義的對(duì)象描述，對(duì)非靜態(tài)的三維物體用于交互的特征和屬性進(jìn)行定義，不僅描述設(shè)備的幾何特性，還對(duì)功能特征和執(zhí)行任務(wù)進(jìn)行描述。通過(guò)預(yù)先存儲(chǔ)與物體進(jìn)行交互相關(guān)的信息，并為所創(chuàng)建的動(dòng)作庫(kù)中的基本動(dòng)作提供參數(shù)，使虛擬作業(yè)人員能夠快速調(diào)用相關(guān)信息和基本動(dòng)作實(shí)現(xiàn)指定任務(wù)的交互操作。通過(guò)綜合交互對(duì)象部位、交互操作位置、設(shè)備狀態(tài)變化等信息，可以實(shí)現(xiàn)虛擬作業(yè)人員與物體直接任意可能的交互行為仿真。本文根據(jù)線路運(yùn)維項(xiàng)目的操作特點(diǎn)將交互特征進(jìn)行了細(xì)分，如表1所示。

表1 交互特征列表

1.3.2 三維建模

為了構(gòu)建真實(shí)的線路運(yùn)維虛擬操作環(huán)境，需要建立基本的線路運(yùn)維資源模型，主要包括線路設(shè)備的三維模型、缺陷模型、人物模型以及作業(yè)環(huán)境。本文采用參數(shù)化建模軟件3DMax建立線路運(yùn)維虛擬作業(yè)過(guò)程中涉及的三維模型，建模流程如圖5所示，最后將發(fā)布的模型文件導(dǎo)入到虛擬現(xiàn)實(shí)開(kāi)發(fā)平臺(tái)Unity3D中進(jìn)行線路運(yùn)維仿真場(chǎng)景的構(gòu)建。

圖5 三維建模流程

2 系統(tǒng)設(shè)計(jì)

2.1系統(tǒng)構(gòu)成

本文將無(wú)人機(jī)巡線仿真培訓(xùn)系統(tǒng)的功能分為學(xué)員端和教員端，其中學(xué)員客戶機(jī)主要實(shí)現(xiàn)線路運(yùn)維操作過(guò)程的多人協(xié)同操作，多名學(xué)員可以通過(guò)不同的硬件設(shè)備參與到同一個(gè)線路運(yùn)維項(xiàng)目中，通過(guò)手柄、頭戴式立體眼鏡進(jìn)行作業(yè)過(guò)程交互操作和沉浸式體驗(yàn)；教員通過(guò)控制臺(tái)實(shí)現(xiàn)對(duì)多人同時(shí)訓(xùn)練過(guò)程的監(jiān)控、記錄和管理。目前，多臺(tái)計(jì)算機(jī)的網(wǎng)絡(luò)協(xié)同組建方法主要包括分布式協(xié)同和集中式協(xié)同。分布式協(xié)同通過(guò)網(wǎng)絡(luò)節(jié)點(diǎn)接收信息并進(jìn)行關(guān)鍵性的信息處理后，再將結(jié)果發(fā)送給服務(wù)器或其他網(wǎng)絡(luò)節(jié)點(diǎn)進(jìn)行仲裁，該方式負(fù)載分配合理，但控制算法比較復(fù)雜，適合具有大規(guī)模節(jié)點(diǎn)的分布式協(xié)同任務(wù)。集中式協(xié)同則是由服務(wù)器統(tǒng)一接收當(dāng)前各個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)的輸入信息，并統(tǒng)一計(jì)算處理后回發(fā)各節(jié)點(diǎn)，該方式容易處理沖突，控制簡(jiǎn)單，但是對(duì)服務(wù)器要求比較高，適合網(wǎng)絡(luò)節(jié)點(diǎn)較少的應(yīng)用系統(tǒng)。線路運(yùn)維的協(xié)同操作培訓(xùn)一般由培訓(xùn)中心組織在局域網(wǎng)開(kāi)展，單次協(xié)同訓(xùn)練的人數(shù)在2～4名，集中式協(xié)同比較符合線路運(yùn)維協(xié)同仿真培訓(xùn)的實(shí)際需求，因此本文采用集中式協(xié)同構(gòu)架組建本仿真培訓(xùn)系統(tǒng)，如圖6所示。

圖6 協(xié)同操作仿真培訓(xùn)系統(tǒng)組成

系統(tǒng)由1臺(tái)仿真計(jì)算服務(wù)器、多臺(tái)用于線路運(yùn)維訓(xùn)練的學(xué)員客戶機(jī)、1臺(tái)教員機(jī)、1套立體投影監(jiān)控系統(tǒng)和網(wǎng)絡(luò)交換機(jī)組成。其中，線路運(yùn)維學(xué)員佩戴虛擬現(xiàn)實(shí)輸入設(shè)備（如手柄、位置跟蹤儀等）和反饋設(shè)備（如立體頭盔、力反饋裝置等）進(jìn)行線路運(yùn)維的協(xié)同操作仿真訓(xùn)練，客戶機(jī)采集和處理虛擬現(xiàn)實(shí)輸入設(shè)備的數(shù)據(jù)，并根據(jù)仿真計(jì)算服務(wù)器計(jì)算結(jié)果生成該線路運(yùn)維人員第一視角的三維作業(yè)場(chǎng)景、驅(qū)動(dòng)力反饋裝置使得線路運(yùn)維人員感知操作結(jié)果。仿真計(jì)算服務(wù)器接收各線路運(yùn)維人員操作數(shù)據(jù)后執(zhí)行仿真計(jì)算，進(jìn)行三維虛擬場(chǎng)景仿真、碰撞檢測(cè)計(jì)算、抓持仿真、人體和物體動(dòng)力學(xué)仿真以及協(xié)同仿真處理，最后把計(jì)算結(jié)果分別發(fā)送給客戶機(jī)和教員機(jī)，并且實(shí)現(xiàn)過(guò)程記錄、操作回放和多視角觀看功能。教師可以通過(guò)教員機(jī)發(fā)送仿真培訓(xùn)項(xiàng)目訓(xùn)練的控制指令，通過(guò)立體投影系統(tǒng)觀察和監(jiān)視各線路運(yùn)維人員的操作過(guò)程及協(xié)同完成任務(wù)情況。

2.2 體系結(jié)構(gòu)

針對(duì)輸配電線路無(wú)人機(jī)巡檢作業(yè)多人協(xié)同仿真培訓(xùn)系統(tǒng)的功能需求，本文采用基于數(shù)據(jù)建模的方法來(lái)構(gòu)建系統(tǒng)的體系結(jié)構(gòu)，包括表現(xiàn)層、邏輯層、數(shù)據(jù)層和支撐層，如圖7所示。

圖7 系統(tǒng)體系結(jié)構(gòu)

2.2.1 表現(xiàn)層

表現(xiàn)層通過(guò)不同的硬件終端設(shè)備為教員、學(xué)員等不同用戶提供人機(jī)交互操作界面，獲取并顯示協(xié)同操作過(guò)程中生成的數(shù)據(jù)。

2.2.2 邏輯層

邏輯層是整個(gè)協(xié)同操作仿真培訓(xùn)系統(tǒng)的核心，實(shí)現(xiàn)對(duì)業(yè)務(wù)邏輯的處理、系統(tǒng)管理及配置管理，包括仿真操作訓(xùn)練、仿真操作考核、權(quán)限設(shè)定、培訓(xùn)監(jiān)控和信息管理等模塊。本系統(tǒng)在協(xié)同仿真操作模塊中，將線路運(yùn)維的具體操作分解為檢修任務(wù)層、作業(yè)單元層和基本動(dòng)作層，根據(jù)協(xié)同操作流程設(shè)計(jì)驅(qū)動(dòng)虛擬場(chǎng)景并控制整個(gè)仿真操作過(guò)程。

2.2.3 數(shù)據(jù)層

數(shù)據(jù)層封裝線路運(yùn)維仿真中涉及的各項(xiàng)資源，包括三維模型庫(kù)、設(shè)備信息庫(kù)、試題庫(kù)、用戶信息庫(kù)等，其中三維模型庫(kù)又分為場(chǎng)景模型、人物模型、工器具模型、動(dòng)作模型等。

2.2.4 支撐層

支撐層主要為系統(tǒng)軟件技術(shù)開(kāi)發(fā)平臺(tái)和網(wǎng)絡(luò)協(xié)議，軟件平臺(tái)包括主要采用Unity 3D、3DMax、VC++、數(shù)據(jù)庫(kù)管理系統(tǒng)軟件，為仿真作業(yè)視景驅(qū)動(dòng)與程序控制提供基礎(chǔ)開(kāi)發(fā)平臺(tái)。網(wǎng)絡(luò)平臺(tái)支持TCP/IP、IPX、DirectPlay、視頻協(xié)議等，實(shí)現(xiàn)組網(wǎng)和網(wǎng)絡(luò)傳輸功能，保證大數(shù)據(jù)量的吞吐。

2.3 網(wǎng)絡(luò)結(jié)構(gòu)

線路運(yùn)維協(xié)同仿真系統(tǒng)是一個(gè)多計(jì)算機(jī)、多顯示設(shè)備的協(xié)同訓(xùn)練仿真環(huán)境，在協(xié)同操作過(guò)程中，各個(gè)作業(yè)人員通過(guò)虛擬現(xiàn)實(shí)設(shè)備與虛擬場(chǎng)景交互，只有當(dāng)各作業(yè)人員在本地看到的場(chǎng)景與其他作業(yè)人員看到的場(chǎng)景一致時(shí)，才能保證協(xié)同操作過(guò)程的順利進(jìn)行。在多名作業(yè)人員進(jìn)行協(xié)同操作的過(guò)程中，仿真系統(tǒng)必須保證虛擬場(chǎng)景的一致性，包括構(gòu)成虛擬場(chǎng)景的元素、仿真對(duì)象的位置和狀態(tài)、仿真對(duì)象之間的約束關(guān)系等。場(chǎng)景、角色、腳本和通信需要頻繁地與數(shù)據(jù)服務(wù)器進(jìn)行數(shù)據(jù)交換，保證各名作業(yè)人員之間數(shù)據(jù)同步也是協(xié)同作業(yè)實(shí)現(xiàn)的關(guān)鍵。為保證各客戶機(jī)之間數(shù)據(jù)同步的實(shí)時(shí)性和可靠性，本文采用數(shù)據(jù)同步技術(shù)設(shè)計(jì)協(xié)同仿真系統(tǒng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，如圖8所示。

圖8 協(xié)同操作仿真培訓(xùn)系統(tǒng)拓?fù)浣Y(jié)構(gòu)圖

在協(xié)同仿真作業(yè)系統(tǒng)中設(shè)置一個(gè)公共數(shù)據(jù)服務(wù)器創(chuàng)建一個(gè)虛擬場(chǎng)景元素?cái)?shù)據(jù)同步中心，每個(gè)各作業(yè)人員客戶機(jī)以C/S方式直接訪問(wèn)公共數(shù)據(jù)服務(wù)器上存放的公共信息。系統(tǒng)運(yùn)行前，各客戶機(jī)下載一份虛擬場(chǎng)景元素?cái)?shù)據(jù)，通過(guò)修改虛擬場(chǎng)景元素?cái)?shù)據(jù)庫(kù)，各臺(tái)學(xué)員客戶機(jī)即可更新本地的虛擬場(chǎng)景。系統(tǒng)在運(yùn)行中不通過(guò)網(wǎng)絡(luò)傳遞整個(gè)虛擬場(chǎng)景數(shù)據(jù)，僅傳遞虛擬場(chǎng)景中各物體的位置、姿態(tài)數(shù)據(jù)和相互關(guān)系等數(shù)據(jù)，各臺(tái)學(xué)員客戶機(jī)接收這些數(shù)據(jù)，并在本地更新場(chǎng)景以及虛擬人和反饋裝置的執(zhí)行信息，協(xié)同操作仿真流程如圖9所示。通過(guò)盡量減少網(wǎng)絡(luò)傳輸帶寬，保證數(shù)據(jù)交互的實(shí)時(shí)性，實(shí)現(xiàn)訓(xùn)練過(guò)程中各作業(yè)人員客戶機(jī)虛擬仿真場(chǎng)景一致性。

圖9 協(xié)同操作仿真系統(tǒng)流程圖

3 系統(tǒng)實(shí)現(xiàn)

3.1 視景仿真

構(gòu)建虛擬的線路運(yùn)維場(chǎng)景是實(shí)現(xiàn)多人協(xié)同操作訓(xùn)練的基礎(chǔ)，本文采用Unity 3D虛擬現(xiàn)實(shí)基礎(chǔ)開(kāi)發(fā)平臺(tái)首先搭建了用于線路運(yùn)維場(chǎng)景仿真的三維動(dòng)態(tài)仿真平臺(tái)，再借助三維仿真模型庫(kù)和三維動(dòng)態(tài)仿真平臺(tái)，通過(guò)自定義腳本分析方法、導(dǎo)入設(shè)備文件的方式，即可簡(jiǎn)單、快速搭建動(dòng)態(tài)三維作業(yè)場(chǎng)景，如圖10所示。

圖10 三維動(dòng)態(tài)仿真平臺(tái)操作示例圖

3.2 功能實(shí)現(xiàn)

本系統(tǒng)首先利用三維動(dòng)態(tài)仿真平臺(tái)對(duì)實(shí)際的線路運(yùn)維環(huán)境進(jìn)行三維還原，然后通過(guò)虛擬現(xiàn)實(shí)輸入設(shè)備實(shí)現(xiàn)人機(jī)交互操作。多名學(xué)員借助不同的客戶機(jī)可分別進(jìn)入到同一作業(yè)環(huán)境中，以不同角色進(jìn)行協(xié)同操作，按照系統(tǒng)預(yù)設(shè)的操作流程完成各個(gè)作業(yè)步驟。以500 kV單回耐張塔巡檢作業(yè)為例，一人操作遙控器、一人操作地面站，即操控手和程控手，操控設(shè)置以及顯示視角應(yīng)與實(shí)際巡檢操作完全一致，也可使用配套的VR眼鏡進(jìn)行訓(xùn)練。

圖11 作業(yè)點(diǎn)巡檢流程

2#操控收負(fù)責(zé)將無(wú)人機(jī)操控至指定位置懸停，1#程控手負(fù)責(zé)調(diào)整云臺(tái)，操控?zé)o人機(jī)相機(jī)對(duì)準(zhǔn)待巡檢位置處完成符合作業(yè)規(guī)范的照片拍攝，協(xié)同完成一個(gè)任務(wù)后，兩名作業(yè)人員協(xié)同進(jìn)入下一巡檢點(diǎn)的拍攝任務(wù)。此環(huán)節(jié)按照多人同步操作過(guò)程執(zhí)行。此過(guò)程除規(guī)定的作業(yè)任務(wù)，不限制學(xué)員進(jìn)行其他操作。

圖12 巡檢操作的仿真示例圖

通過(guò)局域網(wǎng)將各臺(tái)學(xué)員客戶機(jī)、教員機(jī)與服務(wù)器互聯(lián)構(gòu)建一個(gè)協(xié)同仿真培訓(xùn)系統(tǒng)，多名學(xué)員可按照線路運(yùn)維實(shí)際要求組成一個(gè)班組，按照各自崗位扮演不同作業(yè)角色，在同一個(gè)虛擬工作環(huán)境下進(jìn)行同一個(gè)線路巡檢項(xiàng)目的協(xié)同操作訓(xùn)練，如圖13所示。借助虛擬作業(yè)環(huán)境，各學(xué)員以第一人稱體驗(yàn)視角在虛擬場(chǎng)景中根據(jù)實(shí)際作業(yè)要求通過(guò)相互配合，進(jìn)行線路運(yùn)維過(guò)程的自由模擬操作，并且可以在真實(shí)空間中進(jìn)行自由溝通交流。通過(guò)真實(shí)感受各自崗位的作業(yè)工況和操作職責(zé)，強(qiáng)化對(duì)多人協(xié)同作業(yè)能力和操作要領(lǐng)的訓(xùn)練。

圖13 多人協(xié)同訓(xùn)練（第一人稱體驗(yàn)視角）

在多人協(xié)同操作的過(guò)程中，教師可以通過(guò)教員機(jī)以一個(gè)可以自由控制的第三人稱視角觀看整個(gè)操作過(guò)程，如圖14所示。可以通過(guò)投影幕進(jìn)行展示，便于其他人員進(jìn)行現(xiàn)場(chǎng)觀摩和技術(shù)交流。

圖14 第三人稱觀看視角

4 結(jié)論

（1）采用令牌機(jī)制和動(dòng)態(tài)權(quán)限分配方法設(shè)計(jì)了線路運(yùn)維中的并行操作過(guò)程和多人同步操作過(guò)程，采用層次化任務(wù)結(jié)構(gòu)對(duì)線路運(yùn)維任務(wù)進(jìn)行了層次化分解，采用特征建模思想描述非靜態(tài)三維物體的特征，通過(guò)建立線路運(yùn)維資源模型和基本動(dòng)作庫(kù)構(gòu)建了線路運(yùn)維多人協(xié)同操作模型，解決了多人操作中的沖突問(wèn)題，可有效保證系統(tǒng)運(yùn)行的穩(wěn)定性。

（2）通過(guò)局域網(wǎng)將各臺(tái)學(xué)員客戶機(jī)與教員機(jī)、服務(wù)器互聯(lián)構(gòu)建了無(wú)人機(jī)巡線仿真訓(xùn)練系統(tǒng)，采用數(shù)據(jù)同步技術(shù)搭建了協(xié)同仿真系統(tǒng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，通過(guò)保證各客戶機(jī)之間數(shù)據(jù)同步的實(shí)時(shí)性和可靠性，實(shí)現(xiàn)了訓(xùn)練過(guò)程中各作業(yè)人員客戶機(jī)虛擬仿真場(chǎng)景一致性。

（3）采用Unity 3D、3DMax、VC++、數(shù)據(jù)庫(kù)軟件等基礎(chǔ)開(kāi)發(fā)平臺(tái)，實(shí)現(xiàn)了線路運(yùn)維協(xié)同仿真培訓(xùn)功能，多名學(xué)員可以通過(guò)不同客戶機(jī)參與到同一個(gè)線路運(yùn)維項(xiàng)目中進(jìn)行協(xié)同操作，各學(xué)員通過(guò)頭戴式立體眼鏡和交互設(shè)備實(shí)現(xiàn)了作業(yè)過(guò)程的沉浸式體驗(yàn)和交互操作，通過(guò)教員機(jī)實(shí)現(xiàn)了對(duì)多人訓(xùn)練過(guò)程的監(jiān)控、記錄和管理。結(jié)果表明，該系統(tǒng)運(yùn)行穩(wěn)定可靠，可以為線路運(yùn)維的協(xié)同訓(xùn)練提供了一種先進(jìn)、有效的培訓(xùn)手段，可以用于線路運(yùn)維專項(xiàng)技能訓(xùn)練和實(shí)際操作之前的模擬演練。