譚武光,張德剛,江 龍,李澤河,王達達,曹俊豪,王國平
(1.云南電網(wǎng)有限責任公司教育培訓評價中心,云南 昆明 510650;2.北京科東電力控制系統(tǒng)有限責任公司,北京 100192)
隨著我國電網(wǎng)規(guī)模的快速增大,變電站作為電網(wǎng)的重要環(huán)節(jié),運維人員的安全意識和技術素質對變電站的安全穩(wěn)定運行起到重要作用。當前變電站運行安全培訓存在理論與實操分離現(xiàn)象,理論學習抽象、單調(diào)、枯燥,不便學員理解;在實操過程中,學員對操作規(guī)程和要點生疏,容易誤操作,導致安全事故發(fā)生率上升,傳統(tǒng)的培訓方式已無法滿足電網(wǎng)發(fā)展的實際需要。因此,迫切需要研發(fā)一種高度交互性、情境性和體驗性的電力安全培訓系統(tǒng)。
沉浸式虛擬現(xiàn)實仿真技術基于各種虛擬現(xiàn)實交互設備,如立體投影、頭盔顯示器和動作捕捉等設備,為參與者構建一個具有高度沉浸感和自然交互的虛擬環(huán)境。近年來,隨著沉浸式虛擬現(xiàn)實開發(fā)技術的不斷成熟,消費級虛擬現(xiàn)實硬件設備不斷推出,典型的交互設備有OculusRift虛擬現(xiàn)實頭盔、HTCVIVE虛擬現(xiàn)實頭盔和MicrosoftKinect體感交互設備等?;诔两教摂M現(xiàn)實技術構建具有高度沉浸感的變電安全仿真培訓系統(tǒng),能更好地增強變電工作場景展示和實操培訓效果,成為該領域新的研究熱點和發(fā)展趨勢。
以下設計的案例式變電站安全仿真培訓系統(tǒng),利用當前變電站仿真培訓和沉浸式虛擬現(xiàn)實等最新技術成果,并采用三維立體投影、虛擬現(xiàn)實頭盔、位置跟蹤器、動作捕捉器等虛擬現(xiàn)實交互設備,為電力安全仿真培訓提供一種具有高度沉浸感和自然交互性的培訓方式。
安全案例制作工具、電網(wǎng)仿真、變電站仿真、3D投影系統(tǒng)、沉浸式虛擬交互系統(tǒng)、培訓管理構成了軟件系統(tǒng)。上述軟件模塊的仿真邏輯的時間、控制和交互信息的同步,通過底層的仿真支撐平臺實現(xiàn)。圖1為系統(tǒng)的軟件結構。
圖1 系統(tǒng)軟件結構
(1)教員通過對電網(wǎng)安全生產(chǎn)中人身傷亡事故、典型生產(chǎn)事故進行分析,歸納操作過程中出現(xiàn)的錯誤、存在的風險點。利用安全案例制作工具以可視化交互的方式,編輯制作適合培訓的、正確規(guī)范操作和錯誤操作相比對的雙重模擬案例,讓學員體會不同的操作產(chǎn)生的不同后果,增強培訓效果。
(2)電網(wǎng)仿真通過潮流計算,按照一定的仿真周期計算出電網(wǎng)設備的遙測數(shù)據(jù)和遙信數(shù)據(jù),并通過網(wǎng)絡發(fā)送給變電站仿真模塊。遙測數(shù)據(jù)包括電網(wǎng)設備的電流值、電壓值、有功功率和無功功率等;電力遙信數(shù)據(jù)包括斷路器與隔離開關狀態(tài)。同時,電網(wǎng)仿真模塊通過網(wǎng)絡通信接收變電站仿真模塊發(fā)送的斷路器和隔離開關等變電設備的控制信息進行處理,并更新電網(wǎng)模型的狀態(tài)。
(3)變電站仿真在變電站設備的機理模型的基礎上,采用先進的三維引擎開發(fā),實現(xiàn)對變電站電氣設備、輔助設備、環(huán)境場景以及虛擬人等的三維建模,并逼真模擬變電站一、二次設備和變電站后臺監(jiān)控系統(tǒng)的運行情況。
(4)三維立體投影通過三維圖像拼接轉換程序將變電站場景的三維圖像轉換為多幅圖像,并分別輸出到多路立體投影機,由立體投影機投射到立體弧幕上,形成三維圖像的立體顯示。
(5)沉浸式虛擬交互模塊實時精準獲取動作捕捉器所捕捉到的學員肢體關節(jié)點(膝、肘、腰和脖、頸、頭等)的空間位置信息,并將肢體關節(jié)點空間位置信息映射到虛擬空間的虛擬人。通過計算,轉換為虛擬人對應關節(jié)的空間旋轉,實現(xiàn)虛擬人的空間操作動作。然后,通過計算虛擬人的手部與變電站的三維設備的碰撞數(shù)據(jù)及虛擬人的手勢識別,準確再現(xiàn)學員的操作行為,如按下復位按鈕、扭動操作把手等,最終轉換為變電站仿真中的操作行為。
(6)培訓管理模塊的功能包括培訓教案設置、培訓過程控制與管理、考核結果評價等,可實現(xiàn)對整個培訓過程的全程管控。
本系統(tǒng)的硬件包括仿真工作站、立體弧幕、立體投影機、動作捕捉器、虛擬現(xiàn)實頭盔和網(wǎng)絡交換機,具體的硬件系統(tǒng)結構如圖2所示。
1.2.1仿真工作站
系統(tǒng)配置3臺仿真工作站。主工作站用來供操作人進行虛擬操作,并將視頻信號傳送到融合機,通過6臺投影機輸出到大型立體弧幕上,從而合成3D圖像。主工作站通過數(shù)據(jù)線連接動作捕捉器,實時獲取人體的動作數(shù)據(jù)并驅動虛擬人與虛擬場景的設備實現(xiàn)交互操作。工作站2連接虛擬頭盔或屏幕,供監(jiān)護人進行虛擬場景的交互。工作站3連接虛擬頭盔或屏幕,供負責人進行虛擬場景的交互。
圖2 硬件系統(tǒng)結構
1.2.2立體弧幕、立體投影機
系統(tǒng)配置3套立體投影機(6臺投影機),分別通過視頻線連接并接收硬件圖像融合器輸出的3組分屏圖像并投射到立體弧幕上。學員可以通過佩戴3D眼鏡的方式,沉浸式體驗變電站一、二次設備的正常、異常、事故狀態(tài)及其動作過程,進行變電站設備虛擬巡視、檢查、漫游、操作及事故案例處理。
1.2.3動作捕捉器
動作捕捉器實時獲取用戶運動關鍵位置的空間坐標和運動姿態(tài)數(shù)據(jù),并將數(shù)據(jù)實時傳送給仿真機以更新虛擬人物角色相應的關節(jié)旋轉角度,從而實現(xiàn)虛擬人物的控制和場景交互操作。
1.2.4虛擬現(xiàn)實頭盔
虛擬現(xiàn)實頭盔配套的位置跟蹤器,通過實時追蹤頭盔上的位置感應點,實時獲取頭盔的空間位置和方位,并傳送給仿真工作站實時更新頭盔內(nèi)顯示的三維影像。
1.2.5網(wǎng)絡交換機
網(wǎng)絡交換機實現(xiàn)分布式系統(tǒng)的數(shù)據(jù)交換。
用戶利用該沉浸式變電站安全事故案例制作工具,可以自行構建出變電站典型安全事故案例。典型案例是作業(yè)過程中一系列的關鍵操作步驟和關鍵事件的集合。本項目采用有向流程圖的數(shù)據(jù)結構表示典型案例對象,采用案例圖元表示操作步驟和事件,案例圖元直接由有向弧連接,以表示案例圖元的時間先后順序。案例流程圖采用可擴展的xml格式進行數(shù)據(jù)存儲和讀取。
為了提高案例制作的效率,本項目研究開發(fā)出案例流程圖編輯工具,以可視化的形式編輯生成案例流程圖。該編輯工具通過鼠標、鍵盤操作,可實現(xiàn)案例圖元的新建、屬性編輯、流程圖布局編輯、圖元連接、圖元刪除和流程圖文件的加載保存等功能。具體交互界面如圖3所示。
本項目采用虛擬現(xiàn)實頭盔和立體弧幕投影2種沉浸式立體顯示技術,既可對培訓人員進行個人的沉浸式培訓,也可實現(xiàn)培訓過程的開放式參觀。
虛擬現(xiàn)實頭盔內(nèi)置2塊小型顯示屏幕,分別用于左右眼的立體顯示,可大范圍封閉人的視野。系統(tǒng)通過將帶顯示的三維圖像分解為帶有視差的2幅左右眼圖像,并分別輸出到虛擬現(xiàn)實頭盔內(nèi)的左右眼屏幕,實現(xiàn)雙眼立體沉浸式顯示。該系統(tǒng)軟件通過在三維場景中建立2個虛擬相機分別對應左右眼視點,將左右眼對應虛擬相機的三維場景圖像同步輸出到虛擬現(xiàn)實頭盔的左右眼屏幕,實現(xiàn)雙眼立體成像。
立體弧幕顯示所需圖像分辨率大于單個投影機的輸出分辨率,因此需要將三維圖像通過多臺投影機進行圖像拼接式投影。本系統(tǒng)開發(fā)了三維圖像拼接轉換程序,該程序輸入顯卡渲染的三維圖像,并根據(jù)投影參數(shù)將單幅三維圖像轉換為適合多通道投影輸出的多幅3D顯示三維圖像,然后將多維圖像分別輸出到不同的投影機并投射到立體弧幕上,從而產(chǎn)生三維立體輸出效果。
基于運動捕捉的虛擬人交互過程:光學動作捕捉系統(tǒng)獲取培訓人員的人體運動數(shù)據(jù),然后將記錄到的運動數(shù)據(jù)實時映射到虛擬場景中的虛擬人,以驅動虛擬人在虛擬場景中做出和培訓人員相一致的肢體動作。該交互技術不是簡單的確認或者返回這些選擇性操作,而是實時反映培訓人員的動作。
動作捕捉系統(tǒng)獲取的原始運動數(shù)據(jù)為具有冗余信息的運動數(shù)據(jù)。為了能夠正確驅動虛擬人的運動,本項目首先對運動數(shù)據(jù)進行數(shù)據(jù)除噪和消除冗余,并從大量的運動數(shù)據(jù)中提取出可以正確反映虛擬人完整運動過程的運動數(shù)據(jù)。然后將處理好的數(shù)據(jù)根據(jù)虛擬人模型進行映射處理,并最終實現(xiàn)運動數(shù)據(jù)對虛擬人的驅動。
本項目中變電站的操作流程包括監(jiān)護員、操作員、負責人,系統(tǒng)支持同時多人分別以監(jiān)護員、操作員、負責人的角色交互,完全按照變電站實際運行的工作流程,協(xié)同完成一個任務。系統(tǒng)實現(xiàn)多人協(xié)同的任務模式,在該模式下多個受訓人員可分別以不同角色登錄進入培訓場景,以團隊協(xié)作的方式共同完成一個多人參與的作業(yè)任務。在協(xié)同作業(yè)過程中,學員按照各自的角色、任務分工在仿真系統(tǒng)上進行仿真實操,用戶之間采用文字、語音等通信方式進行溝通交流。
圖3 安全事故案例制作工具交互界面示例
系統(tǒng)采用集中式的客戶端/服務端模式實現(xiàn)多人協(xié)同的通信功能開發(fā),在使用多人協(xié)同功能前,所有客戶端首先需要同協(xié)同服務端模塊建立可靠的網(wǎng)絡鏈接。在多人協(xié)同功能運行過程中,任何客戶端上所發(fā)生的交互操作都需要將該交互操作信息通過網(wǎng)絡傳遞給服務端,服務端收到操作信息后進行處理,并將操作信息轉發(fā)給待協(xié)同的其他客戶端。處理和轉發(fā)工作由服務端完成,客戶端負責發(fā)送操作信息和接受同步信息并更新場景。
以上研究成果已成功應用于云南電網(wǎng)公司教育培訓評價中心,以對相關生產(chǎn)人員進行安全事故案例的仿真培訓。用戶可以通對電網(wǎng)生產(chǎn)中的人身傷亡事故、典型生產(chǎn)事故進行分析,編輯制作適合培訓的、正確規(guī)范操作和錯誤操作相比對的雙重模擬案例,并通過沉浸式方式讓學員如同身臨其境地體會不同的操作所產(chǎn)生的不同后果,加深印象,感受各種作業(yè)環(huán)境中存在的危險因素,大大增強了對學員的培訓效果。圖4為系統(tǒng)實際應用示例。
圖4 系統(tǒng)實際應用示例
案例式變電站安全仿真培訓系統(tǒng)采用沉浸式虛擬現(xiàn)實模式來演繹電網(wǎng)變電站生產(chǎn)場景。通過建立變電站一、二次場景模型,將案例進行真實還原和情景再現(xiàn),通過虛擬現(xiàn)實頭盔、動作捕捉系統(tǒng)和3D立體投影系統(tǒng)實現(xiàn)虛擬人與變電站仿真場景進行交互的安全操作和培訓??稍诓挥绊戨娏W(wǎng)絡正常運行的情況下,讓員工親身體驗如同實際發(fā)生的生產(chǎn)事故,感觸各種作業(yè)環(huán)境中存在的危險因素和不規(guī)范操作帶來的后果。這解決了傳統(tǒng)培訓模式現(xiàn)場感缺乏和用戶體驗的不足的缺點,從而增強了培訓效果。
不過,本系統(tǒng)在基于沉浸式虛擬現(xiàn)實的多人聯(lián)合訓練場景的逼真度和學員的沉浸體驗度上還存在不足。三維虛擬場景下的多人協(xié)同培訓仿真的逼真度和場景數(shù)據(jù)同步的實時性還有待提高,這是下一步的研究方向。
參考文獻:
1 李蔚清,吳慧中,林昌年.變電站仿真培訓系統(tǒng)虛擬環(huán)境的研究與實現(xiàn)[J].系統(tǒng)仿真學報,2006,18(S1):123-126.
2 林尉,徐正清,馮可,等.上海500kV變電站三維仿真培訓系統(tǒng)開發(fā)[J].電網(wǎng)技術,2009,33(17):210-215.
3 黃顯吞,顏錦.典型事故案例分析培訓方式在電工特種作業(yè)人員安全培訓中存在的問題及對策[J].科技資訊,2008,6(29):201-203.
4 王興鵬,單小東.基于案例分析的電力安全生產(chǎn)管理研究[J].中國電力教育,2011,20(36):50-55.
5 朱偉維.電力企業(yè)高空作業(yè)安全事故案例分析[J].中國新技術新產(chǎn)品,2012,20(18):246-247.
6 侯俊,李蔚清,林昌年.變電站三維交互場景仿真關鍵技術研究[J].電網(wǎng)技術,2005,29(9):70-75.
7 王星捷,李春花.基于Unity3D平臺的三維虛擬城市研究與應用[J].計算機技術與發(fā)展,2013,23(4):241-244.
8 相茂英,馬純永,韓勇,等.基于Unity3D的化工設備虛擬培訓系統(tǒng)研究[J].計算機技術與發(fā)展,2014,24(7):196-200.
9 楊光輝,馬純永,韓勇,等.基于Kinect的虛擬展館游覽系統(tǒng)的設計與實現(xiàn)[J].計算機技術與發(fā)展,2014,24(6):174-178.
10 廖宏建,曲哲.基于Kinect體感交互技術的虛擬裝配實驗系統(tǒng)開發(fā)[J].實驗技術與管理,2013,30(7):98-102.
11 權巍,范靜濤,蔣振剛,等.一種基于CAVE的交互式全景視頻顯示方法[J].微電子學與計算機,2012,9(5):23-25.
12 倪晨,邱鵬,王鋒,等.Kinect體感技術在人機交互中的應用研究[J].信息技術與信息化,2013,11(1):25-29.
13 楊選懷,林昌年,王國平,等.基于高層體系結構的電力系統(tǒng)綜合仿真平臺[J].電網(wǎng)技術,2009,33(11):98-103.
14 江葉峰,魏文輝,高峰,等.基于SG-OSS的調(diào)控一體化仿真培訓應用的設計與實現(xiàn)[J].中國電力,2014,47(4):80-85.
15 海曉濤,林尉,高峰,等.西北750kV交直流混聯(lián)電網(wǎng)綜合仿真培訓系統(tǒng)[J].電網(wǎng)技術,2012,36(8):254-259.