VR遠(yuǎn)程無線控制系統(tǒng)設(shè)計(jì)與仿真

劉雪林,王曉東(通信作者),范知遙

(1 廈門大學(xué)嘉庚學(xué)院 福建 漳州 363105) (2 北京林業(yè)大學(xué)經(jīng)濟(jì)管理學(xué)院 北京 100083)

0 引言

在工業(yè)控制領(lǐng)域,很多一線操作/駕駛?cè)藛T身處高空、高腐蝕性、高輻射、高溫、高壓、缺氧等惡劣環(huán)境,工作安全風(fēng)險(xiǎn)高,這是導(dǎo)致此類崗位人力成本提升和惡性事故頻發(fā)的直接原因。

針對(duì)該問題,領(lǐng)域?qū)＜壹肮こ碳夹g(shù)人員建議采用遠(yuǎn)程控制技術(shù),以幫助操作員規(guī)避環(huán)境風(fēng)險(xiǎn)。所謂遠(yuǎn)程控制是指本地計(jì)算機(jī)通過網(wǎng)絡(luò)系統(tǒng)對(duì)遠(yuǎn)端的設(shè)備進(jìn)行監(jiān)測(cè)與控制。目前,很多先進(jìn)的遠(yuǎn)程控制解決方案已經(jīng)被設(shè)計(jì)出來,并應(yīng)用于工程實(shí)踐,具體包括:煤礦掘進(jìn)機(jī)[1]、油田注水井[2]、機(jī)械系統(tǒng)[3]、機(jī)器人等。隨著近些年來5G、虛擬現(xiàn)實(shí)(virtual reality,VR)、物聯(lián)網(wǎng)、人工智能技術(shù)的日漸成熟,打造新一代、高可靠、高逼真的遠(yuǎn)程無線控制的條件業(yè)已成熟。

基于此,為了進(jìn)一步提升工業(yè)設(shè)備操作的可靠性以及操作體驗(yàn),本文提出設(shè)計(jì)一種新型具有高可靠性的VR遠(yuǎn)程無線控制系統(tǒng)方案。通過該方案的應(yīng)用,一方面可以顯著降低操作人員的工作安全風(fēng)險(xiǎn),遠(yuǎn)離高危環(huán)境,另一方面也為未來建立多設(shè)備集中遠(yuǎn)程控制室,從而為實(shí)現(xiàn)“一人多機(jī)”(單一操作人員同時(shí)操控多臺(tái)設(shè)備)、批量操作(通過自動(dòng)化手段整合多項(xiàng)操作)等高級(jí)運(yùn)行模式提供條件。

1 系統(tǒng)設(shè)計(jì)需求分析

實(shí)現(xiàn)工業(yè)設(shè)備無線遠(yuǎn)程控制,必須確保操作的安全性、可靠性、逼真性,才能滿足工程實(shí)踐的需求。

1.1 安全性

對(duì)于遠(yuǎn)程控制系統(tǒng),必須考慮時(shí)延帶來的安全性影響。由于網(wǎng)絡(luò)控制系統(tǒng)的狀態(tài)參數(shù)采樣、通訊結(jié)構(gòu)的延遲、數(shù)據(jù)傳輸和接收的等待等行為,必然會(huì)造成整個(gè)控制閉環(huán)回路的傳輸延遲現(xiàn)象。即使存在輕微的時(shí)延,也會(huì)導(dǎo)致設(shè)備運(yùn)轉(zhuǎn)過程中產(chǎn)生較大的位移偏差,造成難以估計(jì)的安全損失。

1.2 可靠性

遠(yuǎn)程控制操作必須是高可靠的,這就要求設(shè)計(jì)者采取特殊保障手段確保指令傳輸在各種惡劣條件下都通暢可達(dá)。鑒于進(jìn)行遠(yuǎn)程控制通信距離長(zhǎng)、網(wǎng)絡(luò)設(shè)備多,通信不穩(wěn)定性大大增加的實(shí)際問題,系統(tǒng)設(shè)計(jì)對(duì)遠(yuǎn)程網(wǎng)絡(luò)可靠性和時(shí)滯指標(biāo)需要制定嚴(yán)苛的指標(biāo)。

1.3 逼真性

在現(xiàn)場(chǎng)遠(yuǎn)程操作視景呈現(xiàn)時(shí),如果僅僅采用簡(jiǎn)單的二維圖像方式實(shí)現(xiàn),顯然會(huì)喪失操作人員的空間感。因此新一代的遠(yuǎn)程控制系統(tǒng)應(yīng)該更多引入三維圖像技術(shù),使得操作人員具有身臨其境的感覺。同時(shí),為了實(shí)現(xiàn)與日前逐漸流行起來的駕駛培訓(xùn)三維技術(shù)[4]無縫結(jié)合,遠(yuǎn)程控制界面向三維圖像過渡也成為必然趨勢(shì)。

2 系統(tǒng)設(shè)計(jì)關(guān)鍵技術(shù)

針對(duì)上文提出的問題,本節(jié)針對(duì)性引入關(guān)鍵技術(shù)加以解決。

2.1 冗余通信

對(duì)于重要、昂貴系統(tǒng)的現(xiàn)場(chǎng)通信來說,冗余通信一般是指在任何兩個(gè)通信端點(diǎn)之間存在兩條或者更多的通信信道并且能將這兩個(gè)端點(diǎn)之間的通信在這些信道之間作動(dòng)態(tài)切換。在此情況下,如果使用單一信道進(jìn)行遠(yuǎn)程數(shù)據(jù)的通信,往往無法滿足上述遠(yuǎn)程通信可靠性的需求。為此就需要采用冗余通信方式。

2.2 時(shí)延控制

網(wǎng)絡(luò)機(jī)械控制系統(tǒng)需要考慮傳輸延遲,這對(duì)于安全尤其重要。目前,針對(duì)這種通信時(shí)延的抑制/補(bǔ)償主要有兩種解決方案,一種是改善網(wǎng)絡(luò)的帶寬和通信結(jié)構(gòu),例如:采用更大的網(wǎng)絡(luò)帶寬,通過改進(jìn)網(wǎng)絡(luò)任務(wù)的調(diào)度策略來減少網(wǎng)絡(luò)傳輸?shù)膿矶聠栴}。另一種方案通過分析網(wǎng)絡(luò)的傳輸特性,改進(jìn)相關(guān)的控制策略,對(duì)網(wǎng)絡(luò)滯后信號(hào)進(jìn)行魯棒控制等。

2.3 時(shí)滯濾波

操作的時(shí)延問題可以通過信號(hào)處理加以解決,也就是引入時(shí)滯濾波器。時(shí)滯濾波器是一種專門用于處理含有時(shí)滯信號(hào)的濾波器。在控制系統(tǒng)、信號(hào)處理和仿真等領(lǐng)域中,延時(shí)信號(hào)經(jīng)常會(huì)引入不穩(wěn)定性和不平滑性,影響系統(tǒng)的性能和穩(wěn)定性。時(shí)滯濾波器可以對(duì)這種含有時(shí)滯信號(hào)進(jìn)行濾波和補(bǔ)償,從而提高系統(tǒng)的響應(yīng)速度、穩(wěn)定性和平滑度[5]。

2.4 VR

VR技術(shù)通過結(jié)合網(wǎng)絡(luò)技術(shù)、仿真技術(shù)、人工智能技術(shù)、三維圖形技術(shù)、多傳感交互技術(shù)等多種高新技術(shù),使得機(jī)器可以生成逼真的虛擬環(huán)境,可以確保交互性、感知性、動(dòng)態(tài)性、實(shí)時(shí)性,這使其成為遠(yuǎn)程現(xiàn)場(chǎng)演示的理想選擇。并且,近年來在德國(guó)、美國(guó)和其他一些工業(yè)發(fā)達(dá)國(guó)家的實(shí)踐也表明,VR技術(shù)有助于實(shí)現(xiàn)工業(yè)控制領(lǐng)域中最優(yōu)成本、質(zhì)量和安全性的統(tǒng)一。

3 系統(tǒng)框架模塊設(shè)計(jì)

本節(jié)提出設(shè)計(jì)的高可靠VR遠(yuǎn)程無線控制系統(tǒng)是軟硬件綜合的復(fù)雜系統(tǒng),主要由四個(gè)子系統(tǒng)構(gòu)成,分別為:數(shù)據(jù)采集子系統(tǒng)、網(wǎng)絡(luò)通信子系統(tǒng)、遠(yuǎn)程控制子系統(tǒng)、VR視景顯示子系統(tǒng),如圖1所示。

圖1 VR無線遠(yuǎn)程無線控制系統(tǒng)模型

3.1 數(shù)據(jù)采集子系統(tǒng)

該子系統(tǒng)的主要任務(wù)在于收集設(shè)備的現(xiàn)場(chǎng)數(shù)據(jù),并將數(shù)據(jù)發(fā)送到控制中心,這是整個(gè)遠(yuǎn)程控制系統(tǒng)交互功能的重要基礎(chǔ)。為了保證遠(yuǎn)程操作端體驗(yàn)的真實(shí)性,數(shù)據(jù)采集子系統(tǒng)將選用基于模塊化的信號(hào)采集驅(qū)動(dòng)板,包括:多路攝像頭、音頻采集、設(shè)備狀態(tài)傳感器、電源、輸入輸出等模塊。主控芯片采用高性能單片機(jī),并選擇專用采集通信板采集外部模擬量和數(shù)字輸入量。此外,還需要保證整個(gè)數(shù)據(jù)采集子系統(tǒng)接口的一致性和可拓展性,以保證未來可以連接更多的監(jiān)控設(shè)備與傳感器。

3.2 網(wǎng)絡(luò)通信子系統(tǒng)

該子系統(tǒng)是控制器與遠(yuǎn)程控制中心之間的傳輸橋梁,數(shù)據(jù)之間的交換和通信都需要由網(wǎng)絡(luò)系統(tǒng)來完成,才能使得整個(gè)系統(tǒng)呈現(xiàn)出典型的分布式交互式系統(tǒng)特征。該子系統(tǒng)具有顯著的分布性、交互性、實(shí)時(shí)性和異構(gòu)性。為了實(shí)現(xiàn)上述冗余通信和時(shí)延控制,系統(tǒng)采用多路通信,各路并發(fā)進(jìn)行信號(hào)傳輸,一方面確保信號(hào)可達(dá),另一方面相當(dāng)于增加了網(wǎng)絡(luò)帶寬。

3.3 遠(yuǎn)程控制子系統(tǒng)

該子系統(tǒng)用以獲取及發(fā)送用戶遠(yuǎn)程操作指令,分為本地端和設(shè)備端,內(nèi)部包括:指令輸入輸出器、指令編解碼器、指令收發(fā)器模塊。通過遠(yuǎn)程控制,使得控制不再需要操作者親臨現(xiàn)場(chǎng),保證了操作者的安全,節(jié)約時(shí)間,且充分提高了操作者的工作效率、舒適度、體驗(yàn)等。該子系統(tǒng)內(nèi)含多路信號(hào)的比較器,依據(jù)傳輸時(shí)延估算和數(shù)據(jù)完整性校驗(yàn),選取網(wǎng)絡(luò)通信子系統(tǒng)中時(shí)延最小一路信號(hào)。該子系統(tǒng)還整合了的時(shí)滯濾波算法,實(shí)現(xiàn)對(duì)操作信號(hào)的修正。

3.4 VR視景顯示子系統(tǒng)

該子系統(tǒng)構(gòu)建視覺顯示場(chǎng)景(視景),主要部件包括投影儀、投影控制設(shè)備、柱形投影幕等,特別是通過VR眼鏡可以有效增強(qiáng)控制器的體驗(yàn)真實(shí)感[6]。在這種VR環(huán)境中,操作者能夠更加直觀地查看平臺(tái)各個(gè)系統(tǒng)的運(yùn)行狀態(tài),如:通過手柄可以在平臺(tái)上漫游行走,通過漫游查看能夠直觀地查看現(xiàn)場(chǎng)不同的操作情況等。該子系統(tǒng)實(shí)現(xiàn)技術(shù)主要包括:三維建模、圖像生成、交互軟件等[6]。

(1)三維建模。將作業(yè)環(huán)境在虛擬的環(huán)境下進(jìn)行還原,真實(shí)呈現(xiàn)現(xiàn)場(chǎng)物資分布、結(jié)構(gòu)、高程參數(shù)等,從而以此為基礎(chǔ)了解作業(yè)情況。本文三維建?；?ds Max的多邊形工具,其優(yōu)點(diǎn)在于能夠在輸入?yún)?shù)和輸出模型之間建立準(zhǔn)確的聯(lián)系,并保持模型的準(zhǔn)確性和美觀性。該方法有助于還原細(xì)節(jié),并且提升后期渲染的速度。在建模的過程要特別注重保持實(shí)際設(shè)備的原始比例。

(2)圖像生成。在三維建模的基礎(chǔ)上,基于成像計(jì)算機(jī)獲取真實(shí)圖像,對(duì)其進(jìn)行幾何變形矯正、光學(xué)邊緣融合等修飾調(diào)整工作,以確保各通道之間的完整性和連續(xù)性,從而保證圖像的沉浸效果和完整性。

(3)交互軟件。通過設(shè)備的運(yùn)行實(shí)現(xiàn)用戶與軟件系統(tǒng)之間的交互,當(dāng)操作者單擊按鈕時(shí)即可進(jìn)入操作過程。系統(tǒng)還會(huì)將每個(gè)設(shè)備動(dòng)作流程均備份到數(shù)據(jù)庫(kù),以確保操作整個(gè)過程可追溯。此外,具體的業(yè)務(wù)交互設(shè)計(jì)對(duì)于確保運(yùn)營(yíng)流程與實(shí)際活動(dòng)兼容也至關(guān)重要,業(yè)務(wù)模塊會(huì)進(jìn)一步分為許多組件,以保證完整業(yè)務(wù)組合的完整性。組件一般包括:基礎(chǔ)信息管理、流程管理、數(shù)據(jù)管理和統(tǒng)計(jì)查詢等。

此外,該子系統(tǒng)還內(nèi)含一個(gè)警告系統(tǒng)來協(xié)助安全管理。

4 VR遠(yuǎn)程無線控制系統(tǒng)仿真

本文通過搭建塔吊VR遠(yuǎn)程無線控制仿真系統(tǒng)對(duì)上述模型進(jìn)行驗(yàn)證。

4.1 控制系統(tǒng)軟硬件設(shè)計(jì)與設(shè)備選型

主要利用嵌入式系統(tǒng)和Wi-Fi,以及“輕量級(jí)”發(fā)布/訂閱模式通信協(xié)議實(shí)現(xiàn)控制平臺(tái)系統(tǒng)。

(1)遙控器設(shè)計(jì)

本遠(yuǎn)程無線控制子系統(tǒng)設(shè)備如圖2所示。系統(tǒng)采用ESP32主控芯片開發(fā)板實(shí)現(xiàn)模擬控制。該開發(fā)板正面裝有一塊OLED顯示屏,用于顯示當(dāng)前的通信模式;兩側(cè)裝有兩個(gè)搖桿,通過兩根搖桿的位置信息發(fā)出控制指令及進(jìn)行指令編碼,實(shí)現(xiàn)對(duì)模擬塔吊舵機(jī)的控制[7]。另外,采用Esp8266開發(fā)板模擬接收器實(shí)現(xiàn)塔吊連接。

圖2 ESP32主控芯片與Esp8266開發(fā)板

(2)通信協(xié)議

系統(tǒng)網(wǎng)絡(luò)通信子系統(tǒng)基于ESP-NOW和消息隊(duì)列遙測(cè)傳輸協(xié)議(message queuing telemetry transport,,MQTT)。ESP-NOW是一種無連接Wi-Fi通信協(xié)議,旨在用于物聯(lián)網(wǎng)設(shè)備之間的簡(jiǎn)單、可靠的通信,廣泛應(yīng)用于智能照明、遠(yuǎn)程控制、傳感器等領(lǐng)域。ESP-NOW設(shè)備之間的通信可以通過預(yù)定義的數(shù)據(jù)結(jié)構(gòu)進(jìn)行,不需要復(fù)雜的網(wǎng)絡(luò)配置或路由設(shè)置。而MQTT可以以極少的代碼和有限的帶寬,為遠(yuǎn)程連接設(shè)備提過實(shí)時(shí)可靠的消息服務(wù)。本仿真模擬系統(tǒng)通過多路TCP連接實(shí)現(xiàn)冗余信道。

(3)VR顯示

從工業(yè)實(shí)用性等多方面考慮,本仿真模擬系統(tǒng)選擇HTC Vive Pro 2實(shí)現(xiàn)塔吊VR頭顯。該款VR頭顯具有高分辨率(2448×2448像素/眼),提供清晰的視覺效果,有助于用戶更好地進(jìn)行塔吊操作。它具有120°的視場(chǎng)角,為用戶提供更廣闊的視野,可提高沉浸感。此款設(shè)備還能夠配合SteamVR基站實(shí)現(xiàn)六自由度跟蹤,提供更高的精度和穩(wěn)定性,以及針對(duì)企業(yè)級(jí)應(yīng)用和專業(yè)訓(xùn)練場(chǎng)景進(jìn)行了優(yōu)化,具備更高的耐用性。設(shè)備選取120Hz刷新率,有助于提高視覺舒適度,降低運(yùn)動(dòng)模糊,對(duì)長(zhǎng)時(shí)間操作更為友好。與此同時(shí),該設(shè)備還具有良好的軟件兼容,可以直接運(yùn)行或通過SteamVR連接計(jì)算機(jī)終端(本模擬系統(tǒng)中,將三維建模、信道比較、軟時(shí)滯濾波器部署在該終端上),構(gòu)成了本仿真模擬系統(tǒng)的VR視景顯示子系統(tǒng)。

4.2 虛擬環(huán)境搭建

本仿真模擬系統(tǒng)的設(shè)備部分是采用3D Max與UE5搭建的虛擬設(shè)備,實(shí)現(xiàn)過程中采用了以下設(shè)計(jì)。

(1)渲染。包括:實(shí)時(shí)光照、陰影、抗鋸齒等。開發(fā)對(duì)塔吊模型進(jìn)行渲染設(shè)置,使得模型在VR環(huán)境中呈現(xiàn)逼真的光照和陰影效果,增強(qiáng)用戶的沉浸感。通過調(diào)整渲染參數(shù)、光源設(shè)置、材質(zhì)屬性等,以獲得符合實(shí)際塔吊的視覺效果。

(2)物理模擬。通過設(shè)置塔吊的物理屬性,如質(zhì)量、慣性、摩擦力等,以模擬塔吊的運(yùn)動(dòng)行為;通過設(shè)置塔吊的運(yùn)動(dòng)軌跡、吊鉤位置、荷載效應(yīng)等,從而實(shí)現(xiàn)塔吊在虛擬現(xiàn)實(shí)環(huán)境中的逼真操作。

(3)互動(dòng)性應(yīng)用。利用UE5為塔吊模型添加與塔吊遠(yuǎn)程控制子系統(tǒng)操作互動(dòng)性的應(yīng)用,包括:控制塔吊的運(yùn)動(dòng)、調(diào)整吊鉤位置、觀察荷載效應(yīng)等。具體采用UE5的腳本編程功能(藍(lán)圖系統(tǒng)或C++)來實(shí)現(xiàn)與前述嵌入式系統(tǒng)的互動(dòng)邏輯。

由于本仿真系統(tǒng)采用UE模擬現(xiàn)場(chǎng),因此無需現(xiàn)場(chǎng)圖像采集。

4.3 仿真結(jié)果分析

在本仿真模擬系統(tǒng)上實(shí)現(xiàn)對(duì)虛擬VR塔吊的操作,效果如圖3所示。

圖3 塔吊遠(yuǎn)程控制仿真3D場(chǎng)景

通過仿真測(cè)試對(duì)系統(tǒng)的進(jìn)行定性分析,得出以下初步結(jié)論:基于VR的遠(yuǎn)程無線控制系統(tǒng)可以較為逼真地實(shí)現(xiàn)現(xiàn)場(chǎng)的塔吊操作,浸入感強(qiáng);通過抓包分析,確定通過冗余通信(多路TCP)可以有效提高數(shù)據(jù)可靠性,包括降低時(shí)延和誤碼;數(shù)據(jù)分析表明,通過軟件整合方法實(shí)現(xiàn)塔吊遠(yuǎn)程操作時(shí)滯濾波是可行且有效的。

5 結(jié)語(yǔ)

VR技術(shù)通過計(jì)算機(jī)技術(shù)和感知設(shè)備創(chuàng)建虛擬環(huán)境,使用戶能夠在虛擬世界進(jìn)行互動(dòng)。隨著VR技術(shù)與無線通信技術(shù)的日漸成熟,將其應(yīng)用于高危崗位的遠(yuǎn)程無線控制,在確保逼真性的同時(shí)提高了工作效率是一種非常具有現(xiàn)實(shí)意義的工作。本文結(jié)合目前遠(yuǎn)程無線控制的最新軟硬件技術(shù),設(shè)計(jì)并仿真實(shí)現(xiàn)了一種多通路、低延時(shí),具有時(shí)滯濾波功能的VR遠(yuǎn)程無線控制系統(tǒng)模型,較好地拓展了傳統(tǒng)無線遠(yuǎn)程控制系統(tǒng)的功能,也開闊了相關(guān)設(shè)計(jì)思路。