電子皮膚作為人機(jī)交互界面的機(jī)器人VR真實(shí)再現(xiàn)觸覺感知，助力元宇宙現(xiàn)實(shí)落地

人機(jī)界面是用戶和機(jī)器及機(jī)器人之間互動的媒介。

遠(yuǎn)程操作機(jī)器的人機(jī)界面在醫(yī)療健康（非接觸性生物樣本收集或護(hù)理傳染病患者）、沉浸式游戲或社交、教育培訓(xùn)、假肢或外骨骼控制和極端環(huán)境操作等眾多領(lǐng)域都有著巨大應(yīng)用價值。

然而，傳統(tǒng)的人機(jī)界面在可穿戴性、舒適性和功能方面有較多限制，其使用的機(jī)器笨重且昂貴，同時還缺乏足夠的反饋。因此，開發(fā)具有精確傳感和反饋功能的閉環(huán)人機(jī)界面變得十分重要。

近日，中國香港城市大學(xué)團(tuán)隊(duì)提出了一種基于皮膚集成電子設(shè)備的閉環(huán)人機(jī)界面系統(tǒng)。該電子設(shè)備與人的全身兼容，可通過近場通信、藍(lán)牙、Wi-Fi乃至全球范圍內(nèi)互聯(lián)網(wǎng)進(jìn)行無線運(yùn)動捕捉和觸覺反饋。通過皮膚集成的電子設(shè)備將視覺和觸覺感知集成到機(jī)器人VR的閉環(huán)人機(jī)界面中。

相關(guān)論文以《電子皮膚作為機(jī)器人VR的無線人機(jī)界面》為題發(fā)表。中國香港城市大學(xué)生物醫(yī)學(xué)工程系博士生劉一明為該論文第一作者，中國香港城市大學(xué)軟生物電子學(xué)實(shí)驗(yàn)室負(fù)責(zé)人于欣格為通訊作者。

據(jù)了解，中國香港城市大學(xué)軟生物電子學(xué)實(shí)驗(yàn)室致力于開發(fā)柔性觸覺反饋界面、可穿戴電子和生物電子器件，例如可以真實(shí)再現(xiàn)觸覺感知的皮膚VR、具有兼容物理和化學(xué)特性的生物醫(yī)學(xué)電子設(shè)備，以及實(shí)時健康監(jiān)測產(chǎn)品。同時，該實(shí)驗(yàn)室還進(jìn)行多學(xué)科研究，以應(yīng)對實(shí)際應(yīng)用中的挑戰(zhàn)。

為了打造新型生物集成電子器件，該實(shí)驗(yàn)室專注于開發(fā)和工程化功能材料、設(shè)計(jì)和制作用于傳感、控制和驅(qū)動的不同尺度傳感器件、集成和優(yōu)化系統(tǒng)級電子設(shè)備。

該論文中介紹了一個皮膚集成電子系統(tǒng)，其可作為一個帶有類皮膚傳感器和小型化軟驅(qū)動器的無線控制人機(jī)界面。同時，研究團(tuán)隊(duì)對它的材料選擇、設(shè)備設(shè)計(jì)、集成策略和系統(tǒng)布局也做了完整說明。

近年來，柔性電子設(shè)備得到快速發(fā)展。目前，各種柔性傳感器被用來檢測電生理信號，如腦電圖、眼電圖和肌電圖或捕獲人體運(yùn)動，這些信息同時被轉(zhuǎn)換為機(jī)器人控制指令。

柔性傳感器可以直接安裝在身體的不同關(guān)節(jié)，并能夠準(zhǔn)確捕捉身體不同程度的彎曲變化。此外，相同的傳感器還可作為機(jī)器人上的壓力傳感器， 用于檢測機(jī)器人的活動。

然而，目前的柔性/可穿戴式人機(jī)界面只能從身體的局部（ 例如手或手臂） 獲取信息，而且，由于缺乏必要的自我調(diào)節(jié)行為反饋系統(tǒng)， 其很難在動態(tài)環(huán)境中執(zhí)行復(fù)雜任務(wù)。

因此，為了進(jìn)一步提升先進(jìn)機(jī)器人的控制，閉環(huán)可穿戴系統(tǒng)的人機(jī)界面的發(fā)展極其關(guān)鍵。

作為下一代人機(jī)界面，閉環(huán)人機(jī)界面能夠靈活地與皮膚集成，準(zhǔn)確捕獲廣泛的身體運(yùn)動信息;且具有遠(yuǎn)程無線傳輸功能，在聯(lián)網(wǎng)情況下，用戶在世界任何角落都能發(fā)布指令來操作目標(biāo)設(shè)備。

同時，其還擁有良好的反饋系統(tǒng)，用戶可從機(jī)器人那里同步接收信息，以及時進(jìn)行指令調(diào)整。

閉環(huán)人機(jī)界面系統(tǒng)通過視覺、聽覺和觸覺VR結(jié)合的方式與機(jī)器人進(jìn)行交互，實(shí)現(xiàn)了機(jī)器人VR的廣泛應(yīng)用。

從上圖可看到，護(hù)士戴上閉環(huán)人機(jī)界面，便能通過遠(yuǎn)程操作機(jī)器人來虛擬讀取溫度計(jì)示數(shù)。

而當(dāng)閉環(huán)人機(jī)界面用在假肢或外骨骼上時，用戶可以根據(jù)觸覺反饋的強(qiáng)度，精確地控制假肢的彎曲角度和力量。這彌補(bǔ)了傳統(tǒng)技術(shù)中反饋不足的問題，可以更為精細(xì)地對機(jī)器人進(jìn)行控制與感知。

另外， 研究測試結(jié)果還顯示， 柔性傳感設(shè)備能夠長時間穩(wěn)定運(yùn)行， 不會輕易從皮膚脫落。

然后，當(dāng)人們身穿閉環(huán)人機(jī)界面系統(tǒng)的電子皮膚，可通過VR與機(jī)器人進(jìn)行實(shí)時交互， 完成各種復(fù)雜的任務(wù)，包括蹲伏、房間清潔和病人護(hù)理等。

值得一提的是，如今，新冠疫情仍在全球蔓延。為了排查病毒感染者，人們通常都需要做核酸檢測。而利用機(jī)器人VR技術(shù)，醫(yī)務(wù)人員可在實(shí)時視覺信息和觸覺反饋的幫助下，通過遠(yuǎn)程操作機(jī)械手來進(jìn)行鼻咽拭子的樣本采集。這既能減輕有限的醫(yī)療資源及人力壓力，又可減少醫(yī)務(wù)人員暴露于傳染性環(huán)境的風(fēng)險。

除此之外，近來，元宇宙概念大熱，雖然其目前還沒有一個統(tǒng)一的定義，未來發(fā)展也有待商榷，但VR普遍被認(rèn)為是其一個入口，不少科技公司都在此有著巨大投入。而觸覺反饋技術(shù)在一定程度上決定了元宇宙概念的高度。比如，聲稱為了全力發(fā)展元宇宙而改名為Meta的臉書，近期也展示了一款觸覺手套，可讓佩戴者在VR中體驗(yàn)現(xiàn)實(shí)中的一系列真實(shí)感覺。

最后，總的來說，該論文中介紹的皮膚集成閉環(huán)人機(jī)界面，在形式和功能上與以前的可穿戴式人機(jī)界面都有著明顯區(qū)別。其對人機(jī)交互系統(tǒng)中材料、設(shè)備和集成方案的廣泛實(shí)驗(yàn)和理論研究，為機(jī)器人VR的開發(fā)奠定了堅(jiān)實(shí)的基礎(chǔ)。