一種基于可穿戴器件觸覺感知信息的盲人虛擬視覺導(dǎo)航系統(tǒng)*

葛 松 林衍旎 賴舜男 徐晶晶 何宇力 趙 琦 張 弘 許勝勇**

（1）北京大學(xué)電子學(xué)院，教育部納米器件物理與化學(xué)重點實驗室，北京 100871；2）山東大學(xué)微電子學(xué)院，濟(jì)南 250100；3）北京航空航天大學(xué)電子信息工程學(xué)院，北京 100191；4）北京航空航天大學(xué)宇航學(xué)院，北京 100191）

世界衛(wèi)生組織報告顯示，全球中度或重度視力受損或失明者人數(shù)已超過2億，其中中國盲人約有700多萬［1］。盲杖是歷史最悠久的盲人輔助工具，當(dāng)代社會的交通情況和生活場景復(fù)雜，僅僅依靠盲杖已經(jīng)不足以完成在街道穿行、乘車、購物等復(fù)雜的生活任務(wù)。因此，長期以來各類人工視覺系統(tǒng)被廣泛研究［2］，以幫助盲人和視覺障礙人群順利完成如讀書學(xué)習(xí)、長距離旅行、購物等日常生活，甚至參加體育比賽等復(fù)雜活動。

目前，人工視覺系統(tǒng)的研發(fā)主要有兩種技術(shù)路徑。第一種是通過高技術(shù)手段幫助盲人或視覺障礙者重建部分視力，受試者通過重建的微弱視覺能力獲得部分環(huán)境圖像信息，自己完成圖像判斷、自己下達(dá)行動指令。第二種是運用技術(shù)手段分析環(huán)境圖像信息，直接轉(zhuǎn)化成指導(dǎo)受試者行動的指令信號。

第一種技術(shù)路徑研制的主要是各類植入式人工視覺裝置，主要包括視網(wǎng)膜植入裝置和大腦皮層植入裝置。前者稱為“人工視網(wǎng)膜植入技術(shù)”（又稱“視網(wǎng)膜假體”）［3］，是主流技術(shù)，其核心器件在受試者體內(nèi)的植入位置可以分為視網(wǎng)膜前［4］、視網(wǎng)膜下［5］、脈絡(luò)膜上［6］等不同部位。目前，真正獲得批準(zhǔn)上市、應(yīng)用于部分患者的只有Second Sight Medical Products團(tuán)隊于2013年推出的Argus II人工視網(wǎng)膜系統(tǒng)［7］。該系統(tǒng)利用外部攝像機(jī)捕獲圖像，經(jīng)由數(shù)據(jù)處理、圖像壓縮和編碼，通過無線傳輸技術(shù)將刺激命令發(fā)送至植入眼球的微電極陣列來刺激視網(wǎng)膜神經(jīng)結(jié)細(xì)胞，使受試者能看見漫射光斑，恢復(fù)一定光感。由于植入器件制作工藝復(fù)雜、視網(wǎng)膜前有效面積小，該系統(tǒng)最多只有60個電極組成陣列，受試者在經(jīng)過數(shù)月的訓(xùn)練之后，最佳狀態(tài)下也只能定位一些光線下高對比度的物體，比如門框，或只能判斷出眼前物體的模糊形狀，在實際生活中并不能起到很好的作用。因此，Argus II系統(tǒng)因價格昂貴（大約15萬美元）、手術(shù)復(fù)雜、實際效果欠佳，已經(jīng)于2019年停止銷售［4］。而全球所研發(fā)的其他十多種人工視網(wǎng)膜裝置，有的處于臨床試驗階段，有的僅發(fā)表了早期結(jié)果沒有后續(xù)進(jìn)展。

科學(xué)家也長期嘗試在大腦視覺皮層上植入電極陣列讓受試者獲得視覺響應(yīng)［4］。相關(guān)研究發(fā)現(xiàn)，通過電刺激視皮層的單一位置，可以產(chǎn)生單一磷光體光斑的“視覺”感受，同時刺激視覺皮層的多個部位而產(chǎn)生的多個磷光體可以結(jié)合起來形成一個連貫的形式，就像視覺顯示中的像素一樣［8］。但近一個世紀(jì)的實驗嘗試并沒有找到讓受試者產(chǎn)生可識別圖形的方法。大腦視皮層感知視覺的方式十分復(fù)雜，似乎和視網(wǎng)膜對二維圖形的感知方式有重大區(qū)別。直到2020年5月，《細(xì)胞》雜志（Cell）發(fā)表了美國貝勒醫(yī)學(xué)院Daniel Yoshor團(tuán)隊里程碑式的成果：可以通過一系列電極陣列在時間上順次激發(fā)的動態(tài)電刺激過程，讓受試者腦海中準(zhǔn)確呈現(xiàn)指定的“視覺圖像”［9］。這種類似“直接實時書寫”的刺激方法，可以讓受試者在未經(jīng)訓(xùn)練的情況下，以比較高的準(zhǔn)確度還原依次激發(fā)電極的空間分布圖形，從而識別各種字母形狀。該團(tuán)隊計劃通過減小電極尺度、增加電極數(shù)量和面密度、優(yōu)化電刺激參數(shù)和模式，達(dá)到單個神經(jīng)細(xì)胞的空間精度，幫助盲人“看到”更復(fù)雜的信息，實現(xiàn)恢復(fù)視覺的夢想。這項技術(shù)，對于靜態(tài)辨識物體有很大價值，但是，受試者對一個動態(tài)電極刺激圖案做出響應(yīng)和形成“視覺”需要一段時間，能不能把這段時間壓縮到100 ms之內(nèi)以適應(yīng)日?；顒铀枰膶崟r反應(yīng)，還有待檢驗。

現(xiàn)有的各類植入式裝置普遍面臨各種技術(shù)難題，比如與視神經(jīng)生物相容性差、器件容易脫落損傷、跨眼球操作困難電池問題、復(fù)雜制作工藝、成本高昂、激發(fā)電極數(shù)量有限使得像素偏少等。這些植入裝置和系統(tǒng)的缺陷，使得近年來體外視覺輔助裝置的研究和產(chǎn)品開發(fā)獲得新的關(guān)注。

第二種人工視覺系統(tǒng)技術(shù)路徑，主要是各類非植入式、可穿戴裝置。自20世紀(jì)60年代開始出現(xiàn)幫助盲人進(jìn)行日?；顒拥捏w外輔助裝置，早期是基于聲納的移動輔助設(shè)備，如Russell Pathsounder和Mowat研制的傳感器，起到障礙物探測器的作用［10］。隨著計算機(jī)化的輔助系統(tǒng)面世，NavBelt是一個可穿戴的、計算機(jī)化的、裝備聲納的系統(tǒng)，盲人用戶能夠安全通過未知的有障礙物環(huán)境［11］。Ultracane裝置則將長拐杖與超聲波傳感器結(jié)合以輔助行走［12］。但這些裝置相對功能簡單、指令含糊，難以適應(yīng)現(xiàn)代城市復(fù)雜的環(huán)境和路況，因此都沒有得到普遍的應(yīng)用。

2012年4月谷歌公司發(fā)布的“谷歌眼鏡”［13］配有微芯片處理器，具有圖像采集和處理功能。當(dāng)配合適當(dāng)?shù)腁I圖像解讀軟件和自然語音輸出能力后，就具備了部分滿足指導(dǎo)盲人日常生活的功能，相信將來這類技術(shù)裝置具有很大的市場。然而，成本過高導(dǎo)致售價過高，也存在侵犯隱私、分散注意等問題，2015年1月谷歌停止了谷歌眼鏡的進(jìn)一步研發(fā)。2020年11月，谷歌公司試運行了一個名為Project Guideline的人工智能系統(tǒng)，旨在幫助盲人和低視力人群在一部智能手機(jī)的幫助下就能獨立完成跑步比賽。只要在道路上預(yù)先畫出指引線路，并將手機(jī)掛在腰間，讓手機(jī)鏡頭能持續(xù)拍攝路面，并影像識別。一旦用戶跑步路線過度偏離，手機(jī)就會通過骨傳導(dǎo)耳機(jī)讓使用者左耳或右耳聽到不協(xié)調(diào)聲音，進(jìn)而讓使用者知曉放緩腳步、調(diào)整行進(jìn)方向［14］。功能比較單一，適合簡單特定的環(huán)境條件，并不能應(yīng)對復(fù)雜的路況。

利用人體觸覺解讀視覺圖像，也是一種有趣的路徑。近年來一款“舌上觸覺”視覺輔助設(shè)備被研發(fā)出來，稱為“Brain Port”，它可以利用舌平面的電刺激感覺“辨識”外界物體的形狀［15］。其外形類似一副太陽鏡，經(jīng)由細(xì)電纜與一個形同扁平“棒棒糖”式樣的裝置相連接。通過微型攝像機(jī)拍攝圖像，將圖像信息簡化后轉(zhuǎn)換成舌平面電極陣列的電脈沖。實驗表明，經(jīng)過20 h左右的培訓(xùn)，將電脈沖信號不斷刺激舌頭表面神經(jīng)，受試者能夠?qū)⑦@些圖形化位點的電刺痛感覺轉(zhuǎn)化為圖形感覺。但舌頭用于說話和飲食，并不適合長期佩戴電極陣列裝置。

2021年10月斯坦福大學(xué)智能系統(tǒng)實驗室制造了配備GPS和陀螺儀的盲杖［16］，同時輔以加速計和磁力計，可以實時輸出用戶的位置、速度、方向等信息?；谌斯ぶ悄軐ぢ泛蜋C(jī)器人算法，引導(dǎo)用戶走向目標(biāo)。盲杖的頂端利用一個電動的、360°轉(zhuǎn)向的輪子，時刻保持與地面的接觸。在實地測試中，視力受損參與者的行走速度提高了大約20%，戴著眼罩視力正常參與者的行走速度提高了1/3以上。

輔助盲人生活的關(guān)鍵在于研發(fā)實用型人工視覺系統(tǒng)。本文將展示一種將視覺信息轉(zhuǎn)化成頭部觸覺指令和語音的人工視覺輔助原型系統(tǒng)概念。系統(tǒng)采集受試者周邊環(huán)境的圖像信息并無線傳輸?shù)胶笈_，操作人員分析處理圖像信息后再以觸覺編碼形式無線驅(qū)動激發(fā)頭部裝置內(nèi)置振動馬達(dá)，利用頭部對前后左右的天然區(qū)分能力和對觸覺的快速反應(yīng)，為受試者提供準(zhǔn)確的行動指令。同時輔以語音信息，讓受試者獲得更多周邊視覺信息。該系統(tǒng)低成本、低風(fēng)險，適合多種生活和工作場景。實驗結(jié)果表明，在人工后臺支持的條件下，該系統(tǒng)能夠有效幫助盲人完成復(fù)雜的日常活動。

1 系統(tǒng)與方法

本系統(tǒng)由多個裝置與功能模塊構(gòu)成，包括視覺圖像采集裝置、視覺圖像無線傳輸與接收裝置、視覺圖像處理、觸覺編碼輸出、觸覺指令無線傳輸與接收裝置、振動馬達(dá)驅(qū)動電路裝置、可穿戴式觸覺和語音輸出裝置等（圖1）。

具體而言，佩戴在受試者身上（頭部或胸口）的攝像頭裝置對周圍環(huán)境信息進(jìn)行圖像采集，采集到的圖像經(jīng)wifi或者4G/5G網(wǎng)絡(luò)傳輸?shù)胶笈_，通過人工判斷或人工智能（artificial inteligence，AI）判斷獲取街道邊界、臺階、路面坑洼情況、行人、自行車、垃圾箱、樹木、墻壁圍欄、交通燈、斑馬線、來往汽車等重要因素，分析和判斷圖像信息后輸出觸覺指令。指令通過無線網(wǎng)絡(luò)傳輸?shù)脚宕髟谑茉囌呱砩系尿?qū)動電路，驅(qū)動相應(yīng)位置的振動馬達(dá)，給受試者觸覺指令。同時，根據(jù)情景需要，輔助以語音信息，比如描述路徑、路況、對面行人相貌、車牌號、店名、餐桌位置、菜單內(nèi)容等。

Fig.1 Diagram of system modules

本文主要介紹由后臺人員判斷現(xiàn)場圖像信息并發(fā)出指令、由藍(lán)牙裝置完成觸覺編碼無線信號傳輸、振動馬達(dá)安裝在頭套上的原型系統(tǒng)。

1.1 視覺圖像采集裝置

本系統(tǒng)可采用多種圖像獲取裝置。其中一類是通用手機(jī)攝像頭，用可穿戴織物固定于胸前，可以在行走時獲得前方大角度視野，也可通過行走或者停止時的身體左右偏轉(zhuǎn)提供更豐富的周圍圖像信息。利用手機(jī)攝像頭的便利之處，是可以直接借助4G/5G或者wifi信號通道將視頻數(shù)據(jù)和受試者的語音傳輸給后臺。另外一些類型的圖像采集裝置為各類商用網(wǎng)絡(luò)攝像頭。

1.2 后臺操作

受試者佩戴眼罩遮擋視線模擬視覺障礙，胸前用拍攝支架固定手機(jī)以拍攝前方視頻。后臺輔助人員通過觀看視頻，判斷應(yīng)發(fā)出的指令并操控手機(jī)中的藍(lán)牙系統(tǒng)控制裝置定制APP來完成指令，可同步發(fā)出振動指令以及語音提示。

1.3 可穿戴裝置部分

本實驗制作了多種柔性裝置，能夠內(nèi)置并固定多個振動馬達(dá)，使馬達(dá)盡可能貼近頭部皮膚（隔著頭發(fā)），讓頭皮能夠快速、準(zhǔn)確感知馬達(dá)振動的強(qiáng)度和次數(shù)。圖2是其中一種利用彈性織物條帶制作而成的內(nèi)膽戴在受試者頭部的照片。內(nèi)膽前后左右和頂部安裝了11個振動馬達(dá)，馬達(dá)驅(qū)動電線匯聚于后腦位置。當(dāng)頭套外面再戴上普通的鴨舌帽之后，從外觀上已經(jīng)看不到內(nèi)膽。將來，內(nèi)膽裝置可以與小型化驅(qū)動電源一起安裝在頭部，也可以用隱蔽的細(xì)小連線連接安裝在腰部的驅(qū)動電路，使得佩戴測試裝置的受試者在外觀上與正常路人無異。

Fig.2 Photos of human wearing devices from different angles(a-f),schematic diagram of device tank(g)and physical drawing of bluetooth module(h)

1.4 藍(lán)牙通訊裝置和振動馬達(dá)電路

通過接收外部手機(jī)藍(lán)牙控制APP發(fā)出的指令，控制振動馬達(dá)電路的通斷和電壓，從而形成觸覺的指令信息。附件圖S1是藍(lán)牙模塊的電路設(shè)計圖。

手機(jī)APP以屏幕上的按鍵控制藍(lán)牙輸出的通斷，每個按鍵對應(yīng)一路振動馬達(dá)，當(dāng)按下屏幕上的按鍵時，相應(yīng)的振動馬達(dá)開始震動。同時可在左上角選擇強(qiáng)弱電壓的輸出，當(dāng)選中“強(qiáng)”時振動馬達(dá)在3.7 V電壓下進(jìn)行強(qiáng)震動，選中“弱”時振動馬達(dá)在2 V電壓下進(jìn)行相對弱震動。手機(jī)APP界面見圖1。其中的A、B、C、D、E、F、G、H、S、L、R按鍵分別對應(yīng)于上面頭盔內(nèi)部震動馬達(dá)分布圖中的左前、前、右前、左、右、左后、后、右后、中、中間偏左（位于中和左前的中間）、中間偏右（位于中和右前的中間）11個方位的振動馬達(dá)。

1.5 觸覺指令編碼

根據(jù)固有經(jīng)驗和盡可能避免指令的混淆以及方便記憶，經(jīng)過反復(fù)實驗和調(diào)整設(shè)計了指令集（指令按照手機(jī)APP上的A、B、C、D、E、F、G、H、S、L、R進(jìn)行描述）（表1）。

1.6 實際場景測試設(shè)計

為測試原型系統(tǒng)的功能和局限，找到志愿者佩戴原型裝置，設(shè)計了大量由簡單到復(fù)雜的多種實際場地測試。

首先讓受試者在空曠的場地上沿著預(yù)先標(biāo)識的直線路徑行走，來測試振動馬達(dá)輸出指令的延時、受試者的動作響應(yīng)延時、行走路徑偏差等多項參數(shù)，以優(yōu)化指令集和指令時間參數(shù)。通過視頻逐幀分析，提取受試者腳部所在方位的空間與對應(yīng)時間，計算所有參數(shù)。

其他場地測試包括在實驗大樓的回型走廊內(nèi)真實測試直線行走、躲避障礙物、躲避對面行人（不知情的其他人員）等，在正常營業(yè)的咖啡廳內(nèi)行走并尋找空位坐下、上下臺階等，以及在真實的人行路上測試直線行走、轉(zhuǎn)彎、躲避障礙物，還包括用觸覺指令控制手臂和手的動作，嘗試從桌子上取水杯等。

Table 1 The instruction set of 11 tactile keyboards

2 結(jié) 果

本工作前期做了大量的各類驗證實驗，歷時近1年。志愿者為18～28歲的5名高校在讀學(xué)生（2男3女）以及1位31歲的盲癥患者（男）。限于篇幅，以下重點介紹一些實驗結(jié)果，以展示本文原型系統(tǒng)的基本功能，進(jìn)而討論其技術(shù)升級路線和和應(yīng)用潛力。

2.1 頭部觸覺對馬達(dá)振動的敏感度和空間方位的感知

實驗結(jié)果顯示，受試者頭部皮膚觸覺敏感性因人而異。主要區(qū)別有兩項，一是對振動馬達(dá)信號的分辨能力有區(qū)別，有些受試者能夠感知驅(qū)動電壓為1～3 V的微弱振動信號，有些則需要提高馬達(dá)驅(qū)動電壓、增加振動強(qiáng)度。對于后面的場地測試，需要對驅(qū)動電壓做調(diào)整，達(dá)到既能感知振動、也不會覺得不舒服的效果。這樣，受試者才能準(zhǔn)確理解振動馬達(dá)陣列的編碼。

二是振動觸覺的空間分辨率也因人而異，因頭部皮膚位置和頭發(fā)的多少而變化。表2是前述5位學(xué)生做測試的結(jié)果。頭皮分辨率的測試結(jié)果既和個人的頭皮觸覺敏感度有關(guān)，同時和振動馬達(dá)與頭皮的接觸面積、直接接觸還是間接接觸（存在頭發(fā)）有關(guān)，頭皮觸覺越敏感，頭部震動分辨率越高；振動馬達(dá)與頭皮接觸面積越大，分辨率越高。

作為平均結(jié)果，在兩個馬達(dá)相距超過3 cm時所有受試者都能感知到兩個馬達(dá)的不同振動點，因而能接受觸覺編碼。后期實驗中，頭套裝置上，兩個馬達(dá)的間距都超過5 cm，以確保受試者對每一個振動點相對頭頂?shù)目臻g方位有準(zhǔn)確地判斷，從而能夠正確執(zhí)行編碼指令。隨后對多名受試者進(jìn)行11個振動馬達(dá)位置判斷準(zhǔn)確度實驗，經(jīng)過初步熟悉后，受試者均能準(zhǔn)確識別每個馬達(dá)的振動方位。并且根據(jù)實驗中記錄，頻繁短按發(fā)出指令時間隔0.5 s以上比較容易分辨，各個指令間的時間間隔應(yīng)在至少3 s以上（排除緊急指令，緊急指令有最高優(yōu)先級）。實驗顯示，5位受試者經(jīng)過幾次訓(xùn)練熟悉后對此指令集均能保證準(zhǔn)確度和辨別敏銳度。

2.2 空曠場地直線行走偏差測試

在空曠的場地上貼好直線標(biāo)記，讓視力正常的受試者對準(zhǔn)直線方向，再戴上眼罩，靠自己的判斷沿著這個“直線”行走。幾步之后，通常會有明顯的方向偏移。多個受試者測試結(jié)果的統(tǒng)計分析表明，視覺遮擋下的“盲走”會逐漸失去方向感，這與迷霧天人在空曠地帶會繞圈的案例相類似。事實表明，視覺在“直線行走”中一直擔(dān)當(dāng)了“方向矯正”的作用。

作為對比，對頭部攜帶了人工視覺裝置的“盲行者”做同樣的測試，表現(xiàn)要好得多。圖3是帶有裝置一次測試的視頻截圖。本裝置輔助的情況下，當(dāng)受試者保持直線行走時不發(fā)出指令；當(dāng)受試者右偏時，根據(jù)受試者所在位置發(fā)出“左緩沖/左跨一步/左轉(zhuǎn)一定角度”的振動編碼指令以糾正其行走方向；當(dāng)受試者左偏時，根據(jù)受試者所在位置發(fā)出“右緩沖/右跨一步/右轉(zhuǎn)一定角度”的振動編碼指令以糾正其行走方向。圖4是一個典型的對比結(jié)果。行走13步（約7 m距離）的標(biāo)準(zhǔn)差平均值，從沒有輔助裝置提醒而完全“盲走”的（65±12）cm降低到（16±10）cm。行走偏差數(shù)據(jù)見附件表S1～S3。

測試結(jié)果表明，一個人完全盲走有很大的隨機(jī)性，因人而異，總體規(guī)律是偏向某一側(cè)。而聽從頭部振動輔助裝置的“觸覺指令”后，行走路線不會偏離目標(biāo)直線太遠(yuǎn)，其行動軌跡不太連續(xù)，但始終在目標(biāo)直線這個“中心線”左右。

Fig.4 Measured data of walking deviations from the two subjects A and B

2.3 規(guī)避障礙物測試

在受試者熟悉“觸覺指令”的含義、后臺調(diào)控者掌握了合適的時間預(yù)判、時間延時和指令的搭配之后，受試者能夠在直線行走順利繞過路上的障礙物（足球訓(xùn)練障礙標(biāo)），也能在走廊里順利完成轉(zhuǎn)彎。圖5是某一次實際走廊測試的視頻截圖。

實驗中后臺指揮者能夠清楚地通過視頻識別出前方的盆栽、打開的房門、隨機(jī)出現(xiàn)的行人以及人工設(shè)置的障礙物，并且靈活運用前進(jìn)、左右轉(zhuǎn)向、左右緩沖、左右跨一步、停步、后轉(zhuǎn)等指令，讓受試者在往返于直角彎時可以成功避開固定或隨機(jī)障礙物。如果障礙物距離比較近或者是隨機(jī)出現(xiàn)的行人，速度比較快來不及躲避，可以采用先停步指令，再左右跨一步進(jìn)行躲避。

Fig.5 Video screenshots from the walking experiment in return corridor(screenshot from Video S2 in Supplementary)

2.4 上臺階、找椅座、咖啡館行走等復(fù)雜場景測試結(jié)果

上臺階場景測試時選定路線為一段臺階，受試者靠右側(cè)上臺階測試，走n級臺階到平臺后停止，樓梯處可能隨機(jī)出現(xiàn)行人。實驗中該裝置主要幫助受試者成功完成臺階行走，重點關(guān)注臺階開始和結(jié)束的兩個階梯。

與平地測試和走廊測試不同，上臺階測試實驗中，向下30°～45°固定的攝像頭可以拍攝出前方腳下路況，方便后臺指揮者通過視頻準(zhǔn)確定位臺階的出現(xiàn)和結(jié)束，以及隨機(jī)出現(xiàn)的行人，避免出現(xiàn)距離估測失誤的情況；指揮者靈活運用前進(jìn)、上臺階、左右跨一步、停步指令，讓受試者走過12級臺階并且成功躲避隨機(jī)出現(xiàn)的行人。同時輔以語音提示，準(zhǔn)確告知受試者臺階的出現(xiàn)和結(jié)束。上臺階時，通常用左或右跨一步進(jìn)行位置調(diào)整。當(dāng)需要躲避隨機(jī)出現(xiàn)的行人時，大多同樣采用左或右跨一步指令，如果行人速度比較快來不及躲避，可以采用先停步指令，再左右跨一步進(jìn)行躲避，如圖6a系列視頻截圖所示。

上下臺階的任務(wù)比較復(fù)雜，需要后臺指令清晰、時間準(zhǔn)確，受試者需要練習(xí)、熟悉指令的時差，以避免踏空或者碰傷腳。采用語音輔助、降低行走速度都有利于順利完成上下臺階任務(wù)。

找椅座任務(wù)是在室內(nèi)布置一些障礙物（箱子等）以及一把椅子，受試者需要躲避障礙物找到椅子并且坐下。實驗中該裝置主要幫助受試者成功完成室內(nèi)行走，重點關(guān)注障礙物的躲避以及到達(dá)椅子的最優(yōu)路徑，如圖6b系列視頻截圖所示。

咖啡館場景要求視覺遮擋的受試者在該裝置的幫助下，在咖啡館的座椅之間躲避桌椅和顧客完成正常穿行。選定路線為：從咖啡館門口走到室內(nèi)并坐在選定的座椅上。實驗中重點關(guān)注行人和桌椅的躲避。指揮者能夠清楚地通過視頻判斷出桌椅的位置以及隨機(jī)出現(xiàn)的顧客，并且靈活運用前進(jìn)、左右跨一步、左右轉(zhuǎn)、左右緩沖、停步指令，讓受試者成功走到咖啡館內(nèi)側(cè)，同時輔以語音提示。實驗如圖6c系列視頻截圖所示。

Fig.6 Video screenshots from the experiments of climbing steps(a)and finding chairs(b)(screenshot from Video S3,4 in Supplementary)

2.5 桌上取物：控制手臂和手的運動

本文不僅進(jìn)行了在各種復(fù)雜場景里的行走測試，也初步試驗了運用觸覺編碼控制手臂和手的運動，這為進(jìn)一步完善觸覺編碼，使之成為可以與手語、摩斯碼等相比較的復(fù)雜信息編碼系統(tǒng)打下了基礎(chǔ)。

實驗中選定一個室內(nèi)環(huán)境，在桌子隨機(jī)位置擺放一個杯子，受試者坐在桌子前，借助該裝置的觸覺指令信息移動手臂、找到杯子并拿起。初步實驗中桌面上沒有其他障礙物，測試成功后在桌面上放置一些書和筆筒以增加實驗難度，讓受試者的手臂躲避高低障礙物后移動到杯子處并成功拿起。實驗中該裝置主要幫助受試者手臂成功移動到杯子處。圖7是拿放杯子場景測試視頻的截圖。

Fig.7 Video screenshots from the experiments of finding a seat in the cafe(a)and taking the cup from the table(b)(screenshot from Video S5,6 in Supplementary)

實驗中，后臺人員能夠清楚地通過視頻判斷出杯子的位置并且迅速判斷出應(yīng)指揮的路線，靈活運用手臂前伸后縮、手臂上下左右移動指令，讓受試者的手臂成功繞過障礙物移動到杯子處并拿起杯子。由于是室內(nèi)環(huán)境，同樣可以適當(dāng)提高與受試者的語音交流頻率準(zhǔn)確告知受試者已到達(dá)杯子處。

2.6 盲人實地測試

由于上述實驗的受試者均為高校在校學(xué)生，為了進(jìn)一步測試原型系統(tǒng)的可行性以及真實盲癥患者對此系統(tǒng)的接受能力和反應(yīng)準(zhǔn)確度，本文邀請到了一位31歲的全盲患者。該志愿者因患有先天性白內(nèi)障，1歲時手術(shù)失敗致全盲。

志愿者佩戴原型系統(tǒng)，熟悉指令后在真實的人行街道處做L型（直行加轉(zhuǎn)彎測試）的路線行走，過程中要注意躲避來往的行人、?？康能囕v、路邊的臺階以及樹木，并且注意到轉(zhuǎn)彎時機(jī)，及時發(fā)出轉(zhuǎn)彎指令。實驗視頻見附件視頻S7。之后找到一段比較空曠的場地進(jìn)行躲避障礙物測試，根據(jù)志愿者躲避時采取的行動判斷其對指令的接受程度和反應(yīng)速度。圖8是志愿者進(jìn)行躲避障礙物測試的視頻截圖。

Fig.8 Video screenshots from the experiments of blind avoiding obstacles(screenshot from Video S8 in Supplementary)

實驗中，后臺人員能夠清楚地通過視頻判斷出志愿者所在的位置并且迅速判斷出應(yīng)指揮的路線，靈活運用前進(jìn)停止、左右轉(zhuǎn)向、左右跨步指令，讓志愿者成功避讓開路上行人、?？康能囕v、樹木、臺階、設(shè)置的障礙物等，完成人行路的行走和躲避障礙物行走。實驗表明，盲人志愿者可以準(zhǔn)確接受觸覺指令，并且按照指令指示行動，以在一些比較簡單的路況行走。

3 討 論

3.1 頭頂部位觸覺的天然優(yōu)勢

觸覺在神經(jīng)系統(tǒng)進(jìn)化過程中占據(jù)重要位置，與生物體尋找食物、規(guī)避傷害、求偶、逃生等功能直接關(guān)聯(lián)。研究表明，人體全身的皮膚觸覺感知與大腦皮層負(fù)責(zé)觸覺的區(qū)域形成一一對應(yīng)關(guān)系，也就是說，全身皮膚任何一點在大腦皮層的二維地圖上均占據(jù)一個獨一無二的二維坐標(biāo)點。

由于身體各部位觸覺傳感器面密度的不同，手指、手掌等部位的觸覺空間分辨率較高，而背部等區(qū)域的觸覺空間分辨率比較低。實驗表明，頭皮區(qū)域的觸覺空間分辨率在2～3 cm，比背部略好。

頭頂皮膚接近半球形，頭頂皮膚相對于眼睛的空間方位，能夠自然分辨前、后、左、右等觸覺方位。場地實驗測試表明，人體對本論文器件振動馬達(dá)產(chǎn)生的頭皮觸覺可以形成快速響應(yīng)，響應(yīng)時間在0.5 s之內(nèi)，且不會搞錯前后左右的方位。因此通過合適的觸覺編碼，控制振動點的振動強(qiáng)度、振動間隔和次數(shù)，可以形成明確的行動指令傳輸給器件攜帶者。受試者接受指令后，其行動的準(zhǔn)確性超過

90%。

后期將募集更多盲人志愿者開展實際場地測試，來量化表征本系統(tǒng)所需的訓(xùn)練時間和出錯率，并簡化、完善頭部指令的觸覺編碼，優(yōu)化指令的時間、提前量等參數(shù)。

3.2 與其他輔助系統(tǒng)之比較

拐杖是古老而極為有效的盲人行走輔助工具。它的特點是能夠?qū)崟r獲得前方一米范圍內(nèi)的路面狀態(tài)，尤其是在農(nóng)村，可以有效幫助盲人完成獨立行走任務(wù)。而訓(xùn)練有素的導(dǎo)盲犬，能比拐杖更好地完成這項任務(wù)?，F(xiàn)在城市街道復(fù)雜性超過了農(nóng)村道路，行人、自行車、垃圾箱、樹木等障礙高密度存在于城市街道以及街道四周。僅用拐杖，已經(jīng)難以在城市行走。

超聲拐杖是上個世界開發(fā)的輔助盲人行走的技術(shù)手段。鑒于電子器件落后，當(dāng)時沒有能夠普及推廣。最近，隨著芯片技術(shù)、無線通訊技術(shù)的極大發(fā)展，超聲裝置被成功小型化、可以安裝在鞋子頭部，據(jù)報道已經(jīng)可以幫助盲人準(zhǔn)確判斷障礙物的距離，在比較安全的城市道路上獨立行走、跑步，比如參加馬拉松比賽，這是可喜的進(jìn)步。

已經(jīng)見諸報道的利用舌上觸覺陣列器件輸入前方物體形狀的技術(shù)，還未見應(yīng)用報道。從基礎(chǔ)研究角度看，舌上輸入信息是有價值的探索，可以加強(qiáng)人們對于舌部感覺的理解。但從實際應(yīng)用角度看，舌上器件局限在較小的面積，并且對飲食和說話都帶來影響。若使用有線信號輸入輸出，電極線勢必要穿透面部皮膚或者從咽喉出入，留下創(chuàng)口。如果應(yīng)用無線信號輸入輸出，器件質(zhì)量和體積較大，也并不容易安置在嘴中。

另一種直接將視覺圖像實時處理后語音輸出指令的是盲人眼鏡系統(tǒng)。這是一個極為有前景的技術(shù)，它強(qiáng)烈依賴專用芯片技術(shù)、專用AI圖像識別技術(shù)和圖像要素轉(zhuǎn)化為語音指令的軟件技術(shù)。

本文提出的將視覺圖像轉(zhuǎn)化成頭頂觸覺輸入行動指令、并輔助以語音環(huán)境的系統(tǒng)，其有效性、信息全面程度、安全性等均優(yōu)于之前的幾項傳統(tǒng)盲人體外輔助技術(shù)。相對比較昂貴的體內(nèi)植入器件，本文展示的振動馬達(dá)和無線通信技術(shù)裝備成本也比較小，適合普通民眾使用。頭部振動馬達(dá)陣列的觸覺編碼，除去簡單的前、后、左、右、轉(zhuǎn)彎、停頓等指令，還可以像摩斯碼、手語和旗語等編碼語言，增加大量的信息，用于特殊的工作場景。觸覺和語音的雙重信息轉(zhuǎn)化，比單單只有一個指令途徑更有優(yōu)勢。觸覺感知到的行動指令，能讓受試者快速、準(zhǔn)確執(zhí)行身體動作，而語音能提供比觸覺更加豐富的信息，包括周邊路況整體狀況、整體行走路線描述、時間進(jìn)展等信息，相輔相成，雙重保險。

更重要的是，受試者可以通過語音反饋自身要求、狀態(tài)、對指令的理解，與后臺人員進(jìn)行有效的交流。這不僅增加了系統(tǒng)工作的安全性和可靠性，也使得個性化服務(wù)得以實現(xiàn)。比如，現(xiàn)場裝置使用者是一位視覺退化、很少出門的老人，后臺輔助者是其子女，那么，通過觸覺指令、語音輔助和語音交流，幫助老人順利出行、購物、就餐，就是一次溫馨的虛擬陪伴。

4 展 望

多項實際場地測試表明，利用頭部觸覺輔助盲人行動的無線電子系統(tǒng)原型已經(jīng)達(dá)到預(yù)期效果。受試者能夠快速響應(yīng)頭部振動觸覺指令，并實時調(diào)整自己的步伐、行走方向和身體整體動作，從而完成復(fù)雜場景下的獨立行走、上臺階、躲避障礙物、在桌子上取杯子等日常任務(wù)。

另一方面，該系統(tǒng)不局限于盲人和視覺障礙人士使用，也適用于幫助老人獨自上街，或者軍隊的無聲通信場景。針對不同的應(yīng)用場景，該系統(tǒng)有潛力發(fā)展出不同的器件模式，比如多攝像頭模式，以及不同的工作模式，比如城市街道導(dǎo)航模式、戶外旅行模式、夜間工作模式（比如通過增加紅外攝像頭）、采購模式、日常家居模式，甚至游戲模式等，具有廣闊的產(chǎn)業(yè)前景。在不同的工作模式下，開發(fā)出專用的AI圖像識別技術(shù)、觸覺編碼和語音輔助軟件。在開發(fā)專用AI圖像識別技術(shù)時，需要專用芯片設(shè)計與制造、專用算法和軟件、重點目標(biāo)提取并轉(zhuǎn)化成振動馬達(dá)編碼和自然語言提示等多種技術(shù)的合作與協(xié)調(diào)，相當(dāng)有挑戰(zhàn)。

觸覺指令具備靜默、隱蔽、保護(hù)隱私等功能。還可以將器件位置從頭部頭套延伸到頸圈、腰帶、手環(huán)、腳環(huán)等。另外，在物聯(lián)網(wǎng)，盲人導(dǎo)航系統(tǒng)有可能享受“專門識別”待遇，與汽車、摩托車等自動電子系統(tǒng)之間形成通訊聯(lián)系，這樣可以大大增加盲人出行的安全系數(shù)。

5 結(jié) 論

本文介紹了一種利用觸覺和語音輔助盲人或視覺障礙者獲取外界環(huán)境圖像和導(dǎo)航信息的原型系統(tǒng)。該系統(tǒng)的頭部觸覺裝置中，11個微型振動馬達(dá)被固定在特制的彈性頭套內(nèi)膽上，外部可用普通帽子遮掩，具有很好的隱蔽性，能夠保護(hù)使用者的隱私。該系統(tǒng)屬于非植入式人工視覺系統(tǒng)，它充分利用現(xiàn)有的網(wǎng)絡(luò)無線通訊技術(shù)，通過后臺人員分析視覺圖像，直接、實時地轉(zhuǎn)化成頭部觸覺振動編碼，并輔以語音描述和提示，能夠幫助受試者完成獨自出行和諸如進(jìn)咖啡館等生活任務(wù)。

實驗表明，受試者對觸覺指令響應(yīng)時間在0.5 s內(nèi)；施加2～3 V驅(qū)動電壓即可使馬達(dá)振動形成有效頭皮觸覺，4～5 V電壓可形成很強(qiáng)的觸覺信號。當(dāng)兩個振動點的間距超過3 cm時，所有測試者的頭部皮膚都能夠明確分辨不同振動位點、識別不同觸覺指令。該系統(tǒng)利用頭部相對于面部的天然前、后、左前、左、右前、右等方位感，以及人體對于觸覺的快速響應(yīng)機(jī)制，控制多個振動位點的振動強(qiáng)度、振動間隔、振動次數(shù)、振動時序、位點組合等，從而形成明確的行動指令觸覺編碼，傳輸給佩戴者。

本文完成了多項實際場地測試，證明該系統(tǒng)能夠幫助盲人在行走過程中完成正確的左右方向微調(diào)、左轉(zhuǎn)、右轉(zhuǎn)、避讓障礙物、上臺階等動作，順利實現(xiàn)在復(fù)雜環(huán)境里獨立行走；也能指導(dǎo)手的動作，幫助盲人完成從桌上取杯子等簡單的日常生活任務(wù)。隨著AI技術(shù)的發(fā)展，在后期的研究中，將研發(fā)現(xiàn)場AI圖像識別技術(shù)以取代或者輔助后臺人工識別模式，并針對不同的應(yīng)用場景開發(fā)相應(yīng)的系統(tǒng)模式和專用軟件。本文展示的系統(tǒng)和實驗結(jié)果，為人工視覺系統(tǒng)的發(fā)展提供了一種全新的技術(shù)路徑。附件PIBB_20210320_DOC_S1.pdf、 PIBB_20210320_Video_S1～8.avi見本文網(wǎng)絡(luò)版（http://www.pibb.ac.cn或http://www.cnki.ent）。