武曌晗,榮學(xué)文,范 永
1.山東大學(xué) 控制科學(xué)與工程學(xué)院,濟(jì)南 250061
2.山東交通學(xué)院 軌道交通學(xué)院,濟(jì)南 250357
視力障礙者是指視力下降到一定程度,無法用常規(guī)方法矯正視力、保障日常生活水平的人。視力障礙到一定程度的患者稱為盲人。隨著人口的增長和老齡化程度的加深,到2050年,全球預(yù)計會有7.03億人面臨中重度視力損害或失明[1]。根據(jù)中國殘聯(lián)的數(shù)據(jù),目前我國至少有500萬盲人,且盲人數(shù)量正在以每年45萬的速度迅速增加。中國作為全球人口數(shù)量最多的發(fā)展中國家,為視力障礙人群提供醫(yī)療、教育、幫助就業(yè)等服務(wù)的任務(wù)巨大。
即使有盲道、導(dǎo)盲杖的幫助,當(dāng)盲人獨自來到陌生且復(fù)雜的環(huán)境,也會因為無法獲取足夠的視覺信息而寸步難行。盲人在陌生的戶外環(huán)境中獨自出行所需的信息主要有:(1)環(huán)境信息,包括路面狀況、路面障礙物、行人、車輛等;(2)交通信息,包括斑馬線、盲道和人行道的位置、交通燈及交通標(biāo)志的指示信息等;(3)導(dǎo)向信息,包括自身位置、朝向、目的地位置及前往目的地的合理路徑信息?,F(xiàn)今多款輔助盲人出行的電子設(shè)備的基本原理都是將盲人無法獲取的部分以上信息轉(zhuǎn)換為其他感官信息。其中,觸覺和聽覺,或兩者的組合是相對理想和常用的選擇。
本文介紹了近年來科研人員為使用現(xiàn)代科技幫助盲人獨立出行所做的嘗試,比較、分析了各類導(dǎo)盲機器人的優(yōu)缺點和適用范圍,總結(jié)了導(dǎo)盲機器人多項共性關(guān)鍵技術(shù)的研究現(xiàn)狀,展望了導(dǎo)盲機器人的未來發(fā)展趨勢,以期為相關(guān)科研人員提供參考。
根據(jù)聯(lián)合國標(biāo)準(zhǔn)化組織所采納的、美國機器人協(xié)會下的定義,機器人是:“一種可編程和多功能的操作機;或是為了執(zhí)行不同任務(wù)而具有可用電腦改變和可編程動作的專門系統(tǒng)”。那么,以引導(dǎo)和幫助盲人出行為目的而設(shè)計的可編程操作機或?qū)iT系統(tǒng),均可稱為“導(dǎo)盲機器人”。
在這一定義的基礎(chǔ)上,歸納了多種導(dǎo)盲機器人,并分類說明其研究現(xiàn)狀。
50多年來,全球科研人員不斷嘗試通過導(dǎo)盲機器人幫助盲人導(dǎo)航、提高盲人生活質(zhì)量,多形式、多功能的導(dǎo)盲機器人不斷進(jìn)入公共視野。目前功能較為完善的導(dǎo)盲機器人可以分為智能導(dǎo)盲杖、穿戴式導(dǎo)盲設(shè)備、手持式導(dǎo)盲儀、基于智能終端的導(dǎo)盲系統(tǒng)和移動式導(dǎo)盲機器人五類。
2.1.1 智能導(dǎo)盲杖
智能導(dǎo)盲杖在傳統(tǒng)導(dǎo)盲杖的基礎(chǔ)上增加多種傳感器和微控單片機,向盲人提供路面信息及導(dǎo)航信息。
美國Gao R X等人[2]研發(fā)的導(dǎo)盲杖利用超聲波傳感器專門檢測用戶頭部前方5 m內(nèi)的障礙物,印度Mohapatra S等人[3]則用3個超聲波傳感器同時檢測正前方、前方地下、前方偏上區(qū)域的障礙物。同濟(jì)大學(xué)馬宏平等人[4]的紅外探測導(dǎo)盲杖使用蜂鳴器和MP3模塊的雙語音報警系統(tǒng)引導(dǎo)盲人快速安全地行走。張克華等人[5]開發(fā)了基于單一kinect傳感器的導(dǎo)盲系統(tǒng)(如圖1),該系統(tǒng)能夠運用深度圖像翻轉(zhuǎn)算法和障礙物識別算法同時檢測盲人身高、1 m寬度、3 m距離內(nèi)的所有地面障礙物、坑洞和懸空障礙物,并根據(jù)各障礙物的類型、距離規(guī)劃出3 m內(nèi)的最佳避障路線。
當(dāng)盲人需要去某個確定的目的地時,需要更多的導(dǎo)航信息。在室內(nèi),可利用RFID射頻識別技術(shù)精準(zhǔn)定位,泰國Chumkamon S等人[6]在室內(nèi)環(huán)境中布置RFID標(biāo)簽,導(dǎo)盲杖上安裝RFID閱讀器,當(dāng)閱讀器讀到某個標(biāo)簽時,盲人正處于該標(biāo)簽記錄的位置。在室外環(huán)境中,印度尼西亞共和國的Mutiara G A等人在導(dǎo)盲杖中使用羅盤告知用戶8個基本方向[7],并加入GPS定位功能以通知盲人是否達(dá)到目的地[8],但暫時不能提供具體的導(dǎo)航信息。
2.1.2 穿戴式導(dǎo)盲設(shè)備
穿戴式導(dǎo)盲設(shè)備將導(dǎo)盲系統(tǒng)裝配在盲人的外套、眼鏡、背包、鞋子等裝備上,解放盲人的雙手,讓盲人可以更自由地步行在大街上。設(shè)計穿戴式導(dǎo)盲設(shè)備不僅要考慮一般的導(dǎo)盲和安全需求,還要考慮裝備的重量、穿戴舒適度和盲人群體的接受度。
韋中超等人[9]在用戶頭部前方配置一個超聲波傳感器、兩側(cè)各配置一個紅外線傳感器,探測方向隨盲人的頭部轉(zhuǎn)動而改變。美國Ram S等人[10]在盲人胸前配置超聲波和熱電傳感器,可分辨街頭的行人和物體。
密歇根大學(xué)的Borenstein J及其團(tuán)隊[11]研發(fā)的導(dǎo)航腰帶NavBelt裝配了2排共16個超聲波傳感器探測前方120°范圍,并利用左、右耳聲音的相位差使人產(chǎn)生方向性的印象,以實現(xiàn)聲音圖像模式和聲音導(dǎo)航模式。在聲音圖像模式下,環(huán)境信息被轉(zhuǎn)化成虛擬的聲學(xué)圖像,用戶可以“聽到”從右到左的環(huán)境信息,根據(jù)聲音的大小和方向在腦內(nèi)建立虛擬環(huán)境地圖。在聲音導(dǎo)航模式下,NavBelt用立體聲指導(dǎo)盲人跟隨根據(jù)GPS和障礙物信息確定的導(dǎo)航路線:當(dāng)行走方向與建議方向相差不超過5°時,立體聲為250 Hz的低音;當(dāng)盲人走錯或距離障礙物過近時,立體聲的振動頻率增快、振幅增大[12]。
朱愛斌等人[13]用多圖像傳感器進(jìn)行3D場景重建,配合用戶腰部和腳腕處的超聲波傳感器檢測障礙物。葡萄牙Filipe V等人[14]用盲人胸前的Microsoft Kinetic攝像機斜向下45°進(jìn)行拍攝,使用神經(jīng)網(wǎng)絡(luò)對從圖像中提取的6條豎直線上的深度信息進(jìn)行分類,對比預(yù)先定義的環(huán)境模式,從而識別前方2 m范圍內(nèi)的障礙和樓梯。但Kinect攝像機尺寸太大,且需要連接電腦傳輸數(shù)據(jù),尚不適合隨身攜帶。Bai J等人[15]設(shè)計的導(dǎo)盲眼鏡集成了超聲波測距儀、深度攝像機和魚眼攝像機,根據(jù)采集的信息利用A*算法生成感興趣的點分布圖,規(guī)劃出全局最短路徑,實現(xiàn)基于動態(tài)目標(biāo)選擇策略的虛擬盲道跟蹤方案,在語音導(dǎo)航的同時還可通過眼鏡上的顯示屏向擁有部分視力的用戶補充周圍環(huán)境信息,如圖2所示。德國Manuel Martinez等人[16]獨具創(chuàng)意地將無人駕駛技術(shù)中使用的傳感器、平臺和Stixels算法移植到穿戴式導(dǎo)盲設(shè)備中,用戶可背著處理器行走,胸前攝像頭采集到的圖像被劃分為基于視差分割的垂直區(qū)域,從而判斷出障礙物和地面,如圖3所示。
圖2 基于虛擬盲道跟蹤技術(shù)設(shè)計的導(dǎo)盲眼鏡
圖3 使用無人駕駛技術(shù)的穿戴式導(dǎo)盲設(shè)備
2.1.3 手持式導(dǎo)盲儀
手持式導(dǎo)盲儀最大的特點就是輕巧方便、易攜帶。
印度Pravin M等人[17]用固定的白色LED燈作為發(fā)射器,用戶手持PIN二極管接收器讀取不同頻率光線對應(yīng)的信息以確定位置。該系統(tǒng)簡易低價、不受電磁干擾的影響,但受遮擋物、反光物和其他光源的影響大,只適合簡單、黑暗的室內(nèi)環(huán)境。日本Amemiya T等人[18]開發(fā)的“偽吸引力”手持導(dǎo)盲設(shè)備利用人感知力的習(xí)慣,在扁圓柱型導(dǎo)航儀中產(chǎn)生一種特殊的振動,用2D平面內(nèi)任意方向的“推/拉力”指導(dǎo)用戶前進(jìn)。
2014年,以色列Maidenbaum S等人[19]研發(fā)的手持導(dǎo)盲儀EyeCane使用多個窄光束紅外線傳感器同時向前方和斜下方精確測距,用盲人手腕處和拇指處的振動表示兩處距離,距離越近振動越強。經(jīng)過幾分鐘的學(xué)習(xí),盲人可以通過不斷轉(zhuǎn)動手腕掃描周圍環(huán)境來躲避障礙物,穿過含多個轉(zhuǎn)角的走廊。如圖4所示,該團(tuán)隊還結(jié)合谷歌3D地圖設(shè)計了虛擬EyeCane導(dǎo)盲系統(tǒng)[20],方便盲人在出行前,通過電腦模擬行走,以熟悉陌生的室內(nèi)環(huán)境。
圖4 EyeCane手持導(dǎo)盲設(shè)備
在德國Hub A等人[21]提出的室內(nèi)定位系統(tǒng)中,手持設(shè)備使用攝像頭拍攝前方物體的同時使用WiFi定位確定設(shè)備位置、超聲波測距儀測量設(shè)備距地高度、數(shù)字羅盤和3D傾斜傳感器確定攝像頭朝向,并在3D環(huán)境模型中利用上述信息確定虛擬攝像機的位置、高度和朝向進(jìn)行拍攝,通過對比真實照片與虛擬照片識別被拍攝物體。
2.1.4 基于智能終端的導(dǎo)盲系統(tǒng)
基于智能終端的導(dǎo)盲系統(tǒng)充分利用了智能終端集成了大量傳感器且自帶導(dǎo)航功能的優(yōu)勢。胡浩明等人[22]以Google公司Project Tango平臺下的深度感知技術(shù)為核心,調(diào)用移動設(shè)備的深度感知攝像頭和點云傳感器進(jìn)行測距。英國Lock J等人[23]同樣依靠Project Tango平臺下的設(shè)備搭建導(dǎo)盲系統(tǒng),學(xué)習(xí)用戶隨時間變化的行為,調(diào)整系統(tǒng)的反饋參數(shù)以提高性能,從而幫助盲人更快到達(dá)目的地。2019年,Li Bing等人[24]結(jié)合了Google Tango設(shè)備中的視覺定位服務(wù)和預(yù)先建立的語音地圖,實現(xiàn)了室內(nèi)環(huán)境的語音定位;利用RBG-D攝像頭和基于時間戳圖的卡爾曼濾波算法實現(xiàn)了高效的障礙物檢測,如圖5所示。用戶可利用鍵盤選擇目的地,Google Tango設(shè)備將規(guī)劃好的路線通過無線藍(lán)牙技術(shù)發(fā)送到智能手杖中,智能手杖利用語音和振動信息引導(dǎo)用戶前往目的地。
圖5 基于視覺的盲人室內(nèi)移動輔助導(dǎo)航設(shè)備
智能手機自帶的導(dǎo)航功能也可服務(wù)于導(dǎo)盲系統(tǒng),墨西哥Velázquez R等人[25]結(jié)合智能手機的導(dǎo)航功能和穿戴式設(shè)備提出了一種導(dǎo)航系統(tǒng),如圖6所示。手機從衛(wèi)星接收GPS數(shù)據(jù),將其同步到筆記本電腦進(jìn)行路徑規(guī)劃,規(guī)劃結(jié)果通過電磁波發(fā)送到盲人腳腕處的電子設(shè)備中,轉(zhuǎn)化為導(dǎo)盲鞋底部的振動信號引導(dǎo)盲人前往目的地。該導(dǎo)盲裝置可連續(xù)工作6 h,但電腦與穿戴設(shè)備的通信距離只有200 m。
美國卡耐基梅隆大學(xué)的研究團(tuán)隊設(shè)計了一款在室內(nèi)、室外環(huán)境均適用的導(dǎo)盲軟件NavCog[26],可配合安裝在城市街頭的藍(lán)牙信標(biāo)使用,如圖7所示。該軟件的手機界面圖標(biāo)位置固定、易記憶,盲人通過短暫學(xué)習(xí)便可自主下載標(biāo)記了可行走區(qū)域、路口和電梯口等決策點、商店和擋路的柱子等值得關(guān)注的地點及藍(lán)牙信標(biāo)安裝地點的地圖并進(jìn)行導(dǎo)航。為了提高用戶體驗,該團(tuán)隊繼續(xù)根據(jù)用戶步行速度調(diào)整交互的時間和內(nèi)容、根據(jù)用戶喜好調(diào)整導(dǎo)航技巧與風(fēng)格[27]。2018年,該團(tuán)隊在日本的一個3座5層大型商場內(nèi)部署藍(lán)牙信標(biāo),用多元回歸的方法從數(shù)學(xué)上分析了建筑墻壁、盲道布置、周圍場景、路線、定位誤差及導(dǎo)航指令類型對用戶跟隨計劃路線情況的影響[28],并提出了一系列增強概率定位算法準(zhǔn)確性的關(guān)鍵技術(shù)[29],將NavCog的平均定位誤差從3 m降到1.7 m。針對室外地圖復(fù)雜、手動標(biāo)記工作量過大的問題,該團(tuán)隊進(jìn)一步對NavCog進(jìn)行了優(yōu)化[30]:從OpenStreetMap線上地圖中自主下載并處理地圖,用點和線表示決策點和道路;從熱門點評軟件Yelp和FourSquare上獲取商家地址、名稱、評價等用戶可能感興趣的信息補充到地圖中。考慮到現(xiàn)有較為完善的導(dǎo)盲系統(tǒng)大多需要長期維護(hù)、成本過高的問題,該團(tuán)隊又提出了基于眾包的、非專家維護(hù)的導(dǎo)航系統(tǒng)LuzDeploy[31]:志愿者根據(jù)軟件的指導(dǎo)了解商場內(nèi)藍(lán)牙信標(biāo)的安裝、校準(zhǔn)方法及分布圖,從而參與到系統(tǒng)維護(hù)中來。目前127位志愿者在幾個月內(nèi),于一棟7層建筑完成了455項維護(hù)任務(wù),這是進(jìn)行長期有效的智能導(dǎo)航系統(tǒng)維護(hù)的有效嘗試。
2.1.5 移動式導(dǎo)盲機器人
目前最常見的移動式導(dǎo)盲機器人為輪式小車和牽引桿的組合,最典型的例子是Borenstein J等人[32]推出移動式導(dǎo)盲機器人,使用時盲人將牽引桿推到身體前方,通過手柄感受到明顯的牽引力作為轉(zhuǎn)向命令。這種導(dǎo)盲方式不需要聲音、振動等交互信息,即可輕松、安全地引導(dǎo)盲人。
圖6 基于GPS和腳部觸覺反饋的戶外導(dǎo)航系統(tǒng)
圖7 基于NavCog軟件的智能導(dǎo)盲系統(tǒng)
如圖8所示,加州理工學(xué)院的Siagian C等人[33]研發(fā)的輪式移動機器人在采集到畫面中用一組線表示道路,通過確定其消失點判斷道路的指向,實現(xiàn)自主導(dǎo)航。該移動機器人不是專門為導(dǎo)盲設(shè)置,可自行移動(在4個行人眾多的大學(xué)校園內(nèi)進(jìn)行了測試,可獨自前行5 km),也可引導(dǎo)盲人步行跟隨。
移動式導(dǎo)盲機器人適合跟隨軌跡或結(jié)合GPS、固定標(biāo)簽等方式協(xié)助盲人前往確定的目的地。2018年,中國臺灣的Chuang T K等人[34]研發(fā)的循跡機器人同時對車身左30°、正前方、右30°進(jìn)行拍攝,可識別黃藍(lán)條帶軌跡和美國波士頓的“自由軌跡”。如圖9所示,系統(tǒng)可以通過兩種方式訓(xùn)練深度CNN模型,其中,“行為反射”方式將輸入圖像直接映射為“左轉(zhuǎn)”“直行”和“右轉(zhuǎn)”三個運動指令;“直接感知”方式采集軌道距畫面中心的橫向距離和機器人航向,通過改進(jìn)的濾波算法來指導(dǎo)機器人跟隨軌跡。該團(tuán)隊不僅在現(xiàn)實中進(jìn)行了測試,還在ROS平臺上搭建了仿真地鐵站,驗證了來往行人造成的陰影不會影響機器人循跡。
圖8 戶外自主導(dǎo)航移動機器人Beobot 2.0
圖9 深度循跡導(dǎo)盲機器人
虛弱或年老的盲人群體多數(shù)需要大型的導(dǎo)盲設(shè)備支撐其行走。愛爾蘭的Lacey G等人[35]研制的大型移動助行器通過動力升降機調(diào)節(jié)高度,支撐盲人進(jìn)行簡單的散步。日本的Mori H等人[36]推出的大型移動導(dǎo)盲裝置則可通過扶手支撐盲人在室外行走,且能夠識別交通牌、斑馬線和紅路燈,并通過左、右扶手的振動提示盲人轉(zhuǎn)向。
為了彌補視力不足給盲人出行帶來的風(fēng)險,印度Dr.Anand Kumar K M等人[37]另辟蹊徑,推出的四輪移動小車搭配助盲軟件:盲人在軟件上選擇目的地并提出援助請求,志愿者通過小車前端攝像頭傳來的畫面判斷盲人位置并遠(yuǎn)程遙控小車,盲人握住車把末端皮帶以跟隨小車;同時服務(wù)器遠(yuǎn)程監(jiān)控,若盲人偏離路線便發(fā)出警告。為了進(jìn)一步提升盲人用戶使用體驗,美國卡耐基梅隆大學(xué)的Kulkarni A等人[38]給移動機器人Pioneer 3DX安裝了木質(zhì)手柄設(shè)計成導(dǎo)盲機器人,放在商場供用戶自行取用,它可以記錄用戶性別、年齡、目的地等信息,從而學(xué)習(xí)不同用戶的使用習(xí)慣以改進(jìn)導(dǎo)航系統(tǒng)。同校的Nanavati A等人[39]則專門研究了用戶跟隨移動小車接近目的地時,尋找目標(biāo)房間門把手位置的習(xí)慣,并據(jù)此設(shè)計多種靠近目的地的方法,讓用戶能輕松、準(zhǔn)確地打開房門。
各類導(dǎo)盲機器人基于獨特的優(yōu)勢受到不同科研團(tuán)隊的關(guān)注,也因為自身結(jié)構(gòu)類型而具有一定的局限性,現(xiàn)將各類導(dǎo)盲機器人的優(yōu)缺點和適用范圍歸納如表1。
智能導(dǎo)盲杖在結(jié)構(gòu)上與傳統(tǒng)導(dǎo)盲杖類似,在不大量增加導(dǎo)盲杖質(zhì)量的前提下大大擴(kuò)展障礙物檢測的距離和范圍,兼具輕巧、低價、好上手等優(yōu)點,盲人群體的接受程度最高。但智能導(dǎo)盲杖對質(zhì)量的要求限制了其硬件系統(tǒng)的可擴(kuò)展性,往往存在功能單一的弱點,大部分智能導(dǎo)盲杖僅具備檢測障礙的功能。此外,在智能導(dǎo)盲杖底端安裝導(dǎo)輪即可構(gòu)成簡單的移動式導(dǎo)盲機器人,故可以將智能導(dǎo)盲杖看作去除動力系統(tǒng)的移動式導(dǎo)盲機器人;隨著用戶對導(dǎo)盲機器人功能多樣性要求的增加,智能導(dǎo)盲杖將逐漸向移動式導(dǎo)盲機器人演化。
穿戴式導(dǎo)盲設(shè)備將負(fù)責(zé)智能探測的傳感器固定在盲人周身,讓盲人背著整套系統(tǒng)像正常人一樣行走,是“隱形”程度最高的機器人,有利于提高盲人的自信心。穿戴式導(dǎo)盲設(shè)備可通過增加盲人攜帶的傳感器數(shù)量和種類,實現(xiàn)全方位的危險預(yù)測,但會給盲人造成裝備過重、信息過雜的負(fù)擔(dān)。除了對盲人的行動造成干擾以外,穿戴式導(dǎo)盲設(shè)備最大的缺陷是難以向“空手”行走的盲人提供心理層面上足夠的安全感。進(jìn)行室外復(fù)雜街區(qū)處的導(dǎo)航時,穿戴式導(dǎo)盲設(shè)備需要與智能導(dǎo)盲杖或移動式導(dǎo)盲機器人相結(jié)合。
表1 導(dǎo)盲機器人分類對比
手持式導(dǎo)盲儀結(jié)構(gòu)最簡單、便于攜帶,但同智能導(dǎo)盲杖一樣被質(zhì)量限制了功能的豐富性。在使用過程中,手持式導(dǎo)盲儀需要不斷地手動掃描識別定位標(biāo)簽、檢測障礙物等,探測范圍小,且用戶必須經(jīng)過長期訓(xùn)練才能熟練使用,只適合在較安全的室內(nèi)場合使用。
基于智能終端的導(dǎo)盲系統(tǒng)構(gòu)建于現(xiàn)有智能終端上,可以批量安裝、跨平臺使用、跨操作系統(tǒng)運行,具有極大的市場潛力。智能終端內(nèi)置攝像頭、羅盤、計步器、GPS模塊等,基于智能終端的導(dǎo)盲系統(tǒng)定位和導(dǎo)航功能強大;但存在無法檢測障礙物或檢測效率低下的問題,盲人在單獨使用智能終端的情況下,必須搭配普通導(dǎo)盲杖摸索前進(jìn)。且因為智能終端常用的人機交互方式依賴于視覺通道,盲人使用時不僅存在大量資源浪費的情況,還需要經(jīng)過長時間的學(xué)習(xí)才能記憶復(fù)雜的操作步驟。基于智能終端的導(dǎo)盲系統(tǒng)在現(xiàn)階段發(fā)展較快,但在未來將會被專為盲人設(shè)計的、功能健全且成本更低的導(dǎo)盲機器人取代。
移動式導(dǎo)盲機器人建立在移動機器人的基礎(chǔ)上,在硬件設(shè)計時不需考慮對用戶造成的重量負(fù)擔(dān),一般都裝備有多種傳感器和計算能力強大的控制計算機,且方便在原配置的基礎(chǔ)上直接擴(kuò)充硬件,從而保證了其功能的實用性和豐富性。市面上已有多款成熟的在售移動式機器人具備了自主建模避障、定位導(dǎo)航等功能,加強恰當(dāng)?shù)娜藱C接口設(shè)計后即可用于導(dǎo)盲領(lǐng)域。綜合來說,移動式導(dǎo)盲機器人可實現(xiàn)的功能完全覆蓋其他導(dǎo)盲機器人,且可擴(kuò)展性強,是近年來廣受關(guān)注、發(fā)展迅速的導(dǎo)盲機器人類型。此外,移動式導(dǎo)盲機器人采用機器人先行、盲人跟隨的導(dǎo)航方式,大大降低了盲人受傷的概率,顯著提高了盲人在室內(nèi)外行走的效率和安全性。
目前限制移動式導(dǎo)盲機器人普及的最大問題是不能適應(yīng)復(fù)雜地形以及硬件和開發(fā)成本高,前者可以通過優(yōu)化機械結(jié)構(gòu)來解決,后者隨著移動機器人行業(yè)的發(fā)展將不再明顯;因此,移動式導(dǎo)盲機器人將在未來進(jìn)一步凸顯優(yōu)勢,成為導(dǎo)盲機器人研發(fā)的主流方向。
為滿足盲人獨自出行的基本需要,導(dǎo)盲機器人的主要功能包括障礙物與路況識別、地圖構(gòu)建、精準(zhǔn)定位、智能導(dǎo)航等。本章討論了導(dǎo)盲機器人為實現(xiàn)上述功能,在環(huán)境檢測、定位與導(dǎo)航和人機交互等方面所采取的共性關(guān)鍵技術(shù)。
導(dǎo)盲機器人可提供的環(huán)境信息包括:四周障礙物大小與方位,地面凹陷情況,樓梯及電梯位置,其他行人方位,室內(nèi)設(shè)施位置,室外斑馬線、交通燈、交通指示牌等交通標(biāo)志信息。目前導(dǎo)盲機器人領(lǐng)域在環(huán)境檢測方面采用的關(guān)鍵技術(shù)概括于表2。
自20世紀(jì)70年代起,超聲波測距技術(shù)和紅外線測距技術(shù)因精度高、速度快、成本低等優(yōu)點,被廣泛應(yīng)用于導(dǎo)盲領(lǐng)域,此時的導(dǎo)盲機器人只需具備簡單的距離檢測和報警功能[40]。碰撞傳感器雖然檢測范圍極小,但可以用作保護(hù)導(dǎo)盲機器人和用戶的最后一道防線。時至今日,超聲波測距技術(shù)也未被淘汰,并通過不斷地創(chuàng)新改進(jìn),大幅提高測距性能,如李姝穎等人[41]對醫(yī)學(xué)檢測領(lǐng)域的超聲波相控陣進(jìn)行改進(jìn),采用輪流激勵發(fā)射探頭防串?dāng)_、增加數(shù)據(jù)采集量,可檢測大范圍內(nèi)多障礙物的尺寸和位置。
表2 導(dǎo)盲機器人環(huán)境檢測領(lǐng)域關(guān)鍵技術(shù)
20世紀(jì)末至21世紀(jì)初,視覺傳感器在導(dǎo)盲機器人環(huán)境檢測領(lǐng)域越來越常用,配置了視覺傳感器的系統(tǒng)能從環(huán)境中獲取更豐富、全面的信息。普通攝像頭拍攝的圖案可以用于對比、識別常見物體,既能幫助盲人躲避障礙物,也可以幫助盲人尋找特定物體。深度相機拍攝的結(jié)果可用于快速確定物體的位置、尺寸及形狀,能夠描述坑洞、高臺、樓梯等復(fù)雜的環(huán)境。視覺傳感器的引入大大提高了導(dǎo)盲系統(tǒng)的智能性,尤其在室外環(huán)境中,機器人不僅要考慮到行人、車輛帶來的危險,也要考慮十字路口、紅路燈、斑馬線、交通指示牌等交通信息,配備視覺傳感器是保障導(dǎo)盲機器人及用戶安全必須的選擇。
21世紀(jì)后,科研人員開始使用固定標(biāo)簽技術(shù)補充環(huán)境信息,將標(biāo)簽閱讀器用作環(huán)境傳感器。巴西Sim?es W C S S等人[50]將視覺標(biāo)簽貼在地面上,用戶通過智能眼鏡識別標(biāo)簽以了解周圍環(huán)境。陳超[48]給屋內(nèi)所有設(shè)施配置RFID標(biāo)簽,機器人不需測距裝置即可自行躲避已知障礙物。佛羅里達(dá)大學(xué)的Willis S等人[49]在室內(nèi)網(wǎng)格狀鋪設(shè)RFID標(biāo)簽,向用戶提供豐富的環(huán)境信息,比如房門處的標(biāo)簽記錄了門的位置、開門方式和該門通向的房間信息。將固定標(biāo)簽放置在活動范圍內(nèi),讓盲人攜帶閱讀器了解環(huán)境逐漸成為一種常見思路。
隨著環(huán)境傳感器種類的日漸豐富,以及環(huán)境檢測算法的不斷優(yōu)化,導(dǎo)盲機器人的環(huán)境檢測功能日趨完善、檢測正確率和速度不斷提高、檢測的目標(biāo)也從單一趨于多樣。為了向盲人用戶提供全面、可靠的環(huán)境信息,未來導(dǎo)盲機器人的設(shè)計勢必會向多傳感器信息融合的方向發(fā)展,以提供實時更新的精測檢測結(jié)果。
當(dāng)盲人進(jìn)行有目的的遠(yuǎn)距離運動時,需要精確的自身位置信息、目的地位置信息及與目的地之間路線信息。導(dǎo)盲機器人實現(xiàn)精準(zhǔn)定位和路徑規(guī)劃的關(guān)鍵技術(shù)如表3所示。
阿爾及利亞的Bousbia-Salah M等[51]提出了依靠“記憶”的、不需要定位的導(dǎo)盲方式,在視力正常的人陪同盲人攜帶導(dǎo)盲杖完成第一次導(dǎo)航路線時,盲人通過鍵盤記錄路途中的每次決策(轉(zhuǎn)彎、穿過人行道等),加速度儀記錄步行距離;盲人可選擇重放或倒放存儲的路線信息來實現(xiàn)獨自往返。但這種導(dǎo)航方式存在很大的不穩(wěn)定性,路徑長度計算失誤會導(dǎo)致盲人迷失在危險的路口,為保障盲人出行安全,導(dǎo)盲系統(tǒng)必須引入實時定位功能。在室外環(huán)境中,最常用、經(jīng)濟(jì)的定位方式是借助民用GPS提供的信息。前文提到的各類導(dǎo)航設(shè)備中大多結(jié)合了GPS技術(shù),基于智能終端設(shè)計的導(dǎo)盲系統(tǒng)則直接利用了內(nèi)置的GPS定位導(dǎo)航功能,如馬來西亞Akbar I等人[57]給智能機增加豐富的語音指導(dǎo),生成了簡單的導(dǎo)盲系統(tǒng)。但GPS導(dǎo)航系統(tǒng)并不是針對盲人設(shè)計的,實際應(yīng)用時須補充大量通過視覺獲取的交通信息,所以設(shè)計盲人專門地圖是現(xiàn)今室外導(dǎo)盲系統(tǒng)的重要研究方向,如Balata J等人[52]在GPS和GIS數(shù)據(jù)庫基礎(chǔ)上補充信息,構(gòu)建了強調(diào)馬路、人行道、建筑等地標(biāo)的盲人專用地圖。
在室內(nèi)環(huán)境中,由于建筑物的遮蔽,民用GPS系統(tǒng)定位精度明顯下降,已不適用于實時導(dǎo)航。對于小型室內(nèi)環(huán)境,可建立匹配的3D環(huán)境模型,再結(jié)合室內(nèi)定位手段進(jìn)行導(dǎo)航。例如,比較導(dǎo)盲機器人前端攝像頭與3D環(huán)境地圖中虛擬攝像頭拍攝的畫面進(jìn)行物體識別,從而實現(xiàn)定位[21]。對于大型室內(nèi)環(huán)境,如醫(yī)院、校園、博物館等,建立詳細(xì)、仿真的3D模型成本太高,不如在地面鋪設(shè)軌跡或大量布置固定標(biāo)簽進(jìn)行平穩(wěn)導(dǎo)航。
表3 導(dǎo)盲機器人定位與導(dǎo)航領(lǐng)域關(guān)鍵技術(shù)
各類固定標(biāo)在室內(nèi)導(dǎo)航領(lǐng)域應(yīng)用廣泛,在Ma J等人[58]設(shè)計的系統(tǒng)中,Android手機通過識別超寬帶無線定位標(biāo)簽實現(xiàn)分米級別的導(dǎo)航,但盲人需與進(jìn)行定位計算的電腦處于同一WiFi下。保加利亞的Ivanov R[59]在大型醫(yī)院的各個房間門上粘貼RFID標(biāo)簽,用戶可識別存儲在其中的房間介紹信息和該房間與其他各房間之間的導(dǎo)航信息。陳超等人[60]用超高頻RFID標(biāo)簽標(biāo)記房間內(nèi)的障礙物、低頻RFID標(biāo)簽標(biāo)記路口;系統(tǒng)可自主構(gòu)建電子地圖,并結(jié)合可視圖法和A*算法規(guī)劃出房間內(nèi)任意點間的路徑。葡萄牙的Gomes J P等人[54]根據(jù)不同地點的不同定位精度需求分別布置藍(lán)牙低能信標(biāo)、視覺標(biāo)簽和NFC標(biāo)簽,并配合WiFi定位構(gòu)建了大型盲人友好超市,方便盲人自主尋找商品。
少數(shù)走在前沿的科研人員正在將室內(nèi)、室外導(dǎo)航進(jìn)行結(jié)合。佛羅里達(dá)大學(xué)Ran L等人[56]設(shè)計的穿戴式導(dǎo)盲設(shè)備在室外借助DGPS數(shù)據(jù)導(dǎo)航,在室內(nèi)結(jié)合OME超聲波定位系統(tǒng)和用ArcView制作的室內(nèi)地圖,提供詳細(xì)的室內(nèi)設(shè)施介紹。構(gòu)建了適用于室外的盲人專用地圖的團(tuán)隊進(jìn)一步通過在盲人活動區(qū)域內(nèi)布置盡可能少的藍(lán)牙信標(biāo)來提高定位精度,實現(xiàn)了室內(nèi)、室外、公交車站導(dǎo)航模式的無縫切換[53]。
綜合來看,GPS導(dǎo)航技術(shù)是導(dǎo)盲系統(tǒng)難以繞過的關(guān)鍵技術(shù),但單純依靠民用GPS進(jìn)行導(dǎo)航是遠(yuǎn)不足以實現(xiàn)室內(nèi)、室外安全導(dǎo)航的精度要求的。鋪設(shè)可識別軌跡、布置固定標(biāo)簽和建立3D模型都是提高定位精度、實現(xiàn)精準(zhǔn)導(dǎo)航的可用手段。另外,為提高更智能、更人性化的導(dǎo)盲服務(wù),室內(nèi)、室外導(dǎo)航的結(jié)合也是科研人員需要研究的方向。
人機交互功能是衡量系統(tǒng)“友善性”的一個重要因素,在智能導(dǎo)盲系統(tǒng)中,盲人得到的反饋信息應(yīng)該是豐富、實用的,盲人也可以向系統(tǒng)輸入指令,以求更人性化的導(dǎo)盲服務(wù)。導(dǎo)盲機器人人機交互方面的關(guān)鍵技術(shù)概括于表4。
導(dǎo)盲系統(tǒng)采用的輸入方式種類多樣,其中,固定的按鍵易于記憶,操作方便;語音輸入方式可表達(dá)詳細(xì)的指令信息,這兩種方式是導(dǎo)盲機器人最常選擇的輸入方式。此外,以色列Botzer A等人[61]的立體視覺導(dǎo)航設(shè)備中安裝了眼球跟蹤器,將用戶眼球的轉(zhuǎn)動作為輸入指令,根據(jù)用戶“看”的方向選擇測距方向,更適合非全盲或非先天性失明的用戶使用。盲人通過轉(zhuǎn)動手腕[19]、頭部[9]、軀干[13]等來改變與之固定的傳感器掃描方向,向牽引桿施壓以觸發(fā)相連的壓力傳感器[62]來判斷盲人與設(shè)備的相對速度,以及通過手勢向機器人表述目的地[63]等行為都是對導(dǎo)盲系統(tǒng)的輸入方式。
值得一提的是,按鍵輸入方式不受周圍環(huán)境的影響,穩(wěn)定可靠、響應(yīng)迅速,在緊急情況下通過按鍵制動能大大提高系統(tǒng)的安全性。而完善語音輸入仍然是提高導(dǎo)盲系統(tǒng)智能性的重點之一,導(dǎo)盲系統(tǒng)人機輸入方式將在按鍵搭配語音的基礎(chǔ)上趨于多樣化。導(dǎo)盲機器人應(yīng)在不增加盲人負(fù)擔(dān)的前提下獲取更多指示信息,從而向盲人提供更全面、細(xì)致的服務(wù)。
除了移動機器人在盲人前方直接牽引盲人前進(jìn)以外,導(dǎo)盲系統(tǒng)實用的反饋方式主要是振動、聲音及兩者組合。其中,振動信息不受環(huán)境噪音的影響,也不會干擾盲人獲取環(huán)境中的聲音,可通過多振動馬達(dá)、多振動類型組合的方式表達(dá)豐富的信息。除了用振動強度表示障礙物距離這一常見方式以外,Johnson L A等人[65]研發(fā)的導(dǎo)盲腰帶上配備了14個振動電機,用多種組合振動方式表示對應(yīng)方向存在障礙物;王瑞榮等人[66]推出的導(dǎo)盲腰帶則通過用16個振動馬達(dá)表示推薦行走的方向;吳涓等人[67]用8×8的振動序列表示物體的簡單輪廓;Bourbakis N等人[68]開發(fā)的Tyflos移動輔助裝置只保留3D環(huán)境中的深度信息,將其經(jīng)數(shù)模轉(zhuǎn)換化為2D振動信息以幫助盲人理解3D環(huán)境。
表4 導(dǎo)盲機器人人機交互領(lǐng)域關(guān)鍵技術(shù)
聲音輸出包括語音形式的反饋和非語音形式的反饋。語音形式的信息輸出可表示詳細(xì)的導(dǎo)盲信息,尤其在室外導(dǎo)航中極為重要;非語音形式的聲音,如嗡鳴聲可通過兩耳相位差、響度來表示物體的方向和距離,反饋效率高。加州大學(xué)Loomis J M等人[69]在預(yù)定軌跡中規(guī)劃多個航路點,詳細(xì)對比了用戶對語音指示應(yīng)轉(zhuǎn)向角度、搭配羅盤采用立體音指示方向等多種導(dǎo)航方式的接受程度,驗證了立體音導(dǎo)航的科學(xué)性。
聲音反饋方式提供的信息豐富多樣,但為保證嘈雜環(huán)境中的使用效果,需要求盲人攜帶耳機出行;耳機遮蓋環(huán)境聲音,會形成安全隱患。而振動反饋方式能夠彌補這一缺陷,保證盲人在交通路口安全轉(zhuǎn)向??傮w來說,振動和聲音的組合反饋方式足以滿足盲人出行的需求,實現(xiàn)導(dǎo)盲功能不需要采用過于復(fù)雜的反饋方式。
隨著人們生活水平的不斷提高、社會信息化的快速發(fā)展,盲人對提高生活獨立性、融入社會的愿望越來越強烈,從而對導(dǎo)盲機器人的更新迭代提出了更高的要求。適應(yīng)復(fù)雜地形環(huán)境、構(gòu)建更智能的導(dǎo)盲系統(tǒng)和與社會深入共融是導(dǎo)盲機器人的必然發(fā)展趨勢。
除移動式導(dǎo)盲機器人,其他類型導(dǎo)盲機器人均由盲人用戶攜帶移動,故本節(jié)探討的是移動式導(dǎo)盲機器人未來適宜的移動方式。
機器人移動機構(gòu)主要包括輪式、履帶式和腿足式。輪式移動機器人只能在相對平坦地面移動,無法上下樓梯和適應(yīng)其他復(fù)雜地形。履帶式移動機器人為草地、松軟地面及其他特殊地形而設(shè)計,在城市環(huán)境中優(yōu)勢不明顯。腿足式移動機器人不僅適應(yīng)所有人類可步行通過的磚鋪路面、石子路、草地等復(fù)雜地形,且能夠跨越障礙、上下樓梯,是理想的導(dǎo)盲機器人移動平臺。此外,依現(xiàn)有導(dǎo)盲犬為仿生對象研制的四足導(dǎo)盲機器人具有仿生性強的優(yōu)勢,將更易被視力障礙者接受。
目前,國內(nèi)外已研制出與導(dǎo)盲犬體形相當(dāng)?shù)亩嗫钏淖銠C器人,能夠適應(yīng)多種室內(nèi)、室外復(fù)雜地形環(huán)境,在實現(xiàn)環(huán)境感知、定位與導(dǎo)航、人機交互等多種功能并降低成本后即可用作導(dǎo)盲機器人。
高智能性的導(dǎo)盲機器人不僅能科學(xué)、高效地完成導(dǎo)盲任務(wù),還能保證盲人群體優(yōu)秀的使用體驗。為了提高導(dǎo)盲機器人的智能性,除了依靠更全面且高精度的環(huán)境傳感器、更成熟的環(huán)境分析和定位導(dǎo)航算法以及更強大的機器人核心計算能力,也要考慮將多模態(tài)人機交互、多機交互、人工智能等新興技術(shù)與導(dǎo)盲機器人的設(shè)計相結(jié)合。
導(dǎo)盲系統(tǒng)中的多模態(tài)人機交互技術(shù)主要用于獲取更全面的用戶信息作為系統(tǒng)調(diào)整導(dǎo)航策略的輸入指令,并給予用戶多方面的反饋。盲人除了在視覺方面存在缺陷,在觸覺、嗅覺和聽覺方面往往擁有更大的優(yōu)勢。另外,特定情緒或狀態(tài)引起的面部表情、身體動作、聲音變化和生理反應(yīng),例如超負(fù)荷運動導(dǎo)致的呼吸急促、緊張激動導(dǎo)致的心跳加速等現(xiàn)象,也會出現(xiàn)在盲人身上。為導(dǎo)盲機器人設(shè)計人機交互方式時,不僅可以利用盲人的感官,還可以考慮盲人的體溫、心率、腦電和肌電信號等生理數(shù)據(jù),根據(jù)盲人的身體狀況實時更換合理的導(dǎo)航模式。通過多模態(tài)人機交互提升機器人的“情緒智力”,可以使導(dǎo)盲機器人系統(tǒng)更人性化和智能化。
導(dǎo)盲機器人在城市中充分普及后,大量多種類、不同結(jié)構(gòu)的導(dǎo)盲機器人之間必須通過統(tǒng)一的協(xié)議進(jìn)行通信交互。在多機實時交互模式下,各導(dǎo)盲機器人在城市中工作時的位置和獲取的環(huán)境信息都可以直接分享。例如,當(dāng)任一個導(dǎo)盲機器人檢測到臨時出現(xiàn)的大型障礙物或交通堵塞的情況時,全城每一個導(dǎo)盲機器人都能夠根據(jù)共享的信息重新規(guī)劃路線,從而預(yù)防危險、及時繞路;當(dāng)某個導(dǎo)盲機器人出現(xiàn)故障或無法滿足用戶的需求,可以分享實時位置請求其他機器人幫助等。在多導(dǎo)盲機器人實時交互基礎(chǔ)上,可以快速構(gòu)建盲人的專屬城市地圖。
人工智能領(lǐng)域的多項技術(shù)也將應(yīng)用在導(dǎo)盲領(lǐng)域,例如,人臉識別技術(shù)用于識別用戶、快速解鎖機器人;表情、姿態(tài)識別技術(shù)用于判斷用戶的情緒和疲勞程度,調(diào)整移動速度;行為預(yù)測技術(shù)用于預(yù)判用戶行動,防止用戶因跟不上機器人速度引發(fā)摔倒事故;大數(shù)據(jù)分析技術(shù)用于處理機器人在導(dǎo)航過程中采集的大量用戶反饋信息,幫助科研人員了解大多數(shù)用戶的需求,從而進(jìn)一步優(yōu)化系統(tǒng),設(shè)計出更具有普適性的導(dǎo)盲系統(tǒng)等等。此外,高智能性的導(dǎo)盲機器人還需要掌握用戶特有的生活習(xí)慣、固定的出行規(guī)律、所在城市的天氣信息等,從而向盲人用戶提供個性化的服務(wù),成為全面的個人出行助手。
車聯(lián)網(wǎng)是物聯(lián)網(wǎng)技術(shù)應(yīng)用于智能交通領(lǐng)域的集中體現(xiàn),在未來的盲人友好城市中,導(dǎo)盲機器人也會是車聯(lián)網(wǎng)系統(tǒng)中的一員。如圖10所示,加入了導(dǎo)盲機器人的車聯(lián)網(wǎng)系統(tǒng)中需要考慮到導(dǎo)盲機器人相互之間、導(dǎo)盲機器人與車之間、導(dǎo)盲機器人與建筑物之間、導(dǎo)盲機器人與基礎(chǔ)設(shè)施之間的信息交換,以及導(dǎo)盲機器人與行人、用戶之間的交互。隨著車聯(lián)網(wǎng)內(nèi)部成員的豐富化,整個系統(tǒng)模型的復(fù)雜程度大大增加,對各成員之間通訊和信息傳輸過程的連續(xù)性和可靠性要求也會提高。正在迅速發(fā)展的第五代移動通信技術(shù)(5G)和基于云計算技術(shù)建立的一體化時空信息云平臺將為構(gòu)建高度協(xié)同的、包含導(dǎo)盲機器人的智能車聯(lián)網(wǎng)系統(tǒng)提供強有力的技術(shù)保障。
圖10 協(xié)同、共融的城市導(dǎo)盲系統(tǒng)
導(dǎo)盲機器人采集的大量數(shù)據(jù)通過5G技術(shù)傳送到云平臺進(jìn)行統(tǒng)一的存儲和處理工作后,云平臺再將結(jié)合了車聯(lián)網(wǎng)其他成員的導(dǎo)航指示信息傳輸給機器人,大大緩解了單一導(dǎo)盲機器人有限的計算和存儲能力難以負(fù)擔(dān)的大量計算需求和低時延通信的壓力。但單憑借云平臺的集中式大數(shù)據(jù)處理技術(shù)并不能高效處理車聯(lián)網(wǎng)邊緣設(shè)備所產(chǎn)生的數(shù)據(jù),需要通過邊緣計算在靠近物或數(shù)據(jù)源頭的一側(cè)提供端服務(wù)。對于導(dǎo)盲機器人來說,采用邊緣計算預(yù)先完成攝像頭采集的深度點云信息的處理、用戶語音輸入信息中有效內(nèi)容的提取、機器人周身障礙物的定位、紅路燈信號的讀取等操作后,再將處理后的數(shù)據(jù)傳送到云端進(jìn)行綜合計算的方式可以顯著減少延遲、提高響應(yīng)時間,從而節(jié)省時間和成本,提高安全性。與純粹的云端解決方案相比,采用包含邊緣計算的混合方案是促進(jìn)車聯(lián)網(wǎng)發(fā)展,構(gòu)建協(xié)同、共融的導(dǎo)盲系統(tǒng)的必然趨勢。
目前大多數(shù)導(dǎo)盲機器人均處于原型研發(fā)階段,尚未對視力障礙者進(jìn)行長時間的跟蹤實驗。但隨著科研人員的努力,導(dǎo)盲機器人正朝著集成化、智能化、人性化的方向快速發(fā)展。長遠(yuǎn)來看,構(gòu)建零歧視、無障礙的盲人友好城市,不僅要求導(dǎo)盲機器人具備完善的環(huán)境感知功能、實現(xiàn)精準(zhǔn)定位與高效導(dǎo)航、采用智能貼心的人機交互方案,更離不開服務(wù)人員對導(dǎo)盲系統(tǒng)長期有效的維護(hù)。同時,導(dǎo)盲機器人將進(jìn)一步優(yōu)化本體結(jié)構(gòu),以提升運動水平、環(huán)境適應(yīng)能力;還需要結(jié)合人工智能、高速移動通信、云平臺及邊緣計算等技術(shù),提升導(dǎo)盲機器人的人機交互水平、應(yīng)急處理能力、自學(xué)習(xí)功能,提供云端豐富的后臺服務(wù),構(gòu)建協(xié)同共融的生態(tài)系統(tǒng),從而提升導(dǎo)盲機器人的整體服務(wù)能力,使導(dǎo)盲機器人更好地服務(wù)于視力障礙者,更好地服務(wù)于社會。