基于鏡路協(xié)同技術(shù)的信號(hào)燈智能識(shí)別盲人眼鏡設(shè)計(jì)

張廣昊 朱炳禎 費(fèi)靖凱

摘? 要：文章基于互聯(lián)網(wǎng)和云端技術(shù)提出一種全新的鏡路協(xié)同（Mirror Path Collaboration， MPC）技術(shù)，用以智能識(shí)別信號(hào)燈狀態(tài)，進(jìn)而設(shè)計(jì)一款集信號(hào)燈識(shí)別、道路障礙檢測(cè)、語(yǔ)音提醒等功能于一體的智能盲人眼鏡。采用YOLOv4算法使眼鏡中的顏色傳感器實(shí)時(shí)監(jiān)測(cè)信號(hào)燈的燈態(tài)，借助無(wú)線通信模塊將所有數(shù)據(jù)上傳云端，經(jīng)主控模塊處理后篩選出有價(jià)值的信息，通過眼鏡中的語(yǔ)音模塊反饋給盲人使用者，最終達(dá)到幫助盲人準(zhǔn)確判斷和了解信號(hào)燈信息的目的。

關(guān)鍵詞：鏡路協(xié)同；YOLOv4；信號(hào)燈識(shí)別

中圖分類號(hào)：TP39； TP183? 文獻(xiàn)標(biāo)識(shí)碼：A? 文章編號(hào)：2096-4706（2023）15-0174-05

Design of Blind Glasses for Intelligent Recognition of Signal Lights Based on Mirror Path Collaboration Technology

ZHANG Guanghao， ZHU Bingzhen， FEI Jingkai

（Shandong Huayu University of Technology， Dezhou? 253034， China）

Abstract： This paper proposes a new Mirror Path Collaboration （MPC） technology based on Internet and cloud technology to intelligently recognize the status of signal lights， and then designs an intelligent blind glasses that integrates functions such as signal light recognition， road obstacle detection， and voice reminder. The YOLOv4 algorithm is used to enable color sensors in glasses to monitor the light status of signal lights in real-time. With the help of wireless communication modules， all data is uploaded to the cloud， after being processed by the main control module， valuable information is filtered out. Through the voice module in the glasses， feedback is given to blind users， ultimately achieving the goal of helping blind people accurately judge and understand signal light information.

Keywords： Mirror Path Collaboration; YOLOv4; signal light recognition

0? 引? 言

在傳統(tǒng)的盲人輔助設(shè)備中，盲人眼鏡主要用于美化盲人因自身疾病或各種意外情況而導(dǎo)致失明的雙眼，產(chǎn)品功能過于單一。盲人出行只能通過陪同的親屬或手中的盲杖對(duì)前方信息進(jìn)行簡(jiǎn)單粗略的判斷，盲人在面對(duì)信號(hào)燈時(shí)更是毫無(wú)辦法，這無(wú)疑增大了盲人出行的風(fēng)險(xiǎn)。加之國(guó)內(nèi)盲道被占用的情況屢見不鮮，為盲人的出行提出了更為嚴(yán)峻的考驗(yàn)。如何運(yùn)用科技手段幫助盲人群體安全地通過信號(hào)燈路口是一個(gè)亟待解決的社會(huì)問題。

隨著助盲技術(shù)的日趨完善與快速發(fā)展，智能盲人輔助設(shè)備逐漸進(jìn)入大眾視野，這在一定程度上解決了盲人出行所遇到的個(gè)別問題，提高了盲人出行的安全性。但是絕大多數(shù)設(shè)備僅僅局限在對(duì)前方道路障礙物的識(shí)別上，國(guó)內(nèi)外目前還沒有一款可以幫助盲人準(zhǔn)確識(shí)別信號(hào)燈信息的輔助設(shè)備。

據(jù)統(tǒng)計(jì)，我國(guó)大約有1 700萬(wàn)視障群體，其中盲人數(shù)量更是超過800萬(wàn)，而國(guó)內(nèi)導(dǎo)盲犬的數(shù)量卻只有200只左右，導(dǎo)盲犬的普及率僅有0.001%。據(jù)權(quán)威機(jī)構(gòu)分析，從我國(guó)的盲人基數(shù)來看，最少需要有17萬(wàn)只服役的導(dǎo)盲犬才能滿足需求，而培養(yǎng)一只導(dǎo)盲犬的成本在15萬(wàn)～20萬(wàn)，對(duì)于大多數(shù)盲人來說認(rèn)養(yǎng)一只導(dǎo)盲犬并不現(xiàn)實(shí)。

本項(xiàng)目中搭載“鏡路協(xié)同”技術(shù)的智能盲人眼鏡旨在幫助盲人群體快速、準(zhǔn)確地識(shí)別信號(hào)燈信息，聯(lián)合大數(shù)據(jù)對(duì)其燈色、時(shí)長(zhǎng)、倒計(jì)時(shí)做出準(zhǔn)確判斷，智能提醒盲人是否可以通過前方路口?？稍谝欢ǔ潭葘?shí)現(xiàn)低成本、高效率的盲人出行，同時(shí)運(yùn)用高能量密度的電池并借助工程技術(shù)提升設(shè)備的續(xù)航能力。

1? 國(guó)內(nèi)外發(fā)展現(xiàn)狀

1.1? 國(guó)內(nèi)發(fā)展現(xiàn)狀

我國(guó)擁有數(shù)量龐大的盲人群體，人數(shù)超800萬(wàn)，占世界失明人數(shù)的20%，如圖1所示。我國(guó)視障、盲用輔具企業(yè)長(zhǎng)期以低科技、低成長(zhǎng)性企業(yè)為主。《殘疾人基本輔助器具指導(dǎo)目錄（2020版）》中所涉的視障人群助視器僅限于放大鏡、低視力眼鏡、電子助視器等，呈現(xiàn)出低技術(shù)附加值的特點(diǎn)。盲人群體能夠使用的智能產(chǎn)品更是極度稀缺，相關(guān)自主知識(shí)產(chǎn)權(quán)較少。

我國(guó)的盲人數(shù)量龐大，但國(guó)內(nèi)無(wú)障礙設(shè)施建設(shè)規(guī)范化不足，盲人幾乎無(wú)法獨(dú)立出行。隨著我國(guó)人民生活水平的不斷提高，盲人對(duì)優(yōu)質(zhì)生活的需求愈發(fā)強(qiáng)烈，進(jìn)而帶動(dòng)智能盲人輔助設(shè)備市場(chǎng)的發(fā)展。2020年，我國(guó)智能助視器市場(chǎng)規(guī)模約16.2億元，隨著智能助視器技術(shù)的逐漸成熟，預(yù)計(jì)到2025年市場(chǎng)規(guī)模將達(dá)到76.7億元。

在人口老齡化背景下，隨著盲人數(shù)量的增長(zhǎng)以及生活和醫(yī)療水平的提高，盲人群體對(duì)智能輔助設(shè)備的需求必將持續(xù)攀升，盲人智能輔助設(shè)備市場(chǎng)具有巨大的發(fā)展空間。

1.2? 國(guó)外發(fā)展現(xiàn)狀

國(guó)外對(duì)智能盲人輔助設(shè)備的研究早于國(guó)內(nèi)，掌握的技術(shù)也更為成熟，目前部分西方國(guó)家已經(jīng)實(shí)現(xiàn)了相應(yīng)產(chǎn)品的量產(chǎn)。

瑞士Eyra公司發(fā)明一款盲人用耳機(jī)Horus，當(dāng)前方有障礙物時(shí)，距離障礙物越近耳機(jī)發(fā)出的警報(bào)聲越大，可幫助盲人大致判斷障礙物的位置。日本為了解決盲人出行問題，在信號(hào)燈旁安裝“附音響裝置信號(hào)機(jī)”，通過發(fā)出的不同聲音讓盲人感知是否可以通行。美國(guó)斯坦福大學(xué)的一個(gè)科研團(tuán)隊(duì)研發(fā)一款智能輔助盲杖，可代替導(dǎo)盲犬進(jìn)行自動(dòng)導(dǎo)航，但受傳感器技術(shù)的限制，該款手杖既昂貴又沉重，并沒有得到很好的普及。以色列的OrCam公司研發(fā)一款名為OrCam MyEye的盲人輔助設(shè)備，采用了可區(qū)別文字結(jié)構(gòu)的光學(xué)字符識(shí)別系統(tǒng)，可解析視覺輸入元素，捕捉任何平面上涵蓋的印刷或數(shù)碼文字。但其并不是以“眼鏡”的方式使用，而是作為小型設(shè)備，通過磁鐵附著在用戶自己的眼鏡框上，更適合在閱讀報(bào)紙、菜單或書本的場(chǎng)景中使用。

盡管國(guó)外的研究在時(shí)間上更早且取得了較好的成果，但是截至目前還沒有一款設(shè)備能夠幫助盲人準(zhǔn)確地識(shí)別信號(hào)燈信息。

2? “鏡路協(xié)同”系統(tǒng)設(shè)計(jì)

鏡路協(xié)同系統(tǒng)（Mirror Road Collaboration System， MRCS）是基于傳感識(shí)別、無(wú)線通信、GPS定位等技術(shù)獲取盲人使用者信息和周圍環(huán)境信息，通過云端處理和計(jì)算使各項(xiàng)信息實(shí)現(xiàn)交互和共享，實(shí)現(xiàn)盲人使用者和基礎(chǔ)設(shè)施之間智能的協(xié)調(diào)與配合，達(dá)到準(zhǔn)確識(shí)別信號(hào)燈、障礙物的目的。

根據(jù)眼鏡的功能定位，設(shè)計(jì)如圖2所示的系統(tǒng)框架圖。由圖2可以看出，鏡路協(xié)同系統(tǒng)主要包含顏色傳感器（TCS34725）、GPS定位、語(yǔ)音模塊技術(shù)、無(wú)線通信等技術(shù)。其中，STM32單片機(jī)作為整個(gè)系統(tǒng)的核心控制器，通過與TCS32725模組、定位芯片、無(wú)線通信模塊、語(yǔ)音模塊以及外圍電路之間的配合，分別構(gòu)成信號(hào)燈檢測(cè)系統(tǒng)、GPS系統(tǒng)、無(wú)線通信系統(tǒng)和語(yǔ)音交互系統(tǒng)，以此實(shí)現(xiàn)識(shí)別信號(hào)燈主體功能的目的。同時(shí)還輔以其他模組，達(dá)到眼鏡全部功能的實(shí)現(xiàn)。

2.1? 系統(tǒng)組成

2.1.1? 主控模塊設(shè)計(jì)

當(dāng)前智能設(shè)備上的主控模塊主要有STC89C52、STM32、STC89C51等，其中STC89C52與STM32分別為8位單片機(jī)和32位單片機(jī)，使用keil MDK進(jìn)行編程，具有開發(fā)簡(jiǎn)單和價(jià)格低廉等特點(diǎn)。本項(xiàng)目采用STM32主控模塊，雖然市面上有很多芯片可供選擇，并且價(jià)格低廉，但是這些主控模塊可供用戶使用的I/O較少，而此次設(shè)計(jì)需要使用較多的I/O口，這些單片機(jī)都不能滿足需要，所以選擇如圖3所示的STM32作為此次設(shè)計(jì)的主控模塊。

2.1.2? 顏色傳感器設(shè)計(jì)

系統(tǒng)工作期間，位于眼鏡中框處的攝像頭需要隨時(shí)捕捉信號(hào)燈信息，借助顏色傳感器對(duì)信號(hào)燈顏色進(jìn)行判斷。本項(xiàng)目選擇TCS34725顏色識(shí)別傳感器，TCS34725是一款低成本、高性價(jià)比的RGB全彩色識(shí)別傳感器，傳感器通過光學(xué)感應(yīng)識(shí)別物體的顏色。支持紅、綠、藍(lán)（RGB）三基色，支持明光感應(yīng)，可以輸出對(duì)應(yīng)的具體數(shù)值，還原真實(shí)色彩。

顏色傳感器在系統(tǒng)整體設(shè)計(jì)中具有承上啟下的作用，需要完成復(fù)雜的傳感過程。為了提高精度，防止受周邊環(huán)境干擾，本設(shè)計(jì)特意在傳感器底部添加一塊紅外遮光片，最大限度減小入射光的紅外頻譜成分，讓顏色捕捉更加準(zhǔn)確。如圖4所示為顏色傳感器工作原理的簡(jiǎn)易流程圖。

2.1.3? 無(wú)線通信模塊設(shè)計(jì)

城市信號(hào)燈的燈態(tài)信息并不同步，每一個(gè)信號(hào)燈都有自己的時(shí)長(zhǎng)程序，如何準(zhǔn)確得知當(dāng)前所面對(duì)信號(hào)燈的燈態(tài)信息是鏡路協(xié)同技術(shù)的關(guān)鍵一環(huán)。應(yīng)用無(wú)線通信技術(shù)可實(shí)時(shí)獲取云端大數(shù)據(jù)平臺(tái)中各個(gè)信號(hào)燈的實(shí)時(shí)燈態(tài)信息，借助GPS模塊讓系統(tǒng)更加準(zhǔn)確地獲知當(dāng)前路口的信號(hào)燈狀態(tài)，通過主控模塊的處理使盲人使用者能夠準(zhǔn)確得知前方信號(hào)燈的燈態(tài)信息。

本項(xiàng)目中的無(wú)線通信模塊通過獲取大量信號(hào)燈運(yùn)行數(shù)據(jù)、交通系統(tǒng)數(shù)據(jù)，實(shí)現(xiàn)對(duì)“鏡路協(xié)同”系統(tǒng)的核心化管理，支撐互聯(lián)網(wǎng)基礎(chǔ)設(shè)施建設(shè)區(qū)域信號(hào)燈狀態(tài)實(shí)時(shí)展現(xiàn)、信號(hào)燈狀態(tài)大數(shù)據(jù)分析等功能，實(shí)現(xiàn)智能化、互聯(lián)化、精細(xì)化的信號(hào)燈識(shí)別。

2.1.4? GPS系統(tǒng)設(shè)計(jì)

該系統(tǒng)主要由GPS模塊、STM32主控模塊、語(yǔ)音模塊組成。其中GPS模塊采用AT6558R芯片，AT6558R是一款高性能BDS/GNSS多模衛(wèi)星導(dǎo)航接收機(jī)SOC單芯片，支持多種衛(wèi)星導(dǎo)航系統(tǒng)（包括中國(guó)的北斗衛(wèi)星導(dǎo)航系統(tǒng)BDS、美國(guó)的GPS、俄羅斯的GLONASS），并實(shí)現(xiàn)多系統(tǒng)聯(lián)合定位。通過GPS模塊獲取信號(hào)燈物理信息，經(jīng)AT6558R芯片處理為數(shù)字信號(hào)后再由STM32主控模塊進(jìn)行處理，最終由語(yǔ)音模塊通過語(yǔ)音播報(bào)的方式將信息反饋給盲人使用者，使盲人使用者能夠準(zhǔn)確得知前方信號(hào)燈信息。GPS系統(tǒng)流程圖如圖5所示。

2.1.5? 語(yǔ)音模塊設(shè)計(jì)

本設(shè)計(jì)中語(yǔ)音模塊采用WTK6900H-24SS作為本地語(yǔ)音辨別芯片，具有成本低、可靠性高、通用性強(qiáng)的特點(diǎn)，可實(shí)現(xiàn)更高的喚醒識(shí)別率、更強(qiáng)的抗噪性能、更低的延遲。通過STM32主控模塊和GPS模塊的處理，系統(tǒng)可以清楚獲知盲人使用者的行進(jìn)速度與信號(hào)燈燈態(tài)信息之間的關(guān)系，通過計(jì)算提出合理的建議并由語(yǔ)音模塊及時(shí)反饋給盲人使用者，使其能夠做出合理的判斷。

2.1.6? 電池設(shè)計(jì)

當(dāng)前，智能盲人輔助設(shè)備的續(xù)航時(shí)間普遍較低，難以滿足盲人長(zhǎng)時(shí)間出行的待機(jī)時(shí)長(zhǎng)需要。若要提高設(shè)備的續(xù)航時(shí)間，需要提高電池容量和電池能量密度。顯然，要想在“寸土寸金”的鏡框內(nèi)提高電池容量并不現(xiàn)實(shí)，工程化技術(shù)是一種在不改變鋰離子電池的材料和化學(xué)體系的情況下提高其能量密度的一種技術(shù)，主要以影響電池能量密度的各因素為切入點(diǎn)，通過改變電池的整體尺寸、集流體和隔膜的厚度、電解液注液量、N/P占比及涂層厚度等，顯著影響鋰離子電池的能量密度。為此，本項(xiàng)目運(yùn)用工程技術(shù)，采用一塊高能量密度鋰電池來提高設(shè)備的整體續(xù)航時(shí)間，使盲人出行不再伴有電量耗盡的焦慮。

2.2? YOLOv4算法

如何保證顏色傳感器識(shí)別到的顏色信息是來自信號(hào)燈而不是來自其他干擾因素，是“鏡路協(xié)同”技術(shù)的關(guān)鍵一環(huán)，也是檢驗(yàn)這項(xiàng)技術(shù)是否成功的最重要因素。本項(xiàng)目采用改進(jìn)后的YOLOv4算法，實(shí)現(xiàn)準(zhǔn)確識(shí)別信號(hào)燈及其倒計(jì)時(shí)數(shù)字的目的。

YOLOv4是Alexey Bochkovskiy等人提出的目標(biāo)檢測(cè)算法，YOLOv4在YOLOv3的基礎(chǔ)上進(jìn)行了特征提取網(wǎng)絡(luò)、激活函數(shù)、特征金字塔、網(wǎng)絡(luò)訓(xùn)練等方面的改進(jìn)，在保證準(zhǔn)確率的同時(shí)也降低了計(jì)算量。該算法被廣泛應(yīng)用于無(wú)人駕駛領(lǐng)域，在交通信號(hào)燈的檢測(cè)方面有著良好的效果，但傳統(tǒng)的YOLOv4算法對(duì)于倒計(jì)時(shí)這類小目標(biāo)的檢測(cè)效果較差，因此還需要對(duì)YOLOv4算法進(jìn)行改進(jìn)以達(dá)到對(duì)信號(hào)燈倒計(jì)時(shí)的識(shí)別。

3? “鏡路協(xié)同”技術(shù)流程

“鏡路協(xié)同”技術(shù)的基礎(chǔ)架構(gòu)主要包含主控系統(tǒng)、信號(hào)燈檢測(cè)系統(tǒng)、GPS系統(tǒng)、無(wú)線通信系統(tǒng)和語(yǔ)音交互系統(tǒng)，在改進(jìn)后YOLOv4算法的加持下，各分系統(tǒng)協(xié)調(diào)配合，使搭載該項(xiàng)技術(shù)的智能盲人眼鏡能夠完成對(duì)信號(hào)燈信息的識(shí)別，助力于盲人群體出行。其具體技術(shù)流程如圖6所示。

4? 實(shí)驗(yàn)測(cè)試

針對(duì)YOLOv4算法對(duì)小目標(biāo)檢測(cè)效果較差的問題，通過對(duì)YOLOv4主干網(wǎng)絡(luò)進(jìn)行改進(jìn)，將其中的CSPDarkNet53網(wǎng)絡(luò)替換為CSPResNet50vd網(wǎng)絡(luò)，并將stage4中的3×3標(biāo)準(zhǔn)卷積替換為可變形卷積（DCN）。經(jīng)實(shí)驗(yàn)可知，改進(jìn)后模型的平均精度（mean Average Precision， mAP）達(dá)到79.37%，超過YOLOv4，且其檢測(cè)速度相比YOLOv4快4.11 ms，實(shí)驗(yàn)結(jié)果如表1所示。

改進(jìn)后YOLOv4算法在置信度為0.5時(shí)三類信號(hào)燈燈態(tài)的mAP如圖7所示。

捕捉識(shí)別的特征圖輸出后進(jìn)入后續(xù)的檢測(cè)模塊操作，通過改進(jìn)后的YOLOv4算法得到如圖8所示的檢測(cè)效果圖。

可變形卷積可以提高模型對(duì)形變目標(biāo)的建模能力，可集中于人們感興趣的區(qū)域或目標(biāo)。即在卷積核中每個(gè)采樣點(diǎn)的位置都增加了偏移量，可以實(shí)現(xiàn)在當(dāng)前位置附近（而不是局限于常規(guī)卷積的規(guī)則采樣點(diǎn)）隨意采樣。當(dāng)盲人使用者行至信號(hào)燈較多的路口時(shí)，可變形卷積可以同時(shí)對(duì)多個(gè)信號(hào)燈進(jìn)行觀測(cè)，這對(duì)保證盲人順利通過復(fù)雜路段有著十分重要的作用。其與常規(guī)卷積的對(duì)比如圖9所示。

通過以上圖表可知，在改進(jìn)YOLOv4算法的加持下設(shè)備整體可識(shí)別范圍更廣，識(shí)別精度更高，能夠滿足設(shè)備準(zhǔn)確識(shí)別信號(hào)燈燈態(tài)的需求，達(dá)到保證盲人使用者安全出行的目的。

5? 結(jié)? 論

科學(xué)技術(shù)的進(jìn)步極大地促進(jìn)了世界的發(fā)展，許多新興的技術(shù)也在各個(gè)領(lǐng)域?qū)崿F(xiàn)跨界融合。本項(xiàng)目將“鏡路協(xié)同”技術(shù)應(yīng)用于盲人眼鏡，實(shí)現(xiàn)了科技與生活的完美交互。顧名思義，“鏡路協(xié)同”就是眼鏡和道路信息相互協(xié)調(diào)，同頻同步。這項(xiàng)技術(shù)旨在幫助盲人群體快捷、準(zhǔn)確地識(shí)別前方路口信號(hào)燈的燈態(tài)信息，聯(lián)合大數(shù)據(jù)對(duì)其燈色、時(shí)長(zhǎng)、倒計(jì)時(shí)做出準(zhǔn)確判斷，幫助盲人群體安全通過信號(hào)燈路口。本項(xiàng)目使盲人眼鏡功能過于單一的現(xiàn)狀得以改善，提高盲人群體出行的安全性、可靠性，降低盲人出行的風(fēng)險(xiǎn)，保障這一社會(huì)特殊群體的切身利益，促進(jìn)社會(huì)和諧、穩(wěn)定地發(fā)展。

參考文獻(xiàn)：

[1] 吳倩倩，余正發(fā)，歐元博.智能眼鏡設(shè)計(jì) [J].電子制作，2022，30（15）：80-82.

[2] 顏玲，倪杰，王岳，等.智能眼鏡設(shè)計(jì) [J].福建電腦，2021，37（3）：77-79.

[3] 謝亮.嵌入式系統(tǒng)低功耗設(shè)計(jì) [D].上海：上海交通大學(xué)，2011.

[4] 鄭德立.高能量密度鋰離子電池結(jié)構(gòu)工程化技術(shù)研究 [J].石油石化物資采購(gòu)，2022（23）：177-179.

[5] 金紹晨.車路協(xié)同技術(shù)在城市交通中的應(yīng)用研究 [J].城市道橋與防洪，2022，279（7）：160-163+172+21-22.

[6] 劉洋，姜濤，段學(xué)鵬.基于YOLOv3的復(fù)雜天氣條件下人車識(shí)別方法的研究 [J].長(zhǎng)春理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2020，43（6）：57-65.

[7] 周昆陽(yáng)，鄭澤斌，向陽(yáng)，等.基于改進(jìn)YOLOv4的交通信號(hào)燈倒計(jì)時(shí)數(shù)字檢測(cè)與識(shí)別 [J].電腦知識(shí)與技術(shù)：學(xué)術(shù)版，2022，18（4）：7-9+21.

[8] 曹梓銘.基于YOLOv4的多場(chǎng)景小目標(biāo)檢測(cè) [D].南京：南京郵電大學(xué)，2022.

[9] 黃鳳琪，陳明，馮國(guó)富.基于可變形卷積的改進(jìn)YOLO目標(biāo)檢測(cè)算法 [J].計(jì)算機(jī)工程，2021，47（10）：269-275+282.