基于YOLO 目標(biāo)檢測算法的多功能防疫巡邏機器人的設(shè)計與實現(xiàn)

徐志鵬，江文程，黃鑫泰，潘越，伍勇強，趙黎明

（1.廣東海洋大學(xué)，廣東湛江，524088；2.嶺南師范學(xué)院，廣東湛江，524048）

0 引言

自2020 年以來，疫情席卷全球后各國狀況嚴(yán)峻。疫情期間，醫(yī)療設(shè)施供應(yīng)緊張，一方面工作人員任務(wù)多壓力大，另一方面消耗成本高，存在交叉感染風(fēng)險。國內(nèi)也有不少關(guān)于防疫機器人的研究，中山大學(xué)附屬醫(yī)院研究員開發(fā)的智能消毒機器人通過解析各種傳感器收集的數(shù)據(jù)，使用自助導(dǎo)航SLAM 算法，而操作人員利用平板對機器人發(fā)送指令，使機器人按照既定模式完成消毒任務(wù)。本項目所研發(fā)的機器人能夠減少防疫人員的工作負(fù)擔(dān)，承擔(dān)起測量體溫、檢測人員是否正確佩戴口罩、對日常場所進(jìn)行防疫消毒等工作，利用人工智能代替人工，相較人工，機器人更能減少勞動、時間成本并且提高工作效率，提升工作質(zhì)量；同時人工智能可以大幅度減輕工作人員負(fù)擔(dān)，避免了人與人之間的交叉感染，減少醫(yī)療物質(zhì)成本，促進(jìn)防疫工作的智能化發(fā)展。

1 多功能防疫巡邏機器人的總體設(shè)計方案

1.1 機器人功能描述

本研究設(shè)計的多功能防疫巡邏機器人主要應(yīng)用于教育醫(yī)療、食品加工、醫(yī)藥生產(chǎn)、公共服務(wù)等領(lǐng)域，應(yīng)用場所主要包括車站、高鐵站、飛機場等人員密集場所；博物館、美術(shù)館、科技園區(qū)等開放式展廳或區(qū)域；大型醫(yī)院、學(xué)校、體育館等教育醫(yī)療場所。

多功能防疫巡邏機器人通過識別與檢測防疫場所中人員的體溫、健康碼顏色、口罩佩戴情況，對在場所內(nèi)有可能出現(xiàn)的疫情防控情形進(jìn)行自動化管控，并將所搜集的信息通過云端服務(wù)器實時反饋到管理員后臺，生成疫情防控日志，極大程度上減少了防疫工作人員的工作量，提高了疫情防控的效率與質(zhì)量。

本機器人可在防疫巡邏進(jìn)行的同時對防疫場所進(jìn)行病毒消殺工作。機器人配置了一個物資存儲艙口，可實現(xiàn)抗疫物資的無接觸運送，減少因接觸而引起的疫情感染風(fēng)險。

1.2 總體設(shè)計方案

多功能防疫巡邏機器人以STM32 系列單片機作為主控單元，以樹莓派搭載神經(jīng)計算棒作為信息處理單元，配置電機驅(qū)動模塊、消毒液噴灑模塊、語音識別與播放模塊、紫外線燈消毒模塊、熱紅外體溫檢測模塊、健康碼識別模塊、口罩佩戴檢測模塊、視覺slam 導(dǎo)航模塊、視覺圖像處理模塊等功能模塊，以實現(xiàn)上面1.1 所描述的具體功能。同時多功能防疫巡邏機器人運行所搜集或產(chǎn)生的數(shù)據(jù)將會由物聯(lián)網(wǎng)模塊傳輸?shù)皆贫朔?wù)器，并可通過Android 端控制APP 對機器人進(jìn)行實時的監(jiān)看與控制。

圖1 機器人總體設(shè)計方案框架圖

多功能防疫巡邏機器人具有四種工作模式，分別是站崗模式、巡邏模式、消毒模式和充電模式。站崗模式下，機器人會固定工作在某一個崗位上，進(jìn)行辨別健康碼的顏色、識別人群是否佩戴口罩、監(jiān)測人體體溫，同時能夠通過語音模塊對體溫異常、未正確佩戴口罩、出示健康碼等進(jìn)行提示；巡邏模式下，機器人會實時監(jiān)控防疫場所內(nèi)的人群口罩佩戴情況，并對沒有佩戴口罩或者口罩佩戴不規(guī)范的人進(jìn)行語音提醒，巡邏過程中會在自主學(xué)習(xí)并建造增量式地圖，不斷學(xué)習(xí)完善地圖，確立最優(yōu)巡邏路徑；消毒模式下，機器人能按照消毒路徑對的防疫場所進(jìn)行紫外線消毒和消毒水消毒；當(dāng)機器人的電量降到一定的閾值，此時機器人自動啟動充電模式，自主導(dǎo)航回到機器人無線充電樁中進(jìn)行充電，也可人為設(shè)置規(guī)定機器人的每天的充電時間，確保機器人不會在工作狀態(tài)下電量不足影響工作。

機器人會在站崗、巡邏、消毒三個模式之下收集防疫情況的相關(guān)數(shù)據(jù)，并上傳到云端后臺給予相關(guān)統(tǒng)計。

2 主控單元主要模塊的設(shè)計

2.1 電機驅(qū)動模塊設(shè)計

機器人的電機驅(qū)動模塊采用STM32 系列單片機作為主控芯片，使用性能比常規(guī)L298N 驅(qū)動更好的TB6612FNG雙路直流電動機驅(qū)動模塊，搭載霍爾編碼器的直流電機，以達(dá)到機器人的速度控制和基本運動需求。

如圖2 所示，TB6612FNG 電機驅(qū)動[1]的PWMA/PWMB接單片機的pwm 輸出引腳,通過單片機調(diào)節(jié)占空比即可調(diào)節(jié)脈沖寬度，脈沖寬度決定了輸出電壓的平均值，進(jìn)而控制電機的轉(zhuǎn)速；AIN1、AIN2，BIN1、BIN2 接單片機的I/O 口控制電機的正反轉(zhuǎn)；AO1、AO2；BO1、BO2 分別接電機線+和電機線-；E1A、E1B；E2A、E2B 分別接兩個霍爾編碼器的A 相和B 相，用于測量機器人的運動速度。

圖2 TB6612FNG 電機驅(qū)動示意圖

圖3 紫外線消毒模式示意圖

圖4 體溫檢測模塊的屏幕顯示畫面圖

速度控制所運用的算法有PID 算法。機器人通過霍爾編碼器獲取當(dāng)前速度信息并傳入STM32 單片機中進(jìn)行PID閉環(huán)控制，通過調(diào)節(jié)Kp、Ki、Kd三個系數(shù)，消除外界不穩(wěn)定的干擾以獲得最佳的預(yù)期速度控制效果。PID 算法的公式如下：

其中e(t)為誤差值，Kp、Ki、Kd分別為比例系數(shù)、積分系數(shù)、微分系數(shù)，U(t)為預(yù)期值。

2.2 紫外線燈、消毒液噴灑模塊設(shè)計

紫外線燈可以發(fā)出253.7nm 和185nm 兩種波長的光線[2]。波長為253.7nm 的紫外線可以破壞病毒、病菌等的遺傳物質(zhì)（DNA 或RNA）使其死亡，并具有分解臭氧功能；波長為185nm 的紫外線可以和空氣中的氧氣反應(yīng)，產(chǎn)生能夠殺菌功能的臭氧。兩種波長的紫外線都具有很好的消殺病毒與細(xì)菌的能力。

利用紫外線燈進(jìn)行消毒具有殺菌速度快、高效無污染、可持續(xù)消毒殺菌等特點。但缺點也是很明顯的，紫外線燈消毒必須確保人或者其他動物不能在場且紫外線燈照不到的地方無法進(jìn)行消毒。

對于解決上述的缺點，本機器人采用紫外線燈、消毒液雙重消毒模式。當(dāng)防疫場所有人活動的時候采用噴灑消毒液的消毒模式，當(dāng)防疫場所處于暫時關(guān)閉狀態(tài)或者夜晚無人的時候采用紫外線燈消毒模式。

3 數(shù)據(jù)處理單元的模塊設(shè)計

3.1 體溫檢測模塊設(shè)計

發(fā)燒是新冠肺炎患者常見的癥狀之一，體現(xiàn)于身體體溫高于正常水平37.3℃，實時檢測人員密集、人流量大的防疫場所中的人體體溫，可及時、迅速發(fā)現(xiàn)新冠肺炎病毒的潛伏者或感染者，對于抑制疫情傳播、保障人民健康有重要意義。

傳統(tǒng)的體溫檢測方法分為接觸式與非接觸式，而新冠病毒可通過接觸傳播，采用接觸式的體溫檢測具有極大的傳染隱患。

本機器人搭載了熱紅外攝像頭作為檢測元件，采用非接觸式體溫檢測的方法，通過熱紅外攝像頭獲取人的體溫等基本信息經(jīng)過信息處理后將實時畫面、體溫檢測處理后畫面、體溫等信息顯示在屏幕上。

熱紅外體溫檢測的原理[3]如下：受熱時，人體內(nèi)分子與原子的熱運動會隨溫度升高而加劇，并會向外輻射出一定波長的電磁波（即熱輻射）。熱輻射與物體本身的溫度存在比例關(guān)系，通過熱紅外攝像頭可采集波長在0.76～100μm之間的紅外熱輻射信號，經(jīng)過計算既可獲得目標(biāo)體溫，收集的信號通過采集、放大并進(jìn)行圖像處理后形成紅外熱成像并與體溫等信息一并展現(xiàn)在顯示屏幕中。

3.2 機器視覺部分模塊設(shè)計

本機器人的機器視覺部分包括深度實感攝像頭，深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)，部署在樹莓派上進(jìn)行口罩識別、健康碼顏色識別等目標(biāo)檢測。與EfficientDet 算法相比，YOLOv5 算法在推理速度快于前者的前提下還能保證較高的AP 值，故本機器人選擇YOLOv5 算法進(jìn)行目標(biāo)檢測。YOLOv5 網(wǎng)絡(luò)在網(wǎng)絡(luò)輸入端采用了Mosaic 數(shù)據(jù)增強、自適應(yīng)錨框計算與自適應(yīng)圖像縮放等操作，有效提高了模型的檢測效果和推理速度[4]。

對于算法的簡介如下：

輸入端：Mosaic 數(shù)據(jù)增強其思路就是將四張圖片進(jìn)行隨機裁剪，再拼接到一張圖上作為訓(xùn)練數(shù)據(jù)，此操作極大豐富了圖片的背景，并且四張圖片拼接在一起提高了batch_size，在進(jìn)行batch normalization 操作的時候可以更好統(tǒng)計均值與方差[5]。通過Mosaic 數(shù)據(jù)增強能提高模型對小目標(biāo)的檢測；自適應(yīng)錨框計算這一操作是在訓(xùn)練模型時利用真實錨框相對于預(yù)設(shè)錨框的偏移創(chuàng)建多個不同形狀大小的自適應(yīng)錨框；大量實驗結(jié)果證明，輸入網(wǎng)絡(luò)的尺寸統(tǒng)一縮放到同一個尺寸時，檢測效果會更好。但在目標(biāo)檢測中，輸入的圖片尺寸有大有小，如果只是簡單地使用resize 操作會造成特征信息丟失的后果，而自適應(yīng)圖像縮放可以保持圖片的長寬比例，剩下的部分采用黑色填充，對原始圖像自適應(yīng)的添加最少的黑邊。圖像高度上兩端的黑邊變少了，在推理時，計算量也會減少，即目標(biāo)檢測速度會得到提升。

Backbone：主干提取特征網(wǎng)絡(luò)CSPDarknet 結(jié)合了殘差網(wǎng)絡(luò)Residual、CSPnet 網(wǎng)絡(luò)結(jié)構(gòu)、SPP 結(jié)構(gòu)、Focus 網(wǎng)絡(luò)結(jié)構(gòu)。殘差網(wǎng)絡(luò)Residual 能通過增加相當(dāng)?shù)纳疃葋硖岣邷?zhǔn)確率。其內(nèi)部的殘差塊使用了跳躍連接，緩解了在深度神經(jīng)網(wǎng)絡(luò)中增加深度帶來的梯度消失問題。CSPnet 結(jié)構(gòu)分為主次兩部分，主干部分繼續(xù)進(jìn)行原來的殘差塊的堆疊；另一部分則如同一個殘差邊，經(jīng)過少量處理直接連接到最后。因此可以認(rèn)為CSP 中有一個大的殘差邊。SPP 結(jié)構(gòu)通過不同池化核大小的最大池化進(jìn)行特征提取，實現(xiàn)了不同尺度特征的融合。Focus 網(wǎng)絡(luò)結(jié)構(gòu)具體操作是在一張圖片中每隔一個像素拿到一個值，這個時候獲得了四個獨立的特征層，然后將四個獨立的特征層進(jìn)行堆疊，此時寬高信息就集中到了通道信息，輸入通道擴(kuò)充了四倍。

Neck：FPN 結(jié)構(gòu)同時實現(xiàn)了自上而下與自下而上的特征采樣與特征融合，分別將卷積網(wǎng)絡(luò)中深層網(wǎng)絡(luò)的語義特征和淺層網(wǎng)絡(luò)的圖像特征提取并融合，滿足了目標(biāo)檢測與圖像分類的需要[6]。

實驗環(huán)境：

配置 版本操作系統(tǒng) Windows10 CPU Inter? Xeon? Sliver 4100 GPU NVIDIA GeForce RTX 2080 Ti深度學(xué)習(xí)框架Cuda Pytroch 11.0

數(shù)據(jù)集：本文數(shù)據(jù)集中的圖片均來自網(wǎng)絡(luò)，訓(xùn)練集與驗證集按8：2 劃分，類別為佩戴口罩與未佩戴口罩兩種，運用labellmg 工具對數(shù)據(jù)集圖像進(jìn)行標(biāo)注。

進(jìn)行目標(biāo)檢測時，攝像頭采集的畫面輸入YOLOv5 網(wǎng)絡(luò)后，網(wǎng)絡(luò)進(jìn)行推理，并把結(jié)果輸出?？谡峙宕鳈z測效果如圖5 和圖6 所示。

圖5

圖6

圖7 基于Android 的手機端控制APP

4 物聯(lián)網(wǎng)模塊設(shè)計

本機器人采用物聯(lián)網(wǎng)模塊，將在防疫場所采集到的口罩佩戴情況、健康碼顏色情況、人的體溫情況、每日消毒完成情況等疫情防控信息上傳到云端服務(wù)器進(jìn)行存儲備份。并設(shè)計了一款基于Android 的手機端控制APP，實現(xiàn)對云端服務(wù)器的數(shù)據(jù)查詢以及通過物聯(lián)網(wǎng)模塊對小車進(jìn)行實時監(jiān)控與人為控制。

手機端控制APP 可以實時監(jiān)控防疫巡邏機器人攝像頭所采集回來的圖像，并將采集的數(shù)據(jù)保存到數(shù)據(jù)日志之中，方便管理員進(jìn)行遠(yuǎn)程的控制與操作。APP 上可對機器人四種模式站崗模式、巡邏模式、消毒模式、充電模式進(jìn)行自由的切換，也可在不同編號的機器人控制之間的匹配與切換。

為了應(yīng)對自動控制狀態(tài)下發(fā)生的突發(fā)狀況，在APP 上配置了遠(yuǎn)程控制機器人開關(guān)機的“開關(guān)”，當(dāng)突發(fā)緊急情況時可及時控制機器人停止工作，除此之外還可以利用APP上的手動搖桿人為控制小車進(jìn)行前后左右等方向的運動，增加了機器人突發(fā)狀況的處理能力以及容錯率。

5 結(jié)語

在防疫常態(tài)化下，針對人流密集的室內(nèi)防疫工作是不可或缺的，而人工防疫工作則會較為繁重。本文所設(shè)計的室內(nèi)防疫機器人，基于YOLOv5 目標(biāo)檢測算法進(jìn)行口罩識別，以STM32 作為主控芯片，利用PID 算法完成速度控制，同時搭載紫外線燈、熱紅外攝像頭、深度實感攝像頭以此達(dá)到消毒、測溫等功能，并且能夠通過手機APP 遠(yuǎn)程操控機器人實現(xiàn)功能轉(zhuǎn)換。該室內(nèi)防疫機器人的設(shè)計，能夠滿足常態(tài)化下的防疫工作，在完成防疫工作時，代替人工，為防疫工作人員減輕工作壓力從而減少防疫成本、節(jié)省人力，并且能夠更高效地完成工作，減少人與人之間的交流從而降低交叉感染的風(fēng)險，實現(xiàn)防疫工作日常、智能化。