基于深度學(xué)習(xí)的無人駕駛垃圾清掃車的設(shè)計和研究

甘恩碩 胡偉

摘 要：隨著新冠疫情肆虐全球，為了減少人員接觸和提高清掃效率，設(shè)計了一款基于深度學(xué)習(xí)的無人駕駛垃圾清掃車，項目采用NVIDIA jetson nano平臺，通過搭載的深感攝像頭以及激光雷達(dá)采集路面信息，使用PID控制算法控制車輛行進(jìn)方向和速度，利用仿真軟件對車輛進(jìn)行建模，確保能夠?qū)崿F(xiàn)較好的全局路徑規(guī)劃，進(jìn)而實現(xiàn)對垃圾清掃的無人化和高效化。

關(guān)鍵詞：人工智能;無人駕駛;圖像處理

當(dāng)前環(huán)境下疫情再次卷土重來，為了進(jìn)一步減少人與人的接觸，能在各類場景下殺菌消毒的無人駕駛消毒殺菌清掃車在國內(nèi)外的市場前景廣闊。以機器視覺和open-cv為基礎(chǔ)的無人駕駛深度學(xué)習(xí)算法，以北斗高精度導(dǎo)航為導(dǎo)航系統(tǒng)，以麥克納姆輪為底盤的全向移動駕駛平臺的垃圾清掃車，其具備環(huán)境感知能力，智能決策能力，節(jié)能環(huán)保等特點，可以實現(xiàn)在公共場合下的環(huán)境采集數(shù)據(jù)、圖像信息傳輸?shù)热粘Ｑ矙z工作，有效的減少人力勞動，提高工作效率[1]。為完善低速清掃車無人駕駛功能，通過理論分析設(shè)計了本研究方案，最后通過仿真道路測試驗證了無人清掃車行駛過程中安全可靠性[2]。

一、系統(tǒng)整體結(jié)構(gòu)

本系統(tǒng)是采用NVIDIA Jetson nano為無人駕駛車硬件，該平臺是將視覺計算、信息傳遞、圖像處理和模式識別技術(shù)結(jié)合在一起的綜合信息處理平臺。它將車載傳感器實時觀測到的各種路況信息經(jīng)過采集、處理并經(jīng)過準(zhǔn)確識別，快速給出實時準(zhǔn)確的路況報告，為車輛進(jìn)一步的安全行駛提供科學(xué)依據(jù)。車輛控制系統(tǒng)主要分三個部分：圖像信息采集部分、圖像處理與模式識別部分和行進(jìn)與方向控制部分。

二、系統(tǒng)設(shè)計

（一）總體設(shè)計

本項目是基于NVIDIA jetson nano 平臺作為無人車的核心進(jìn)行開發(fā)設(shè)計，配合深感攝像頭模塊，車輛電機驅(qū)動模塊，激光雷達(dá)模塊等構(gòu)成無人車的控制系統(tǒng)硬件，再搭配Ubuntu20.04系統(tǒng)實現(xiàn)無人駕駛和清掃等功能。麥克納姆輪可以實現(xiàn)全方位移動，搭配電機實現(xiàn)制動，停止，正向轉(zhuǎn)動，反向轉(zhuǎn)動等功能，以應(yīng)對車輛在復(fù)雜條件下的運動要求。

（二）圖像信息采集

道路圖像信息的采集依靠車載攝像頭傳感器完成，并將采集到的圖像信息傳遞給處理器進(jìn)行加工和圖像預(yù)處理。為了提高相關(guān)信息的可檢測性，對數(shù)字圖像信息進(jìn)行數(shù)據(jù)類型轉(zhuǎn)換，形狀變換，翻轉(zhuǎn)，高亮，歸一化，平滑和復(fù)原等操作，可最大限度地簡化數(shù)據(jù)，從而提高資源提取、圖像分割和圖像識別的可靠性。處理過程所用的高斯平滑核如圖2所示。

（三）圖像與模式識別整體設(shè)計

（1）識別車道線和汽車前置車道邊界。依靠圖像處理和深度學(xué)習(xí)技術(shù)，將每一幀的圖像進(jìn)行反向透視，確定車道線位置與走向，再利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）完成對車道線的特征提取和分類，最后將不同情況即遮擋，陰影，逆光，圖像質(zhì)量，路況，道路問題都不同的數(shù)據(jù)加入訓(xùn)練集進(jìn)行訓(xùn)練，保證車輛在不會越過邊界的前提下安全穩(wěn)定地行駛。

（2）識別交通標(biāo)志。依靠圖像處理和模式識別技術(shù)，將圖像信息轉(zhuǎn)化為數(shù)字信息與已知的交通標(biāo)識模式對照以辨別出具體交通標(biāo)志種類，確保車輛在無人駕駛過程中在不違反交通規(guī)則的前提下行駛或停止，SSD模型結(jié)構(gòu)用于在圖像的輸出平面處添加一個逐漸減少的折疊層以進(jìn)行多尺度預(yù)測。對于每個新添加的層，可以使用一組折疊核心進(jìn)行預(yù)測，以預(yù)測每個位置的相應(yīng)值。即相對其他box的偏移量，這里的box就是在特征圖中各處預(yù)測的若干個box，基本完成后再進(jìn)行訓(xùn)練和測試。

（3）進(jìn)行車輛和行人的檢測與跟蹤。運用圖像處理與模式識別技術(shù)，仍可以利用SSD架構(gòu)標(biāo)記出路上的車輛和行人并進(jìn)行實時的追蹤，以便在行駛中可及時地跟車或讓行，保證安全?？梢允褂肧SD卷積神經(jīng)網(wǎng)絡(luò)對box的概念進(jìn)行對象檢測，設(shè)置不同尺寸和比率的預(yù)定義框，然后對于每一個box，SSD卷積網(wǎng)絡(luò)可檢測該box內(nèi)是否存在物體，并計算物體邊界框和固定boxes之間的偏移量，最后再對偏移量使用損失函數(shù)最小化。

（四）車輛檢測方法

（1）幀間差分法（Temporal difference）

采用對相鄰的二或三幀信號差異實現(xiàn)，并進(jìn)行了場景變換測試，由于對動態(tài)場景有很強的適應(yīng)性，單檢測準(zhǔn)確率并不高，難以達(dá)到精確描述。

（2）背景減除法（Background subtraction）

應(yīng)用于攝像機的靜止情形時，其關(guān)鍵為背景模型，性能主要與監(jiān)測場景的復(fù)雜情形和系統(tǒng)特點相關(guān)，經(jīng)典算法主要有高值模型、自適應(yīng)模型、高斯模型、以及多模態(tài)的均值模型。

（3）光流法（Optical flow）

可用于攝像機運動情形，提取目標(biāo)完整信息（包括運動信息），計算復(fù)雜度高，抗噪性能差。在攝像機固定的情況下應(yīng)用較少。

（五）行進(jìn)與方向控制部分

預(yù)測和更新車輛位置，通過無損卡爾曼濾波器，在已測得實時車輛速度的條件下，預(yù)測下一幀圖像中車輛的位置并實時更新，保證車輛能夠平穩(wěn)地行駛或停止[3]。首先需要產(chǎn)生sigma點集并計算其均值，后寫出對估計狀態(tài)的不確定性即協(xié)方差矩陣，然后通過公式與矩陣變換預(yù)測sigma點集和其均值與方差，最后完整地按照卡爾曼濾波的更新步驟計算即可，完整流程如圖1。

三、算法實現(xiàn)

首先該算法是在GPU上運行，不采用粒子濾波框架，而使用卡爾曼濾波可及時獲得準(zhǔn)確特征。其次對整個Network，進(jìn)行大量訓(xùn)練，對于每個Branch網(wǎng)絡(luò)作訓(xùn)練mini-batch，選擇32個正樣本和96個負(fù)樣本。最后進(jìn)行跟蹤，對每個待跟蹤目標(biāo)建立一個FC6全連接層[4]。對于輸入每一幀圖像，在該目標(biāo)位置附近采樣256個Box 作為Candidates;所有Candidates 歸一化到 107*107尺寸，輸入到訓(xùn)練好的 MD-Net 網(wǎng)絡(luò)（shared + FC6-k）;網(wǎng)絡(luò)輸出是一個二維的向量（Box ID，目標(biāo)概率），最終目標(biāo)是概率值最高的Box;每隔一段時間，根據(jù)可行度高的正負(fù)樣本，進(jìn)行網(wǎng)絡(luò)更新。

四、gazebo仿真測試

通過gazebo仿真，對設(shè)計的車輛進(jìn)行建模，利用Gazebo強大的傳感器模型庫，包括camera，depth camera，laser，imu等機器人常用的傳感器，基于Gazebo真實的物理仿真引擎，添加重力，阻力，慣性等等，創(chuàng)建出一個符合設(shè)計的小車，通過上述的算法，對小車無人駕駛功能進(jìn)行測試，最終實現(xiàn)其路徑規(guī)劃避障等無人駕駛功能[5]。圖2所示為設(shè)計的小車模型。

五、結(jié)論

本文設(shè)計和研究的方法為無人駕駛清掃車提供了一種新的解決方案。適用于在疫情復(fù)雜情況下，在減少人員接觸的前提下，對環(huán)境進(jìn)行清掃，代替保潔人員完成清掃任務(wù)，在一定程度上降低疫情傳播風(fēng)險，提高了環(huán)境清掃的穩(wěn)定性、高效性和安全性。在現(xiàn)如今新冠肆虐的大環(huán)境下，具有很好的推廣和應(yīng)用價值。

參考文獻(xiàn)：

[1] 劉浩;鐘宙明;覃坤雪;陳永強;李猛;消毒防疫智能巡檢機器人的設(shè)計，電子制作，2020

[2] 朱忠攀;吳憲;李剛;施超;低速無人清掃車遠(yuǎn)程監(jiān)控系統(tǒng)架構(gòu)及控制模型[J]，機電一體化，2017

[3] 徐繼寧;曾杰;基于深度強化算法的機器人動態(tài)目標(biāo)點跟隨研究[J]，計算機科學(xué)，2019

[4] 馬靜;基于機器視覺的3C電子輔料泡棉背膠檢測系統(tǒng)設(shè)計與實現(xiàn)[J]，電子測試，2020

[5] 王彥臻;林彬;金松昌;武云龍;趙名揚;基于Gazebo和Docker的群體機器人仿真系統(tǒng)設(shè)計晏杰[J]，組合機床與自動化加工技術(shù)，2021