倉儲行業(yè)智能搬運(yùn)的難點(diǎn)與應(yīng)對方案

文 / 吳 偉

一、倉儲行業(yè)智能搬運(yùn)的難點(diǎn)

倉儲行業(yè)的智能搬運(yùn)場景中人機(jī)交互復(fù)雜，環(huán)境持續(xù)高頻變化，對場內(nèi)移動機(jī)器人（Autonomous Mobile Robot，AMR）的定位影響極大，尤其是在對接的場景，環(huán)境變化嚴(yán)重影響機(jī)器人感知能力，造成無法精確對齊等問題。使用單一導(dǎo)航定位技術(shù)的地面移動機(jī)器人，如磁條導(dǎo)航、二維碼導(dǎo)航等，無法應(yīng)對這些復(fù)雜的場景。倉儲行業(yè)需要有強(qiáng)大混合導(dǎo)航技術(shù)的移動機(jī)器人，提升感知和定位能力，從而保證在復(fù)雜多變的場景中穩(wěn)定運(yùn)行。

移動機(jī)器人上配置有包括激光雷達(dá)，視覺相機(jī)等多種傳感器，但在面臨以下幾種場景或者條件時，機(jī)器人定位、建圖及運(yùn)動控制等存在諸多難點(diǎn)。

1. 場景空曠

在倉庫、工廠等場景下，只有墻壁和頂梁柱等少數(shù)的固定目標(biāo)，大部分為空曠空間。在遠(yuǎn)距離探測時，激光雷達(dá)掃描點(diǎn)云會過于稀疏，或激光幀掃到地面，形成干擾數(shù)據(jù)。深度相機(jī)的有效探測距離一般在5米內(nèi)（遠(yuǎn)距離噪聲較大，難以使用），如果機(jī)器人在大部分行駛路徑的5米半徑范圍內(nèi)都缺少固定物體，也將不會有深度信息反饋。

相機(jī)雖然能獲取到足夠遠(yuǎn)的圖像信息，然而從遠(yuǎn)處的圖像中提取角點(diǎn)、線等視覺特征的難度會增加。不能僅依靠圖像中的像素得到深度信息，如果計算該點(diǎn)的距離，需要將相機(jī)移動再進(jìn)行一次觀察，并根據(jù)三角測量原理進(jìn)行計算。而該點(diǎn)的距離越遠(yuǎn)，三角測量的誤差就越大，導(dǎo)致定位誤差也會增加。

2. 動態(tài)性高,場景變化大

在倉儲和制造業(yè)場景中，物體的動態(tài)性較高。圖1可以看出左側(cè)都是紙箱，隨著任務(wù)不同，這些擺放的料箱都會發(fā)生巨大的位置變化。

圖1 動態(tài)性高的人機(jī)混合場景

圖2 重復(fù)性高的長走廊場景

圖3 自然光源與人造光源

圖4 場景對定位精度要求高

圖5 叉車和機(jī)器人統(tǒng)一調(diào)度

動態(tài)物體上的特征點(diǎn)會隨物體移動，無法給機(jī)器人定位提供有效的約束。同時也很難從背景中區(qū)分出所有動態(tài)的物體，將動態(tài)物體上的特征點(diǎn)全部剔除。如果建圖時將動態(tài)物體上的特征點(diǎn)加入地圖，定位時就會因?yàn)槠ヅ洳簧线@些已經(jīng)消失的特征點(diǎn)而失敗。

3. 場景內(nèi)人機(jī)混行

人員的移動存在較大的不確定性，極可能會突然出現(xiàn)在機(jī)器人的行駛路徑上。一旦出現(xiàn)漏檢，將給人帶來危險。為了能夠保障人員安全，需要實(shí)時檢測多個方向是否有人存在，甚至需要對人的運(yùn)動軌跡進(jìn)行精準(zhǔn)預(yù)測，才能在人機(jī)混行的場景中，實(shí)現(xiàn)機(jī)器人安全可靠的導(dǎo)航。

4. 場景重復(fù)性高

特征重復(fù)性高的場景，對于激光定位而言，局部特征會在行駛過程中多次重復(fù)。而且有效范圍內(nèi)的物體大部分只有墻、柱子這種形狀相似的特征，缺少獨(dú)特的特征會導(dǎo)致定位困難，如圖2所示。

對于視覺建圖，有多次重復(fù)的紋理也無法作為全局約束。且該場景中，足夠魯棒的角點(diǎn)特征少，而線特征只能提供一個方向的約束，白墻上更是無法得到豐富的特征點(diǎn)容易匹配錯誤，造成定位誤差。

5. 場景內(nèi)光照變化大

對于純視覺方案，光照變化也是一個難以解決的問題。通常倉儲物流環(huán)境中，不僅受到燈光的影響，還易受到窗戶天窗等自然光照射的影響?；璋档沫h(huán)境中，視覺傳感器無法提取到足夠的信息，同時會受噪點(diǎn)的干擾，影響定位結(jié)果。與此同時，視覺建圖和定位時，光照條件相差比較大也會影響定位結(jié)果；甚至窗戶的自然光直射鏡頭將會導(dǎo)致相機(jī)過曝，無法提取特征導(dǎo)致定位失敗，如圖3所示。

6. 定位精度要求高

在倉儲、制造業(yè)行業(yè)場景中，機(jī)器人需要精確的對準(zhǔn)傳送帶。為了提高存儲密度，貨物的存放過于密集，導(dǎo)致機(jī)器人行駛的路徑狹窄，容差可能是幾厘米，如圖4所示。這些都對機(jī)器人定位提出了較高的精度要求。

7. 叉車和機(jī)器人統(tǒng)一調(diào)度

叉車與機(jī)器人激光雷達(dá)安裝高度差異較大，探測高度不一致。但運(yùn)行過程中需要叉車和機(jī)器人使用的地圖具有相同的坐標(biāo)系，以保證調(diào)度系統(tǒng)使用相同的點(diǎn)位控制機(jī)器人，如圖6所示。因此，需要叉車和機(jī)器人建圖具有很高的一致性與絕對精度，以保證不同種類機(jī)器人取放相同貨位時，位置相同。

二、應(yīng)對方案

1. 硬件架構(gòu)

機(jī)器人為了完成自動化搬運(yùn)，需要設(shè)計一整套的關(guān)于數(shù)據(jù)采集模塊，數(shù)據(jù)處理模塊，以及控制規(guī)劃模塊。針對包括揀選、搬運(yùn)、分揀等不同產(chǎn)品線、不同任務(wù)形式，以及不同的傳感器配置，需要合理設(shè)計系統(tǒng)硬件結(jié)構(gòu)以及模塊化的軟件架構(gòu)，從而達(dá)到提高開發(fā)效率，增強(qiáng)系統(tǒng)運(yùn)行穩(wěn)定性，并最終靈活應(yīng)用到不同產(chǎn)品的機(jī)器人上。

機(jī)器人硬件組成，主要包括車載控制器、電池模塊、聲光報警模塊、通訊模塊、電機(jī)驅(qū)動模塊、充電模塊等。同時針對不同產(chǎn)品的機(jī)器人以及實(shí)際運(yùn)行環(huán)境，還包括定位感知相關(guān)的激光雷達(dá)、魚眼相機(jī)、深度相機(jī)等模塊等，如圖6所示。通過硬件架構(gòu)設(shè)計，完成不同模塊的數(shù)據(jù)采集和通信。并將對應(yīng)的數(shù)據(jù)送到相應(yīng)的處理器，由處理器處理完成后，再將處理結(jié)果發(fā)送給相應(yīng)的控制驅(qū)動模塊，從而完成對應(yīng)的任務(wù)。

2. 軟件架構(gòu)

機(jī)器人軟件架構(gòu)設(shè)計則通過從底層操作系統(tǒng)到ROS2的算法平臺，再到相應(yīng)模塊化設(shè)計的定位模塊、導(dǎo)航模塊、避障模塊、傳感器緊融合模塊、控制模塊，完成整個軟件系統(tǒng)高效且靈活可配置的設(shè)計，最終在不同產(chǎn)品線機(jī)器人上得到應(yīng)用。

圖6 機(jī)器人硬件結(jié)構(gòu)圖

圖7 SLAM系統(tǒng)總體設(shè)計

（1）定位建圖融合模塊

定位建圖融合模塊獲取各子模塊的定位建圖結(jié)果，通過優(yōu)化各模塊的重投影誤差達(dá)到最小，從而完成機(jī)器人的定位與建圖。其中各子模塊通過對數(shù)據(jù)的輸入與輸出接口的抽象，設(shè)置成靈活的“可插拔”的配置，針對不同產(chǎn)品機(jī)器人的傳感器，完成對應(yīng)模塊的刪減。

（2）感知模塊

感知模塊接收各子模塊（激光感知模塊、視覺感知模塊、超聲感知模塊）的語義及障礙物的檢測信息。

（3）路徑規(guī)劃導(dǎo)航與控制模塊

路徑規(guī)劃模塊通過結(jié)構(gòu)定位建圖模塊的定位，以及地圖信息以及感知模塊的障礙物以及語義信息，根據(jù)特定的任務(wù)完成機(jī)器人的規(guī)劃控制。

機(jī)器人通過硬件架構(gòu)采集數(shù)據(jù)，并通過ROS2完成數(shù)據(jù)在各模塊之間的通信。其中ROS2相對于ROS1采用數(shù)據(jù)分發(fā)服務(wù)（DDS）通信協(xié)議，它可以以零拷貝的方式傳遞消息，節(jié)省了CPU和內(nèi)存資源，且不存在ROS1中的單點(diǎn)故障，從而更好保證了各模塊之間數(shù)據(jù)通信的高效性與實(shí)時性。

（4）SLAM系統(tǒng)

在系統(tǒng)整體設(shè)計方面，極智嘉的SLAM（Simultaneous Localization And Mapping）系統(tǒng)采用緊耦合、多源異構(gòu)的方式，去使用各種傳感器和定位元素的信息，如圖7所示。其中，前視的相機(jī)用來識別特征點(diǎn)、語義線、二維碼和各種物體（Object），算法在GPU上進(jìn)行加速后，會將結(jié)果傳到從CPU處理。下視的相機(jī)可以識別地面的二維碼，來計算機(jī)器人的絕對位置，這部分的算法會在FPGA上進(jìn)行優(yōu)化和加速。而底層里程計和IMU的信息，從MCU上進(jìn)行讀取，并進(jìn)行融合和算法優(yōu)化。最終各個傳感器的信息經(jīng)過各自算法在不同的平臺上處理后，會統(tǒng)一將結(jié)果發(fā)送到主CPU處理器上，進(jìn)行結(jié)果的融合和最終決策。

激光與視覺融合的SLAM導(dǎo)航技術(shù)使用領(lǐng)先的緊耦合多傳感器融合框架，從處理器芯片到激光雷達(dá)、相機(jī)、IMU和編碼器等都實(shí)現(xiàn)了高精度的時間同步，確保所獲取傳感器數(shù)據(jù)的時間精確性。該技術(shù)的關(guān)鍵點(diǎn)包括：

圖8 優(yōu)化前(左)與優(yōu)化后(右)軌跡對比

圖9 激光畸變校正前(左)畸變校正后(右)對比

圖10 地圖更新原理

① 離線和在線標(biāo)定

極智嘉機(jī)器人出廠前使用自主研發(fā)的標(biāo)定設(shè)備對傳感器的內(nèi)參、外參進(jìn)行嚴(yán)格檢校，加上在線標(biāo)定算法，現(xiàn)已可實(shí)現(xiàn)數(shù)月以上的運(yùn)動軌跡重復(fù)一致，如圖8所示。無論環(huán)境如何變化，都能順利精準(zhǔn)完成產(chǎn)線對接，保障產(chǎn)線可持續(xù)性。

② 激光畸變校正

目前機(jī)器人多采用機(jī)械旋轉(zhuǎn)式激光雷達(dá)，每個掃描幀獲取的時間從幾十到上百毫秒不等，在機(jī)器人高速運(yùn)動時激光掃描幀易變形。極智嘉SLAM算法中使用IMU和輪速數(shù)據(jù)，對激光雷達(dá)掃描幀進(jìn)行運(yùn)動補(bǔ)償，從而解決了機(jī)器人高速運(yùn)動時軌跡偏離的問題，如圖9所示。

③ 在線地圖動態(tài)更新

目前行業(yè)內(nèi)主要依靠人工對變化的地圖進(jìn)行修正，無法實(shí)現(xiàn)動態(tài)更新地圖功能。極智嘉SLAM通過滑窗優(yōu)化（Sliding Window BA）和邊緣化（Marginalization）技術(shù)，在保障地圖和定位精度前提下，裁剪掉“過時”的節(jié)點(diǎn)和地圖觀測數(shù)據(jù)，有效控制圖（Graph）的規(guī)模，如圖10所示。通過這一業(yè)界領(lǐng)先的在線地圖動態(tài)更新技術(shù)創(chuàng)新，極智嘉的搬運(yùn)方案保障了地圖新鮮度，真正實(shí)現(xiàn)了動態(tài)環(huán)境感知和高可靠的定位效果，保證機(jī)器人長期穩(wěn)定運(yùn)行。

④ VX-SLAM定位

不同于傳統(tǒng)的V-SLAM系統(tǒng)，極智嘉的VX-SLAM系統(tǒng)使用的是多種層次的視覺特征。在建圖的過程中，除了使用傳統(tǒng)方法檢測點(diǎn)（Point）、線 （Line）和區(qū)域 （Region），還會使用實(shí)例分割（Instance Segmentation）方法對視野的對象進(jìn)行分割和分類，并根據(jù)實(shí)例分割的結(jié)果進(jìn)行動態(tài)物體的濾除，將靜態(tài)物體作為一個約束加入位姿和地圖的優(yōu)化，最終的地圖則是點(diǎn)特征地圖、線特征地圖、對象地圖、特殊區(qū)域地圖等地圖的疊加態(tài)。

另一方面，VX-SLAM系統(tǒng)融合了機(jī)器人上多個傳感器，慣性測量單元（IMU）和 Odom 坐標(biāo)系提供了短時間內(nèi)精確的相對位姿估計，而激光雷達(dá)和攝像頭的閉環(huán)檢測（Loop Closure）和重定位（Relocalization）則用以消除累計的誤差，同時融合激光雷達(dá)和攝像頭可同時利用環(huán)境的結(jié)構(gòu)特征和外觀特征，使得VX-SLAM系統(tǒng)具有極高的魯棒性。

VX-SLAM系統(tǒng)會輸出高精度的視覺地圖和激光地圖，并會自動將這兩個地圖進(jìn)行配準(zhǔn)，對齊和融合。在進(jìn)行定位的時候，視覺輸出的重定位結(jié)果會和里程計，IMU的位姿遞推結(jié)果融合，在復(fù)雜、多變的環(huán)境下實(shí)現(xiàn)高可靠性與高精度定位，如圖11所示。

⑤ 叉車和機(jī)器人統(tǒng)一調(diào)度

為實(shí)現(xiàn)叉車與機(jī)器人統(tǒng)一調(diào)度，需要融合叉車與機(jī)器人構(gòu)建的SLAM地圖。創(chuàng)建地圖時，使用識別到的墻壁、立柱等特征，拉齊兩個地圖的坐標(biāo)系，可以解決可觀測區(qū)域不同的問題，如圖12所示。此外，使用多傳感器融合的定位方案和自動化的標(biāo)定方案，保證各種類型機(jī)器人具有相同的絕對精度。

圖11 基于視覺的重定位

（5）智能感知

① 視覺避障

移動機(jī)器人的安全性是最重要的部分，其中既包括操作人員的安全，也包括機(jī)器人本身的安全。由于倉儲場景變化比較多，在規(guī)定好的路線中,，有可能會出現(xiàn)之前不存在的障礙物，如貨箱、掉落的貨物、行人等，機(jī)器人需要實(shí)時識別出這些障礙物避免發(fā)生危險。

圖12 叉車和機(jī)器人地圖對齊

基于上述需求，極智嘉設(shè)計了基于彩色圖像和深度圖像結(jié)合的障礙物檢測方法，彩色圖像著重解決低矮或種類比較固定的物體，如書本、行人、貨箱等。深度圖著重解決顏色與地面相近且有明顯高度或種類不定的物體，如貨架腿、小木塊等。兩種方法的有機(jī)結(jié)合，既能實(shí)現(xiàn)多種場景下魯棒的障礙物識別，又能達(dá)到實(shí)時性的要求，障礙物識別結(jié)果，如圖13所示。

圖13 低矮物體檢測

② 托盤智能識別

托盤智能識別是無人叉車中一個非常重要的環(huán)節(jié)，它的作用是進(jìn)行叉車的末端精確定位，保證叉車可以精確插取貨物。通過安裝在叉車上的相機(jī)自動識別托盤的位姿來計算出叉車與托盤的相對位置，從而進(jìn)行精準(zhǔn)的托盤插取，可以實(shí)現(xiàn)比人工更高的插取精度，倉儲環(huán)境中托盤識別有如下難點(diǎn)：

托盤種類及尺寸繁多，定制托盤的存在；

托盤位置偏移有可能非常大；

倉儲環(huán)境中對托盤會有很多干擾。

圖14 托盤識別結(jié)果

圖15 機(jī)器人全場景應(yīng)用

基于以上難點(diǎn)，設(shè)計了專門的托盤識別算法，主要實(shí)現(xiàn)方法包括基于深度學(xué)習(xí)的托盤檢測，及基于3D分割的托盤精確定位?；谏疃葘W(xué)習(xí)的托盤檢測可以適應(yīng)復(fù)雜的倉儲場景，在復(fù)雜的托盤品類及干擾下也能穩(wěn)定的識別出托盤，具有很高的魯棒性。為達(dá)到更高精度，在深度學(xué)習(xí)方法識別出托盤后，還需要基于3D點(diǎn)云對托盤進(jìn)行精確定位，根據(jù)需求可精確定位出托盤每個立柱的位置，實(shí)現(xiàn)超高精度的托盤位姿識別。托盤識別結(jié)果如圖14所示，其中，第一行為不同類別及尺寸的托盤識別結(jié)果；第二行為不同位置下的托盤識別結(jié)果；第三行為不同倉儲干擾情況下的托盤識別結(jié)果。

三、落地案例

近期一座全流程柔性自動化的智慧物流工廠，在上海西門子開關(guān)有限公司成功落地。極智嘉助力上海西門子開關(guān)有限公司通過4種物流機(jī)器人無縫協(xié)作和AI智能調(diào)度，率先在業(yè)內(nèi)真正實(shí)現(xiàn)了工業(yè)物流從收貨、質(zhì)檢、入庫，到在庫理貨、出庫集貨和產(chǎn)線送料的全場景機(jī)器人串聯(lián)和全鏈路物料信息化管理，如圖15和圖16所示。

面對智能化時代的市場需求，上海西門子開關(guān)有限公司意識到，一個自動化的高效智能物流管理體系是實(shí)現(xiàn)工業(yè)4.0的基礎(chǔ)環(huán)節(jié)之一，改造原有的原材料存儲以及改善送料流程過度依賴人工的狀況刻不容緩。廠區(qū)人員管理也需要逐步從手工勞動逐步向機(jī)器人應(yīng)用技術(shù)管理轉(zhuǎn)型。

基于以上挑戰(zhàn)，上海西門子開關(guān)有限公司需要引入智能設(shè)備和創(chuàng)新方案實(shí)現(xiàn)工廠物流的智能化升級，以強(qiáng)化競爭優(yōu)勢，驅(qū)動業(yè)務(wù)實(shí)現(xiàn)可持續(xù)高速發(fā)展。

圖16 客戶倉儲場景

經(jīng)過縝密周全的方案考察和驗(yàn)證，上海西門子開關(guān)有限公司選擇引入智能機(jī)器人實(shí)現(xiàn)全流程柔性自動化。憑借機(jī)器人的柔性特點(diǎn)，該公司在智能升級過程中不僅確保了產(chǎn)線無停產(chǎn)，生產(chǎn)正常運(yùn)轉(zhuǎn)，并且連續(xù)創(chuàng)造了產(chǎn)量的歷史新高。

該智慧物流項(xiàng)目的“貨到人”區(qū)在2019年11月20日上線運(yùn)行，并以模塊化柔性部署的方式逐步拓展至機(jī)器人收貨區(qū)、四向車立庫存儲區(qū)、質(zhì)檢環(huán)節(jié)打通和自動化集貨區(qū)，于2020年10月完成了物流中心的全流程機(jī)器人覆蓋，并開始部署機(jī)器人產(chǎn)線送料。

極智嘉提供創(chuàng)新的智能倉組合方案，包括貨到人揀選機(jī)器人P800、貨箱到人揀選機(jī)器人C200S、四向穿梭車和智能搬運(yùn)機(jī)器人M1000，以及AI算法和智能系統(tǒng)，解決了庫內(nèi)20萬+倉庫存儲單元（SKU）原材料的收貨、分區(qū)存儲、齊套發(fā)運(yùn)、產(chǎn)線領(lǐng)料等流程問題，實(shí)現(xiàn)庫存精益化智能化管理。據(jù)數(shù)據(jù)統(tǒng)計，在完成智能升級后，工廠的入庫效率提升2.5倍、出庫效率提升2.15倍，存儲面積減少50%，送料及時率和準(zhǔn)確率獲得極大提升，順利解決了離散式生產(chǎn)在定制化需求時代的物料管理和效率瓶頸。

四、總結(jié)

針對供應(yīng)鏈和倉儲的諸多環(huán)節(jié)所面臨的問題，移動機(jī)器人以其高柔性、高精度、高可靠性的優(yōu)勢，能夠大幅提升原材料、成品搬運(yùn)的效率，解決勞動力成本急劇增長帶來的挑戰(zhàn)，逐漸得到了更深入而廣泛的應(yīng)用。

倉儲行業(yè)的智能搬運(yùn)場景具有人機(jī)交互、環(huán)境高頻變化等特點(diǎn)，需要有強(qiáng)大混合導(dǎo)航技術(shù)的移動機(jī)器人。為滿足業(yè)務(wù)需求，設(shè)計一整套高效、可靈活配置的硬件系統(tǒng)，智能的視覺激光融合感知與定位、規(guī)劃與控制系統(tǒng)，提升AMR在復(fù)雜多變場景中運(yùn)行的穩(wěn)定性。