深度學(xué)習(xí)下物聯(lián)網(wǎng)智能零售設(shè)備的投放設(shè)計(jì)與應(yīng)用

王子怡，劉 喆，李玉婉，陳 淼，韓 霖，張亮（通信作者）

（哈爾濱理工大學(xué)榮成學(xué)院 山東 榮成 264300）

0 引言

我國(guó)歷來(lái)高度重視數(shù)字經(jīng)濟(jì)產(chǎn)業(yè)的發(fā)展，在“十四五”規(guī)劃中，加快數(shù)字化經(jīng)濟(jì)和網(wǎng)絡(luò)強(qiáng)國(guó)建設(shè)已經(jīng)成為我們的戰(zhàn)略目標(biāo)之一。 依托深度學(xué)習(xí)算法和物聯(lián)網(wǎng)技術(shù)，智能新零售設(shè)備和技術(shù)應(yīng)用更加專業(yè)化，體現(xiàn)在設(shè)備地區(qū)分配、貨物監(jiān)測(cè)補(bǔ)給等多個(gè)方面。 常見(jiàn)的有刷臉支付、線上診療、無(wú)人零售、人工智能服務(wù)等。 從企業(yè)動(dòng)態(tài)來(lái)看，盒馬鮮生、永輝超級(jí)物種、豐e 足食等大型線上線下結(jié)合的零售門店大批興起。 自動(dòng)售貨機(jī)也從單一的投幣式付款型號(hào)發(fā)展到如今多種多樣的各類型號(hào)，其利用多種多樣的貨道，組合智能控制系統(tǒng)，能夠自行把人們挑選的貨品送到人們手中，且設(shè)備投放方便且運(yùn)營(yíng)成本低，前景廣闊。

1 相關(guān)概念

1.1 物聯(lián)網(wǎng)新零售

“新零售”主張以5 G 物聯(lián)網(wǎng)技術(shù)為依托，建設(shè)一批線上、線下和物流統(tǒng)一的銷售模式。 總體框架為后臺(tái)——中臺(tái)——前臺(tái)。 后臺(tái)主要依靠新興的數(shù)字化技術(shù)如人工智能等作為基礎(chǔ)；商業(yè)鏈路上的各個(gè)環(huán)節(jié)和資源，包括市場(chǎng)、供應(yīng)、制造端構(gòu)成了新零售的中臺(tái)；零售的消費(fèi)場(chǎng)景、消費(fèi)者和商品構(gòu)成新零售的前臺(tái)，完成商品銷售和消費(fèi)體驗(yàn)［1］。

1.2 深度學(xué)習(xí)算法

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的研究方向之一。 通過(guò)學(xué)習(xí)，機(jī)器可以掌握識(shí)別事物的特征規(guī)律的能力，從而獲得對(duì)各種數(shù)據(jù)更加準(zhǔn)確的解釋。 與之前的統(tǒng)計(jì)學(xué)習(xí)方法和淺層神經(jīng)網(wǎng)絡(luò)相比，深度學(xué)習(xí)成功的關(guān)鍵是將網(wǎng)絡(luò)深層化多層化，讓每一層都參與到相應(yīng)階段的訓(xùn)練和學(xué)習(xí)中來(lái)，將上一層的輸出數(shù)據(jù)作為下一層的輸入數(shù)據(jù)，由淺入深地逐步完成學(xué)習(xí)［2］。

2 當(dāng)前新零售發(fā)展存在的主要問(wèn)題

2.1 智能設(shè)備技術(shù)設(shè)計(jì)存在短板

智能化運(yùn)營(yíng)能夠提高品牌運(yùn)營(yíng)效率，實(shí)現(xiàn)客戶購(gòu)買方式的轉(zhuǎn)變，并且精準(zhǔn)對(duì)接顧客需求，實(shí)現(xiàn)個(gè)性化引導(dǎo)、沉浸式購(gòu)物的效果。 目前，大多數(shù)企業(yè)對(duì)于數(shù)字技術(shù)與零售業(yè)的結(jié)合仍處于初級(jí)階段，難以達(dá)到上述新零售的理想效果。 由于缺乏技術(shù)支持，大部分智能設(shè)備投放點(diǎn)選擇缺少實(shí)際數(shù)據(jù)支撐，難免會(huì)造成某些地區(qū)設(shè)備的“冷場(chǎng)”，而且沒(méi)有進(jìn)一步應(yīng)用智能識(shí)別與虛擬現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)貨物補(bǔ)給，從而造成資源浪費(fèi)和經(jīng)濟(jì)損失。 更多的新零售企業(yè)將技術(shù)應(yīng)用在了與消費(fèi)者對(duì)接的表層，其對(duì)消費(fèi)者的購(gòu)買信息難以進(jìn)行處理和綜合分析，無(wú)法實(shí)現(xiàn)信息資源利用的最大化［3］。

2.2 信息采集的安全問(wèn)題有待提高

伴隨著新零售行業(yè)的發(fā)展，消費(fèi)者的個(gè)人信息和支付信息必然會(huì)被大量收集。 如何確保消費(fèi)者信息安全變成了一項(xiàng)挑戰(zhàn)。 在個(gè)人信息與利益畫上等號(hào)的時(shí)代，企業(yè)如果不做好信息安全的防范，由此引發(fā)的盜號(hào)、癱瘓、數(shù)據(jù)惡意修改等問(wèn)題會(huì)引發(fā)消費(fèi)者對(duì)企業(yè)信息安保能力的質(zhì)疑，對(duì)企業(yè)的商業(yè)信譽(yù)會(huì)造成不良影響。 極少數(shù)企業(yè)禁不住利益的誘惑，出賣消費(fèi)者信息換取企業(yè)短期利益，盡管針對(duì)以上問(wèn)題，新零售企業(yè)采取了多種防范措施針對(duì)消費(fèi)者信息進(jìn)行保護(hù)，有關(guān)部門也在加大監(jiān)管力度［4］，但是新零售行業(yè)信息采集與保護(hù)的規(guī)范仍有很長(zhǎng)的一段路要走。

3 智能零售設(shè)備的設(shè)計(jì)與改進(jìn)建議

3.1 地區(qū)分配設(shè)計(jì)

對(duì)于智能零售設(shè)備的地區(qū)投放問(wèn)題，依據(jù)是以各地區(qū)人口數(shù)量比例進(jìn)行平均分配。 假設(shè)山東人口密度：江蘇人口密度＝64 ∶79，則如果有143 個(gè)機(jī)器，則在山東分配64臺(tái)，在江蘇分配79 臺(tái)。 再結(jié)合實(shí)際情況考慮，重點(diǎn)在景區(qū)、機(jī)場(chǎng)、高鐵站、公交站、公園等人流量較大且人們需求意愿強(qiáng)烈的地方配置機(jī)器。

投放數(shù)量因人流量而定，為使設(shè)備使用價(jià)值最大化，測(cè)定人流量的方法尤為重要。 目前，社會(huì)上常用的測(cè)量方法有：（1）紅外對(duì)射。 安裝紅外對(duì)射檢測(cè)設(shè)備，當(dāng)行人穿過(guò)紅外感應(yīng)區(qū)域會(huì)觸發(fā)紅外對(duì)射裝置，后臺(tái)系統(tǒng)會(huì)根據(jù)觸發(fā)結(jié)果實(shí)現(xiàn)人流統(tǒng)計(jì)。 （2）單點(diǎn)激光雷達(dá)。 水平安裝單點(diǎn)激光雷達(dá)，當(dāng)行人穿過(guò)檢測(cè)區(qū)域時(shí)會(huì)引起激光雷達(dá)測(cè)距發(fā)生變化，后臺(tái)系統(tǒng)根據(jù)接收到的數(shù)據(jù)變化實(shí)現(xiàn)人流統(tǒng)計(jì)。 （3）50 面陣激光雷達(dá)。 搭設(shè)印面陣激光雷達(dá)，覆蓋整個(gè)檢測(cè)區(qū)域，當(dāng)行人穿過(guò)檢測(cè)區(qū)域時(shí)，引起激光雷達(dá)點(diǎn)發(fā)生變化，通過(guò)相關(guān)點(diǎn)云算法實(shí)現(xiàn)行人識(shí)別及統(tǒng)計(jì)。

以上三種方法雖然使用廣泛，卻存在一定的弊端，即無(wú)法精確識(shí)別到不同的個(gè)人。 若同一個(gè)人在同一臺(tái)設(shè)備周圍徘徊，即使該地區(qū)人跡罕至也會(huì)造成人流量大的檢測(cè)結(jié)果。 為提高識(shí)別準(zhǔn)確度，本文提出采用基于顏色直方圖的跟蹤算法與計(jì)算機(jī)視覺(jué)感知技術(shù)的人流量檢測(cè)方法。人流密集度監(jiān)測(cè)步驟如圖1 所示。

圖1 人流密集度監(jiān)測(cè)步驟

基于顏色直方圖的運(yùn)動(dòng)目標(biāo)跟蹤算法可以進(jìn)行一天內(nèi)人流量密度檢測(cè)，即在攝像頭錄制視頻中對(duì)定點(diǎn)地區(qū)的人群進(jìn)行多運(yùn)動(dòng)目標(biāo)跟蹤。 這種基于顏色直方圖的目標(biāo)跟蹤算法受動(dòng)作變化影響很小，因此顏色直方圖是在許多圖像檢索系統(tǒng)中被廣泛采用的顏色特征［5］。 它所描述的是在攝像頭的監(jiān)控可視范圍內(nèi)不同的色彩在整幅圖像中的占比，而并非其空間上的位置，即無(wú)法描述圖像中的對(duì)象或物體。 基于此優(yōu)點(diǎn)，顏色直方圖適合于描述那些難以進(jìn)行自動(dòng)分割的圖像，環(huán)境干擾也基本上很少影響其工作原理。 因此，采用此方法可以對(duì)定點(diǎn)地區(qū)內(nèi)人群流量進(jìn)行追蹤式的人數(shù)統(tǒng)計(jì)。 完成運(yùn)動(dòng)目標(biāo)的檢測(cè)跟蹤后，調(diào)研者可以提取視頻中的各類關(guān)鍵信息進(jìn)行人數(shù)的統(tǒng)計(jì)，實(shí)現(xiàn)定點(diǎn)地區(qū)人流密度的計(jì)算。 再根據(jù)各定點(diǎn)統(tǒng)計(jì)的人流量數(shù)據(jù)，將數(shù)據(jù)進(jìn)行降序排列，選擇人流量大的地點(diǎn)進(jìn)行設(shè)施的安放。

基于計(jì)算機(jī)視覺(jué)的感知技術(shù)與顏色直方圖運(yùn)動(dòng)目標(biāo)跟蹤方法在理念上非常相似。 它們都通過(guò)對(duì)定點(diǎn)地區(qū)的人群進(jìn)行圖像識(shí)別和捕捉，獲取圖像特征，在計(jì)算機(jī)視覺(jué)匹配的基礎(chǔ)上進(jìn)行具體的目標(biāo)檢測(cè)并。 在此基礎(chǔ)上，可以得出人群密度估算模型。 以此模型在前期圖像預(yù)處理及前景分割的基礎(chǔ)上估算人群密度并對(duì)其進(jìn)行分級(jí)，最終對(duì)于定點(diǎn)地區(qū)的人流密度進(jìn)行結(jié)果分析，實(shí)現(xiàn)人流密度的精準(zhǔn)估算。 將數(shù)據(jù)進(jìn)行降序排列，選擇高人流量的地點(diǎn)投放設(shè)備。

其工作原理如下：（1）個(gè)人圖像采集。 攝像機(jī)或者其他圖像采集設(shè)備會(huì)對(duì)人群進(jìn)行拍攝或錄像。 此外，還需要確保被采集的圖像具有一定的多樣性和清晰度，以提高后續(xù)步驟的準(zhǔn)確性。 （2）對(duì)圖像進(jìn)行特征提取。 特征提取是指從圖像中提取出能夠表示個(gè)人特征的信息，如身體比例、穿著的顏色、面部特征等。 常用的特征提取方法包括主成分分析（principal component analysis， PCA）和線性判別分析（linear discriminant analysis， LDA）等［6］。 這些方法可以將個(gè)人圖像轉(zhuǎn)換為特征向量用于后續(xù)的比對(duì)和識(shí)別。（3）特征匹配。 信息與個(gè)人識(shí)別匹配是該算法的核心步驟。 已識(shí)別的個(gè)人特征會(huì)被記入數(shù)據(jù)庫(kù)，然后使用這些已識(shí)別過(guò)的個(gè)人特征來(lái)比對(duì)和匹配尚未識(shí)別過(guò)的個(gè)人特征。匹配的方法可以采用歐氏距離、余弦相似度或支持向量機(jī)等。 通過(guò)計(jì)算待識(shí)別個(gè)人特征與已識(shí)別個(gè)人特征之間的相似度或距離，可以確定兩者之間的相似程度。

3.2 貨物識(shí)別設(shè)計(jì)

現(xiàn)有的智能零售設(shè)備主要為自動(dòng)售貨機(jī)，其工作原理涉及多個(gè)硬件組成部分。 首先是貨道系統(tǒng)，也就是放置商品的地方。 貨物通常通過(guò)多層梯形貨道按照類別進(jìn)行分類放置，并配備有傳感器、電機(jī)和控制裝置等。 用戶通過(guò)顯示屏和按鍵模塊來(lái)選擇所需商品。 顯示屏?xí)尸F(xiàn)商品的圖片、價(jià)格以及其他相關(guān)信息，用戶可以通過(guò)按鍵來(lái)選擇商品的編號(hào)或名稱。 其次，用戶需要付款時(shí)，控制裝置會(huì)計(jì)算出所需支付的金額。 當(dāng)付款完成后，自動(dòng)售貨機(jī)會(huì)進(jìn)入出貨過(guò)程。 這時(shí)，控制裝置會(huì)接收到出貨的指令，然后通過(guò)電機(jī)和傳送帶等設(shè)備將商品送到取貨口，并通過(guò)傳感器檢測(cè)商品是否已取出。 此類流程僅限固定位置放置的貨物取出，補(bǔ)給同一貨物時(shí)，若想更新貨物，則需要重新對(duì)貨物的編號(hào)和名稱進(jìn)行錄入，操作煩瑣。

為解決此類問(wèn)題，有許多先進(jìn)的方法可供選擇，如圖像檢測(cè)、分類模型和端到端的一階段模型（如YOLO 系列、EfficientNet 系列）等［7］。 再進(jìn)一步，也可以選擇二階段模型，其中一種方法是利用3Faster R?CNN 單模型來(lái)完成所售商品的檢測(cè)和分類任務(wù)。 然而，此方法也存在一些明顯的弊端：首先，它需要進(jìn)行多狀態(tài)通道訓(xùn)練，使用log 損失函數(shù)微調(diào)CNN，再利用支持向量機(jī)進(jìn)行分類，利用線性回歸模型來(lái)提高精確度，訓(xùn)練占內(nèi)存和耗時(shí)間。 其次，目標(biāo)檢測(cè)速度過(guò)慢，因?yàn)镽?CNN 沒(méi)有共享計(jì)算，每個(gè)推薦區(qū)域都要經(jīng)過(guò)卷積層處理。 最后，SPPNet 雖然加快了速度，但仍然具有和R?CNN 一樣的缺點(diǎn)，即多階段訓(xùn)練。 此外，SPPNet 無(wú)法更新軟件過(guò)程改進(jìn)方法和規(guī)范之前的卷積層，還存在限制精確度的問(wèn)題。

為解決訓(xùn)練慢和精度低的問(wèn)題，本文提出設(shè)計(jì)基于ROI?Align 雙線性插值原理和矩陣模板庫(kù)（Matrix Template Library， MTL）的智能識(shí)別貨物的自動(dòng)售貨機(jī)。 所謂ROI?Align，是將目標(biāo)區(qū)域進(jìn)行分割，從而對(duì)目標(biāo)區(qū)域精細(xì)分類的方法。 例如，易拉罐商品的瓶口相似度較高，一般機(jī)器識(shí)別容易出現(xiàn)錯(cuò)誤，而此方法較適合這類再進(jìn)一步的回歸任務(wù)（比如3 D 框）。 基于計(jì)算機(jī)視覺(jué)的多任務(wù)學(xué)習(xí)能夠?qū)崿F(xiàn)有效的針對(duì)性訓(xùn)練（比如單階段檢測(cè)一直存在的正負(fù)樣例不平衡，如果有其他任務(wù)，可以在訓(xùn)練過(guò)程中針對(duì)正樣例進(jìn)行進(jìn)一步的訓(xùn)練，圖像中部分區(qū)域可以在某些任務(wù)上獲得額外的訓(xùn)練，可以說(shuō)是訓(xùn)練階段的一種注意力分配）。 MTL 中方法通常共享卷積層，而學(xué)習(xí)特定任務(wù)的完全連通層，可以建立深層關(guān)系網(wǎng)絡(luò)來(lái)改進(jìn)這些模型。 除了在共享層和任務(wù)特定層的結(jié)構(gòu)外，在完全連通的層上放置矩陣先驗(yàn)可以讓模型學(xué)習(xí)任務(wù)之間的關(guān)系，其原理類似于貝葉斯模型。 在這兩種算法的支持下，足以解決計(jì)算機(jī)視覺(jué)問(wèn)題，精準(zhǔn)識(shí)別售賣機(jī)中的各種貨物。 加入深度學(xué)習(xí)的智能設(shè)備與傳統(tǒng)智能設(shè)備相比的優(yōu)勢(shì)如圖2 所示。

圖2 加入深度學(xué)習(xí)的智能設(shè)備與傳統(tǒng)智能設(shè)備相比的優(yōu)勢(shì)

3.3 貨物更新設(shè)計(jì)

目前，智能零售設(shè)備的貨物多通過(guò)人工定期更新和補(bǔ)貨，除了四季必備的礦泉水和面包，人們?nèi)粘Ｓ玫降臅?shū)本、口罩等也成為售賣的對(duì)象。 針對(duì)設(shè)備補(bǔ)貨更新問(wèn)題，本文提出了新的設(shè)計(jì)：對(duì)上貨更新流程進(jìn)行改良。 以食品零售為例，根據(jù)季節(jié)對(duì)人們的飲食習(xí)慣進(jìn)行調(diào)研，利用多因素回歸模型進(jìn)行變量檢驗(yàn)剔除，然后獲得人們?cè)诓煌竟?jié)喜好的食物特征，投其所好進(jìn)行補(bǔ)貨。 建立完善的反饋機(jī)制，即開(kāi)發(fā)設(shè)備配套的移動(dòng)終端APP，收集用戶意見(jiàn)，統(tǒng)計(jì)用戶對(duì)飲品和零食的需求，及時(shí)對(duì)貨物種類進(jìn)行更換。 針對(duì)貨物補(bǔ)給，可采用時(shí)間序列分析模型，以各種貨物定期的銷售數(shù)量為樣本，對(duì)未來(lái)定期的銷售量進(jìn)行預(yù)測(cè)分析。例如，可采取1.5 倍定律，即補(bǔ)貨量為預(yù)測(cè)銷售量的1.5倍，對(duì)現(xiàn)有貨物進(jìn)行補(bǔ)給。

3.4 深度學(xué)習(xí)下對(duì)智能零售設(shè)備的管理改進(jìn)建議

無(wú)論是數(shù)據(jù)安全的可靠性還是操作流程的難易程度，歸根結(jié)底是依靠行業(yè)的標(biāo)準(zhǔn)來(lái)決定的。 標(biāo)準(zhǔn)化作為一種為在一定的范圍內(nèi)獲得最佳秩序，對(duì)實(shí)際的或潛在的問(wèn)題制定共同重復(fù)使用規(guī)則的活動(dòng)，運(yùn)用在新零售行業(yè)中是非常有必要的［8］智能零售設(shè)備融合了商業(yè)、物流、支付等多個(gè)獨(dú)立領(lǐng)域，不同的運(yùn)營(yíng)體系很容易造成沖突矛盾。 若接收的大量數(shù)據(jù)格式不同，對(duì)各項(xiàng)事務(wù)處理的煩瑣度也會(huì)隨之增高。 因此，為了保護(hù)數(shù)據(jù)安全，智能零售行業(yè)應(yīng)加大對(duì)行業(yè)標(biāo)準(zhǔn)建設(shè)的關(guān)注與投入。另外，源代碼漏洞已成為軟件與信息系統(tǒng)安全的主要威脅，研究源代碼漏洞檢測(cè)技術(shù)對(duì)于減少軟件安全漏洞、降低軟件安全風(fēng)險(xiǎn)具有重要意義，基于深度學(xué)習(xí)的漏洞監(jiān)測(cè)技術(shù)具有成本低效率高的優(yōu)勢(shì)，在未來(lái)的信息安全領(lǐng)域發(fā)展前景廣闊。

4 結(jié)語(yǔ)

綜上所述，依托物聯(lián)網(wǎng)技術(shù)的發(fā)展，智能零售設(shè)備正在逐漸取代線下實(shí)體購(gòu)物商店。 基于深度學(xué)習(xí)的智能零售設(shè)備能夠?qū)⒓傩匀肆髅芏却?、貨物圖像識(shí)別不準(zhǔn)確和用戶需求的三大問(wèn)題逐一解決，使智能零售設(shè)備的投放地區(qū)分配更加合理，滿足用戶高效購(gòu)物取貨體驗(yàn)的需求，提高設(shè)備和資源的利用率。 物聯(lián)網(wǎng)和深度學(xué)習(xí)領(lǐng)域的融合應(yīng)用研究在未來(lái)將大力推動(dòng)社會(huì)的技術(shù)進(jìn)步，加快智能化社會(huì)的發(fā)展進(jìn)程。