基于卷積神經(jīng)網(wǎng)絡(luò)的生鮮蔬菜精準(zhǔn)識(shí)別系統(tǒng)

張鼎開 楊耀嘉 徐濟(jì)惠 馮志峰

摘要：近年來，人工智能技術(shù)在商業(yè)領(lǐng)域的使用引起了越來越多的關(guān)注，通過開發(fā)更加智能化的系統(tǒng)幫助超市管理者管理超市和便捷顧客成了研究趨向。文章選取五類常見蔬菜作為訓(xùn)練標(biāo)簽，通過提取和學(xué)習(xí)圖片，將卷積神經(jīng)網(wǎng)絡(luò)與隨機(jī)梯度下降算法應(yīng)用于實(shí)現(xiàn)蔬菜對象識(shí)別模型。根據(jù)評(píng)估結(jié)果，最終選擇300萬次迭代訓(xùn)練識(shí)別模型，模型準(zhǔn)確率為95.2%。

關(guān)鍵詞：圖像識(shí)別; 深度神經(jīng)網(wǎng)絡(luò); 卷積神經(jīng)網(wǎng)絡(luò)；隨機(jī)梯度下降；超市管理

中圖分類號(hào)：TP18? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2022）30-0007-04

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

1概述

隨著人工智能技術(shù)的發(fā)展，智能化產(chǎn)品在人們的生活中被越來越多地運(yùn)用，與機(jī)器學(xué)習(xí)相結(jié)合的系統(tǒng)在生活中的許多領(lǐng)域都有著廣泛且成熟的使用[1]，如指紋解鎖門鎖、人臉識(shí)別付款等。同時(shí)隨著科技的發(fā)展，超市等購物場所的部分環(huán)節(jié)也逐漸從人工操作轉(zhuǎn)換為以機(jī)器為主，例如超市的自助結(jié)賬系統(tǒng)。一方面，隨著社會(huì)的發(fā)展，工資水平的提高，采用機(jī)器替換人力能夠在一定程度上節(jié)省雇傭的成本；另一方面，大量機(jī)器的部署會(huì)減少顧客排隊(duì)的時(shí)間，因此，在商業(yè)領(lǐng)域，管理者越來越傾向于使用人工智能技術(shù)的智能化管理來幫助自己獲得更大的收益。

人工智能技術(shù)的飛速發(fā)展為超市管理帶來了全新的模式。超市管理者能夠通過購買和使用智能化機(jī)器優(yōu)化傳統(tǒng)的超市經(jīng)營模式。Daljeet通過挖掘大量的顧客在超市購買商品的數(shù)據(jù)，建立預(yù)測模型和描述模型，從而了解商品與商品間被購買的關(guān)系，如顧客在購買牛奶時(shí)一般還會(huì)購買面包。該研究得出結(jié)論，通過數(shù)據(jù)挖掘，超市管理者能夠在人工智能技術(shù)的幫助下，了解顧客的購買水平、購買傾向、甚至顧客家庭的購買情況；同時(shí)超市管理者通過了解這些數(shù)據(jù)能夠制定相應(yīng)有效的營銷策略從而幫助自己保留顧客等[2]。Kedar等提出了一種基于機(jī)器學(xué)習(xí)的方法用于及時(shí)發(fā)現(xiàn)制冷和冷藏系統(tǒng)中出現(xiàn)的問題。該團(tuán)隊(duì)通過將時(shí)間序列預(yù)測問題轉(zhuǎn)化為分類問題，采用基于隨機(jī)森林的二進(jìn)制分類器進(jìn)行特征提取，來實(shí)現(xiàn)僅需制冷情況下的溫度讀數(shù)和除霜狀態(tài)，就能分析出制冷系統(tǒng)是否存在問題的模型，并且該系統(tǒng)在上千家超市制冷系統(tǒng)測試中實(shí)現(xiàn)了89％的準(zhǔn)確率[3]。

人工智能技術(shù)除了能為超市管理者帶來良好的經(jīng)濟(jì)效益和智能管理模式，還能為超市的消費(fèi)者帶來許多好處。

人工智能技術(shù)的應(yīng)用，也能使消費(fèi)者通過使用智能系統(tǒng)和設(shè)備獲得良好的購物體驗(yàn)，節(jié)省等待時(shí)間，體驗(yàn)便捷的購物方式。Antonio的團(tuán)隊(duì)提出了一種購物輔助系統(tǒng)的設(shè)計(jì)框架，該系統(tǒng)主要用于老年人或殘障人士在超市中根據(jù)購物清單在載有系統(tǒng)的機(jī)器人的幫助下引導(dǎo)購物[4]。何小旭提出利用射頻識(shí)別技術(shù)實(shí)現(xiàn)在不需要接觸的情況下就能夠完成商品標(biāo)簽識(shí)別的購物方式[5]。但由于這項(xiàng)技術(shù)的布置成本較高，還無法在市場上普及使用。

雖然在超市環(huán)境的許多方面，人工智能技術(shù)的應(yīng)用為超市管理和消費(fèi)者購物體驗(yàn)都帶來了許多便利，但由于技術(shù)的難度和成本原因，自助、智能地掃描商品種類問題還未得到完全解決。通過調(diào)研、實(shí)際走訪當(dāng)?shù)爻?，發(fā)現(xiàn)很多超市仍雇傭人力幫助顧客進(jìn)行散裝生鮮食品的稱重，部分超市雖引進(jìn)了顧客自助稱重的機(jī)器，但使用的自助稱重系統(tǒng)均需要顧客手動(dòng)選擇蔬菜品類，所需時(shí)間較長。

因此，本文運(yùn)用圖像識(shí)別為基本技術(shù)，以大量的超市常見蔬菜圖片為數(shù)據(jù)集，通過優(yōu)化算法及卷積層，實(shí)現(xiàn)智能識(shí)別蔬菜種類。在商業(yè)層面，本系統(tǒng)既幫助超市管理者節(jié)省了雇傭人力的成本，又幫節(jié)約了消費(fèi)者稱重排隊(duì)的時(shí)間；在科技層面，本系統(tǒng)通過優(yōu)化蔬菜類區(qū)別度不明顯的商品識(shí)別，促進(jìn)了進(jìn)一步實(shí)現(xiàn)全面智能化管理。

2 探究實(shí)現(xiàn)生鮮蔬菜精準(zhǔn)識(shí)別系統(tǒng)基本思路

生鮮蔬菜精準(zhǔn)識(shí)別系統(tǒng)的探究與實(shí)現(xiàn)過程主要包括超市常見蔬菜圖片采集、蔬菜圖像識(shí)別模型訓(xùn)練、識(shí)別模型選擇三個(gè)部分組成，如圖1所示。

首先，圖片采集主要針對常見蔬菜的照片采集。數(shù)據(jù)來源于互聯(lián)網(wǎng)圖庫中相關(guān)的蔬菜信息，對于蔬菜的種類，主要選擇爬取國內(nèi)超市常見的蔬菜，如白菜、胡蘿卜等；對于蔬菜圖片，主要篩選與超市貨架上情況較為相似的蔬菜圖片，不考慮種植環(huán)境中的蔬菜圖片。

第二，將圖片采集中挖掘的常見蔬菜圖片作為模型訓(xùn)練的數(shù)據(jù)集，蔬菜名稱作為模型訓(xùn)練的標(biāo)簽，運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)和隨機(jī)梯度下降算法訓(xùn)練分類模型，類別為各種蔬菜名稱。根據(jù)蔬菜名稱和蔬菜圖片，為訓(xùn)練數(shù)據(jù)構(gòu)建基于卷積神經(jīng)網(wǎng)絡(luò)的蔬菜識(shí)別模型。 同時(shí)，在訓(xùn)練過程中，嘗試使用不同的訓(xùn)練迭代次數(shù)，構(gòu)建探究不同迭代下訓(xùn)練所得模型的性能。

最后，測試識(shí)別模型對于識(shí)別超市場景下蔬菜照片的表現(xiàn)，并通過比較在訓(xùn)練的過程中選擇幾種不同的迭代次數(shù)所獲得的識(shí)別模型的準(zhǔn)確率和召回率性能指標(biāo)值，選擇識(shí)別能力最優(yōu)的模型作為實(shí)驗(yàn)最終推薦的蔬菜識(shí)別系統(tǒng)。

3 超市常見蔬菜圖片采集

超市常見蔬菜圖片采集以百度圖片為數(shù)據(jù)源。為結(jié)合當(dāng)?shù)靥厣?，體現(xiàn)寧波市居民蔬菜購買趨向，團(tuán)隊(duì)成員于寒假期間走訪了寧波當(dāng)?shù)馗鞔蟪校ㄎ譅柆?、樂購、三江、新江廈、歐尚、家樂福等），通過市場調(diào)研的方式，了解并統(tǒng)計(jì)了超市常見的蔬菜種類及銷量。圖2為沃爾瑪、三江和新江廈超市某一分店某日日銷量前5的蔬菜名稱及銷量。

根據(jù)調(diào)查分析所得結(jié)果，優(yōu)先選擇銷量較高的蔬菜作為模型訓(xùn)練的數(shù)據(jù)標(biāo)簽，同時(shí)考慮研究目標(biāo)為構(gòu)建召回識(shí)別系統(tǒng)，因此選擇同一品種但具體種類不同的幾類外形相似蔬菜作為模型訓(xùn)練的數(shù)據(jù)分類。

最終，通過比較與分析，本文選用冬筍、雷筍、韭菜、芹菜、菜心五種蔬菜作為模型訓(xùn)練的標(biāo)簽，并運(yùn)用爬蟲技術(shù)分別爬取了百度圖片中上述五種蔬菜的圖片各30張，總共150張清晰的、已摘取狀態(tài)下的蔬菜照片作為訓(xùn)練集數(shù)據(jù)；對于測試集數(shù)據(jù)，為了結(jié)合實(shí)際場景評(píng)判識(shí)別系統(tǒng)的性能，團(tuán)隊(duì)成員到超市實(shí)際拍攝了上述五種蔬菜的照片各5張，共25張照片作為模型的測試數(shù)據(jù)。

4 基于卷積神經(jīng)網(wǎng)絡(luò)的蔬菜識(shí)別模型構(gòu)建

4.1 深度神經(jīng)網(wǎng)絡(luò)

深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Networks，DNN），也就是常說的深度學(xué)習(xí)，具有連接多個(gè)內(nèi)部隱藏層以進(jìn)行特征檢測和表示學(xué)習(xí)的深度層次結(jié)構(gòu)[6]，如圖3所示，x代表輸入的特征值，w代表層與層的值間的特征向量。表示學(xué)習(xí)就是學(xué)習(xí)如何表達(dá)現(xiàn)實(shí)世界中從觀測數(shù)據(jù)中提取的基本信息[7]。通過深度學(xué)習(xí)的方法，特征提取可以通過使用深度學(xué)習(xí)使用圖像的像素級(jí)別作為輸入值，并通過學(xué)習(xí)獲得最合適的特征并進(jìn)行識(shí)別，從而替代需要通過人為操作進(jìn)行反復(fù)試驗(yàn)的傳統(tǒng)方式的弊端[8]。最簡單的神經(jīng)網(wǎng)絡(luò)是單層感知器網(wǎng)絡(luò)，它由單層輸出組成，輸入直接饋送到輸出，上述的神經(jīng)網(wǎng)絡(luò)可以認(rèn)為是最簡單的前饋網(wǎng)絡(luò)[9]。通過在多層神經(jīng)網(wǎng)絡(luò)中采用反向傳播，模型的訓(xùn)練變得很容易學(xué)習(xí)。在本文中，卷積神經(jīng)網(wǎng)絡(luò)會(huì)被用來學(xué)習(xí)和訓(xùn)練蔬菜圖像識(shí)別模型。

4.2 卷積神經(jīng)網(wǎng)絡(luò)

本文采用深度學(xué)習(xí)方法中的卷積神經(jīng)網(wǎng)絡(luò)模型（Convolution Neural Networks，CNN），實(shí)現(xiàn)蔬菜圖像識(shí)別模型的訓(xùn)練與構(gòu)建。在結(jié)構(gòu)方面，卷積神經(jīng)網(wǎng)絡(luò)由卷積層、池化層、全連接層構(gòu)建而成，形成了一種在內(nèi)部層次實(shí)現(xiàn)全連接的一種形式，能夠有效地表征學(xué)習(xí)能力，提高學(xué)習(xí)的準(zhǔn)確性[10]。在學(xué)習(xí)方法方面，卷積神經(jīng)網(wǎng)絡(luò)中的學(xué)習(xí)方法如傳統(tǒng)的多層感知器一樣，使用反向傳播模型，并使用隨機(jī)梯度下降法用來更新加權(quán)濾波器和耦合系數(shù)。依靠這樣的學(xué)習(xí)方法，卷積神經(jīng)網(wǎng)絡(luò)通過使用卷積和池化操作[11-13]來識(shí)別優(yōu)化的功能。對于類別識(shí)別任務(wù)，卷積神經(jīng)網(wǎng)絡(luò)中使用了整流線性單元（Rectified Linear Unit，ReLU）來加快訓(xùn)練速度。

在結(jié)構(gòu)方面，卷積層為該神經(jīng)網(wǎng)絡(luò)模型的核心部分，采用卷積公式進(jìn)行卷積核計(jì)算[14]，如公式（1）所示。

[f=σb+l=1Lm=1Mwl，maj+l，k+m]? ? ? ? ? ? ? （1）

在公式（1）中，[f]表示蔬菜圖片在經(jīng)過卷積層卷積計(jì)算后得到新的特征表示， [L]表示蔬菜名稱，[M]表示蔬菜圖片的像素值，[j]和[k]分別表示增長長度， [b]為偏置項(xiàng)，[σ]為激活函數(shù)。

卷積層輸出作為后一層：池化層的輸入，從而實(shí)現(xiàn)提取圖片的局部重要特征，以減少過擬合的發(fā)生[15]。本研究使用的池化層計(jì)算公式如式（2）所示。

[f=σpool（fl-1j）+blj]? ? ? ? ? ? ? ? （2）

在公式（2）中，[pool]為前向和反向傳播梯度的最大池化和平均池化的函數(shù)。

全連接層是將卷積和池化層獲得的局部特征作為輸入，經(jīng)過加權(quán)連接后組裝成完整的圖后再輸出，全連接層的計(jì)算公式如式（3）所示。

[f=σKlfl-1+bl]? ? ? ? ? ? ? ? ? ?（3）

在學(xué)習(xí)方面，本文運(yùn)用Caffe實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練與測試。Caffe提供了一個(gè)完整的工具包，用于訓(xùn)練、測試、微調(diào)和部署模型，并為所有任務(wù)提供了詳細(xì)記錄的示例[16]。

根據(jù)上述描述及分析，卷積神經(jīng)網(wǎng)絡(luò)被認(rèn)為能夠成功應(yīng)用于對象識(shí)別的模型構(gòu)建。典型的卷積神經(jīng)網(wǎng)絡(luò)如圖4所示。網(wǎng)絡(luò)由一組層組成，每個(gè)層包含一個(gè)或多個(gè)平面。平面中的每個(gè)單元都從上一層平面中的一個(gè)小鄰域接收輸入。

4.3 蔬菜識(shí)別模型構(gòu)建

在模型的構(gòu)建過程中，使用訓(xùn)練集數(shù)據(jù)實(shí)現(xiàn)識(shí)別模型的學(xué)習(xí)與訓(xùn)練過程。根據(jù)第3節(jié)所描述，本文中所用到的訓(xùn)練數(shù)據(jù)集共包含150張圖片，圖片的分類標(biāo)簽是五種蔬菜名稱（分別是冬筍、雷筍、韭菜、芹菜和菜心），每種標(biāo)簽下分別有30張對應(yīng)蔬菜圖片。蔬菜的圖像數(shù)據(jù)示例如圖5所示。

在訓(xùn)練識(shí)別模型的過程中，通過卷積層的特征計(jì)算，利用隨機(jī)梯度下降算法監(jiān)督特征與模型識(shí)別結(jié)果的關(guān)系，訓(xùn)練獲得能夠?qū)崿F(xiàn)蔬菜識(shí)別的預(yù)測模型。為了探究在訓(xùn)練過程中迭代次數(shù)對于模型識(shí)別能力的影響，本文嘗試在模型訓(xùn)練的過程中使用從100萬至1000萬不同的學(xué)習(xí)迭代。根據(jù)迭代次數(shù)的不同，在訓(xùn)練階段，共構(gòu)建了三種識(shí)別模型，分別是基于100萬次訓(xùn)練迭代、300萬次迭代和1000萬次迭代。

5 蔬菜識(shí)別模型的測試與選擇

由于在進(jìn)行模型的訓(xùn)練過程時(shí)，使用了不同蔬菜的圖片分別進(jìn)行迭代學(xué)習(xí)。在測試階段，通過比較不同迭代次數(shù)所構(gòu)建的模型識(shí)別的準(zhǔn)確率和召回率來選擇最優(yōu)模型。

準(zhǔn)確率是衡量模型正確地對數(shù)據(jù)點(diǎn)進(jìn)行分類頻率的一種性能指標(biāo)，尤其適用于分類樣本數(shù)量較為平均的分類問題。因此，本文選用準(zhǔn)確率作為評(píng)估模型識(shí)別能力的指標(biāo)之一。

準(zhǔn)確率的結(jié)果如圖6所示，橫軸表示蔬菜類別，縱軸表示準(zhǔn)確率。其中迭代學(xué)習(xí)的平均準(zhǔn)確率分別為92.4%（100萬次迭代）、95.2%（300萬次迭代）和88.4%（1000萬次迭代）。可以看出，在使用300萬次學(xué)習(xí)迭代訓(xùn)練模型時(shí)，所表現(xiàn)出的識(shí)別性能最高（超過95％的準(zhǔn)確率），并且差異較小。

除了計(jì)算準(zhǔn)確率，本文還計(jì)算了識(shí)別結(jié)果與真實(shí)標(biāo)簽間的召回率來評(píng)估模型的識(shí)別能力。召回率所計(jì)算的是預(yù)測為正的樣本占實(shí)際正陽本數(shù)量的比例，一般用于評(píng)估模型預(yù)測或識(shí)別某一已經(jīng)發(fā)生或存在的真實(shí)事物的能力。因此，對于評(píng)估識(shí)別蔬菜的能力，可以選用召回率作為另一個(gè)評(píng)估指標(biāo)。

不同蔬菜和不同學(xué)習(xí)迭代的召回率結(jié)果如圖7所示，模型在識(shí)別測試集圖片時(shí)的召回率總體（三種迭代分別為89.6%、93.2%和86.2%）相對于準(zhǔn)確率較低。其中最明顯的差異表現(xiàn)在對于使用韭菜圖片進(jìn)行的100萬次迭代，召回率約為84％，但是當(dāng)學(xué)習(xí)迭代為300萬次時(shí)，召回率會(huì)提高（約89%），但隨著迭代次數(shù)增加到1000萬次時(shí)，召回率反而下降至3種迭代的最低（約79%）。在這種情況下，模型可能會(huì)將圖片中的背景部分作為有效學(xué)習(xí)區(qū)域進(jìn)行識(shí)別。

通過考慮模型在不同迭代次數(shù)和不同種類蔬菜圖片的準(zhǔn)確率和召回率的最大值、中間值和最小值，本文選擇使用300萬次的迭代學(xué)習(xí)次數(shù)來實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)下的蔬菜圖片識(shí)別模型的訓(xùn)練與構(gòu)建。并選擇此訓(xùn)練環(huán)境下構(gòu)建的識(shí)別模型作為本文所構(gòu)建的識(shí)別模型。

6 結(jié)論

本文面向超市顧客稱重蔬菜需要花時(shí)間排隊(duì)并且超市雇傭人力進(jìn)行稱重需要大量的成本等問題，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的蔬菜精準(zhǔn)識(shí)別系統(tǒng)。通過運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)，最終選擇了300萬次迭代作為模型的訓(xùn)練迭代次數(shù)，獲得了一種擁有95.2%準(zhǔn)確率的常見蔬菜識(shí)別模型。該模型有望與稱重臺(tái)等硬件設(shè)備相結(jié)合，服務(wù)于超市中，優(yōu)化超市對于生鮮食品的管理。

參考文獻(xiàn)：

[1] 王志宏，楊震.人工智能技術(shù)研究及未來智能化信息服務(wù)體系的思考[J].電信科學(xué)，2017，33（5）：1-11.

[2] Kaur D， Kaur J. Data Mining in Supermarket： A Survey[J]. International Journal of Computational Intelligence Research， 2017， 13（8）： 1945-1951.

[3] Kulkarni K，Devi U，Sirighee A，et al.Predictive maintenance for supermarket refrigeration systems using only case temperature data[C]//2018 Annual American Control Conference （ACC）.June 27-29，2018.Milwaukee，WI.IEEE，2018：4640-4645.

[4] Marin-Hernandez A，de Jesús Hoyos-Rivera G，García-Arroyo M，et al.Conception and implementation of a supermarket shopping assistant system[C]//2012 11th Mexican International Conference on Artificial Intelligence.San Luis Potos，Mexico.IEEE，2012：26-31.

[5] 何小旭.RFID技術(shù)在智能超市中應(yīng)用問題研究[D].武漢：武漢理工大學(xué)，2009.

[6] 孫志軍，薛磊，許陽明，等.深度學(xué)習(xí)研究綜述[J].計(jì)算機(jī)應(yīng)用研究，2012，29（8）：2806-2810.

[7] Bengio Y，Courville A，Vincent P.Representation learning：a review and new perspectives[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35（8）：1798-1828.

[8] Le Q V.Building high-level features using large scale unsupervised learning[C]//2013 IEEE International Conference on Acoustics，Speech and Signal Processing.Vancouver，BC，Canada.IEEE，2013：8595-8598.

[9] Bebis G，Georgiopoulos M.Feed-forward neural networks[J].IEEE Potentials，1994，13（4）：27-31.

[10] Lee H，Grosse R，Ranganath R，et al.Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations[C]//Proceedings of the 26th Annual International Conference on Machine Learning.Montreal，Quebec，Canada.New York：ACM，2009：609-616.

[11] Takaki S，Yamagishi J.A deep auto-encoder based low-dimensional feature extraction from FFT spectral envelopes for statistical parametric speech synthesis[C]//2016 IEEE International Conference on Acoustics，Speech and Signal Processing.Shanghai，China.IEEE，：5535-5539.

[12] Kang L，Kumar J，Ye P，et al.Convolutional neural networks for document image classification[C]//2014 22nd International Conference on Pattern Recognition.Stockholm，Sweden.IEEE，：3168-3172.

[13] 盧宏濤，張秦川.深度卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺中的應(yīng)用研究綜述[J].數(shù)據(jù)采集與處理，2016，31（1）：1-17.

[14] 王振，高茂庭.基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別算法設(shè)計(jì)與實(shí)現(xiàn)[J].現(xiàn)代計(jì)算機(jī)（專業(yè)版），2015（20）：61-66.

[15] 劉萬軍，梁雪劍，曲海成.不同池化模型的卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)性能研究[J].中國圖象圖形學(xué)報(bào)，2016，21（9）：1178-1190.

[16] Jia Y Q，Shelhamer E，Donahue J，et al.Caffe：convolutional architecture for fast feature embedding[C]//Proceedings of the 22nd ACM international conference on Multimedia.Orlando，F(xiàn)lorida，USA.New York：ACM，2014：675-678.

【通聯(lián)編輯：唐一東】