基于卷積神經(jīng)網(wǎng)絡(luò)的菜品識(shí)別研究與實(shí)現(xiàn)

陳小娥，李慧敏，陳德濤

（福建船政交通職業(yè)學(xué)院信息與智慧交通學(xué)院，福州 350007）

0 引言

隨著“新零售”概念的提出，應(yīng)用互聯(lián)網(wǎng)大數(shù)據(jù)、人工智能技術(shù)等方法，重構(gòu)商圈構(gòu)造與生態(tài)鏈，并對(duì)線上線下服務(wù)項(xiàng)目、線下推廣感受及其智慧物流開(kāi)展創(chuàng)新發(fā)展的零售新方式，各銷售行業(yè)掀起了全新的發(fā)展浪潮。在校園餐廳、企業(yè)和政府餐廳、連鎖快餐等地方，餐飲消費(fèi)時(shí)間段相對(duì)集中，高峰期的排隊(duì)大大降低了顧客就餐體驗(yàn)。在餐飲行業(yè)中占比較大是中小商家，眾多中小商家面臨經(jīng)營(yíng)成本高、利潤(rùn)低等問(wèn)題。餐飲的信息化和自動(dòng)化是餐飲“新零售”的重要體現(xiàn)，而自助結(jié)算實(shí)現(xiàn)的自動(dòng)化可以有效地降低餐飲商家的人工成本和經(jīng)營(yíng)效率。

目前比較常見(jiàn)的餐廳自動(dòng)結(jié)算系統(tǒng)主要有基于RFID 的射頻技術(shù)和圖像識(shí)別技術(shù)?；赗FID技術(shù)的系統(tǒng)主要是由一個(gè)顯示屏、讀寫(xiě)器和讀卡器的智能自助結(jié)算終端構(gòu)成，每一個(gè)根據(jù)不同菜品定制的餐盤內(nèi)都植入一個(gè)RFID 芯片，結(jié)算時(shí)將裝有智慧菜碟的托盤放到能自助結(jié)算終端的“結(jié)算區(qū)”，讀取芯片信息，經(jīng)過(guò)顯示屏向就餐顧客顯示本次飯菜份數(shù)、金額，由此進(jìn)行結(jié)算，如文獻(xiàn)［1］選用STM 32 作為主控板，TFT-LCD 作為顯示模塊，實(shí)現(xiàn)了基于二進(jìn)制算法的RFID 射頻技術(shù)的無(wú)人結(jié)算［1］。而圖像識(shí)別技術(shù)應(yīng)用于自助結(jié)算，早期主要是采用傳統(tǒng)的機(jī)器學(xué)習(xí)方法，根據(jù)餐具的大小、形狀、顏色或菜品等圖像信息，先通過(guò)圖像分割，后提取相應(yīng)的特征，再選取分類器進(jìn)行分類。隨著深度學(xué)習(xí)的流行，現(xiàn)在逐步地采用深度學(xué)習(xí)中的目標(biāo)檢測(cè)算法實(shí)現(xiàn)自助結(jié)算功能。當(dāng)前比較主流的目標(biāo)檢測(cè)方法有以RCNN、Faster R-CNN［2］系列為代表的Two-Stage 方法和以YOLO［3］和SSD［4］系列為代表的One-Stage方法。文獻(xiàn)［5］實(shí)現(xiàn)的系統(tǒng)通過(guò)餐盤的顏色和形狀對(duì)不同的菜品進(jìn)行分類計(jì)價(jià)并算出總價(jià),再進(jìn)行自動(dòng)扣款。文獻(xiàn)［6］通過(guò)對(duì)YOLOv3目標(biāo)檢測(cè)模型進(jìn)行改進(jìn)，去除中小尺度的邊界框檢測(cè)，結(jié)合傳統(tǒng)圖像處理技術(shù)，實(shí)現(xiàn)了魯棒性更高的菜品識(shí)別算法。

本文主要采用MMDetection 框架［7］，通過(guò)Faster R-CNN目標(biāo)檢測(cè)模型實(shí)現(xiàn)菜品定位、分類。在預(yù)測(cè)網(wǎng)絡(luò)的設(shè)計(jì)中，通過(guò)模塊化設(shè)計(jì)初篩+細(xì)分類的方式對(duì)一些易混淆的菜品類別單獨(dú)分類處理，避免多尺度環(huán)境下引起的誤識(shí)別，有效地提高了預(yù)測(cè)精度并且降低了數(shù)據(jù)集的需求量。

1 相關(guān)技術(shù)及原理

1.1 Faster R-CNN

Faster R-CNN 由兩個(gè)模塊組成。第一個(gè)模塊叫候選區(qū)域生成網(wǎng)絡(luò)（region proposal network，RPN），它是深度全卷積網(wǎng)絡(luò)，對(duì)于本文的應(yīng)用場(chǎng)景，可以輸出可能存在餐盤的區(qū)域。第二個(gè)模塊叫Faster R-CNN 檢測(cè)器，判斷每個(gè)區(qū)域是餐盤或不是餐盤。RPN 使用近年來(lái)流行的“注意力機(jī)制”告訴Faster R-CNN 檢測(cè)器應(yīng)該關(guān)注哪些區(qū)域。圖1引用文獻(xiàn)［3］中的圖3簡(jiǎn)述RPN。

圖1 候選區(qū)域生成網(wǎng)絡(luò)（RPN）

在特征圖的每一片區(qū)域，我們并行地預(yù)測(cè)多個(gè)候選區(qū)域。用k表示每一片區(qū)域能預(yù)測(cè)的最大候選區(qū)域數(shù)量。每個(gè)候選區(qū)域要用4 個(gè)數(shù)字表示坐標(biāo)軸位置，用2 個(gè)數(shù)字判斷這個(gè)區(qū)域?qū)儆谇熬斑€是背景。所以reg layer 要輸出4k個(gè)輸出，cls layer 要用2k個(gè)輸出。這k個(gè)候選區(qū)域?qū)⒏鶕?jù)k個(gè)“錨框”編碼。錨框位于每個(gè)3×3區(qū)域的中心，我們用3 組大小和3 組長(zhǎng)寬比組合出9 個(gè)不同的錨框。

1.2 目標(biāo)檢測(cè)框架MMDetection

當(dāng)預(yù)測(cè)值與真實(shí)值一樣時(shí)，預(yù)測(cè)值為正樣本（真實(shí)值為正樣本）記為‘TP’,預(yù)測(cè)值為負(fù)樣本（真實(shí)值為負(fù)樣本）記為‘TN’；當(dāng)預(yù)測(cè)值與真實(shí)值不一樣時(shí)，預(yù)測(cè)值為正樣本（真實(shí)值為負(fù)樣本）記為‘FP’，預(yù)測(cè)值為負(fù)樣本（真實(shí)值為正樣本）記為‘FN’。

1.3 評(píng)估指標(biāo)

準(zhǔn)確率（Accuracy）用分對(duì)的樣本數(shù)除以所有的樣本數(shù)，計(jì)算公式如下：

綜上所述，該區(qū)隱伏巖體埋藏深，上覆地層厚度大，區(qū)域重磁異常規(guī)模大，區(qū)域磁異常反映有NE和NW向構(gòu)造存在，地表淺部有大范圍銻、汞等低溫?zé)嵋旱V床存在，上述特征顯示該地帶找礦空間廣闊，具備尋找中大型低-中-高溫?zé)嵋旱V床的條件。

MMDetection 是一個(gè)基于PyTorch 的開(kāi)源目標(biāo)檢測(cè)工具箱。它提供了多種視覺(jué)檢測(cè)核心模塊，我們可以組合這些模塊搭建出各種檢測(cè)框架。它的主要特性有：進(jìn)行了模塊化設(shè)計(jì)，通過(guò)組合不同的組件，可以容易地構(gòu)建定制的對(duì)象檢測(cè)框架；支持當(dāng)前流行的檢測(cè)框架，如Faster RCNN、Mask R-CNN、RetinaNet 等；具有高效性，所有基本的bbox 和掩碼操作現(xiàn)在都在GPU 上運(yùn)行。

2 基于卷積神經(jīng)網(wǎng)絡(luò)的智能結(jié)算算法

2.1 算法基本思路

采用MMDetection 目標(biāo)檢測(cè)框架進(jìn)行模型構(gòu)建、訓(xùn)練。使用LabelMe 進(jìn)行目標(biāo)檢測(cè)數(shù)據(jù)標(biāo)注。具體的步驟如下：①采集真實(shí)餐廳托盤數(shù)據(jù)，對(duì)采集到的圖片進(jìn)行清洗、用LabelmMe進(jìn)行圖片標(biāo)注。②采用MMDetection 框架進(jìn)行搭建，采用Faster R-CNN 目標(biāo)檢測(cè)模型實(shí)現(xiàn)。③目標(biāo)檢測(cè)模型的測(cè)試與應(yīng)用。

在航道區(qū)域取18個(gè)采樣點(diǎn)，分析工程后沿深槽方向水流分布特征。將各采樣點(diǎn)橫流分布繪于圖5，同時(shí)由于篇幅有限，將部分采樣點(diǎn)的特征流速、流向統(tǒng)計(jì)值列于表3。

2.2 算法設(shè)計(jì)

2.2.1 改進(jìn)的預(yù)測(cè)網(wǎng)絡(luò)

在預(yù)測(cè)網(wǎng)絡(luò)的設(shè)計(jì)中，我們通過(guò)模塊化設(shè)計(jì)粗篩+細(xì)分類的方式對(duì)米飯、炒飯等易混淆的類別單獨(dú)分類處理，避免多尺度環(huán)境下大托盤引起的誤識(shí)別，圖2是預(yù)測(cè)網(wǎng)絡(luò)流程示意圖。

圖2 預(yù)測(cè)網(wǎng)絡(luò)流程

實(shí)驗(yàn)過(guò)程中，設(shè)置優(yōu)化器的類型為SGD，學(xué)習(xí)率初始值為0.01，動(dòng)量為0.9，權(quán)重衰減率為0.0001。圖4 為模型訓(xùn)練的training loss 折線圖。圖5 為菜品識(shí)別實(shí)驗(yàn)過(guò)程中獲得的accuracy top1的折線圖。

使用OpenCV 與攝像頭交互，由于OpenCV 不支持GBK 編碼的文件系統(tǒng)，所以采用NumPy讀取圖片，再用OpenCV 解碼的方式。由于OpenCV 默認(rèn)使用BGR 顏色通道，而其他程序包大多使用RGB 顏色通道，所以我們?yōu)樽x取圖片和保存圖片的函數(shù)都加上了”rgb”標(biāo)志，用于指示圖片的顏色通道。以下為讀取函數(shù)的代碼。

2.2.3 數(shù)據(jù)集格式轉(zhuǎn)換

Accuracy=(TP+TN)/(TP+TN+FP+FN)

MMDetection 使用數(shù)據(jù)集是COCO 格式，所以先將LabelMe 格式的標(biāo)注數(shù)據(jù)轉(zhuǎn)換為COCO 格式的數(shù)據(jù)。COCO 數(shù)據(jù)集可以分解為一個(gè)數(shù)據(jù)庫(kù)里的3張表，圖片表、標(biāo)注表、類別表。

下面以關(guān)系模式描述這些表：

全固態(tài)離子選擇性電極因?yàn)椴缓瑑?nèi)充液，極易微型化、陣列化和制備成一次性的紙質(zhì)電極和塑料柔性電極，受到越來(lái)越多研究人員的關(guān)注。

選入“少兒萬(wàn)有經(jīng)典文庫(kù)”的原典在人類科學(xué)史上的重要性和經(jīng)典性不容置疑，但其厚重的篇幅和深邃的理論體系，讓一般讀者都可能望而卻步，更不要說(shuō)理解能力有限的少年兒童。而在這套文庫(kù)里，少兒彩繪版呈現(xiàn)出生機(jī)勃勃的氣息，吸引著小讀者從容地走進(jìn)經(jīng)典。

圖片表（圖片ID，寬，高，文件名）；

標(biāo)注表（標(biāo)注ID，圖片ID，類別ID，面積，x，y，寬，高，群聚標(biāo)識(shí)）；

將數(shù)據(jù)集轉(zhuǎn)換成COCO 格式后，還需要編寫(xiě)數(shù)據(jù)集類，具體做法為繼承COCO 類，然后將類別列表修改成我們數(shù)據(jù)集的類別列表。以下為部分代碼。

類別表（類別ID，類別名，超類名）。

（3）提升施工技術(shù)人員的專業(yè)素質(zhì)。施工人員在工程施工建設(shè)中，是第一梯隊(duì)的人才，是工程質(zhì)量的基本保障，因此施工技術(shù)人員的專業(yè)素質(zhì)以及技術(shù)水平會(huì)對(duì)工程的質(zhì)量以及工程的施工進(jìn)度起到直接影響。所以建筑企業(yè)需要對(duì)管理人員、技術(shù)人員以及施工人員的專業(yè)素質(zhì)培養(yǎng)進(jìn)行關(guān)注。為了更好地提升工作人員的專業(yè)技能以及素質(zhì)，企業(yè)可以定期分批對(duì)相關(guān)施工技術(shù)人員等進(jìn)行培訓(xùn)教育工作，幫助施工人員以及技術(shù)人員的專業(yè)知識(shí)進(jìn)行提升，縮小隊(duì)伍內(nèi)部的專業(yè)差距。建筑企業(yè)在對(duì)相關(guān)工作人員進(jìn)行選擇的時(shí)候，需要提升要求，做好崗前教育以及后期的提升培訓(xùn)，讓施工人員和技術(shù)人員積極主動(dòng)的接受培訓(xùn)和指導(dǎo)，使得企業(yè)人力資源配置達(dá)到最優(yōu)。

3 實(shí)驗(yàn)過(guò)程及分析

3.1 餐廳數(shù)據(jù)采集與處理

首先，采集真實(shí)的結(jié)算場(chǎng)景圖片。如圖3 所示，采集2302 幅托盤圖片，總計(jì)63 道菜。采集過(guò)程中，調(diào)整攝像頭的位置到結(jié)算臺(tái)面固定50厘米的高度，同時(shí)在攝像頭旁放置一個(gè)補(bǔ)光燈，避免由于不同采集時(shí)間引起的一些干擾因素影響實(shí)驗(yàn)結(jié)果。采集完成后，我們進(jìn)行一定的數(shù)據(jù)清洗并標(biāo)注。

圖3 數(shù)據(jù)集樣本示例

3.2 模型搭建與訓(xùn)練

2.2.2 圖像的讀寫(xiě)設(shè)計(jì)

圖4 training loss結(jié)果分析

圖5 accuracy top1折線

3.3 模型應(yīng)用

（六）藥敏試驗(yàn) 按常規(guī)紙片法進(jìn)行藥敏試驗(yàn)，不同場(chǎng)分離的菌株，其敏感性有明顯不同，但多數(shù)的菌株對(duì)硫酸新霉素、恩諾沙星、氨芐青霉素、氯霉素、丁胺卡那霉素敏感，對(duì)常用的青霉素、土霉素、金霉素不敏感。

針對(duì)采集的結(jié)算場(chǎng)景，利用計(jì)算機(jī)視覺(jué)算法，利用標(biāo)注的位置信息和類別信息，訓(xùn)練多個(gè)能夠檢測(cè)圖像中菜品的模型。選擇精準(zhǔn)度最高的模型作為應(yīng)用程序使用的模型。設(shè)計(jì)的軟件界面如圖6所示。

圖6 結(jié)算界面

用戶只需將選好菜品的托盤放進(jìn)攝像頭下，系統(tǒng)主顯示區(qū)最終顯示每道菜的價(jià)格，結(jié)算區(qū)顯示就餐者所有菜加起來(lái)的應(yīng)付的總價(jià)格。程序運(yùn)行過(guò)程中，會(huì)不斷讀取視頻幀，對(duì)每一幀進(jìn)行預(yù)測(cè)，當(dāng)圖片中出現(xiàn)餐盤時(shí)，識(shí)別接口會(huì)將餐盤區(qū)域裁剪下來(lái)，輸入到分類網(wǎng)絡(luò)進(jìn)行分類。再將識(shí)別的結(jié)果繪制在攝像頭讀入的圖片上，最后再繪制到界面上。經(jīng)過(guò)實(shí)測(cè)，菜品正確識(shí)別率達(dá)95%。如果能夠避免同一餐中出現(xiàn)過(guò)于相似的菜品，準(zhǔn)確率更高。

[譯文1]Observing abnormal behavior of animals suggests a particular disease problem or bad feeding management.

4 結(jié)語(yǔ)

針對(duì)餐廳自助結(jié)算的應(yīng)用場(chǎng)景，本文實(shí)現(xiàn)了基于Faster R-CNN 的菜品識(shí)別檢測(cè)算法。對(duì)于添加新菜，現(xiàn)階段我們?nèi)孕柰ㄟ^(guò)遷移學(xué)習(xí)訓(xùn)練模型實(shí)現(xiàn)，在未來(lái)，我們考慮通過(guò)孿生網(wǎng)絡(luò)的方式實(shí)現(xiàn)更快更簡(jiǎn)易的添加菜品，以更好地適用于自助結(jié)算等場(chǎng)景。