基于卷積神經(jīng)網(wǎng)絡(luò)的物品識(shí)別系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

嚴(yán)圣軍 吳 謹(jǐn)

(武漢科技大學(xué)信息科學(xué)與工程學(xué)院 湖北 武漢 430081)

基于卷積神經(jīng)網(wǎng)絡(luò)的物品識(shí)別系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

嚴(yán)圣軍 吳 謹(jǐn)

(武漢科技大學(xué)信息科學(xué)與工程學(xué)院 湖北 武漢 430081)

為快速準(zhǔn)確地獲取未知物品的信息，采用服務(wù)端和客戶端相分離的架構(gòu)，設(shè)計(jì)并實(shí)現(xiàn)基于卷積神經(jīng)網(wǎng)絡(luò)的電腦端和Android手機(jī)端物品識(shí)別系統(tǒng)。首先對(duì)客戶端上傳的本地圖片或者手機(jī)拍攝照片進(jìn)行預(yù)處理，然后利用預(yù)訓(xùn)練模型搭建卷積神經(jīng)網(wǎng)絡(luò)，提取圖像特征并分類，最后將識(shí)別結(jié)果通過網(wǎng)絡(luò)連接返回至客戶端，完成物品的識(shí)別。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)擁有良好的在線識(shí)別能力，這將極大地改進(jìn)人們獲取信息的方式，更加方便和高效。

卷積神經(jīng)網(wǎng)絡(luò) 移動(dòng)終端 物品識(shí)別 預(yù)訓(xùn)練模型

0 引 言

人們每天都會(huì)從外界獲取一些信息，在認(rèn)知客觀世界的五大感官中，絕大部分信息是通過我們的視覺來感知的。對(duì)于生活中每天接收的圖像信息，它們可能是我們親眼見到的，也可能來自電腦和手機(jī)，這些信息之中又有很多是我們不認(rèn)識(shí)卻又想要認(rèn)識(shí)的物體，這時(shí)往往通過主動(dòng)詢問、打聽，或者自己將它轉(zhuǎn)化為可能的文字在網(wǎng)上搜索相關(guān)信息。隨著智能手機(jī)的普及和人工智能的發(fā)展，如何通過電腦或者手機(jī)隨時(shí)隨地獲取未知物品的信息變得越來越迫切。

讓計(jì)算機(jī)能夠像人一樣分辨出看到的是什么物體，這不是一件很容易的事。為了實(shí)現(xiàn)這一目標(biāo)，斯坦福大學(xué)每年都會(huì)舉行一個(gè)比賽，即大規(guī)模視覺挑戰(zhàn)賽ImageNet Large Scale Visual Recognition Challenge(以下簡(jiǎn)稱ILSVRC)[1-3]，國(guó)內(nèi)外一些知名IT企業(yè)如谷歌、微軟、百度等每年都有參加。他們使用一個(gè)包含了約120萬張訓(xùn)練圖像、5萬張驗(yàn)證圖像和10萬張測(cè)試圖像，分為1 000個(gè)不同的類別的全球最大的圖像識(shí)別數(shù)據(jù)集ImageNet，來測(cè)試他們的系統(tǒng)算法的準(zhǔn)確率。近幾年，隨著大量樣本數(shù)據(jù)的收集、硬件設(shè)備計(jì)算能力的提高和持續(xù)不斷的算法改進(jìn)，識(shí)別系統(tǒng)的功能提高了很多，出錯(cuò)率僅為約5%(比人眼還低)。傳統(tǒng)的圖像識(shí)別方法主要是通過提取一些人工特征點(diǎn)后由數(shù)學(xué)統(tǒng)計(jì)模型來表達(dá)此圖像，然后通過特征向量的某種相似性度量的匹配來對(duì)圖像進(jìn)行識(shí)別。例如，詞袋模型[4-5]、Fisher Vector[6]等。而卷積神經(jīng)網(wǎng)絡(luò)[7-13]將特征提取、特征分類結(jié)合到一起，并進(jìn)行聯(lián)合參數(shù)優(yōu)化，能取得良好的效果。在ILSCRC-2012比賽中，使用卷積神經(jīng)網(wǎng)絡(luò)算法第一次實(shí)現(xiàn)Top5誤差率15.4%(Top5誤差率是指給定一張圖像，其標(biāo)簽不在模型認(rèn)為最有可能的5個(gè)結(jié)果中的幾率)，當(dāng)時(shí)采用傳統(tǒng)算法的最小誤差率為26.2%。這樣，從那時(shí)候開始，CNN成為用于圖像識(shí)別使用最多的算法。包括在手寫字體識(shí)別和人臉識(shí)別上等圖像識(shí)別任務(wù)上也表現(xiàn)出優(yōu)秀的性能，其準(zhǔn)確率接近甚至已經(jīng)超過了人類。從識(shí)別算法的性能和準(zhǔn)確性的角度考慮，相比于其他一些機(jī)器學(xué)習(xí)的算法，卷積神經(jīng)網(wǎng)絡(luò)能夠提取像素級(jí)的圖像特征，并且不需要經(jīng)過很多的預(yù)處理，這是卷積神經(jīng)網(wǎng)絡(luò)所特有的優(yōu)勢(shì)；從系統(tǒng)應(yīng)用的角度考慮，將卷積神經(jīng)網(wǎng)絡(luò)算法與Web開發(fā)相結(jié)合，并運(yùn)用到移動(dòng)端，能使物品識(shí)別系統(tǒng)得到較廣泛的應(yīng)用，通過手機(jī)拍照方便獲取未知物品的信息，能給人們的生活帶來極大的便利。

針對(duì)以上問題和分析，本文設(shè)計(jì)和實(shí)現(xiàn)基于卷積神經(jīng)網(wǎng)絡(luò)的物品識(shí)別系統(tǒng)對(duì)電腦上、手機(jī)上保存的圖片和手機(jī)攝像頭拍攝的照片通過圖像處理與分析，使電腦和手機(jī)能自動(dòng)識(shí)別物品，最終將物品的名稱信息顯示在電腦或者手機(jī)界面上，方便人們獲取陌生物品的信息，減少人們搜索查找物品的時(shí)間。

1 物品識(shí)別系統(tǒng)概述

本文研究的物品識(shí)別系統(tǒng)大體由三個(gè)部分組成：后臺(tái)服務(wù)器、基于PC瀏覽器平臺(tái)的客戶端和基于Android平臺(tái)的客戶端[14]。系統(tǒng)總體架構(gòu)如圖1所示。

圖1 系統(tǒng)架構(gòu)圖

圖1中，左側(cè)用戶端[15]分為PC瀏覽器端和Android客戶端，主要提供給用戶一個(gè)交互的界面，從電腦上本地選擇圖片或者用手機(jī)拍攝照片，最后接收服務(wù)端結(jié)果返回并展示；右側(cè)服務(wù)端的主要功能是運(yùn)行圖像識(shí)別算法，完成之后再將分類識(shí)別的結(jié)果通過網(wǎng)絡(luò)連接返回至客戶端，實(shí)現(xiàn)物品的識(shí)別。

2 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

2.1 系統(tǒng)實(shí)現(xiàn)框架和功能說明

系統(tǒng)各功能模塊劃分，如圖2所示。

圖2 物品識(shí)別系統(tǒng)框圖

(1) 后臺(tái)服務(wù)器開發(fā)模塊：服務(wù)器模塊主要負(fù)責(zé)接收并處理用戶請(qǐng)求，該模塊細(xì)分為圖片接收、圖片識(shí)別和結(jié)果返回模塊。對(duì)用戶上傳的圖片數(shù)據(jù)運(yùn)用算法進(jìn)行識(shí)別，返回識(shí)別的結(jié)果。

(2) PC瀏覽器客戶端模塊：PC瀏覽器客戶端模塊主要是面向?yàn)g覽器端用戶的，該模塊又細(xì)分為圖片選擇、圖片上傳和信息接收模塊。用戶打開瀏覽器輸入地址即可進(jìn)入系統(tǒng)主界面，選擇本地圖片，上傳到服務(wù)器進(jìn)行識(shí)別，返回識(shí)別結(jié)果并在頁面中進(jìn)行渲染展示。

(3) Android客戶端開發(fā)開發(fā)模塊：Android客戶端開發(fā)模塊主要是面向移動(dòng)端用戶的，通過Cordova對(duì)頁面、樣式、以及功能交互文件進(jìn)行打包完成Android app。該模塊又細(xì)分為圖片選擇、圖片上傳和信息接收模塊，其中圖片選擇又有拍照獲取和本地獲取兩個(gè)子模塊。用戶可以選擇拍照或者直接從本地獲取圖片進(jìn)行識(shí)別。

2.2 客戶端模塊的設(shè)計(jì)與實(shí)現(xiàn)

客戶端模塊是離用戶最近的，當(dāng)用戶選擇軟件開發(fā)的相機(jī)拍照直接獲取圖片，或者選擇手機(jī)里已存在的照片或從網(wǎng)絡(luò)已下載的其他圖片之后，將圖片上傳到相應(yīng)后臺(tái)服務(wù)器，上傳成功后等待服務(wù)器回應(yīng)，經(jīng)過服務(wù)器的處理、識(shí)別、數(shù)據(jù)返回后，用戶接收到返回的數(shù)據(jù)信息，包括物品類別及識(shí)別為該類別的百分比可能性?？蛻舳瞬僮髁鞒倘鐖D3所示。

圖3 客戶端流程圖

2.3 服務(wù)端模塊的設(shè)計(jì)與實(shí)現(xiàn)

2.3.1 卷積神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

卷積神經(jīng)網(wǎng)絡(luò)典型的結(jié)構(gòu)分為四個(gè)大層次：輸入圖像、多個(gè)卷積-下采樣層、光柵化、傳統(tǒng)的多層感知器。卷積神經(jīng)網(wǎng)絡(luò)來源于多層感知器，同時(shí)它解決了多層感知器存在的訓(xùn)練參數(shù)過多等問題，其核心出發(fā)點(diǎn)有三個(gè)：

(1) 局部感受野：就像生活中我們一般看到一樣?xùn)|西也是先看到局部，不會(huì)一下就看到物體的全部?jī)?nèi)容。每個(gè)隱層節(jié)點(diǎn)只連接到圖像某個(gè)足夠小局部的像素點(diǎn)上，從而大大減少需要訓(xùn)練的權(quán)值參數(shù)。

(2) 權(quán)值共享：可以看成是特征提取的方式。用同一個(gè)卷積核去掃描圖像的每個(gè)位置，所以權(quán)重是相同的，從而大大減少需要訓(xùn)練的參數(shù)。

(3) 池化：通過某種池化函數(shù)進(jìn)行降采樣，既降低了圖像的分辨率(從而減少精確的位置信息)，又不損失過多的有效信息，極大地提高了其對(duì)圖像的幾何變換的無關(guān)性。

卷積神經(jīng)網(wǎng)絡(luò)用于圖像的分類識(shí)別主要有四種操作：卷積、下采樣、光柵化和多層感知器預(yù)測(cè)。本文根據(jù)以上操作搭建完成卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，并使用已訓(xùn)練模型參數(shù)來進(jìn)行預(yù)測(cè)，實(shí)現(xiàn)未知圖像的識(shí)別。

2.3.2 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

本系統(tǒng)使用的神經(jīng)網(wǎng)絡(luò)是VGG-16[16]，數(shù)據(jù)集為ImageNet。VGG-16是由牛津視覺幾何組(Visual Geometry Group)開發(fā)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。該網(wǎng)絡(luò)贏得了ILSVR(ImageNet)2014的冠軍。該模型由13個(gè)層加3個(gè)全連接層組成，結(jié)構(gòu)如圖4所示。

圖4 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

2.3.3 服務(wù)端工作流程

服務(wù)端首先對(duì)輸入圖像進(jìn)行一些預(yù)處理使其轉(zhuǎn)化為指定的格式，然后建立VGG-16模型，載入訓(xùn)練好的vgg16_weights權(quán)重，編譯模型，使輸入圖像數(shù)據(jù)流入模型，最后輸出該圖像與權(quán)重文件中每個(gè)物品相似度，按概率逆序排序，取前三個(gè)概率返回給客戶端。工作流程如圖5所示。

圖5 服務(wù)端實(shí)現(xiàn)流程圖

2.4 實(shí)驗(yàn)和系統(tǒng)演示

2.4.1 實(shí)驗(yàn)結(jié)果及分析

下面對(duì)算法性能作深入分析，與傳統(tǒng)圖像分類識(shí)別算法進(jìn)行對(duì)比實(shí)驗(yàn)。

實(shí)驗(yàn)對(duì)象：Caltech 101數(shù)據(jù)集、Corel數(shù)據(jù)集和FMD數(shù)據(jù)集，其中各數(shù)據(jù)集訓(xùn)練樣本數(shù)和測(cè)試樣本數(shù)均為50。

實(shí)驗(yàn)環(huán)境：64位Windows 10操作系統(tǒng)、intel i5主頻2.40 GHz雙核、內(nèi)存4.00 GB、Matlab R2015b。

實(shí)驗(yàn)對(duì)比：通過以下四種不同算法對(duì)各數(shù)據(jù)集進(jìn)行圖像分類實(shí)驗(yàn)，得到實(shí)驗(yàn)結(jié)果如表1所示。

(1) 詞袋模型：提取圖像的SIFT特征，聚類生成視覺詞典，利用詞頻表示圖像，通過SVM進(jìn)行分類。

(2) Fisher向量：通過高斯混合模型進(jìn)行聚類，通過SVM分類。

(3) 局部聚合描述符：是BOF和fisher vector的折中，保存每個(gè)特征點(diǎn)到離它最近的聚類中心的距離，通過SVM分類。

(4) 本文所用卷積神經(jīng)網(wǎng)絡(luò)：特征提取和分類聯(lián)合參數(shù)優(yōu)化。

表1 識(shí)別算法對(duì)比表

下面進(jìn)一步實(shí)驗(yàn)，得到該系統(tǒng)在多個(gè)數(shù)據(jù)集下的正確識(shí)別率，平均識(shí)別時(shí)間等，見表2。其中最后一個(gè)數(shù)據(jù)集搜集于淘寶網(wǎng)的商品圖片，以測(cè)試系統(tǒng)對(duì)現(xiàn)實(shí)中復(fù)雜圖片的識(shí)別能力，從表中能夠看出，算法在物品圖片的識(shí)別正確率和識(shí)別時(shí)間上性能是很好的。

表2 各數(shù)據(jù)集下識(shí)別平均正確率和平均時(shí)間表

2.4.2 系統(tǒng)界面及操作演示

本系統(tǒng)基于電腦端和Android端實(shí)現(xiàn)了這項(xiàng)物品識(shí)別功能。

(1) PC端瀏覽器平臺(tái)：首先打開瀏覽器，在地址欄輸入系統(tǒng)的域名，進(jìn)入系統(tǒng)主界面，選擇從本地上傳圖片，點(diǎn)擊開始識(shí)別，等待數(shù)秒即可下載到服務(wù)器識(shí)別的結(jié)果。識(shí)別圖如圖6所示，識(shí)別結(jié)果如圖7所示。

圖6 PC端待識(shí)別圖

圖7 PC端識(shí)別結(jié)果圖

(2) Android開發(fā)平臺(tái)：打開app，選擇本機(jī)圖片或者打開手機(jī)照相機(jī)拍一張照片，等待數(shù)秒即可下載到服務(wù)器識(shí)別的結(jié)果。識(shí)別圖如圖8所示，識(shí)別結(jié)果如圖9所示。

圖8 Android端待識(shí)別圖

圖9 Android端識(shí)別結(jié)果圖

3 結(jié) 語

本文探討設(shè)計(jì)和開發(fā)基于PC端和移動(dòng)終端的物品識(shí)別系統(tǒng)，結(jié)合Web開發(fā)技術(shù)，采用客戶端和服務(wù)端分離的架構(gòu)，卷積神經(jīng)網(wǎng)絡(luò)算法運(yùn)行在服務(wù)端，客戶端負(fù)責(zé)用戶交互及信息的展示。此項(xiàng)目同時(shí)面向PC端和移動(dòng)端，用戶可以隨時(shí)隨地上傳圖片進(jìn)行識(shí)別，從而實(shí)現(xiàn)信息獲取的方面化和智能化，改進(jìn)了人們認(rèn)知事物的方式。

[1] Russakovsky O,Deng J,Su H,et al.ImageNet Large scale visual recognition challenge[J].International Journal of Computer Vision,2015,115(3):211-252.

[2] He K,Zhang X,Ren S,et al.Spatial pyramid pooling in deep convolutional networks for visual recognition[J].IEEE Trans on Pattern Analysis and Machine Intelligence,2015,37(9):1904-1916.

[3] Hinton G E,Srivastava N,Krizhevsky A,et al.Improving neural networks by preventing coadaptation of feature detectors[J].Computer Science,2012,3(4):212-223.

[4] 齊梅.基于詞袋模型的物體識(shí)別方法研究[D].合肥工業(yè)大學(xué),2014.

[5] Lowe D G.Distinctive image features from scaleinvariant keypoints[J].International Journal on Computer Vision,2004,60(2):91-110.

[6] Perronnin F,Dance C.Fisher kernels on visual vocabularies for image categorization[C]//Computer Vision and Pattern Recognition(CVPR),2007 IEEE Conference on.IEEE,2007:1-8.

[7] 王振,高茂庭.基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別算法設(shè)計(jì)與實(shí)現(xiàn)[J].現(xiàn)代計(jì)算機(jī)(普及版),2015(7):61-66.

[8] 蔣樹強(qiáng),閔巍慶,王樹徽,等.面向智能交互的圖像識(shí)別技術(shù)綜述與展望[J].計(jì)算機(jī)研究與發(fā)展,2016,53(1):113-122.

[9] 賈世杰,楊東坡,劉金環(huán),等.基于卷積神經(jīng)網(wǎng)絡(luò)的商品圖像精細(xì)分類[J].山東科技大學(xué)學(xué)報(bào)(自然科學(xué)版),2014,33(6):91-96.

[10] 景輝芳.深度神經(jīng)網(wǎng)絡(luò)的研究及其在植物葉片圖像識(shí)別中的應(yīng)用[D].南昌航空大學(xué),2016.

[11] 王瑞.基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別[D].河南大學(xué),2015.

[12] 許可.卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別上的應(yīng)用的研究[D].浙江大學(xué),2012.

[13] 范榮.基于卷積神經(jīng)網(wǎng)絡(luò)的服裝種類識(shí)別[J].現(xiàn)代計(jì)算機(jī)(專業(yè)版),2016(9):29-32.

[14] 潘威,左欣,沈構(gòu)強(qiáng),等.物品識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].科技視界,2015(5):167.

[15] 張海藩,牟永敏.軟件工程導(dǎo)論[M].6版.北京:清華大學(xué)出版社,2013:55-56.

[16] Simonyan K,Zisserman A.Very Deep Convolutional Networks for Large-Scale Image Recognition[J].Computer Science,2014.

DESIGNANDIMPLEMENTATIONOFOBJECTRECOGNITIONSYSTEMBASEDONCONVOLUTIONALNEURALNETWORK

Yan Shengjun Wu Jin

(SchoolofInformationScienceandEngineering,WuhanUniversityofScienceandTechnology,Wuhan430081,Hubei,China)

In order to obtain the information of the unknown goods quickly, the separation of server and client architecture is adopt to design and implement a object recognition system on the computer side and Android mobile terminal based on convolution neural network. Firstly, it pre-processed the local pictures or cell phone photos uploaded from the client side, and then built a convolutional neural network by using the pre training model to extract image features and classified them. Finally, it returned the result to the client via a network connection to complete the object recognition. The experimental results show that the system has good online recognition ability, and this will greatly improves the way people access to information, it is more convenient and efficient.

Convolutional neural network Mobile terminal Object recognition Pre-trained model

2017-01-05。嚴(yán)圣軍，碩士生，主研領(lǐng)域：圖像處理。吳謹(jǐn)，教授。

TP391

A

10.3969/j.issn.1000-386x.2017.11.020