拍照識(shí)茶小程序的開(kāi)發(fā)及實(shí)踐

黃海波，周帥帥，馬 瑞，丁文捷，楊 鈞

（1.塔里木大學(xué) 信息工程學(xué)院，新疆 阿拉爾 843300；2.寧夏大學(xué) 機(jī)械工程學(xué)院，寧夏 銀川 750021）

中國(guó)茶葉按照制作工藝不同共分為6 類(lèi)，不同品種的茶葉具有特定的外形與色澤。由于茶葉品種繁多，對(duì)其進(jìn)行辨識(shí)時(shí)容易出錯(cuò)，甚至根本無(wú)法識(shí)別茶葉的品種，嚴(yán)重阻礙了茶葉愛(ài)好者深入了解茶文化知識(shí)，因此，對(duì)茶葉的鑒別和歸類(lèi)成為一項(xiàng)復(fù)雜而重要的工作。

目前，人們對(duì)茶葉的鑒定主要依靠人工鑒定、光譜鑒定、熒光鑒定等方式，各種鑒定方法均有不足之處，如：人工鑒定識(shí)別速度較慢且不能實(shí)現(xiàn)自動(dòng)操作，光譜鑒定和熒光鑒定的準(zhǔn)確性不高且操作復(fù)雜[1-3]。

為此，項(xiàng)目組提取了茶葉的特征模型，并對(duì)其進(jìn)行大量數(shù)據(jù)的訓(xùn)練；利用人工智能技術(shù)和深度學(xué)習(xí)技術(shù)對(duì)茶葉進(jìn)行鑒定，開(kāi)發(fā)出一款能夠快速、準(zhǔn)確識(shí)別茶葉品種且具有賞析茶文化功能的微信小程序。

1 用戶(hù)需求分析

為了給茶葉愛(ài)好者提供一個(gè)易于理解、易于使用的系統(tǒng)，首先對(duì)用戶(hù)的期望進(jìn)行分析，然后確定系統(tǒng)的功能，具體包括：①準(zhǔn)確識(shí)別茶葉品種，且操作系統(tǒng)簡(jiǎn)潔、方便，具備拍照、文字或語(yǔ)音輸入功能；②進(jìn)行與茶生活相關(guān)的交流互動(dòng)；③茶文化、茶工藝技術(shù)資源獲?。虎懿杞?jīng)濟(jì)分析與述評(píng)。

由用戶(hù)需求分析可知，茶愛(ài)好者期望的主要功能在于無(wú)處不在的信息交流、便利的獲取方式、學(xué)習(xí)茶文化的新型途徑、自適應(yīng)用戶(hù)對(duì)茶文化的學(xué)習(xí)，并且操作系統(tǒng)人性化，有良好的用戶(hù)體驗(yàn)[1-2]。

由于功能實(shí)現(xiàn)主要依賴(lài)用戶(hù)輸入信息的獲取，因此準(zhǔn)確識(shí)別茶品種是開(kāi)發(fā)的關(guān)鍵。由圖1 可知，識(shí)圖知茶是聯(lián)系茶文化、茶經(jīng)濟(jì)等信息的紐帶，它是目前通信環(huán)境條件下聯(lián)系各種需求的一個(gè)窗口核心要素[3]。

圖1 用戶(hù)基本需求

2 茶葉識(shí)別原理和模型訓(xùn)練

茶葉識(shí)別原理的主流技術(shù)為深度學(xué)習(xí)，主要依賴(lài)于識(shí)別模型，而深度學(xué)習(xí)的識(shí)別模型則依賴(lài)于大量原始圖片識(shí)別訓(xùn)練。創(chuàng)新互動(dòng)平臺(tái)使用戶(hù)能夠參與識(shí)別系統(tǒng)的升級(jí)改進(jìn)，活躍茶文化交流，讓用戶(hù)能夠通過(guò)窗口上傳更多的茶葉圖片以提升識(shí)別效果。若識(shí)別結(jié)果與事實(shí)存在誤差，用戶(hù)可將茶葉名稱(chēng)及圖片上傳，達(dá)到一定數(shù)目的相同結(jié)果后，便能通過(guò)審核，存于數(shù)據(jù)庫(kù)中，設(shè)計(jì)處理模式進(jìn)行處理。

處理情況分為2 種：①若出現(xiàn)數(shù)據(jù)庫(kù)中不存在用戶(hù)上傳的新茶葉類(lèi)型，可將用戶(hù)上傳的茶葉名稱(chēng)及圖片通過(guò)審核后存儲(chǔ)在一個(gè)數(shù)據(jù)庫(kù)中。該茶葉的數(shù)量達(dá)到可訓(xùn)練數(shù)量（500 個(gè)）時(shí)，對(duì)該茶葉進(jìn)行訓(xùn)練，提取特征，獲得訓(xùn)練模型，以增加系統(tǒng)的可識(shí)別量。②若上傳的茶葉名稱(chēng)存在于現(xiàn)有數(shù)據(jù)庫(kù)中，但識(shí)別精度不高導(dǎo)致識(shí)別失誤，就將用戶(hù)上傳的茶葉名稱(chēng)及圖片存儲(chǔ)于另一個(gè)數(shù)據(jù)庫(kù)中。該茶葉到達(dá)一定數(shù)量（300 個(gè)）時(shí)，將系統(tǒng)中原有的該茶葉信息及用戶(hù)上傳的茶葉信息一起進(jìn)行訓(xùn)練，從而提高茶葉識(shí)別模型識(shí)別率[4]。

基于茶葉圖像分類(lèi)識(shí)別、圖片特征的提取，建立了一種基于深度編碼解碼網(wǎng)絡(luò)的茶葉分類(lèi)識(shí)別模型，用于解決少見(jiàn)茶葉圖像分類(lèi)識(shí)別精度較低的問(wèn)題，并增強(qiáng)了系統(tǒng)與用戶(hù)的交互性，其主要目的是將訓(xùn)練好的IMAGENET 預(yù)處理模型作為新任務(wù)模型的基礎(chǔ)，避免過(guò)擬合的風(fēng)險(xiǎn)。新任務(wù)模型使用MobileNetV3_small_ssld，其本質(zhì)就是MobileNetV2 模型。將IMAGENET 的卷積融入其中，MobileNetV2 的核心構(gòu)建模塊是基于反向殘差的深度可分離卷積塊。該網(wǎng)絡(luò)結(jié)構(gòu)通過(guò)使用大量的3×3 的卷積和，能減少大量計(jì)算且提高精準(zhǔn)度，可在移動(dòng)端實(shí)現(xiàn)低延遲（精度尚可接受）的識(shí)別[5-6]。

該方法在光照條件較為復(fù)雜的場(chǎng)景下，對(duì)茶葉圖像識(shí)別能夠表現(xiàn)出較高的精度（圖2）。

圖2 茶葉識(shí)別原理框圖

3 總體架構(gòu)設(shè)計(jì)

軟件總體架構(gòu)設(shè)計(jì)分為人機(jī)交互界面、模塊層和系統(tǒng)資源層（圖3）。人機(jī)交互界面實(shí)現(xiàn)圖像的選擇、導(dǎo)入與顯示。系統(tǒng)資源層可實(shí)現(xiàn)茶葉信息的存儲(chǔ)。模塊層設(shè)計(jì)分為茶文化模塊、AI 識(shí)別模塊、茶葉信息模塊、知識(shí)競(jìng)答模塊4 個(gè)部分，各模塊通過(guò)底部菜單欄進(jìn)行切換。①茶文化模塊：主要以瀏覽文章為主，是集豐富多彩的個(gè)性化展示于一體的綜合性模塊。②AI 識(shí)別模塊：提供拍照、上傳和語(yǔ)音識(shí)別功能，經(jīng)識(shí)別可快速獲取茶葉信息。③茶葉信息模塊：基于IMAGENET 模型的訓(xùn)練結(jié)果，利用Jsoup 技術(shù)爬取不同的圖片，構(gòu)建茶葉信息展示頁(yè)面。④知識(shí)競(jìng)答模塊：提供新的學(xué)習(xí)途徑，引導(dǎo)受眾用戶(hù)從新穎創(chuàng)新的角度了解茶文化，幫助用戶(hù)更深入、更全面地認(rèn)知茶葉，培養(yǎng)用戶(hù)的茶道文化。

圖3 軟件總體架構(gòu)設(shè)計(jì)

3.1 人機(jī)交互UI 設(shè)計(jì)

（1）頁(yè)面布局。要求簡(jiǎn)化主界面布局和導(dǎo)航機(jī)制，突出核心功能，在底部欄加以顯示。通過(guò)查詢(xún)結(jié)果界面，可快速了解茶葉信息，并提供詳細(xì)鏈接和購(gòu)買(mǎi)鏈接。

（2）交互方式。以點(diǎn)按和滑動(dòng)2 種方式為主，盡量不使用復(fù)雜的交互方式，降低用戶(hù)的學(xué)習(xí)成本。

（3）配色設(shè)計(jì)。根據(jù)產(chǎn)品定位，青少年視力正處于發(fā)育期，老年人群的視力減弱，因此在配色中規(guī)避了對(duì)比色及高亮度、強(qiáng)刺激的顏色（圖4）[7]。

圖4 詳情界面及AI 識(shí)別界面

3.2 茶文化模塊

整個(gè)模塊以翻閱文章為主，用戶(hù)可以通過(guò)點(diǎn)贊、評(píng)論和轉(zhuǎn)發(fā)文章等及時(shí)與他人進(jìn)行交流，增強(qiáng)了用戶(hù)之間的互動(dòng)性。有榜排名可查看名茶排行及詳細(xì)介紹；知識(shí)競(jìng)答模塊可以進(jìn)行趣味競(jìng)答（圖5～圖6）。

圖5 主界面

圖6 茶葉排名界面

3.3 AI 識(shí)別模塊

系統(tǒng)最核心的模塊是AI 識(shí)別模塊，主要提供拍照、上傳和語(yǔ)音識(shí)別功能。模塊采用深度學(xué)習(xí)技術(shù)，簡(jiǎn)單易用，識(shí)別準(zhǔn)確度高，其通過(guò)本地上傳圖片進(jìn)行識(shí)別（圖7），識(shí)別結(jié)果提供疑似物品，拓寬了識(shí)別的兼容性。點(diǎn)擊詳細(xì)按鈕可查看茶葉詳情，提高了系統(tǒng)的實(shí)用性。

圖7 本地上傳及識(shí)別結(jié)果界面

3.4 茶葉信息模塊

通過(guò)AI 識(shí)別模塊所獲得的茶葉名稱(chēng)、與茶葉相關(guān)的圖片、傳統(tǒng)制作工藝、歷史典故與詩(shī)詞名句等信息能夠呈現(xiàn)在茶葉信息模塊界面上。用戶(hù)可通過(guò)搜狗百科的鏈接詳細(xì)地了解茶文化，也可以點(diǎn)擊購(gòu)買(mǎi)鏈接，進(jìn)入商品界面進(jìn)行購(gòu)買(mǎi)（圖8）。

圖8 茶葉商品界面

3.5 知識(shí)競(jìng)答模塊

知識(shí)競(jìng)答模塊有文化知識(shí)和看圖識(shí)茶2 個(gè)選項(xiàng)（圖9）。每次挑戰(zhàn)共10 道題，答完自動(dòng)退出。設(shè)置該模塊的目的在于激發(fā)用戶(hù)學(xué)習(xí)知識(shí)的熱情，使其在豐富趣味的競(jìng)賽氛圍中增強(qiáng)茶文化，從而引導(dǎo)用戶(hù)關(guān)注茶文化。

圖9 知識(shí)競(jìng)答界面

4 實(shí)驗(yàn)驗(yàn)證與結(jié)果分析

4.1 模型評(píng)估

訓(xùn)練集中召回率較高，當(dāng)訓(xùn)練識(shí)別大于40 代時(shí)，驗(yàn)證集達(dá)到60%左右（圖10），說(shuō)明選擇的模型訓(xùn)練精準(zhǔn)度良好。

圖10 驗(yàn)證集

對(duì)小程序的測(cè)試主要分為“問(wèn)卷星”調(diào)查和性能測(cè)試2 個(gè)方面。安全性測(cè)試由微信小程序本身的安全性能來(lái)保證。

4.2 用戶(hù)體驗(yàn)

根據(jù)用戶(hù)體驗(yàn)進(jìn)行問(wèn)卷調(diào)查，以此確保用戶(hù)的滿(mǎn)意度。部分問(wèn)題以及參與調(diào)查對(duì)象（230 人）對(duì)此程序的滿(mǎn)意程度見(jiàn)表1。

表1 AI 拍照小程序用戶(hù)體驗(yàn)調(diào)查情況（選取部分）

4.3 客戶(hù)端運(yùn)行效能

選擇微信客戶(hù)端進(jìn)行測(cè)試，在單個(gè)手機(jī)測(cè)試條件下的運(yùn)行效能見(jiàn)表2。測(cè)試客戶(hù)主觀感覺(jué)運(yùn)行流暢，操作順滑。通過(guò)微信建立的交流互動(dòng)平臺(tái)把熱愛(ài)茶文化的人們聚集在一起，有助于傳承中國(guó)茶文化精神。通過(guò)拍照識(shí)別功能，能夠快速查看相應(yīng)的簡(jiǎn)介。通過(guò)茶文化鏈接學(xué)習(xí)功能，可較快地獲取茶文化資源，操作方便快捷。該系統(tǒng)還針對(duì)老年人開(kāi)發(fā)了語(yǔ)音播報(bào)功能。

表2 客戶(hù)端運(yùn)行效能

5 結(jié)論

通過(guò)分析茶產(chǎn)業(yè)涉及的茶經(jīng)濟(jì)、茶生活、茶工藝以及茶文化相關(guān)領(lǐng)域，結(jié)合當(dāng)前“互聯(lián)網(wǎng)+茶產(chǎn)業(yè)”發(fā)展的融入需求，嘗試設(shè)計(jì)開(kāi)發(fā)了一款能夠識(shí)別茶葉類(lèi)型并能傳播茶文化的微信小程序，包括茶文化學(xué)習(xí)、交流互動(dòng)、拍照識(shí)別和茶葉購(gòu)買(mǎi)等功能[8]。實(shí)踐表明：①爬取茶葉信息方法構(gòu)建的數(shù)據(jù)集仍需結(jié)合交流互動(dòng)補(bǔ)充完善；②客戶(hù)端嵌入功能和基礎(chǔ)方案運(yùn)行正常；③小程序人性化調(diào)查表明，人們對(duì)茶葉拍照?qǐng)D像的識(shí)別效果較為滿(mǎn)意。