基于iOS系統(tǒng)的觀賞植物識別

王 禮， 洪祖兵， 方陸明， 陳 珣， 吳 超

（1.浙江農(nóng)林大學 信息工程學院，浙江 杭州311300；2.浙江農(nóng)林大學 浙江省林業(yè)智能監(jiān)測與信息技術(shù)研究重點實驗室，浙江 杭州311300；3.浙江省仙居縣林業(yè)局，浙江 仙居 317300）

觀賞植物是專門培植來供觀賞的植物，一般都有美麗的花或者形態(tài)比較奇異［1］。在校園或公園等地會經(jīng)常看到，但普通的非專業(yè)人士一般不易識別。當前智能手機得到普及，同時，人們對辨識觀賞植物有著濃厚的興趣。通過手機拍攝，并將識別相關(guān)信息在手機端展現(xiàn)，將提高人們對觀賞植物的欣賞能力。國內(nèi)外學者通過葉片識別植物已做了不少研究，并取得了一定的研究成果。2012年，由華盛頓大學、哥倫比亞大學、馬里蘭大學和美國自然歷史博物館（即史密斯研究院）共同開發(fā)的手機應用 “Leafsnap”可以通過樹木葉片圖像識別相應的樹種，即從復雜背景中分割出葉片圖像，然后提取葉脈輪廓線及其曲率，最后從存有美國東北部184個樹種的數(shù)據(jù)庫中查詢匹配［2］。陳芳等［3］開發(fā)了嵌入式植物自動識別系統(tǒng)，通過提取葉片的形狀特征實現(xiàn)了對校園內(nèi)9種植物葉片的識別；張玉琢等［4］設(shè)計了植物遠程快速識別的方法，通過網(wǎng)絡(luò)上傳葉片圖像，采用與葉片庫中葉片進行圖像對比的方式識別植物種類。當前最具有代表性的植物識別商業(yè)系統(tǒng)應用程序（application，APP）有形色、花伴侶、微軟識花等。此類系統(tǒng)依托了龐大的植物數(shù)據(jù)庫，采用了人工智能識別技術(shù)。但其植物識別過程較粗放、不精細，背后過于龐大的數(shù)據(jù)庫反而容易誤導，導致識別結(jié)果不夠準確。并且以上植物識別系統(tǒng)都無法將植物與本地文化相結(jié)合。本研究基于iOS系統(tǒng)，采取精細化識別方法，對傳統(tǒng)的圖像識別流程進行了優(yōu)化。省去圖像去噪處理，篩選了顏色、形狀、紋理特征中具有代表性的10種特征，從而將識別時間控制在合理范圍內(nèi)，提高了識別率，加入了觀賞植物的科學和人文屬性，充分發(fā)揚了本地校園內(nèi)觀賞植物的人文價值。

1 系統(tǒng)設(shè)計

1.1 研發(fā)流程及系統(tǒng)示意

植物識別系統(tǒng)由數(shù)據(jù)庫、圖像預處理、特征提取、識別顯示等組成。其中，圖像預處理、特征提取、圖像分類是關(guān)鍵環(huán)節(jié)。研發(fā)流程如圖1所示。SQLite數(shù)據(jù)庫用于存儲葉片特征數(shù)據(jù)、植物屬性信息；在數(shù)據(jù)采集階段，采集觀賞植物葉片樣本以及結(jié)合了校園文化的植物屬性信息；然后用MATLAB軟件處理采集到的葉片樣本，提取顏色、形狀、紋理等特征，與植物屬性信息一同存入數(shù)據(jù)庫；最后采用OpenCV技術(shù)編寫iOS程序，實現(xiàn)系統(tǒng)功能。

圖1 系統(tǒng)研發(fā)流程圖Figure 1 Flow diagram of system research and development

如圖2所示：面對識別植物，打開iPhone手機中的觀賞植物識別APP，正面拍攝植物葉片，相關(guān)程序模塊對獲取的葉片圖像進行分割，提取葉片的顏色特征、形狀特征、紋理特征，并運用支持向量機（SVM）分類器識別葉片，并從SQLite數(shù)據(jù)庫中篩選出最具可能的植物并展示結(jié)果。

1.2 數(shù)據(jù)庫設(shè)計

數(shù)據(jù)庫是系統(tǒng)的核心內(nèi)容，需搭建SQLite數(shù)據(jù)庫。系統(tǒng)的數(shù)據(jù)庫由2個部分組成：特征（feature）表存儲葉片的3種特征，用于匹配和識別（表1）；人文及科學價值信息（information）表用于儲存校園文化、人文典故及科學價值等方面的信息，從而將物種識別、科學普及、校園文化及人文典故有機結(jié)合，真正起到了既識別物種又展示文化的效果（表2）。

表1 存儲葉片的特征表Table 1 Features

圖2 系統(tǒng)示意及識別流程圖Figure 2 System schematic and recognition procedure diagrams

表2 人文及科學價值信息表Table 2 Information

2 數(shù)據(jù)采集

數(shù)據(jù)庫框架和表格設(shè)計完成后，需選取觀賞植物并采集葉片，提取數(shù)據(jù)存入數(shù)據(jù)庫。植物的選取需要兼顧普及率和觀賞性。本研究選取了浙江農(nóng)林大學校園內(nèi)8種常見的觀賞植物，分別為山茶Camellia japonica，玉蘭Magnolia denudata，銀杏Ginkgo biloba，大葉黃楊Euonymus japonicas，紫葉小檗Berberis thunbergiivar.atropurpurea，日本晚櫻Cerasus serrulatavar.lannesiana，繡球莢蒾Viburnum macrocephalum，紅葉石楠Photinia fraseri（圖3）。植物葉片的外觀在不同時期存在一定差異，對每種植物在不同時期采集共200張葉片。其中100張作為SVM分類器訓練樣本，其余100張作為系統(tǒng)測試樣本。

采集后帶回實驗室拍照獲取圖像。采用的拍照設(shè)備為1 200萬像素的iPhone SE。使用MATLAB_R2014b圖像處理軟件分割葉片圖像，提取相關(guān)特征值，存入特征表中；查閱該植物的人文及科學價值信息，存入信息表，完成SQLite數(shù)據(jù)庫建設(shè)。

3 圖像預處理

圖像預處理的目的是獲得圖像中的葉片部分，它會直接影響后續(xù)的特征提取與識別。主要由灰度轉(zhuǎn)換、自動閾值分割和形態(tài)學處理3個環(huán)節(jié)構(gòu)成。由于目前的iPhone手機拍照分辨率普遍較高，成像清晰，因此本研究未做圖像去噪處理。

本研究的原始圖片都基于RGB顏色模型，轉(zhuǎn)換為灰度圖后，運用OTSU法將其分割，得到二值圖像；通過形態(tài)學操作，消除雜物、空洞填充、腐蝕、膨脹等，得到形狀精確的二值圖，進而得到分割后的葉片灰度圖。

圖3 選取的8種觀賞植物葉片F(xiàn)igure 3 Leaves of the 8 selected ornamental plants

3.1 灰度轉(zhuǎn)換

葉片圖像的分割首先要借助灰度圖。本研究運用標準的灰度轉(zhuǎn)換算法，采用轉(zhuǎn)換算式（1），將RGB圖像轉(zhuǎn)換為灰度圖。

式（1）中：Gray為灰度值；R為紅色分量；G為綠色分量；B為藍色分量。

3.2 自動閾值分割

將RGB原圖轉(zhuǎn)換為灰度圖后，可自動分割。自動閾值分割采取OTSU法［5］，又名大津法，是一種使類間方差最大的自動確定閾值的方法，對于呈現(xiàn)雙峰特點的灰度直方圖尤其有效，是一種常用的閾值選取方法。葉片實驗表明，該方法簡潔、高效、精確，對葉片圖像的分割效果良好。

3.3 形態(tài)學處理

分割后生成的葉片圖像二值圖，內(nèi)部可能會存在孔洞，外部出現(xiàn)雜點，需進行二值圖像孔洞填充、去雜點、膨脹、腐蝕等形態(tài)學處理。此過程可有效去除二值圖的噪聲，而且不會明顯改變?nèi)~片原先的輪廓。

灰度膨脹公式：

灰度腐蝕公式：

式（2）和式（3）中：f⊕B為灰度膨脹函數(shù)；f?B為灰度腐蝕函數(shù)；f和f（x,y）代表輸入圖像；B和B（i,j）代表結(jié)構(gòu)元素；x和y分別代表輸入圖像的橫、縱坐標；i和j分別代表結(jié)構(gòu)元素的橫、縱坐標；Df和DB分別是輸入圖像和結(jié)構(gòu)元素的定義域。圖4展示了銀杏葉片圖像分割的各個步驟。

4 特征提取

分割出圖像中的葉片后，需要提取葉片的特征參數(shù)。本研究選用植物葉片的顏色、形狀和紋理3種主要特征。同種植物的不同葉片往往具有不同的特征值，因此計算結(jié)果取其平均值。

4.1 顏色特征

植物葉片的顏色很直觀，具有旋轉(zhuǎn)、平移不變性，但不同種類葉片的色相H和飽和度S會有較大差異。本研究采用HSI顏色模型中H和S分量表示葉片的顏色特征，即分割后的H分量圖像的色相均值和S分量圖像的飽和度均值。H和S的轉(zhuǎn)換如式（4）：

圖4 葉片圖像分割各步驟示例Figure 4 Examples on procedures for leaf image segmentation

4.2 形狀特征

植物識別的依據(jù)是葉片的形狀特征［6］。形狀是葉片最本質(zhì)的特征，具有移動、縮放不變的特性，不同植物的葉片幾乎有著完全不同的形狀。同類葉片大小不一，但相對形狀一致。本研究采用了葉片的縱橫軸比、矩形度、圓形度、形狀參數(shù)等4種相對形狀特征，算式如下：

4.3 紋理特征

不同葉片表面的紋理在粗細、走向上都有很大差別。相比其他方法，灰度共生矩陣（gray level cooccurrence matrix,GLCM）特征能夠更好地突出圖像的紋理信息，被大量應用于將灰度值轉(zhuǎn)化為紋理信息［7］。考慮到計算量與有效性，選取了灰度共生矩陣中的能量、對比度、熵和局部平穩(wěn)性等4種紋理特征：①能量f1，反映了圖像灰度分布均勻程度和紋理粗細度，采用式（9）計算：

②對比度f2，反映了圖像的清晰度和紋理的溝紋的深淺，采用式（10）計算：

③熵f3，度量了圖像紋理的非均勻度，采用式（11）計算：

④局部平穩(wěn)性f4，度量了圖像紋理的平坦度，采用式（12）計算：

式（9）～（12）中：i和j為像素點橫、縱坐標值；N由葉片圖像的范圍確定；p（i，j）為像素點的灰度值。

4.4 特征入庫

運用公式提取出葉片的特征值，并與植物屬性數(shù)據(jù)一同存入數(shù)據(jù)庫。表3為每種葉片的各特征歸一化后的數(shù)值，它們?yōu)?00個葉片的平均值。

5 分類方法

支持向量機（support vector machines，SVM）是一種最常用的分類器。與人工神經(jīng)網(wǎng)絡(luò)分類方法相比，SVM分類方法在解決小樣本、非線性及高維模式識別中優(yōu)勢突出［8］。

表3 每種植物葉片各特征的平均值Table 3 List of mean values of features of each plant leaf

將每種葉片的3類特征作為SVM的訓練特征，進而得到SVM分類器。得到葉片的顏色、形狀和紋理特征的向量后，將這些特征作為分類方法的輸入向量，用于植物葉片的識別。

SVM的關(guān)鍵在于核函數(shù)，低維空間向量集通常難以劃分，解決的方法是將它們映射到高維空間；但這個辦法帶來的困難就是計算復雜度的增加，而核函數(shù)正好巧妙地解決了這個問題。由于徑向基核函數(shù)是非線性函數(shù)，在SVM分類器訓練過程中，能有效減少計算復雜性。多數(shù)研究［9－11］都采取了SVM分類器并采用徑向基核函數(shù)。因此本研究選擇徑向基函數(shù)作為分類器核函數(shù)，定義為：

式（13）中：K為徑向基函數(shù)名；x為權(quán)向量；xi為樣本集中第i個樣本；δ核函數(shù)擴展常數(shù)；該參數(shù)決定SVM分類器的預測能力。

6 系統(tǒng)實現(xiàn)

系統(tǒng)開發(fā)基于macOS操作系統(tǒng)，SQLite數(shù)據(jù)庫，Xcode 8.0開發(fā)環(huán)境，采用Swift 3.0語言和OpenCV技術(shù)。

圖5為系統(tǒng)運行的界面。設(shè)計了3個Tab按鈕，分別為 “瀏覽” “識別” “詳情”。用戶可在3個按鈕之間自由切換。 “瀏覽”界面為觀賞植物列表，點擊選擇某種觀賞植物葉片，程序會自動跳轉(zhuǎn)到“詳情”界面，可查看該植物的校園文化、典故等信息，并展現(xiàn)文字和四季圖片。識別時，點擊中間的“識別”按鈕，然后將取景框?qū)嗜~片，點擊 “拍照”按鈕（或點擊 “相冊”按鈕直接從相冊中獲取圖片），等待2 s左右，識別結(jié)果以圖文形式在 “詳情”界面上顯示。

圖5E和5F為銀杏葉片的識別結(jié)果，展示了浙江農(nóng)林大學校園內(nèi)銀杏大道一年四季的景色，體現(xiàn)了深厚的文化內(nèi)涵。

7 結(jié)果對比與結(jié)論

7.1 與其他識別軟件的對比

每種植物選取100張葉片圖像做訓練，100張作為測試數(shù)據(jù)，經(jīng)過實際試驗，得出了3個系統(tǒng)對于各觀賞植物的平均識別率和所用時間（表4）。由表4可知：本系統(tǒng)盡管平均用時比形色和花伴侶更長，但識別率最高，更能適應校園師生對校園內(nèi)觀賞植物識別和文化獲取的需求。前2個商業(yè)應用程序無法給出與本地校園有關(guān)的觀賞植物文化信息。

7.2 結(jié)論

本研究選取植物葉片的顏色、形狀、紋理特征，采用SVM分類器，利用iOS和OpenCV技術(shù)開發(fā)了觀賞植物識別系統(tǒng)，基本滿足了公眾對植物識別的要求，為校內(nèi)觀賞植物的精細化識別及人文信息展現(xiàn)提供了可能。但研究所選植物數(shù)量少，還需擴充植物數(shù)量，完善數(shù)據(jù)庫。同時，采用B/S架構(gòu)，建立觀賞植物中心數(shù)據(jù)庫，將數(shù)據(jù)集中于后臺服務器，提高處理效率，擴大應用范圍。

圖5 系統(tǒng)界面及功能展示Figure 5 System interface and function exhibition

表4 各觀賞植物識別應用程序的識別率和所用時間Table 4 Recognition rate and time of various ornamental plants recognition APP

8 參考文獻

［1］ 劉奕清.觀賞植物［M］.北京：化學工業(yè)出版社,2009.

［2］ KUMAR N,BELHUMEUR P N,BISWAS A,et al.Leafsnap:a computer vision system for automatic plant species identification ［C］//FITZGIBBON A,LAZEBNIK S,PERONA P,et al.European Conference on Computer Vision.Heidelberg Berlin:Springer,2012:502－516.

［3］ 陳芳，張廣群，崔坤鵬，等.嵌入式植物自動識別系統(tǒng)的設(shè)計與實現(xiàn)［J］.浙江農(nóng)林大學學報，2013，30（3）：379－384.CHEN Fang,ZHANG Guangqun,CUI Kunpeng,et al.Design and implementation of an embedded automatic plant recognition system ［J］.J Zhejiang A＆F Univ,2013,30（3）:379 － 384.

［4］ 張玉琢，李柏依.植物遠程快速識別的方法［J］.計算機應用，2016，36（增刊2）:206－209.ZHANG Yuzhuo,LI Boyi.Remote rapid recognition method for plants ［J］.J Comput Appl,2016,36（suppl 2）:206 －209.

［5］ OTSU N.A threshold selection method from Gray-Level Histograms ［J］.IEEE Trans Syst Man Cybern,1979,9（1）:62－66.

［6］ 胡秋萍.基于葉片形狀特征的植物識別技術(shù)研究［D］.西安：西安電子科技大學，2014.HU Qiuping.The Study of Plant Identification Technology based on Leaves’Shape Features［D］.Xi’an:Xidian University,2014.

［7］ 柴阿麗.基于計算機視覺和光譜分析技術(shù)的蔬菜葉部病害診斷研究［D］.北京:中國農(nóng)業(yè)科學院,2011.CHAI Ali.Study on Diagnosis of Vegetable Foliage Diseases based on Computer Vision and Spectral Analysis［D］.Beijing:Chinese Academy of Agricultural Sciences,2011.

［8］ 王梅嘉，何東健，任嘉琛.基于Android平臺的蘋果葉病害遠程識別系統(tǒng)［J］.計算機工程與設(shè)計，2015，36（9）： 2585 － 2590.WANG Meijia,HE Dongjian,REN Jiachen.Remote recognition of apple leaf disease based on Android platform ［J］.Comput Eng Des,2015,36（9）:2585 － 2590.

［9］ 丁世飛,齊丙娟,譚紅艷，等.支持向量機理論與算法研究綜述［J］.電子科技大學學報，2011，40（1）：2－10.DING Shifei,QI Bingjuan,TAN Hongyan,et al.An overview on theory and algorithm of support vector machines ［J］.J Univ Electron Sci Technol China,2011,40（1）:2 － 10.

［10］ 王麗君，淮永建，彭月橙.基于葉片圖像多特征融合的觀葉植物種類識別［J］.北京林業(yè)大學學報，2015，37（1）:55 － 61.WANG Lijun,HUAI Yongjian,PENG Yuecheng.Method of identification of foliage from plants based on extraction of multiple features of leaf images ［J］.J Beijing For Univ,2015,37（1）:55 － 61.

［11］ 李洋，李岳陽，羅海馳，等.基于形狀特征的植物葉片在線識別方法［J］.計算機工程與應用，2017，53（2）：162－165.LI Yang,LI Yueyang,LUO Haichi,et al.Online plant left recognition based on shape features ［J］.Comput Eng Appl,2017,53（2）:162 － 165.