基于微調(diào)型VGG16的登海605玉米品種鑒別方法研究

王 佳, 馬 睿, 趙 威, 郭宏杰, 馬德新

(青島農(nóng)業(yè)大學(xué),青島 266109)

我國是玉米生產(chǎn)大國,總產(chǎn)量居世界第二,玉米是畜牧養(yǎng)殖的重要飼料來源,也是各行各業(yè)的不可或缺的原料之一,假冒偽劣玉米種子會(huì)擾亂市場(chǎng),造成產(chǎn)量損失與品質(zhì)下降,所以玉米種子的真?zhèn)舞b別在玉米生產(chǎn)、加工和銷售過程中起著至關(guān)重要的作用。傳統(tǒng)的種子鑒別方法主要有人工檢測(cè)法、化學(xué)鑒定法等,但是存在主觀性強(qiáng)、制備過程復(fù)雜、專業(yè)性強(qiáng)、不能在線實(shí)時(shí)檢測(cè)等問題,在生產(chǎn)生活中難以推廣[1-3]。因此設(shè)計(jì)一種客觀準(zhǔn)確、省時(shí)省力、高效無損的玉米種子真?zhèn)舞b別方法是十分必要的。

深度學(xué)習(xí)方法是一種特征表示方法,它能將原數(shù)據(jù)通過簡(jiǎn)單的多種非線性模型組合轉(zhuǎn)變?yōu)楦邔哟蔚某橄笮问?其核心是各層特征,通過通用的學(xué)習(xí)過程自主獲得[4-7]。深度學(xué)習(xí)最早由Hinton等[8]在2006年提出,解決了大規(guī)模多層神經(jīng)網(wǎng)絡(luò)在訓(xùn)練速度慢的難題,奠定了深度學(xué)習(xí)的基礎(chǔ);Krizhevsky等[9]提出的學(xué)習(xí)模型AlexNet成功奪冠,并將錯(cuò)誤率降低到16%。2015年,Lecun等[10]明確了深度學(xué)習(xí)的定義,指出深度學(xué)習(xí)是一種復(fù)雜的特征表示學(xué)習(xí),具有多個(gè)級(jí)別的表示。

相對(duì)于傳統(tǒng)機(jī)器學(xué)習(xí),深度學(xué)習(xí)能更好地提取農(nóng)業(yè)領(lǐng)域所采集圖像和結(jié)構(gòu)化數(shù)據(jù)的各種特征,逐漸受到越來越多國內(nèi)外專家學(xué)者的青睞,相應(yīng)研究成果不斷涌現(xiàn),因此深度學(xué)習(xí)在農(nóng)業(yè)中被廣泛應(yīng)用,主要方向有果實(shí)識(shí)別、雜草識(shí)別等,是施肥控制、目標(biāo)檢測(cè)、路線規(guī)劃、機(jī)械作業(yè)避障等農(nóng)業(yè)生產(chǎn)活動(dòng)的基礎(chǔ)[11-14]。籽粒的品種識(shí)別是籽粒品質(zhì)自動(dòng)化檢測(cè)中的一個(gè)重要方面,國外的學(xué)者們開展基于深度學(xué)習(xí)的玉米籽粒品種識(shí)別研究較早,Altunta[15]采用卷積神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)的方法識(shí)別單倍體和二倍體玉米種子,根據(jù)實(shí)驗(yàn)結(jié)果,VGG-19明顯優(yōu)于其他方法;Tu等[16]利用VGG16網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí),然后對(duì)玉米品種“京科968”鑒定,結(jié)果表明,識(shí)別準(zhǔn)確率高達(dá)98%;徐巖等[17]為了解決傳統(tǒng)算法中人工提取特征的缺陷,以 3個(gè)玉米品種為研究對(duì)象,使用Keras學(xué)習(xí)框架搭建網(wǎng)絡(luò)模型,包括1個(gè)輸入層、5個(gè)連續(xù)的卷積池化結(jié)構(gòu)、3個(gè)全連接層和1個(gè)輸出層,結(jié)果表明:平均識(shí)別率達(dá)到95.49%;汪勇[18]選取5個(gè)品種的玉米種子為研究對(duì)象,通過對(duì)玉米種子圖像的采集、灰度化、中值濾波、閾值分割和形態(tài)學(xué)處理,提取了玉米種子的輪廓點(diǎn)數(shù)、面積、周長、圓形度、長短軸、直徑、緊湊度和偏心率8個(gè)特征參數(shù),結(jié)果表明,5個(gè)品種玉米種子的識(shí)別正確率分別為92%、90%、92%、94%、94%,具有較高的識(shí)別正確率;馮曉等[19]基于MobileNetV2和遷移學(xué)習(xí)構(gòu)建玉米籽粒圖像品種識(shí)別模型,針對(duì)已有研究中多以玉米籽粒單面識(shí)別為主,分析對(duì)比玉米籽粒單、雙面特征建模及識(shí)別性能。結(jié)果表明,玉米籽粒雙面特征建模的雙面識(shí)別準(zhǔn)確率達(dá)99.83%,優(yōu)于單面特征建模識(shí)別以及胚面和非胚面圖像分別建模后雙面識(shí)別;王佳等[20]選用不同產(chǎn)地登海605玉米種子440粒,其他品種480粒,采集玉米種子胚面和胚乳面制作數(shù)據(jù)集,通過圖像處理技術(shù)對(duì)圖像進(jìn)行預(yù)處理,并按照7∶2∶1的比例將數(shù)據(jù)集分為訓(xùn)練集、驗(yàn)證集和測(cè)試集,分別使用共5種網(wǎng)絡(luò)模型利用遷移學(xué)習(xí)對(duì)3類數(shù)據(jù)集進(jìn)行分類測(cè)試,結(jié)果表明,5種網(wǎng)絡(luò)模型在雙面數(shù)據(jù)集的平均識(shí)別準(zhǔn)確率最高,測(cè)試識(shí)別準(zhǔn)確率為99.05%,ResNet網(wǎng)絡(luò)在3類數(shù)據(jù)集中的分類效果最佳,在雙面測(cè)試集上為99.91%。相關(guān)研究表明基于深度學(xué)習(xí)的種子真?zhèn)舞b別方法具有方便快捷、客觀無損、應(yīng)用范圍廣等優(yōu)點(diǎn)。

研究利用卷積神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)相結(jié)合的方法,建立胚面、胚乳、雙面混合3類數(shù)據(jù)集,構(gòu)建登海605玉米品種真?zhèn)舞b別模型,對(duì)遷移學(xué)習(xí)的VGG16模型進(jìn)行微調(diào),從ImageNet獲得不同比例的權(quán)重范圍,選擇出準(zhǔn)確率高且訓(xùn)練成本低的學(xué)習(xí)策略,節(jié)省網(wǎng)絡(luò)訓(xùn)練時(shí)間,提升網(wǎng)絡(luò)性能。

1 材料與方法

1.1 圖像采集及預(yù)處理

玉米種子樣本分為“登海605”和“非登海605”兩類,其中“登海605”種子440粒,“非登海605”種子6個(gè)品種共640粒,詳細(xì)品種名稱、數(shù)量及產(chǎn)地見表1。

表1 實(shí)驗(yàn)材料

使用黑色植絨布為拍攝背景并隨機(jī)擺放玉米種子,在自然光照條件下采用佳能80D型數(shù)碼相機(jī)在室內(nèi)拍攝,拍攝距離固定,采集到的原始圖像如圖1所示。

圖1 原始采集圖像

為提高玉米種子識(shí)別的準(zhǔn)確率,采用單粒鑒別對(duì)玉米種子圖像進(jìn)行分類識(shí)別,使用數(shù)字圖像處理技術(shù),將單粒玉米種子分割出來。利用Python及Opencv對(duì)多目標(biāo)圖像進(jìn)行區(qū)域分割,分割方法為首先對(duì)彩色圖像閾值分割和二值化,利用圖像中要提取的目標(biāo)區(qū)域與其背景在灰度特性上的差異,從數(shù)字圖像中提取出目標(biāo)玉米種子;再采用雙邊濾波加填充進(jìn)行保邊去噪,利用數(shù)學(xué)形態(tài)學(xué)處理方法及腐蝕膨脹對(duì)玉米圖像邊緣進(jìn)行修正,通過輪廓檢測(cè)算法提取出每個(gè)玉米種子的外部形態(tài)輪廓;最后通過標(biāo)志出的玉米種子輪廓,確定種子最小外接矩形,將單粒玉米種子從多粒玉米種子圖像中分割出來。圖像處理過程如圖2所示。

圖2 單粒玉米種子提取過程

1.2 建模數(shù)據(jù)集方案設(shè)計(jì)

建立胚面、胚乳及雙面混合3類數(shù)據(jù)集。隨機(jī)選取每類玉米種子圖像中的70%作為訓(xùn)練集、20%作為驗(yàn)證集、10%作為測(cè)試集,詳細(xì)情況如表2所示。

表2 數(shù)據(jù)集建模方案

針對(duì)小樣本泛化能力不足的問題,在訓(xùn)練前增加圖像數(shù)量可以提高訓(xùn)練結(jié)果的準(zhǔn)確率,所以對(duì)訓(xùn)練集圖像進(jìn)行隨機(jī)旋轉(zhuǎn)、水平移動(dòng)、垂直移動(dòng)、錯(cuò)切、放大、水平翻轉(zhuǎn)6種變換,提高模型的準(zhǔn)確性和魯棒性,增加模型的可靠性。

1.3 模型網(wǎng)絡(luò)結(jié)構(gòu)

VGG16網(wǎng)絡(luò)模型由13個(gè)卷積層和3個(gè)全連接層組成共16層,與其他網(wǎng)絡(luò)結(jié)構(gòu)不同,VGG16網(wǎng)絡(luò)模型通過采用連續(xù)的3×3的卷積核代替較大的5×5,7×7,11×11的卷積核,2個(gè) 3×3 的卷積核疊加形成的感受野,效果與1個(gè)5×5的卷積核的感受野相同,利用3個(gè)疊加就等同于1個(gè)7×7的效果,在保持感受野相同的條件下,使用3個(gè)3×3的卷積就使用了3個(gè)非線性激活函數(shù),這可以增加非線性表達(dá)能力,從而提供更復(fù)雜的模式學(xué)習(xí)。同時(shí)3個(gè)3×3的卷積核堆疊參數(shù)量比1個(gè)7×7的卷積核參數(shù)鏈還要少,既增加了網(wǎng)絡(luò)層數(shù)又減少了參數(shù)量,這說明使用更小的卷積核,并增加網(wǎng)絡(luò)模型的深度,可增加模型的復(fù)雜度,獲得更多不同類型的特征,改善網(wǎng)絡(luò)模型的識(shí)別精確度

1.4 遷移學(xué)習(xí)方式

遷移學(xué)習(xí)是通過將一個(gè)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)初始化另一個(gè)訓(xùn)練任務(wù)的方法,能夠降低直接對(duì)目標(biāo)域從頭開始學(xué)習(xí)的高成本,從而提高模型的訓(xùn)練速度、節(jié)省硬件資源,解決數(shù)據(jù)集樣本過小等問題。遷移學(xué)習(xí)需要保持模型中卷積層的結(jié)構(gòu)不變,將訓(xùn)練好的權(quán)重載入卷積層;設(shè)計(jì)適合新任務(wù)的全連接層,用新任務(wù)的全連接層取代原來的全連接層,與卷積層構(gòu)成新任務(wù)的訓(xùn)練模型。利用遷移學(xué)習(xí)與微調(diào)(Fine-Tuning FT,見圖3)相結(jié)合的方法,從ImageNet獲得不同權(quán)重范圍、全程參與訓(xùn)練并調(diào)整參數(shù),實(shí)現(xiàn)更好的網(wǎng)絡(luò)性能。

圖3 微調(diào)遷移學(xué)習(xí)算法流程

1.5 實(shí)驗(yàn)環(huán)境及模型參數(shù)配置

實(shí)驗(yàn)基于TensorFlow平臺(tái),采用Keras深度學(xué)習(xí)框架,使用Jupyter搭建模型,實(shí)驗(yàn)超參數(shù)見表3。

表3 參數(shù)配置表

2 結(jié)果與分析

2.1 不同策略下VGG16模型的分類識(shí)別性能分析

為了分析不同學(xué)習(xí)策略下VGG16在登海605品種鑒別中的效果,采用微調(diào)定義了4種不同的訓(xùn)練策略并在不同數(shù)據(jù)集上進(jìn)行訓(xùn)練,從ImageNet獲得的權(quán)重范圍,即不同學(xué)習(xí)策略需要微調(diào)的層所占百分比,分別為25%、50%、75%、100%。采用直接遷移學(xué)習(xí)(Transfer Learning,TL)訓(xùn)練整個(gè)網(wǎng)絡(luò)。

胚面、胚乳面、雙面混合數(shù)據(jù)集在不同訓(xùn)練策略下獲得的訓(xùn)練時(shí)間、測(cè)試集準(zhǔn)確率、訓(xùn)練集平均準(zhǔn)確率、驗(yàn)證集平均準(zhǔn)確率和模型量大小如表4所示。在胚面數(shù)據(jù)集和雙面混合數(shù)據(jù)集上,FT75%策略下的VGG16模型每輪平均訓(xùn)練時(shí)間最短,分別為20.01 s和41.91 s,在胚乳數(shù)據(jù)集上訓(xùn)練時(shí)間最短的為FT50%策略;FT75%策略在3類數(shù)據(jù)集上的測(cè)試結(jié)果均為100%,FT50%策略在胚面數(shù)據(jù)集和雙面混合數(shù)據(jù)的測(cè)試結(jié)果為100%,FT25%策略和TL只在胚面數(shù)據(jù)集上測(cè)試準(zhǔn)確率達(dá)到100%,FT100%策略在3類數(shù)據(jù)集上的訓(xùn)練結(jié)果均低于其他FT策略。

表4 不同F(xiàn)T策略的VGG16分類性能

2.2 不同策略下VGG16模型的準(zhǔn)確性分析

準(zhǔn)確率箱線圖可以描述不同訓(xùn)練策略下數(shù)據(jù)中位數(shù)和數(shù)據(jù)的離散程度,如圖4所示,在胚面、胚乳面、雙面混合數(shù)據(jù)集的訓(xùn)練過程中,FT100%策略下中位數(shù)低于其他策略,數(shù)據(jù)的離散程度高于其他策略;TL策略下中位數(shù)和離散程度與FT75%策略下的VGG16模型接近。機(jī)器學(xué)習(xí)中,學(xué)習(xí)成本是影響作物品種鑒別的重要因素,相比較于其他學(xué)習(xí)策略,考慮到VGG16模型在FT75%策略下學(xué)習(xí)成本(訓(xùn)練時(shí)間)更低,且FT75%策略下分類結(jié)果的準(zhǔn)確率較高,在對(duì)登海605玉米品種進(jìn)行鑒別時(shí)優(yōu)選FT75%策略。

圖4 驗(yàn)證集準(zhǔn)確率箱線圖

2.3 全連接層神經(jīng)元連接個(gè)數(shù)對(duì)FT75%-VGG16模型的性能影響分析

全連接層在整個(gè)卷積神經(jīng)網(wǎng)絡(luò)中起到“分類器”的作用,起到將學(xué)到的“分布式特征表示”映射到樣本標(biāo)記空間的作用[21]。在訓(xùn)練過程中,隨機(jī)減少一部分神經(jīng)元的訓(xùn)練,能夠使網(wǎng)絡(luò)整體參數(shù)量減少,從而節(jié)省計(jì)算量選定最優(yōu)FT75%學(xué)習(xí)策略下的VGG16模型作為基準(zhǔn)模型,保持其他參數(shù)不變,選擇種不同神經(jīng)元數(shù)量,分別為4 096、2 048、1 024、512、256,在雙面混合數(shù)據(jù)集上進(jìn)行訓(xùn)練測(cè)試,迭代次數(shù)為40,分析學(xué)習(xí)率對(duì)VGG16網(wǎng)絡(luò)的穩(wěn)定性和精確性的影響。

神經(jīng)元數(shù)量為4 096、2 048、1 024、512、256在驗(yàn)證集上的平均準(zhǔn)確率分別為97.57%、97.70%、97.59%、97.45%、97.70%,對(duì)比數(shù)據(jù)發(fā)現(xiàn),降低全連接層神經(jīng)元連接個(gè)對(duì)基準(zhǔn)網(wǎng)絡(luò)準(zhǔn)確率不會(huì)產(chǎn)生較大影響,但是減少神經(jīng)元連接個(gè)數(shù)能夠降低基準(zhǔn)模型的參數(shù)量,降低模型的復(fù)雜度。同時(shí)發(fā)現(xiàn),當(dāng)神經(jīng)元連接數(shù)量為2 048時(shí),基準(zhǔn)網(wǎng)絡(luò)的準(zhǔn)確率曲線和損失值曲線最為平滑,穩(wěn)定性最強(qiáng),因此我們?cè)趯?duì)登海605玉米品種鑒別是可以選擇全連接層神經(jīng)元數(shù)量為2 048。

3 結(jié)論

采用機(jī)器學(xué)習(xí)與深度學(xué)習(xí)相結(jié)合的方法,建立了基于遷移學(xué)習(xí)的微調(diào)型VGG16登海605真?zhèn)舞b別模型,并用多個(gè)指標(biāo)來評(píng)價(jià)模型的性能?；谶w移學(xué)習(xí)的VGG16模型在FT75%策略下取得了最優(yōu)效果,在3類數(shù)據(jù)集上的測(cè)試結(jié)果均為100%,同時(shí)發(fā)現(xiàn)全連接層神經(jīng)元數(shù)量為2 048時(shí),網(wǎng)絡(luò)模型最為穩(wěn)定,若利用遷移學(xué)習(xí)對(duì)登海605玉米品種進(jìn)行鑒別可優(yōu)選FT75%-2048策略。

利用深度學(xué)習(xí)與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法,可以對(duì)玉米種子進(jìn)行無損、高效的鑒別,為構(gòu)建基于卷積神經(jīng)網(wǎng)絡(luò)的作物種子真?zhèn)舞b別模型提供參考,以期加速種質(zhì)資源保護(hù)、作物表型采集以及科學(xué)育種進(jìn)程,促進(jìn)農(nóng)業(yè)領(lǐng)域智能化發(fā)展。相比于傳統(tǒng)方法,這種方法可以后期可以對(duì)模型進(jìn)行不斷優(yōu)化,形成能夠鑒別多種作物種子的在線識(shí)別系統(tǒng),對(duì)提高作物種業(yè)的質(zhì)量具有重要意義。