小麥籽粒多角度圖片庫(kù)構(gòu)建

李平,鄭穎,馮繼克,李艷翠,2,馬玉琨

（1.河南科技學(xué)院信息工程學(xué)院,河南 新鄉(xiāng) 453003;2.河南師范大學(xué)計(jì)算機(jī)與信息工程學(xué)院,河南 新鄉(xiāng) 453007）

中國(guó)小麥常年種植面積和總產(chǎn)量分別占糧食生產(chǎn)面積和總產(chǎn)量的25%和22%左右[1].小麥種子質(zhì)量是決定小麥正常生長(zhǎng)以及產(chǎn)量的重要因素之一,其質(zhì)量問題一直是國(guó)家關(guān)注的焦點(diǎn).小麥籽粒識(shí)別和分類是小麥種子質(zhì)量評(píng)估的重要任務(wù).快速準(zhǔn)確的小麥籽粒識(shí)別可以為種子企業(yè)和育種者挑選優(yōu)質(zhì)品種提供幫助,節(jié)省成本.

隨著信息技術(shù)的發(fā)展,農(nóng)作物資源信息化構(gòu)建已成趨勢(shì).農(nóng)業(yè)種質(zhì)資源是保障國(guó)家糧食安全與重要農(nóng)產(chǎn)品供給的戰(zhàn)略性資源.需構(gòu)建多層次收集保護(hù)、多元化開發(fā)利用資源庫(kù),為發(fā)展現(xiàn)代種業(yè)、保障糧食安全奠定基礎(chǔ)[2-3].中央一號(hào)文件指出加強(qiáng)種質(zhì)資源庫(kù)的構(gòu)建,保護(hù)好資源是重中之重,加強(qiáng)完善種質(zhì)資源的保護(hù),可以豐富我國(guó)種子庫(kù)的戰(zhàn)略儲(chǔ)備[3-6].

近幾年機(jī)器學(xué)習(xí)發(fā)展迅速,人工智能在農(nóng)業(yè)領(lǐng)域應(yīng)用越來越廣泛,深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)的一個(gè)分支,能夠從數(shù)量繁多的原始無監(jiān)督數(shù)據(jù)中提取復(fù)雜特征,是當(dāng)下進(jìn)行數(shù)據(jù)分析的有效方式之一[7-8].樊超等[9]研究對(duì)于實(shí)現(xiàn)基于機(jī)器視覺的小麥品種分類的實(shí)用化提供了理論依據(jù)和參考.何勝美等[10]研究表明,形狀特征和顏色特征能對(duì)小麥品種和來源地有效識(shí)別,品種識(shí)別率95.0%以上,來源地識(shí)別率平均為87.5%.Punn等[11]利用機(jī)器學(xué)習(xí)算法對(duì)小麥顆粒進(jìn)行分類,SVM準(zhǔn)確率為86.8%,神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率為94.5%.孟惜等[12]利用改進(jìn)BP網(wǎng)絡(luò)對(duì)小麥品種識(shí)別,結(jié)合PCA降維后小麥品種平均準(zhǔn)確率為91.582%,利用PSO算法優(yōu)化網(wǎng)絡(luò)后準(zhǔn)確率增加到94.3%.陳文根等[13]基于深度卷積網(wǎng)絡(luò)對(duì)小麥品種進(jìn)行識(shí)別研究,該方法平均識(shí)別率達(dá)到97.78%.在機(jī)器學(xué)習(xí)中,模型越復(fù)雜越專注于訓(xùn)練數(shù)據(jù),會(huì)導(dǎo)致訓(xùn)練效果較好,但測(cè)試效果欠佳,造成這種現(xiàn)象是因?yàn)楫a(chǎn)生了過擬合.而深度神經(jīng)網(wǎng)絡(luò)因?yàn)槠渚W(wǎng)絡(luò)結(jié)構(gòu),往往需要更多的數(shù)據(jù)來避免其過擬合的發(fā)生,保證訓(xùn)練模型在新的數(shù)據(jù)中有可以接受的結(jié)果.

在現(xiàn)有的小麥信息網(wǎng)站中,沒有同一小麥籽粒多幅圖片,不利于未來對(duì)種子資源的傳播和使用.在已有的研究中,大多數(shù)為采集小麥籽粒的單面,不能很好地體現(xiàn)小麥籽粒的特征性,本文通過3種角度采集構(gòu)建小麥籽粒數(shù)據(jù)庫(kù),可以更好地提高小麥籽粒品種識(shí)別的兼容性和準(zhǔn)確性.本文選取種植面積較大的6種小麥種子籽粒進(jìn)行圖片庫(kù)構(gòu)建,每一粒小麥籽粒采集選用3種不同的角度,每一種小麥有3 000張不同的圖片,對(duì)所采集的圖片進(jìn)行預(yù)處理得到不到1 GB的數(shù)據(jù)集.分角度的實(shí)驗(yàn)可以借助于深度學(xué)習(xí)模型更有利地提取小麥籽粒特征,避免一系列問題產(chǎn)生的干擾.最后,基于VGG16[14]模型進(jìn)行分類識(shí)別.

1 數(shù)據(jù)庫(kù)構(gòu)建

1.1 傳統(tǒng)圖像采集

樊超[9]在對(duì)小麥品種進(jìn)行分類研究中,采用的是BENQ_5000E型掃描儀進(jìn)行4個(gè)不同品種和6個(gè)不同品種圖像采集,拍攝時(shí)采用的方法是按照腹溝向上的形態(tài)進(jìn)行掃描.孟惜[12]在對(duì)小麥品種識(shí)別中,采用的是BENQ_5000E型掃描儀進(jìn)行6個(gè)不同品種圖像采集,拍攝時(shí)采用的方法是按照腹溝向上的形態(tài)進(jìn)行掃描.陳文根[13]在對(duì)小麥品種識(shí)別中,采用索尼IMX258進(jìn)行9個(gè)不同品種圖像采集,拍攝時(shí)采用的方法是籽粒背面圖片.所采集的圖像方式太過單一,都是采集的小麥籽粒的單面,不能很好地體現(xiàn)小麥籽粒的特征性,采集圖像較少也不利于在深度學(xué)習(xí)模型中訓(xùn)練.

1.2 本文圖像采集

河南科技學(xué)院生命科技學(xué)院實(shí)驗(yàn)室有小麥品種300多個(gè),本文篩選出黃淮麥區(qū)種植面積較大的6個(gè)小麥品種,進(jìn)行圖像采集.表1為選擇拍攝的小麥品種編號(hào)、品種名稱以及本文對(duì)品種設(shè)置的標(biāo)簽.表1中品種編號(hào)為實(shí)驗(yàn)室原始編號(hào),品種標(biāo)簽為本文處理并報(bào)告結(jié)果所用標(biāo)簽.圖1為小麥品種實(shí)例.

圖1 小麥品種實(shí)例Fig.1 Examples of wheat varieties

表1 小麥品種籽粒信息對(duì)照表Tab.1 Comparison tableof grain information of wheat varieties

本文為了更好地提高品種識(shí)別的兼容性和準(zhǔn)確性,對(duì)選取的品種進(jìn)行同一小麥籽粒,分為三種角度進(jìn)行拍攝,分別為腹溝向上、腹溝朝前、腹溝向下.針對(duì)表1中選出的6個(gè)小麥品種,采用體視鏡進(jìn)行籽粒拍攝,拍攝時(shí)每個(gè)品種挑選出顆粒飽滿的種子1 000粒.拍攝在室內(nèi)自然光照和燈光條件下進(jìn)行,同時(shí),保持拍攝板的干凈整潔,避免雜質(zhì)影響后續(xù)的圖像處理.拍攝時(shí)以黑色吸光絨布為背景,體視顯微鏡參數(shù)設(shè)置為：放大倍數(shù)1倍,分辨率2 688×1 520,自動(dòng)白平衡（AWB）關(guān)閉,寬動(dòng)態(tài)平衡（WDR）關(guān)閉,LED補(bǔ)光燈設(shè)為中等.通過調(diào)整體視顯微鏡右側(cè)焦螺旋對(duì)小麥種子聚焦,每粒小麥分別拍攝腹溝向上、腹溝朝前、腹溝向下和空白4張圖片.小麥籽粒圖像采集過程中,為避免籽粒之間出現(xiàn)漏拍、多拍、錯(cuò)拍等現(xiàn)象,同時(shí)為方便后期篩選處理,使用空白照片將不同顆粒之間的小麥進(jìn)行分隔,圖2所示為采集的小麥籽粒三個(gè)方向的原始圖像,拍攝時(shí)圖像名是日期加自動(dòng)編號(hào).拍攝根據(jù)品種籽粒類別逐類拍攝,每類品種保存至一個(gè)文件夾中.最終得6個(gè)品種的19 800張照片（包含空白照片）,照片大小合計(jì)為3.8 GB.

圖2 小麥籽粒三種角度圖片F(xiàn)ig.2 Image of wheat grain fromthreeangles

1.3 圖像命名

本文拍攝的原始圖像命名格式是時(shí)間加自動(dòng)編號(hào),沒有體現(xiàn)小麥的品種類別和拍攝角度信息.使用Python編寫自動(dòng)命名標(biāo)記程序,重命名后的小麥圖像命名格式為品種標(biāo)簽_籽粒編號(hào)_拍攝角度,如圖3所示.如0_1_1,0_1_3,0_1_3等,命名結(jié)合表1的品種標(biāo)簽,0代表農(nóng)大3416-18,1代表內(nèi)樂288等;標(biāo)簽中第2位數(shù)字代表每個(gè)品種拍攝的小麥顆粒數(shù),0_1代表農(nóng)大3416-18的第一粒小麥,0_2代表農(nóng)大3416-18的第二粒小麥,以此類推；第3個(gè)數(shù)字表示每粒小麥分不同角度拍攝的3張圖像,1代表小麥腹溝向下,2代表小麥腹溝朝前45°,3代表小麥腹溝向上.綜上,3_1_1代表百農(nóng)4199第一粒小麥,拍攝的第一個(gè)角度的圖像,3_2_1代表百農(nóng)4199第二粒小麥,拍攝的第一個(gè)角度的圖像,1_2_3代表內(nèi)樂288第二粒小麥,拍攝的第三個(gè)角度的圖像.使用程序?qū)?個(gè)小麥品種統(tǒng)一命名,刪除空白照片,統(tǒng)一命名后得到18 000張圖像,圖像總大小為3.2 GB.

圖3 小麥圖像命名標(biāo)簽Fig.3 Wheat image naming label

1.4 圖像預(yù)處理

由于在拍攝中一些圖片會(huì)存在主體不夠突出,辨識(shí)度低等問題,圖片拍攝時(shí)沒有按照角度進(jìn)行命名,為方便后續(xù)實(shí)驗(yàn)本文對(duì)圖片先進(jìn)行了預(yù)處理.

原始小麥圖像分辨率為2 688×1 520像素,且原始數(shù)據(jù)中小麥兩邊有部分黑邊.原始圖片帶有影響圖片的因素,因此要先對(duì)數(shù)據(jù)進(jìn)行降噪處理,去除掉照片中的干擾因素,方便后續(xù)實(shí)驗(yàn).為使數(shù)據(jù)更加適合訓(xùn)練模型和降低圖像黑邊對(duì)訓(xùn)練的影響,本文將2 688×1 520像素的圖像切割為1 520×1 520像素.如不對(duì)圖像進(jìn)行壓縮,則易造成內(nèi)存溢出和訓(xùn)練時(shí)間較長(zhǎng)的情況,內(nèi)存溢出將導(dǎo)致模型無法完成訓(xùn)練,本文將其按比例壓縮為152×152像素.圖4為裁剪后的小麥籽粒圖像.對(duì)所有圖像進(jìn)行壓縮后小麥籽粒圖片大小共計(jì)為433 MB.

圖4 裁剪壓縮后圖像Fig.4 Imageafter clipping and compression

1.5 VGG16網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)[14-15]是深度學(xué)習(xí)的代表算法之一,一般有卷積層、池化層、全連接層和Softmax成組成.卷積層的功能主要是對(duì)輸入數(shù)據(jù)進(jìn)行特征提取,內(nèi)部包含多個(gè)卷積核,組成卷積核的每個(gè)元素都對(duì)應(yīng)一個(gè)權(quán)重和偏差量,類似于一個(gè)神經(jīng)元.在卷積層進(jìn)行提取特征后,數(shù)據(jù)的特征圖就會(huì)被傳遞到池化層進(jìn)行特征選擇和信息過濾.全連接層位于卷積神經(jīng)網(wǎng)絡(luò)隱含層的最后部分,并只向其他全連接傳遞信號(hào).本文以VGG16為例,驗(yàn)證視覺領(lǐng)域的主流算法深度學(xué)習(xí)在本數(shù)據(jù)集上的適用性.

2 實(shí)驗(yàn)驗(yàn)證

2.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)使用PyCharm開發(fā)環(huán)境和Python語言,計(jì)算機(jī)硬件為Intel Core I7-9300HQ,16G內(nèi)存,NVIDIA Ge Force GTX 1600Ti顯卡,Windows10 X64操作系統(tǒng).實(shí)驗(yàn)數(shù)據(jù)共有6組實(shí)驗(yàn)對(duì)比,按照8∶1∶1的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集,模型訓(xùn)練使用Kreas框架,訓(xùn)練模型使用的參數(shù)batch_size設(shè)置為32,epochs設(shè)置為15,激活函數(shù)為softmax,優(yōu)化器為SGD.

2.2 數(shù)據(jù)增強(qiáng)

卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)比較復(fù)雜,需要大量的數(shù)據(jù)支持訓(xùn)練并獲得其結(jié)果,目的就是為了避免發(fā)生過擬合現(xiàn)象.在實(shí)際應(yīng)用中很難獲得大量的圖像數(shù)據(jù),所以采用數(shù)據(jù)增強(qiáng)成為一種可以獲得大量數(shù)據(jù)的方法.本文通過原圖、翻轉(zhuǎn)、旋轉(zhuǎn)、對(duì)比度增強(qiáng)、亮度增強(qiáng)、顏色增強(qiáng)擴(kuò)充數(shù)據(jù)集.翻轉(zhuǎn)角度圖采用整體旋轉(zhuǎn)180度,旋轉(zhuǎn)角度圖片采用逆時(shí)針旋轉(zhuǎn)20度,對(duì)對(duì)比度、亮度、顏色采用Python圖像處理庫(kù)中Image Enhance模塊對(duì)其進(jìn)行數(shù)據(jù)增強(qiáng),對(duì)其設(shè)置的范圍都在1.5.圖5為數(shù)據(jù)增強(qiáng)的效果圖.

圖5 數(shù)據(jù)增強(qiáng)圖片實(shí)例Fig.5 Examplesof dataenhanced picture

2.3 實(shí)驗(yàn)設(shè)置

針對(duì)本文圖像數(shù)據(jù),分別進(jìn)行分角度原數(shù)據(jù)、分角度增強(qiáng)數(shù)據(jù)、角度混合數(shù)據(jù)實(shí)驗(yàn),具體實(shí)驗(yàn)設(shè)置如下：

分角度原數(shù)據(jù)：腹溝向下、腹溝朝前、腹溝向上原數(shù)據(jù),選擇每種品種1 000張圖片,每個(gè)角度計(jì)6 000張圖片.

分角度增強(qiáng)數(shù)據(jù)：選擇每個(gè)角度的圖像,對(duì)其進(jìn)行數(shù)據(jù)增強(qiáng)操作,將數(shù)據(jù)量進(jìn)行擴(kuò)增,這樣可以使復(fù)雜的卷積神經(jīng)網(wǎng)絡(luò)更好的訓(xùn)練,從而減少過擬合的風(fēng)險(xiǎn).增強(qiáng)方式分別為翻轉(zhuǎn)、旋轉(zhuǎn)、對(duì)比度增強(qiáng)、亮度增強(qiáng)、顏色增強(qiáng),每個(gè)角度每種品種1 000張圖片,每個(gè)角度數(shù)據(jù)擴(kuò)充完為5 000張,每個(gè)角度共計(jì)30 000張圖片.

角度混合數(shù)據(jù)：對(duì)于角度混合數(shù)據(jù)分為兩種,第一種是腹溝向下、腹溝朝前、腹溝向上原數(shù)據(jù),選擇每種品種1 000張圖片,三種角度共計(jì)6 000張圖片；第二種是腹溝向下、腹溝朝前、腹溝向上原數(shù)據(jù),選擇每種品種3 000張圖片,三種角度共計(jì)18 000張圖片.圖6為實(shí)驗(yàn)流程圖.

圖6 實(shí)驗(yàn)流程Fig.6 Experimental flow chart

2.4 結(jié)果及分析

對(duì)小麥的腹溝向下、腹溝朝前、腹溝向上、腹溝向下數(shù)據(jù)增強(qiáng)、腹溝朝前數(shù)據(jù)增強(qiáng)、腹溝向上數(shù)據(jù)增強(qiáng)、角度混合6 000張圖片、角度混合18 000張圖片進(jìn)行實(shí)驗(yàn),模型的小麥腹溝朝前數(shù)據(jù)訓(xùn)練損失精度曲線和驗(yàn)證損失精度曲線如圖7-a和圖7-b所示.由表2和圖7-a可以看出,腹溝朝前在曲線的末端驗(yàn)證精度和訓(xùn)練精度并未達(dá)到了重疊,但驗(yàn)證損失和訓(xùn)練損失基本一致,準(zhǔn)確率達(dá)95.1%.由表2和圖7-b可以看出,腹溝朝前數(shù)據(jù)增強(qiáng)在曲線的末端驗(yàn)證精度和訓(xùn)練精度達(dá)到了重疊,驗(yàn)證損失和訓(xùn)練損失也基本一致,準(zhǔn)確率達(dá)98.7%.如表2所示,通過實(shí)驗(yàn)對(duì)比對(duì)原始數(shù)據(jù)和數(shù)據(jù)增強(qiáng)的三種角度來說腹溝朝前的準(zhǔn)確率是最高的,準(zhǔn)確率為95.1%和98.7%;當(dāng)對(duì)所有角度混在一起分別選擇6 000張圖片和18 000張圖片進(jìn)行實(shí)驗(yàn),結(jié)果顯示準(zhǔn)確率分別為92.6%和97.5%,從結(jié)果看角度混合圖片在6 000張的時(shí)候比18 000張圖片低幾個(gè)百分點(diǎn),說明從數(shù)據(jù)量來說沒有達(dá)到,當(dāng)圖片數(shù)量到達(dá)18 000張時(shí),對(duì)于小麥籽粒特征提取更加準(zhǔn)確.通過角度混合后的準(zhǔn)確率相比3種角度單獨(dú)實(shí)驗(yàn)的準(zhǔn)確率有明顯提高,進(jìn)行同一小麥籽粒多幅圖片更有利于小麥籽粒特征的提取,進(jìn)而提高小麥籽粒品種的兼容性和準(zhǔn)確性.

圖7 小麥腹溝朝前數(shù)據(jù)損失和精度曲線Fig.7 Enhancement loss and precision curveof wheat ventral sulcusforward downward data

表2 不同數(shù)據(jù)結(jié)果比較Tab.2 Comparison of different dataresults

由3種角度單獨(dú)實(shí)驗(yàn)結(jié)果來看,腹溝朝前的圖片更有利于深度學(xué)習(xí)模型提取小麥籽粒特征.對(duì)腹溝向下的圖片進(jìn)行數(shù)據(jù)增強(qiáng),準(zhǔn)確率有明顯的提升,說明可用采用數(shù)據(jù)增強(qiáng)等方法進(jìn)一步提高識(shí)別性能.

為分析不同品種小麥籽粒的識(shí)別效果,本文利用混淆矩陣對(duì)結(jié)果進(jìn)行分析.在混淆矩陣中,深色表示識(shí)別準(zhǔn)確率,顏色越深表示識(shí)別率越高.0-5代表了6種小麥類別,具體的介紹在表1.圖8-a到圖8-c分別代表的是腹溝向下、腹溝朝前、腹溝向上.圖9-a到圖9-c分別代表的是腹溝向下數(shù)據(jù)增強(qiáng)、腹溝朝前數(shù)據(jù)增強(qiáng)、腹溝向上數(shù)據(jù)增強(qiáng).綜合圖8和圖9可用發(fā)現(xiàn)1和5識(shí)別錯(cuò)誤率最高,出現(xiàn)這種錯(cuò)誤的原因是它們和其他品種在紋理、顏色、形狀等特征上比較相似,如圖10所示.

圖8 原始數(shù)據(jù)混淆矩陣對(duì)比Fig.8 Confusion matrix pair results

圖9 數(shù)據(jù)增強(qiáng)混淆矩陣對(duì)比Fig.9 Confusion matrix pair results

圖10 錯(cuò)誤率最高的種子對(duì)比Fig.10 Comparison of seeds with thehighest error rate

3 小結(jié)

對(duì)于傳統(tǒng)的小麥籽粒種子圖像采集,本文構(gòu)建了同一小麥籽粒多幅圖片的小麥種子籽粒圖片庫(kù).然后對(duì)圖片進(jìn)行自動(dòng)更名、裁剪和壓縮等處理.使用卷積神經(jīng)網(wǎng)絡(luò)中的VGG16模型進(jìn)行腹溝向下、腹溝朝前、腹溝向上、腹溝向下數(shù)據(jù)增強(qiáng)、腹溝朝前數(shù)據(jù)增強(qiáng)、腹溝向上數(shù)據(jù)增強(qiáng)、角度混合的識(shí)別,結(jié)果表明分角度小麥籽粒分類數(shù)據(jù)庫(kù)有助于深度學(xué)習(xí)模型更準(zhǔn)確地提取小麥籽粒特征,數(shù)據(jù)增強(qiáng)后準(zhǔn)確率達(dá)98.7%,當(dāng)混合所有角度進(jìn)行實(shí)驗(yàn),準(zhǔn)確率達(dá)97.5%,高于3個(gè)角度單獨(dú)實(shí)驗(yàn)的結(jié)果,說明構(gòu)建同一小麥籽粒圖片分角度采集數(shù)據(jù)是有必要的,更有利于小麥籽粒特征的提取,提高了品種識(shí)別的兼容性和準(zhǔn)確性.而腹溝朝前數(shù)據(jù)增強(qiáng)后準(zhǔn)確率比其他兩種角度有明顯的提升,表明腹溝朝前數(shù)據(jù)更有利于深度學(xué)習(xí)模型提取小麥籽粒特征,驗(yàn)證了分角度數(shù)據(jù)采集的合理性.實(shí)驗(yàn)結(jié)果表明本圖片庫(kù)的圖片經(jīng)過預(yù)處理之后一致性較好,有助于深度學(xué)習(xí)模型更好地提取特征,為后面做小麥分類更深層的研究提供基礎(chǔ)資源.下一步工作是針對(duì)小麥資料圖片數(shù)據(jù)進(jìn)行深入的分析,探索適用小麥籽粒識(shí)別的模型并將之應(yīng)用于實(shí)際工作中.