基于深度學(xué)習(xí)的菜用大豆莢型表型識別方法

翔 云 陳其軍 宋栩杰 蔡 昌 卜遠(yuǎn)鵬 劉 娜,*

(1 浙江工業(yè)大學(xué)信息工程學(xué)院，浙江 杭州 310000；2 浙江省農(nóng)業(yè)科學(xué)院蔬菜研究所，農(nóng)產(chǎn)品質(zhì)量安全危害因子與風(fēng)險防控國家重點實驗室，浙江 杭州 310021)

菜用大豆，又稱鮮食大豆、毛豆，指在豆莢呈綠色、籽粒尚未達(dá)到完全成熟、生理上處于鼓粒盛期時采收用作蔬菜食用的大豆，是一種重要的傳統(tǒng)豆類蔬菜[1]。目前，我國菜用大豆年種植面積40萬hm2左右，總產(chǎn)量超過400萬t，年產(chǎn)值約100億元，是世界上最大的菜用大豆生產(chǎn)國和速凍加工出口國。在我國東南沿海各省，菜用大豆是農(nóng)業(yè)出口創(chuàng)匯的重要新興產(chǎn)業(yè)。浙江省由于獨特的氣候優(yōu)勢和區(qū)位優(yōu)勢，是生產(chǎn)優(yōu)質(zhì)菜用大豆的主要區(qū)域。與普通糧油大豆不同，在外觀品質(zhì)方面，菜用大豆要求豆莢更大，標(biāo)準(zhǔn)莢要求二粒以上。近年來，菜用大豆育種家通過基因標(biāo)記，獲取遺傳和農(nóng)藝形狀的關(guān)系，使菜用大豆的育種水平得到了顯著提高[2]。隨著菜用大豆產(chǎn)業(yè)的不斷發(fā)展，需要培育更多優(yōu)質(zhì)、高產(chǎn)、多抗的菜用大豆新品種[3]。其中，對種質(zhì)資源表型進(jìn)行精準(zhǔn)化、智能化、高通量鑒定是遺傳育種工作順利開展的基礎(chǔ)，同時，對育種過程中大量群體材料進(jìn)行表型鑒定是育種過程中最為重要的環(huán)節(jié)之一[4]。菜用大豆豆莢的籽粒數(shù)目和豆莢的長、寬等直接影響外觀商品性和產(chǎn)量[5]，因此，實現(xiàn)豆莢表型信息的高通量、智能化采集技術(shù)具有一定的應(yīng)用價值[6]。

傳統(tǒng)的菜用大豆表型鑒定技術(shù)較為落后，性狀數(shù)據(jù)采集工作主要由人工完成，采集工作耗費大量時間和人力成本，且因受主觀因素影響，該方法測得結(jié)果的準(zhǔn)確性不高[7]。隨著表型組學(xué)技術(shù)的不斷發(fā)展，種質(zhì)資源鑒定評價水平得到進(jìn)一步提升，其中高通量測序和基因組學(xué)技術(shù)為基因發(fā)掘與應(yīng)用帶來了革命性的突破，使農(nóng)作物育種全面進(jìn)入分子育種新階段。然而，與飛速發(fā)展的基因組技術(shù)相比，作物表型高通量檢測技術(shù)和多重組學(xué)大數(shù)據(jù)整合分析技術(shù)的發(fā)展仍明顯滯后，這已成為現(xiàn)代育種技術(shù)跨越式發(fā)展的阻礙[8]。深度學(xué)習(xí)技術(shù)能夠利用標(biāo)注好的數(shù)據(jù)集自動學(xué)習(xí)數(shù)據(jù)之間的內(nèi)在聯(lián)系和規(guī)律，一個訓(xùn)練好的深度學(xué)習(xí)模型能夠提取圖片中的深層特征，并利用其特征對圖片進(jìn)行分類或者對圖片中的目標(biāo)進(jìn)行識別，擁有較高的準(zhǔn)確率和快速的識別能力[9]。受豆粒高度影響，菜用大豆豆粒連接處會產(chǎn)生一個凹槽和較暗的區(qū)域，在豆粒上產(chǎn)生一個較明亮的區(qū)域，這些特點正是神經(jīng)網(wǎng)絡(luò)區(qū)分不同豆粒的關(guān)鍵。

目標(biāo)檢測是計算機(jī)視覺領(lǐng)域的基本任務(wù)之一，相關(guān)科研人員已對此進(jìn)行了二十多年的研究[10]。近年隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，目標(biāo)檢測算法從基于手工特征的傳統(tǒng)算法轉(zhuǎn)向了基于深度神經(jīng)網(wǎng)絡(luò)的檢測技術(shù)。從最初2013年提出的R-CNN[11]、OverFeat[12]，發(fā)展到后來的Fast/Faster R-CNN[13]、YOLO[14]系列。近十年時間，基于深度學(xué)習(xí)的目標(biāo)檢測技術(shù)在網(wǎng)絡(luò)結(jié)構(gòu)上，從兩階段模型到一階段模型，從單尺度網(wǎng)絡(luò)到特征金字塔網(wǎng)絡(luò)，舊算法不斷優(yōu)化迭代出更為先進(jìn)的算法，這些算法在開放目標(biāo)檢測數(shù)據(jù)集上均表現(xiàn)出了出色的性能，計算機(jī)人工智能技術(shù)也逐步被應(yīng)用到表型鑒定等農(nóng)業(yè)研究領(lǐng)域。YOLO系列算法不需要進(jìn)行感興趣區(qū)域的選擇，因此相較于RCNN系列的算法具有識別速度快，對設(shè)備性能要求低的優(yōu)勢。Lu等[15]利用Faster-RCNN，SSD和YOLOv3對豆莢進(jìn)行檢測，分別獲得了86.2%、80.1%和87.4%的識別準(zhǔn)確率。Yang等[16]利用mask-RCNN解決了不規(guī)則擺放豆莢的識別問題。

由于之前的研究多使用分類網(wǎng)絡(luò)來進(jìn)行菜用大豆莢粒數(shù)的識別[17]，無法識別多粒莢同時出現(xiàn)在一張圖片上的情形，因此本研究基于最新的YOLOv5技術(shù)，訓(xùn)練出一個可以對豆莢不同籽粒數(shù)目進(jìn)行快速識別的模型，并在檢測階段使用機(jī)器視覺技術(shù)獲取豆莢長、寬數(shù)據(jù)，從而完成對菜用大豆豆莢的表型數(shù)據(jù)自動化精準(zhǔn)采集。本研究將基于深度學(xué)習(xí)的智能數(shù)據(jù)采集技術(shù)應(yīng)用在菜用大豆莢型表型識別中，建立菜用大豆莢型表型信息精準(zhǔn)、高通量的智能采集技術(shù)，旨在減輕育種家在莢型表型獲取上的壓力，提高育種的精準(zhǔn)度和工作效率。

1 材料與方法

1.1 試驗材料

選取浙江省農(nóng)業(yè)科學(xué)院蔬菜所育成的浙農(nóng)秋豐4號和新品系浙農(nóng)21-7的菜用大豆植株的豆莢，每個品種隨機(jī)選取20株植株，共計40株。所有材料于2021年8月種植于浙江省農(nóng)業(yè)科學(xué)院楊渡科研創(chuàng)新基地。

隨機(jī)選取成熟植株第4～第6節(jié)間的發(fā)育正常的豆莢進(jìn)行拍照，獲取單張單莢圖片。由浙江省農(nóng)業(yè)科學(xué)院劉娜專家團(tuán)隊對單莢圖片進(jìn)行識別和分類，制作成數(shù)據(jù)集，用于分類網(wǎng)絡(luò)的識別。分類網(wǎng)絡(luò)的數(shù)據(jù)集構(gòu)成為單粒莢圖片106張、雙粒莢圖片119張、三粒莢圖片108張，共計333張，經(jīng)旋轉(zhuǎn)和翻轉(zhuǎn)的數(shù)據(jù)增強(qiáng)后共計1 998張。此外，制作了一個單張圖片中包含多個單粒莢、雙粒莢和三粒莢的數(shù)據(jù)集，用于單圖多莢和莢長寬的識別，共計105張圖片。

1.2 試驗方法

使用精靈標(biāo)注肋手2.0.4(杭州快憶科技有限公司)軟件將獲得的豆莢表型圖片進(jìn)行標(biāo)注，獲得YOLOv5網(wǎng)絡(luò)所需的xml標(biāo)注文件，構(gòu)建一個由標(biāo)注文件和圖片組成的數(shù)據(jù)集。數(shù)據(jù)集中，訓(xùn)練集和測試集的比例為8∶2。圖1-A為原始數(shù)據(jù)集圖片，圖1-B為標(biāo)注后的圖片，其中每個框在標(biāo)注后會在xml文件中產(chǎn)生一個位置信息和類別信息。

注：A：原始數(shù)據(jù)集；B：標(biāo)注后的數(shù)據(jù)集。Note：A: Original dataset. B: Annotated dataset.圖1 數(shù)據(jù)集標(biāo)注示意圖Fig.1 Schematic diagram of dataset annotation

將上述自建的豆莢數(shù)據(jù)集輸入到Y(jié)OLOv5模型中進(jìn)行訓(xùn)練識別。同時遷移學(xué)習(xí)現(xiàn)階段在農(nóng)業(yè)領(lǐng)域使用較為廣泛的一些深度學(xué)習(xí)模型(AlexNet[18]、MoblieNet、VggNet[19]、ResNet和Inception-v3)進(jìn)行識別精度的比較。對比模型的訓(xùn)練驗證精度，選取性能較高的模型網(wǎng)絡(luò)用于豆莢表型性狀的識別。

1.3 遷移學(xué)習(xí)

基于監(jiān)督學(xué)習(xí)的深度學(xué)習(xí)模型通常需要大量的標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練以獲得出色的性能，然而對于新的機(jī)器學(xué)習(xí)應(yīng)用場景，經(jīng)過驗證的大型公開數(shù)據(jù)集的出現(xiàn)具有一定的滯后性，而自行制作的數(shù)據(jù)集在規(guī)模、多樣性、復(fù)雜度上往往存在缺陷，因此，遷移學(xué)習(xí)逐漸成為一種普遍的解決方法。遷移學(xué)習(xí)是指將某個領(lǐng)域或任務(wù)上學(xué)習(xí)到的知識或模式應(yīng)用到不同但相關(guān)的領(lǐng)域或問題中[20]。本研究利用遷移學(xué)習(xí)的思想，將2012年以來在ImageNet[21]大賽上取得比較優(yōu)秀成績的分類網(wǎng)絡(luò)模型(AlexNet、MobileNet-v1、vgg19、ResNet18、Inception-v3)進(jìn)行遷移學(xué)習(xí)，獲得分類模型的預(yù)訓(xùn)練模型，并將其運(yùn)用到豆莢表型的分類上。

1.4 殘差神經(jīng)網(wǎng)絡(luò)(ResNet)

ResNet[22]由微軟研究院的何愷明、張祥雨、任少卿、孫劍等人提出，并在2015年的ILSVRC中取得了冠軍。ResNet的試驗證明深度學(xué)習(xí)模型隨著層數(shù)的不斷加深其精度提升存在上限，且超過該上限后模型精度隨著層數(shù)加深而下降，這種現(xiàn)象被He等[22]稱為“退化現(xiàn)象”。為此，ResNet中使用快捷連接的結(jié)構(gòu)使得模型在反向傳播過程中學(xué)習(xí)的是其“殘差”分量，從而避免隨著模型的加深而出現(xiàn)的“退化現(xiàn)象”。圖2為18層ResNet的網(wǎng)絡(luò)結(jié)構(gòu)，多個帶有快捷連接的殘差塊級聯(lián)形成其主干網(wǎng)絡(luò)，最后一層輸出層由4個神經(jīng)元構(gòu)成，用于識別分類豆莢莢粒數(shù)。

圖2 ResNet18網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 ResNet18 network structure

1.5 目標(biāo)檢測--YOLOv5

目標(biāo)檢測與圖像分類最主要的不同在于目標(biāo)檢測關(guān)注圖像的局部結(jié)構(gòu)信息，而圖像分類關(guān)注圖像的全局表達(dá)[23]。目標(biāo)檢測主要分為兩類：兩步走和一步走。兩步走分為以下兩個步驟，第一步先找出圖片中待檢測物體的錨矩形框(對背景、待檢測物體進(jìn)行二分類)，第二步對錨框內(nèi)待檢測物體進(jìn)行分類。這種方法的準(zhǔn)確度更高，但相對費時。一步走則是直接對預(yù)測框進(jìn)行回歸和分類預(yù)測。這種方法的識別速度會更快，本研究采取的方法是一步走中的經(jīng)典網(wǎng)絡(luò)YOLO。YOLO系列網(wǎng)絡(luò)從2015年提出YOLOv1到2020年最新的YOLOv5，其識別速度與最大平均精度都得到了大幅提升。因此選取最新的YOLOv5作為本研究的目標(biāo)檢測網(wǎng)絡(luò)主體，對數(shù)據(jù)集和輸出層進(jìn)行更改，用來識別豆莢的莢粒數(shù)和具體位置。YOLOv5的網(wǎng)絡(luò)結(jié)構(gòu)如下圖3所示，圖片經(jīng)輸入后經(jīng)過backbone層、Neck層達(dá)到Prediction層。

圖3 YOLOv5簡易網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 YOLOv5 simple network structure

1.6 評價指標(biāo)

(1)

(2)

(3)。

1.6.2 莢粒數(shù)識別 為評估所訓(xùn)練的網(wǎng)絡(luò)的識別性能，本研究采用F1-score衡量模型的總體性能。正樣本：被模型正確識別的菜用大豆莢型；負(fù)樣本：被模型錯誤識別的菜用大豆莢型；真陽性(true positives，TP)：被分為正樣本，并且識別正確；真陰性(true negatives，TN)：被分為負(fù)樣本，而且識別正確；假陽性(false positives，F(xiàn)P)：被分為正樣本，但識別錯誤；假陰性(false negatives，F(xiàn)N)：被分為負(fù)樣本，但識別錯誤。A、B為兩個集合，K為類別數(shù)。驗證指標(biāo)含有準(zhǔn)確率(accuracy)、交并比、召回率(recall)、精確率(precision)、F1分?jǐn)?shù)(F1-score)、平均精度(average precision，AP)、各類別平均精度(mean average precision，mAP)和mAP@0.5等。AP的計算方式為以Recall為橫軸，Precision為縱軸，繪制PR曲線，PR曲線下的面積定義為AP，mAP@0.5表示交并比(intersection over union, IoU)設(shè)為0.5時的mAP值。具體公式如下：

(4)

(5)

(6)

(7)。

1.7 試驗環(huán)境

所有編程環(huán)境均在Ubuntu 16.04.6和Windows 10中實現(xiàn)，使用Python作為編程語言，Pycharm作為編輯器，并使用2塊Tesla V100 32 G的顯卡訓(xùn)練過程進(jìn)行加速。

2 結(jié)果與分析

2.1 深度學(xué)習(xí)分類模型的算法結(jié)果

本研究遷移了5個被廣泛使用的深度學(xué)習(xí)分類網(wǎng)絡(luò)(AlexNet、MoblieNet-v1、Vgg19、ResNet18和Inception-v3)來進(jìn)行莢粒數(shù)的識別。在分類網(wǎng)絡(luò)的優(yōu)化器選擇上，統(tǒng)一選取對分類效果提升最大的Adam優(yōu)化器[24]，并對學(xué)習(xí)率(learning rate，lr)和迭代次數(shù)進(jìn)行優(yōu)化。從表1可以看出，在進(jìn)行了30 000次迭代后，Inception-v3在驗證集上的召回率和F1分?jǐn)?shù)在分類網(wǎng)絡(luò)中最高，分別達(dá)到了96.50%和95.95%，其次是ResNet18的96.13%和95.82%。此外，召回率和F1分?jǐn)?shù)最低的是Vgg19的93.88%和93.23%。在精確率上ResNet18的95.51%為分類網(wǎng)絡(luò)的最高，Vgg19的92.58%為最低。

采用與分類網(wǎng)絡(luò)相同的單圖單莢數(shù)據(jù)集，對其進(jìn)行標(biāo)注，修改配置文件的網(wǎng)絡(luò)輸出層類別為onepod、twopod和threepod。使用YOLOv5進(jìn)行訓(xùn)練，并對訓(xùn)練過程的參數(shù)變化進(jìn)行記錄。從表1可以看出，YOLOv5的F1分?jǐn)?shù)為97.56%，比分類網(wǎng)絡(luò)最高的Inception-v3高1.61個百分點，召回率比分類網(wǎng)絡(luò)最高的Inception-v3高3.50個百分點。

表1 不同深度學(xué)習(xí)分類模型的試驗結(jié)果Table 1 Experimental results of different deep learning classification models /%

2.2 基于YOLOv5模型的單圖多莢算法結(jié)果

采用額外標(biāo)注完成的數(shù)據(jù)集，使用修改后的YOLOv5進(jìn)行訓(xùn)練。訓(xùn)練完成后，輸入一張隨機(jī)擺放單粒莢、雙粒莢和三粒莢的圖片(圖4-A)，模型會保存一張相同的圖片(圖4-B)。在圖片左上角標(biāo)注出單粒莢、雙粒莢和三粒莢的數(shù)量，并用方框框出每個豆莢的莢數(shù)。從表2可以看出，與表1單圖單莢的訓(xùn)練效果相比，單圖多莢在各個參數(shù)上都有一定的下降，其中召回率下降最明顯，達(dá)到了1.57個百分點，但與深度學(xué)習(xí)分類網(wǎng)絡(luò)相比，單圖多莢的F1分?jǐn)?shù)依然高于最高的Inception-v3。圖5為模型的訓(xùn)練過程的評價指標(biāo)變化曲線圖。隨著迭代次數(shù)的增加，精確率不斷提升，迭代次數(shù)到2 000次時精確率曲線趨于穩(wěn)定，同時mAP曲線也趨于穩(wěn)定，召回率曲線在迭代初期即達(dá)到穩(wěn)定；訓(xùn)練集和驗證集的loss曲線變化保持一致，且驗證集loss始終高于訓(xùn)練集。與其他的目標(biāo)檢測網(wǎng)絡(luò)相比，YOLOv5在每項指標(biāo)上都有一定的優(yōu)勢，如表2所示，F(xiàn)1-score比SSD和RCNN分別高2.53和3.97個百分點，可知YOLOv5相對于其他的目標(biāo)檢測網(wǎng)絡(luò)在精度上有一定的優(yōu)勢。

注：A：原始圖像；B：識別后圖像。Note: A: Original image. B: Image after recognition.圖4 YOLOv5單圖多莢預(yù)測效果圖Fig.4 YOLOv5 single map multiple pod prediction effect chart

表2 YOLOv5單圖多莢的試驗結(jié)果Table 2 Experimental results of YOLOv5 single figure multiple pods /%

2.3 基于機(jī)器視覺的豆莢長寬數(shù)據(jù)智能采集

為了實現(xiàn)在一張圖片上進(jìn)行批量的莢長寬檢測，本研究將機(jī)器視覺的方法添加到Y(jié)OLO的識別環(huán)節(jié)，對YOLO識別出的矩形框內(nèi)的圖像進(jìn)行莢長寬計算，圖6-B為雙粒豆莢檢測原理示意圖。首先對矩形框內(nèi)的豆莢進(jìn)行二值化處理，獲取豆莢的整體輪廓，再對豆莢像素值進(jìn)行左右和上下的掃描，獲取左右邊界和上下邊界的坐標(biāo)值，進(jìn)行差值計算，最后根據(jù)像素與實物的比例，計算豆莢的長寬。由于本方法為在矩形框內(nèi)進(jìn)行識別，因此掃描到的無用像素值較少，擁有較快的計算速度。

注：A：精確率和召回率曲線；B：訓(xùn)練集和驗證集的loss曲線；C：模型的mAP曲線。Note: A: Precision and recall curves. B: Loss curves of the training and validation sets. C: mAP curves of the model.圖5 YOLO模型訓(xùn)練評價指標(biāo)變化曲線圖Fig.5 Plots of YOLO model training parameters

注：A：YOLO識別后圖像； B：雙粒莢長寬檢測原理。Note: A: Image after YOLO recognition. B: The principle of double pod length-width detection.圖6 莢長寬檢測示意圖Fig.6 Schematic diagram of pod length-width detection

將檢測得到的長寬數(shù)據(jù)與實際測量數(shù)據(jù)記錄并進(jìn)行RMSPE、MAPE和R2的計算。通過表3可以看出，本方法的R2值在莢長寬預(yù)測上分別為 0.964 2 和 0.952 3， 擁有較高的精度，并且莢長的RMSPE和MAPE均低于0.03，莢寬的RMSPE和MAPE均低于0.04。

表3 菜用大豆豆莢圖像測量與實際測量結(jié)果比較Table 3 Comparison between image recognition and calipers measuring of pods

圖7 豆莢長、寬預(yù)測結(jié)果圖Fig.7 Pod length and width prediction results

3 討論

菜用大豆莢型是品種選育中關(guān)注的最為重要的性狀之一，豆莢的長、寬、籽粒個數(shù)等性狀直接影響外觀品質(zhì)[25]。對菜用大豆種質(zhì)資源和育種中間材料的表型性狀鑒定需要耗費大量的人力，因此有必要研究表型性狀的精準(zhǔn)、智能、高通量采集技術(shù)，從而減輕育種人員的工作壓力，提高育種的工作效率和鑒定的精準(zhǔn)性。本研究將最新的目標(biāo)檢測算法和傳統(tǒng)的圖像處理方法相結(jié)合，并將基于YOLOv5和機(jī)器視覺的智能數(shù)據(jù)采集技術(shù)應(yīng)用于菜用大豆莢型表型的識別，實現(xiàn)了育種過程的數(shù)字化和智能化升級。

菜用大豆豆莢的長度和寬度一直依賴人工測量獲取。由于豆莢形狀不規(guī)則，會導(dǎo)致人工測量時產(chǎn)生一定的誤差，而基于機(jī)器視覺的方法在同一平面上進(jìn)行識別計算，能夠獲得較為精確且可重復(fù)的數(shù)據(jù)。本研究利用圖像處理技術(shù)對YOLO檢測得到的圖像進(jìn)行掃描，獲取到長寬數(shù)據(jù)后自動記錄到日志文件中，供育種人員隨時查詢。與張小斌等[26]的研究相比，本研究的方法在YOLO識別后會產(chǎn)生1個豆莢的最小外接矩形識別框，因此具有較快的識別速度。由于長寬誤差主要受到擺放位置的影響，因此下一步需要對長寬算法進(jìn)行改進(jìn)，減少擺放位置對豆莢長寬精度的影響。

深度學(xué)習(xí)分類網(wǎng)絡(luò)單圖單標(biāo)簽的訓(xùn)練方式?jīng)Q定了其只能分類單圖單莢的圖片[17,27-28]。因此圖像分類更適用于圖像中待分類的物體是單一的，而現(xiàn)實環(huán)境中一張圖片包含多個對象，分類網(wǎng)絡(luò)無法滿足該場景下的應(yīng)用需求。比如閆壯壯等[17]和閆學(xué)慧等[27]提出的大豆豆莢識別方法在制作數(shù)據(jù)集時需要先分割成單圖單莢的圖片進(jìn)行識別。Azadbakht等[29]則提出了四種機(jī)器學(xué)習(xí)(ML)方法，包括支持向量回歸(ν-SVR)、增強(qiáng)回歸樹(BRT)、隨機(jī)森林回歸(RFR)和高斯過程回歸(GPR)用來識別小麥葉銹病，這四種方法對圖片的要求也是一張圖片只能包含一個類別。傳統(tǒng)的機(jī)器學(xué)習(xí)和分類網(wǎng)絡(luò)的識別效果在實際的應(yīng)用背景下收效甚微。

近幾年越來越多的學(xué)者使用目標(biāo)檢測網(wǎng)絡(luò)來解決大豆莢型智能采集的技術(shù)問題。目標(biāo)檢測網(wǎng)絡(luò)能夠在多目標(biāo)的干擾下準(zhǔn)確識別所需要的物體，更符合實際的應(yīng)用背景。Li等[30]利用mask-RCNN網(wǎng)絡(luò)解決了大豆在不規(guī)則擺放條件下多粒莢的計數(shù)，大大減少了育種專家的工作量。但是mask-RCNN對硬件性能要求比較高，數(shù)據(jù)集制作繁瑣，且移植到便攜式設(shè)備上成本較高，不方便科研人員在田間實時統(tǒng)計大豆的表型數(shù)據(jù)。與之不同的是，YOLO網(wǎng)絡(luò)數(shù)據(jù)集制作簡單，只需對其外接矩形框進(jìn)行標(biāo)注，且其tiny版本可以移植到較為便宜的k210便攜式主板上，方便科研人員更實時地進(jìn)行田間表型數(shù)據(jù)智能化采集。由于YOLO網(wǎng)絡(luò)的標(biāo)注方式為矩形標(biāo)注，因此為了數(shù)據(jù)集制作與識別需要擺放大豆的位置，每張大豆圖片數(shù)據(jù)集僅需要花費科研人員7秒的時間進(jìn)行擺拍，擺正的大豆為之后的莢長寬識別也提供了幫助。在本研究中，該方法經(jīng)過訓(xùn)練可以在一張圖片識別多種莢型，并同時顯示單粒莢、雙粒莢和三粒莢的數(shù)量和每粒莢的長寬。本方法可以有效幫助育種人員統(tǒng)計菜用大豆單株上含有不同籽粒的豆莢數(shù)目和標(biāo)準(zhǔn)莢(二粒莢以上豆莢)所占比例。

4 結(jié)論

本研究利用深度學(xué)習(xí)目標(biāo)檢測網(wǎng)絡(luò)和機(jī)器視覺提出了一種菜用大豆莢型表型自動采集系統(tǒng)，實現(xiàn)了對菜用大豆豆莢籽粒個數(shù)和豆莢長寬的快速獲取。利用YOLOv5解決了對一張圖片不同籽粒個數(shù)豆莢進(jìn)行統(tǒng)計的現(xiàn)實應(yīng)用問題。通過試驗對比，發(fā)現(xiàn)YOLOv5在單圖單莢和單圖多莢的分類效果均優(yōu)于傳統(tǒng)的分類網(wǎng)絡(luò)(AlexNet、MoblieNet-v1、vgg19、ResNet18和Inception-v3)。本研究提出的方法有利于簡化菜用大豆表型鑒定的過程，為育種人員提供高通量的豆莢表型數(shù)據(jù)，從而提高表型鑒定的精準(zhǔn)度和品種選育效率。