基于全景圖像的玉米果穗流水線考種方法及系統(tǒng)

杜建軍，郭新宇，王傳宇，肖伯祥

?

基于全景圖像的玉米果穗流水線考種方法及系統(tǒng)

杜建軍，郭新宇※，王傳宇，肖伯祥

（1. 北京市農(nóng)林科學(xué)院 北京農(nóng)業(yè)信息技術(shù)研究中心，北京 100097；2. 數(shù)字植物北京重點(diǎn)實(shí)驗(yàn)室，北京 100097）

為提高玉米果穗考種效率和精度，該文提出一種基于全景圖像的玉米果穗流水線考種方法和系統(tǒng)。利用托輥傳送裝置實(shí)現(xiàn)果穗自動(dòng)連續(xù)推送，基于工業(yè)相機(jī)自動(dòng)檢測(cè)果穗運(yùn)動(dòng)狀態(tài)并實(shí)時(shí)采集圖像，獲取覆蓋果穗全表面的圖像序列；建立果穗運(yùn)動(dòng)、攝像機(jī)成像、表面拼接關(guān)系，從圖像序列中抽取果穗中心畸變最小區(qū)域拼接出果穗表面全景圖像；最后，結(jié)合果穗邊界檢測(cè)、籽粒分割和有效性鑒定等技術(shù)提取出果穗表面上有效籽粒。試驗(yàn)結(jié)果表明，該文方法和系統(tǒng)較好地平衡了玉米果穗考種的效率和精度，圖像采集和計(jì)算平均效率達(dá)15穗/min和4穗/min，穗長(zhǎng)和穗行數(shù)指標(biāo)計(jì)算精度可達(dá)99%和98.89%，可為研發(fā)全自動(dòng)、高通量玉米果穗表型檢測(cè)裝置提供有益借鑒。

圖像處理；機(jī)器視覺(jué)；圖像分割；玉米果穗；表型性狀；圖像拼接；全景圖像；考種

0 引 言

玉米果穗考種是玉米遺傳育種及田間測(cè)產(chǎn)的重要環(huán)節(jié)。長(zhǎng)期以來(lái)，如何快速、高效、準(zhǔn)確、低成本完成玉米果穗考種是困擾玉米育種工作者的難題。傳統(tǒng)考種主要是雇傭大量人工來(lái)完成簡(jiǎn)單而繁瑣的計(jì)數(shù)和測(cè)量工作，不但成本高耗時(shí)長(zhǎng)，而且測(cè)量結(jié)果主觀性大。近年，基于機(jī)器視覺(jué)的自動(dòng)和半自動(dòng)考種方式已成為一種趨勢(shì)，相繼研發(fā)了單果穗[1]、多果穗考種[2]、果穗流水線[3-4]、及集成化果穗考種系統(tǒng)[5-6]等。這些系統(tǒng)分別針對(duì)不同玉米育種場(chǎng)景，力圖滿足用戶特定的果穗考種需求，并開(kāi)始逐漸成為現(xiàn)代玉米種業(yè)信息化中重要組成部分。

迄今，如何提升玉米果穗考種效率和測(cè)量精度仍是玉米果穗考種方法和系統(tǒng)所需面臨的嚴(yán)峻挑戰(zhàn)。果穗考種系統(tǒng)效率，主要由果穗上下料效率、成像效率和計(jì)算效率決定。果穗上下料效率，是提升整個(gè)玉米果穗考種效率的關(guān)鍵步驟，大部分考種系統(tǒng)仍然需要人工協(xié)助完成單個(gè)或者多個(gè)果穗在成像區(qū)中的上下料，自動(dòng)化程度不高，借助自動(dòng)化機(jī)械裝置實(shí)現(xiàn)批量果穗自動(dòng)運(yùn)輸、無(wú)監(jiān)督成像和高通量表型檢測(cè)，是將來(lái)玉米果穗全自動(dòng)考種系統(tǒng)發(fā)展趨勢(shì)。另外，圖像采集效率也對(duì)考種效率有直接影響，這主要與系統(tǒng)采用的成像元件及成像方式有關(guān)，采用線陣掃描[7-8]、平板掃描[9-10]、點(diǎn)云掃描[11-12]和數(shù)碼攝像[13-14]等不同成像方式導(dǎo)致系統(tǒng)設(shè)計(jì)、數(shù)據(jù)采集和后期處理方案的顯著差異。例如，線陣掃描和平板掃描儀能夠獲取果穗高精度圖像，但是成像效率遠(yuǎn)低于數(shù)碼攝像，而工業(yè)相機(jī)因其低成本、高效率、工作穩(wěn)定和使用方便等已成為玉米考種系統(tǒng)采用的主要成像設(shè)備。

果穗考種精度，主要由果穗圖像數(shù)量、質(zhì)量及相應(yīng)圖像分析方法決定。果穗表型計(jì)算方法可根據(jù)果穗圖像數(shù)量分類，即基于單張[2,15-17]、多張[5,18-19]和序列圖像[19-20]的表型計(jì)算方法?；趩螐埞雸D像，指僅利用果穗單個(gè)側(cè)面圖像來(lái)計(jì)算和預(yù)測(cè)果穗表型性狀指標(biāo)，具有計(jì)算簡(jiǎn)單、效率高等優(yōu)點(diǎn)，但果穗表面信息缺失導(dǎo)致表型測(cè)量結(jié)果精度低、穩(wěn)定性差?；诙鄰埞雸D像，是利用多個(gè)相機(jī)從不同角度同步獲取果穗主要側(cè)面圖像，或者利用單個(gè)相機(jī)獲取旋轉(zhuǎn)平臺(tái)等裝置上果穗的不同側(cè)面圖像?；诠胄蛄袌D像，則是利用數(shù)字?jǐn)z像機(jī)連續(xù)獲取玉米果穗幾十張側(cè)面圖像，然后拼接出果穗表面圖像來(lái)計(jì)算果穗性狀。

本文提出了玉米果穗流水線考種方法和系統(tǒng)，旨在解決玉米果穗考種中面臨的效率和精度問(wèn)題。在系統(tǒng)開(kāi)發(fā)上，利用步進(jìn)電機(jī)驅(qū)動(dòng)的托輥式玉米果穗傳動(dòng)裝置，自動(dòng)完成果穗的快速上下料工序并采集果穗密集的側(cè)面圖像序列，提高玉米果穗考種的通量和自動(dòng)化程度；在方法設(shè)計(jì)上，建立果穗運(yùn)動(dòng)模型來(lái)綜合利用果穗不同側(cè)面信息，生成包含完整表面籽粒分布的果穗表面全景圖像，用于計(jì)算果穗幾何、數(shù)量、顏色、紋理等表型性狀。

1 玉米果穗流水線考種系統(tǒng)

玉米果穗流水線考種系統(tǒng)樣機(jī)包括成像單元、計(jì)算單元和果穗傳動(dòng)單元，如圖1所示。果穗傳動(dòng)單元由步進(jìn)電機(jī)、輥筒、托輥和鏈條組成，其中托輥采用耐磨防滑材料包裹，整體黑色噴漆，托輥直徑及托輥間隔保證果穗能夠在相鄰?fù)休佒g穩(wěn)定且無(wú)滑移滾動(dòng)，托輥平移速度為121像素/s。成像單元采用2個(gè)30 W的LED投光燈照明，攝像機(jī)采用125萬(wàn)像素的高幀率CCD工業(yè)相機(jī)（大恒MER-125系列，1/3″ CCD傳感器，30 fps）。攝像機(jī)圖像采集的工作幀率約為15 fps，圖像采用JPEG格式保存，分辨率為1 292×964像素，像素尺寸3.126×10-2cm/像素。

圖1 玉米果穗流水線考種系統(tǒng)

考種系統(tǒng)利用開(kāi)源圖像處理包OpenCV完成圖像處理功能，并基于Visual C++開(kāi)發(fā)果穗狀態(tài)檢測(cè)、圖像采集、圖像拼接、表型計(jì)算和統(tǒng)計(jì)分析等模塊。其中，狀態(tài)檢測(cè)模塊是判定成像區(qū)域內(nèi)是否新進(jìn)入了玉米果穗，從而觸發(fā)圖像采集；圖像采集模塊，實(shí)時(shí)采集成像區(qū)域內(nèi)果穗運(yùn)動(dòng)圖像；圖像拼接模塊，是將果穗圖像序列進(jìn)行綜合分析和處理，生成玉米果穗表面全景圖；表型計(jì)算模塊，計(jì)算玉米果穗的各項(xiàng)表型參數(shù)；統(tǒng)計(jì)分析模塊，是對(duì)批量果穗的考種結(jié)果進(jìn)行匯總分析，輸出通用的CSV（comma-separated values，CSV）表格文件。

系統(tǒng)工作過(guò)程：?jiǎn)?dòng)考種系統(tǒng)后，在進(jìn)料口將玉米果穗放入托輥之間，果穗即隨托輥滾動(dòng)進(jìn)入攝像機(jī)成像區(qū)域；狀態(tài)檢測(cè)模塊一旦檢測(cè)到新的果穗，為該果穗生成全局唯一標(biāo)識(shí)，并啟動(dòng)該果穗的圖像采集模塊，將連續(xù)拍攝的果穗圖像序列保存到專用果穗文件目錄下；當(dāng)果穗退出成像區(qū)后，系統(tǒng)將采集的果穗圖像信息發(fā)送給表型計(jì)算模塊。可以看出，系統(tǒng)中狀態(tài)檢測(cè)模塊、圖像采集和表型計(jì)算模塊之間相互獨(dú)立，通過(guò)狀態(tài)和數(shù)據(jù)流聯(lián)系在一起，保證了系統(tǒng)工作的實(shí)時(shí)性和穩(wěn)定性。

2 玉米果穗表型測(cè)量方法

2.1 果穗狀態(tài)檢測(cè)

實(shí)時(shí)檢測(cè)果穗進(jìn)入或退出成像區(qū)狀態(tài)，是實(shí)現(xiàn)果穗圖像自動(dòng)采集、存儲(chǔ)和分析的重要前提。成像區(qū)域內(nèi)果穗滾動(dòng)時(shí)間由步進(jìn)電機(jī)轉(zhuǎn)速確定，該轉(zhuǎn)速為系統(tǒng)參數(shù)，轉(zhuǎn)速越大則果穗運(yùn)動(dòng)速度越大，果穗在成像區(qū)內(nèi)逗留時(shí)間越短，采集果穗圖像也越少。另外，圖像采集線程中需加入一些狀態(tài)檢測(cè)和圖像存儲(chǔ)等操作，也將降低圖像采集幀率。因此，果穗狀態(tài)檢測(cè)模塊需要兼顧檢測(cè)精度和采集效率，在給定轉(zhuǎn)速條件下能夠保證系統(tǒng)采集足夠數(shù)量的玉米果穗圖像，本文將采集到的果穗圖像表示分別表示為1，2，…，F，其中表示圖像數(shù)量。

系統(tǒng)運(yùn)行中，果穗始終從進(jìn)料口滾動(dòng)到出料口，在攝像機(jī)成像區(qū)中果穗也總是從圖像一側(cè)滾動(dòng)到另外一側(cè)。因此，在圖像上果穗入口和出口區(qū)域分別設(shè)置2個(gè)小的檢測(cè)區(qū)域1和2，作為果穗狀態(tài)檢測(cè)區(qū)，狀態(tài)檢測(cè)程序通過(guò)實(shí)時(shí)分析這些小區(qū)域信息進(jìn)行狀態(tài)判定。2個(gè)檢測(cè)區(qū)域大小影響到狀態(tài)檢測(cè)效率和精度，區(qū)域間距離必須大于待測(cè)果穗的最大周長(zhǎng)，使得采集的果穗圖像序列能夠覆蓋果穗完整表面。

狀態(tài)檢測(cè)模塊的設(shè)計(jì)原則是簡(jiǎn)單實(shí)用，本文利用果穗與托輥鏈條等背景元素之間的顏色差異來(lái)檢測(cè)果穗狀態(tài)。利用多組果穗進(jìn)行測(cè)試，實(shí)時(shí)統(tǒng)計(jì)計(jì)算檢測(cè)區(qū)域在RGB、HSV和LUV顏色空間下的顏色均值及多種顏色算子[21-23]，從中選擇檢測(cè)準(zhǔn)確率最高的顏色指標(biāo)及對(duì)應(yīng)的狀態(tài)閾值。值得注意的是，采用的顏色指標(biāo)及其閾值與果穗顏色和光環(huán)境密切相關(guān)，在實(shí)際考種工作中，可將待測(cè)果穗放入系統(tǒng)中運(yùn)行幾次來(lái)確認(rèn)這些系統(tǒng)參數(shù)，其原則是：在系統(tǒng)空轉(zhuǎn)下不能觸發(fā)出圖像采集；放入果穗后即可觸發(fā)圖像采集。在圖像采集線程中植入狀態(tài)檢測(cè)程序后，采集效率從30 fps下降到15 fps左右，果穗在成像區(qū)域內(nèi)果穗滾動(dòng)時(shí)間約為5 s，因此單個(gè)果穗仍可獲取超過(guò)70張果穗圖像。

因此，單個(gè)果穗采集圖像數(shù)量與機(jī)構(gòu)運(yùn)動(dòng)速度、相機(jī)幀率、狀態(tài)檢測(cè)效率、計(jì)算機(jī)性能等因素有關(guān)，圖像數(shù)量決定了后期圖像分析和表型計(jì)算的效率和精度。一般而言，圖像越多，后期進(jìn)行果穗表面拼接精度越高，但計(jì)算效率也越低。

2.2 果穗運(yùn)動(dòng)-成像-拼接

設(shè)果穗為圓柱體，則系統(tǒng)中果穗運(yùn)動(dòng)可以分解為整體平移和繞果穗中心軸旋轉(zhuǎn)2種運(yùn)動(dòng)分量，托輥、攝像機(jī)和果穗三者關(guān)系如圖2所示。1代表托輥中心運(yùn)動(dòng)平面，2為果穗中心運(yùn)動(dòng)平面，3為果穗運(yùn)動(dòng)的上切平面；1為攝像機(jī)到平面1距離，2為攝像機(jī)到平面2距離（與果穗半徑相關(guān)），為托輥半徑，為果穗半徑，為相鄰?fù)休佒行牡木嚯x；為玉米果穗中心點(diǎn)到攝像機(jī)的連線與攝像機(jī)光軸方向的夾角，點(diǎn)為果穗中心點(diǎn)到攝像機(jī)的連線與果穗表面的交點(diǎn)。圖2表示的果穗狀態(tài)為：果穗運(yùn)動(dòng)到位置，果穗距離攝像機(jī)光軸方向距離為，此時(shí)攝像機(jī)拍攝的果穗成像中心為點(diǎn)。

進(jìn)一步，設(shè)果穗進(jìn)料口在左側(cè)、出料口在右側(cè)，因此托輥在1平面上順時(shí)針滾動(dòng)，并帶動(dòng)果穗在2平面上從左向右平動(dòng)，同時(shí)果穗在與托輥間摩擦作用下繞著果穗軸心點(diǎn)逆時(shí)針滾動(dòng)。攝像機(jī)拍攝的果穗圖像中，果穗成像中心點(diǎn)是總是距離攝像機(jī)鏡頭點(diǎn)最近的果穗表面上點(diǎn)，果穗成像中心與果穗的實(shí)際位置點(diǎn)之間存在一一映射關(guān)系。

在圖2中，攝像機(jī)高度、托輥半徑、托輥間距、果穗運(yùn)動(dòng)速度為已知系統(tǒng)參數(shù)。果穗半徑、果穗位置是未知量，需根據(jù)果穗圖像計(jì)算。以攝像機(jī)中心點(diǎn)為坐標(biāo)原點(diǎn)建立整體坐標(biāo)系，攝像機(jī)光軸垂直向下為軸，果穗運(yùn)動(dòng)方向?yàn)檩S，則果穗在平面上滾動(dòng)。攝像機(jī)位置固定，因此采集圖像的中心點(diǎn)對(duì)應(yīng)于攝像機(jī)光軸與平面的交點(diǎn)′，以該點(diǎn)為坐標(biāo)原點(diǎn)建立圖像坐標(biāo)系，則沿圖像寬度方向?yàn)檩S，高度方向?yàn)檩S，采集的果穗圖像均可表示為(,)。圖3顯示了對(duì)單個(gè)果穗依次采集到的50張圖像，可以看出果穗在圖像序列中處于不同位置，并且沿著圖像軸從左往右滾動(dòng)。

注：P1為托輥中心運(yùn)動(dòng)平面，P2為果穗中心運(yùn)動(dòng)平面，P3為果穗運(yùn)動(dòng)的上切平面；h1為攝像機(jī)到平面P1距離，h2為攝像機(jī)到平面P2距離，R為托輥半徑，r為果穗半徑，d為相鄰?fù)休佒行牡木嚯x；α為果穗和托輥中心的連線與P1的夾角，β為直線OD與Y軸的夾角；C點(diǎn)為直線OD與果穗表面的第1個(gè)交點(diǎn)，O點(diǎn)為攝像機(jī)中心，O′為成像中心點(diǎn)。

圖3 單個(gè)果穗圖像序列（依次從左往右、從上到下）

2.2.1 玉米果穗分割

果穗顏色特征明顯且圖像背景較單一，利用果穗顏色特征可以較方便分割出玉米果穗，其流程可描述為：利用果穗顏色特征分割出果穗，并結(jié)合形態(tài)學(xué)中開(kāi)、閉運(yùn)算改善果穗形狀，得到僅僅包含玉米果穗的二值圖像，表示為(,)。其中，利用形態(tài)學(xué)運(yùn)算操作填充果穗內(nèi)部孔洞、改善果穗邊緣形狀，使得果穗?yún)^(qū)域形成一個(gè)整體。在(,)圖像中，根據(jù)果穗輪廓形狀可以直接計(jì)算出果穗的矩形包圍盒（rectangle bounding box，RBB）和方向包圍盒（oriented bounding box，OBB），進(jìn)而計(jì)算出果穗的形狀參數(shù)，如果穗長(zhǎng)、粗、半徑和中心軸[15]。為簡(jiǎn)化起見(jiàn)，將玉米果穗視為圓柱體，假設(shè)其滾動(dòng)過(guò)程中的果穗中心軸平行于圖像軸，因此果穗中心軸表示為()，即該果穗中心位置只與果穗水平運(yùn)動(dòng)位置有關(guān)。針對(duì)圖像序列計(jì)算出的中心軸序列表示為1，2，…，I，每個(gè)中心軸對(duì)應(yīng)一張果穗圖像；果穗半徑表示為1，2，…，r。由于果穗距離攝像機(jī)距離不斷變化，而且果穗也并非標(biāo)準(zhǔn)圓柱體，因此從果穗圖像序列中計(jì)算出的果穗直徑將存在一定差異。

2.2.2 從圖像序列到表面全景圖

從每張果穗圖像計(jì)算出果穗半徑后，即可利用系統(tǒng)參數(shù)計(jì)算出與果穗形狀相關(guān)參數(shù)，2和。在果穗圖像序列中，對(duì)果穗當(dāng)前運(yùn)動(dòng)位置，可計(jì)算出攝像機(jī)拍攝角度，對(duì)應(yīng)的實(shí)際成像點(diǎn)為果穗表面上距離攝像機(jī)最近的點(diǎn)，也就是果穗表面全景圖上位置′。上述計(jì)算過(guò)程如下式：

式中與玉米果穗形狀和運(yùn)動(dòng)狀態(tài)相關(guān)的參數(shù),,2和，需要根據(jù)每張果穗圖像進(jìn)行計(jì)算。從果穗圖像序列中，依次計(jì)算出果穗中心軸序列()后，根據(jù)式（1）計(jì)算出果穗展開(kāi)圖像中對(duì)應(yīng)的位置序列′(′)，并將其表示為′1，′2，…，′。

2.2.3 果穗表面全景圖像拼接

玉米果穗中心軸()代表包含了()的具有一定寬度的裁剪區(qū)域RC()，在果穗表面全景圖像中也對(duì)應(yīng)著大小相等的填充區(qū)域RC′(′)。因此，果穗表面全景圖像生成過(guò)程，是依次從果穗圖像序列的(,)圖像中提取RC()，將其拼接到(′,)圖像上對(duì)應(yīng)的區(qū)域RC′(′)中的過(guò)程，其中RC()和RC′(′)的寬度未知。在計(jì)算出的中心軸序列′(′)中，相鄰中心軸間距離并不相等，RC′(′)的寬度由當(dāng)前中心軸′與其相鄰中心軸′-1和′+1計(jì)算。設(shè)′表示第張果穗圖像的中心軸′對(duì)應(yīng)的展開(kāi)圖像上坐標(biāo)，表示填充和裁剪區(qū)域的高度（通常設(shè)置為原始圖像高度），需先計(jì)算出填充區(qū)域，進(jìn)而確定對(duì)應(yīng)裁剪區(qū)域，最后將裁剪區(qū)域圖像拼接至全景圖像中的填充區(qū)域中：

根據(jù)式（2），系統(tǒng)在進(jìn)行果穗圖像采集時(shí)即可完成果穗表面圖像拼接：從每幀圖像中計(jì)算出果穗中心軸，進(jìn)而計(jì)算出果穗展開(kāi)表面上中心軸，即可確定待填充區(qū)域，然后從果穗圖像中提取相應(yīng)的裁剪區(qū)域，將其拼接到果穗展開(kāi)表面上，過(guò)程如下：

1）從圖像序列中依次提取果穗中心軸1，2，…，I；

2）計(jì)算出中心軸I在果穗表面全景圖中位置后，根據(jù)式（1）計(jì)算出對(duì)應(yīng)的中心軸′；

3）計(jì)算出中心軸′的邊界，并計(jì)算出中心軸′對(duì)應(yīng)的區(qū)域RC′；

4）從果穗圖像上提取對(duì)應(yīng)圖像RC，將其填充到表面全景圖像(′,)的對(duì)應(yīng)的RC′區(qū)域。

圖4 果穗表面拼接

圖4顯示了玉米果穗表面全景圖像，可以看出果穗裁剪區(qū)域間存在較明顯的拼接痕跡。主要是因?yàn)楣氩⒎且?guī)則圓柱體，滾動(dòng)過(guò)程中果穗的中心軸不規(guī)則轉(zhuǎn)動(dòng)，使得裁剪區(qū)域與拼接區(qū)域所代表的果穗表面特征并不完全一致，導(dǎo)致拼接邊緣的像素錯(cuò)位。拼接錯(cuò)位程度與果穗規(guī)則形狀和復(fù)雜滾動(dòng)特征相關(guān)，不同形狀果穗的錯(cuò)位程度不同，且果穗不同部位的錯(cuò)位程度也有差異。從圖像區(qū)域I、II和III的放大圖可以看出，果穗中籽粒均由2張以上的相鄰果穗圖像拼接而成，即果穗表面上任一顆籽粒需要采用多張果穗圖像的信息。圖4中IV區(qū)域存在較明顯的拼接錯(cuò)位，視覺(jué)上判斷上下錯(cuò)位約為3個(gè)像素，在橫截面直徑較大的果穗中部區(qū)域的拼接錯(cuò)位程度比頂部和底部區(qū)域小，這主要是果穗徑向畸變導(dǎo)致[18]。

2.3 果穗表面圖像分析

為了拼接玉米果穗表面全景圖像，系統(tǒng)采集的果穗圖像序列必須覆蓋玉米果穗各側(cè)面。在大批量玉米果穗考種中，不同品種、類型果穗的直徑差異往往較大，通常根據(jù)果穗平均直徑來(lái)確定圖像采集區(qū)域。因此，基于果穗圖像序列拼接出的果穗全景表面是冗余的，需要檢測(cè)果穗表面邊界，即計(jì)算出果穗表面的有效區(qū)域。

注：圖e-f中矩形框表示了果穗表面有效區(qū)域。

圖5a為果穗表面全景圖像(′,)，果穗有效區(qū)域設(shè)為以圖像中心為中心、高度為圖像高度、寬度等于果穗周長(zhǎng)的圖像區(qū)域，表示為ROI(′,)，如圖5e-5f中所示。從果穗圖像序列中計(jì)算出果穗半徑1，2，…，r后，根據(jù)下式計(jì)算果穗表面有效區(qū)域：

式中為果穗周長(zhǎng)。

在圖5e所示果穗表面有效區(qū)域中，其兩側(cè)邊界線可能與籽粒區(qū)域相交，僅對(duì)有效區(qū)域進(jìn)行分割將難以確保邊界上籽粒完整性。因此，先從果穗表面全景圖(,)中分割出籽粒圖像(,)，然后判斷每個(gè)籽粒中心點(diǎn)是否位于ROI(,)區(qū)域內(nèi)，進(jìn)而確定果穗表面有效籽粒。

在圖像6b所示的果穗灰度圖像中，籽粒區(qū)域的灰度值較高但區(qū)域間間距較小，且籽粒間縫隙區(qū)域的灰度值較低，采用簡(jiǎn)單閾值分割容易出現(xiàn)過(guò)分割或欠分割[24]。果穗表面上籽粒密集排列，為拆分這些緊密粘連在一起的籽粒，設(shè)計(jì)了基于籽粒亮度和面積控制的適應(yīng)性閾值分割流程：利用逐漸遞增閾值對(duì)灰度圖像進(jìn)行閾值分割，首先提取出灰度值較低且滿足預(yù)設(shè)籽粒面積條件的區(qū)域，然后將這些區(qū)域從灰度圖像中刪除，繼續(xù)增加閾值分割出灰度值較高的籽粒區(qū)域，分割過(guò)程及其結(jié)果如圖5c-5d。該方法可為圖像中每顆籽粒找到與周圍籽粒分離的最佳閾值，從而將緊密粘連籽粒區(qū)域拆分開(kāi)[25-26]。試驗(yàn)表明該方法對(duì)籽粒拆分準(zhǔn)確性高，但分割效果仍依賴于一些人工預(yù)設(shè)參數(shù)，比如籽粒面積、籽粒長(zhǎng)寬比閾值等。過(guò)分割指提取了一些滿足預(yù)設(shè)條件但不是籽粒的區(qū)域，欠分割體現(xiàn)在未完全分割出所有籽粒，如圖5e。有大量方法可用于改進(jìn)籽粒有效性判定結(jié)果，比如利用機(jī)器學(xué)習(xí)方法建立籽粒分類模型[27-28]，然后根據(jù)籽粒形狀、顏色和紋理等特征對(duì)分割區(qū)域的有效性進(jìn)行精確判定[15,29]。值得注意的是，果穗表面全景圖中拼接邊緣上存在較明顯的顏色差異和亮度跳躍，但基于閾值分割的籽粒在較大程度上弱化了拼接痕跡。將分割出的區(qū)域表示為(,)，區(qū)域個(gè)數(shù)為，則分割結(jié)果表示為：

對(duì)(,)中每個(gè)籽粒，根據(jù)其位置判定是否包含在果穗表面有效區(qū)域ROI(,)中：計(jì)算每個(gè)籽粒區(qū)域的形狀中心，若該中心點(diǎn)位于有效區(qū)域內(nèi)部，則視為有效籽粒，并將其保存到有效籽粒圖(,)中。對(duì)應(yīng)的果穗表面全景圖分割結(jié)果如圖5f，將其表示為：

玉米果穗考種的幾何和數(shù)量等表型性狀可根據(jù)果穗表面全景圖的分析結(jié)果進(jìn)行計(jì)算。其中果穗穗長(zhǎng)、粗等幾何性狀由果穗有效區(qū)域ROI(,)確定，穗行、行粒和總粒等數(shù)量性狀則可從全景圖中有效籽粒圖(,)計(jì)算出[18]。

3 試驗(yàn)與結(jié)果分析

3.1 試驗(yàn)環(huán)境

玉米果穗流水線考種系統(tǒng)采用的計(jì)算硬件為i7-7700T處理器的一體機(jī)，具有2.9 GHz主頻，8 GB內(nèi)存，4GB GDDR3顯存（顯卡NVIDIA GeForce 930MX）。

隨機(jī)選用200個(gè)玉米果穗作為試驗(yàn)樣本。首先人工測(cè)量和統(tǒng)計(jì)穗長(zhǎng)、穗粗、穗行數(shù)、行粒數(shù)、總粒數(shù)等指標(biāo)，然后統(tǒng)一利用流水線考種系統(tǒng)計(jì)算果穗表型參數(shù)，最后對(duì)果穗表型的測(cè)量值和計(jì)算值進(jìn)行統(tǒng)計(jì)分析。

3.2 測(cè)量效率

系統(tǒng)考種工作中，需2人協(xié)同完成果穗編號(hào)、分組及上下料工序，系統(tǒng)圖像采集效率為12穗/min，加上穗質(zhì)量測(cè)量和計(jì)算機(jī)輔助錄入等時(shí)間，總耗時(shí)為1.5 h。圖像數(shù)據(jù)采集完成后，啟動(dòng)果穗批量計(jì)算模塊，表型計(jì)算效率為4穗/min，總耗時(shí)約1 h。在流水線考種系統(tǒng)中，需要人工操作的主要是穗質(zhì)量測(cè)量和上下料環(huán)節(jié)，后期圖像處理和表型計(jì)算均可自動(dòng)運(yùn)行，如果整合自動(dòng)化穗質(zhì)量測(cè)量和上下料裝置將進(jìn)一步提高考種效率。流水線考種系統(tǒng)的表型檢測(cè)結(jié)果不僅輸出易人工測(cè)量的果穗幾何和數(shù)量性狀，也可計(jì)算出穗體積[30]、顏色、紋理等性狀。

人工考種試驗(yàn)投入5人，依次完成果穗長(zhǎng)、穗粗、穗行、行粒、總粒數(shù)的測(cè)量和統(tǒng)計(jì)，總耗時(shí)累計(jì)40 h，其中果穗總粒數(shù)統(tǒng)計(jì)耗時(shí)最多，占總時(shí)間88%。人工測(cè)量的表型指標(biāo)相對(duì)有限且效率較低，機(jī)器考種效率可達(dá)人工考種效率16倍以上。

3.3 測(cè)量精度

表1列出了果穗表型統(tǒng)計(jì)分析結(jié)果，其中精度計(jì)算如下

不同品種玉米果穗樣本中穗行數(shù)均值為16.11，標(biāo)準(zhǔn)差為1.68，這些樣本基本覆蓋了從12到20行的常見(jiàn)果穗類型，而且穗行數(shù)計(jì)算值與實(shí)測(cè)值間相關(guān)系數(shù)為0.996。果穗行粒數(shù)是指從穗基部到穗頂部之間可排成一列的最多籽粒數(shù)，人工測(cè)量行粒數(shù)的主觀性較大，一般人為選擇粒數(shù)較多的一列進(jìn)行計(jì)數(shù)，人工測(cè)量方法和系統(tǒng)計(jì)算方法的差異使得兩者相關(guān)系數(shù)僅為0.757，均值相差2.73粒，其中人工測(cè)量的標(biāo)準(zhǔn)差略大于系統(tǒng)計(jì)算的標(biāo)準(zhǔn)差。

表1 玉米果穗主要表型指標(biāo)試驗(yàn)結(jié)果

果穗總粒數(shù)與玉米產(chǎn)量直接相關(guān)，是重要的產(chǎn)量性狀。所有果穗樣本中，總粒數(shù)計(jì)算與測(cè)量均值分別為623.76粒和619.74粒，相差4.02粒，兩者相關(guān)系數(shù)為0.970。由于果穗上籽粒的人工計(jì)數(shù)非常耗時(shí)費(fèi)力，傳統(tǒng)上利用“穗行數(shù)×行粒數(shù)”來(lái)估算總粒數(shù)，但該方法計(jì)算出的總粒數(shù)均值達(dá)653.2粒，與人工實(shí)測(cè)值相差33.46粒，主要是行粒數(shù)計(jì)算誤差放大了總粒數(shù)差異，表明利用該方法估算總粒數(shù)精度較差。另外，穗長(zhǎng)和穗粗的計(jì)算值和測(cè)量值間相關(guān)系數(shù)分別為0.975和0.906，測(cè)量精度分別為98.89%和95.37%。

3.4 系統(tǒng)性能討論

玉米果穗表型測(cè)量效率和精度是評(píng)價(jià)玉米果穗考種系統(tǒng)性能的主要依據(jù)。采用的托輥傳送裝置在很大程度實(shí)現(xiàn)了果穗上下料和圖像采集過(guò)程自動(dòng)化，通過(guò)提高傳動(dòng)機(jī)構(gòu)轉(zhuǎn)速也可直接增加果穗考種通量，但存在以下問(wèn)題：轉(zhuǎn)速增加后，果穗滾動(dòng)平穩(wěn)性變差；果穗圖像數(shù)量減少；圖像中果穗出現(xiàn)拖影。果穗形狀并非規(guī)則圓柱體、且表面籽粒凹凸不平，低速狀態(tài)可在果穗與滾筒間摩擦力作用下圍繞中心軸滾動(dòng)，速度太快果穗滾動(dòng)軌跡難以預(yù)測(cè)。另外，采集圖像數(shù)量除了與果穗滾動(dòng)速度有關(guān)外，還與攝像機(jī)性能有關(guān)，采用更高幀率的CCD相機(jī)能夠有效增加單位時(shí)間內(nèi)采集圖像數(shù)量，另外加強(qiáng)環(huán)境光照、降低相機(jī)曝光時(shí)間也可以一定程度上提高相機(jī)幀率、防止拖影。綜合考慮上述因素，系統(tǒng)通過(guò)大量測(cè)試不同類型果穗來(lái)確定合理轉(zhuǎn)速，然后選擇合適工業(yè)相機(jī)、配置理想光照環(huán)境來(lái)滿足圖像采集質(zhì)量和數(shù)量的要求。

玉米果穗測(cè)量效率和精度均與采用的果穗圖像數(shù)量有關(guān)?；趩螐埞雸D像的考種系統(tǒng)可以獲得較高果穗測(cè)量效率，達(dá)30穗/min[2]或600 ms/穗[4]。然而，這類系統(tǒng)的高效率犧牲了果穗測(cè)量精度，單張圖像中包含的果穗表面信息不完整，只能通過(guò)設(shè)計(jì)估算模型來(lái)計(jì)算穗行數(shù)等性狀，穗行數(shù)和行粒數(shù)的計(jì)算精度可達(dá)93%。采用多個(gè)攝像機(jī)同步獲取多張果穗圖像明顯提高了測(cè)量精度，主要性狀測(cè)量精度可達(dá)99%，但硬件成本明顯上升且果穗測(cè)量效率明顯降低，處理速度為4穗/min[5]。本文提供的方法和系統(tǒng)較好平衡了果穗考種效率和精度，具有以下特點(diǎn)：采用1個(gè)攝像機(jī)實(shí)現(xiàn)果穗信息高效采集，單個(gè)果穗采集的圖像數(shù)量超過(guò)70張，可以準(zhǔn)確、完整獲取果穗果穗表面信息，采集效率達(dá)15穗/min；由于圖像分析是較耗時(shí)的操作，難以做到實(shí)時(shí)處理，果穗圖像采集完成后送入計(jì)算機(jī)后臺(tái)計(jì)算，計(jì)算效率為4穗/min；新穎的果穗表面全景成像技術(shù)，可直觀、完整表征果穗表面上籽粒的數(shù)量和分布信息，由此計(jì)算出的穗行數(shù)和總粒數(shù)等指標(biāo)準(zhǔn)確率均超過(guò)97%。

值得指出的是，考種系統(tǒng)性能仍有進(jìn)一步提升空間。比如，同時(shí)采集多個(gè)果穗的圖像，然后通過(guò)圖像裁剪自動(dòng)生成各個(gè)果穗的圖像序列，可以成倍提高考種通量；在保證表型計(jì)算精度條件下，合理減少采集圖像數(shù)量也可減輕圖像數(shù)據(jù)存儲(chǔ)壓力、提高圖像處理效率。這是將來(lái)研究所需解決的問(wèn)題。

4 結(jié) 論

本文分析了限制玉米果穗考種效率和精度的主要因素，提出了一種基于全景圖像的玉米果穗流水線考種方法和系統(tǒng)。該系統(tǒng)利用果穗自動(dòng)托輥式傳動(dòng)機(jī)構(gòu)實(shí)現(xiàn)批量果穗自動(dòng)連續(xù)推送，采用工業(yè)攝像機(jī)自動(dòng)檢測(cè)果穗運(yùn)動(dòng)狀態(tài)，并根據(jù)狀態(tài)觸發(fā)實(shí)時(shí)圖像采集，獲取覆蓋果穗全表面的圖像序列，圖像采集效率達(dá)15穗/min?；诠雸D像序列，從中抽取果穗圖像中心畸變最小區(qū)域，拼接成真實(shí)表征玉米果穗表面信息的全景圖像，并結(jié)合圖像處理技術(shù)提取出果穗表面有效籽粒，計(jì)算出果穗數(shù)量和幾何性狀，計(jì)算效率為4穗/min。相比基于單張和多張果穗圖像的考種方法，提出的基于果穗表面全景圖像的表型計(jì)算方法更充分利用了果穗完整信息，有利于揭示果穗的個(gè)性化性狀，穗長(zhǎng)、穗粗、穗行數(shù)、行粒數(shù)和總粒數(shù)計(jì)算精度分別為99%、91.84%、97.15%、98.89%和95.37%。該方法和系統(tǒng)較好滿足了玉米果穗考種的效率和精度要求，為研發(fā)新一代玉米果穗全自動(dòng)、高通量表型檢測(cè)裝置提供了有益借鑒。

[1] 呂永春，馬欽，李紹明，等. 基于背景板比例尺的玉米果穗圖像特征測(cè)量[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2010，26(增刊2)：43－47.

Lü Yongchun, Ma Qin, Li Shaoming, et al. Image features measurement of maize ear based on background plate scale[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(Supp.2): 43－47. (in Chinese with English abstract)

[2] 周金輝，馬欽，朱德海，等. 基于機(jī)器視覺(jué)的玉米果穗產(chǎn)量組分性狀測(cè)量方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(3)：221－227.

Zhou Jinhui, Ma Qin, Zhu Dehai, et al. Measurement method for yield component traits of maize based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(3): 221－227. (in Chinese with English abstract)

[3] 肖伯祥，王傳宇，郭新宇，等. 玉米考種自動(dòng)化流水線機(jī)構(gòu)設(shè)計(jì)與仿真[J]. 系統(tǒng)仿真學(xué)報(bào)，2015，27(4)：913－919.

Xiao Boxiang, Wang Chuanyu, Guo Xinyu, et al. Automatic pipelining mechanism design for maize ear analysis[J]. Journal of System Simulation, 2015, 27(4): 913－919. (in Chinese with English abstract)

[4] 吳剛，陳曉琳，謝駕宇，等. 玉米果穗自動(dòng)考種系統(tǒng)設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2016，47(增刊1)：433－441.

Wu Gang, Chen Xiaolin, Xie Jiayu, et al. Design and experiment of automatic variety test system for corn ear[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(Supp.1): 433－441. (in Chinese with English abstract)

[5] 宋鵬，張晗，王成，等. 玉米高通量自動(dòng)考種裝置設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(16)：41－47.

Song Peng, Zhang Han, Wang Cheng, et al. Design and experiment of high throughput automatic measuring device for corn[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(16): 41－47. (in Chinese with English abstract)

[6] 王洪稷，羅小林，宋鵬，等. 玉米自動(dòng)考種流水線控制系統(tǒng)設(shè)計(jì)—基于MCGS嵌入式組態(tài)軟件[J]. 農(nóng)機(jī)化研究，2017，39(2)：196－199.

Wang Hongji, Luo Xiaolin, Song Peng, et al. Application situation and development route of the full-feeding peanut stripper[J]. Journal of Agricultural Mechanization Research, 2017, 39(2): 196－199. (in Chinese with English abstract)

[7] 柳冠伊，楊小紅，白明，等. 基于線陣掃描圖像的玉米果穗性狀檢測(cè)技術(shù)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2013，44(11)：276－280.

Liu Guanyi, Yang Xiaohong, Bai Ming, et al. Detecting techniques of maize ear characters based on line scan image[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(11): 276－280. (in Chinese with English abstract)

[8] 劉松林，哈長(zhǎng)亮，郝向陽(yáng)，等. 基于機(jī)器視覺(jué)的線陣CCD相機(jī)成像幾何模型[J]. 測(cè)繪科學(xué)技術(shù)學(xué)報(bào)，2006，23(5)：387－390.

Liu Songlin, Ha Changliang, Hao Xiangyang, et al. Line scanor cameras imaging model based on machine vision[J]. Journal of Zhengzhou Institute of Surveying and Mapping, 2006, 23(5): 387－390.(in Chinese with English abstract)

[9] 陳鯉江，劉鐵根，王磊，等. 用平板掃描儀及圖像處理方法檢測(cè)大米粒型[J]. 紅外與激光工程，2006，35(增刊4)：402－407.

Chen Lijiang, Liu Tiegen, Wang Lei, et al. Detection of rice kernel shape using flatbed scanning and image processing[J]. Infrared and Laser Engineering, 2006, 35(Supp.4): 402－407. (in Chinese with English abstract)

[10] 賈佳，王建華，謝宗銘，等. 計(jì)算機(jī)圖像識(shí)別技術(shù)在小麥種子精選中的應(yīng)用[J]. 中國(guó)農(nóng)業(yè)大學(xué)學(xué)報(bào)，2014，19(5)：180－186.

Jia Jia, Wang Jianhua, Xie Zongming, et al. Wheat seeds selection based on computer image recognition technique[J]. Journal of China Agricultural University, 2014, 19(5): 180－186. (in Chinese with English abstract)

[11] 溫維亮，郭新宇，楊濤，等. 玉米果穗點(diǎn)云分割方法研究[J]. 系統(tǒng)仿真學(xué)報(bào)，2017，29(12)：3030－3034.

Wen Weiliang, Guo Xinyu, Yang Tao, et al. Point cloud segmentation method of maize ear[J]. Journal of System Simulation, 2017, 29(12): 3030－3034.(in Chinese with English abstract)

[12] 溫維亮，王勇健，許童羽，等. 基于三維點(diǎn)云的玉米果穗幾何建模[J]. 中國(guó)農(nóng)業(yè)科技導(dǎo)報(bào)，2016，18(5)：88－93.

Wen Weiliang, Wang Yongjian, Xu Tongyu, et al. Geometric modeling of maize ear based on three-dimensional point cloud[J]. Journal of Agricultural Science and Technology, 2016, 18(5): 88－93.(in Chinese with English abstract)

[13] 韓仲志，楊錦忠. 計(jì)數(shù)玉米穗行數(shù)的機(jī)器視覺(jué)研究[J]. 玉米科學(xué)，2010，18(2)：146－148.

Han Zhongzhi, Yang Jinzhong. Vision research on the machine of counting ear rows in maize[J]. Journal of Maize Science, 2010, 18(2): 146－148.(in Chinese with English abstract)

[14] 張帆，李紹明，劉哲，等. 基于機(jī)器視覺(jué)的玉米異常果穗篩分方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2015，46(增刊1)：45－49.

Zhang Fan, Li Shaoming, Liu Zhe, et al. Screening method of abnormal corn ears based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(Supp.1): 45－49.(in Chinese with English abstract)

[15] 杜建軍，郭新宇，王傳宇，等. 基于分級(jí)閾值和多級(jí)篩分的玉米果穗穗粒分割方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(15)：140－146.

Du Jianjun, Guo Xinyu, Wang Chuanyu, et al. Segmentation method for kernels of corn ear based on hierarchical threshold and multi-level screening[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(15): 140－146. (in Chinese with English abstract)

[16] 劉長(zhǎng)青，陳兵旗. 基于機(jī)器視覺(jué)的玉米果穗?yún)?shù)的圖像測(cè)量方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2014，30(6)：131－138.

Liu Changqing, Chen Bingqi. Method of image detection for ear of corn based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(6): 131－138. (in Chinese with English abstract)

[17] Miller N D, Haase N J, Lee J, et al. A robust, high-throughput method for computing maize ear, cob, and kernel attributes automatically from images[J]. Plant Journal, 2017, 89(1): 169－178.

[18] 杜建軍，郭新宇，王傳宇，等. 基于穗粒分布圖的玉米果穗表型性狀參數(shù)計(jì)算方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2016，32(13)：168－176.

Du Jianjun, Guo Xinyu, Wang Chuanyu, et al. Computation method of phenotypic parameters based on distribution map of kernels for corn ears[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(13): 168－176. (in Chinese with English abstract)

[19] 王傳宇，郭新宇，吳升，等. 基于計(jì)算機(jī)視覺(jué)的玉米果穗三維重建方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45(9)：274－279.

Wang Chuanyu, Guo Xinyu, Wu Sheng, et al. Three dimensional reconstruction of maize ear based on computer vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(9): 274－279. (in Chinese with English abstract)

[20] 王傳宇，郭新宇，吳升，等. 采用全景技術(shù)的機(jī)器視覺(jué)測(cè)量玉米果穗考種指標(biāo)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2013，29(24)：155－162.

Wang Chuanyu, Guo Xinyu, Wu Sheng, et al. Investigate maize ear traits using machine vision with panoramic photograyphy[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(24): 155－162. (in Chinese with English abstract)

[21] Meyer G E, Neto J C, Jones D D, et al. Intensified fuzzy clusters for classifying plant, soil, and residue regions of interest from color images[J]. Computers & Electronics in Agriculture, 2004, 42(3): 161－180.

[22] Meyer G E, Neto J C. Verification of color vegetation indices for automated crop imaging applications[J]. Computers & Electronics in Agriculture, 2008, 63(2): 282－293.

[23] 張志斌，羅錫文，臧英，等. 基于顏色特征的綠色作物圖像分割算法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2011，27(7)：183－189.

Zhang Zhibin, Luo Xiwen, Zang Ying, et al. Segmentation algorithm based on color feature for green crop plants[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(7): 183－189. (in Chinese with English abstract)

[24] AI-amri S S, Kalyankar N V, Khamitkar S D. Image segmentation by using threshold techniques[J]. Computer Science, 2010, 2(5): 83－86.

[25] Patra S, Gautam R, Singla A. A novel context sensitive multilevel thresholding for image segmentation[J]. Applied Soft Computing, 2014, 23(10): 122－127.

[26] Osuna-Enciso V, Cuevas E, Sossa H. A comparison of nature inspired algorithms for multi-threshold image segmentation[J]. Expert Systems with Applications, 2013, 40(4): 1213－1219.

[27] Maji S, Berg A C, Malik J. Efficient classification for additive kernel SVMs[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(1): 66－77.

[28] Chang C C, Lin C J. LIBSVM: A library for support vector machines[J]. ACM Transactions on Internet Systems and Technology, 2011, 2(3): 1－27.

[29] Severini A D, Borrás L, Cirilo A G. Counting maize kernels through digital image analysis[J]. Crop Science, 2011, 51(6): 2796-2800.

[30] Du J J, Guo X Y, Wang C Y, et al. Three-dimensional reconstruction and characteristics computation of corn ears based on machine vision[J]. IFIP Advances in Information and Communication Technology, 2015, 420(4): 290－300.

Assembly line variety test method and system for corn ears based on panoramic surface image

Du Jianjun, Guo Xinyu※, Wang Chuanyu, Xiao Boxiang

(1.,100097,; 2.100097,)

The phenotypic traits of corn ear are important quantitative data in maize breeding and variety identification. In tradition, breeding workers are employed to deal with lots of corn ears by means of manual measurement and visual count, however this process is seriously labor-consuming and time-costing, and the measured traits are prone to be subjective and incomplete. In recent years, some semi-automatic systems based on machine vision and image analysis have been developed and applied to the maize variety test, however fully automated test system is still a challenge task owing to the strict high-throughput and high-precision requirements in large-scale maize breeding. To balance efficiency and accuracy of variety test for corn ears, in this paper, a high-throughput phenotypic measurement method and system based on panoramic surface image is proposed. Firstly, a novel mechanic system is proposed, which automatically conveys corn ears above a chain-roller structure, while the rolling corn ears are continuously imaged by a fixed industrial camera that is perpendicular to the moving plane of corn ear. In only several seconds, dozens of side images in which corn ears are in different positions can be collected to generate the image dataset of single corn ear. By analyzing the movement state of corn ear, a transformation model which describes the relationship among ear roll, camera imaging and surface position is then built to bridge the image sequence and the panoramic surface image of corn ear. Corn ears in the image sequence are respectively segmented and the center axes are dynamically determined by figuring out the shape and bounding box. This model always extracts the most appropriate sub regions of corn ear from image sequence, and then stitches them to the calculated positions on the panoramic surface image. As a result, the panoramic image of corn ear demonstrates the three-dimensional surface information in a two-dimensional image, and thus provides more intuitive and complete way for phenotyping calculation of corn ear. The valid surface region of corn ear in the panoramic image is further determined by the boundary detection technique that is performed by evaluating the perimeters of corn ear in the image sequence. Robust kernel segmentation based on hierarchical threshold method is also utilized to extract all candidate kernels which satisfy area and shape constraint, and some more restrictive filters based on machine learning methods, such as SVM (support vector machine), can also be taken to evaluate the validation of kernels. The segmented kernels in the panoramic image are used to calculate the total kernels, number of ear rows and kernels per row. The experimental results show that the proposed method and system can achieve optimized efficiency and accuracy balance. High-throughput convey mechanism improves the efficiency of image acquisition to 15 ears per minute. Compared with the methods based on single and multiple images, the variety test method based on panoramic surface image can make full use of the entire surface information of corn ear and reveal its individual phenotypic traits. The computation accuracies of ear length, ear diameter, number of ear rows, kernels per row and total kernels are up to 99%, 91.84%, 97.15%, 98.89% and 95.37% respectively.

image processing; machine vision; image segmentation; corn ear; phenotypic trait; image mosaic; panoramic image; variety test

杜建軍，郭新宇，王傳宇，肖伯祥. 基于全景圖像的玉米果穗流水線考種方法及系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(13)：195－202.doi：10.11975/j.issn.1002-6819.2018.13.023 http://www.tcsae.org

Du Jianjun, Guo Xinyu, Wang Chuanyu, Xiao Boxiang. Assembly line variety test method and system for corn ears based on panoramic surface image[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(13): 195－202. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.13.023 http://www.tcsae.org

2018-03-13

2018-06-03

國(guó)家自然科學(xué)基金（31671577）；國(guó)家重點(diǎn)研發(fā)計(jì)劃（2016YFD0300605-01）；北京市農(nóng)林科學(xué)院創(chuàng)新能力建設(shè)專項(xiàng)（KJCX20180423）；北京市農(nóng)林科學(xué)院數(shù)字植物科技創(chuàng)新團(tuán)隊(duì)（JNKYT201604）

杜建軍，男，副研究員，主要從事作物表型、計(jì)算機(jī)圖形圖像、生物力學(xué)等相關(guān)技術(shù)研究。Email：dujj@nericta.org.cn

郭新宇，男，研究員，主要從事數(shù)字植物理論研究。 Email：guoxy@nercita.org.cn

10.11975/j.issn.1002-6819.2018.13.023

TP391.41; S333.3

A

1002-6819(2018)-13-0195-08