基于圖像技術(shù)的小麥籽粒三維信息測量

仲曉春，陳 雯，劉 濤，郝心寧，李哲敏，孫成明

（1. 中國農(nóng)業(yè)科學(xué)院農(nóng)業(yè)信息研究所，北京 100081；2. 揚州大學(xué)江蘇省作物遺傳生理重點實驗室/小麥研究所，江蘇 揚州 225009）

?

基于圖像技術(shù)的小麥籽粒三維信息測量

仲曉春1，陳 雯2，劉 濤2，郝心寧1，李哲敏1，孫成明2

（1. 中國農(nóng)業(yè)科學(xué)院農(nóng)業(yè)信息研究所，北京 100081；
2. 揚州大學(xué)江蘇省作物遺傳生理重點實驗室/小麥研究所，江蘇 揚州 225009）

摘 要：為了實現(xiàn)小麥籽粒三維信息的快速測定，設(shè)計了一種利用圖像分析技術(shù)測量小麥籽粒長、寬、厚信息的方法。利用麥粒最穩(wěn)定極值區(qū)域（MSER）的長和寬，借助一定角度的光源使麥粒產(chǎn)生影子，根據(jù)不同厚度麥粒產(chǎn)生影子的寬度不同來測定籽粒的厚度，從而獲得麥粒的三維信息。通過對4個不同小麥品種共256顆麥粒進行圖像處理測量和游標(biāo)卡尺測量實驗，在比較兩種方法的試驗結(jié)果發(fā)現(xiàn)，兩者測量麥粒長、寬、厚的相關(guān)性均較高，R2值均高于0.9，RMSE分別為0.0988、0.08413、0.0917。結(jié)果表明借助光源通過單幅二維圖像可快速準(zhǔn)確測量小麥籽粒三維信息，可為小麥籽粒三維信息智能化測量提供參考。

關(guān)鍵詞：小麥；籽粒三維；影子；圖像處理；最穩(wěn)定極值區(qū)域

籽長、粒寬和粒厚是評價小麥籽粒質(zhì)量的重要指標(biāo)，也是影響小麥產(chǎn)量的重要因素［1］。目前小麥籽粒長、寬、厚的測量主要通過游標(biāo)卡尺來實現(xiàn)，這種方法主觀性較強，測量部位的選擇較難把握，效率低下且可重演性差。

長期以來機器視覺在農(nóng)業(yè)中的應(yīng)用一直是智能農(nóng)業(yè)研究的重點［2］，其在作物籽粒信息的識別與分析中發(fā)揮了舉足輕重的作用［3-5］。機器視覺或圖像處理技術(shù)在小麥籽粒上的應(yīng)用一方面可以實現(xiàn)籽粒種類的識別，其中包括對大麥、小麥、燕麥等的區(qū)分以及不同小麥品種的識別［3，6-7］；另一方面，機器視覺技術(shù)可應(yīng)用于小麥籽粒的綜合評價，其中包括對籽粒的病害、損傷的評價以及籽粒形態(tài)特征的測算［8-11］。在研究技術(shù)上，一般通過圖像處理算法提取小麥籽粒的形態(tài)特征參數(shù)、顏色特征參數(shù)和紋理特征參數(shù)，再通過這些參數(shù)建立評價和分析體系［12］。

在前人的研究中，大多利用二維空間信息對小麥籽粒進行分析和測定，雖然對小麥籽粒的智能評價起到積極作用，然而僅通過二維信息來評價小麥籽粒這種三維事物有一定的局限性。本研究利用圖像處理技術(shù)結(jié)合一定的外部光源測定小麥籽粒的長、寬、厚信息，在單幅二維圖像中提取小麥籽粒的三維信息，為小麥籽粒三維信息的快速準(zhǔn)確測定提供一定的技術(shù)支持。

1 材料與方法

1.1 試驗材料

試驗材料選用寧糯1號、揚麥20、揚麥9號、揚輻麥4號4個小麥品種，每個品種64顆籽粒。通過Sony nex-5r相機，在日光燈源下獲得利用籽粒排列板（圖1）排列后的小麥籽粒圖像（圖2），原始圖像由麥粒、麥粒在光源下產(chǎn)生的影子和背景3部分組成。籽粒排列板由64個長9 mm、寬4 mm、深3 mm的孔洞組成，每個孔洞的橫向間距為8 mm，可較方便地將麥粒排列整齊，以供后期處理。

圖1 麥粒排列板構(gòu)造

圖2 小麥籽粒原始圖像

1.2 圖像分割

設(shè)RGB彩色圖像中的紅、綠、藍3個顏色分量為r、g、b，記d1（x，y）= b（x，y） - r（x，y），d2（x，y）= b（x，y）- g（x，y），則圖像中黃色部分可表示為［13］：

式中，k1、k2∈［0，1］，提取圖像效果如圖3A所示。通過閾值法［14］對圖3A進行二值化處理，得到的麥粒二值圖像會不同程度的存在孔洞，利用孔洞填充算法［15］處理后可以得到如圖3B的麥粒二值圖像。

圖3 麥粒部分提取效果

利用閾值分割方法［14，16］處理圖2得到麥粒及其影子的二值圖像（圖4A），將圖4A與圖3B進行差值運算，得到麥粒影子的二值圖像（圖4B）。

圖4 籽粒影子提取效果

1.3 特征值提取

麥粒的長、寬、厚分別為籽粒最長、最寬、最厚區(qū)域的值。通過提取籽粒圖像中最大穩(wěn)定極值區(qū)域（MSER）并采用構(gòu)造放射不變量的方法把MSER擬合成如圖5所示的橢圓，該橢圓的長軸即為麥粒的長，短軸即為麥粒的寬［17-19］，擬合公式為：

式中，X代表區(qū)域中任意點的空間坐標(biāo)（x，y），R代表小麥籽粒區(qū)域，|R|為小麥籽粒區(qū)域像素點的個數(shù)。圖5中a、b分別為擬合橢圓的長軸和短軸，θ代表長軸的方向，點Q（x，y）為影子邊緣上距長軸最遠的點，在一定角度的光照條件下，點Q與長軸的距離近似于影子寬度且該距離與籽粒厚度有著密切關(guān)系，故研究中將該距離作為影子寬度間接計算籽粒厚度。

圖5 小麥籽粒橢圓擬合

如圖6所示，籽粒厚度d與影子長度c的比值為β角的正切值，β角的正切值同時等于光源高度b與點Q與光源水平距離的比值，因此可得籽粒厚度的計算公式為：

圖6 籽粒、光源和影子的幾何結(jié)構(gòu)

為了實現(xiàn)籽粒信息的批量獲取和處理，本研究利用聯(lián)通區(qū)域標(biāo)記算法［20］為二值圖像各個籽粒和影子進行編號，利用該算法可以獲得籽粒標(biāo)號（圖7）。然而，由于該算法的局限性使得麥粒的標(biāo)號較混亂，不利于后期處理。為使籽粒編號整齊，通過下式計算各區(qū)域的質(zhì)心（xc，yc）［21］，根據(jù)質(zhì)心的位置進行編號。

式中，I為二值圖像，（i，j）為圖像的像素坐標(biāo)，m、n為圖像的行、列數(shù)。圖6中橢圓為MSER擬合橢圓，十字為區(qū)域質(zhì)心。

圖7 籽粒MSER橢圓與編號

1.4 籽粒信息真實值測量

為驗證圖像處理方法測量的效果，通過游標(biāo)卡尺測量麥粒的長、寬、厚。測量人員分為5組，分別利用電子游標(biāo)卡尺測量同一批麥粒最長、最寬和最厚區(qū)域的值，去掉測量結(jié)果的最大值與最小值，取余下3個數(shù)據(jù)的平均值作測量值。

2 結(jié)果與分析

從圖8可以看出，圖像處理方法能較好地測量小麥籽粒的長、寬、厚，測量結(jié)果與1∶1直線之間的R2值均高于0.9，RMSE分別為0.0988、0.08413、0.0917。

試驗分別采用外接矩形法和MESR法測量麥粒的長、寬、厚，從表1可以看出，MSER法對4個小麥品種麥粒長、寬、厚的測量準(zhǔn)確度明顯高于外接矩形法。

圖8 麥粒長、寬、厚測量結(jié)果

3 討論

小麥籽粒的長、寬、厚能反映籽粒的形態(tài)特征和飽滿程度［22］，快速準(zhǔn)確測量麥粒的長、寬、厚對研究小麥籽粒充實和產(chǎn)量形成具有積極的意義。利用圖像處理技術(shù)測定作物籽粒形態(tài)信息已有大量的研究，其中包括籽粒的長、寬、投影面積、周長等的測量［5，11，23］，但鮮有研究涉及到籽粒三維信息的測量。Sun等［22］利用立體視覺測量小麥籽粒厚度，該方法可較準(zhǔn)確地測量小麥籽粒的長、寬、厚，而通過二維圖像只能獲得小麥籽粒的長和寬，不能得到籽粒厚度信息。本研究借助不同厚度小麥籽粒在一定角度光照條件下產(chǎn)生影子的寬度不同來計算籽粒的厚度，結(jié)果表明通過處理二維圖像可測得小麥籽粒的長、寬、厚，比立體視覺法容易實現(xiàn)，且本研究所提出的方法能對籽粒三維信息進行批量測量，提高了小麥籽粒三維信息的測量效率，該方法同樣適合用于水稻、大麥等作物籽粒三維信息的測量。

表1 外接矩形法與MSER法測量結(jié)果與1∶1直線之間的R2值

本研究分別采用外接矩形法和MSER法作為籽粒長、寬、厚的測量算法，發(fā)現(xiàn)相關(guān)文獻中提出的外接矩形法在測量小麥粒長和粒寬時存在一定偏差［23-24］，外接矩形的長、寬與籽粒的長短軸不能較好地吻合，而MSER擬合橢圓的長短軸和籽粒的長短軸能較好地吻合。通過外接矩形測量影子寬度也會因影子的形態(tài)差異產(chǎn)生誤差，而通過影子邊緣距籽粒長軸的最遠距離可較準(zhǔn)確的反映影子寬度，從而降低厚度計算過程中的誤差。

本研究基本實現(xiàn)了利用單幅圖像測量小麥籽粒三維信息。然而，研究雖然通過圖1所示籽粒排列板可以較方便的將小麥籽粒整齊排布，從而便于圖像的處理，但方法仍然不能達到完全的智能化，更智能的籽粒排列方法或適用于隨機散布的籽粒測量算法有待進一步研究。

參考文獻：

［1］ 朱新開，劉曉成，孫陶芳，等. FACE條件下O3濃度增高對小麥產(chǎn)量和籽粒充實的影響［J］. 中國農(nóng)業(yè)科學(xué)，2011，44（6）：1100-1108.

［2］ Bai X D，Gao Z G，Wang Y，et al. Crop segmentation from images by morphology modeling in the CIE Lab color space［J］. Computers and Electronics in Agriculture，2013，99：21-34.

［3］ Mebatsion H K，Paliwal J，Jayas D S. Automatic classification of non-touching cereal grains in digital images using limited morphological and color features ［J］. Computers and Electronics in Agriculture，2013，90：99-105.

［4］ Mebatsion H K，Paliwal J，Jayas D S. A novel，invariant elliptic Fourier coefficient based classification of cereal grains［J］. Biosystems Engineering，2012，111（4）：422-428.

［5］ Mebatsion H K，Paliwal J，Jayas D S. Evaluation of variations in the shape of grain types using principal components analysis of the elliptic Fourier descriptors ［J］. Computers and Electronics In Agriculture，2013，80：63-70.

［6］ 何勝美，李仲來，何中虎. 基于圖像識別的小麥品種分類研究［J］. 中國農(nóng)業(yè)科學(xué)，2005，38（9）：1869-1875.

［7］ Alireza P，Hamidreza P，Mohammad A，et al. Identification of nine Iranian wheat seed varieties by textural analysis with image processing［J］. Computers and Electronics In Agriculture，2012，83：102-108.

［8］ Zapotoczny P. Discrimination of wheat grain varieties using image analysis and neural networks［J］. Journal of Cereal Science，2011，54（1）：60-68.

［9］ 王志軍，叢培盛，周佳璐，等. 基于圖像處理與人工神經(jīng)網(wǎng)絡(luò)的小麥顆粒外觀品質(zhì)評價方法［J］. 農(nóng)業(yè)工程學(xué)報，2007，23（1）：158-161.

［10］ 陳豐農(nóng)，成芳. 基于自適應(yīng)雙閾值的彩色線陣CCD小麥黑胚分割［J］. 農(nóng)業(yè)工程學(xué)報，2011，27（3）：341-344.

［11］ 張浩，李和平，葉娟. 小麥籽粒外觀形態(tài)特征測定技術(shù)研究［J］. 糧食與飼料工業(yè)，2013（3）：7-9.

［12］ 陳豐農(nóng). 基于機器視覺的小麥并肩雜與不完善粒動態(tài)實時檢測研究［D］. 杭州：浙江大學(xué)，2012.

［13］ 鄭成勇. 一種RGB顏色空間中的車牌定位新方法［J］. 中國圖象圖形學(xué)報，2010，15（11）：1623-1628.

［14］ 張錚，王艷萍，薛桂香. 數(shù)字圖像處理與機器視覺Visual C++與Matlab實現(xiàn)［M］. 北京：人民郵電出版社，2012.

［15］ 張德才，周春光，周強，等. 基于輪廓的孔洞填充算法［J］. 吉林大學(xué)學(xué)報（理學(xué)版），2011，49（1）：82-86.

［16］ 吳露露，馬旭，齊龍，等. 基于葉片形態(tài)的田間植物檢測方法［J］. 農(nóng)業(yè)機械學(xué)報，2013，44（11）：241-246.

［17］ Obdr?álek D，Basovník S，Mach L，et al. Detecting scene elements using maximally stable colour regions ［M］. Research and Education in Robotics -EUROBOT 2009，Gottscheber A，Obdr?álek D，Schmidt C，Springer Berlin Heidelberg，2010：82，107-115.

［18］ Mikolajczyk K，Tuytelaars T，Schmid C，et al. A comparison of affine region detectors［J］. International Journal of Computer Vision，2005，65（1-2）：43-72.

［19］ 柳濤. 多通道圖像MSER局部不變特征提取算法研究［D］. 長沙：國防科學(xué)技術(shù)大學(xué)，2010.

［20］ 張云哲，趙海，宋純賀，等. 一種新的連通區(qū)域標(biāo)記算法［J］. 計算機應(yīng)用研究，2010，27（11）：4335-4340.

［21］ 宋克歐，黃鳳崗，蘭曉婷. 二值圖像目標(biāo)質(zhì)心快速搜索跟蹤算法［J］. 模式識別與人工智能，1998，11 （2）：161-168.

［22］ Sun C M，Mark B，David C，et al. Thickness measurement and crease detection of wheat grains using stereo vision［J］. Pattern Recognition Letters，2007，28（12）：1501-1508.

［23］ 王傳宇，郭新宇，溫維亮，等. 基于計算機視覺的玉米籽粒形態(tài)測量［J］. 農(nóng)機化研究，2011（6）：144-147.

［24］ 周竹，黃懿，李小昱，等. 基于機器視覺的馬鈴薯自動分級方法［J］. 農(nóng)業(yè)工程學(xué)報，2012，28（7）：178-183.

（責(zé)任編輯 鄒移光）

Three-dimensional information measurement of wheat grain based on image technology

ZHONG Xiao-chun1，CHEN Wen2，LIU Tao2，HAO Xin-ning1，LI Zhe-min1，SUN Cheng-ming2
（1. Agriculture Information Institute of CAAS，Beijing 10081；2.Jiangsu Key Laboratory of Crop Genetics and Physiology/ Co-Innovation Center for Modern Production Technology of Grain Crops，Yangzhou University，Yangzhou 225009，China）

Abstract：In order to get the three-dimensional information of wheat grains rapidly，a method based on image analysis technology was designed to calculate the length，width and thickness of wheat grains. Minimal outer rectangle of grain was used to calculate the grain's length and width. The striplight at specific angles was used to generate shadows of wheat grains，and those shadows could describe the thickness of grains one-to-one. We measured the 256 grains of 4 varieties with image analysis technology and vernier caliper. Then we compared the results and got a high correlation coefficient （R2＞0.9），respectively. The root mean square error of the length was 0.0988，and the width and thickness were 0.08413 and 0.0917. All the results demonstrated that the three-dimensional information of wheat grains could be obtained by a two-dimensional picture depending on the light source，and the method discussed in this paper is promising and encouraging to obtain the three-dimensional information of wheat grains.

Key words：wheat；grain three-dimensional；shadow；image analysis；MSER

中圖分類號：S512；TP391.41

文獻標(biāo)識碼：A

文章編號：1004-874X（2016）02-0150-06

收稿日期：2015-11-02

基金項目：中國農(nóng)業(yè)科學(xué)院科技創(chuàng)新工程項目

作者簡介：仲曉春（1984-），男，博士，助理研究員，E-mail：tytommy520@163.com

通訊作者：孫成明（1973-），男，博士，副教授，E-mail：cmsun@yzu.edu.cn