基于機(jī)器視覺的馬鈴薯智能分級系統(tǒng)

鄧立苗 韓仲志 徐 艷 熊 凱

（青島農(nóng)業(yè)大學(xué)理學(xué)與信息科學(xué)學(xué)院，山東 青島 266109）

馬鈴薯自動分級是提高馬鈴薯市場競爭力和增值的重要途徑。隨著機(jī)器視覺技術(shù)的發(fā)展，該技術(shù)已廣泛應(yīng)用于農(nóng)產(chǎn)品生產(chǎn)檢測過程中，使用機(jī)器視覺可以排除人為因素干擾，避免人工分級的不確定性，提高生產(chǎn)率和分級精度。目前，國內(nèi)外學(xué)者已在馬鈴薯自動分級方面做了大量的研究工作。Marchant等［1］研制了一種根據(jù)尺寸對馬鈴薯進(jìn)行分級的系統(tǒng)，分級速度為40個/s，但精度還不能滿足實(shí)際生產(chǎn)的需要。Deck等［2］按照形狀、尺寸和發(fā)綠程度對馬鈴薯進(jìn)行分類，其結(jié)果優(yōu)于統(tǒng)計分類方法。Tao等［3］研究了基于傅里葉形狀的馬鈴薯形狀分級自動檢測系統(tǒng)。Zhou等［4］開發(fā)了一個基于PC機(jī)的機(jī)器視覺系統(tǒng)，該系統(tǒng)針對馬鈴薯的主要分類指標(biāo)進(jìn)行分級，分級速率為50個/s，總的分級準(zhǔn)確率為86.5%。鄭冠楠等［5］根據(jù)外形特性，采用離心率法進(jìn)行馬鈴薯的形狀分級。雖然國外研究者［6，7］在馬鈴薯外觀品質(zhì)分級方面做了大量工作，但研究大多數(shù)集中在理論和方法研究階段，對于實(shí)時分級系統(tǒng)的研究并不多；中國［8］盡管已經(jīng)研制了一些馬鈴薯的分級設(shè)備，但由于分級效率低、性能不穩(wěn)定和適應(yīng)性差等問題，尚不能滿足實(shí)際生產(chǎn)的需要。

為了實(shí)現(xiàn)馬鈴薯外觀品質(zhì)自動分級，本研究構(gòu)建馬鈴薯智能分級軟硬件平臺，并參照馬鈴薯等級標(biāo)準(zhǔn)［9］，提出了馬鈴薯外觀品質(zhì)分級檢測方法和流程，并基于Visual C＋＋集成開發(fā)環(huán)境實(shí)現(xiàn)了馬鈴薯智能分級系統(tǒng)。

1 馬鈴薯智能分級硬件系統(tǒng)

馬鈴薯智能分級系統(tǒng)是在現(xiàn)有水果機(jī)械式分級系統(tǒng)基礎(chǔ)上增加計算機(jī)視覺檢測系統(tǒng)和智能分級控制系統(tǒng)構(gòu)建而成。系統(tǒng)裝置如圖1所示，主要由輸送裝置、計算機(jī)視覺系統(tǒng)、分級執(zhí)行系統(tǒng)、控制電路等部分組成。機(jī)器接通電源后，通過步進(jìn)電機(jī)5帶動傳送帶12運(yùn)動。馬鈴薯7放置在托盤6上隨傳送帶運(yùn)動。每過一個托盤，光電傳感器11發(fā)送一個信號到智能控制器（下位機(jī)）3，智能控制器接收到信號即發(fā)送信號到計算機(jī)（上位機(jī)）2，上位機(jī)接收到信號，控制工業(yè)攝像頭9進(jìn)行拍照，并將拍攝的圖像發(fā)送給上位機(jī)處理。上位機(jī)對所拍攝的圖像進(jìn)行處理并根據(jù)外觀特征檢測方法進(jìn)行分級，得到分級結(jié)果（是否為次品），并將分級結(jié)果（0或1）發(fā)送給智能控制器。智能控制器接收到分級結(jié)果，若是1（次品）則發(fā)信號給次品區(qū)打果器14，打果器收到信號打翻托盤，馬鈴薯滾入次品收集區(qū)13。當(dāng)馬鈴薯經(jīng)過壓力傳感器10處時，壓力傳感器獲取重量信息并發(fā)送到機(jī)械控制器4，機(jī)械控制器按照重量信息分級，發(fā)送信號到重量等級出口的對應(yīng)等級的打果器，打果器打翻托盤，馬鈴薯則會進(jìn)入相應(yīng)重量等級的分級區(qū)15內(nèi)。

圖1 分級系統(tǒng)示意圖Figure 1 Diagram of general scheme

2 系統(tǒng)流程和分級控制方法

智能分級系統(tǒng)分為4個模塊，分別為拍照控制模塊、圖像采集和預(yù)處理模塊、特征提取和檢測模塊以及分級控制模塊，系統(tǒng)流程見圖2。拍照控制模塊控制拍照時間間隔，保證每個馬鈴薯圖片拍攝1次；圖像采集和預(yù)處理模塊負(fù)責(zé)馬鈴薯圖像采集和預(yù)處理；特征提取和檢測模塊對形狀、綠皮和缺陷3個分級指標(biāo)進(jìn)行特征提取和量化分級；分級控制模塊根據(jù)分級結(jié)果控制分級執(zhí)行器執(zhí)行分級結(jié)果。

圖2 系統(tǒng)流程圖Figure 2 Flow diagram

由于馬鈴薯在傳輸帶上運(yùn)動，分級時必須保證上位機(jī)發(fā)出的分級信號與分級執(zhí)行時間保持一致。由于機(jī)器運(yùn)行速度可調(diào)，每個圖片的處理時間也不固定，由上位機(jī)確定發(fā)送分級信號的時間比較困難。為保證每個馬鈴薯圖片只拍攝1次且分級控制不受圖像處理時間的影響，本試驗(yàn)采用計數(shù)的方式來進(jìn)行分級控制。使用光電傳感器作為計數(shù)器，每經(jīng)過1個托盤，計數(shù)器加1（圖3（a）），同時下位機(jī)向上位機(jī)發(fā)送拍照控制信號，上位機(jī)接收信號即控制攝像頭拍攝圖像，然后對所拍攝的圖像進(jìn)行處理和檢測分級，最后將處理結(jié)果（0或1）發(fā)送給下位機(jī)（圖3（b））。下位機(jī)將信號保存在隊列中，構(gòu)成一個控制序列。并以固定的時間間隔（計數(shù)器加1）從隊頭取控制信號，根據(jù)控制信號來執(zhí)行分級動作，若為1，電磁鐵打果器通電，將托盤打翻，馬鈴薯翻滾到相應(yīng)等級的收集區(qū)（圖3（c））。

圖3 分級控制流程圖Figure 3 Flow chart of grading process

3 軟件系統(tǒng)

軟件系統(tǒng)運(yùn)行界面如圖4所示，主界面分為4個區(qū)域：控制按鈕區(qū)、圖像監(jiān)視區(qū)、數(shù)據(jù)顯示區(qū)和統(tǒng)計數(shù)據(jù)區(qū)?？刂瓢粹o區(qū)實(shí)現(xiàn)攝像頭的打開和關(guān)閉、開始檢測和關(guān)閉檢測及數(shù)據(jù)顯示等功能；圖像監(jiān)視區(qū)實(shí)時顯示監(jiān)控畫面和所拍攝的馬鈴薯圖像。數(shù)據(jù)顯示區(qū)分為基本數(shù)據(jù)區(qū)和綜合數(shù)據(jù)區(qū)，基本數(shù)據(jù)區(qū)主要顯示馬鈴薯形狀、綠皮和缺陷3個指標(biāo)的檢測數(shù)據(jù)，并顯示每個檢測指標(biāo)是否正常。綜合數(shù)據(jù)區(qū)顯示馬鈴薯的長、寬、面積和等級，統(tǒng)計數(shù)據(jù)區(qū)主要顯示檢測到的馬鈴薯總數(shù)和正常馬鈴薯個數(shù)。

對供試驗(yàn)的350個馬鈴薯運(yùn)行智能分級系統(tǒng)，綜合形狀、顏色和缺陷3個方面特征進(jìn)行檢測，只要具有畸形（二次生長）、綠皮、缺陷其中任何一種情形就判定為次品，否則為正常薯塊。根據(jù)這個標(biāo)準(zhǔn)對350個馬鈴薯進(jìn)行測試，誤判個數(shù)為35個，綜合檢測準(zhǔn)確率為90%。

在Intel酷睿i3 3110M2.5GHz CPU，2GB內(nèi)存硬件條件下進(jìn)行馬鈴薯綜合檢測速度測試，每個馬鈴薯檢測時間約為40ms，每秒可處理約25個馬鈴薯，能夠滿足實(shí)時檢測的需求。

圖4 軟件運(yùn)行界面Figure 4 GUI of software

4 討論和結(jié)論

機(jī)器運(yùn)行時步進(jìn)電機(jī)的強(qiáng)電會對分級控制裝置（單片機(jī)）的弱電造成強(qiáng)烈的干擾，本研究采取了將控制裝置增加抗干擾電路、將控制器安裝在封閉的金屬盒之中以及分離電源等措施，基本上消除了干擾，但在生產(chǎn)線調(diào)速過程中偶爾存在著輕微干擾，原因可能是在步進(jìn)電機(jī)變速的瞬間產(chǎn)生了較大磁場干擾了電路，下一步考慮選用可靠性高、抗干擾能力強(qiáng)的PLC控制器［10］。同時，步進(jìn)電機(jī)的強(qiáng)電會對攝像頭造成干擾，影響拍照質(zhì)量，采用將燈箱接地的方式基本消除了干擾。

本系統(tǒng)是在已有機(jī)械分選機(jī)的基礎(chǔ)上改造而成的，加入智能分級控制系統(tǒng)后，跟原來的機(jī)械控制系統(tǒng)之間會存在不一致性現(xiàn)象。次品馬鈴薯在第一步根據(jù)外觀特征已被揀出，但原有的機(jī)械控制系統(tǒng)仍然按照壓力傳感器采集的重量信息分級，所以分級系統(tǒng)會存在 “空打”的現(xiàn)象，雖然不影響分級結(jié)果，但仍需要改進(jìn)。下一步采取的措施是，若某個馬鈴薯檢測為次品，則將壓力傳感器的信號屏蔽掉，這樣馬鈴薯作為次品檢出后，將不會再按照重量進(jìn)行分級。

由于馬鈴薯在傳輸過程中相對于托盤上固定不動，安裝在正上方的攝像頭只能獲取馬鈴薯上部圖像，從而影響檢測結(jié)果。研究中嘗試采用在傳送帶兩側(cè)加上鏡子的方式［11］，可以同時拍攝馬鈴薯正面和兩個側(cè)面的圖像，這樣在一定程度上擴(kuò)大馬鈴薯表面信息的獲取，但拍攝傳送帶上馬鈴薯底面圖像還是比較困難。如何獲取比較完整的馬鈴薯表面圖像信息，從而提高分級準(zhǔn)確率有待于下一步深入研究。

為實(shí)現(xiàn)馬鈴薯實(shí)時檢測和分級，本試驗(yàn)構(gòu)建了馬鈴薯智能分級硬件裝置，設(shè)計了一種簡單易行的馬鈴薯智能分級控制方法，提出了基于外觀品質(zhì)檢測方法和流程，并基于Visual C＋＋集成開發(fā)環(huán)境實(shí)現(xiàn)了馬鈴薯智能分級系統(tǒng)。結(jié)果表明，本試驗(yàn)所構(gòu)建的馬鈴薯智能分級系統(tǒng)運(yùn)行穩(wěn)定，所提出分級控制方法簡單易行，系統(tǒng)的綜合分級準(zhǔn)確率可達(dá)到90%，能夠滿足實(shí)時檢測的需求。

1 Marchant J A，Onyango C M，Street M J.High speed sorting of potatoes using computer vision［J］.Transaction of the ASAE，1998，41（9）：3 528～3 540.

2 Deck S H，Morrow C T，Heinemann P H，et al.Comparison of a neural network and traditional classifier for machine vision inspection of potatoes［J］.Applied Engineering in Agriculture，1995，11（2）：319～326.

3 Tao Y，Morrow C T，Heinemann P H，et al.Fourier-based separation technique for shape grading of potatoes using machine vision［J］.Transactions of the ASAE，1995，38（4）：949～957.

4 Zhou L，Chalana V，Kim Y.PC-based machine vision system for real-time computer-aided potato inspection［J］.International Journal of Imaging Systems and Technology，1998，9（6）：423～433.

5 鄭冠楠，譚豫之，張俊熊，等.基于計算機(jī)視覺的馬鈴薯自動檢測分級［J］.農(nóng)業(yè)機(jī)械學(xué)報，2009，40（4）：166～168.

6 郝敏，麻碩士.基于機(jī)器視覺的馬鈴薯單薯質(zhì)量檢測技術(shù)研究［J］.農(nóng)機(jī)化研究，2009（9）：61～63.

7 郝敏，麻碩士，郝小冬.基于Zernike矩的馬鈴薯薯形檢測［J］.農(nóng)業(yè)工程學(xué)報，2010，26（2）：347～350.

8 劉少達(dá)，張日紅.我國馬鈴薯分級設(shè)備現(xiàn)狀及亟待解決的技術(shù)問題［J］.農(nóng)業(yè)機(jī)械，2009（12）：53～54.

9 中華人民共和國農(nóng)業(yè)部.NY/T 1066－2006馬鈴薯等級規(guī)格［S］.北京：中國農(nóng)業(yè)出版社，2006.

10 李英輝，曲昀卿，崔成，等.傳送帶PLC控制系統(tǒng)設(shè)計［J］.制造業(yè)自動化，2013，35（4）：128～129.

11 周竹，黃懿，李昱.基于機(jī)器視覺的馬鈴薯自動分級方法［J］.農(nóng)業(yè)工程學(xué)報，2012，28（7）：178～182.