基于嵌入式視覺平臺的葉菜切割控制系統(tǒng)的設計

錢明艷 柳軍 周錫軍

摘要 針對我國葉菜類蔬菜大規(guī)模設施種植、人工收獲效率低、成本高且對葉菜損傷較大的實際問題，研究開發(fā)一種基于嵌入式視覺平臺的葉菜切割控制系統(tǒng)。根據(jù)葉菜槽栽培場景的收獲需求，切割系統(tǒng)需要控制完成葉菜夾持、自動定位切割位置、調(diào)節(jié)切割執(zhí)行高度等作業(yè)要求。首先總體設計了切割系統(tǒng)結(jié)構(gòu)，然后從主控制器模塊、視覺感知模塊兩方面進行了系統(tǒng)硬件的設計，并設計了主程序控制流程，研制出葉菜切割系統(tǒng)。測試結(jié)果表明，該葉菜切割系統(tǒng)結(jié)構(gòu)合理，為滿足槽式設施種植的葉菜收割高效率、低成本、低損傷要求提供了解決方案。

關(guān)鍵詞 葉菜切割;視覺;OV7725

Abstract Based on the problems of largescale equipment planting of leaf vegetables， low efficiency of artificial harvest， high cost and great damage to leaf vegetables in China， a leaf vegetable cutting control system based on embedded visual platform was developmtd. According to the harvest demand of the leaf vegetable slot cultivation scene， the cutting system needs to control the clamping of leaves and vegetables， automatically locate the cutting position and adjust the cutting execution height. In this paper， the cutting system structure is designed as a whole， and then the hardware of the system is designed from the aspects of main controller module and visual perception module， and the main program control flow is designed to realize the leaf vegetable cutting system. The results show that the structure of the leaf vegetable cutting system is reasonable， which provides a solution for the application of high efficiency， low cost and low damage requirements for leaf vegetable harvesting in slot facilities.

Key words Leaf vegetable cutting;Visual;OV7725

據(jù)農(nóng)業(yè)部門公布的數(shù)據(jù)顯示，我國設施蔬菜產(chǎn)業(yè)的發(fā)展趨勢較好，種植面積在逐年增加，預計到2020年種植面積將達到 410.53萬hm2左右 [1]。我國栽培的綠葉菜種類繁多，不同種類的葉菜類蔬菜形態(tài)各異，且栽培模式、種植密度等集合形態(tài)和物理性存在較大的差異，收獲基本依靠人工完成[2]。但是隨著農(nóng)業(yè)勞動力短缺、人工成本的逐步提高，目前全自動化葉菜生產(chǎn)、收獲設備研究逐步成為熱點。近年來，我國機械化葉菜收割機研究較多[34]，高龍等[5]研發(fā)了智能調(diào)節(jié)割幅、割茬高度的小型智能葉菜類蔬菜收獲機;丁馨明等[6]研究設計了適用于溫室蔬菜的（金花菜、豆苗、小菜秧等）收獲機;章永年等[7]開發(fā)了柔性有序夾持收集蔬菜收獲機，其中葉菜收割是實現(xiàn)全自動化蔬菜通用收割的重要一環(huán)。

采用有機基質(zhì)再利用栽培蔬菜，是目前高科技應用于蔬菜生產(chǎn)的重要標志，有效解決了農(nóng)林副產(chǎn)物的處置利用和環(huán)境污染問題，目前已經(jīng)在種植技術(shù)中得到了廣泛的應用。筆者研究的切割系統(tǒng)是應用于槽式設施種植的葉菜場景下，基于嵌入式視覺平臺的葉菜切割控制系統(tǒng)。

1 葉菜切割系統(tǒng)總體結(jié)構(gòu)

基于嵌入式視覺平臺的葉菜切割系統(tǒng)架構(gòu)主要由紅外定位機構(gòu)、滑塊機構(gòu)、CMOS視覺識別組件、切刀模組、調(diào)整模組、橫向模組等組成。切割系統(tǒng)架構(gòu)如圖1所示。

切割系統(tǒng)采用定點識別切割的模式，首先定位機構(gòu)定點確定輸送帶上的葉菜盒的位置，滑塊機構(gòu)從斜下方向上頂出夾住葉菜兩側(cè)，使兩側(cè)蔬菜葉片向中間聚集;CMOS視覺識別組件根據(jù)定位機構(gòu)定位的葉菜盒位置，依次識別葉菜盒里葉菜根莖位置;調(diào)整模組根據(jù)識別到的根莖位置調(diào)整切刀的高度;橫向模組控制收獲機器移動到下一顆葉菜位置，移動7次收割完基質(zhì)槽8顆葉菜;橫向模組初始化，機構(gòu)復位，蔬菜盒流至下工位進行蔬菜收集，單盒葉菜收割完成。

2 葉菜切割系統(tǒng)硬件設計

2.1 葉菜切割控制系統(tǒng)硬件模塊

系統(tǒng)對葉菜的切割首先應識別葉菜根莖的位置，根據(jù)根莖位置設計控制系統(tǒng)來控制切割機構(gòu)進行葉菜根莖切割。葉菜切割系統(tǒng)硬件模塊主要由供電電路、控制單元、數(shù)據(jù)采集電路、控制切割電路構(gòu)成（圖2）?？刂茊卧獮榍懈羁刂葡到y(tǒng)的核心部分，對外圍電路發(fā)出的指令進行響應、中斷控制[8]，并對外圍電路有效的電流、電壓、功率等進行計算;數(shù)據(jù)采集電路采用CMOS攝像頭進行圖像的采集，將采集的有效圖像反饋給控制單元進行圖像處理;控制切割電路接受到控制單元傳送來的切割信號，切刀模組進行相應的調(diào)整切割。

2.2 主控制器模塊

選用ST公司生產(chǎn)的STM32H743為核心控制單元，其內(nèi)核采用32位ARM Cortex-M7（帶雙精度浮點單元），最高性能工作頻率可達400 MHz，支持雙精度浮點運算和16位的A/D[9]、1MB RAM、Art加速器、L1緩存、外設存儲器接口以及各種外設，內(nèi)置集成了加密/哈希處理器，用于實現(xiàn)器件的安全特性，整體性能可滿足作為該項目采集控制需求。

2.3 OV7725傳感器模塊

OV7725是一種低壓的CMOS圖像傳感器設備，內(nèi)部集成有圖像采集、DSP數(shù)據(jù)處理、模數(shù)轉(zhuǎn)換電路，高度集成化，選擇的攝像頭模組引出19個I/O接口，它以一個小尺寸封裝提供了單一芯片VGA相機和圖像處理的全部功能[10]。感光陣列大小為640×480，能實現(xiàn)最快60 fpsVGA/s分辨率的視頻，并且可配置分辨率、圖片數(shù)據(jù)格式等參數(shù)[11]。

主要的工作流程如下：在輸入時鐘XCLK的驅(qū)動下，圖像感光陣列接收光子后經(jīng)過一系列轉(zhuǎn)換輸出指定格式模擬圖像數(shù)據(jù)，模擬圖像數(shù)據(jù)通過12位的模數(shù)轉(zhuǎn)換器轉(zhuǎn)成數(shù)字信號，再經(jīng)過片上DSP處理后最終輸出所配置格式的10位數(shù)字式圖像數(shù)據(jù)[12]。指定格式的圖像數(shù)據(jù)是通過SCCB總線配置OV7725相關(guān)寄存器得到。

OV7725實現(xiàn)的整體框架如圖3所示。首先處理單元FPGA對 SCCB時序描述，進行OV7725的單元配置;配置完成之后，OV7725 sensor將PCLK、href、vsync以及cmos_data信號輸出;輸出的信號經(jīng)過格式轉(zhuǎn)換單元進行格式轉(zhuǎn)化，再將轉(zhuǎn)換后的數(shù)據(jù)送給SDRAM單元，最終將數(shù)據(jù)傳送給上位機進行相應的處理操作[13]。

3 葉菜切割系統(tǒng)軟件設計

3.1 葉菜切割系統(tǒng)主控流程

葉菜切割系統(tǒng)采用模塊化設計，其主控流程如圖4所示。首先，對系統(tǒng)初始化，實現(xiàn)各個模塊復位;流水線準備收獲的葉菜盒傳送至指定位置，通過滑塊機構(gòu)從斜下方頂出夾住葉菜兩側(cè)，使葉菜的葉片向中間聚集露出葉菜根莖;隨后CMOS視覺模塊進行葉菜根莖位置算法識別，根據(jù)識別的位置進行割刀高度調(diào)整，分別對葉菜盒中8顆葉菜進行切割;結(jié)束整盤葉菜切割后機構(gòu)復位，蔬菜盒流至下工位，下一盒蔬菜盒準備。

3.2 葉菜切割系統(tǒng)視覺流程

在提取葉菜切割根莖圖像前，需要考慮葉菜生長環(huán)境以及根莖顏色的影響。葉菜根部種植基質(zhì)顏色（主要是棕褐色基質(zhì)）以及部分老葉是主要影響視覺識別的因素。針對上述影響因素，軟件平臺使用了opencv機器視覺庫進行系統(tǒng)的圖像處理，Python語言編寫下位機圖像處理部分，C語言編寫了下位機控制部分[14]，采用了RGB顏色空間的淺綠色葉菜根莖的色差分量合成的單通道圖像進行Otsu自適應閾值分割，能夠有效提取出切割圖像[15]。

切割系統(tǒng)視覺主控流程如圖5所示。首先啟動攝像頭，對攝像頭進行標定，為了得到準確的圖像色彩還原，關(guān)閉相機白平衡;設定葉菜閾值，再基于設定閾值檢測葉菜根莖所在區(qū)域，并將識別到的區(qū)域在ROI域內(nèi)框出;再進一步對框定的ROI圖像二值化，通過Otsu算法二值化處理方法將在閾值函數(shù)內(nèi)的閾值圖像全部像素變?yōu)榘咨?，閾值外的全部像素變?yōu)楹谏?二值化后的圖像再通過腐蝕函數(shù)erode（size，threshold）、膨脹函數(shù)dilate（size，threshold）進行腐蝕、膨脹確定割刀目標區(qū)域;其中size是去除邊緣相鄰處多余的點，閾值函數(shù)threshold是用來設置去除相鄰點的個數(shù)，圖像邊緣附近的白色雜點、邊緣膨脹大小隨閾值函數(shù)的大小改變。通過測距算法計算出割刀的圖像距離與實際距離的比值，切割位置通過串口傳給下位機，割刀調(diào)整位置進行切割。

4 系統(tǒng)測試分析

4.1 試驗概況

在江蘇省農(nóng)業(yè)科學院六合實驗基地取成熟期的葉菜，該基地采用基質(zhì)化再利用技術(shù)種植葉菜，種植基質(zhì)槽寬15 cm、長32 cm，葉菜種植距離為4 cm，1條基質(zhì)槽種植8顆葉菜，收獲的蔬菜種類主要為青菜、苦苣、生菜等。試驗于2019年8月25日在江蘇省農(nóng)業(yè)科學院農(nóng)業(yè)設施與裝備研究所進行，主要測試葉菜類蔬菜切割控制系統(tǒng)的性能。此次試驗的葉菜主要是青菜，成熟青菜高約3.5 cm，1棵植株平均5片葉向四周散開。

4.2 試驗過程

由于圖像在采集或傳輸中會產(chǎn)生大量的噪聲，因此在對圖像采集和收集時要進行圖像的預處理操作。

首先對相機進行標定，關(guān)閉白平衡;設定青菜的根莖閾值，對青菜所在區(qū)域進行檢測，初步將識別到的青菜框定在ROI區(qū)域內(nèi)框處，如圖6所示。

其次通過Otsu算法進行二值化圖像處理，該方法又稱最大類間方差法或大津法，最大限度將圖像背景和識別目標的類間方差進行自動閾值分割[16];圖像背景識別目標之間的類間方差越大，說明兩者之間的差別就越大，當部分圖像背景或部分識別目標錯分為背景都會導致2部分的差別變小[17]。使用Otsu算法進行二值化處理錯分的概率最小，能夠準確識別到目標。

將基于設定閾值識別的葉菜進行二值化處理（圖7a），再進一步進行閾值調(diào)整，分割出青菜根莖的位置（7b）。

進一步對圖像進行腐蝕膨脹，圖像先膨脹再腐蝕，能有效地區(qū)分出目標圖像的邊界。針對二值化的圖像進行腐蝕，可以消除噪點，有效地分割出獨立的圖形元素，識別出圖像中青菜根莖極限區(qū)域。青菜根莖膨脹腐蝕運算如圖8所示。

最后進行割刀的切割距離計算。由于該研究是根據(jù)割刀與青菜根莖的相對位置計算割刀切割的執(zhí)行高度，因此需要計算出割刀的實際執(zhí)行高度與圖像上割刀應調(diào)節(jié)高度的關(guān)系。此次試驗識別青菜根莖的距離以及種植的青菜在葉菜盒中的固定位置，因此可采用參照物的形式來測量距離，根據(jù)參照物的大小比例關(guān)系來測量割刀的實際距離。

根據(jù)青菜在葉菜盒中的位置進行同位置投放參照物，由攝像頭中參照物的幾何關(guān)系可得出攝像頭到參照物固定距離與圖像中實際距離的比值，如公式（1）所示。由真實環(huán)境里參照物的幾何關(guān)系可得出參照物的實際大小與長度的比值，如公式（2）所示。將公式（2）帶入公式（1）可得出實際長度與攝像頭的像素成反比，利用公式（3）計算出實際距離與圖上距離的比值關(guān)系，推導出實際距離和攝像頭中產(chǎn)生的像素成反比，得出割刀的實際距離（cm）。

公式中，Lm是參照物與攝像頭的距離;Bpix是攝像頭中參照物所占的直徑像素;Rm是球真實的長度;Apix是求出的固定像素;a是機器視覺的1/2;b是視覺的1/4。設置一個圓形紅色參照物，參照物如圖9所示。

5 結(jié)論

該研究針對葉菜切割圖像難以利用灰度特征值進行處理的實際情況，采用RGB顏色空間的色差分量合成的單通道圖像進行Otsu自適應閾值分割，能夠快速有效地對切割圖像進行分割，實現(xiàn)了對葉菜全自動化有效收割。結(jié)果表明，該算法能夠?qū)δ繕诉M行精準的檢測和定位，整個切割系統(tǒng)性能良好，收獲過程中對蔬菜切割莖的長度保留適中，切割整齊且能輔助葉菜的有序存放。

參考文獻

[1] 左緒金.我國設施蔬菜產(chǎn)業(yè)發(fā)展現(xiàn)狀及其未來發(fā)展路徑探析[J].現(xiàn)代農(nóng)業(yè)研究，2019（5）：47-48.

[2] 卞麗娜，李繼偉，丁馨明.葉菜類蔬菜機械化收獲技術(shù)及研究[J].農(nóng)業(yè)裝備技術(shù)，2015，41（2）：22-24.

[3] 陸海濤，呂建強，金偉，等.我國葉類蔬菜機械化收獲技術(shù)的發(fā)展現(xiàn)狀[J].農(nóng)機化研究，2018，40（6）：261-268.

[4] 韋勇，秦廣明，金月，等.葉菜收獲機械的研究現(xiàn)狀及發(fā)展趨勢[J].農(nóng)業(yè)開發(fā)與裝備，2016（8）：98-100.

[5] 高龍，弋景剛，孔德剛，等.小型智能葉菜類蔬菜收割機設計[J].農(nóng)機化研究，2016，38（9）：147-150.

[6] 丁馨明，何白春，薛臻.小型葉菜收割機研發(fā)與市場初探[J].江蘇農(nóng)機化，2014（2）：40-42.

[7] 章永年，施印炎，汪小旵，等.莖葉類蔬菜有序收獲機柔性夾持輸送機構(gòu)設計[J].中國農(nóng)機化學報，2016，37（9）：48-51.

[8] 楊文榮，吳晟，商建鋒.基于STM32的同步發(fā)電機勵磁調(diào)節(jié)器設計與試驗[J].實驗技術(shù)與管理，2019，36（6）：79-84.

[9] 曾浩.基于STM32F407的嵌入式機器視覺裝置研發(fā)[D].廣州：廣東工業(yè)大學，2015.

[10] 吳振昊，張平，張為.基于OV7725和串口的圖像采集驗證系統(tǒng)[J].信息技術(shù)，2015（10）：90-92，96.

[11] 謝懿.基于stm32與ov7725的嵌入式工件尺寸檢測系統(tǒng)的設計[J].電子世界，2017（24）：110-111.

[12] 曹山.基于FPGA的實時圖像采集和處理系統(tǒng)設計[D].西安：西安工業(yè)大學，2015.

[13] 楊陶，田懷文，劉曉敏，等.基于邊緣檢測與Otsu的圖像分割算法研究[J].計算機工程，2016，42（11）：255-260，266.

[14] 鄒浩，郭雨婷，李佳盈，等.基于OPENMV的色彩引導機器人系統(tǒng)研究[J].科技資訊，2018（25）：85-86.

[15] 燕紅文，鄧雪峰.OTSU算法在圖像分割中的應用研究[J].農(nóng)業(yè)開發(fā)與裝備，2018（11）：103，108.

[16] 黃亦其，黃體森，楊睿，等.基于機器視覺的甘蔗切割高度檢測與試驗[J].中國農(nóng)機化學報，2017，38（9）：81-87.

[17] 曹爽.基于OTSU算法的圖像閾值分割技術(shù)[D].太原：太原理工大學，2018.