基于OpenMV的水果篩選系統(tǒng)設(shè)計(jì)

駱紹燁，張長(zhǎng)佳，周 超，蔡榮貴

(莆田學(xué)院 機(jī)電與信息工程學(xué)院，福建 莆田 351100)

我國(guó)國(guó)土經(jīng)緯跨度大，東南西北所產(chǎn)的水果品種不可枚舉，在水果產(chǎn)品競(jìng)爭(zhēng)愈演愈烈的今天，如何提高水果品質(zhì)、生產(chǎn)效率就尤其重要.而水果篩選分級(jí)是提高水果品質(zhì)的一個(gè)重要環(huán)節(jié).國(guó)內(nèi)目前在水果篩選分級(jí)上還主要依靠人工或借助部分簡(jiǎn)易的篩選裝置完成，由此帶來(lái)了勞動(dòng)量大、生產(chǎn)率低等諸多缺點(diǎn)[1].借助機(jī)器分類(lèi)方法具有耗時(shí)短、高效率、契合水果品種不容易受損等特點(diǎn)，彌補(bǔ)了人工篩選的缺陷，因此研究和開(kāi)發(fā)高效的水果篩選系統(tǒng)十分必要.

計(jì)算機(jī)通過(guò)效仿人眼所看到的圖像場(chǎng)景，在圖像或圖像隊(duì)列中獲取有效信息,對(duì)物理世界的三維景物進(jìn)行形態(tài)與運(yùn)動(dòng)識(shí)別，即計(jì)算機(jī)視覺(jué)[2].隨著計(jì)算機(jī)技術(shù)的提升和新型算法的提出，計(jì)算機(jī)視覺(jué)技術(shù)已開(kāi)始逐漸在包括農(nóng)業(yè)在內(nèi)的各個(gè)領(lǐng)域中得到廣泛應(yīng)用.針對(duì)水果篩選問(wèn)題，本文在OpenMV微型機(jī)器視覺(jué)模塊的基礎(chǔ)上,以PC端為載體,運(yùn)用計(jì)算機(jī)視覺(jué)相關(guān)技術(shù)實(shí)現(xiàn)水果篩選.

1 系統(tǒng)結(jié)構(gòu)設(shè)計(jì)及初始化

1.1 系統(tǒng)硬件結(jié)構(gòu)

基于OpenMV的水果篩選系統(tǒng)主要包括了OpenMV微型機(jī)器視覺(jué)模塊和計(jì)算機(jī)兩部分.OpenMV的核心是STM 32 CPU芯片，并在體積小巧的硬件模塊上集成了OV7725攝像頭芯片，從而使核心機(jī)器視覺(jué)算法能夠高效地實(shí)現(xiàn)[3].OpenMV還提供了基于Python的編程接口，這樣就可以方便使用Python來(lái)進(jìn)行二次開(kāi)發(fā).系統(tǒng)硬件結(jié)構(gòu)設(shè)計(jì)如圖1所示.

圖1 系統(tǒng)硬件結(jié)構(gòu)圖

攝像頭用來(lái)拍攝水果圖像，STM 32 CPU負(fù)責(zé)圖像的預(yù)處理以及機(jī)器識(shí)別過(guò)程，計(jì)算機(jī)則用于OpenMV系統(tǒng)中攝像頭、視覺(jué)模塊的參數(shù)設(shè)置和水果模板的輸入.系統(tǒng)通過(guò)在OpenMV微型機(jī)器視覺(jué)模塊上的攝像頭獲取實(shí)時(shí)圖像,在對(duì)圖像進(jìn)行預(yù)處理后，利用形狀識(shí)別和邊緣檢測(cè)等相關(guān)算法完成目標(biāo)水果識(shí)別與篩選.

1.2 OpenMV參數(shù)設(shè)置

OpenMV運(yùn)用的是小孔成像這一種理想模型，在實(shí)際應(yīng)用時(shí)鏡頭會(huì)存在場(chǎng)曲和畸變等[4]，可以通過(guò)在標(biāo)定過(guò)程中引入畸變參數(shù)(sensor)解決.下面是OpenMV攝像頭相關(guān)參數(shù)的設(shè)置代碼.

import sensor #引入感光元件的模塊

# 設(shè)置攝像頭參數(shù)

sensor.reset() #初始化感光元件

sensor.set_pixformat(sensor.RGB565) #設(shè)置攝像頭顏色模式sensor.set_pixformat(sensor.GRAYSCALE) # 設(shè)置為灰度圖模式

sensor.set_framesize(sensor.QVGA) #設(shè)置圖像像素的大小

sensor.set_auto_gain(False) #關(guān)閉自動(dòng)增益

sensor.set_auto_whitebal(False) #關(guān)閉白平衡

sensor.set_windowing(roi) #設(shè)置窗口中的興趣區(qū)

針對(duì)傳統(tǒng)的ATM機(jī)上遮擋人臉檢測(cè)算法時(shí)間復(fù)雜度高與魯棒性差的問(wèn)題，提出了一種快速地遮擋人臉判別方法，通過(guò)訓(xùn)練YOLO人臉檢測(cè)網(wǎng)絡(luò)模型，定位出人臉?biāo)趨^(qū)域，再結(jié)合改進(jìn)的DLIB多角度人臉關(guān)鍵點(diǎn)檢測(cè)算法對(duì)該區(qū)域的人臉進(jìn)行遮擋判別，若為遮擋人臉，則禁止其進(jìn)一步操作。將其運(yùn)用到實(shí)時(shí)場(chǎng)景下ATM機(jī)遮擋人臉判別上，實(shí)驗(yàn)證明該方法達(dá)到了較好的判別效果，與傳統(tǒng)的算法相比，檢測(cè)速度更快，魯棒性更好，具有一定的使用價(jià)值。下一步工作將針對(duì)ATM機(jī)實(shí)時(shí)場(chǎng)景中出現(xiàn)的新問(wèn)題，進(jìn)一步優(yōu)化算法的性能，使其在大量復(fù)雜的樣本中也能表現(xiàn)出較高的判別率。

while(True):

img = sensor.snapshot() #拍攝照片

2 系統(tǒng)功能方案設(shè)計(jì)

基于OpenMV的水果篩選系統(tǒng)主要包括水果類(lèi)別篩選、水果尺寸篩選和水果成熟度篩選3個(gè)主要功能.這些功能主要依靠對(duì)攝像頭所拍攝的水果圖像分析實(shí)現(xiàn).

2.1 水果類(lèi)別篩選

水果類(lèi)別篩選主要通過(guò)模板匹配來(lái)實(shí)現(xiàn).模板匹配就是提前得知一張圖像，然后在一片大區(qū)域中搜索已知圖像的過(guò)程[5].其識(shí)別判別的依據(jù)是找到與同模板有相同的方向、長(zhǎng)短和圖像元素的目標(biāo)，通過(guò)編寫(xiě)好的Python程序在區(qū)域中定位到目標(biāo)，并確定其坐標(biāo)位置，最后以某種方式框選出來(lái).前期通過(guò)錄入不同水果的模板圖像，建立一個(gè)模板庫(kù)，然后讓OpenMV進(jìn)行模板匹配，從而分辨水果.理論上只要模板庫(kù)足夠大，就可以識(shí)別很多種類(lèi)的水果.模板匹配流程如圖2所示.

圖2 模板匹配流程圖

這一過(guò)程中最為核心的任務(wù)是建立模板庫(kù).首先需要在幀緩存區(qū)中創(chuàng)建或?qū)胍粋€(gè)指定大小的pgm格式模板.通過(guò)直接從OpenMV里面截取一個(gè)模板圖像，通過(guò)格式轉(zhuǎn)換工具，將png轉(zhuǎn)成pgm格式，保存在OpenMV的SD卡文件夾里面，就形成了模板庫(kù).識(shí)別篩選功能則由OpenMV自動(dòng)完成.

2.2 水果尺寸篩選

利用攝像頭物體測(cè)距的基本原理借助參照物進(jìn)行反推，從而得到水果大小.OpenMV是采用單攝像頭，選取恰當(dāng)?shù)膮⒄瘴铮⒁勒諈⒄瘴锏膶?shí)際長(zhǎng)短與成像后的百分比就能夠計(jì)算出物體之間的間距.OpenMV測(cè)距原理如圖3所示.

由圖3可知，L為OpenMV攝像頭到水果的距離尺寸，Apix為整個(gè)畫(huà)面的像素值，Bpix為水果在鏡頭中所占的像素，即水果直徑的像素.R是水果真實(shí)的直徑，∠α是視角的一半，∠β是水果半徑視角，H是攝像頭覆蓋的實(shí)際寬度半徑.

圖3 測(cè)距原理圖

(1)

(2)

所以得出以下正切比例公式：

(3)

從右側(cè)現(xiàn)實(shí)環(huán)境里的幾何聯(lián)系可以得到：

(4)

代入上述正切比例公式中，可得水果尺寸計(jì)算公式：

(5)

由L、Apix、tan (β)在系統(tǒng)中均為固定值可知：水果現(xiàn)實(shí)尺寸R與像頭里的像素Bpix成反比，通過(guò)測(cè)量水果成像大小即可計(jì)算出其真實(shí)大小.

2.3 水果成熟度篩選

OpenMV采用Lab顏色模型能夠準(zhǔn)確識(shí)別各種顏色，而顏色是判斷大部分水果是否成熟的主要因素.Lab顏色模型是CIE組織于1931年擬定的用來(lái)衡量顏色的國(guó)際標(biāo)準(zhǔn)[6].其中Lab表示：L(亮度)；a(+：紅色，-：綠色)；b(+：黃色，-：藍(lán)色),讓圖像顏色顯示接近人類(lèi)視覺(jué).Lab模型不依賴(lài)光線和顏料，在理論上包括了我們眼睛看到并識(shí)別出全部色彩的一種強(qiáng)大模式.它彌補(bǔ)了CMYK和RGB兩種色彩模式的不足，用數(shù)字化方法展示出人眼看到的視覺(jué)感應(yīng).因此可根據(jù)水果的顏色來(lái)判斷水果是否成熟,水果成熟度篩選流程如圖4所示.

圖4 水果成熟度篩選流程圖

在篩選之前首先要設(shè)置顏色的閾值(導(dǎo)入thresholds)，thresholds是一個(gè)參數(shù)列表，里面可以包含多個(gè)顏色的參數(shù)設(shè)定.若要識(shí)別多個(gè)顏色，就需要在這個(gè)列表中添加對(duì)應(yīng)的顏色閾值.為了識(shí)別更精準(zhǔn)，選擇OpenMV IDE閾值工具進(jìn)行閾值調(diào)試.通過(guò)滑動(dòng)3個(gè)通道的最大值以及最小值，使綠色芒果(未成熟)區(qū)域變成純白，其他地方全黑即可得出綠色的閾值.當(dāng)然，在工業(yè)生產(chǎn)線上，考慮到一些水果需要長(zhǎng)距離運(yùn)輸，完全成熟就會(huì)容易損壞，可以根據(jù)實(shí)際情況去設(shè)置芒果閾值，從而更好地去篩選.

閾值測(cè)試效果如圖5所示.

圖5 閾值測(cè)試效果(芒果)

成熟度閾值設(shè)置好后就可以進(jìn)行水果成熟度篩選.通過(guò)OpenMV的攝像頭模塊拍攝水果照片，對(duì)水果圖片進(jìn)行圖像預(yù)處理.預(yù)處理完成的水果圖像利用之前設(shè)置的顏色閾值進(jìn)行色塊查找識(shí)別，再將獲得的色塊進(jìn)行合并，合并過(guò)程中過(guò)小的色塊將會(huì)被過(guò)濾掉.合并完成后與設(shè)置的色塊面積閾值做比較，如果面積超過(guò)閾值表示該水果達(dá)到了預(yù)設(shè)的成熟度，否則表示未達(dá)到成熟度要求.

3 系統(tǒng)測(cè)試與分析

為了驗(yàn)證系統(tǒng)的水果篩選效果，本文選取芒果、香蕉、沃柑和蘋(píng)果4種常見(jiàn)水果進(jìn)行測(cè)試.首先進(jìn)行水果不同模板相似度閾值下的識(shí)出率測(cè)試.每種水果的測(cè)試數(shù)量為100次，統(tǒng)計(jì)能識(shí)別出水果的次數(shù)，由此獲得識(shí)出率.測(cè)試結(jié)果如表1所列.

表1 水果在不同相似度閾值下的識(shí)出率

從表1可以看出不同水果由于本身的形狀和顏色差異導(dǎo)致在相同的模板和相同的相似度閾值下識(shí)出率具有一定的差異.沃柑因?yàn)樾螤畋容^規(guī)則，顏色相對(duì)均勻，識(shí)出率相對(duì)較高.香蕉的形狀最為不規(guī)則，在同等條件下的識(shí)出率是最低的，特別是在相似度閾值為0.9時(shí)，其識(shí)出率僅有65%.隨著相似度閾值的提高，水果的檢出率呈現(xiàn)下降趨勢(shì).相似度閾值要求越高，對(duì)于水果模板匹配的相似率就越高，水果就越難以被識(shí)別出.但這并不意味著越低的相似率閾值越有利于水果的類(lèi)別篩選，過(guò)低的閾值將導(dǎo)致大量非水果或其他類(lèi)別的水果被誤識(shí)別.通常情況下，80%-90%的水果識(shí)出率是比較適宜的，即0.7-0.8的水果模板相似度閾值在水果類(lèi)別篩選時(shí)具有較好的效果.

為了測(cè)試系統(tǒng)對(duì)水果尺寸測(cè)量的準(zhǔn)確性，選取一種外形相對(duì)規(guī)則的水果(沃柑)作為測(cè)試水果進(jìn)行大小測(cè)試，并與手工多次測(cè)量平均尺寸進(jìn)行對(duì)比.測(cè)試分為6組，為了保證測(cè)量的準(zhǔn)確性，每組測(cè)量次數(shù)為50次.測(cè)試結(jié)果如表2所列.

由表2可知，系統(tǒng)平均測(cè)量值與手工平均測(cè)量值的誤差絕對(duì)值最大為0.14 cm，最小僅為0.01 cm，平均偏差率大部分(5組)低于1.1%，最高為2.12%，兩者的偏差較小，表明系統(tǒng)測(cè)量的準(zhǔn)確性較高.這些偏差主要來(lái)源于水果形狀的不規(guī)則性、測(cè)量位置的不同及系統(tǒng)和手工測(cè)量誤差.

表2 水果(沃柑)尺寸測(cè)量結(jié)果

系統(tǒng)的水果成熟度篩選主要依據(jù)水果的顏色篩選，不同的水果具有不同的顏色篩選閾值，所以水果顏色篩選主要針對(duì)于顏色均勻且成熟前后顏色差異較大的水果.系統(tǒng)選取芒果、香蕉、沃柑和蘋(píng)果進(jìn)行成熟度測(cè)試，通過(guò)調(diào)整系統(tǒng)中的閾值編輯器獲得最佳的顏色閾值.水果篩選時(shí)通常是剔除不合格的水果，所以該閾值范圍為不成熟水果的閾值范圍，結(jié)果如表3所列.

表3 水果成熟度篩選閾值范圍

從表3可以看出，各水果L分量的閾值跨度相對(duì)都較大，且主要都在L分量取值范圍(0-100)的中間區(qū)域.L分量是亮度分量，適中的亮度有利于進(jìn)行篩選，不同水果的特異性并不明顯.a分量表示的是紅色到綠色的范圍，而大部分水果未成熟時(shí)以綠色居多，因此該分量的閾值范圍主要在綠色區(qū)域范圍(負(fù)數(shù)).b分量表示的是從黃色到藍(lán)色的范圍，不成熟水果中通常在綠色中還會(huì)摻雜著部分黃色，所以該分量的閾值范圍主要在淺黃色區(qū)域.水果的成熟度篩選與水果本身的顏色密切相關(guān)，成熟前后顏色差異大的水果在篩選時(shí)準(zhǔn)確率較高，而一些成熟前后顏色差距較小的水果就難以利用顏色判斷.

4 結(jié)論

本文通過(guò)利用OpenMV微型機(jī)器視覺(jué)模塊結(jié)合計(jì)算機(jī)編程設(shè)置設(shè)計(jì)實(shí)現(xiàn)了一款基于OpenMV的水果篩選系統(tǒng).系統(tǒng)通過(guò)計(jì)算機(jī)預(yù)先輸入水果模板，利用模板匹配來(lái)區(qū)別水果的品種.運(yùn)用物體測(cè)距原理來(lái)測(cè)定圖像中的水果尺寸，以便篩選不合規(guī)格的水果.在Lab色系下，設(shè)置不成熟水果的顏色閾值范圍并提取對(duì)比水果顏色特征來(lái)實(shí)現(xiàn)水果成熟度的篩選.實(shí)驗(yàn)結(jié)果表明，系統(tǒng)具有較高的水果識(shí)出率和尺寸測(cè)量準(zhǔn)確率，并能根據(jù)相應(yīng)的顏色閾值設(shè)定篩選水果成熟度.該設(shè)計(jì)有助于提高水果篩選的智能水平和效率，降低水果篩選成本，具有較好的應(yīng)用前景.