基于線性擬合模型的蘋果大小分級方法

鄭紀(jì)業(yè)，張琛，劉光，王風(fēng)云

（1.山東省農(nóng)業(yè)科學(xué)院科技信息研究所，山東濟(jì)南 250100；2.中國移動(dòng)通信集團(tuán)山東有限公司青島分公司，山東青島 266000；3.濟(jì)南市中小企業(yè)公共服務(wù)中心，山東濟(jì)南 250099）

我國蘋果種植面積大、產(chǎn)量高［1］，與之對應(yīng)的是產(chǎn)銷過程中占用大量的人力資源，與日俱增的人力成本壓縮了蘋果產(chǎn)銷的利潤空間。為減少人力成本，加速農(nóng)業(yè)現(xiàn)代化，科研人員從不同角度做了相關(guān)研究，其中蘋果分級因需求大、可行性高而成為研究熱點(diǎn)。

當(dāng)前我國蘋果分級主要依賴人工進(jìn)行，也有少量依靠機(jī)械方式進(jìn)行［2］。隨著機(jī)器視覺的發(fā)展，依據(jù)圖像進(jìn)行分級成為主要研究方向［3，4］。大小分級是蘋果等農(nóng)產(chǎn)品分級的重要組成部分，受到國內(nèi)外諸多關(guān)注［5-8］。Hayrettin等［9］利用蘋果二值圖像在x、y方向上的像素?cái)?shù)計(jì)算蘋果直徑；Paulus等［10］用表面積、直徑和體積三特征表征蘋果大小。國內(nèi)當(dāng)前有關(guān)農(nóng)產(chǎn)品大小分級的研究則主要用到最小外接矩形法［11，12］、擬合圓法［13，14］、最大橫切面直徑法［15］等，這些方法可以較準(zhǔn)確地求出圖像中蘋果直徑像素?cái)?shù)，但易受果形影響，存在不同程度偏差。而且在求出蘋果直徑像素?cái)?shù)后，還需要對直徑像素?cái)?shù)與實(shí)際直徑建立映射關(guān)系，因?yàn)樘O果大小變化會影響圖像中像素?cái)?shù)與實(shí)際尺寸的比例，所以基于固定比例的直徑計(jì)算方法會隨著蘋果直徑變化程度的增大而產(chǎn)生更大的誤差。若要減小直徑計(jì)算誤差，就需要改進(jìn)直徑像素?cái)?shù)與實(shí)際直徑的映射關(guān)系。劉新庭等［14］利用與蘋果大小相近的球體建立圖像直徑與實(shí)際直徑的映射關(guān)系，但蘋果實(shí)際形狀與球體模型一致程度有限；陳艷軍等［15］利用蘋果三幅不同果面圖像的直徑像素?cái)?shù)與蘋果實(shí)際直徑建立線性模型進(jìn)行映射，三幅圖像能一定程度上反映蘋果大小，但是卻沒有計(jì)算出圖像中蘋果的實(shí)際直徑?？梢?，利用上述方法雖能對蘋果大小分級，根據(jù)各自分級標(biāo)準(zhǔn)也均能得到較高準(zhǔn)確率，但仍存在較大的平均誤差。

當(dāng)前蘋果大小分級難點(diǎn)在于將蘋果直徑像素?cái)?shù)準(zhǔn)確映射到實(shí)際直徑［16］，針對該難點(diǎn)，本研究設(shè)計(jì)一種關(guān)于直徑像素?cái)?shù)與實(shí)際直徑的線性模型，并用最小二乘法對線性模型進(jìn)行擬合。該模型采用不同大小的蘋果數(shù)據(jù)進(jìn)行建模，與球體模型［14］相比更符合蘋果實(shí)際形狀特點(diǎn)，與多幅圖像建立的線性模型［15］相比能更準(zhǔn)確計(jì)算圖像中的蘋果直徑。同時(shí)為進(jìn)一步提升分級準(zhǔn)確率，本研究還對直徑像素?cái)?shù)計(jì)算方法做了改進(jìn)，利用HSV顏色空間分割蘋果區(qū)域并提取蘋果輪廓，用蘋果輪廓最外側(cè)點(diǎn)迭代求最小外接圓，以最小外接圓直徑作為蘋果直徑。經(jīng)過上述改進(jìn)，本分級方法的準(zhǔn)確率不僅能滿足應(yīng)用需求，而且明顯降低了分級過程中的計(jì)算誤差。

1 材料與方法

1.1 試驗(yàn)材料與設(shè)備

試驗(yàn)材料為煙臺棲霞生產(chǎn)的“煙富3”蘋果，共75個(gè)，大小在70～95 mm之間。測量蘋果實(shí)際大小后，按總體大小分布規(guī)律從中選擇40個(gè)作為建模集，剩余35個(gè)作為測試集。

試驗(yàn)裝置如圖1所示，其中相機(jī)型號為維視MV-VEM200SC，相機(jī)到傳送帶平面的高度為61 cm，光圈型號為維視 AFT-RL 12068，計(jì)算機(jī)CPU為Intel Core i3。相機(jī)位于傳送帶正上方，傳送帶將蘋果從上料口傳送至相機(jī)下，光圈用于照明蘋果，相機(jī)采集的數(shù)據(jù)傳送至計(jì)算機(jī)進(jìn)行大小分級。

試驗(yàn)使用語言開發(fā)工具M(jìn)icrosoft Visual Studio 2013以及計(jì)算機(jī)視覺函數(shù)庫OpenCV對圖像進(jìn)行處理。

圖1 試驗(yàn)裝置示意圖

1.2 試驗(yàn)方法

蘋果實(shí)際直徑依據(jù)垂直于果梗-花萼連線的最大橫切面測得：試驗(yàn)中用游標(biāo)卡尺對蘋果最大直徑測量3次，若有與另兩次數(shù)據(jù)差距較大的異常值，則重新測量，最終取3次測量的平均值作為蘋果實(shí)際直徑。

蘋果圖像由圖1試驗(yàn)裝置采集：將蘋果從上料口放置于傳送帶上，勻速傳送至相機(jī)下，由傳送帶上的觸發(fā)裝置感應(yīng)到蘋果后進(jìn)行拍照，圖像傳送到計(jì)算機(jī)進(jìn)行處理，并給出分級結(jié)果。圖像處理流程如圖2所示。

圖2 圖像處理流程

2 結(jié)果與分析

2.1 蘋果輪廓提取

提取蘋果輪廓需要先從圖像中分割出蘋果區(qū)域［17］，可利用閾值分割實(shí)現(xiàn)。閾值分割［18］具有快速、直觀的特點(diǎn)，它用一個(gè)或多個(gè)閾值分割圖像中的不同內(nèi)容，按閾值設(shè)置方式不同可分為自適應(yīng)閾值分割和固定閾值分割。大津法［19］是自適應(yīng)閾值分割方法中的代表方法，對圖3a所示蘋果圖像進(jìn)行分割得到如圖3b所示蘋果區(qū)域，可見，受蘋果果形影響，光反射率由中心向四周呈降低趨勢，圖像中蘋果區(qū)域灰度存在梯度變化，分割結(jié)果損失部分邊緣，難以將蘋果區(qū)域提取完整。而用固定灰度閾值對圖3a進(jìn)行分割可以較完整提取到如圖3c所示的蘋果區(qū)域，可見，固定閾值分割雖然不具備多變環(huán)境的適應(yīng)性，但是在圖像采集環(huán)境固定的情況下分割效果優(yōu)于自適應(yīng)閾值分割。但由于蘋果區(qū)域存在灰度變化，灰度取值范圍較寬，利用固定閾值分割出蘋果區(qū)域的同時(shí)也會提取到噪聲區(qū)域。為更準(zhǔn)確地提取蘋果區(qū)域，本研究先利用多色彩顏色空間進(jìn)行前景提取。

2.1.1 圖像顏色空間轉(zhuǎn)換 通常相機(jī)采集到的圖像在計(jì)算機(jī)視覺上是用RGB顏色空間表達(dá)的。不同于RGB顏色空間，HSV顏色空間［20］是用色調(diào)（H）、飽和度（S）、明度（V）表達(dá)色彩，在表達(dá)圖像色調(diào)、鮮艷程度以及色彩明暗上更具有優(yōu)勢，且便于進(jìn)行顏色之間的對比，所以本研究首先將相機(jī)采集到的蘋果圖像由RGB顏色空間轉(zhuǎn)換到HSV顏色空間以進(jìn)行圖像分割。顏色空間轉(zhuǎn)換通過對圖像像素紅（R）、綠（G）、藍(lán)（B）三數(shù)值的操作實(shí)現(xiàn)，轉(zhuǎn)換公式如下：

2.1.2 HSV閾值分割 同種蘋果不同個(gè)體的H、S、V值分布區(qū)間具有共性，用采集圖像中的蘋果區(qū)域樣本與非蘋果區(qū)域樣本進(jìn)行試驗(yàn)，確定出蘋果H、S、V的取值范圍，在HSV顏色空間提取蘋果區(qū)域圖像。圖4a為兩種環(huán)境下采集到的蘋果圖像，圖4b為用固定灰度閾值分割兩種環(huán)境下蘋果區(qū)域的效果，圖4c為用HSV閾值分割兩種環(huán)境下蘋果區(qū)域的效果?？梢?，利用HSV閾值分割能將蘋果較完整地從背景中分割出來，且能在一定程度上與雜物、反光等噪聲區(qū)分，比灰度閾值分割有更好的環(huán)境適應(yīng)性。

2.1.3 蘋果輪廓提取 由于傳送帶上可能存在雜物或其他影響分割準(zhǔn)確性的因素，且果梗、花萼及缺陷區(qū)域也會對分割造成干擾，提取的前景二值圖像中會存在噪聲，需要去除噪聲以準(zhǔn)確提取蘋果區(qū)域。鑒于后文中求最小外接圓需要用到蘋果輪廓，且噪聲輪廓與蘋果輪廓在大小上存在明顯差異，本研究通過判斷輪廓大小去除噪聲。首先提取前景圖像輪廓，然后遍歷所有輪廓，將大小低于閾值的輪廓?jiǎng)h除，則輪廓信息中只保留如圖5所示蘋果輪廓。

2.2 確定最小外接圓并計(jì)算蘋果直徑像素?cái)?shù)

圖像中的蘋果直徑根據(jù)蘋果輪廓求得，以像素?cái)?shù)的形式體現(xiàn)。當(dāng)前常見求輪廓直徑的方法中，最小外接矩形法［12］通過旋轉(zhuǎn)輪廓確定最小外接矩形，但因蘋果果形不規(guī)則易產(chǎn)生誤差；同心外接圓法［14］以蘋果圖像質(zhì)心作為外接圓圓心求蘋果最小外接圓，但是蘋果圖像質(zhì)心不完全與蘋果實(shí)際最小外接圓圓心一致，因此該方法求出的同心外接圓通常大于真正的最小外接圓。本研究采用輪廓外側(cè)點(diǎn)迭代求圓的方法，求出蘋果區(qū)域最小外接圓，得到更準(zhǔn)確的直徑像素?cái)?shù)。

該方法首先遍歷輪廓所有點(diǎn)，確定上、下、左、右最外側(cè)四點(diǎn)A、B、C、D，查找四點(diǎn)所能確定的最大三角形，求該三角形最小外接圓，假設(shè)三角形三頂點(diǎn)分別為 A（x1，y1）、B（x2，y2）、C（x3，y3），則圓心O坐標(biāo)（x，y）由（4）（5）式求得，半徑R由（6）式求得：

圖5 蘋果輪廓提取結(jié)果

再次遍歷輪廓所有點(diǎn)，檢查是否有點(diǎn)在前一步所求圓之外，即輪廓到圓心的距離大于半徑R。若無點(diǎn)在圓外，則該圓為蘋果輪廓最小外接圓，直徑為蘋果輪廓直徑；若有點(diǎn)在圓外，則將圓外距離圓心最遠(yuǎn)點(diǎn)E與先前四點(diǎn)A、B、C、D組成四個(gè)不同組合 ABCE、ABDE、ACDE、BCDE。以組合ABCE確定包圍4點(diǎn)的最小圓，判斷組合外的D點(diǎn)是否在該圓內(nèi)，若不在圓內(nèi)，則求解其他組合確定的最小圓，并判斷組合外的一點(diǎn)是否在該組合所確定圓內(nèi)。如此重復(fù)進(jìn)行，直到某組合外的一點(diǎn)在該組合所確定的最小外接圓內(nèi)，則該圓為蘋果輪廓新的最小外接圓。

用新的最小外接圓驗(yàn)證是否有輪廓在圓外，若有點(diǎn)在圓外，重復(fù)上述過程，直到輪廓所有點(diǎn)都在外接圓內(nèi)，則該外接圓為蘋果區(qū)域最小外接圓（圖6），其直徑像素?cái)?shù)代表蘋果最大橫切面直徑。

2.3 構(gòu)建線性模型計(jì)算蘋果直徑

圖像中的蘋果直徑以像素?cái)?shù)體現(xiàn)，不能直接用于分級，還需將其映射為以毫米為單位的數(shù)值才能用于蘋果分級。本研究首先嘗試將標(biāo)定尺放在傳送帶上拍照，獲得圖像像素?cái)?shù)與實(shí)際尺寸的比例，進(jìn)而求出圖像中蘋果的直徑，結(jié)果發(fā)現(xiàn)利用該方法計(jì)算得到的蘋果直徑明顯偏大（表1）。經(jīng)分析，原因主要在兩方面：一是蘋果形狀類似球體，其最大直徑所在橫切面高度明顯高于傳送帶，而相機(jī)取景范圍近似為錐體，相同大小橫切面的高度越高，測量得到的直徑越大；二是蘋果外形不規(guī)則，果梗-花萼的連線與傳送帶平面并不一定垂直，而是可能略微傾斜，改變了蘋果橫切面在圖像上投影的面積。由此可見，用標(biāo)定尺比例作為圖像與實(shí)際大小的映射關(guān)系不能滿足分級要求。

圖6 蘋果區(qū)域最小外接圓

表1 按標(biāo)定尺比例計(jì)算的蘋果直徑及誤差

針對上述問題，本研究采用最小二乘法對蘋果直徑像素?cái)?shù)與實(shí)際直徑的關(guān)系進(jìn)行擬合，以計(jì)算蘋果直徑。首先以蘋果直徑像素?cái)?shù)為橫坐標(biāo)，蘋果實(shí)際直徑為縱坐標(biāo)，生成圖7所示散點(diǎn)圖，發(fā)現(xiàn)直徑像素?cái)?shù)與實(shí)際直徑存在線性關(guān)系，故設(shè)計(jì)線性模型y＝ax＋b，其中y為蘋果直徑（mm），x為直徑像素?cái)?shù)。

圖7 蘋果直徑像素?cái)?shù)與實(shí)際直徑對應(yīng)關(guān)系

最小二乘法［21］是一種數(shù)學(xué)優(yōu)化技術(shù)，通過最小化誤差平方和尋找數(shù)據(jù)的最佳函數(shù)匹配。利用最小二乘法可以簡便求得未知數(shù)據(jù)，并使所求數(shù)據(jù)與實(shí)際數(shù)據(jù)之間誤差平方和最小。基于該性質(zhì)，本研究利用最小二乘法求解線性模型。由線性模型y＝ax＋b可得最小二乘式如下：

為計(jì)算參數(shù)a、b，需對最小二乘式求偏導(dǎo)：

最終計(jì)算得到a、b如下：

計(jì)算建模集中蘋果直徑像素?cái)?shù)，用最小二乘法對建模集的像素?cái)?shù)據(jù)及實(shí)際直徑數(shù)據(jù)進(jìn)行擬合，得到線性模型y＝0.0724554x＋1.80354。用測試集對該模型進(jìn)行測試，計(jì)算所得蘋果直徑與實(shí)際直徑的對比，如圖8所示。可見，利用本研究模型計(jì)算得到的蘋果直徑與實(shí)際直徑高度一致，利用該模型能比較準(zhǔn)確地預(yù)測出蘋果實(shí)際直徑。

圖8 測試集蘋果直徑計(jì)算值與實(shí)際值對比結(jié)果

2.4 基于線性擬合模型的蘋果大小分級結(jié)果

通常蘋果大小分級依據(jù)鮮蘋果標(biāo)準(zhǔn)GB／T 10651—2008及煙臺蘋果標(biāo)準(zhǔn)GB／T 18965—2008進(jìn)行，分級標(biāo)準(zhǔn)見表2，其中直徑為蘋果最大橫切面直徑。

表2 蘋果大小分級標(biāo)準(zhǔn) （mm）

本試驗(yàn)所選的75個(gè)蘋果樣品為隨機(jī)選取，符合“煙富3”品種的大小分布規(guī)律，實(shí)測直徑均大于70 mm，大于75 mm的有72個(gè)，所以僅依據(jù)上述標(biāo)準(zhǔn)對本研究構(gòu)建分級方法進(jìn)行驗(yàn)證，參照價(jià)值有限。為更好體現(xiàn)分級方法準(zhǔn)確率，將蘋果按實(shí)測直徑分為數(shù)量大致相等的三類進(jìn)行分級，同時(shí)為客觀體現(xiàn)方法的準(zhǔn)確性，選用平均測量誤差作為方法準(zhǔn)確性的另一評判標(biāo)準(zhǔn)。

通過分類，所選75個(gè)樣品中，直徑在70～80 mm之間的有25個(gè)，80～85 mm之間的有27個(gè)，85～95 mm之間的有23個(gè)，故設(shè)計(jì)“煙富3”分級標(biāo)準(zhǔn)如表3。

表3 “煙富3”大小分級標(biāo)準(zhǔn) （mm）

基于表3所示分級標(biāo)準(zhǔn)對本研究方法的分級準(zhǔn)確率進(jìn)行驗(yàn)證。結(jié)果（表4）顯示，測試集利用本研究方法的分級準(zhǔn)確率為91.4%，總體分級準(zhǔn)確率為92.0%，平均誤差均為0.56 mm，測試集與樣本整體的準(zhǔn)確率及平均誤差相近或一致，表明試驗(yàn)結(jié)果較為穩(wěn)定，該方法具有較高的可靠性。

表4 本研究方法分級準(zhǔn)確率及平均誤差

3 討論與結(jié)論

本研究通過改進(jìn)蘋果直徑像素?cái)?shù)計(jì)算方式以及利用最小二乘法構(gòu)建直徑像素?cái)?shù)與實(shí)際直徑的映射模型，提高了蘋果大小分級的準(zhǔn)確性。在改進(jìn)直徑像素?cái)?shù)計(jì)算方式時(shí)，利用HSV顏色空間分割蘋果區(qū)域，并用基于輪廓外側(cè)點(diǎn)的最小外接圓法計(jì)算蘋果最大橫切面的直徑，相比現(xiàn)有方法提高了蘋果直徑檢測的準(zhǔn)確性。針對蘋果直徑像素?cái)?shù)與實(shí)際直徑難以準(zhǔn)確映射的問題，本研究對直徑像素?cái)?shù)與實(shí)際直徑進(jìn)行擬合，用最小二乘法構(gòu)建兩者的線性擬合模型，提高了直徑像素?cái)?shù)與實(shí)際直徑映射的準(zhǔn)確度，減小了蘋果最大橫切面高度及果形變化等客觀因素對分級結(jié)果的影響。

利用本研究方法對75個(gè)蘋果進(jìn)行大小分級試驗(yàn)，總體分級準(zhǔn)確率為92.0%，蘋果直徑平均計(jì)算誤差為0.56 mm。劉新庭等［14］基于最小外接圓直徑對30個(gè)65～95 mm的蘋果按75-70-65 mm標(biāo)準(zhǔn)進(jìn)行分級，分級準(zhǔn)確率96.67%，平均測量誤差為0.94 mm。陳艷軍等［15］基于機(jī)器視覺的最大橫切面直徑對40個(gè)55～95 mm的蘋果按85-75-70 mm標(biāo)準(zhǔn)進(jìn)行分級，分級準(zhǔn)確率87.1%，平均測量誤差0.67 mm。余揚(yáng)［22］基于多特征對60個(gè)60～100 mm的蘋果進(jìn)行分級，蘋果直徑的平均測量誤差為4%；利用本研究樣本對其方法進(jìn)行驗(yàn)證，平均測量誤差為3.30 mm。考慮到各文獻(xiàn)樣本及分級標(biāo)準(zhǔn)不同，分級準(zhǔn)確率不能完全代表分級效果，故采用平均測量誤差來更客觀地反映方法分級效率，可見，本研究建立的蘋果大小分級方法分級準(zhǔn)確率較高，平均測量誤差小，能夠滿足蘋果銷售的市場需求。

但利用本研究方法進(jìn)行蘋果大小分級時(shí)仍存在一定誤差，分析誤差產(chǎn)生的原因，主要在兩方面：一是蘋果最大橫切面高度雖然與蘋果大小有相關(guān)性，但變化不完全一致，對模型準(zhǔn)確性造成一定影響；二是蘋果傾斜角度的不規(guī)則變化使圖像中蘋果橫切面投影大小有不同程度的改變?；诖?，后續(xù)研究將從減小或解決蘋果姿態(tài)對最大橫切面投影影響的角度出發(fā)對分級方法進(jìn)行改進(jìn)，以進(jìn)一步提高蘋果大小分級的準(zhǔn)確性。另外，隨著農(nóng)業(yè)現(xiàn)代化的推進(jìn)及市場需求的變化，農(nóng)產(chǎn)品分級目的會發(fā)生相應(yīng)改變，對分級準(zhǔn)確性提出更高的要求，建立適合各種分級目的且具有更高分級準(zhǔn)確性的方法將是今后農(nóng)產(chǎn)品分級研究的重要研究方向。