基于OpenCV的食品包裝缺陷分割方法

楊 洋

項(xiàng)輝宇

冷崇杰

薛 真

(北京工商大學(xué)材料與機(jī)械工程學(xué)院，北京 100048)

基于OpenCV的食品包裝缺陷分割方法

楊 洋

項(xiàng)輝宇

冷崇杰

薛 真

(北京工商大學(xué)材料與機(jī)械工程學(xué)院，北京 100048)

針對現(xiàn)有食品包裝表面印刷缺陷分割算法中分割速度慢、精度低的問題，提出基于OpenCV實(shí)現(xiàn)圖像差分與形態(tài)學(xué)處理結(jié)合的表面缺陷分割方法。分別對模版圖像和待測圖像進(jìn)行高斯低通濾波運(yùn)算；將預(yù)處理后的兩幅圖像作差分運(yùn)算，得到其差分結(jié)果；采用形態(tài)學(xué)開運(yùn)算來去除差分圖像的噪聲并標(biāo)出目標(biāo)缺陷位置。選取污點(diǎn)、飛墨、漏印3類缺陷樣本各30組進(jìn)行試驗(yàn)，結(jié)果表明：該法能夠達(dá)到的平均準(zhǔn)確率為91.51%，93.41%，94.14%，平均的分割時(shí)間僅為 46.6 ms。

食品包裝；視覺檢測；圖像分割；OpenCV

對食品包裝行業(yè)來說，其包裝外觀印刷中的漏印、飛墨、污點(diǎn)等缺陷，直接影響消費(fèi)者對該商品的第一印象。隨著現(xiàn)代商品包裝工業(yè)的發(fā)展，人們對商品包裝的外觀設(shè)計(jì)要求越來越高。特別是隨著商品市場的繁榮，人們更多地依賴于商品的外觀來評價(jià)商品的檔次。因此，在包裝出廠的檢測階段，對外觀缺陷的發(fā)現(xiàn)與剔除就顯得尤為重要。包裝外觀缺陷檢測的關(guān)鍵是準(zhǔn)確且迅速地對包裝表面圖像進(jìn)行分割，在此分割的基礎(chǔ)上對目標(biāo)缺陷進(jìn)行采集與分析，從而提升包裝印刷缺陷產(chǎn)品在線剔除的自動化水平。缺陷分割是指將感興趣的缺陷目標(biāo)從捕獲的眾多圖像背景信息(如輪廓、顏色、形狀、亮度)中分離出來，使缺陷成為分析和處理對象的過程，是視覺檢測的關(guān)鍵。

目前，圖像分割算法主要有：閾值分割法[1]、基于區(qū)域的分割算法[2]以及混合分割算法[3]。閾值分割算法因其實(shí)現(xiàn)簡單、性能穩(wěn)定等特點(diǎn)曾獲得廣泛應(yīng)用，然而在對像素間關(guān)系的區(qū)分方面又顯出一些劣勢，往往容易使不同的分割區(qū)域產(chǎn)生混淆[4]。由于噪聲和灰度分布的不均勻，基于區(qū)域的分割算法容易產(chǎn)生過分割[5]?；旌戏指钏惴▌t多是融合某幾種理論組合而來，這類方法往往有運(yùn)算量大，結(jié)構(gòu)復(fù)雜的特點(diǎn)。此外，賀振東等[6]利用背景差分法實(shí)現(xiàn)了高鐵鋼軌表面缺陷圖像的分割，解決了鐵軌表面缺陷分割過程中圖像光照變化、反射不均、特征少等不利因素的影響。胡敏等[7]采用形態(tài)學(xué)標(biāo)記的方法，對標(biāo)記后的梯度圖像進(jìn)行分水嶺算法的圖像分割，該方法有效地解決了缺陷輪廓過分割的問題。楊慧斌等[8]利用OCR識別技術(shù)實(shí)現(xiàn)了針對印刷字符錯(cuò)碼和漏碼的分割檢測。

為實(shí)現(xiàn)包裝印刷中的缺陷分割，本研究提出基于OpenCV采用背景圖像差分和形態(tài)學(xué)處理結(jié)合的方法。對模版圖像和待測圖像進(jìn)行采集和預(yù)處理，求取二者之間的差分結(jié)果并進(jìn)行二值化處理，利用形態(tài)學(xué)處理的方法對差分圖像開運(yùn)算去除噪聲獲得目標(biāo)缺陷。旨在提出一種解決缺陷分割過程中分割速度慢、精度低的問題的方法。

1 原理

通過圖像采集系統(tǒng)，獲取模版圖像和待測圖像，針對兩幅圖像通過運(yùn)用高斯濾波器實(shí)現(xiàn)初步圖像降噪的預(yù)處理[9]。將待測圖像與模版圖像差分，獲得差分結(jié)果。運(yùn)用形態(tài)學(xué)開運(yùn)算達(dá)到去噪的精細(xì)處理，提取出缺陷分割結(jié)果。整體流程見圖1。

圖1 整體流程

1.1 高斯濾波

高斯濾波一般有2種實(shí)現(xiàn)方式：用離散化窗口滑窗卷積和通過傅里葉變換[10]。考慮到滑窗計(jì)算量大的問題，選用基于傅里葉變換的實(shí)現(xiàn)方法[11]137-166。用f(x,y)表示一幅M×N的標(biāo)準(zhǔn)圖像，其二維傅里葉變換公式為：

(1)

式中：

f(x,y)——空間域圖像的灰度值表示，像素；

M,N——圖像的像素坐標(biāo)，像素；

F(u,v)——頻率域圖像的幅值與相位角(其中，實(shí)部表示圖像的幅值，像素；虛部表示圖像的相位角，弧度)；

u——圖像在頻率域的橫坐標(biāo)(u=0,1,2,…,M-1)，像素；

v——圖像在頻率域的縱坐標(biāo)(v=0,1,2,…,N-1)，像素。

傅里葉逆變換公式為：

(2)

高斯低通濾波器的傳遞函數(shù)為：

H(u,v)=e-D2(u,v)/2σ2，

(3)

式中：

D(u,v)——距傅里葉變換原點(diǎn)的距離，像素；

σ——標(biāo)準(zhǔn)偏差(表示高斯曲線擴(kuò)展的程度)。

(4)

1.2 圖像差分

圖像差分是一種圖像的代數(shù)運(yùn)算，即通過計(jì)算兩幅圖像所對應(yīng)像素點(diǎn)的差來表現(xiàn)出兩幅圖像的差異[12]。由于該方法原理簡單，計(jì)算效率高，因而其在圖像分割上有非常廣泛的應(yīng)用，尤其是對于在線檢測等實(shí)時(shí)性強(qiáng)的圖像處理過程，更是有良好的檢測效果。

如果用f(x,y)表示模版圖像，g(x,y)表示待測圖像。兩個(gè)圖像的差分運(yùn)算存在3種情況，即正差、負(fù)差和絕對值差。h1(x,y)，h2(x,y)，h3(x,y)分別是3種情況時(shí)對應(yīng)的結(jié)果圖像[13]。

(1) 正差用模版圖像減去待測圖像表示：

(5)

當(dāng)f(x,y)

(2) 負(fù)差用待測圖像減去模版圖像表示：

(6)

同理，當(dāng)f(x,y)>g(x,y)時(shí)，其結(jié)果也做歸零處理。此時(shí)，這些像素間的差異信息也將缺失。

(3) 絕對差的計(jì)算方法是采用模板圖像和待檢測圖像求取絕對差，能夠有效彌補(bǔ)正差和負(fù)差產(chǎn)生的部分差異信息丟失的問題，其表示見式(7)。

h3(x,y)=|f(x,y)-g(x,y)|。

(7)

1.3 形態(tài)學(xué)處理

受圖像表面特征的影響，差分圖像的結(jié)果中有時(shí)會存在一些隨機(jī)出現(xiàn)的區(qū)域噪聲。而通過形態(tài)學(xué)開運(yùn)算的處理，能夠?qū)⑦@些噪聲有效過濾，使正確的缺陷輪廓得以保留[11]420-454。膨脹和腐蝕是形態(tài)學(xué)中的2種基礎(chǔ)操作，開運(yùn)算是經(jīng)過先腐蝕后膨脹的組合過程來實(shí)現(xiàn)的。對于差分圖像h3(x,y)，其開運(yùn)算的處理過程可表示為：

h3(x,y)°E=[h3(x,y)ΘE]⊕E。

(8)

其中E為3×3的矩形結(jié)構(gòu)元素。

2 試驗(yàn)

2.1 試驗(yàn)步驟

本試驗(yàn)硬件環(huán)境為:Intel酷睿Q9500，主頻2.83 GHz的CPU，4 GB內(nèi)存的PC機(jī)。檢測用工業(yè)攝像頭型號為維視MV-1300UC。軟件環(huán)境為Win7操作系統(tǒng)下VisualStudio2010與OpenCV2.4.8共同搭建的算法實(shí)現(xiàn)平臺。

缺陷圖像的分割過程(見圖2)：① 在試驗(yàn)平臺上采集模版圖像和待測圖像，通過高斯濾波進(jìn)行初步降噪的預(yù)處理；② 對經(jīng)過處理的兩幅圖像進(jìn)行差分運(yùn)算得到其差分結(jié)果，此時(shí)的差分圖像上會含有一些隨機(jī)產(chǎn)生的噪點(diǎn)；③ 運(yùn)用形態(tài)學(xué)開運(yùn)算對二值化的差分圖像進(jìn)行去噪聲處理，最終提取出缺陷目標(biāo)的分割結(jié)果。其中，各步驟中的運(yùn)算耗時(shí)見表1。

2.2 結(jié)果分析

運(yùn)用本方法，以包裝印刷中的污點(diǎn)、飛墨、漏印3類缺陷樣本各30組進(jìn)行分割試驗(yàn)，圖3(a)～(c)為待測缺陷樣本，圖3(d)～(f)為對應(yīng)的分割提取結(jié)果。經(jīng)過統(tǒng)計(jì)所有90個(gè)樣本的分割時(shí)間，計(jì)算出平均耗時(shí)為46.6 ms。

圖2 缺陷分割過程

計(jì)算步驟計(jì)算時(shí)間/ms高斯濾波 15.5圖像差分 2.6差分結(jié)果二值化3.2形態(tài)學(xué)開運(yùn)算 22.4總計(jì) 43.7

圖3 樣本分割結(jié)果

為評估圖像分割方法的實(shí)際效果，引入了灰色聚類決策理論，并依據(jù)此理論建立了決策模型[14]。對于所選3類缺陷樣本的分割結(jié)果，利用該模型進(jìn)行評價(jià)分析，提取出正確面積因子、錯(cuò)誤面積因子和形狀因子作為參考因素。

正確面積因子：

mr=Tr/T，

(9)

式中：

mr——正確面積因子(屬于越大越優(yōu)型)；

T——目標(biāo)的實(shí)際面積，像素；

Tr——目標(biāo)正確分割部分的面積，像素。

錯(cuò)誤面積因子：

mw=Tw/T，

(10)

式中：

mw——錯(cuò)誤面積因子(屬于越小越優(yōu)型)；

Tw——錯(cuò)誤分割的面積，像素。

形狀因子：

(11)

式中：

mf——形狀因子；

lT——標(biāo)準(zhǔn)缺陷周長，像素；

lr——分割缺陷周長，像素。

將圖像中的影響因子組成向量X，圖像的分割精度定義為，Ρ=∑Wi·Xi，其中Wi表示第i個(gè)影響因子的權(quán)值，∑Wi=1。缺損情況下，W=[1/3，1/3，1/3]；當(dāng)缺陷區(qū)域出現(xiàn)過分割時(shí)，定義W=[1/5，3/5，1/5]。分割結(jié)果越準(zhǔn)確，其分割精度越接近100%。表2列出了部分樣本分割精度的結(jié)果。由表2可知，不同權(quán)值的設(shè)置能夠有效抑制過分割的影響，提升分割精度。

表2 部分樣本的分割精度

3 結(jié)論

實(shí)時(shí)檢測與分割出包裝印刷中的缺陷，是流水線檢測中的關(guān)鍵環(huán)節(jié)。通過快速準(zhǔn)確的缺陷分割，能夠有效定位缺陷區(qū)域，并剔除缺陷產(chǎn)品。本研究采用圖像差分算法對模版圖像和待測圖像進(jìn)行絕對差分計(jì)算，得到差分結(jié)果；結(jié)合形態(tài)學(xué)開運(yùn)算處理去除差分結(jié)果中的隨機(jī)區(qū)域噪聲，同時(shí)通過OpenCV平臺驗(yàn)證了本方法的可行性。試驗(yàn)中，使用該方法對三類主要缺陷各30組樣本進(jìn)行缺陷分割，結(jié)果表明，三類缺陷分割的平均準(zhǔn)確率分別達(dá)到91.51%，93.41%，94.14%，平均的運(yùn)算時(shí)間為46.6 ms。本研究方法分割精度和時(shí)間均能滿足實(shí)時(shí)性在線檢測的要求。

[1] 龍建武, 申鉉京, 陳海鵬. 自適應(yīng)最小誤差閾值分割算法[J]. 自動化學(xué)報(bào), 2012, 38(7): 1 134-1 144.

[2] 徐少平, 劉小平, 李春泉, 等. 基于區(qū)域最大相似度的快速圖像分割算法[J]. 光電子·激光, 2013(5): 990-998.

[3] 盧夏衍, 李昕, 冉鵬, 等. 溫室幼苗圖像的多算法融合區(qū)域生長分割算法研究[J]. 中國農(nóng)機(jī)化學(xué)報(bào), 2016, 37(6): 89-93.

[4] KANG Chung-chia, WANG Wen-June, KANG Chung-hao. Image segmentation with complicated background by using seeded region growing[J]. AEU-International Journal of Electronics and Communications, 2012, 66(9): 767-771.

[5] 曹軍, 許雷, 張怡卓, 等. 實(shí)木地板圖像差分和形態(tài)學(xué)分割算法研究[J]. 安徽農(nóng)業(yè)科學(xué), 2013(28): 11 403-11 406.

[6] 賀振東, 王耀南, 劉潔, 等. 基于背景差分的高鐵鋼軌表面缺陷圖像分割[J]. 儀器儀表學(xué)報(bào), 2016, 37(3): 640-649.

[7] 胡敏, 蔡慧芬. 基于形態(tài)學(xué)標(biāo)記連通的分水嶺圖像分割[J]. 電子測量與儀器學(xué)報(bào), 2011, 25(10): 864-869.

[8] 楊慧斌, 閆娟. 基于LabVIEW的食品包裝噴碼視覺檢測方法[J]. 食品與機(jī)械, 2016, 32(4): 123-126.

[9] 何小虎. 基于計(jì)算機(jī)視覺的啤酒瓶空瓶檢測圖像采集技術(shù)[J]. 食品與機(jī)械, 2016, 32(5): 105-107.

[10] 姒紹輝, 胡伏原, 顧亞軍, 等. 一種基于不規(guī)則區(qū)域的高斯濾波去噪算法[J]. 計(jì)算機(jī)科學(xué), 2014(11): 313-316.

[11] RAFAEL C Gonzalez, RICHARD E Woods. 數(shù)字圖像處理[M]. 2版. 阮秋琦, 阮宇智, 譯. 北京: 電子工業(yè)出版社, 2007.

[12] 楊單. 基于圖像差分特征的彩色圖像差分預(yù)測與信息提取算法研究[J]. 計(jì)算機(jī)科學(xué), 2015(1): 308-311.

[13] 彭向前. 產(chǎn)品表面缺陷在線檢測方法研究及系統(tǒng)實(shí)現(xiàn)[D]. 武漢: 華中科技大學(xué), 2008: 45-48.

[14] 吳志川, 彭國華. 基于灰色聚類決策的圖像分割性能評價(jià)[J]. 計(jì)算機(jī)工程與應(yīng)用, 2012, 48(19): 197-200.

Food packaging defect segmentation based OpenCV method

YANGYang

XIANGHui-yu

LENGChong-jie

XUEZhen

(CollegeofMaterialScienceandMechanicalEngineering,BeijingTechnologyandBusinessUniversity,Beijing100048,China)

Assembly line detection more depend on the machine vision technology, and image segmentation is the key step in the detection. To solve the problem of slow speed and low accuracy of defects segmentation methods to the surface defects of food packing, proposed a segmenting method based on image difference and mathematical morphology in OpenCV. Firstly, compute the template image of the target image and filter them by a low pass filter. Secondly, differential operation is happened on the two pretreated images to obtain the differential image. Finally, using morphological opening operation to remove the noise on the difference image and get the position of defects image. In this paper, 30 groups of defect samples, such as stain, misting and stripping, were selected and the experimental results were recorded. The results showed that the average accuracies of the proposed method were 91.51%, 93.41%, 94.14%, respectively, and the average segmentation time was only 46.6 ms.

food packaging; visual inspection; image segmentation; OpenCV

楊洋，男，北京工商大學(xué)在讀碩士研究生。

項(xiàng)輝宇(1966—)，男，北京工商大學(xué)教授，博士。 Email：xianghy@th.btbu.edu.cn

2017—02—05

10.13652/j.issn.1003-5788.2017.07.024