基于機(jī)器視覺(jué)的紙病檢測(cè)系統(tǒng)發(fā)展綜述

周　強(qiáng)　陳　穎　沈天宇　齊　璐

(陜西科技大學(xué)電氣與信息工程學(xué)院,陜西西安,710021)

?

·紙病檢測(cè)系統(tǒng)·

基于機(jī)器視覺(jué)的紙病檢測(cè)系統(tǒng)發(fā)展綜述

周強(qiáng)陳穎*沈天宇齊璐

(陜西科技大學(xué)電氣與信息工程學(xué)院,陜西西安,710021)

在詳細(xì)介紹以機(jī)器視覺(jué)技術(shù)為核心的紙病檢測(cè)流程的基礎(chǔ)上,研究、梳理和歸納了紙病檢測(cè)系統(tǒng)在硬件模式、軟件系統(tǒng)和檢測(cè)算法上的發(fā)展歷程,分析了當(dāng)前紙病檢測(cè)中存在的難點(diǎn)問(wèn)題，并討論了該技術(shù)的發(fā)展前景。

紙病檢測(cè)；機(jī)器視覺(jué)；硬件模式；軟件系統(tǒng)；檢測(cè)算法

造紙過(guò)程中任何對(duì)紙張質(zhì)量不利的表面缺陷都可稱(chēng)之為紙病,但通常意義下的紙病是指外觀紙病,包括透光、孔眼、破洞、針孔、褶子、塵埃、漿疙瘩等。造成紙病的原因很多,如纖維材料、工藝流程、設(shè)備狀態(tài)等都有可能引起紙病,紙病不但會(huì)降低紙張的使用價(jià)值和印刷成品率,嚴(yán)重時(shí)還會(huì)使紙張成為廢品,因此紙病檢測(cè)在造紙過(guò)程中非常重要。

目前很多中小企業(yè)依舊采用人工檢測(cè)紙病,隨著造紙生產(chǎn)自動(dòng)化的不斷發(fā)展,紙機(jī)車(chē)速不斷提升、紙幅寬度不斷加大，紙張?jiān)诔爝^(guò)程中出現(xiàn)缺陷的幾率增大[1]。傳統(tǒng)的人工檢測(cè)紙病方法已不能滿(mǎn)足生產(chǎn)需要,因此造紙企業(yè)迫切需要一種自動(dòng)化在線(xiàn)檢測(cè)技術(shù)代替人工檢測(cè),基于機(jī)器視覺(jué)的紙病在線(xiàn)檢測(cè)就是在這樣的需求中發(fā)展起來(lái)的。

基于機(jī)器視覺(jué)的紙病檢測(cè)技術(shù)從最初只能檢測(cè)簡(jiǎn)單單一的紙病發(fā)展到如今能夠同時(shí)辨識(shí)多種復(fù)雜紙病經(jīng)歷了20多年的時(shí)間。造紙行業(yè)作為與國(guó)民經(jīng)濟(jì)與社會(huì)發(fā)展關(guān)系密切的重要基礎(chǔ)原材料產(chǎn)業(yè),隨著信息豐富時(shí)代的到來(lái)[2],在線(xiàn)紙幅洞眼和斑點(diǎn)檢測(cè)系統(tǒng)由最早的ULMA產(chǎn)品,到20世紀(jì)80年代第一代基于CCD技術(shù)的WIS系統(tǒng)投放市場(chǎng),直到2014年ISRA VISION公司在中國(guó)國(guó)際造紙科技展覽會(huì)及會(huì)議(CIPTE)上發(fā)布了全新的突破性檢測(cè)技術(shù)——PAPER MASTER紙病檢測(cè)系統(tǒng)(WIS)[3],檢測(cè)算法已由早期的灰度閾值法,經(jīng)歷Jukka Iivarinen等提出的灰度共生矩陣法[4],直到模糊邏輯算法的提出等,紙病在線(xiàn)檢測(cè)技術(shù)已由自動(dòng)化逐步走向智能化。目前,國(guó)外紙病檢測(cè)理論、方法和技術(shù)日臻成熟。國(guó)內(nèi)的技術(shù)近幾年發(fā)展十分迅速,在應(yīng)用方面,浙江大學(xué)雙元科技公司的SYWIS系列在國(guó)內(nèi)已有一些成功的應(yīng)用案例。在理論研究方面,壓縮感知等信息科學(xué)的最新成果已經(jīng)進(jìn)入該領(lǐng)域[5]。

圖1　紙病檢測(cè)流程框圖

1　紙病檢測(cè)流程

基于機(jī)器視覺(jué)的紙病檢測(cè)系統(tǒng)的功能是對(duì)造紙生產(chǎn)線(xiàn)上紙張表面質(zhì)量進(jìn)行在線(xiàn)監(jiān)測(cè),其工作流程見(jiàn)圖1。

(1)紙張圖像拍攝與采集。高速線(xiàn)陣工業(yè)相機(jī)實(shí)時(shí)快速拍攝生產(chǎn)線(xiàn)上高速運(yùn)行的紙張,將紙張表面的光學(xué)特性轉(zhuǎn)換為數(shù)字圖像信號(hào)；作為紙病檢測(cè)系統(tǒng)核心的計(jì)算機(jī)，利用采集卡或數(shù)據(jù)線(xiàn)將圖像數(shù)據(jù)實(shí)時(shí)讀入計(jì)算機(jī)。

(2)紙病圖像預(yù)處理與辨識(shí)。電機(jī)的負(fù)載轉(zhuǎn)矩發(fā)生相反的變化。前者通過(guò)圖像增強(qiáng)、圖像分割等將含有紙病的圖像區(qū)域分離出來(lái)；后者通過(guò)特征提取、紙病辨識(shí)獲得紙病形狀、面積大小、空間位置及紙病類(lèi)型等信息。

(3)紙病后期處理。包括紙病顯示、紙病記錄及指導(dǎo)人工操作。根據(jù)所判斷出的紙病類(lèi)型和在紙幅上的空間位置,在系統(tǒng)軟件主界面的模擬紙幅面上,用不同符號(hào)和顏色代表對(duì)應(yīng)紙病,實(shí)時(shí)顯示在計(jì)算機(jī)屏幕上,以方便操作人員查看和分析紙病出現(xiàn)的原因；同時(shí),系統(tǒng)軟件中的數(shù)據(jù)庫(kù)管理功能,實(shí)時(shí)存儲(chǔ)并統(tǒng)計(jì)紙病信息,以便對(duì)紙病的歷史查詢(xún)；投標(biāo)器等設(shè)備在紙卷上實(shí)時(shí)標(biāo)記紙病位置指導(dǎo)后期人工操作,當(dāng)出現(xiàn)周期性紙病等嚴(yán)重問(wèn)題時(shí),聲光報(bào)警裝置能及時(shí)提醒、通知操作人員立刻排除生產(chǎn)設(shè)備或制造工藝中的故障。

2　紙病檢測(cè)系統(tǒng)的硬件模式

隨著計(jì)算機(jī)、微電子等技術(shù)的飛速發(fā)展,紙病檢測(cè)系統(tǒng)的硬件模式趨于多樣化,經(jīng)歷了幾種主要模式。

2.1“CCD相機(jī)+采集卡+PC機(jī)”模式

在這種早期硬件模式(簡(jiǎn)稱(chēng)“采集卡”模式)下,系統(tǒng)工作過(guò)程：CCD(Charge Coupled Device)相機(jī)實(shí)時(shí)拍攝被測(cè)紙張表面,其片內(nèi)的模數(shù)轉(zhuǎn)換器(ADC)將模擬信號(hào)轉(zhuǎn)換成數(shù)字信號(hào),通過(guò)通信線(xiàn)傳輸?shù)綀D像采集卡,計(jì)算機(jī)讀取采集卡中的數(shù)據(jù),并承擔(dān)全部數(shù)據(jù)處理任務(wù)。

ABB公司的ULMA3D系統(tǒng)、ULMA NTi系統(tǒng),Measurex Roibox公司的MXOpen WIS(Web Inspection System)系統(tǒng),OMRON公司的AUTO SPEC系統(tǒng),Honeywell公司的1MXOpen WIS系統(tǒng)都采用這種硬件模式,并于1997年開(kāi)始進(jìn)入我國(guó)[6]。在這種模式下,近年來(lái)國(guó)內(nèi)紙病檢測(cè)技術(shù)發(fā)展迅速,河南江河紙業(yè)股份有限公司自主研發(fā)的DZ-WIS,一些關(guān)鍵性技術(shù)已接近世界先進(jìn)水平；南京林業(yè)大學(xué)的研究成果,使得PC機(jī)檢測(cè)和處理紙病的實(shí)時(shí)性和準(zhǔn)確性得到了大幅度提高。但是這種模式會(huì)給軟件系統(tǒng)帶來(lái)巨大的計(jì)算量,而這一軟件系統(tǒng)的技術(shù)瓶頸不可避免地造成了系統(tǒng)穩(wěn)定性差的問(wèn)題,且始終未得到徹底解決[7]。雖然陜西科技大學(xué)任鵬使用多核處理器與后臺(tái)系統(tǒng)線(xiàn)程池技術(shù)相結(jié)合,實(shí)現(xiàn)了后臺(tái)任務(wù)的實(shí)時(shí)并行處理,提高了紙病檢測(cè)系統(tǒng)的穩(wěn)定性,暫時(shí)克服了計(jì)算機(jī)因長(zhǎng)時(shí)間運(yùn)行出現(xiàn)的處理速度下降或者死機(jī)現(xiàn)象[8]。但紙機(jī)車(chē)速提升、紙幅加寬、檢測(cè)精度提高以及紙病檢測(cè)算法復(fù)雜度增大所帶來(lái)的運(yùn)算數(shù)據(jù)量膨脹,與計(jì)算機(jī)主頻加快和軟件結(jié)構(gòu)優(yōu)化所帶來(lái)的運(yùn)算能力倍增的競(jìng)賽遠(yuǎn)未停息。此計(jì)算機(jī)集中處理數(shù)據(jù)的硬件模式結(jié)構(gòu)簡(jiǎn)單實(shí)用、用戶(hù)操作方便,但構(gòu)建軟件系統(tǒng)工作量較大,特別是隨著紙張圖像的實(shí)時(shí)數(shù)據(jù)量越來(lái)越大,計(jì)算機(jī)的串行結(jié)構(gòu)和工作方式不可避免地限制了其運(yùn)算速度,從而形成了“采集卡”模式的速度瓶頸效應(yīng),嚴(yán)重制約了檢測(cè)系統(tǒng)的快速性和可靠性提升[9]。

2.2“CCD+FPGA+計(jì)算機(jī)”模式

為了突破“采集卡”模式的速度瓶頸,較早的一些方法多使用單片機(jī)或者DSP等微處理器實(shí)現(xiàn)灰度均衡、彩色圖像二值化或圖像重構(gòu)等預(yù)處理功能,分擔(dān)了計(jì)算機(jī)的部分工作。但隨著對(duì)圖像采集速度和圖像品質(zhì)要求的不斷提升,這些方式終難滿(mǎn)足需求。而高速度FPGA(Field Program-mable Gate Array)的發(fā)展為紙病檢測(cè)系統(tǒng)帶來(lái)了“CCD+FPGA+計(jì)算機(jī)”模式(簡(jiǎn)稱(chēng)“FPGA”模式)。處于CCD和計(jì)算機(jī)中間位置的FPGA,一方面承擔(dān)數(shù)據(jù)采集卡的工作,對(duì)CCD相機(jī)進(jìn)行配置,獲取圖像數(shù)據(jù),驅(qū)動(dòng)片外儲(chǔ)存芯片,對(duì)圖像進(jìn)行緩存,同時(shí)產(chǎn)生VGA時(shí)序,另一方面承擔(dān)計(jì)算機(jī)的部分任務(wù),對(duì)紙張圖像進(jìn)行預(yù)處理。

FPGA具有開(kāi)發(fā)周期短、高速、高靈活性、可并行處理等優(yōu)點(diǎn),與計(jì)算機(jī)的串行工作方式相比,FPGA的并行結(jié)構(gòu)和流水線(xiàn)工作方式具有速度上的優(yōu)勢(shì)。由FPGA完成紙張圖像的預(yù)處理、紙病粗判(僅判斷是否產(chǎn)生紙病)和疑似紙病圖像區(qū)域分割,并將該區(qū)域的圖像數(shù)據(jù)通過(guò)以太網(wǎng)等通信方式傳輸給計(jì)算機(jī),利用高級(jí)語(yǔ)言編寫(xiě)算法程序的靈活性,由計(jì)算機(jī)完成紙病種類(lèi)進(jìn)一步判斷的工作及后期信息處理。統(tǒng)計(jì)表明,疑似紙病區(qū)域的面積僅占整個(gè)紙張圖像面積的萬(wàn)分之一以下,因此大量圖像數(shù)據(jù)處理由FPGA迅速完成。

FPGA模式采用分散式數(shù)據(jù)處理方式,利用FPGA并行運(yùn)算的快速性進(jìn)行紙病預(yù)處理和粗判,承擔(dān)90%以上的“粗活”,并利用計(jì)算機(jī)編程的靈活性實(shí)現(xiàn)圖像處理高級(jí)算法,完成紙病辨識(shí)、顯示、統(tǒng)計(jì)儲(chǔ)存等“細(xì)活”。這種硬件模式適應(yīng)造紙生產(chǎn)的發(fā)展趨勢(shì),具有較大的發(fā)展空間,且結(jié)構(gòu)簡(jiǎn)單、成本低、處理速度快,但是大量的最底層編程語(yǔ)言的開(kāi)發(fā)工作,使得該模式研發(fā)難度很大。

國(guó)外基于FPGA的紙病檢測(cè)技術(shù)已比較成熟,如1999年S Hossain Hajimowlana提出用于缺陷檢測(cè)的相機(jī)數(shù)據(jù)流處理[4],國(guó)內(nèi)FPGA模式在紙病檢測(cè)領(lǐng)域的應(yīng)用尚處于起步階段,例如,文獻(xiàn)[9]中利用FPGA的并行性完成了紙病圖像處理算法的硬件加速,提高紙病檢測(cè)的準(zhǔn)確性和效率,但未能充分利用NIOS II軟核處理器,最大程度地實(shí)現(xiàn)高速實(shí)時(shí)圖像處理[10]。同時(shí),這種硬件模式的優(yōu)化還存在FPGA中設(shè)計(jì)SDRAM控制器等很多難點(diǎn)有待克服。

2.3其他類(lèi)型的紙病檢測(cè)模式

除了以上兩種典型的紙病檢測(cè)系統(tǒng)模式之外,以其他技術(shù)實(shí)現(xiàn)的紙病檢測(cè)系統(tǒng)也有報(bào)道。例如,文獻(xiàn)[11]采用的“CCD+DSP(Digital Signal Processing)+計(jì)算機(jī)”模式、文獻(xiàn)[12]研制的“工業(yè)相機(jī)+FPGA+DSP+顯示器”嵌入式機(jī)器視覺(jué)系統(tǒng),各有特點(diǎn)。

2.4光源系統(tǒng)

紙病檢測(cè)系統(tǒng)的光源照射效果,直接關(guān)系到紙病處理中圖像分辨率的高低以及紙病檢測(cè)算法和軟件結(jié)構(gòu)的復(fù)雜程度。光源系統(tǒng)設(shè)計(jì)是一個(gè)十分復(fù)雜和困難的優(yōu)化問(wèn)題,一方面,作為優(yōu)化目標(biāo)的照明效果缺乏量化評(píng)價(jià),例如,通常被當(dāng)作優(yōu)化目標(biāo)的紙張表面灰度方差(用以表示光線(xiàn)分布均勻程度)、紙張缺陷與背景圖像的對(duì)比度等都缺乏充分的理論依據(jù)；另一方面,影響光照效果的諸多因素,如光源種類(lèi)、光源結(jié)構(gòu)、光色和亮度、光照方式等,都與照明效果密切相關(guān)卻又難以建立精確的數(shù)學(xué)模型。因此,國(guó)內(nèi)外紙病檢測(cè)系統(tǒng)光源優(yōu)化的研究成果很少,現(xiàn)有的光源系統(tǒng)基本上憑著經(jīng)驗(yàn)摸索獲得。

由于紙病檢測(cè)采用的都是逐行掃描的線(xiàn)陣工業(yè)相機(jī),光源采用線(xiàn)型形狀的激光、LED(Light-Emitting Diode)和高頻熒光燈等,其中LED燈可以采用功率連續(xù)可調(diào)的驅(qū)動(dòng)方式以保證光線(xiàn)橫向均勻分布。光源結(jié)構(gòu)有前光源、背光源和混合光源3種,其中前光源拍攝的圖像灰度均勻、方差小,易于圖像的后期處理,但是僅能照亮攝像機(jī)所在一側(cè)的單側(cè)紙病,由于紙面反射光線(xiàn)能力較強(qiáng),紙病檢測(cè)中更多地采用“低角度”照射；背光源能夠?qū)⑾鄼C(jī)另一側(cè)的部分紙病透射到工業(yè)相機(jī)上,但生成圖像的灰度波動(dòng)劇烈而圖像處理難度較高；“前光源+背光源”的混合光源結(jié)合了前二者的優(yōu)點(diǎn),照射效果最佳。光色方面,紅色光因其突出缺陷的對(duì)比度效果最佳而被頻繁使用。

3　紙病檢測(cè)算法

實(shí)現(xiàn)紙病檢測(cè)的核心是建立在軟、硬件平臺(tái)上的紙張圖像處理算法,包括紙張圖像預(yù)處理算法、紙病特征提取算法和紙病辨識(shí)算法3部分。

3.1紙張圖像預(yù)處理算法

主要目的是為了提高紙張圖像的對(duì)比度,突出邊緣細(xì)節(jié),提取(疑似)紙病區(qū)域圖像,以便后續(xù)的分析處理,預(yù)處理分為圖像增強(qiáng)和圖像分割。

(1)圖像增強(qiáng)

圖像增強(qiáng)是對(duì)已獲取的圖像加工處理,減少噪聲的同時(shí)增強(qiáng)邊緣信息和結(jié)構(gòu)信息,以便在后續(xù)的特征分析中對(duì)其更好地分析和理解。紙張圖像的增強(qiáng)同樣是為了減弱紙張背景噪聲,提高紙病區(qū)域和背景區(qū)域的對(duì)比度。圖2所列為紙病圖像增強(qiáng)的主要方法。

圖2　圖像增強(qiáng)分析方法

圖2中,灰度變換和直方圖處理這兩種基于點(diǎn)的增強(qiáng)方式通常用于低對(duì)比度紙病圖像(例如：氣泡、透明點(diǎn)、裂痕等)的增強(qiáng)處理；基于模板的空域圖像增強(qiáng)主要是通過(guò)各種濾噪的方式達(dá)到目的,其中中值濾波是最常用的濾除紙張圖像噪聲的方法,除此之外,Laplace、Gauss及Sobel等算子可以有效增強(qiáng)紙病的邊緣或輪廓信息。紙病圖像中噪聲和紙張圖像信號(hào)在空域中通常難以區(qū)分,而在頻域中二者的頻譜卻常常是相互分離的,在頻域中濾除噪聲后經(jīng)過(guò)頻域到空域的反變換就可以成功濾除紙張圖像的背景噪聲。但這種方法因其計(jì)算量巨大而很少使用。理論上講,由于需要進(jìn)行FFT(Fast Fourier Transform Algorithm)和DFFT(Discrete Fast Fourier Transform)兩種運(yùn)算,對(duì)n個(gè)像素點(diǎn)的運(yùn)算量就超過(guò)了2n2次,只有DSP這樣的專(zhuān)用并行處理芯片才適合承擔(dān)這樣的圖像增強(qiáng)任務(wù)。在實(shí)際紙病圖像處理中,往往一種圖像增強(qiáng)方法難以達(dá)到滿(mǎn)意的效果,為此出現(xiàn)了混合增強(qiáng)算法,將多種互補(bǔ)的圖像增強(qiáng)方法組合起來(lái),取得單一增強(qiáng)難以達(dá)到的效果。

除此之外,CB(Contour Bougie)形態(tài)學(xué)對(duì)紙病圖像進(jìn)行濾波,力求在濾波的同時(shí)不損失圖像的細(xì)節(jié)[13]。Ferrante Neri等人提出了基于模因差分(DE,Differential Evolution)模型的3種濾波器MDE(Memetic Differential Evolution)、EMDE(Enhanced Memetic Differential Evolution)、SFMDE(Super-Fit Memetic Differential Evolution)用于紙病檢測(cè)[14-15]。近年來(lái),許多研究將灰度共生矩陣(GLCM,Grey Level Co-occurrence Matrix)、Gobar濾波認(rèn)為是紋理分析方面最先進(jìn)的方法[16],文獻(xiàn)[17]提出一種可通過(guò)遺傳算法被轉(zhuǎn)換為傳統(tǒng)的Gabor濾波器或者轉(zhuǎn)換環(huán)Gabor濾波器的橢圓高斯濾波器(EGF,Elliptical Gaussian Filter),而基于模糊理論、神經(jīng)網(wǎng)絡(luò)等圖像智能增強(qiáng)方法的研究也有報(bào)道。

(2)圖像分割

紙病圖像分割就是依據(jù)紙張圖像的灰度、顏色、紋理和邊緣等特征,把(疑似)含有紙病的圖像區(qū)域分離出來(lái),該過(guò)程是紙病特征提取和紙病辨識(shí)的基礎(chǔ),以下是幾種典型圖像分割算法。

①閾值分割算法

閾值化是圖像分割方法中最簡(jiǎn)單的一種,根據(jù)紙張圖像灰度的分布用一個(gè)閾值將紙張圖像分成紙病和背景的二值區(qū)域。其技術(shù)關(guān)鍵是如何選擇合適的閾值,1979年Otsu提出最大類(lèi)間方差準(zhǔn)則選取閾值的方法一直被認(rèn)為是閾值分割的經(jīng)典算法[18],從圖像的灰度直方圖出發(fā),先得到圖像的概率密度函數(shù),然后根據(jù)準(zhǔn)則選取閾值是現(xiàn)在比較常見(jiàn)的方法之一。閾值法分割圖像思路簡(jiǎn)單,對(duì)于紙病區(qū)域和背景圖像有明顯灰度差異時(shí),如孔洞、黑斑等紙病可以有比較好的分割效果,但對(duì)于灰度差異不太明顯或灰度值有較大重疊的圖像,如褶皺紙病,閾值分割有時(shí)達(dá)不到預(yù)期效果[19]。此外,由于外界光源緩慢變化或紙張白度變化引起的紙張圖像灰度分布改變,要求閾值應(yīng)具有自適應(yīng)功能。

②邊緣檢測(cè)算法

邊緣作為圖像最基本的特征之一,其算法實(shí)質(zhì)是提取圖像中對(duì)象與背景間的交界線(xiàn),應(yīng)用于紙病檢測(cè)中的算法主要分為Sobel、Roberts、Prewitt、Kirsch、Canny等一階微分算子和Laplace算子、Log算子等二階微分算子。文獻(xiàn)[20]提出在使用Sobel算子之前先進(jìn)行圖像歸一化處理得到更多的細(xì)節(jié)特征,文獻(xiàn)[21]中通過(guò)比較得出Prewitt算子可以很好地檢測(cè)出同時(shí)含有孔洞、臟點(diǎn)和褶皺的紙病圖像的邊緣。文獻(xiàn)[22]中提出模糊C均值聚類(lèi)-Canny獲取圖像邊緣信息,在提取圖像邊緣時(shí)比其他幾種一階算子完整,邊緣定位也更精準(zhǔn),但為得到更好的檢測(cè)效果需要較大的濾波尺度,這樣就容易丟失細(xì)節(jié)。Laplace算子既能增強(qiáng)圖像的高頻分量,又能保持圖像的低頻分量,但是對(duì)噪聲比較敏感,而且由于零交叉點(diǎn)并非與邊緣點(diǎn)一一對(duì)應(yīng),因而常會(huì)產(chǎn)生一些虛假邊緣。Log算子則是將Gauss濾波和Laplace算子結(jié)合在一起形成的,因此Log算子對(duì)噪聲不太敏感,檢測(cè)效果比較好。除了以上兩種圖像分割方法之外,文獻(xiàn)[23]中提出利用小波奇異性分割紙病區(qū)域與背景圖像等圖像分割方式,文獻(xiàn)[24]提出一種基于多像素提取圖像邊緣的檢測(cè)算法。

3.2紙病圖像特征提取算法

特征提取是紙病檢測(cè)過(guò)程中非常重要的環(huán)節(jié),它承接預(yù)處理過(guò)程,從圖像分割處理后的圖像中提取能夠表征紙病圖像特征信息,為計(jì)算機(jī)進(jìn)行紙病最終識(shí)別做準(zhǔn)備。選取好的特征提取算法可以獲得更好的分類(lèi)精度[25],常見(jiàn)的紙病圖像特征量分為灰度特征和形態(tài)特征兩大類(lèi)。

(1)灰度特征

灰度特征根據(jù)分析空間和分析方法的不同分為空域分析、頻域分析、空-頻分析和統(tǒng)計(jì)分析。

空域分析是在時(shí)間空間內(nèi)提取各種紙病的特征,常用的算法包括：灰度閾值、Hough變換、灰度共生矩陣等方法、奇異值分解(SVD,Singular Value Decomposition)。其中Hough變換可用于提取具有線(xiàn)性特征的紙病(如劃痕、褶皺),比較而言,Radon變換與Hough變換功能接近而運(yùn)算量卻小很多,因此更為實(shí)用。灰度共生矩陣用于提取具有紋理特征的紙病(如條紋紙病)[26],奇異值分解可用于提取灰度變化較為明顯的紙病特征(如黑斑、孔洞)。

圖3　紙病特征提取和紙病辨識(shí)原理圖

頻域分析是在位置空間內(nèi)提取各種紙病的特征,常用的算法包括：短時(shí)傅里葉變換(STFT,Short Time Fourier Transform)和短時(shí)功率譜估計(jì)(STPS, Short Time Power Spectrum),主要用于判斷縱向紙幅的周期紙病。

空-頻分析是在空-頻空間內(nèi)提取各種紙病的特征,常用的算法包括：二維小波變換,可以用于判斷褶皺、漿疙瘩等灰度值波動(dòng)不明顯的紙病。

統(tǒng)計(jì)分析利用各階次(一階、二階和高階)的統(tǒng)計(jì)運(yùn)算提取不同的紙?zhí)卣?包括：一階統(tǒng)計(jì)量的一維灰度均值,該特征可用于表示紙張表面橫向或縱向的灰度分布,為消除紙張圖像背景的不均勻性提供依據(jù)；二階統(tǒng)計(jì)量,如灰度方差(表示灰度離散程度),在背光源照明方式下該特征量與紙張粗糙度這樣的物理量緊密相關(guān)。二維圖像處理算子如Roberts算子、Prewitt算子、Sobel算子、Laplacian算子和Canny算子等,由于都是基于二維的互相關(guān)函數(shù)運(yùn)算,因此也屬于二階統(tǒng)計(jì)量,由這些算子獲得特征量對(duì)于分割紙病區(qū)域、判斷紙病種類(lèi)具有重要作用；最主要的高階統(tǒng)計(jì)特征是圖像熵(Shannon熵),作為不確定性的量化指標(biāo)，它與黑斑、孔洞等多種紙病都有不同程度的關(guān)聯(lián)。

(2)形態(tài)特征

形態(tài)特征主要有:描述紙病的面積、形狀、長(zhǎng)寬比、面積周長(zhǎng)比等幾何特征,例如劃痕、褶皺等紙病都具有突出的長(zhǎng)寬比和面積周長(zhǎng)比,及用于描述對(duì)象不規(guī)則度和自相似性的分形維數(shù)[27],其具有的標(biāo)度不變性特點(diǎn)使其對(duì)于裂紋、孔隙等紙病的二維分形特征表述更加清晰。

(3)紋理特征

除灰度特征和形態(tài)特征之外,紋理特征用于紙病檢測(cè)的研究也沒(méi)有止步。Topi Maenpaa等人提出基于局部二值模式(LBP,Local Binary Pattern)紋理算子和自組織映射(SOM,Self-organizing Map)的紋理特征用于圖像表面實(shí)時(shí)性檢測(cè)[28]。

3.3紙病辨識(shí)算法

紙病圖像辨識(shí)屬于模式識(shí)別的范疇,是通過(guò)圖像的灰度特征和幾何特征來(lái)確定紙病的種類(lèi),辨識(shí)原理見(jiàn)圖3。

紙病的特征提取實(shí)際上就是紙病在灰度特征空間和形態(tài)特征空間的映射,不同的特征提取算法在這兩個(gè)空間內(nèi)形成了不同的特征量子空間,因紙病自身特性的差異不同,紙病在該子空間可能映射出不同的特征點(diǎn)(即不同的特征值),也可能映射出相同的特征點(diǎn)(即相同的特征值)。前一種情況比較容易辨識(shí)出紙病種類(lèi),如對(duì)于圖3中a類(lèi)紙病,基于某種特征提取算法(如灰度均值),在灰度特征空間的特征量1子空間中形成了一個(gè)獨(dú)立的特征值,使用閾值法(單一閾值或雙閾值法)就能確定紙病類(lèi)型。后一種情況相對(duì)困難,需要建立多個(gè)特征量為輸入的高維辨識(shí)函數(shù),常用的方法有基于BP(Back-Propagation)神經(jīng)網(wǎng)絡(luò)識(shí)別方法,但這種方法存在收斂速度慢、網(wǎng)絡(luò)的學(xué)習(xí)記憶不穩(wěn)定等缺點(diǎn),基于樸素貝葉斯分類(lèi)器的圖像識(shí)別[29]在選取特征量時(shí)要求各特征量相互獨(dú)立,而且評(píng)定各特征量概率精確性的方法至今沒(méi)有統(tǒng)一。文獻(xiàn)[30]中提出一種解決實(shí)時(shí)性問(wèn)題的紙病分類(lèi)方法-基于傅里葉的目標(biāo)描述子等,除此之外,基于模糊融合算法、紋理特征、支持向量機(jī)(SVM,Support Vector Machine)、二維小波變換、分形理論等都在紙病辨識(shí)方面不斷地進(jìn)行研究。

圖4　軟件系統(tǒng)結(jié)構(gòu)框圖

當(dāng)前圖像辨識(shí)共有的難題是檢測(cè)的精確性不高,特別是無(wú)論哪一種方法,都難以辨識(shí)種類(lèi)繁多的所有紙病,而新興的信息融合技術(shù)無(wú)疑是解決該問(wèn)題的有效途徑。

3.4紙病檢測(cè)后處理方法

在檢測(cè)出紙病后,系統(tǒng)完成以下后期處理工作。

(1)顯示。顯示器上標(biāo)記出紙病,操作人員通過(guò)鼠標(biāo)(或觸摸屏)可以查詢(xún)紙病的灰度值、面積大小、空間位置、類(lèi)型等詳細(xì)信息。

(2)數(shù)據(jù)儲(chǔ)存和統(tǒng)計(jì)。系統(tǒng)數(shù)據(jù)庫(kù)記錄紙病信息和圖像,方便歷史紙病信息的查詢(xún),為已出現(xiàn)的生產(chǎn)故障進(jìn)行后續(xù)故障分析提供有用的幫助信息。同時(shí)按照天、周、月和年統(tǒng)計(jì)紙病,并形成報(bào)表文件。

(3)輸出動(dòng)作。使用投標(biāo)器準(zhǔn)確地對(duì)不同紙病進(jìn)行區(qū)分性的標(biāo)記(色標(biāo)、標(biāo)簽、紙條等),以便復(fù)卷或者切紙時(shí)可以在紙幅邊緣看到紙病的位置,根據(jù)要求做相應(yīng)的切除。

(4)報(bào)警。對(duì)于周期性的紙病,報(bào)警器進(jìn)行聲光報(bào)警,以便后期及時(shí)排除生產(chǎn)設(shè)備或制造工藝故障。

4　紙病檢測(cè)軟件系統(tǒng)

4.1軟件系統(tǒng)

紙病檢測(cè)系統(tǒng)中,軟件系統(tǒng)應(yīng)具備數(shù)據(jù)實(shí)時(shí)處理的功能、操作界面友好、操作簡(jiǎn)便等特點(diǎn)。在識(shí)別、處理紙病過(guò)程中,紙病檢測(cè)軟件系統(tǒng)能夠在軟件界面上模擬紙張的運(yùn)行情況；對(duì)紙病的位置、大小、類(lèi)型進(jìn)行記錄并保存至相應(yīng)數(shù)據(jù)庫(kù)；能夠設(shè)定外設(shè)裝置的相關(guān)參數(shù),以適應(yīng)不同的環(huán)境；軟件具有調(diào)試模式,能夠?qū)崟r(shí)顯示圖像及灰度分布等；具有用戶(hù)管理和記錄的功能,以便對(duì)系統(tǒng)進(jìn)行優(yōu)化等。

一個(gè)完整的紙病檢測(cè)軟件系統(tǒng)通常包括界面模塊、操作模塊、數(shù)據(jù)庫(kù)模塊及設(shè)備和外部接口模塊。其中,操作界面可直接進(jìn)行各種操作和顯示；操作模塊主要對(duì)工程當(dāng)中涉及到的所有數(shù)據(jù)庫(kù)、圖像信息、參數(shù)、文本進(jìn)行處理；數(shù)據(jù)庫(kù)是存放工程處理過(guò)程中為保存信息所需建立的模塊；設(shè)備和外部接口模塊將紙病處理結(jié)果通過(guò)軟件通知相應(yīng)的外部執(zhí)行裝置實(shí)現(xiàn)相應(yīng)操作。通常紙病檢測(cè)軟件系統(tǒng)結(jié)構(gòu)圖可表示為圖4。

4.2算法軟件開(kāi)發(fā)流程

其中紙病檢測(cè)算法是系統(tǒng)的核心部分,其基本開(kāi)發(fā)流程如下。

(1)首先使用Matlab仿真工具或Halcon機(jī)器視覺(jué)開(kāi)發(fā)工具對(duì)所選用的紙病處理算法進(jìn)行可行性驗(yàn)證。二者之間的區(qū)別之一在于Matlab開(kāi)發(fā)的程序必須用編程語(yǔ)言進(jìn)行重新編寫(xiě),才能嵌入到實(shí)際工程中。而Halcon開(kāi)發(fā)的程序可以直接轉(zhuǎn)換為諸如C、C++、C#.NET等語(yǔ)言支持的程序代碼,從而可以直接嵌入到實(shí)際工程中,節(jié)省了開(kāi)發(fā)時(shí)間。

(2)接下來(lái)便是利用C、C++、C#等編程語(yǔ)言,借助VS、VB、Delphi、QT等開(kāi)發(fā)平臺(tái),或OpenCV等圖像處理庫(kù),實(shí)現(xiàn)圖像處理算法,并將其嵌入到整個(gè)軟件系統(tǒng)當(dāng)中。

此外,還可以在Quartus Ⅱ平臺(tái)下,采用Verilog HDL或VHDL語(yǔ)言實(shí)現(xiàn)在FPGA端的圖像處理研究。

5　紙病檢測(cè)的難點(diǎn)和發(fā)展展望

5.1紙病檢測(cè)的難點(diǎn)

紙病檢測(cè)的難點(diǎn)在于檢測(cè)的實(shí)時(shí)性、精確性和魯棒性。

(1)實(shí)時(shí)性。寬幅和高速紙機(jī)的發(fā)展趨勢(shì),使得紙病檢測(cè)系統(tǒng)的實(shí)時(shí)數(shù)據(jù)量已達(dá)到每秒100M以上,給系統(tǒng)帶來(lái)了巨大壓力,對(duì)系統(tǒng)的結(jié)構(gòu)、各設(shè)備裝置的性能、軟件可靠性、算法的可實(shí)時(shí)性提出了越來(lái)越高的要求。

(2)精確性。隨著對(duì)紙張質(zhì)量要求的日益提高,紙張表面缺陷標(biāo)準(zhǔn)在不斷提高,目前對(duì)于高質(zhì)量的紙張,表面積超過(guò)0.5 mm2的區(qū)域缺陷和長(zhǎng)度超過(guò)5 mm 的劃痕缺陷都被認(rèn)為是紙病,由功率譜分析可見(jiàn)這樣規(guī)模的紙病,其灰度信號(hào)能量已經(jīng)和部分噪聲信號(hào)的能量十分接近,無(wú)疑要想精確辨識(shí)這樣規(guī)模的紙病是十分困難的。

(3)魯棒性。紙病檢測(cè)的前提是紙病成像技術(shù),即生成高質(zhì)量紙病圖像以及圖像的長(zhǎng)期穩(wěn)定性。而生產(chǎn)線(xiàn)上紙張品種的更換,系統(tǒng)的性能隨環(huán)境緩慢的變化,如車(chē)間內(nèi)外界光線(xiàn)的變化,都會(huì)對(duì)紙病成像效果(圖像灰度、圖像均勻性)帶來(lái)影響。因此,實(shí)現(xiàn)紙病檢測(cè)系統(tǒng)的魯棒性難度巨大。

5.2紙病檢測(cè)系統(tǒng)的展望

目前正處在工業(yè)生產(chǎn)自動(dòng)化向智能化的轉(zhuǎn)變期,隨著紙病檢測(cè)系統(tǒng)由串行結(jié)構(gòu)到并行結(jié)構(gòu)的轉(zhuǎn)變,基于計(jì)算機(jī)圖像學(xué)、隨機(jī)過(guò)程理論、統(tǒng)計(jì)學(xué)、信號(hào)處理技術(shù)、形態(tài)學(xué)、智能控制理論等多種方法的使用,算法研究不斷深入,紙病檢測(cè)系統(tǒng)檢測(cè)速度和檢測(cè)精度不斷提高,紙病檢測(cè)系統(tǒng)將會(huì)很快實(shí)現(xiàn)以下功能。

(1)紙病的雙面檢測(cè)。大多數(shù)的紙病屬于通透紙張兩面的雙側(cè)紙病,但是仍有一些微小紙病屬于單側(cè)的表面缺陷,即使使用背光源照明,位于另一側(cè)的工業(yè)相機(jī)仍可能檢測(cè)不到。因此雙側(cè)紙病的檢測(cè)將會(huì)很快被列入研究者的工作日程。

(2)病紙自動(dòng)剔除系統(tǒng)。根據(jù)紙病信息(紙病的位置、種類(lèi)和大小),指導(dǎo)切紙機(jī)將有缺陷的病紙自動(dòng)切除。

(3)紙病檢測(cè)智能優(yōu)化系統(tǒng)。系統(tǒng)通過(guò)對(duì)紙病的大數(shù)據(jù)分析,對(duì)造紙生產(chǎn)線(xiàn)上的工藝參數(shù)進(jìn)行(以質(zhì)量為優(yōu)化目標(biāo)的)優(yōu)化,將參數(shù)的最優(yōu)值下達(dá)到造紙生產(chǎn)線(xiàn)上分布式控制系統(tǒng)(DCS,Distributed Conutrol System)現(xiàn)場(chǎng)級(jí),作為各個(gè)閉環(huán)控制系統(tǒng)的給定值,從而實(shí)現(xiàn)整個(gè)造紙生產(chǎn)線(xiàn)的最優(yōu)控制。

(4)紙病光源系統(tǒng)的優(yōu)化。

[1]ZHANG Gang-qiang, ZHOU Qiang. Application of Improved Hough Transform in Web Inspection[J]. Transactions of China Pulp and Paper, 2011, 26(4): 38.

張剛強(qiáng), 周強(qiáng). 改進(jìn)Hough變換在紙病在線(xiàn)檢測(cè)系中的應(yīng)用[J]. 中國(guó)造紙學(xué)報(bào), 2011, 26(4): 38.

[2]Nan H U. A Study and Reflection on Paper Industry Development Policy[J]. China Pulp & Paper Industry, 2009, 30(4): 6.

[3]GUO Cai-yun. ISRA VISION Released New Breakthrough Detection Technology-PAPER Online Inspection System (WIS) MASTER PAPER Defect Detection[J]. China Paper Newsletter, 2014(10): 33.

郭彩云. 伊斯拉視像發(fā)布全新突破性檢測(cè)技術(shù)—PAPER MASTER紙病在線(xiàn)檢測(cè)系統(tǒng)(WIS)[J]. 造紙信息, 2014(10): 33.

[4]Jukka Iivarinen, Katriina Heikkinen, Juhani Rauhamaa, et al. A Defect Detection Scheme for Web Surface Inspection[J]. International Journal of Pattern Recognition & Artificial Intelligence, 2011, 14(6): 735.

[5]ZHOU Qiang, WANG Zhi-qiang, YANG Gui-lin, et al. Study of the Realtime Acquisition and Transmission of Paper Disease Image Based on Compressed Sensing[J]. Transactions of China Pulp and Paper, 2015, 30(3): 51.

周強(qiáng), 王志強(qiáng), 楊貴琳, 等. 基于壓縮傳感技術(shù)的紙病圖像數(shù)據(jù)實(shí)時(shí)采集研究[J]. 中國(guó)造紙學(xué)報(bào), 2015, 30(3): 51.

[6]GUAN Jian-hua. Web Inspection Technology and Application in Paper Making[J]. China Pulp & Paper, 2000, 19(6): 32.

關(guān)健華. 全幅紙病檢測(cè)技術(shù)及在造紙中的應(yīng)用[J]. 中國(guó)造紙, 2000, 19(6): 32.

[7]CHEN Wen-kai. Research and Integration on Web Inspection System Based on Machine Vision[D]. Nanjing: Nanjing Forestry University, 2009.

陳文凱. 基于機(jī)器視覺(jué)的紙病檢測(cè)算法研究與集成[D]. 南京: 南京林業(yè)大學(xué), 2009.

[8]REN Peng. Detection System of Paper Defects Based on Machine Vision and Implimentation with C/C++[D].Xi’an: Shaanxi University of Science & Technology, 2013.

任鵬. 基于機(jī)器視覺(jué)C/C++實(shí)現(xiàn)的紙病檢測(cè)系統(tǒng)的研制[D]. 西安: 陜西科技大學(xué), 2013.

[9]LIU Yong, ZHOU Qiang, LIU Tao, et al. Paper Defect Pretreatment System Based on FPGA[J]. China Pulp & Paper, 2013, 32(8): 46.

劉勇, 周強(qiáng), 劉濤, 等. 基于FPGA的紙病檢測(cè)預(yù)處理系統(tǒng)研制[J]. 中國(guó)造紙, 2013, 32(8): 46.

[10]YAN Hui. Study on High-speed Image Processing System based on FPGA[D]. Tianjin: Tianjin University, 2004.

嚴(yán)輝. 基于FPGA的高速圖像處理系統(tǒng)的研究[D]. 天津: 天津大學(xué), 2004.

[11]XIAO Fei. On-line Technical Research of Paper Lacuna Inspection[D]. Ji’nan: Shandong Institute of Light Industry, 2010.

肖飛. 在線(xiàn)紙頁(yè)缺陷檢測(cè)技術(shù)研究[D]. 濟(jì)南: 山東輕工業(yè)學(xué)院, 2010.

[12]GU Shuai, QIU Shu-bo. Design of Visual Inspection System for Paper Defects Based on FPGA+DSP[J]. China Pulp & Paper Industry, 2010, 31(6): 48.

古帥, 邱書(shū)波. 基于FPGA+DSP的紙張缺陷視覺(jué)檢測(cè)系統(tǒng)的設(shè)計(jì)[J]. 中華紙業(yè), 2010, 31(6): 48.

[13]KANG Jie, SHI Zhong-ke, YANG Gang. An Investigation to the Morphological Paper Defect Testmethod Based on CB Morphology Filtration[J]. China Pulp & Paper Industry, 2008, 10: 30.

亢潔, 史忠科, 楊剛. 基于CB形態(tài)濾波的形態(tài)學(xué)紙病檢測(cè)方法研究[J]. 中華紙業(yè), 2008, 10: 30.

[14]Ferrante Neri, Ville Tirronen. An Enhanced Memetic Differential Evolution in Filter Design for Defect Detection in Paper Production[J]. Evolutionary Computation, 2008, 16(4): 529.

[15]Tirronen V, Neri F, Karkkainen T, et al. A Memetic Differential Evolution in Filter Design for Defect Detection in Paper Prodution[M]//Applications Evolutionary Computing Springer Berlin Heidelberg, 2007: 320.

[16]Tahir M A, Bouridane A, Kurugollu F. An FPGA Based Coprocessor for GLCM and Haralick Texture Features and Their Application in Prostate Cancer Classification[J]. Analog Integrated Circuits & Signal Processing, 2005, 43(2): 205.

[17]Hu Guang-hua. Automated Defect Detection in Textured Surfaces Using Optima Elliptical Gabor Filters[J]. Elsevier, 2015, 126(14): 1331.

[18]XIAO Chaoyun, ZHU Weixing. Threshold Selection Algorithm for Image Segmentation Based on Otsu Rule and Image Entropy[J]. Computer Engineering, 2007, 33(14): 188.

肖超云, 朱偉興. 基于Otsu準(zhǔn)則及圖像熵的閾值分割算法[J]. 計(jì)算機(jī)工程, 2007, 33(14): 188.

[19]Jia H, Murphey Y L, Shi J, et al. An Intelligent Real-time Vision System for Surface Defect Detection[C]//Proceedings of the Pattern Recognition, 17th International Conference on (ICPR’04) IEEE Computer Society, 2004, 3: 239.

[20]Tariq M Khan, Bailey D G, Mohammad A U Khan, et al. Real-time Edge Detection and Range Finding Using FPGAs[J], Elsevier, 2015, 126(17): 1545.

[21]Zhang Xue-lan, Li Jun, Xin Pei-hong, et al. The Application of Edge Detection in Paper Defect Image[J]. Paper Science & Technology, 2012, 31(6): 121.

張學(xué)蘭, 李軍, 辛培紅, 等. 邊緣檢測(cè)在紙病圖像分析中的應(yīng)用[J]. 造紙科學(xué)與技術(shù), 2012, 31(6): 121.

[22]Liu Junyan, Tang Qingju, et al. Dfect Geometric Feature Recognition Based on Infrared Image Edge Detection[J], Elsevier, 2014, 67: 387.

[23]XU Zhi-peng, XU Wen-bo. Paper Defects Detection Based on Singularity Characterization[J]. Transactions of China Pulp and Paper, 2004, 19(2): 146.

徐志鵬, 須文波. 基于小波奇異性的紙病檢測(cè)[J]. 中國(guó)造紙學(xué)報(bào), 2004, 19(2): 146.

[24]LIU Yu, LI Yan-jun, ZHANG Ke. A Method of Multipixels Edge Detecting of Image[J]. Acta Photonica Sinica, 2007, 36(2): 380.

劉煜, 李言俊, 張科. 一種多像素圖像邊緣提取方法[J]. 光子學(xué)報(bào), 2007, 36(2): 380.

[25]Topi M, Timo O, Matti P, et al. Robust texture classification by subsets of local binary patterns[M]//IEEE, 2000, 3: 935.

[26]Iivarinen J. Surface Defect Detection with Histogram Based Texture Feature[J]. Proceedings of SPIE-The International Society for Optical Engineering, 2001: 140.

[27]Bruno O M, Plotze R D O, Falvo M, et al. Fractal Dimension Applied to Plant Identification[J]. Information Sciencesm, 2008, 178(12): 2722.

[28]Topi Maenpaa, Markus Turtinen,Matti Pietikainen. Realtime Surface Inspection by Texture[J]. Real-Time Imaging, 2003, 9: 289.

[29]YUAN Jin-biao, ZHOU Qiang. Paper Defects Offline Static Identification Based on Naive Bayes Classifier[J]. Transactions of China Pulp and Paper, 2014, 29(1): 58.

院金彪, 周強(qiáng). 基于樸素貝葉斯分類(lèi)器的紙病離線(xiàn)靜態(tài)辨識(shí)方法研究[J]. 中國(guó)造紙學(xué)報(bào), 2014, 29(1): 58.

(責(zé)任編輯：馬忻)

Review on the Development of Paper Defect Detection System Based on Machine Vision Technology

ZHOU QiangCHEN Ying*SHEN Tian-yuQI Lu

(CollegeofElectricalandInformationEngineering,ShaanxiUniversityofScience&Technology,Xi’an,ShaaxiProvince, 710021)

In recent years, with widely application of wide width and high speed paper machine, papermaking process required high performance paper defect detection system; at the same time, many new solutions, technologies, theories are presented in the age with abundant information, which drives the continuous development of paper defect detection that is a multi-field integrated technologies. This article based on introducing paper defect detection process using machine vision technology as the core, reviewed the development course of the hardware model, software model and detection algorithms of paper defect detection system, analyzed the current difficulties in paper defect detection, and discussed the future development of the system.

paper defect detection; machine vision; hardware model; software model; detection algorithm

周強(qiáng)先生，博士，教授；主要研究方向：智能信息處理技術(shù)。

2015-11-27(修改稿)

陜西省科技攻關(guān)項(xiàng)目(2016GY- 005)；陜西省項(xiàng)目統(tǒng)籌創(chuàng)新工程計(jì)劃項(xiàng)目(2012KTCQ01-19)；陜西省科技攻關(guān)項(xiàng)目(2011K06- 06)；西安市未央?yún)^(qū)計(jì)劃項(xiàng)目(201304)。

陳穎女士，E-mail:947000692@qq.com。

TS736

A

10.11980/j.issn.0254- 508X.2016.05.015

(*E-mail: 947000692@qq.com)