劉冀龍,尹 崗,趙建偉
(1.內(nèi)蒙古工業(yè)大學(xué) 內(nèi)蒙古 呼和浩特 010051;2.中國礦業(yè)大學(xué)(北京)北京 100089)
基于ARM嵌入式的紡織品條干均勻度在線檢測裝置
劉冀龍1,尹 崗1,趙建偉2
(1.內(nèi)蒙古工業(yè)大學(xué) 內(nèi)蒙古 呼和浩特 010051;2.中國礦業(yè)大學(xué)(北京)北京 100089)
針對紡紗過程中手工檢測毛條直徑時間長,速度慢,精度不高等問題,設(shè)計了一種基于ARM嵌入式圖像處理技術(shù)的毛條均勻度在線檢測裝置。首先,在ARM嵌入式系統(tǒng)內(nèi)移植開源視覺庫(OpenCV),使用OpenCV作為檢測裝置的核心算法庫和數(shù)據(jù)處理庫函數(shù);其次,在預(yù)處理階段,利用分段構(gòu)造線性濾波函數(shù)替代復(fù)雜的非線性濾波函數(shù),以O(shè)penCV集成的方框濾波函數(shù)(box filter)重新構(gòu)架非線性濾波器,濾波時間只有經(jīng)典雙邊濾波器的5%;最后,利用交叉編譯器在Qt開發(fā)環(huán)境內(nèi)生成ARM-Linux環(huán)境下的可執(zhí)行程序,使用USB顯微攝像頭采集圖像,實現(xiàn)毛條直徑的在線檢測。在Crotex-A8內(nèi)核的ARM嵌入式內(nèi)進(jìn)行測試,單次檢測耗時在900 ms以內(nèi)。實驗結(jié)果表明,在線監(jiān)測裝置能夠在光照不足的條件下自適應(yīng)檢測毛條直徑,同時能夠?qū)γ珬l直徑進(jìn)行分類,人為實時在線標(biāo)定,檢測結(jié)果與手工測量誤差低于5%。
嵌入式系統(tǒng);均勻度檢測;圖像處理;非線性濾波;在線處理
在紡織業(yè)中,纖維條是紡織品的重要原料。通過加捻過程使纖維條成為單股紗線即毛條[1],紡織品紗線廣泛應(yīng)用在國民生產(chǎn)的各個領(lǐng)域,與人們的日常生活息息相關(guān)。由于在卷繞過程后毛條已經(jīng)成為卷繞的紗線,卷繞好的紗線不能被再次利用,因此在紡織工業(yè)中大多在加捻過程與卷繞過程之間對單股紗線進(jìn)行均勻度檢測[2],當(dāng)均勻度滿足紗線直徑標(biāo)準(zhǔn)時就可以進(jìn)行卷繞過程,進(jìn)而得到理想寬度的紗線。但是目前紡紗工業(yè)中主要采用人工稱量法計算毛條直徑,精度受人為影響很大,難以長期保證檢測精度,而且只能進(jìn)行離線檢測,一旦檢測到問題也會造成不必要的損失。近年來,隨著圖像處理技術(shù)和模式識別理論的發(fā)展和不斷成熟,使用圖像處理技術(shù)針對紡織品質(zhì)量進(jìn)行評價越來越受到人們的重視[3],但是針對毛條均勻度進(jìn)行在線檢測的研究還甚少。
文獻(xiàn)[4]采用黑板條干檢測法對棉紗線成品進(jìn)行檢測,利用圖像處理和電容法取代人工稱量,提升了測量精度;文獻(xiàn)[5-7]利用光學(xué)傳感器來檢測紗線的外觀質(zhì)量。對于離線檢測裝置,只需要得到毛條的直徑信息,因此檢測方法較為簡單。然而,離線檢測法速度慢,難以滿足原料較貴的檢測環(huán)境,例如羊絨紡織品的生產(chǎn)過程。另外,實際生產(chǎn)過程中操作工人希望發(fā)生問題時能得到報警提示,同時看到具體問題進(jìn)而迅速排除故障,確保生產(chǎn)的順利進(jìn)行。本文設(shè)計的基于ARM嵌入式的毛條均勻度在線檢測裝置可以顯示毛條邊緣,在線計算毛條直徑,還帶有報警和錯誤類型報告功能。經(jīng)過對不同直徑的毛條測試后證明,該裝置能夠滿足不同類型毛條的檢測過程。
在傳統(tǒng)的圖像處理裝置中,常見的光照補償法有高角度照射、低角度照射與背光照射[8],本裝置采用環(huán)形光照射[9],與高角度照射方式有相似的效果,光線直接照射被測物體,能清晰地得到對比度較高的圖像,適合表面不反光的被檢測目標(biāo)。本裝置的環(huán)形光源采用環(huán)形LED等安置在顯微鏡頭口上,在檢測毛條均勻度的同時提供穩(wěn)定的光照補償。
在文獻(xiàn)[4]中周絢麗等采用黑板條干檢測法增強檢測目標(biāo)與背景的對比度,同時也保證了圖像背景的單一化,使處理過程不必考慮圖像背景的變化,極大地提高處理速度。本裝置也采用背景不變法,讓條狀毛條處于背景上方位置,使用攝像頭對其直接拍攝。
當(dāng)攝像頭采集回圖像之后需要對原始圖像進(jìn)行處理,針對ARM嵌入式存儲空間小,CPU主頻較低的特點,選擇算法優(yōu)化較為成熟,能夠跨平臺交叉編譯的開源視覺庫Open Source Computer Vision Library(OpenCV)作為核心[10]。整體算法流程圖如圖1所示。
圖1 毛條均勻度算法流程圖
本裝置采用高速USB2.0接口的工業(yè)相機外接顯微鏡頭對圖像進(jìn)行采集,為了充分發(fā)揮USB接口即插即用的特點,采用Linux內(nèi)核中集成的Video for Linux2(V4L2)接口傳輸圖像[11]。 利用 V4L2接口讀取到原始圖像之后需要對原始圖像進(jìn)行預(yù)處理,目的是為了得到更加清晰的邊緣,便于之后的邊緣檢測與直徑計算。在毛條均勻度檢測過程中,毛條的邊緣必須清晰,同時盡可能避免邊緣毛羽和內(nèi)部疵點的影響,只有選取專用的濾波器對原始圖進(jìn)行濾波,才能得到準(zhǔn)確的邊緣信息。濾波方法分為線性濾波與非線性濾波[12],為了得到良好的邊緣與排除內(nèi)部疵點,文獻(xiàn)[12-13]采用中值濾波降低圖像的椒鹽噪聲,同時平滑邊緣;文獻(xiàn)[14-15]采用雙邊濾波消除圖像內(nèi)部的疵點,對圖像整體模糊化的同時很好的保護(hù)了邊緣。經(jīng)試驗可得,雙邊濾波與中值濾波組合使用能夠極大地減少噪聲干擾,將雙邊濾波加中值濾波器對四種顏色毛條原始圖進(jìn)行濾波后如圖2所示。
圖2 雙邊濾波與中值濾波組合效果圖
常規(guī)的雙邊濾波與中值濾波結(jié)合法雖然能起到很好的濾波效果,但是并不適合應(yīng)用到ARM嵌入式系統(tǒng)中,因為大部分低功耗ARM中并不具有浮點數(shù)運算能力,而雙邊濾波與中值濾波都是非線性濾波法,適合在有浮點數(shù)功能的平臺上運行,不同分辨率圖像采用雙邊濾波在Crotex-A8 1GHz主頻的ARM上運行時間如表1所示。
從上表可以看出雙邊濾波的用時與圖像分辨率有密切關(guān)系,在文獻(xiàn)[16]中詳細(xì)推導(dǎo)了雙邊濾波的數(shù)學(xué)論證過程,總結(jié)后得到傳統(tǒng)雙邊濾波在時間上的復(fù)雜度為O(Nr2),參數(shù)N為圖像分辨率,r為雙邊濾波器內(nèi)核半徑,表1的結(jié)果與文獻(xiàn)[16]中的結(jié)論接近,因此傳統(tǒng)的雙邊濾波法不適合在ARM嵌入式系統(tǒng)中使用。針對傳統(tǒng)雙邊濾波法耗時過長的缺點,文獻(xiàn)[17]提出將像素值設(shè)為第三維變量,把整個系統(tǒng)放入空間-顏色離散網(wǎng)格,將雙邊濾波視為三維空間的濾波,采用并行運算進(jìn)行逐步逼近極大地提升了計算能力;文獻(xiàn)[16]提出基于直方圖統(tǒng)計的算法,時間復(fù)雜度被降低至O(N)。但這些方法為達(dá)到較高的處理速度都要經(jīng)過一個高度量化的過程,通常都會降低濾波的質(zhì)量,并不適合應(yīng)用在嵌入式系統(tǒng)上,必須采用能將非線性濾波變?yōu)榫€性濾波的濾波方法。
表1 不同分辨率原始圖雙邊濾波法耗時對比
導(dǎo)引濾波[18]是He KM針對暗像元去霧算法耗時過長而提出的非線性濾波算法,自2010年提出之后廣泛應(yīng)用于圖像去霧領(lǐng)域,在實現(xiàn)平滑濾波的同時,還能較好的保持邊緣不受影響,最重要的是其時間復(fù)雜度只有O(N),且執(zhí)行速度與濾波窗口的尺寸無關(guān),相比采用雙邊濾波估計照度分量效率更高。本裝置將導(dǎo)引濾波和中值濾波結(jié)合使用,對原圖進(jìn)行預(yù)處理。
傳統(tǒng)的導(dǎo)引濾波法大多應(yīng)用在PC仿真平臺上例如Matlab工具箱軟件,在嵌入式上還沒有成熟的算法庫,本裝置利用開源視覺平臺Opencv中的方框濾波器(box filter)作為工具編寫C++代碼實現(xiàn)的方框濾波函數(shù),并針對嵌入式平臺無浮點數(shù)功能進(jìn)行整體優(yōu)化,進(jìn)一步提高運行速度。
對于嵌入式平臺,可以從原始圖的像素尺寸入手進(jìn)一步降低導(dǎo)引濾波的用時,正如文獻(xiàn)[18]中證明的,導(dǎo)引濾波的時間復(fù)雜度只有O(N),即只與像素大小有關(guān),因此可以把源圖先進(jìn)行差值縮小進(jìn)行濾波,濾波之后再插值放大做邊緣提取,可以節(jié)省更多的時間,但對于本嵌入式平臺處理速度已經(jīng)足夠,不需要再進(jìn)行縮小放大了。圖3是原始圖導(dǎo)引濾波效果圖。
導(dǎo)引濾波在Crotex-A8 1GHz主頻的ARM上運行時間如表2所示。
圖3 源圖導(dǎo)引濾波效果圖
表2 不同像素大小毛條圖像導(dǎo)引濾波耗時對比
經(jīng)過實際測試可得結(jié)論:在嵌入式上用C++編寫導(dǎo)引濾波函數(shù)可以實現(xiàn)毛條原始圖的快速濾波,再結(jié)合中值濾波后可以起到保護(hù)邊緣又消除內(nèi)部疵點的效果;適當(dāng)降低源圖分辨率再進(jìn)行濾波可以把處理時間減少一半,但是不能把源圖分辨率降得過低,因為復(fù)原過程采用的插值計算也會模糊邊緣[19]。
毛條原始圖經(jīng)過預(yù)處理之后就可以進(jìn)行邊緣提取,常見的邊緣提取方法有邊緣算子法與形態(tài)學(xué)處理法,其中邊緣算子法較為簡單,運算數(shù)據(jù)量較低,適合在嵌入式平臺使用,因此本文采用邊緣提取效果較好的Canny邊緣算子提取邊緣。
為了得到更加準(zhǔn)確的邊緣,避免周邊環(huán)境光照突變干擾毛條的檢測,在提取邊緣之前先采用閾值分割提取出整個毛條的二值化圖像,相當(dāng)于簡化處理內(nèi)容,提高邊緣提取的準(zhǔn)確度和速度,降低由于噪聲和光線變化引起的錯誤邊緣提取。不同二值化方法應(yīng)用在紡織品紗線上的處理效果不同,其中效果最好的方法是最大類間方差法(Otsu)。Otsu是一種能夠自適應(yīng)分割圖像的二值化計算方法,能在不同光照強度的環(huán)境下使用,被認(rèn)為是圖像閾值分割的最佳算法,時間復(fù)雜度低,受亮度和對比度影響小,結(jié)果穩(wěn)定。非常適合應(yīng)用在本裝置中。
圖4 4種顏色毛條的Canny邊緣圖
為了計算條干均勻度,必須提取左右兩個邊緣的特征點坐標(biāo),對于毛條圖像特征坐標(biāo)就是邊緣坐標(biāo),因此可以使用Canny邊緣算子對二值圖直接提取邊緣坐標(biāo),圖4是圖3進(jìn)一步進(jìn)行Canny邊緣提取之后的效果圖。
提取到邊緣坐標(biāo)之后,采用分段直線擬合法對條干左右邊緣進(jìn)行擬合,經(jīng)過預(yù)處理之后的毛條圖像素數(shù)為320*281,即y軸方向的縱坐標(biāo)共有281個,將281個縱坐標(biāo)分成3段,分別為93,93,95個像素點,首先針對每段左右邊緣各提取20個特征點坐標(biāo),對這20個坐標(biāo)進(jìn)行排序后計算中值,這樣處理得到的中值就是每部分邊緣線條的x坐標(biāo),利用計算后得到的的k與b參數(shù)構(gòu)造邊緣的函數(shù)表達(dá)式,再把每段的20個邊緣坐標(biāo)代入計算,即可得到20個邊緣坐標(biāo),而右邊緣減左邊緣的差值就是毛條的直徑。每段直徑像素值如表3所示。
表3 毛條直徑統(tǒng)計表
得到直徑的像素值之后就可以利用標(biāo)準(zhǔn)直徑毛條進(jìn)行直徑標(biāo)定,讓像素值除以某個標(biāo)定系數(shù)得到毛條直徑真實值,本裝置利用Qt Creator交叉編譯開發(fā)環(huán)境設(shè)計了上位顯示界面,將核心算法封裝在上位界面內(nèi),使得所有操作都在上位界面上進(jìn)行,方便快捷。嵌入式顯示界面如圖5所示。
圖5 嵌入式顯示界面
如圖5所示,上位界面具有處理時間顯示、直徑像素值顯示、直徑真實值顯示、在線標(biāo)定和錯誤類型顯示功能,還能隨意切換原始圖像與邊緣提取圖像,操作簡單,便于操作工人使用。
本裝置采用圖像處理技術(shù)測量羊絨毛條直徑,將OpenCV作為視覺算法核心,針對嵌入式設(shè)備不帶浮點數(shù)功能的限制,編寫了嵌入式設(shè)備能夠使用的高速非線性濾波方法,使在線檢測毛條直徑成為可能,同時設(shè)計了錯誤類型判斷和超量報警功能,基本滿足了羊絨毛條的在線檢測要求。實驗表明,本裝置能夠在500 ms內(nèi)準(zhǔn)確識別出不同直徑的毛條,并進(jìn)行人工在線標(biāo)定,可以在一定程度上替代人工稱量法,提高生產(chǎn)效率,減少資源浪費,具有一定的工程應(yīng)用價值。
[1]王霞.羊絨針織產(chǎn)品單件質(zhì)量影響因素及控制方法[J].針織工業(yè),2014(6):20-22.
[2]孫致陸,王貝貝,肖海峰.農(nóng)牧戶羊絨生產(chǎn)技術(shù)效率及其影響因素研究—基于農(nóng)牧戶調(diào)查數(shù)據(jù)的分析[J].中國農(nóng)業(yè)大學(xué)學(xué)報,2014(3):243-249.
[3]馬輝.計算機圖像處理技術(shù)在紗線性能測試中的應(yīng)用[J].輕紡工業(yè)與技術(shù),2015(6):71-75.
[4]代亞萍.短纖紗新型電容式條干檢測法與目光檢驗法對比研究[D].上海:東華大學(xué),2015.
[5]Wang Rong-wu,Zhou Jin-feng,Yu Ling-jie,et al.Fusing multifocus images for yarn hairiness measurement[J].Optical Engineering,2014,53(12):37-37.
[6]D Priya,VM Rajaselvi.Estimation of yarn hairiness using image processing[J].Geochemistry Geophysics Geosystems,2014,15(7):2821-2839.
[7]M Eldessouki,S Ibrahim,J Militky.A dynamic and robust image processing based method for measuring the yarn diameter and its variation[J].Textile Research Journal,2014,84(18):1948-1960.
[8]涂文驍.基于機器視覺的生絲均勻度動態(tài)檢測系統(tǒng)[D].蘇州:蘇州大學(xué),2014.
[9]王義文,焦環(huán)宇,劉獻(xiàn)禮,等.絕對式編碼器輸出信號的誤差自動補償[J].光電工程,2015(1):14-20.
[10]OpenCV官方手冊 [EB/OL].[2016-05-11].http://opencv.org/.
[11]幕鑫.嵌入式人臉識別系統(tǒng)的研究與應(yīng)用[D].無錫:江南大學(xué),2013.
[12]馬輝.計算機圖像處理技術(shù)在紗線性能測試中的應(yīng)用[J].輕紡工業(yè)與技術(shù),2015(6):71-75.
[13]趙立陽.基于數(shù)字圖像處理技術(shù)的智能紗線檢測系統(tǒng)的開發(fā)與應(yīng)用[D].長春:吉林大學(xué),2014.
[14]程杰.基于激光掃描的織物表面模型構(gòu)建與結(jié)構(gòu)參數(shù)測量方法研究[D].天津:天津工業(yè)大學(xué),2015.[15]張敬.多源圖像超分辨率重建研究[D].合肥:中國科學(xué)技術(shù)大學(xué),2015.
[16]Inessa Gracheva,Andrey Kopylov,Olga Krasotkina.Fast global image denoising algorithm on the basis of nonstationary gamma-normal statis-tical model[C]//Analysis of Images,Social Networks and Texts:Springer International Publi-shing,2015(9):71-82.
[17]Dimitrios T,Luca B,Abhilash Srikantha,et al.Capturing hands in action using discriminative salient points and physics simulation[C].International Journal of Computer Vision(IJCV),2016(6):172-193.
[18]谷雨,劉晶紅,孫明超,等.基于分形特征和導(dǎo)引濾波的可見光與紅外圖像融合算法[J].光電工程,2015(4):62-67.
[19]張寶峰,王明躍,朱均超.一種零件圖像亞像素邊緣檢測算法[J].計算機仿真,2014(2):68-76.
Line inspection device for yarn evenness based on embedded system
LIU Ji-long1,YIN Gang1,ZHAO Jian-wei2
(1.Inner Mongolia University of Technology,Hohhot 010051,China;2.China University of Mining&Technology (Beijing),Beijing 100089,China)
The traditional yarn`s diameter inspection process has characteristics of inflexible,long delay,and low accuracy.In order to solve those problems,a yarn inspection instrument based on digital image processing techniques was designed.Firstly,an open source computer vision was transplanted into ARM embedded system,which as the core algorithm library and data processing library.Secondly,in the image pre-processing stage,a method of segment linear filter was given.Using the box filter to rebuild a new non-linear filter to replace the traditional filter method,and the time spent of new was about half of old.Finally,the instrument used microscopic camera to photo picture in the ARM-Linux embedded equipment.The simulation results show that this equipment can automatic work in the different environment,and classify a diversity of yarn efficiently.The average measured accuracy was within 5 percent in the time of 900 ms.
embedded system; evenness detection; digital image processing;non-linear filter; online processing
TP391.4
B
1674-6236(2017)17-0093-04
2016-08-03稿件編號:201608022
劉冀龍(1991—),男,河北石家莊人,碩士研究生。研究方向:機器人視覺處理、嵌入式軟件開發(fā)。