橫濾嘴棒自動剔除和圖像識別預(yù)警方法

廖宇，陳琳，何攀，劉文婷，黃家興，伍芬儒，李冉

橫濾嘴棒自動剔除和圖像識別預(yù)警方法

廖宇1，陳琳1，何攀2，劉文婷1，黃家興3，伍芬儒2，李冉1

（1.湖北中煙工業(yè)有限責(zé)任公司，武漢 430030；2.武漢虹之彩包裝印刷有限公司，武漢 430040；3.華中師范大學(xué)，武漢 430079）

基于圖像識別和結(jié)構(gòu)改進(jìn)對嘴棒發(fā)射機(jī)運行中產(chǎn)生的橫濾嘴棒進(jìn)行智能剔除、識別和預(yù)警，以提高生產(chǎn)效率。采集濾嘴棒側(cè)面運輸圖像，對異常圖像進(jìn)行追蹤，從中提取異常濾嘴棒特征點，基于圖像生成警示信息，同時對濾嘴棒發(fā)射機(jī)輸送軌道背板進(jìn)行結(jié)構(gòu)優(yōu)化，能剔除大部分橫濾嘴棒。改進(jìn)后的模擬樣機(jī)，經(jīng)過輸送軌道背板的橫濾嘴棒的剔除率高達(dá)約77%，其余異常橫濾嘴棒被及時預(yù)警，嘴棒發(fā)射機(jī)的管道卡堵概率降低約60%，設(shè)備運行效率顯著提高。圖像識別和結(jié)構(gòu)改進(jìn)能有效識別預(yù)警和剔除嘴棒發(fā)射機(jī)運行中產(chǎn)生的橫濾嘴棒。

濾嘴棒；圖像識別；結(jié)構(gòu)優(yōu)化；預(yù)警系統(tǒng)

濾嘴棒是煙支上用來與卷煙相接的必不可少的部件之一，在濾嘴棒的生產(chǎn)加工過程中，大量的濾嘴棒會從卸槽機(jī)整齊的堆積排列至輸送軌道上，經(jīng)輸送軌道運輸至嘴棒發(fā)射機(jī)[1-3]。卸槽機(jī)在卸盤以及濾嘴棒在輸送軌道上輸送時，不可避免地會存在個別濾嘴棒發(fā)生偏移，形成橫濾嘴棒，而這些橫濾嘴棒若輸送至嘴棒發(fā)射機(jī)處，可能會導(dǎo)致管道堵塞，影響生產(chǎn)效率。目前商用濾嘴棒發(fā)射機(jī)運行速度快，最大發(fā)射速率約為15 000根/min。橫濾嘴棒堵塞管道造成頻發(fā)停機(jī)，需要人工疏通管道后才能再啟動設(shè)備，嚴(yán)重影響各卷煙廠的生產(chǎn)效率，而且人工剔除橫濾嘴棒、疏通管道的過程中大量濾嘴棒掉落至地上造成浪費，頻發(fā)停機(jī)和重啟設(shè)備也加快了設(shè)備磨損老化。操作人員需要時刻觀察擋板與濾嘴棒之間是否存在橫濾嘴棒，大大增加了操作人員的工作量，且長時間枯燥的觀察下，工作人員的注意力會下降，導(dǎo)致橫濾嘴棒處理不及時。嘴棒發(fā)射機(jī)缺乏自動剔除橫濾嘴棒和橫濾嘴棒預(yù)警系統(tǒng)，這降低了生產(chǎn)效率，增加了機(jī)臺操作人員的工作量，長期高頻停機(jī)重啟設(shè)備加快了機(jī)器的磨損老化。

圖像識別已經(jīng)廣泛應(yīng)用于生產(chǎn)環(huán)節(jié)，利用相機(jī)模擬人眼完成對客觀事物的觀察和判斷，圖像識別的應(yīng)用大幅度提高了生產(chǎn)效率、生產(chǎn)智能化程度[4]。文中利用圖像識別技術(shù)[5-6]，提出一種改進(jìn)嘴棒發(fā)射機(jī)運行速度，減少操作人員工作量，提高生產(chǎn)效率的方法。

1 背板結(jié)構(gòu)優(yōu)化

1.1 背景介紹

現(xiàn)有嘴棒發(fā)射機(jī)是通過一個背板和輸送軌道與卸槽機(jī)連接為一體的。設(shè)備正面都是鋼化透明塑料，便于操作人員及時發(fā)現(xiàn)并剔除橫濾嘴棒，但是設(shè)備的背板都是鋼材質(zhì)，夾在背板與濾嘴棒之間的橫濾嘴棒無法被觀察到，需要操作人員檢查并手動剔除才能確保沒有橫濾嘴棒，見圖1。圖1a是操作人員檢查濾嘴棒與背板之間是否夾有橫濾嘴棒，圖1b圓圈標(biāo)注的是發(fā)現(xiàn)的具有一定形狀凸起的成片濾嘴棒，圖1c是撥開圖1b凸起位置濾嘴棒后發(fā)現(xiàn)的橫濾嘴棒。手動檢查和剔除橫濾嘴棒給機(jī)臺操作人員帶來了相當(dāng)大的工作量。

連接嘴棒發(fā)射機(jī)和卸槽機(jī)的輸送軌道的正面是可以開啟的鋼化透明塑料板，見圖2a。正面夾在濾嘴棒和透明板之間的橫濾嘴棒清晰可見，由于摩擦力的作用，橫濾嘴棒不能輕易掉落，開啟透明擋板后見圖2b，橫濾嘴棒在重力作用下自動掉落，因此，正面的橫濾嘴棒可以自動掉落，部分不能自行掉落的橫濾嘴棒，操作人員也容易觀察到并及時剔除，但是濾嘴棒與背板之間被夾住的橫濾嘴棒不容易被察覺，也很難在重力作用下自行掉落，濾嘴棒與背板之間的結(jié)構(gòu)見圖2c，傳輸帶與背板之間有縫隙，但濾嘴棒與背板之間沒有縫隙，因此濾嘴棒與背板之間被夾住的橫濾嘴棒難以掉落。

圖1 人工檢查并剔除橫濾嘴棒

圖2 濾嘴棒經(jīng)過傳輸帶示意圖

1.2 背板結(jié)構(gòu)改進(jìn)

由于背板和濾嘴棒之間的橫濾嘴棒被夾住不易掉落，且不易被觀察到。為此在連接嘴棒發(fā)射機(jī)和卸槽機(jī)的背板上預(yù)留一個開口，便于被夾住的橫濾嘴棒經(jīng)過開口時因失去背板和嘴棒的擠壓摩擦力而自動掉落，其示意圖見圖3a。開口的長寬為15 cm×15 cm，大于濾嘴棒的長度?？紤]到存在部分濾嘴棒排列不齊而出現(xiàn)圖3b濾嘴棒“搭橋”的情況，為此在背板開口處設(shè)置導(dǎo)流板，導(dǎo)流板與背板的夾角為30°，見圖3c，排列不齊的濾嘴棒經(jīng)過背板開口時，導(dǎo)流板重新將濾嘴棒規(guī)整見圖3d。如此，大部分橫濾嘴棒經(jīng)過帶有導(dǎo)流板的開口處自行掉落，大大減少了通往嘴棒發(fā)射機(jī)的橫濾嘴棒。

2 圖像識別算法

為了及時剔除嘴棒發(fā)射機(jī)管道口前的橫濾嘴棒，以實現(xiàn)更高的卷煙生產(chǎn)效率，需要對橫濾嘴棒進(jìn)行高效準(zhǔn)確地識別。橫嘴棒在形態(tài)上相較于正常嘴棒存在差異，通過在透明導(dǎo)流板上設(shè)置高速攝像探頭，可以捕捉嘴棒發(fā)射機(jī)管道內(nèi)的實時圖像，通過對該圖像進(jìn)行處理，識別圖像中的橫嘴棒的直線邊緣可以實現(xiàn)對橫濾嘴棒的自動識別。其具體操作流程見圖4。操作步驟可以簡要描述：首先通過高速攝像機(jī)獲取嘴棒圖像，隨后將嘴棒圖像轉(zhuǎn)換為灰度圖，并進(jìn)行去噪處理，對得到的嘴棒灰度圖進(jìn)行分割與邊緣檢測操作，并進(jìn)行霍夫直線檢測以確定圖像中是否存在橫濾嘴棒[7]。

2.1 圖像去噪

嘴棒圖像在成像過程中可能受到隨機(jī)信號的干擾，進(jìn)而影響對橫濾嘴棒識別的精度，因此，在進(jìn)行橫濾嘴棒識別的過程中，首先需要對圖像進(jìn)行去噪處理，以降低圖像噪聲對橫濾嘴棒識別精度的影響。傳統(tǒng)的圖像去噪算法主要在空間域進(jìn)行操作，直接對原圖像進(jìn)行處理以獲取每個像素的灰度值[8-9]。這種去噪方式具有方法簡單、處理效率高等優(yōu)點，適用于對橫濾嘴棒的快速識別。文中采用算術(shù)中值濾波器進(jìn)行嘴棒圖像去噪處理，具體公式見式（1）。

將去噪后的嘴棒圖像轉(zhuǎn)換為灰度圖像，轉(zhuǎn)換公式見式（2）。

式中：為轉(zhuǎn)換后的灰度圖像中像素坐標(biāo)（,）處的像素點的灰度值[14-15]；R、G和B分別為去噪后的嘴棒圖像在、和3個顏色通道上的像素值。各色彩通道權(quán)重采用標(biāo)準(zhǔn)化參數(shù)。

實驗效果見圖5，圖5a為原始嘴棒圖像，圖5b展示的是去噪后的嘴棒圖像，圖5c展示的則是嘴棒灰度圖。

圖3 背板改進(jìn)的示意圖

圖4 橫濾嘴棒圖像處理流程

圖5 濾嘴棒去噪實驗示意圖

2.2 圖像分割

針對去噪后的嘴棒灰度圖像，首先需要對圖像進(jìn)行分割。傳統(tǒng)的圖像分割方法按照閾值選擇方式的不同，可以分為2種：確定閾值的圖像分割方法與自適應(yīng)圖像分割方法。前者將圖像中像素值大于某一閾值的點歸為一類，小于某一閾值的點歸為另一類，進(jìn)而得到圖像分割結(jié)果。后者則自動確定閾值進(jìn)行圖像分割。文中采用自適應(yīng)閾值圖像分割算法OSTU進(jìn)行圖像分割。

OSTU算法根據(jù)圖像的最大類間方差對圖像進(jìn)行分割，其類間方差定義公式見式（3）。

式中：0為圖像中灰度值小于閾值的所有像素的平均值；0為這部分像素在整個圖像中占據(jù)的比例；1為圖像中灰度值大于閾值的所有像素的平均值；1為這部分像素在整個圖像中占據(jù)的比例；為圖像的平均灰度值。

通過最大化類間方差值，可以計算得到自適應(yīng)閾值，對嘴棒圖像進(jìn)行分割。嘴棒圖像分割結(jié)果見圖6。

2.3 邊緣檢測

圖像邊緣是圖像灰度在空間中發(fā)生突變的像素集合，對分割后的嘴棒圖像進(jìn)行邊緣檢測，可以獲取圖像的結(jié)構(gòu)特征。當(dāng)前常用的圖像邊緣檢測算子通常屬于一階微分算子和二階微分算子，主要包括Canny算子、Roberts算子、Sobel算子和Laplace算子等。考慮到Sobel算子相較于其他邊緣檢測算子而言提取的邊緣更為明顯，文中采用Sobel算子進(jìn)行嘴棒圖像邊緣檢測。

Sobel算子是prewitt算子的改進(jìn)方法，需要分別計算方向與方向的方向梯度，其卷積模板為：

將以上模板與分割后的嘴棒圖像作平面卷積，以檢測圖像中的邊緣區(qū)域。嘴棒邊緣檢測結(jié)果見圖6。

2.4 霍夫直線檢測

霍夫變換是圖像處理領(lǐng)域檢測物體幾何形狀的基本方法之一，通常被用于檢測圖像中是否存在 直線，因此可以被應(yīng)用于檢測嘴棒圖像中的橫濾嘴棒[16]?；舴蜃儞Q的實質(zhì)是2個坐標(biāo)空間之間的變換，在實際應(yīng)用中，考慮到直角坐標(biāo)系在平行于軸方向的直線斜率為無窮大，因此通常采用極坐標(biāo)作為參數(shù)空間進(jìn)行變換[17]。

3 實驗結(jié)果與分析

將嘴棒圖像中的所有像素點轉(zhuǎn)換為參數(shù)空間中的曲線，通過計算參數(shù)空間中曲線的交點即可確定嘴棒圖像中的直線[20]?；舴蛑本€檢測結(jié)果見圖7。圖7中直線表示利用霍夫直線檢測標(biāo)記出的直線區(qū)域，其中兩兩平行的直線表示檢測得到的橫濾嘴棒。橫濾嘴棒為規(guī)則的圓柱體，因此利用霍夫直線檢測到橫濾嘴棒時，通常會得到2條規(guī)則的平行直線，即可判斷為橫濾嘴棒。這避免了因圖中識別到設(shè)備上其他部件的單條直線特征而發(fā)生錯誤判斷。另外，通過模擬樣機(jī)與現(xiàn)有常規(guī)嘴棒發(fā)射機(jī)進(jìn)行對比實驗，統(tǒng)計設(shè)備運行時，濾嘴棒輸送導(dǎo)軌出現(xiàn)橫濾嘴棒的次數(shù)和模擬樣機(jī)背板剔除的橫濾嘴棒數(shù)量，以及統(tǒng)計常規(guī)嘴棒發(fā)射機(jī)出現(xiàn)卡堵管道的次數(shù)，統(tǒng)計設(shè)備運行速度（1 000根/min）5 h的數(shù)據(jù)進(jìn)行對比。常規(guī)嘴棒發(fā)射機(jī)以1 000根/min的發(fā)射速率運行5 h背板出現(xiàn)橫濾嘴棒的平均次數(shù)為62，管道卡堵的平均次數(shù)為15。模擬樣機(jī)以相同的嘴棒發(fā)射速率，運行5 h后通過改進(jìn)后的背板，有48根橫濾嘴棒被剔除，只發(fā)生了9次管道卡堵。由以上可知，改進(jìn)后的模擬樣機(jī)，經(jīng)過輸送軌道背板的橫濾嘴棒的剔除率高達(dá)約77%，其余異常橫濾嘴棒被及時預(yù)警，嘴棒發(fā)射機(jī)的管道卡堵概率降低約60%，設(shè)備運行效率顯著提高。

圖7 嘴棒圖像霍夫直線檢測結(jié)果

4 結(jié)語

文中以橫濾嘴棒為研究對象，通過結(jié)構(gòu)改進(jìn)和圖像識別技術(shù)，能有效自動去除橫濾嘴棒，同時對部分被夾住的橫濾嘴棒進(jìn)行圖像識別預(yù)警，便于操作人員及時處理，防止嘴棒發(fā)射機(jī)堵塞管道，大幅度提高了嘴棒發(fā)射機(jī)的工作效率。結(jié)果表明，研究設(shè)計的結(jié)構(gòu)改進(jìn)和基于霍夫直線檢測的圖像識別技術(shù)應(yīng)用，在卷煙嘴棒發(fā)射機(jī)上的應(yīng)用能有效去除橫濾嘴棒和識別預(yù)警，具有一定的借鑒意義。

[1] 堵德華. YF171型濾棒儲存輸送裝置技術(shù)參數(shù)的設(shè)計[J]. 煙草科技, 2005, 38(8): 16-18.

DU De-hua. Design of Technological Parameters of Filter Rod Reservoir and Conveyor System YF171[J]. Tobacco Science & Technology, 2005, 38(8): 16-18.

[2] 王京林. 青島卷煙廠咀棒自動化立體庫系統(tǒng)項目可行性研究[D]. 青島: 中國海洋大學(xué), 2008: 14-20.

WANG Jing-lin. Research on the Feasibility of China Tobacco Shandong Industrial Corporation Qingdao Cigarette Factory Filter Automatic Warehouse System Project[D]. Qingdao: Ocean University of China, 2008: 14-20.

[3] 史曉. YJ24接裝機(jī)加膠嘴棒掉嘴分析與調(diào)整[J]. 科技與企業(yè), 2013(18): 276.

SHI Xiao. Analysis and Adjustment of Glue Nozzle Drop in YJ24 Connector[J]. Science-Technology Enterprise, 2013(18): 276.

[4] 李蓉娟. 包裝物料形狀特征提取和識別方法[J]. 包裝工程, 2020, 41(5): 209-213.

LI Rong-juan. Method of Shape Feature Extraction and Recognition of Packaging Materials[J]. Packaging Engineering, 2020, 41(5): 209-213.

[5] 劉俊琪. 基于圖像識別的鋁塑包裝材料邊緣檢測[J]. 包裝工程, 2017, 38(13): 154-158.

LIU Jun-qi. Edge Detection of Aluminum-Plastic Packaging Materials Based on Image Recognition[J]. Packaging Engineering, 2017, 38(13): 154-158.

[6] 張廣云. 基于機(jī)器視覺的藥物自動識別技術(shù)[J]. 包裝工程, 2019, 40(15): 206-213.

ZHANG Guang-yun. Automatic Drug Recognition Technology Based on Machine Vision[J]. Packaging Engineering, 2019, 40(15): 206-213.

[7] 王穎, 王鵬飛, 楊余旺. 基于圖像分割的目標(biāo)尺寸特征測量[J]. 計算機(jī)技術(shù)與發(fā)展, 2018, 28(2): 191-195.

WANG Ying, WANG Peng-fei, YANG Yu-wang. Object Dimension Feature Measurement Based on Image Segmentation[J]. Computer Technology and Development, 2018, 28(2): 191-195.

[8] 孫勇, 肖勇, 方彥軍. 基于改進(jìn)自適應(yīng)閾值法的指針儀表圖像預(yù)處理[J]. 自動化與儀表, 2014, 29(9): 5-9.

SUN Yong, XIAO Yong, FANG Yan-jun. Analog Meter Image Preprocessing Based on Improved Adaptive Threshold Algorithm[J]. Automation & Instrumentation, 2014, 29(9): 5-9.

[9] 孫仕柏, 張勇. 基于交通視頻的背景建模方法[J]. 上海船舶運輸科學(xué)研究所學(xué)報, 2016, 39(1): 69-72.

SUN Shi-bai, ZHANG Yong. Research on Background Modeling of Traffic Video Image[J]. Journal of Shanghai Ship and Shipping Research Institute, 2016, 39(1): 69-72.

[10] 尤衛(wèi)衛(wèi). 機(jī)器人分揀作業(yè)中工件識別實用技術(shù)的研究與實現(xiàn)[D]. 南京: 東南大學(xué), 2016: 15-21.

YOU Wei-wei. The Research and Development of Workpiece Detection in Robort Sorting System[D]. Nanjing: Southeast University, 2016: 15-21.

[11] 胡鋇. 基于神經(jīng)網(wǎng)絡(luò)的導(dǎo)航用非標(biāo)準(zhǔn)DM碼的定位與識別[D]. 鄭州: 鄭州大學(xué), 2019: 32-36.

HU Bei. Location and Recognition of Non-Standard DM Codes for Navigation Based on Neural Network[D]. Zhengzhou: Zhengzhou University, 2019: 32-36.

[12] 郭俊俏. 基于改進(jìn)的LBP和PHOG特征的人臉表情識別方法研究[D]. 哈爾濱: 哈爾濱工程大學(xué), 2017: 6-15.

GUO Jun-qiao. Facial Expression Recognition Based on Improved LBP and PHOG Feature[D]. Harbin: Harbin Engineering University, 2017: 6-15.

[13] 郭偉, 董宏亮, 趙德冀. 基于截斷奇異值低秩矩陣恢復(fù)的Canny邊緣檢測算法[J]. 計算機(jī)工程與科學(xué), 2018, 40(9): 1670-1678.

GUO Wei, DONG Hong-liang, ZHAO De-ji. A Canny Edge Detection Algorithm Based on Truncated Singular Value Low-Rank Matrix Recovery[J]. Computer Engineering & Science, 2018, 40(9): 1670-1678.

[14] 王琳. 基于雙目立體視覺技術(shù)的橋梁裂縫測量系統(tǒng)研究[D]. 上海: 上海交通大學(xué), 2015: 25-31.

WANG Lin. Bridge Crack Measurement System Based on Binocular Stereo Vision[D]. Shanghai: Shanghai Jiao Tong University, 2015: 25-31.

[15] 梁昌, 韓良. 基于Matlab的轉(zhuǎn)向軸承珠碗的檢測技術(shù)研究[J]. 內(nèi)燃機(jī)與配件, 2019(1): 52-55.

LIANG Chang, HAN Liang. Research on Detection for Steering Bearing Bead Bowl Based on Matlab[J]. Internal Combustion Engine & Parts, 2019(1): 52-55.

[16] 耿蓓, 陳濤, 高尚兵. 基于車道線的車輛種類劃分方法[J]. 電腦知識與技術(shù), 2019, 15(10): 230-234.

GENG Bei, CHEN Tao, GAO Shang-bing. Vehicle Classification Algorithm Based on Lane Line[J]. Computer Knowledge and Technology, 2019, 15(10): 230-234.

[17] 張吉玲. 基于Hough變換檢測直線的研究[J]. 福建電腦, 2009, 25(4): 89-90.

ZHANG Ji-ling. Research on Line Detection Based on Hough Transform[J]. Fujian Computer, 2009, 25(4): 89-90.

[18] 唐陽山, 李棟梁, 朱停仃, 等. 基于canny和霍夫變換的車道線識別算法研究[J]. 汽車實用技術(shù), 2017(22): 81-83.

TANG Yang-shan, LI Dong-liang, ZHU Ting-ding, et al. Lane Line Recognition Algorithm Based on Hough Transform and Canny[J]. Automobile Applied Technology, 2017(22): 81-83.

[19] 胡仁偉, 張希仁, 楊立峰, 等. 基于傅里葉變換和Hough變換的商標(biāo)圖案傾斜校正[J]. 輕工機(jī)械, 2018, 36(1): 62-65.

HU Ren-wei, ZHANG Xi-ren, YANG Li-feng, et al. Trademark Pattern Tilt Correction Based on Fourier and Hough Transform[J]. Light Industry Machinery, 2018, 36(1): 62-65.

[20] 吳夢怡, 何家溢, 王翾. 一種基于Hough變換的遠(yuǎn)紅外圖像座椅定位方法[J]. 現(xiàn)代電影技術(shù), 2017(7): 12-18.

WU Meng-yi, HE Jia-yi, WANG Xuan. A Chair Positioning Method Based on Hough Transform in Far Infrared Image[J]. Advanced Motion Picture Technology, 2017(7): 12-18.

Automatic Removal of Transverse Filter Tip and Early Warning Method of Image Recognition

LIAO Yu1, CHEN Lin1, HE Pan2, LIU Wen-ting1, HUANG Jia-xing3, WU Fen-ru2,LI Ran1

(1. China Tobacco Hubei Industrial Co., Ltd., Wuhan 430030, China; 2. Wuhan Hanchang Paper Products Co., Ltd., Wuhan 430040, China; 3. Central China Normal University, Wuhan 430040, China)

The work aims to carry out intelligent elimination, identification and early warning of the transverse filter tipproduced during the operation of a transmitter to improve the efficiency of the production based on image recognition and structure improvement. The lateral transport images of filter rods were collected, and the abnormal images were tracked, from which the feature points of abnormal filter rods were extracted, and the warning information was generated based on the images. At the same time, the structure optimization of the backplane of the transmission track of the filter rods transmitter was carried out to eliminate most of the transverse filter tips. In the improved simulation prototype, the rejection rate of the transverse filter tip was as high as 77% when the transverse filter tip was transported to the conveying track backplane, and the other abnormal transverse filter tip was immediately warned. The blockage probability of the nozzle transmitter pipeline was reduced by about 60%, and the operating efficiency of the equipment was significantly improved.Therefore, image recognition and structure improvement can effectively identify and eliminate the transverse filter tip generated during the operation of the transmitter.

filter tip; image recognition; structure optimization; early warning system

TB492；TB486.+3

A

1001-3563(2022)11-0212-07

10.19554/j.cnki.1001-3563.2022.11.028

2021–08–25

湖北中煙工業(yè)有限責(zé)任公司項目（TS2021ZB068）

廖宇（1991—），男，博士，工程師，主要研究方向為煙用包裝印刷材料。

李冉（1979—），男，博士，高級工程師，主要研究方向為煙用材料。

責(zé)任編輯：曾鈺嬋