深度學(xué)習(xí)算法在卷煙外觀質(zhì)量檢測中的應(yīng)用

焦 俊，郝靜烈，冷曉飛，劉 婭，楊彤瑤

(紅云紅河煙草（集團(tuán)）有限責(zé)任公司昆明卷煙廠，云南昆明 650000)

中國煙草十四五規(guī)劃中提出了按照“形成強(qiáng)大國內(nèi)市場，構(gòu)建新發(fā)展格局”的總體部署，中式卷煙知名品牌既要在暢通國內(nèi)大循環(huán)、促進(jìn)國內(nèi)國際雙循環(huán)和優(yōu)化供給結(jié)構(gòu)、改善供給質(zhì)量中承擔(dān)更大責(zé)任、發(fā)揮更大作用，也要通過技術(shù)創(chuàng)新、品牌創(chuàng)新、產(chǎn)品創(chuàng)新來更好地滿足人民群眾日益增長的物質(zhì)文化需求。行業(yè)深入實(shí)施“三品”戰(zhàn)略，增品種、提品質(zhì)、創(chuàng)品牌，尋找新的增長點(diǎn)。品牌卷煙成品的任何包裝質(zhì)量問題都會(huì)影響企業(yè)品牌形象，失去企業(yè)的信譽(yù)度，如何保證包裝生產(chǎn)的穩(wěn)定質(zhì)量，減少和杜絕不合格的卷煙產(chǎn)品流入市場，是各卷煙企業(yè)在全面質(zhì)量控制中的一個(gè)關(guān)鍵環(huán)節(jié)。目前，中國煙草品牌優(yōu)勢隨著卷煙設(shè)備自動(dòng)化程度的不斷提高以及生產(chǎn)效率的提升，對卷煙產(chǎn)品質(zhì)量檢測和工藝環(huán)節(jié)中的質(zhì)量控制提出了新的要求，針對香煙包裝質(zhì)量檢測的研究也逐步被付諸實(shí)踐，在新出廠的卷煙機(jī)和包裝機(jī)中，基于傳統(tǒng)機(jī)器視覺相機(jī)的在線外觀質(zhì)量檢測模塊逐漸成為標(biāo)準(zhǔn)配置，然而，作為煙草企業(yè)品牌質(zhì)量的管控者，煙草企業(yè)三級(jí)站仍然在采用人工抽檢和人工目檢方式，隨著企業(yè)產(chǎn)量和卷煙制品品種的增加，對卷煙產(chǎn)品質(zhì)量檢測和工藝環(huán)節(jié)中的質(zhì)量控制提出了新的要求，人工抽檢方式已經(jīng)無法滿足現(xiàn)代化實(shí)際生產(chǎn)中的需求。通過機(jī)器視覺檢測，克服了人工檢測存在的問題，提高了檢測效率和檢測質(zhì)量，從而保證了產(chǎn)品品質(zhì)的需求，在國內(nèi)煙草企業(yè)變得越來越具備普遍性和必要性。

現(xiàn)在國際國內(nèi)的煙草煙支和小包裝外觀質(zhì)量的檢測出現(xiàn)了很多針對包裝質(zhì)量檢測的算法，其中最主要的是圖像匹配算法，圖像匹配是指通過一定的匹配算法在兩幅或多幅圖像之間識(shí)別同名點(diǎn)?，F(xiàn)行國際國內(nèi)的煙草煙支和小包裝外觀質(zhì)量檢測裝置主要就是基于工業(yè)相機(jī)，其理論基礎(chǔ)就是固化在工業(yè)相機(jī)內(nèi)部的圖像匹配算法。

圖1是現(xiàn)行小包在線檢測的安裝方式?；竟ぷ髟砭褪峭ㄟ^固化在工業(yè)相機(jī)內(nèi)部的圖像匹配算法，工業(yè)相機(jī)內(nèi)部的處理器對圖像信息進(jìn)行處理。通常采用的模板匹配是基于像素的匹配，用來在一副大圖中搜尋查找模版圖像位置的方法。與 2D 卷積一樣，它也是用模板圖像在輸入圖像（大圖）上滑動(dòng)，并在每一個(gè)位置對模板圖像和與其對應(yīng)的輸入圖像的子區(qū)域進(jìn)行比較。通過諸如平方差匹配法、相關(guān)匹配法、相關(guān)系數(shù)匹配法、歸一化平方差匹配法、歸一化相關(guān)匹配法、歸一化相關(guān)系數(shù)匹配法等匹配算法找最大匹配的點(diǎn)，設(shè)置一個(gè)匹配閾值來匹配多個(gè)物體。

圖1 現(xiàn)行小包在線檢測安裝方式

模板匹配算法從自身的數(shù)學(xué)基礎(chǔ)而言，具有自身的局限性，主要表現(xiàn)在它只能進(jìn)行平行移動(dòng)，若原圖像中的匹配目標(biāo)發(fā)生旋轉(zhuǎn)或大小變化，該算法會(huì)失準(zhǔn)。

而受限于機(jī)器視覺相機(jī)本身處理器的處理能力，在加載多種瑕疵的模式匹配算法會(huì)顯得力不從心。

較新的機(jī)器視覺相機(jī)也逐步引入了特征匹配算法以應(yīng)對檢測目標(biāo)的旋轉(zhuǎn)，移動(dòng)以及視場光線變化，通過特征提取、匹配器和單應(yīng)性匹配以實(shí)現(xiàn)更靈活的瑕疵檢測。

SIFT 特征提取分析通過尺度空間濾波器構(gòu)建尺度空間，模擬圖像數(shù)據(jù)的多尺度特征。使用具有不同方差值的高斯拉普拉斯算子（LoG）對圖像進(jìn)行卷積。LoG 的計(jì)算量非常大，為了有效地在尺度空間檢測到穩(wěn)定的關(guān)鍵點(diǎn)，所以SIFT 算法使用高斯差分算子（DoG）來對LoG 做近似，利用不同尺度的高斯差分核與圖像卷積生成。在傳統(tǒng)機(jī)器視覺相機(jī)中，完成大數(shù)據(jù)量的計(jì)算非常困難，也就導(dǎo)致傳統(tǒng)機(jī)器視覺相機(jī)出現(xiàn)算力瓶頸，極大影響了瑕疵檢測能力的提升。

隨著深度學(xué)習(xí)理論的日益發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)算法獲得越來越復(fù)雜的圖像特征并進(jìn)行學(xué)習(xí)。2014年以來，研究人員將這些網(wǎng)絡(luò)應(yīng)用于特征提取的步驟，而不是使用SIFT 或類似算法。2016 年，DeTone 等發(fā)表了Deep Image Homography Estimation，提出了HomographyNet 回歸網(wǎng)絡(luò)，這是一種VGG 風(fēng)格模型，可以學(xué)習(xí)兩幅相關(guān)圖像的單應(yīng)性。該算法具有以端到端的方式同時(shí)學(xué)習(xí)單應(yīng)性和CNN 模型參數(shù)的優(yōu)勢。HomographyNet 回歸網(wǎng)絡(luò)產(chǎn)生八個(gè)數(shù)值作為輸出。以監(jiān)督的方式進(jìn)行訓(xùn)練，并計(jì)算輸出和真實(shí)單應(yīng)性之間的歐幾里德?lián)p失。該單應(yīng)性估計(jì)方法需要有標(biāo)記數(shù)據(jù)。雖然很容易獲得真實(shí)圖像的單應(yīng)性，但會(huì)消耗極大的實(shí)際算力。而以無監(jiān)督的方式進(jìn)行訓(xùn)練與傳統(tǒng)的基于特征的方法相比，這種無監(jiān)督方法具有相當(dāng)或更高的準(zhǔn)確率和魯棒性，并且具有更快的執(zhí)行速度。此外，與有監(jiān)督方法相比，它具有更好的適應(yīng)性和性能。同時(shí)來源于醫(yī)學(xué)圖像配準(zhǔn)的強(qiáng)化學(xué)習(xí)方法可以用于更復(fù)雜的轉(zhuǎn)換。Krebs 等使用人工代理優(yōu)化變形模型參數(shù)。該方法對醫(yī)學(xué)MRI 圖像的配準(zhǔn)進(jìn)行實(shí)驗(yàn)，在2-D 和3-D中表現(xiàn)出了較好的結(jié)果。

1 深度學(xué)習(xí)檢測技術(shù)可以顯著簡化瑕疵檢測和缺陷檢查

該技術(shù)可以自主學(xué)習(xí)特定缺陷特征，從而可以識(shí)別特定的問題類別。如果用戶使用預(yù)訓(xùn)練的深度學(xué)習(xí)網(wǎng)絡(luò)，例如MVTec 的圖像處理軟件Halcon 的那些網(wǎng)絡(luò)，則基于樣本圖像，算法可以訓(xùn)練各種各樣的瑕疵和缺陷類型，然后可靠地識(shí)別它們。

采用深度學(xué)習(xí)技術(shù)進(jìn)行瑕疵檢測大致可以分為如下幾個(gè)步驟（圖2）。

圖2 瑕疵檢測步驟

1.1 圖像采集

通過采用西門子伺服系統(tǒng)控制的送檢皮帶和翻轉(zhuǎn)機(jī)構(gòu)，可以準(zhǔn)確地將送檢樣本停留在預(yù)先標(biāo)定位置，從而觸發(fā)對應(yīng)檢測位置的工業(yè)相機(jī)，獲得清晰可靠的樣本圖像。

1.2 樣本識(shí)別

采用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）和循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）相結(jié)合完成瑕疵檢測的識(shí)別分類。

相比于傳統(tǒng)的圖像處理算法，卷積神經(jīng)網(wǎng)絡(luò)CNN 避免了對圖像進(jìn)行復(fù)雜的前期處理（即大量的人工圖像特征提取工作），也就是說，CNN 能夠直接從原始圖像出發(fā)，經(jīng)過非常少的預(yù)處理，就能從圖像中找出視覺規(guī)律，進(jìn)而完成識(shí)別分類任務(wù)，其實(shí)這就是端到端（end-end）的含義。CNN 的基本結(jié)構(gòu)包括以下兩層。

（1）特征提取層。每個(gè)神經(jīng)元的輸入與前一層的局部接受域相連，并提取該局部的特征。一旦該局部特征被提取后，它與其他特征間的位置關(guān)系也隨之確定。

（2）特征映射層。網(wǎng)絡(luò)的每個(gè)計(jì)算層由多個(gè)特征映射組成，每個(gè)特征映射是一個(gè)平面，平面上所有神經(jīng)元的權(quán)值相等。特征映射結(jié)構(gòu)采用影響函數(shù)核小的sigmoid 函數(shù)作為卷積網(wǎng)絡(luò)的激活函數(shù)，使得特征映射具有位移不變性。此外，由于一個(gè)映射面上的神經(jīng)元共享權(quán)值，因而減少了網(wǎng)絡(luò)自由參數(shù)的個(gè)數(shù)。卷積神經(jīng)網(wǎng)絡(luò)中的每一個(gè)卷積層都緊跟著一個(gè)用來求局部平均與二次提取的計(jì)算層，這種特有的兩次特征提取結(jié)構(gòu)減小了特征分辨率。

如圖3所示，CNN 的核心在于卷積（Convolution）、池化（Poling）和非線性處理（ReLU）。

圖3 CNN模型步驟

二維圖像的卷積公式如下：

針對不同的瑕疵類型，選用不同的卷積核可以挖掘出更多的圖像特征，例如，采用如下的高斯-拉普拉斯算子，可以得到圖像的邊緣，從而使瑕疵的特征更為突出。

CNN 主要用來識(shí)別位移、縮放及其他形式扭曲不變性的二維圖形，該部分功能主要由池化層（Poling）實(shí)現(xiàn)。①由于CNN 的特征檢測層通過訓(xùn)練數(shù)據(jù)進(jìn)行學(xué)習(xí)，所以在使用CNN 時(shí)，避免了顯式的特征抽取，而隱式地從訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí)；②由于同一特征映射面上的神經(jīng)元權(quán)值相同，所以網(wǎng)絡(luò)可以并行學(xué)習(xí)，這也是卷積網(wǎng)絡(luò)相對于神經(jīng)元彼此相連網(wǎng)絡(luò)的一大優(yōu)勢。卷積神經(jīng)網(wǎng)絡(luò)以其局部權(quán)值共享的特殊結(jié)構(gòu)在圖像處理方面有著獨(dú)特的優(yōu)越性，其布局更接近于實(shí)際的生物神經(jīng)網(wǎng)絡(luò)，權(quán)值共享降低了網(wǎng)絡(luò)的復(fù)雜性，特別是多維輸入向量的圖像可以直接輸入網(wǎng)絡(luò)這一特點(diǎn)避免了特征提取和分類過程中數(shù)據(jù)重建的復(fù)雜度。

在煙草瑕疵檢測中，采用了一種新的級(jí)聯(lián)自動(dòng)編碼器（CASAE）結(jié)構(gòu)（圖4），用于缺陷的分割和定位。級(jí)聯(lián)網(wǎng)絡(luò)將輸入的缺陷圖像轉(zhuǎn)化為基于語義分割的像素級(jí)預(yù)測掩模。利用壓縮卷積神經(jīng)網(wǎng)絡(luò)（CNN）將分割結(jié)果的缺陷區(qū)域劃分為特定的類。分割網(wǎng)絡(luò)定位像素級(jí)別的缺陷位置，然后通過分類網(wǎng)絡(luò)對缺陷進(jìn)行識(shí)別。

圖4 CASAE結(jié)構(gòu)

在剛開始檢測一個(gè)新的項(xiàng)目，只需要采集幾百到一千的圖像數(shù)據(jù)，在這些圖像數(shù)據(jù)上面標(biāo)記缺陷種類，然后進(jìn)行一輪訓(xùn)練。訓(xùn)練過后再放進(jìn)一批新的樣品圖，會(huì)發(fā)現(xiàn)檢測率相當(dāng)高，一開始就可以保持在95%～98%。在訓(xùn)練次數(shù)越多的情況下，檢測率是可以無限接近100%。

CNN 模型框圖，如圖5所示。

圖5 CNN模型

卷積神經(jīng)網(wǎng)絡(luò)CNN 無法利用歷史數(shù)據(jù)的時(shí)間依賴關(guān)系，從而導(dǎo)致CNN 的預(yù)測和分類出現(xiàn)偏差或加大計(jì)算資源的耗散。

由于煙草成品具備一定的時(shí)間關(guān)聯(lián)性，例如同一品牌的外包裝具有極強(qiáng)的一致性，包裝和瑕疵圖像數(shù)據(jù)同樣也具有較強(qiáng)的依賴性，即在煙草瑕疵檢測的應(yīng)用中，數(shù)據(jù)之間存在相互依賴關(guān)系。充分利用這些數(shù)據(jù)間的依賴性以及歷史數(shù)據(jù)的時(shí)間依賴關(guān)系，是在煙草瑕疵檢測中使用時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)（recurrent neural network）的重要基礎(chǔ)。

圖6 為Elman RNN 網(wǎng)絡(luò)模型。Elman RNN 網(wǎng)絡(luò)模型中，X向量表示輸入層的值，O向量表示輸出層的值，一共就有三類參數(shù)值，分別是U、V和W。假設(shè)輸入層神經(jīng)元個(gè)數(shù)為n個(gè)，隱層的神經(jīng)元個(gè)數(shù)為m個(gè)，輸出層的神經(jīng)元個(gè)數(shù)為r，那么U是輸入層到隱藏層的權(quán)重矩陣，大小為（n×m）維；V是隱層到輸出層的權(quán)重矩陣，大小為（m×r）維。RNN 中隱層s（t）的值，不僅取決于當(dāng)前輸入x，還取決于上一次隱層的值s（t-1）。W表示的是隱藏層上一次輸出值而作為本次輸入的權(quán)重矩陣，大小為（m×m）維。

圖6 Elman RNN網(wǎng)絡(luò)模型

在理論上，這個(gè)模型可以擴(kuò)展到無限維，也就是可以支撐無限的時(shí)間序列，但實(shí)際應(yīng)用中，考慮到歷史數(shù)據(jù)的相關(guān)性和時(shí)效，如下列公式所示。

將過去的所有序列作為輸入，從而生成當(dāng)前的狀態(tài)，其中θ 表示激活函數(shù)σ 中所有的參數(shù)集合。表示序列中的第t時(shí)刻或第t時(shí)間步的輸入數(shù)據(jù)，它通常也是一個(gè)向量；向量，表示隱層的值。

都可以看到，第t時(shí)間的記憶信息是由前（t-1）個(gè)時(shí)間步累計(jì)而成的結(jié)果和s（t-1）當(dāng)前的輸出X（t）。

由于傳統(tǒng)的RNN 存在梯度彌散問題或梯度爆炸問題，導(dǎo)致第一代RNN 基本上很難把層數(shù)提上去，因此其表征能力也非常有限，應(yīng)用上性能也有所欠缺，在煙草成品外觀檢測的應(yīng)用中，具體表現(xiàn)為算法收斂性不強(qiáng)，不利于提取外觀質(zhì)量瑕疵特征值，因此會(huì)導(dǎo)致在保證外觀瑕疵被檢出的前提下，需要大量的訓(xùn)練樣本和建立龐大的外觀質(zhì)量瑕疵，從而導(dǎo)致系統(tǒng)資源耗散過快，使系統(tǒng)過于龐大和復(fù)雜。

根據(jù)胡伯提出的LSTM 改進(jìn)算法，通過改造神經(jīng)元，添加了遺忘門、輸入門和輸出門等結(jié)構(gòu)，讓梯度能夠長時(shí)間地在路徑上流動(dòng)，從而有效提升深度RNN 的性能。

在RNN 算法中引入梯度截?cái)啵▓D7）有助于處理爆炸的梯度。為了解決消失的梯度和更好地捕獲長期依賴，一種方法是使用LSTM 以及其他自循環(huán)和門控機(jī)制；另一個(gè)想法是正則化或約束參數(shù)，以引導(dǎo)信息流。LSTM 通過引入巧妙的可控自循環(huán)，以產(chǎn)生讓梯度能夠得以長時(shí)間可持續(xù)流動(dòng)的路徑避免長期依賴問題，而GRU 它將忘記門和輸入門合成了一個(gè)單一的更新門。同樣還混合了細(xì)胞狀態(tài)和隱藏狀態(tài)，及其他一些改動(dòng)。

圖7 RNN中的梯度截?cái)?/p>

自主瑕疵檢測。在通過訓(xùn)練獲得瑕疵特征庫后，即可進(jìn)入自主瑕疵檢測。當(dāng)待檢測樣品通過送檢皮帶進(jìn)入后，通過工業(yè)相機(jī)獲得的樣本圖像進(jìn)入模型，自動(dòng)得出檢測結(jié)果，同時(shí)，RNN 模型可以充分利用檢測的歷史數(shù)據(jù)，使整個(gè)瑕疵檢測系統(tǒng)具備了記憶學(xué)習(xí)的功能，提升了系統(tǒng)智能程度，減少了樣本訓(xùn)練時(shí)間。

通過優(yōu)化的深度學(xué)習(xí)算法，利用采樣圖片進(jìn)行訓(xùn)練，從而得出各個(gè)品牌卷煙的瑕疵特征庫，訓(xùn)練圖片如圖8所示。

圖8 訓(xùn)練圖片

對于實(shí)時(shí)采集的樣品圖像及時(shí)進(jìn)行研判，研判圖片如圖9所示。

圖9 訓(xùn)練過程中對圖片研判

可以清晰標(biāo)定瑕疵部位的瑕疵類型，瑕疵面積和瑕疵擬合度。

實(shí)施前：

（1）僅能采用人工方式進(jìn)行外觀質(zhì)量評(píng)價(jià)，結(jié)論受個(gè)人習(xí)慣、外部因素影響較大，難以準(zhǔn)確化。

（2）人工檢測方式需要有經(jīng)驗(yàn)的檢測人員，工作量大。

（3）檢測人員不能跟班生產(chǎn)。

實(shí)施后：

（1）采用設(shè)備對外觀質(zhì)量進(jìn)行測試，不受個(gè)人與外部環(huán)境因素的影響，測試結(jié)果客觀準(zhǔn)確。

（2）按照設(shè)備的使用操作規(guī)程，可以制定標(biāo)準(zhǔn)化的檢測流程，按步驟進(jìn)行測試，檢測過程得以標(biāo)準(zhǔn)化。

（3）節(jié)約人力物力，結(jié)果清晰可見，耗用時(shí)間短。

（4）使用了外觀檢測裝置進(jìn)行檢測后，隨著深度學(xué)習(xí)算法的逐步完善，以及AI 在學(xué)習(xí)足量的樣本數(shù)后越來越聰明，具備了深度學(xué)習(xí)和人工智能所帶來的種種優(yōu)勢，為后續(xù)的質(zhì)量管理工作提供了便利，使原來采用定性描述的指標(biāo)得以定量評(píng)價(jià)。

2 結(jié)語

煙草制品外觀質(zhì)量檢測對于企業(yè)品質(zhì)管理具有重大意義，本項(xiàng)目開發(fā)的目的為研制一套具有國際國內(nèi)領(lǐng)先水平的外觀質(zhì)量檢測。實(shí)現(xiàn)基于深度學(xué)習(xí)算法的品質(zhì)檢測研究和探索，對于卷煙生產(chǎn)上的眾多外觀質(zhì)量檢測裝置具有重大的指導(dǎo)意義，同樣深度學(xué)習(xí)的視覺檢測算法也具備極強(qiáng)的應(yīng)用外延，可以為煙草生產(chǎn)分析，智能化水平提升提供較強(qiáng)的理論基礎(chǔ)和實(shí)踐探索經(jīng)驗(yàn)。