基于全嵌套編碼-解碼網(wǎng)絡(luò)的異常檢測模型

張學武

(中鐵第一勘察設(shè)計院集團有限公司， 陜西 西安 710043)

通過圖像識別方法發(fā)現(xiàn)工業(yè)設(shè)備部件的故障或缺陷越來越受到研究者的關(guān)注[1-6]。卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)的發(fā)展為圖像異常檢測提供了新的思路。從LeNet[7]結(jié)構(gòu)的提出，到AlexNet[8]，再到VGG[9]和Inception系列[10-12]，CNN的性能越來越好。在異常檢測任務(wù)中，基于CNN使用有監(jiān)督學習的手段對目標故障進行檢測已經(jīng)得到了廣泛應(yīng)用。Ren等[13]提出Faster R-CNN，實現(xiàn)了一個完全意義上的端到端的CNN目標檢測模型，有效提高了目標檢測的速度和精度。Wei等[14]將Faster R-CNN應(yīng)用于鐵路軌道緊固件異常檢測。Guo等[15]提出了一種改進的Faster R-CNN，對高鐵接觸網(wǎng)吊弦進行了定位識別。然而，在某些工程領(lǐng)域，異常樣本匱乏導(dǎo)致基于圖像分類的目標檢測模型難以訓練。因此，基于正常樣本的異常檢測方法更值得重視。

近年來，CNN的發(fā)展為基于正常數(shù)據(jù)的異常檢測任務(wù)提供了新的思路。Goodfellow等[16]于2014年提出了一種稱為對抗生成網(wǎng)絡(luò)(generative adversarial network, GAN)的非監(jiān)督學習方法。接下來，LAPGAN[17]、CGAN[18]、InfoGAN[19]、CycleGAN[20]等方法相繼被提出，使得生成對抗模型性能逐步提升。AnoGAN[21]首次將GAN應(yīng)用在異常檢測領(lǐng)域，實現(xiàn)了在無異常樣本情況下的異常檢測。該方法僅利用正常樣本訓練DCGAN[22]，并設(shè)計一種圖像距離度量模型來檢測異常樣本。但在測試階段AnoGAN需要不斷地更新潛在向量，計算成本較高。針對AnoGAN計算成本高的缺陷，Zenati等[23]提出的Efficient-GAN采用圖像空間與潛在空間雙向同時映射的方法，同時學習編碼器、生成器和判別器的參數(shù)。ALAD[24]在Efficient-GAN模型的基礎(chǔ)上添加了額外的判別器來改進編碼器，使模型訓練更加穩(wěn)定。f-AnoGAN[25]用正常樣本訓練，并提出用編碼器快速將圖像映射到潛在空間，以便進行快速推斷和異常檢測。Ak?ay等[26]提出GANomaly方法，運用對抗機制交替訓練自編碼器，進行圖像的重構(gòu)。另外，他們通過度量輸入圖像和重構(gòu)圖像及其深層語義特征之間的差異來檢測異常樣本。Skip-GANomaly[27]基于GANomaly，在生成網(wǎng)絡(luò)中引入編碼網(wǎng)絡(luò)和解碼網(wǎng)絡(luò)間的跳過連接，來減少編碼階段信息的損失，增強了模型性能。但是在某些小目標的異常類檢測任務(wù)中，比如CIFAR-10數(shù)據(jù)集中的cat，bird等類別上，GANomaly和Skip-GANomaly表現(xiàn)不盡如人意。而且其編碼解碼網(wǎng)絡(luò)在訓練過程中缺乏穩(wěn)定性，魯棒性較差。

本文提出了一種基于全嵌套編碼-解碼網(wǎng)絡(luò)的異常圖像檢測模型。該模型包含一個生成器和判別器，通過與距離度量模型結(jié)合來檢測異常圖像。在生成器中，設(shè)計了多個編碼-解碼網(wǎng)絡(luò)的嵌套結(jié)構(gòu)，擁有1個共享的編碼網(wǎng)絡(luò)和4個并聯(lián)的解碼分支。該模型可以通過反向傳播，針對不同尺度的嵌套模型，自主地適應(yīng)合適的網(wǎng)絡(luò)深度和尺寸。同時，選取DCGAN中的判別網(wǎng)絡(luò)作為模型的判別器。生成器和判別器通過對抗機制來交替訓練。在CIFAR-10圖像數(shù)據(jù)集上的實驗展示了本文的方法比近期提出的其他模型具有更優(yōu)良的性能。

1 模型結(jié)構(gòu)與訓練策略

本文提出了一種全嵌套的編碼-解碼模型來進行異常圖像檢測。見圖1，該檢測方法的主體包括兩部分內(nèi)容：生成模型(generator)和判別模型(discriminator)。生成模型通過學習正常樣本的分布，來重構(gòu)正常樣本。判別模型使用一個分類網(wǎng)絡(luò)作為判別器，使用生成對抗機制進行訓練。進而引入一個距離度量模型，通過計算重構(gòu)圖像和真實圖像之間的距離，來判別測試樣本是否異常。

圖1 異常檢測模型框架Fig.1 Proposed framework for anomaly detection

1.1 生成模型

生成模型通過學習正常樣本的分布，來重構(gòu)正常樣本。在本文中，生成模型中的生成器是一個全嵌套的殘差網(wǎng)絡(luò)，可分為一個編碼器和一個解碼器。見圖2，該網(wǎng)絡(luò)可以看作多個不同尺度的編碼-解碼網(wǎng)絡(luò)進行嵌套，編碼器為共享部分，解碼器針對編碼器產(chǎn)生的4種不同尺度的語義特征圖，進行解碼操作，產(chǎn)生4個并聯(lián)的解碼分支。

圖2 本文提出的生成器的結(jié)構(gòu)Fig.2 Architecture of the proposed generator

編碼器為共享部分，如圖1虛線編碼器框所示，表示為GE，用來讀入輸入圖像xreal，產(chǎn)生深層語義特征圖z=(z1,z2,z3,z4)：

z=GE(xreal)

(1)

解碼器針對(z1,z2,z3,z4)4種不同尺度的深層語義特征圖，進行解碼操作，產(chǎn)生4個并聯(lián)的解碼分支D1、D2、D3和D4，如圖1中虛線解碼器框所示，表示為GD。此外，處于內(nèi)部的解碼分支使用密集的跳過連接對鄰近的外部解碼分支進行特征融合。跳過連接增強了不同分支間細節(jié)信息的傳遞，極大地減少了信息損失。最終外部分支最后一層輸出解碼器的重構(gòu)圖像xfake：

xfake=GD(z)

(2)

在編碼器和解碼器中均加入了殘差結(jié)構(gòu)，增強了特征表達能力，減小了過擬合風險。模型可以通過反向傳播，針對4種尺度的嵌套模型，自主的適應(yīng)合適的網(wǎng)絡(luò)深度和尺寸。

我們在生成器后面加入了一個分類網(wǎng)絡(luò)，作為模型的判別器，表示為D，使用生成對抗機制對生成器和判別器進行交替訓練。分類網(wǎng)絡(luò)用來預(yù)測給定輸入的類別，鑒別真實的正常圖像xreal以及生成器重構(gòu)的圖像xfake。判別器沿用了DCGAN模型中的判別網(wǎng)絡(luò)。在整個網(wǎng)絡(luò)結(jié)構(gòu)中，使用了BN[28]和ReLU[29]激活函數(shù)。

將數(shù)據(jù)分為Dtrain和Dtest，其中Dtrain只包含正常數(shù)據(jù)樣本，用于模型的訓練，Dtest中包含正常數(shù)據(jù)樣本和異常數(shù)據(jù)樣本，用于模型評估。訓練階段利用正常樣本訓練生成器和判別器，測試階段利用生成器生成接近正常樣本的重構(gòu)圖像，將輸入樣本和重構(gòu)圖像進行距離計算，來檢測異常圖像。

1.2 距離度量模型

在測試階段，為度量圖像是否異常，采用計算測試圖像異常評分的方式，對于給定測試集輸入xtest，異常評分定義為A(xtest)。我們使用了兩種距離來度量xtest和xfake之間的差距。首先直接對xtest和xfake計算L1距離，表示為R(xtest)，該距離描述了重構(gòu)圖像和輸入圖像之間的細節(jié)差異。其次，計算xtest和xfake經(jīng)判別器特征提取后產(chǎn)生的高維向量f(xtest)和f(xfake)之間的L2距離，表示為L(xtest)，該距離描述了兩者之間的語義特征差異。A(xtest)，R(xtest)和L(xtest)公式如下：

A(xtest)=λR(xtest)+(1-λ)L(xtest)

(3)

(4)

(5)

式中：λ是用來平衡兩種差異分數(shù)重要性的權(quán)重參數(shù)，在本模型中，設(shè)置λ=0.9。

通過以上公式，可以計算出測試集Dtest中所有圖像的異常分數(shù)集合A={Ai:A(xtest,i)，xtest∈Dtest}。接下來對集合A進行線性歸一化處理，將異常分數(shù)壓縮到[0,1]，公式如下：

(6)

設(shè)定閾值，異常分數(shù)A′(xtest)大于閾值的樣本xtest判定為異常，小于閾值的樣本判定為正常。

1.3 訓練策略

本模型使用了三種損失函數(shù)Adversarial Loss、Contextual Loss和Latent Loss。

Ladv=logD(xreal)+log(1-D(xfake))

(7)

式中：D表示判別器對圖像的分類概率。

Contextual Loss通過計算重構(gòu)圖像xfake和輸入正常樣本xreal的smoothL1[30]損失，使得重構(gòu)圖像xfake充分地學習原始正常樣本xreal的圖像細節(jié)信息，擬合xreal的數(shù)據(jù)分布。損失函數(shù)定義為：

Lcon=SL1(xreal-xfake)

(8)

式中：SL1表示smoothL1損失函數(shù)：

(9)

Latent Loss通過計算重構(gòu)圖像xfake與輸入正常樣本xreal經(jīng)判別器特征提取后產(chǎn)生的深層語義特征向量f(xreal)和f(xfake)之間的smoothL1損失，使重構(gòu)圖像xfake充分地學習原始正常樣本xreal的內(nèi)在語義信息。損失函數(shù)定義為：

Llat=SL1(f(xreal)-f(xfake))

(10)

本方法采用和常規(guī)的GAN一致的生成對抗機制進行訓練，交替優(yōu)化判別器和生成器。優(yōu)化判別器時，固定生成器網(wǎng)絡(luò)的參數(shù)。通過將生成器生成的圖像作為負樣本與存在的正樣本輸入判別器來訓練參數(shù)，目標函數(shù)為：

(11)

優(yōu)化生成器時，固定判別器的參數(shù)，目標函數(shù)為：

(12)

式中：wadv，wcon，wlat是各損失的權(quán)重參數(shù)。

2 實驗

本文的實驗環(huán)境為：采用Pytorch1.1.0深度學習框架，計算服務(wù)器配置為：內(nèi)存256 GB，主頻3.2 GHz、16核的Xeon E5-2664 v4 Gold的CPU，16 GB顯存、3584個核心的NVIDIA Tesla P100 GPU。

2.1 數(shù)據(jù)集

為了評估提出的異常檢測模型，本文在標準數(shù)據(jù)集CIFAR-10和工業(yè)設(shè)備部件數(shù)據(jù)集上進行了實驗。

1) CIFAR-10數(shù)據(jù)集

CIFAR-10數(shù)據(jù)集共有60 000張彩色圖像，這些圖像的尺寸為32×32，共分為10個類，每個類有6 000張圖像。在對CIFAR-10數(shù)據(jù)集進行異常檢測實驗時，將其中某一類視為異常類，將其他9類視為正常類。具體地，將某類6 000張圖像作為異常圖像，其余9類的54 000張圖像作為正常類圖像，其中45 000張作為訓練樣本進行模型訓練，9 000張正常類圖像和6 000張異常類圖像作為測試樣本進行模型測試。

2) 工業(yè)設(shè)備部件數(shù)據(jù)集

我們挑選了高鐵接觸網(wǎng)的某個緊固件的圖像作為本文方法的工業(yè)應(yīng)用數(shù)據(jù)集，其正常樣本和異常樣本示例見圖3。工業(yè)設(shè)備部件數(shù)據(jù)集訓練集包含1 600張正常樣本圖像，測試集包含400張圖像，其中正常樣本和異常樣本各200張。

圖3 正常樣本和異常樣本示例圖Fig.3 Examples of normal samples and abnormal samples

2.2 實驗細節(jié)

2.2.1訓練過程

實驗訓練階段使用由正常樣本組成的訓練集進行訓練，測試階段使用由正常樣本和異常樣本組成的測試集進行測試。

實驗設(shè)置了15個epoch，初始學習率為0.000 2，采用lambda衰減。使用Adam作為默認優(yōu)化器，β1=0.5，β2=0.999。損失函數(shù)各部分權(quán)重參數(shù)wadv=1，wcon=20，wlat=1。距離度量權(quán)重參數(shù)λ=0.9。

2.2.2評價指標

本文使用AUROC、AUPRC、F1分數(shù)、精確率和召回率來評估所提出方法的性能。

AUROC是ROC曲線下方的面積，ROC曲線由多種閾值設(shè)定下的FPR和TPR組成。

AUPRC是PR曲線下方的面積，PR曲線由多種閾值設(shè)定下的精確率和召回率組成。

F1分數(shù)為精確率和召回率的調(diào)和平均數(shù)，其計算方式見式(13)。在本文實驗中，我們在PR曲線中設(shè)置閾值為0.2來計算F1分數(shù)。

(13)

式中：

(14)

(15)

這里P是精確率，R是召回率，TP為正樣本且被正確劃分為正樣本的數(shù)量，F(xiàn)P為負樣本且被錯誤劃分為正樣本的數(shù)量，F(xiàn)N為正樣本且被錯誤分為負樣本的數(shù)量。TP+FP為全部被分為正樣本的數(shù)量，TP+FN為實際的正樣本數(shù)量。

2.3 實驗結(jié)果及分析

為了更好的測試本文提出方法的性能，在CIFAR-10數(shù)據(jù)集上將所提出的方法與多種方法進行了對比試驗。

GANomaly和Skip-GANomaly的參數(shù)設(shè)置與我們的參數(shù)設(shè)置完全一致，f-AnoGAN沿用了文獻[25]中的參數(shù)設(shè)置。

表1展示了CIFAR-10數(shù)據(jù)集在AUROC指標下的實驗結(jié)果，表2展示了CIFAR-10數(shù)據(jù)集在AUPRC指標下的實驗結(jié)果，圖4和圖5為相應(yīng)的結(jié)果比較。可以看出，在CIFAR-10數(shù)據(jù)集的每一類異常情況中，本文提出的方法在AUROC和AUPRC指標下均達到了更高的精度。并且本文提出的方法在plane、frog、ship這三類物體中性能最好，異常檢測精度幾乎接近100%。值得注意的是，對于CIFAR-10數(shù)據(jù)集中最具挑戰(zhàn)性的異常類bird和horse，先前工作的最佳AUROC分別為0.661和0.663，最佳AUPRC分別為0.558和0.501，而本文方法的AUROC達到了0.874和0.864，精度提升了21.3%和20.1%，AUPRC達到了0.818和0.775，精度提升了26.0%和27.4%。

表1 CIFAR-10數(shù)據(jù)集AUROC結(jié)果Tab.1 AUROC results for CIFAR-10 dataset

表2 CIFAR-10數(shù)據(jù)集AUPRC結(jié)果Tab.2 AUPRC results for CIFAR-10 dataset

圖4 在CIFAR-10數(shù)據(jù)集上本文方法與其他方法AUROC結(jié)果的比較Fig.4 Comparison of AUROC results between our method and other methods on CIFAR-10 dataset

圖5 在CIFAR-10數(shù)據(jù)集上本文方法與其他方法AUPRC結(jié)果的比較Fig.5 Comparison of AUPRC results between our method and other methods on CIFAR-10 dataset

圖6展示了Skip-GANomaly和本文的方法對bird類作為異常類時測試數(shù)據(jù)正常分數(shù)和異常分數(shù)的直方圖，可以直觀地看出與Skip-GANomaly相比，本文方法可以更好地將正常類和異常類區(qū)別開來，取得很好的異常檢測效果。圖7將bird類作為異常類， 展示了在測試階段我們的方法對物體的重構(gòu)效果。在標準數(shù)據(jù)集CIFAR-10測試本文方法的性能表現(xiàn)后，我們在接觸網(wǎng)數(shù)據(jù)集上進一步驗證方法在實際工業(yè)設(shè)備部件圖像中的應(yīng)用效果。同樣，我們將提出的方法和GANomaly和Skip-GANomaly進行了對比試驗，測試結(jié)果見表3。

圖6 鳥類作為異常類時測試數(shù)據(jù)的正常和異常分數(shù)直方圖Fig.6 Histograms of the normal and abnormal scores for the test data when bird being used as abnormal class

圖7 CIFAR-10數(shù)據(jù)集中的真實物體圖像及其重建圖像Fig.7 Real images of objects in CIFAR-10 dataset and their reconstructed images generated by our method

表3 工業(yè)設(shè)備部件數(shù)據(jù)集的對比實驗結(jié)果

可以看出，本文方法在工業(yè)設(shè)備部件數(shù)據(jù)集的異常檢測任務(wù)中，展現(xiàn)了優(yōu)良的性能，有著巨大的優(yōu)勢。為進一步展現(xiàn)精度對比，在PR曲線中，本文設(shè)置閾值為0.2，得到三種方法的F1分數(shù)、精確率和召回率。如表3所示，本文的方法在五種指標上均達到了最高值，分別為98.7%、96.7%、98.3%，100.0%和96.7%，對比另外兩種方法均有大幅度的精度提升。

綜合以上實驗效果來看，本文提出的異常檢測方法比先前的相關(guān)工作具有更好的檢測性能，并在工業(yè)設(shè)備部件圖像中表現(xiàn)優(yōu)異，基本達到了在實際工業(yè)場景應(yīng)用的要求。

3 結(jié) 論

本文提出了一種基于全嵌套編碼-解碼網(wǎng)絡(luò)的異常圖像檢測模型。模型包含一個生成器和一個判別器，并通過距離度量模型檢測異常數(shù)據(jù)。本文設(shè)計了一種新的嵌入殘差結(jié)構(gòu)的編碼-解碼網(wǎng)絡(luò)作為生成器，具有很好的特征表達和圖像重構(gòu)能力。在標準數(shù)據(jù)集CIFAR-10和工業(yè)設(shè)備部件數(shù)據(jù)集上的多組對比實驗結(jié)果表明本文的方法比新近提出的其他方法在識別精度上有很大的提升，并體現(xiàn)了本文方法的應(yīng)用有效性。本方法只需要采集一定量的正常圖像就可以訓練出精度很高的異常圖像檢測模型，回避了工業(yè)應(yīng)用中難以獲取大量異常圖像樣本無法進行監(jiān)督學習的難題。因此，本文所提出的方法具有很強的工程應(yīng)用價值。