卷積神經(jīng)網(wǎng)絡(luò)在光學(xué)元件損傷檢測(cè)中的應(yīng)用

劉巖

摘要：光學(xué)元件損傷檢測(cè)是激光驅(qū)動(dòng)器健康管理的重要環(huán)節(jié)，復(fù)雜的原始損傷圖像是損傷檢測(cè)研究中的挑戰(zhàn)性問題。卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的重要結(jié)構(gòu)，在圖像識(shí)別領(lǐng)域里有很好的應(yīng)用實(shí)例。針對(duì)復(fù)雜環(huán)境下的光學(xué)元件損傷檢測(cè)問題，提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的損傷定位方法。設(shè)計(jì)了一種含有損傷和背景的數(shù)據(jù)集制作方法，生成大量偽數(shù)據(jù)。設(shè)計(jì)并訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，得到分類器的參數(shù)模型。用多尺度分割原始損傷圖像，并對(duì)每一分割區(qū)域進(jìn)行歸類和處理。實(shí)驗(yàn)結(jié)果證明，該檢測(cè)方法具有較高的識(shí)別率和魯棒性，可有效規(guī)避大規(guī)模噪聲對(duì)損傷檢測(cè)的影響。

關(guān)鍵詞：損傷檢測(cè)；深度學(xué)習(xí)；卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)：TP183 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2017）04-0178-05

1 概述

光學(xué)元件損傷檢測(cè)技術(shù)在許多光學(xué)裝置中都有重大應(yīng)用，如大型光學(xué)望遠(yuǎn)鏡、高功率激光驅(qū)動(dòng)器等，損傷檢測(cè)的結(jié)果為裝置健康維護(hù)提供重要依據(jù)。

根據(jù)檢測(cè)環(huán)境的不同，損傷檢測(cè)系統(tǒng)可分為在線檢測(cè)和離線檢測(cè)。在離線檢測(cè)中，通過成像設(shè)備可獲得高質(zhì)量的原始損傷圖像，圖像中的噪聲低、類型單一，得到的損傷檢測(cè)結(jié)果足夠精確，但離線檢測(cè)存在著檢測(cè)周期長(zhǎng)、成本高的問題。與離線檢測(cè)相比，在線檢測(cè)直接利用光學(xué)裝置中的成像單元采集工作狀態(tài)下的圖像，將其作為原始損傷圖像，雖然精確程度低于離線檢測(cè)，但其效率高、成本低。在線檢測(cè)也存在固有問題：大規(guī)模噪聲和復(fù)雜背景，如圖1所示，這對(duì)損傷識(shí)別造成了嚴(yán)重影響，該圖像為激光設(shè)備中CCD采集得到的原始損傷圖像，實(shí)線標(biāo)記內(nèi)為明顯損傷，其與背景噪聲存在明顯差異，虛線標(biāo)記內(nèi)為非明顯損傷，其與背景噪聲融為一體。

在經(jīng)典的邊界檢測(cè)和區(qū)域檢測(cè)算法中，原始圖像可經(jīng)過降噪濾波、二值化、邊界提取算子等處理方法，得到邊界和包圍區(qū)域。這種處理方法實(shí)現(xiàn)簡(jiǎn)單，但在實(shí)際應(yīng)用中，受高噪聲、復(fù)雜背景和參數(shù)設(shè)置的局限性，魯棒性很差，處理效果不好。在損傷識(shí)別中，微小損傷往往被背景噪聲環(huán)繞，大范圍的濾波對(duì)噪聲有一定的抑制作用，對(duì)微小損傷同樣是嚴(yán)重的破壞。為了改善邊界提取效果，很多研究者在邊界提取過程中綜合了梯度方向、梯度大小、灰度曲率、拉普拉斯交叉特征等參考因素來(lái)動(dòng)態(tài)修正邊界檢測(cè)結(jié)果[1]。面對(duì)更為復(fù)雜的檢測(cè)環(huán)境，甚至需要人工添加標(biāo)記點(diǎn)來(lái)輔助邊界的檢測(cè)[2]，目的是為了規(guī)避全局噪聲影響，在局部生成一條最優(yōu)邊界。在大范圍噪聲和復(fù)雜環(huán)境下，區(qū)域化處理是一種有效的方法。

損傷檢測(cè)區(qū)域化處理的關(guān)鍵在于對(duì)背景噪聲區(qū)域和損傷區(qū)域的識(shí)別。這個(gè)過程需要對(duì)二者進(jìn)行特征提取和訓(xùn)練。常用的人工特征提取算法具有局限性，同一類對(duì)象表現(xiàn)形式的跨度越大，人工特征提取算法所得到的特征的代表性就越低。面對(duì)原始損傷圖像中千變?nèi)f化的背景噪聲，很難設(shè)計(jì)一套將損傷和背景噪聲顯著區(qū)分的特征提取算法。深度學(xué)習(xí)是集特征提取和訓(xùn)練于一體的多層人工神經(jīng)網(wǎng)絡(luò)，按照節(jié)點(diǎn)間的連接關(guān)系和訓(xùn)練方式的不同，深度學(xué)習(xí)可分為深度信念網(wǎng)[3]、卷積神經(jīng)網(wǎng)絡(luò)[4]，[5]（Convolution Neural Network， CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)[6]等。CNN由Yann LeCun第一次提出并成功應(yīng)用在MNIST手寫數(shù)字識(shí)別任務(wù)中[5]。在眾多深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)中，CNN憑借其獨(dú)特的卷積結(jié)構(gòu)，對(duì)圖像類型的數(shù)據(jù)有更好的特征提取和描述，在圖像識(shí)別領(lǐng)域里具有天然優(yōu)勢(shì)，被廣泛應(yīng)用在各種復(fù)雜的實(shí)際問題中，如情感預(yù)測(cè)[7]、人體行為檢測(cè)[8]、人臉匹配[9]、車輛類型識(shí)別[10]、交通信號(hào)標(biāo)志識(shí)別[11]、醫(yī)學(xué)影像識(shí)別[12]、自然圖像層次分割[13]等。

本文以高功率激光驅(qū)動(dòng)器為背景，設(shè)計(jì)了一種CNN結(jié)構(gòu)，對(duì)原始損傷圖像進(jìn)行區(qū)域識(shí)別和局部處理，實(shí)驗(yàn)中的所有數(shù)據(jù)均由高功率激光驅(qū)動(dòng)器中的科學(xué)CCD采集得到。本文的內(nèi)容安排如下：第二節(jié)介紹多層網(wǎng)絡(luò)結(jié)構(gòu)和CNN；第三節(jié)中介紹損傷檢測(cè)流程；第四節(jié)中介紹實(shí)驗(yàn)數(shù)據(jù)、檢測(cè)效果及分析；第五節(jié)對(duì)整個(gè)在線損傷檢測(cè)系統(tǒng)進(jìn)行總結(jié)。

2 多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與卷積神經(jīng)網(wǎng)絡(luò)

深度學(xué)習(xí)結(jié)構(gòu)的基礎(chǔ)是多層神經(jīng)網(wǎng)絡(luò)，如圖2所示。多層網(wǎng)絡(luò)結(jié)構(gòu)中含有輸入層、中間隱藏層、輸出層。相鄰的不同層之間的節(jié)點(diǎn)均有權(quán)值連接，這樣的結(jié)構(gòu)為全相連結(jié)構(gòu)，每個(gè)中間節(jié)點(diǎn)輸出值為公式（1）所示。

其中ω為層與層之間的參數(shù)矩陣，每一行為隱藏層節(jié)點(diǎn)與上層連接參數(shù)向量，b為偏移參數(shù)向量，x為輸入行向量，f為激活函數(shù)，常用的激活函數(shù)有階躍函數(shù)、sigmoid函數(shù)、雙曲正切函數(shù)等。

CNN是一種特殊結(jié)構(gòu)的深度學(xué)習(xí)網(wǎng)絡(luò)，如圖3所示。在CNN中存在著卷積層（C）、減采樣層（S）、全相連層（F），且卷積層和減采樣層交替出現(xiàn)。在卷積層中，數(shù)據(jù)會(huì)經(jīng)過卷積核的卷積操作、對(duì)應(yīng)關(guān)系疊加、激活函數(shù)的處理，形成特征圖。在減采樣層中，圖像數(shù)據(jù)會(huì)根據(jù)減采樣算子進(jìn)行減采樣操作。全相連層的網(wǎng)絡(luò)結(jié)構(gòu)同多層網(wǎng)絡(luò)結(jié)構(gòu)中的相鄰兩層。

在圖3的CNN結(jié)構(gòu)中，采用了SoftMax分類器，其激活函數(shù)為：

其中，θ為分類器輸出層與輸入層之間的參數(shù)向量，m是訓(xùn)練樣本總數(shù)，i表示第i個(gè)訓(xùn)練樣本，k是分類數(shù)量，hθ是輸出分類概率向量，其值在0和1之間，總和為1，訓(xùn)練算法是代價(jià)函數(shù)對(duì)參數(shù)的梯度下降算法。

CNN的結(jié)構(gòu)具有如下的特點(diǎn)：

A）局部相連

CNN不同于全相連網(wǎng)絡(luò)結(jié)構(gòu)，其卷積層節(jié)點(diǎn)與上層節(jié)點(diǎn)之間是局部相連的，如圖4所示。局部相連的區(qū)域被稱為感受野或卷積核，這種設(shè)計(jì)很大限度的減少了訓(xùn)練參數(shù)的數(shù)量。在圖像中，一個(gè)點(diǎn)與周圍點(diǎn)的信息相關(guān)性比遠(yuǎn)離點(diǎn)的相關(guān)性強(qiáng)，CNN更關(guān)注圖像的局部特征。B）參數(shù)共享

在CNN卷積層中包含多張?zhí)卣鲌D，每張?zhí)卣鲌D都是由訓(xùn)練參數(shù)組成的卷積核與上一層的圖像進(jìn)行卷積操作得到的，并且這些參數(shù)在同一對(duì)應(yīng)關(guān)系中是共享的，如圖5所示，實(shí)線和虛線分別代表兩組不同參數(shù)所組成的卷積核，這是CNN相比全相連多層網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)大幅減少的另一個(gè)原因。假如上一層每張圖像的尺寸為M×M，卷積算子尺寸為N×N，則卷積層中特征圖的尺寸為：

特征圖的數(shù)量是設(shè)計(jì)者在網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)時(shí)決定的，并且一張?zhí)卣鲌D可以與上一層的一張圖像對(duì)應(yīng)（圖7所示情況），也可以與上一層多張圖像相對(duì)應(yīng)。但不管哪種方式，都應(yīng)保證在上下兩層之間，兩張圖像的對(duì)應(yīng)參數(shù)是共享的。

C）池化、減采樣

池化操作是對(duì)特征圖減采樣的過程，如圖6所示。池化的類型有最大值池化和平均值池化，最大值池化是在池化算子區(qū)域內(nèi)尋找最大值，平均值池化是在池化算子內(nèi)計(jì)算平均值。特征圖的池化不僅降低了節(jié)點(diǎn)數(shù)量，同時(shí)也很好地保留了圖像的局部特征，達(dá)到了特征降維的目的。

3 損傷檢測(cè)流程

損傷圖像處理的主要結(jié)構(gòu)和流程如圖7所示。主要包含：多尺度區(qū)域劃分、子圖像標(biāo)準(zhǔn)化、CNN識(shí)別、局部區(qū)域圖像處理、損傷圖像整合。接下來(lái)對(duì)每個(gè)單元的功能進(jìn)行詳細(xì)介紹。

輸入圖像單元：輸入圖像為像素600×600的原始損傷圖像（原始損傷圖像為灰度圖像）；

多尺度區(qū)域劃分單元：按照不同的尺度，將原始損傷圖像劃分為不同尺寸檢測(cè)區(qū)域，目的是降低損傷區(qū)域被拆分的概率，使損傷在檢測(cè)區(qū)域中保持完整。當(dāng)劃分的尺度標(biāo)準(zhǔn)越多時(shí)，損傷在子圖像中的完整性就越好，但所需的計(jì)算量就越大。實(shí)際應(yīng)用中，損傷尺寸在10-20像素之間，用35×35和50×50兩種尺度對(duì)原始損傷圖像進(jìn)行劃分，損傷在所有不同尺度的識(shí)別區(qū)域中基本可以被完整覆蓋；

識(shí)別區(qū)域標(biāo)準(zhǔn)化單元：不同尺度劃分下，識(shí)別區(qū)域的尺寸是不一樣的。CNN的輸入維度是固定的，所以要把識(shí)別區(qū)域的尺寸規(guī)范到同一標(biāo)準(zhǔn)下。實(shí)際應(yīng)用中，在35×35尺度下，忽略最后5像素的長(zhǎng)度和寬度，其余識(shí)別區(qū)域保持不變。在50×50的尺度下，利用尺度縮放算子，將所有識(shí)別區(qū)域縮放到35×35尺寸；

卷積神經(jīng)網(wǎng)絡(luò)單元：CNN完成對(duì)識(shí)別區(qū)域的分類功能，輸入是標(biāo)準(zhǔn)化的識(shí)別區(qū)域，輸出是對(duì)應(yīng)尺度的識(shí)別結(jié)果矩陣，矩陣中0代表背景區(qū)域，1代表?yè)p傷區(qū)域。實(shí)際應(yīng)用中，輸入是17×17和12×12的兩組標(biāo)準(zhǔn)化識(shí)別區(qū)域圖像，輸出是17×17和12×12的兩組識(shí)別結(jié)果矩陣；

局部區(qū)域處理單元：根據(jù)識(shí)別結(jié)果矩陣對(duì)原始損傷圖像進(jìn)行局部處理。結(jié)果矩陣中0所對(duì)應(yīng)的區(qū)域?yàn)楸尘霸肼晠^(qū)域，將對(duì)應(yīng)區(qū)域的子圖像像素置0；結(jié)果矩陣中1所對(duì)應(yīng)的區(qū)域?yàn)閾p傷區(qū)域，將對(duì)應(yīng)區(qū)域的子圖像進(jìn)行中值濾波、自適應(yīng)二值化處理，得到損傷區(qū)域的二值損傷圖；

多尺度損傷圖像整合單元：將每個(gè)尺度下的二值圖按原有對(duì)應(yīng)位置關(guān)系組合，得到不同尺度下的損傷圖像，損傷圖像個(gè)數(shù)和尺度劃分個(gè)數(shù)相等。在實(shí)際應(yīng)用中，將得到35×35和50×50兩種尺度所對(duì)應(yīng)的兩幅二值損傷圖像，損傷圖像的尺寸與原始損傷圖像的尺寸相同；

整合、輸出單元：對(duì)所有尺度下的損傷圖像進(jìn)行“或”操作，整合成為最終輸出的損傷圖像。

4 數(shù)據(jù)和實(shí)驗(yàn)

4.1數(shù)據(jù)制作

數(shù)據(jù)集是對(duì)分類器中的參數(shù)進(jìn)行訓(xùn)練依據(jù)，數(shù)據(jù)集的好壞直接關(guān)系到識(shí)別效果。目前，在損傷檢測(cè)領(lǐng)域里，尚未存在一個(gè)標(biāo)準(zhǔn)化的數(shù)據(jù)集，且本文中損傷檢測(cè)的應(yīng)用背景是高功率激光設(shè)備，訓(xùn)練所需的數(shù)據(jù)集也應(yīng)該由該設(shè)備采集的原始圖像制作而成。

為了制作更加標(biāo)準(zhǔn)的數(shù)據(jù)集，本文中調(diào)研了其他領(lǐng)域里的標(biāo)準(zhǔn)數(shù)據(jù)集，如MNIST[5]（手寫數(shù)字?jǐn)?shù)據(jù)集）、NIST SD19[14]（手寫字符數(shù)據(jù)集）、GTSRB[15]（德國(guó)交通標(biāo)志數(shù)據(jù)集）、CIFAR 10[16]（彩色自然圖像數(shù)據(jù)集）。這些數(shù)據(jù)集有如下特點(diǎn)：1、數(shù)據(jù)量巨大，每類圖像的樣本數(shù)量均超過5000個(gè)；2、數(shù)據(jù)集中設(shè)置了訓(xùn)練樣本集、測(cè)試樣本集來(lái)進(jìn)行參數(shù)訓(xùn)練和模型測(cè)試，個(gè)別數(shù)據(jù)集中還設(shè)置了有效樣本集，其作用是在訓(xùn)練過程中通過在有效集上的測(cè)試，調(diào)整訓(xùn)練進(jìn)度，在必要的時(shí)候提前中止訓(xùn)練，防止訓(xùn)練向差的方向發(fā)展。由于有效樣本集參與了訓(xùn)練過程，所以不再適合用作測(cè)試樣本集。

結(jié)合以上特點(diǎn)，本文所制作的數(shù)據(jù)集中包含損傷區(qū)域和背景噪聲區(qū)域兩類圖像，識(shí)別區(qū)域尺寸設(shè)定為35×35像素。在實(shí)際應(yīng)用中，共選定135個(gè)損傷區(qū)域，且均為明顯損傷區(qū)域。由于損傷區(qū)域的位置會(huì)隨機(jī)出現(xiàn)在識(shí)別區(qū)域內(nèi)，所以在對(duì)損傷區(qū)域采樣時(shí)，將每個(gè)損傷區(qū)域分別置于識(shí)別區(qū)域九宮格中的9個(gè)位置，對(duì)每個(gè)損傷區(qū)域進(jìn)行9次不同位置的采樣，共得到1215個(gè)損傷樣本。對(duì)背景噪聲的采樣應(yīng)用圖像切割的方式，將600×600的所有原始損傷圖像按35×35的尺寸進(jìn)行分割，去除所有包含損傷區(qū)域的、不規(guī)則的樣本，剩下的樣本均作為背景噪聲樣本，共1364個(gè)。

Max Pooling＼&維度變換＼&全相連＼&SoftMax＼&]

受到原始數(shù)據(jù)數(shù)量的限制，得到的實(shí)際樣本數(shù)量較少，為了擴(kuò)充數(shù)據(jù)集的樣本數(shù)量，獲得更好的識(shí)別效果，在原有樣本的基礎(chǔ)上，對(duì)其進(jìn)行處理與擴(kuò)展，生成大量的偽數(shù)據(jù)，如圖8所示，前兩行為損傷區(qū)域樣本，后兩行為背景噪聲樣本。處理過程包括對(duì)原始樣本的以下操作：旋轉(zhuǎn)（3次順時(shí)針旋轉(zhuǎn)）、鏡面（水平和豎直翻轉(zhuǎn)）、對(duì)比度調(diào)整（增減10%）、亮度調(diào)整（增減10%）。最終得到的數(shù)據(jù)集中共有12150個(gè)損傷數(shù)據(jù)樣本和13640個(gè)背景噪聲樣本，并從中各抽取2000樣本組成測(cè)試樣本集和有效樣本集，其余組成訓(xùn)練樣本集。在各個(gè)樣本集中，損傷樣本和背景噪聲樣本是隨機(jī)出現(xiàn)的

4.2 CNN訓(xùn)練實(shí)驗(yàn)

在測(cè)試CNN在光學(xué)元件損傷檢測(cè)中的表現(xiàn)效果時(shí)，設(shè)計(jì)了兩個(gè)實(shí)驗(yàn)。

實(shí)驗(yàn)1：設(shè)計(jì)了如表1所示的CNN結(jié)構(gòu)，其中F1與S2之間僅是維度的變換，由S2中50個(gè)尺寸為5×5的特征圖變換成F1中節(jié)點(diǎn)數(shù)為1250的特征向量，卷積層所用的激活函數(shù)為雙曲正切函數(shù)，全相連層所用的激活函數(shù)為sigmoid函數(shù)。用4.1中所制作的數(shù)據(jù)集進(jìn)行訓(xùn)練和預(yù)測(cè)，在每次訓(xùn)練迭代完成時(shí)，用測(cè)試集對(duì)當(dāng)前模型進(jìn)行預(yù)測(cè)，記錄錯(cuò)誤率。

在CNN訓(xùn)練過程中采用批次訓(xùn)練的方式，每個(gè)批次含有500個(gè)樣本，訓(xùn)練樣本集分為24個(gè)批次，這樣的訓(xùn)練方式是整體訓(xùn)練和逐一訓(xùn)練的折中，相比逐一訓(xùn)練，能保證訓(xùn)練的結(jié)果是趨于全局的，相比整體訓(xùn)練，能縮短訓(xùn)練時(shí)間。在CNN訓(xùn)練過程中，每次迭代需要訓(xùn)練24個(gè)批次，當(dāng)所有訓(xùn)練樣本訓(xùn)練完畢后，一次迭代完成，并用測(cè)試集進(jìn)行測(cè)試。得到的結(jié)果如圖9所示，經(jīng)過50次迭代，錯(cuò)誤率最終穩(wěn)定在2.75%。

實(shí)驗(yàn)2：將實(shí)驗(yàn)1中訓(xùn)練好的CNN模型加入到損傷檢測(cè)系統(tǒng)中，以圖1所示的原始損傷圖像作為輸入，得到最終的損傷圖像，得到的損傷檢測(cè)結(jié)果如圖10所示。

從損傷圖像中可看出，圖1中所有明顯損傷均已正確識(shí)別并二值化處理。在四個(gè)非明顯損傷中，僅1號(hào)損傷體現(xiàn)在了最后的損傷圖像中，其余三個(gè)并未體現(xiàn)。查詢所有尺度下的識(shí)別結(jié)果矩陣可得到如下信息：

1）四個(gè)非明顯損傷中，1、2、3號(hào)所在區(qū)域均被正確識(shí)別為損傷區(qū)域，僅4號(hào)未被識(shí)別。2、3號(hào)之所以未在損傷圖像中體現(xiàn)，是因?yàn)樵趽p傷區(qū)域局部圖像處理過程中，由于灰度變化不明顯，自適應(yīng)二值化算法并不能將損傷和背景噪聲二值化區(qū)分，所以未被體現(xiàn)；

2）在所有背景噪聲區(qū)域，有3個(gè)區(qū)域被誤判為損傷區(qū)域，但并未對(duì)損傷圖像造成視覺上的影響，其原因同1中所述。

5 結(jié)束語(yǔ)

在本文和相關(guān)的工作中，設(shè)計(jì)了一種區(qū)域識(shí)別、局部處理的損傷檢測(cè)處理方式，并在光學(xué)元件損傷檢測(cè)中成功規(guī)避了大規(guī)模噪聲，有較好的識(shí)別效果。在數(shù)據(jù)集制作過程中，利用圖像變換獲取大量偽數(shù)據(jù)，擴(kuò)充了數(shù)據(jù)集；設(shè)計(jì)了多尺度區(qū)域劃分，使損傷盡可能的包含在識(shí)別區(qū)域內(nèi)；在區(qū)域識(shí)別結(jié)構(gòu)中以CNN作為分類器，設(shè)計(jì)CNN結(jié)構(gòu)和訓(xùn)練方式；依據(jù)分類結(jié)果完成多尺度下的損傷圖像和整體損傷圖像。在線損傷檢測(cè)系統(tǒng)在現(xiàn)有數(shù)據(jù)中達(dá)到了預(yù)期的效果。

但在個(gè)別環(huán)節(jié)中仍存在不足：1、CNN分類器對(duì)非明顯損傷的識(shí)別效果還有提升的空間，目前所用的訓(xùn)練集中的損傷樣本主要是明顯損傷樣本，非明顯損傷樣本數(shù)量較少，原因是非明顯損傷經(jīng)過對(duì)比度和亮度變換，損傷信息會(huì)遭到極大的破壞，使其拓展樣本成為臟數(shù)據(jù)。2、在局部處理中應(yīng)用的自適應(yīng)二值化算法仍具有參數(shù)局限性，不能滿足所有情況。

在今后的研究工作中，會(huì)對(duì)CNN的結(jié)構(gòu)、多任務(wù)的深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行研究，并在實(shí)際中應(yīng)用，提升分類單元對(duì)噪聲的魯棒性和非明顯損傷的識(shí)別效果。

參考文獻(xiàn)：

[1] Barrett W A， Mortensen E N. Interactive live-wire boundary extraction[J]. Medical Image Analysis， 1997， 1（4）：331-341.

[2] F?rber M， Ehrhardt J， Handels H. Live-wire-based segmentation using similarities between corresponding image structures.[J]. Computerized Medical Imaging & Graphics the Official Journal of the Computerized Medical Imaging Society， 2007， 31（7）：549-60.

[3] Hinton G E， Salakhutdinov R R. Reducing the dimensionality of data with neural networks.[J]. Science， 2006， 313（5786）：504-507.

[4] Lecun Y， Kavukcuoglu K， Farabet C. C.： Convolutional networks and applications in vision[C]// Circuits and Systems （ISCAS）， Proceedings of 2010 IEEE International Symposium on. IEEE， 2010：253-256.

[5] Lécun Y， Bottou L， Bengio Y， et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE， 1998， 86（11）：2278-2324.

[6] Hochreiter S， Schmidhuber J. Long short-term memory.[J].Neural Computation，1997， 9（8）：1735-1780.

[7] Baveye Y， Dellandrea E， Chamaret C， et al. Deep learning vs. kernel methods： Performance for emotion prediction in videos[C]// ACII. 2015：77-83.

[8] Rajeswar M S， Sankar A R， Balasubramaniam V N， et al. Scaling Up the Training of Deep CNNs for Human Action Recognition[C]// Parallel and Distributed Processing Symposium Workshop. IEEE， 2015.

[9] Khalil-Hani M， Sung L S. A Convolutional Neural Network Approach for Face Verification[C]// International Conference on High PERFORMANCE Computing & Simulation. 2014：707-714.

[10] Dong Z， Pei M， He Y， et al. Vehicle Type Classification Using Unsupervised Convolutional Neural Network[J]. IEEE Transactions on Intelligent Transportation Systems， 2014， 16（4）：1-10.

[11] Lau M M， Lim K H， Gopalai A A. Malaysia traffic sign recognition with convolutional neural network[J]. IEEE International Conference on Digital Signal Processing （DSP） 2015：1006-1010.

[12] Hatipoglu N， Bilgin G. Classification of histopathological images using convolutional neural network[J]. International Conference on Image Processing Theory， Tools and Applications （IPTA） 2014：1-6.

[13] Jun W， Chaolliang Z， Shirong L， et al. Outdoor scene labeling using deep convolutional neural networks[C]// Control Conference. IEEE， 2015.

[14] Grother P J， Grother P J. NIST Special Database 19 Handprinted Forms and Characters Database[J].Technical repot， National Institute of Standards and Technology（NIST） 1995.

[15] Akasaki K， Suenobu M， Mukaida M， et al. The German Traffic Sign Recognition Benchmark： A multi-class classification competition[C]// Neural Networks （IJCNN）， The 2011 International Joint Conference on. IEEE， 2011：1453-1460.

[16] Krizhevsky A. Learning Multiple Layers of Features from Tiny Images，2012.