基于卷積神經(jīng)網(wǎng)絡(luò)模型的分層特征提取

周麗娜

摘 要：針對(duì)傳統(tǒng)人工特征無法捕捉圖像目標(biāo)語義信息的缺點(diǎn)，本文提出一種基于卷積神經(jīng)網(wǎng)絡(luò)模型VGG-Net的分層特征提取方法，對(duì)模型的高低卷積層分別進(jìn)行特征提取和深入的分析。實(shí)驗(yàn)結(jié)果表明低層特征圖分辨率高包含更多細(xì)節(jié)信息，高層特征圖分辨率低能提取更多語義信息。因此可根據(jù)不同任務(wù)選擇不同層特征以獲得最佳的目標(biāo)特征表達(dá)。

關(guān)鍵詞：特征提?。痪矸e神經(jīng)網(wǎng)絡(luò)；VGG-Net模型；分層特征

特征提取是計(jì)算機(jī)視覺領(lǐng)域研究的基礎(chǔ)內(nèi)容。傳統(tǒng)的人工特征需要小心構(gòu)造光照、旋轉(zhuǎn)不變性等特性，無法捕捉目標(biāo)的語義信息，對(duì)目標(biāo)的特征表達(dá)能力存在一定的局限性。近幾年，深度學(xué)習(xí)理論成為人工智能領(lǐng)域的研究熱點(diǎn)[1]。其中卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural network，CNN）通過多層的自主學(xué)習(xí)，可以從顏色、邊緣等底層細(xì)節(jié)特征得到更強(qiáng)大的特征表達(dá)能力而備受關(guān)注，并在圖像分類及語音識(shí)別領(lǐng)域取得了重大成果。本文采用深度模型VGG-Net[2]進(jìn)行目標(biāo)特征提取，分析高低卷積層的特征特點(diǎn)，從而獲取更強(qiáng)大的特征表達(dá)能力。

1 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

基本的卷積神經(jīng)網(wǎng)絡(luò)包括：輸入層、卷積層、下采樣層（池化層）、全連接層和輸出層。如圖1所示，其中C1，C2為卷積層，S1，S2為下采樣層。最終，處理后的數(shù)據(jù)被連接成一個(gè)向量經(jīng)過全連接層輸出。

2 基于VGG-Net模型的分層特征提取

本文采用卷積神經(jīng)網(wǎng)絡(luò)模型VGG-Net提取目標(biāo)特征。卷積神經(jīng)網(wǎng)絡(luò)模型中每個(gè)卷積層都可以可視化輸出一組圖像的特征數(shù)據(jù)，每層的輸出特征對(duì)圖像的描述情況不同[3]。

2.1 VGG-Net模型結(jié)構(gòu)

VGG-Net模型由大型圖像數(shù)據(jù)集ImageNet訓(xùn)練得到，是具有43層結(jié)構(gòu)的深度卷積神經(jīng)網(wǎng)絡(luò)。共有19個(gè)權(quán)重學(xué)習(xí)層包含16個(gè)卷積層（5組）和3個(gè)全連接層。5組卷積層中分別包含2、2、4、4、4個(gè)卷積層，每組卷積層后面接一個(gè)最大池化層，激活函數(shù)采用非線性糾正單元Relu。網(wǎng)絡(luò)最后接三個(gè)全連接層。

2.2 分層卷積特征提取過程

（1）卷積層：卷積神經(jīng)網(wǎng)絡(luò)因“卷積”操作而得名，卷積的目的就是從輸入圖像中提取特征。假設(shè)每個(gè)卷積層輸入大小為N×N，卷積核矩陣大小為m×m，則得到的每個(gè)特征圖的大小為（N-m+1）×（N-m+1）。輸入圖像與濾波器和偏置值進(jìn)行卷積，通過激活函數(shù)產(chǎn)生特征圖，每個(gè)特征圖代表學(xué)習(xí)獲得的一組特征。計(jì)算公式如下：

wi表示各輸入信號(hào)與該神經(jīng)元對(duì)應(yīng)的連接權(quán)值，b為神經(jīng)元的偏置值，激活函數(shù)f（x）可以決定神經(jīng)元是否被激活。VGG-Net模型中采用ReLU函數(shù)（非線性糾正單元）作為激活函數(shù)，當(dāng)輸入值為負(fù)輸出結(jié)果為0，輸入為正則原樣輸出。

（2）下采樣層：下采樣層的作用是降低特征映射的維度，保留最重要的特征信息。通過卷積層獲得特征之后，若直接將這些提取到的特征直接輸入至后續(xù)層中，需要很大的計(jì)算開銷。因此采樣過程可以表示為：

其中，down（·）表示采樣函數(shù)。一般可采用最大池化（max-pooling）和均值池化（mean-pooling）。對(duì)于2*2大小的池化，最大池化取輸入圖像2*2區(qū)域中的最大像素值作為結(jié)果。均值池化是取2*2區(qū)域塊的平均像素值作為結(jié)果。兩者均將原圖像縮小了4倍，減小了計(jì)算開銷。

在VGG-Net模型中，通過此方式在每個(gè)卷積層進(jìn)行分層特征提取并進(jìn)行可視化輸出。

3 實(shí)驗(yàn)結(jié)果與分析

圖2給出了圖像經(jīng)VGG-Net網(wǎng)絡(luò)提取的4層卷積特征圖（conv2層、conv3層、conv4層和conv5層）?？梢钥闯龈叩蛯泳矸e特征具有不同的特點(diǎn)：低層的conv2層特征圖包含更多細(xì)節(jié)信息，能夠清晰地看到目標(biāo)的邊緣和紋理信息；隨著網(wǎng)絡(luò)深度的增加目標(biāo)細(xì)節(jié)信息減少，高層的conv5層特征圖經(jīng)過多次下采樣操作后分辨率降低，只可以提供更多語義信息和目標(biāo)所在的大概區(qū)域。卷積神經(jīng)網(wǎng)絡(luò)提取的高層特征有利于對(duì)不同類別的物體進(jìn)行分類，低層特征可以進(jìn)行類內(nèi)區(qū)分物體。因此可以根據(jù)不同的任務(wù)有針對(duì)性地選擇高低層特征進(jìn)行目標(biāo)的特征表達(dá)。

4 小結(jié)

本文通過分析深度卷積神經(jīng)網(wǎng)絡(luò)VGG-Net的模型結(jié)構(gòu)，針對(duì)各卷積層提取分層特征，并對(duì)特征的提取過程進(jìn)行了分析，最后通過實(shí)驗(yàn)對(duì)各卷積層特征進(jìn)行了可視化分析。結(jié)果表明：低層特征圖分辨率高包含更多細(xì)節(jié)信息，高層特征圖分辨率低能提取更多語義信息。因此深度卷積神經(jīng)網(wǎng)絡(luò)提取分層特征的方法解決了人工特征無法提取目標(biāo)語義信息的缺點(diǎn)，有利于提高目標(biāo)的特征表達(dá)能力。

參考文獻(xiàn)：

[1]Lecun Y， Bengio Y， Hinton G.Deep learning[J].Nature， 2015， 521（7553）： 436-444.

[2]Simonyan K， Zisserman A.Very Deep Convolutional Networks for Large-Scale Image Recognition[J].Computer Science， 2014.

[3]Zeiler MD， Fergus R.Visualizing and Understanding Convolutional Networks[J].2013， 8689：818-833.