基于深度殘差網(wǎng)絡(luò)的圖像識(shí)別技術(shù)研究

葉宇光

（泉州師范學(xué)院 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，福建 泉州 362000）

關(guān)鍵字：深度卷積；梯度消失；殘差網(wǎng)絡(luò)；跳躍連接

深度卷積神經(jīng)網(wǎng)絡(luò)是當(dāng)前人工智能的研究熱點(diǎn)，在圖像分類領(lǐng)域已經(jīng)取得了一系列突破［1-3］.卷積神經(jīng)網(wǎng)絡(luò)（CNN）的設(shè)計(jì)受到大腦神經(jīng)學(xué)中的簡(jiǎn)單細(xì)胞和感受野發(fā)現(xiàn)的啟發(fā)［4］，其網(wǎng)絡(luò)主要由具有卷積濾波器的分層結(jié)構(gòu)組成，卷積神經(jīng)網(wǎng)絡(luò)通過(guò)將濾波器與輸入圖像進(jìn)行卷積生成下一層的特征向量，并利用共享參數(shù)實(shí)現(xiàn)數(shù)據(jù)的訓(xùn)練，網(wǎng)絡(luò)中的上層代表了低水平的如邊緣和色彩對(duì)比度等局部特征信息，而更深層次的網(wǎng)絡(luò)則進(jìn)一步捕獲更復(fù)雜的特征［5］.

當(dāng)前研究大都通過(guò)深化網(wǎng)絡(luò)來(lái)豐富卷積濾波器的多樣性，從而有效提高CNN 的分類性能［6］.盡管在大多數(shù)情況下可在深化網(wǎng)絡(luò)層次結(jié)構(gòu)后實(shí)現(xiàn)更好的識(shí)別效果，但也會(huì)加深訓(xùn)練復(fù)雜度，同時(shí)在訓(xùn)練過(guò)程中容易發(fā)生一些問(wèn)題：一是消失或爆炸梯度，有時(shí)神經(jīng)元會(huì)在訓(xùn)練過(guò)程中死亡并永久失效，降低了識(shí)別精度，針對(duì)該問(wèn)題一般使用初始化技術(shù)來(lái)解決，初始化技術(shù)利用活動(dòng)的神經(jīng)元結(jié)合損失函數(shù)對(duì)其進(jìn)行優(yōu)化；二是當(dāng)模型引入太多參數(shù)時(shí)，復(fù)雜度會(huì)快速增長(zhǎng)，導(dǎo)致訓(xùn)練網(wǎng)絡(luò)變得更加困難，而且參數(shù)過(guò)多會(huì)導(dǎo)致出現(xiàn)梯度消失問(wèn)題，甚至導(dǎo)致訓(xùn)練錯(cuò)誤［7］.深度CNN 也具有訓(xùn)練難度過(guò)大的劣勢(shì)，He K 提出殘差網(wǎng)絡(luò)（ResNets：Residual Networks）解決了該問(wèn)題，其主要思想是在網(wǎng)絡(luò)中增加了直連通道，允許保留之前網(wǎng)絡(luò)層的部分輸出，簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)［8］.殘差網(wǎng)絡(luò)和深度卷積神經(jīng)網(wǎng)絡(luò)的主要區(qū)別在于它們具有與其正常卷積層平行的快捷連接，利用這些快捷連接的方式有利于反向傳播從而加快訓(xùn)練速度.殘差網(wǎng)絡(luò)和普通的卷積神經(jīng)網(wǎng)絡(luò)之間另一大區(qū)別是在某一層的線性模塊和非線性模塊之間增加了前面一層的輸出，為梯度提供一個(gè)清晰的路徑以使其反向傳播到網(wǎng)絡(luò)的上層，通過(guò)這種“跳躍式”的連接避免了梯度的消失，同時(shí)加快了訓(xùn)練過(guò)程.He K 提出的模型在18、34、50、101 和152 層的殘差網(wǎng)絡(luò)進(jìn)行配置，可以將多個(gè)彼此連接的塊串聯(lián)起來(lái)完成殘差網(wǎng)絡(luò)模型的構(gòu)建.殘差網(wǎng)絡(luò)中的基本塊（BB：Basic Block）的輸入和輸出大小相等，快捷方式連接通常是一個(gè)單位矩陣，同時(shí)可以使用平均池和零填充來(lái)調(diào)整矩陣大?。?］.

殘差網(wǎng)絡(luò)中快速連接的不同基本塊也可以進(jìn)行下采樣，下采樣的方式通常是stride 的卷積或是池化.張珂針對(duì)非受限條件下人臉圖像年齡分類準(zhǔn)確度較低的問(wèn)題，提出了一種基于深度殘差網(wǎng)絡(luò)和大數(shù)據(jù)集微調(diào)的非受限條件下人臉年齡分類方法，在選用深度殘差網(wǎng)絡(luò)作為基礎(chǔ)卷積神經(jīng)網(wǎng)絡(luò)模型處理人臉年齡分類問(wèn)題并在ImageNet 數(shù)據(jù)集上對(duì)深度殘差網(wǎng)絡(luò)預(yù)訓(xùn)練并結(jié)合更深層殘差網(wǎng)絡(luò)和大數(shù)據(jù)集微調(diào)后，能有效提高人臉圖像年齡分類準(zhǔn)確度［9］.ResNet 主要是通過(guò)利用快捷短連接或長(zhǎng)連接的方式降低了模型的復(fù)雜度.筆者在前人研究基礎(chǔ)上，同時(shí)使用長(zhǎng)和短連接獲得更小的損耗或更理想的精度，提升了模型的性能.

1 算法的設(shè)計(jì)與實(shí)現(xiàn)

1.1 ResNets 模型

殘差網(wǎng)絡(luò)是由一系列殘差塊組成的.一個(gè)殘差塊可以表示為：

公式（1）將殘差塊分成兩部分，即直接映射部分和殘差部分，其中xl是直接映射，Wl是卷積操作，F(xiàn)（xl，Wl）是殘差部分，殘差部分一般由兩個(gè)或者3 個(gè)卷積操作構(gòu)成.在卷積網(wǎng)絡(luò)中，xl可能和xl+1的特征映射數(shù)量不一樣，這時(shí)候就需要使用卷積進(jìn)行升維或者降維，于是公式（1）轉(zhuǎn)換為：

其中h（xl）=Wlx.一個(gè)典型的ResNet 模型流程見圖1.

廣義殘差網(wǎng)絡(luò)體系結(jié)構(gòu)的模塊化單元是由殘差流R 的并行狀態(tài)組成的廣義殘差塊，它包含標(biāo)識(shí)快捷連接，其結(jié)構(gòu)類似于原始?xì)埐罹W(wǎng)絡(luò)中具有單個(gè)卷積層的殘差塊的結(jié)構(gòu)（見圖1）.每個(gè)殘差塊中另外兩組卷積過(guò)濾器也在網(wǎng)絡(luò)流之間傳輸信息，殘差網(wǎng)絡(luò)在相同流和跨流激活的總和中采用批量歸一化和ReLU 非線性模塊來(lái)獲得輸出狀態(tài).殘差流R 的功能類似于卷積神經(jīng)網(wǎng)絡(luò)的初始化結(jié)構(gòu)，每個(gè)處理單元之間都有快捷連接，而瞬態(tài)流T 增加了處理非線性中任一流信息的能力，瞬態(tài)流T 無(wú)需快捷連接的方式，因此可以丟棄較早狀態(tài)的信息.廣義殘差塊可以充當(dāng)標(biāo)準(zhǔn)CNN 層（通過(guò)學(xué)習(xí)將殘差流清零）或單層殘差網(wǎng)絡(luò)塊（通過(guò)學(xué)習(xí)將瞬態(tài)流清零）.通過(guò)多次重復(fù)廣義殘差塊，網(wǎng)絡(luò)體系結(jié)構(gòu)可以學(xué)習(xí)介于兩者之間的任何內(nèi)容，包括標(biāo)準(zhǔn)的2 層殘差網(wǎng)絡(luò)塊.筆者采用廣義殘差塊替換原始?xì)埐罹W(wǎng)絡(luò)中的每個(gè)卷積層，實(shí)現(xiàn)了一種深度殘差網(wǎng)絡(luò).

1.2 數(shù)據(jù)增強(qiáng)

從ImageNet 數(shù)據(jù)集中選出一個(gè)子集來(lái)進(jìn)行訓(xùn)練和測(cè)試，稱其為小型ImageNet 數(shù)據(jù)集.在小型ImageNet 數(shù)據(jù)集中，每個(gè)類只有500 張圖像.如果在此訓(xùn)練集上訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)，會(huì)使得小型ImageNet 數(shù)據(jù)量過(guò)少導(dǎo)致過(guò)擬合.為了克服過(guò)擬合，采用數(shù)據(jù)增強(qiáng)的方法來(lái)提高數(shù)據(jù)集的大小，數(shù)據(jù)增強(qiáng)的常規(guī)方法是將每個(gè)圖像的一些裁剪版本及其水平翻轉(zhuǎn)的圖像添加到數(shù)據(jù)集中.但圖像處理過(guò)程中可用的內(nèi)存空間有限，無(wú)法將新的數(shù)據(jù)集中所有圖像都加載到內(nèi)存中，因此筆者采用隨機(jī)的方式進(jìn)行數(shù)據(jù)增強(qiáng)，即每當(dāng)有新批次數(shù)據(jù)到達(dá)時(shí)，都會(huì)從隨機(jī)轉(zhuǎn)換單元傳遞該批次中的所有圖像.該單元首先以0.5 的概率水平翻轉(zhuǎn)圖像，然后以概率p 隨機(jī)將圖像裁剪為56×56 圖像，然后將其重新縮放為原始尺寸64×64.

1.3 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

為了進(jìn)一步降低計(jì)算成本，在傳統(tǒng)殘差網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改進(jìn)，針對(duì)ImageNet 中的圖像，將輸入修改為64×64 的微型ImageNet 圖像并將它們分類為200 個(gè)類.為了減少過(guò)擬合，在基本塊中的兩個(gè)卷積層之間添加參數(shù)為0.5 的dropout 層，同時(shí)引入了長(zhǎng)短跳躍連接，通過(guò)混合長(zhǎng)短跳躍連接的方式更高效地更新所有網(wǎng)絡(luò)層，從而引入了圖2 的新架構(gòu).

圖1 典型殘差網(wǎng)絡(luò)模型流程圖

在此基礎(chǔ)上，將ReLU 用于所有神經(jīng)元的非線性單位.圖3 顯示了圖像識(shí)別任務(wù)設(shè)計(jì)的最終版深度殘差網(wǎng)絡(luò).在小型ImageNet 的驗(yàn)證集上，該模型的Top-1 分類準(zhǔn)確性達(dá)到95.3%.

圖2 加入長(zhǎng)短跳躍連接的架構(gòu)圖

圖3 本文設(shè)計(jì)的圖像識(shí)別殘差網(wǎng)絡(luò)

2 實(shí)驗(yàn)結(jié)果

2.1 數(shù)據(jù)集描述

在該項(xiàng)目中，對(duì)數(shù)據(jù)集ImageNet 的子集展開研究，該數(shù)據(jù)集包含來(lái)自200 個(gè)不同類別的對(duì)象的20 000張圖像，其中有10 000 張圖像的訓(xùn)練數(shù)據(jù)和10 000 張圖像的測(cè)試集.筆者使用的小型ImageNet 中所有圖像均為64×64，比原始ImageNet 數(shù)據(jù)集中大小為256×256 的圖像小16 倍.圖4 顯示了不同類別的小型Imagenet 數(shù)據(jù)集的一些示例圖像.

本文算法利用TensorFlow 進(jìn)行編程實(shí)現(xiàn)［11-12］.TensorFlow 是Google 開發(fā)的開源計(jì)算框架，能很好地支持神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，同時(shí)充分考慮到GPU 的并行計(jì)算能力.本文項(xiàng)目使用該框架研發(fā)并訓(xùn)練不同的殘差網(wǎng)絡(luò)和卷積神經(jīng)模型.

梯度消失問(wèn)題對(duì)于深度神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)是一個(gè)難題，但在淺層卷積神經(jīng)網(wǎng)絡(luò)中卻不會(huì)發(fā)生.筆者比較了兩個(gè)淺層網(wǎng)絡(luò)，分別具有7 層和9 層.圖5 和圖6 顯示了在數(shù)據(jù)集CIFAR-10 上這兩個(gè)網(wǎng)絡(luò)的訓(xùn)練損失和識(shí)別準(zhǔn)確度［13］.

圖4 ImageNet 數(shù)據(jù)集

圖5 殘差網(wǎng)絡(luò)和CNN 訓(xùn)練準(zhǔn)確率對(duì)比

圖6 訓(xùn)練損失對(duì)比

對(duì)于淺層次的網(wǎng)絡(luò)如7 層網(wǎng)絡(luò)，深度殘差網(wǎng)絡(luò)的性能比普通卷積神經(jīng)網(wǎng)絡(luò)更差（見圖5、圖6）.進(jìn)一步提升網(wǎng)絡(luò)深度至9 層，深度殘差網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)具有相似的性能，該現(xiàn)象的主要原因是將卷積層的輸出與其輸入相加的效果基本等同于將訓(xùn)練后的數(shù)據(jù)與原始數(shù)據(jù)進(jìn)行平均，因此影響了訓(xùn)練結(jié)果.如果加入其它優(yōu)化措施（例如提高網(wǎng)絡(luò)的深度）還可以進(jìn)一步提高準(zhǔn)確性.接著繼續(xù)訓(xùn)練從15 到21 層不等的多個(gè)深度殘差網(wǎng)絡(luò)和CNN，并查看哪一個(gè)在小型Imagenet 數(shù)據(jù)集上表現(xiàn)更好，結(jié)果見表1.

表1 深層次網(wǎng)絡(luò)訓(xùn)練結(jié)果對(duì)比

所有模型都針對(duì)相同EPOCH 進(jìn)行了訓(xùn)練.性能最高的網(wǎng)絡(luò)（層數(shù)為21 層的殘差網(wǎng)絡(luò)）訓(xùn)練準(zhǔn)確度為93%.進(jìn)一步比較這兩個(gè)網(wǎng)絡(luò)（殘差網(wǎng)絡(luò)和等效的CNN）的訓(xùn)練損失可以清楚地看到，殘差網(wǎng)絡(luò)的準(zhǔn)確性比普通的CNN 更高的同時(shí)損失函數(shù)更小.在此殘差網(wǎng)絡(luò)中，準(zhǔn)確度比CNN 高出5.5%，訓(xùn)練損失減小9.13%.

4 結(jié)語(yǔ)

傳統(tǒng)的卷積網(wǎng)絡(luò)或者全連接網(wǎng)絡(luò)在信息傳遞的時(shí)候或多或少會(huì)存在信息丟失，損耗等問(wèn)題，同時(shí)還有導(dǎo)致梯度消失或者梯度爆炸，導(dǎo)致對(duì)深層次的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)性能惡化.為了解決該問(wèn)題，采用改進(jìn)的深度殘差網(wǎng)絡(luò)來(lái)進(jìn)行圖像識(shí)別，并添加簡(jiǎn)單的快捷連接提高圖像分類任務(wù)的準(zhǔn)確性，并使訓(xùn)練過(guò)程更快.在實(shí)驗(yàn)部分，通過(guò)在ImageNet 的子集和CIFAR-10 上執(zhí)行圖像識(shí)別任務(wù)，然后將訓(xùn)練好的深度殘差網(wǎng)絡(luò)模型與其等效的卷積神經(jīng)網(wǎng)絡(luò)的性能進(jìn)行比較.通過(guò)實(shí)驗(yàn)結(jié)果可以看出，改進(jìn)的殘差網(wǎng)絡(luò)在淺層次的網(wǎng)絡(luò)上和卷積神經(jīng)網(wǎng)絡(luò)有相似的性能，而隨著網(wǎng)絡(luò)深度的適當(dāng)增加，在小型數(shù)據(jù)集上性能比卷積神經(jīng)網(wǎng)絡(luò)更好.總體來(lái)說(shuō)，本文改進(jìn)的殘差網(wǎng)絡(luò)的準(zhǔn)確性更高，能有效避免過(guò)度擬合問(wèn)題，基本滿足圖像識(shí)別要求的準(zhǔn)確性和魯棒性要求.