ResNet及其在醫(yī)學(xué)圖像處理領(lǐng)域的應(yīng)用：研究進(jìn)展與挑戰(zhàn)

周 濤 劉赟璨 陸惠玲 葉鑫宇 常曉玉

①(北方民族大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 銀川 750021)

②(北方民族大學(xué)圖像圖形智能處理國(guó)家民委重點(diǎn)實(shí)驗(yàn)室 銀川 750021)

③(寧夏醫(yī)科大學(xué)理學(xué)院 銀川 750004)

1 引言

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)新的方向和分支，近年來(lái)在圖像領(lǐng)域中受到越來(lái)越多研究者的關(guān)注。基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network， CNN)具有復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，與傳統(tǒng)機(jī)器學(xué)習(xí)方法相比具有更強(qiáng)大的特征學(xué)習(xí)和特征表達(dá)能力。CNN在目標(biāo)識(shí)別中表現(xiàn)出色的性能，并逐漸成為圖像分析的首選，它能夠從大量數(shù)據(jù)中自動(dòng)提取特征，并且具有良好的泛化能力。CNN經(jīng)典模型有AlexNet[1]， VGGNet[2]， GoogleNet[3]和殘差神經(jīng)網(wǎng)絡(luò)(Residual Neural Network， ResNet)，其中殘差神經(jīng)網(wǎng)絡(luò)[4]是由He等人提出的，在深度卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展中具有非常重要的意義[5]。殘差神經(jīng)網(wǎng)絡(luò)的出現(xiàn)有效地緩解了由于網(wǎng)絡(luò)深度增加帶來(lái)的梯度消失和網(wǎng)絡(luò)退化問(wèn)題，能夠使神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度加快，并且可以大幅提升深度網(wǎng)絡(luò)的泛化能力和魯棒性。

由于殘差神經(jīng)網(wǎng)絡(luò)的優(yōu)良特性，其在圖像領(lǐng)域獲得了廣泛的關(guān)注。目前殘差神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)圖像處理領(lǐng)域已經(jīng)取得了突破性的進(jìn)展，在肺部腫瘤、乳腺癌、皮膚疾病和心腦血管疾病等重大疾病的臨床輔助診斷中取得了良好效果。此外，殘差神經(jīng)網(wǎng)絡(luò)和其它網(wǎng)絡(luò)模型的結(jié)合也廣泛用于醫(yī)學(xué)圖像分割、分類(lèi)、融合、重建、合成、超分辨率等醫(yī)學(xué)圖像分析任務(wù)中，可以幫助臨床醫(yī)生對(duì)患者的治療做出整體規(guī)劃，大大提高診斷正確率與效率，為患者爭(zhēng)取寶貴的治療時(shí)機(jī)，同時(shí)幫助醫(yī)生評(píng)估患者的預(yù)后。Wu等人[6]提出用于乳腺癌篩查分類(lèi)的深度卷積神經(jīng)網(wǎng)絡(luò)ResNet-22，對(duì)標(biāo)準(zhǔn)的ResNet模型進(jìn)行改進(jìn)，其深度和寬度的平衡針對(duì)高分辨率醫(yī)學(xué)圖像進(jìn)行了優(yōu)化，實(shí)驗(yàn)表明效果良好。Karthik等人[7]將殘差神經(jīng)網(wǎng)絡(luò)用于胸部X射線(xiàn)圖像的新冠肺炎檢測(cè)，實(shí)驗(yàn)結(jié)果表明了算法的有效性。為了提高白細(xì)胞圖像分割精度，Lu等人[8]提出基于ResNet和UNet++的深度學(xué)習(xí)網(wǎng)絡(luò)WBC-Net，設(shè)計(jì)了具有殘差塊的上下文感知特征編碼器用來(lái)提取多尺度特征，并在密集卷積塊中引入混合跳躍路徑以獲取和融合不同尺度的圖像特征。Nazir等人[9]提出一種自動(dòng)進(jìn)行顱內(nèi)血管分割的OFF-eNET架構(gòu)，結(jié)合殘差映射和Inception模塊，實(shí)現(xiàn)了更豐富的視覺(jué)表示，并提高了計(jì)算效率。由此可見(jiàn)，對(duì)殘差神經(jīng)網(wǎng)絡(luò)的深入研究具有重要意義。

本文全面總結(jié)了殘差神經(jīng)網(wǎng)絡(luò)的研究現(xiàn)狀。(1)闡述殘差神經(jīng)網(wǎng)絡(luò)的基本原理，從網(wǎng)絡(luò)框架和殘差單元兩方面進(jìn)行介紹；(2)綜述殘差神經(jīng)網(wǎng)絡(luò)的改進(jìn)機(jī)制，從殘差單元、殘差連接和網(wǎng)絡(luò)整體結(jié)構(gòu)進(jìn)行總結(jié)；(3)針對(duì)ResNet在醫(yī)學(xué)圖像處理中的應(yīng)用，從ResNet與DenseNet， U-Net， Inception結(jié)構(gòu)、注意力機(jī)制4個(gè)模型結(jié)合方面進(jìn)行探討。對(duì)ResNet在醫(yī)學(xué)圖像處理領(lǐng)域面臨的挑戰(zhàn)進(jìn)行討論，并展望未來(lái)發(fā)展方向。

2 殘差神經(jīng)網(wǎng)絡(luò)基本原理

2.1 殘差神經(jīng)網(wǎng)絡(luò)框架

深度神經(jīng)網(wǎng)絡(luò)的深度對(duì)網(wǎng)絡(luò)的性能和準(zhǔn)確率有著很大的影響，但網(wǎng)絡(luò)并不是越深越好，這是由于增加網(wǎng)絡(luò)層數(shù)，梯度消失現(xiàn)象就會(huì)越來(lái)越明顯，網(wǎng)絡(luò)的訓(xùn)練效果也不會(huì)很好。為了解決以上問(wèn)題，殘差神經(jīng)網(wǎng)絡(luò)的出現(xiàn)解決了網(wǎng)絡(luò)加深帶來(lái)的梯度消失和網(wǎng)絡(luò)退化問(wèn)題，提升了網(wǎng)絡(luò)性能。如圖1所示，34層殘差神經(jīng)網(wǎng)絡(luò)由卷積層堆疊而成的殘差單元、池化層以及全連接層組成。殘差模塊可以分為恒等殘差塊與非恒等卷積殘差塊，殘差塊中的快捷連接(shortcut connections)有實(shí)線(xiàn)和虛線(xiàn)兩種。恒等殘差塊中的實(shí)線(xiàn)表示輸入圖像與輸出圖像通道數(shù)相同，可直接相加。非恒等卷積殘差塊中的虛線(xiàn)表示通道數(shù)不同，需要先通過(guò)1×1的卷積改變通道數(shù)，然后再相加。

圖1 34層殘差神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

卷積核是卷積層的重要組成部分，其本質(zhì)是特征提取，主要作用是自動(dòng)提取輸入圖像的深層信息。卷積操作是通過(guò)一個(gè)小的卷積核在圖像上滑動(dòng)，利用圖像局部信息進(jìn)行計(jì)算。卷積層由于其“局部連接”和“參數(shù)共享”的特點(diǎn)大大降低了網(wǎng)絡(luò)參數(shù)，保證了網(wǎng)絡(luò)的稀疏性，防止過(guò)擬合。卷積層參數(shù)由卷積核(filter)大小、移動(dòng)步長(zhǎng)(stride)和邊界填充(padding)組成，三者共同決定了輸出特征圖的大小。卷積核越小，感受野越小，可以捕捉到圖像的局部和細(xì)節(jié)信息。相反，大的感受野用于捕獲圖像更復(fù)雜、更抽象的信息。

池化層也稱(chēng)為“下采樣”層，池化層往往在卷積層后面，通過(guò)池化操作來(lái)降低卷積層輸出的特征向量，在減少數(shù)據(jù)量的同時(shí)保留有用的特征信息。池化的做法是對(duì)圖像的某一個(gè)區(qū)域用一個(gè)值代替，如最大值或平均值。如果采用最大值，稱(chēng)為最大池化；如果采用平均值，稱(chēng)為平均池化。池化層的主要作用是特征降維，壓縮數(shù)據(jù)和參數(shù)的數(shù)量，減少過(guò)擬合，同時(shí)提高模型的泛化能力。

全連接層一般位于網(wǎng)絡(luò)尾端，在神經(jīng)網(wǎng)絡(luò)中起到“分類(lèi)器”的作用，對(duì)前面逐層變換和映射提取的特征進(jìn)行回歸分類(lèi)處理。在全連接層中，特征圖會(huì)失去空間結(jié)構(gòu)，展開(kāi)為特征向量，并對(duì)由前面層級(jí)所提取到的特征進(jìn)行非線(xiàn)性組合得到輸出。

2.2 殘差單元

殘差神經(jīng)網(wǎng)絡(luò)是由多個(gè)殘差單元(residual unit)堆疊而成，如圖2所示，殘差單元由卷積(conv)層、批量歸一化(Batch Normalization， BN)層和整流線(xiàn)性單元 (Rectified Linear Unit， ReLU)函數(shù)組成。假設(shè)某段神經(jīng)網(wǎng)絡(luò)的輸入是x，期望輸出是H(x)，F(xiàn)(x)表示殘差函數(shù)。根據(jù)圖2所示的殘差單元結(jié)構(gòu)可知，如果直接把輸入x傳到輸出作為初始結(jié)果，可知輸出結(jié)果為H(x)=F(x)+x，那么需要學(xué)習(xí)的目標(biāo)就是F(x)=H(x)-x，即殘差。殘差神經(jīng)網(wǎng)絡(luò)不是直接學(xué)習(xí)潛在映射H(x)，而是通過(guò)恒等映射后擬合了一個(gè)殘差映射(residual mapping)：F(x)=H(x)-x。殘差映射相比潛在映射更容易優(yōu)化，從而解決了深度增加后產(chǎn)生的梯度消失問(wèn)題和網(wǎng)絡(luò)退化問(wèn)題。

圖2 殘差單元示意圖

殘差單元通過(guò)快捷連接實(shí)現(xiàn)恒等映射(identity mapping)，將原始所需要學(xué)習(xí)的函數(shù)H(x)轉(zhuǎn)換成F(x)+x?？旖葸B接有兩種不同的連接方式，當(dāng)輸入和輸出維度一致時(shí)，可以直接將輸入加到輸出上。但是當(dāng)維度不一致時(shí)，不能直接相加，此時(shí)有兩種策略：

(1)采用零填充(Zero-padding)增加維度。一般需要進(jìn)行下采樣，可以采用步長(zhǎng)為2的池化操作，不會(huì)增加參數(shù)。

(2)采用新的映射Projection Shortcut。一般采用1×1卷積操作，會(huì)增加參數(shù)和計(jì)算量?？旖葸B接除了直接使用恒等映射，也可以采用Projection Shortcut。通過(guò)捷徑將輸入和輸出進(jìn)行基于元素的加法操作，不會(huì)給網(wǎng)絡(luò)增加額外的參數(shù)和計(jì)算量，但可以大大增加模型的訓(xùn)練速度。當(dāng)模型的層數(shù)加深時(shí)，能夠很好地解決退化問(wèn)題。

3 殘差神經(jīng)網(wǎng)絡(luò)改進(jìn)機(jī)制

殘差神經(jīng)網(wǎng)絡(luò)是通過(guò)堆疊多個(gè)殘差單元來(lái)解決梯度消失和網(wǎng)絡(luò)退化問(wèn)題的多層神經(jīng)網(wǎng)絡(luò)，對(duì)殘差神經(jīng)網(wǎng)絡(luò)進(jìn)行研究是近幾年的熱點(diǎn)。下面將殘差神經(jīng)網(wǎng)絡(luò)的最新研究從殘差單元、殘差連接以及網(wǎng)絡(luò)整體結(jié)構(gòu)3方面進(jìn)行總結(jié)。

3.1 殘差單元

在殘差神經(jīng)網(wǎng)絡(luò)中，基本殘差單元由卷積層、BN層、ReLU層和跳躍連接組成。其中，通過(guò)跳躍連接可以緩解梯度消失現(xiàn)象，殘差單元的結(jié)構(gòu)很大程度上決定網(wǎng)絡(luò)的性能。近年來(lái)許多學(xué)者圍繞殘差單元的內(nèi)部組成和整體結(jié)構(gòu)進(jìn)行了大量研究，本文對(duì)這兩個(gè)方面進(jìn)行總結(jié)和歸納，具體如圖3所示。整體分為左右兩部分，左邊部分是基本殘差單元，輸入是肺部腫瘤PET-CT圖像，輸出是通過(guò)分類(lèi)得到的惡性和良性腫瘤圖像，其中殘差連接用紅色線(xiàn)條表示。右邊部分是卷積層、歸一化層、激活函數(shù)和整體結(jié)構(gòu)的最新研究進(jìn)展，與左邊殘差單元中的Conv， BN， ReLU和殘差單元整體結(jié)構(gòu)相對(duì)應(yīng)，分別用不同顏色表示。本文從卷積層、歸一化層、激活函數(shù)和整體結(jié)構(gòu)對(duì)殘差單元進(jìn)行總結(jié)。

圖3 殘差單元框架圖

3.1.1 卷積層

卷積層是通過(guò)“局部連接”和“權(quán)值共享”的特性來(lái)提取圖像中的關(guān)鍵特征，一般用圖像尺寸是奇數(shù)的正方形卷積核，遍歷圖像中的每一個(gè)像素點(diǎn)，圖像與卷積核重合區(qū)域內(nèi)相對(duì)應(yīng)的每一個(gè)像素值乘以卷積核內(nèi)相對(duì)應(yīng)點(diǎn)的權(quán)重，然后求和，再加上偏置，最后得到輸出圖像中的一個(gè)像素值。本文對(duì)卷積層進(jìn)行歸納和總結(jié)，具體如圖4所示，以時(shí)間線(xiàn)為軸，從最早1維卷積的出現(xiàn)到2021年按照時(shí)間順序?qū)?維卷積、反卷積、分組卷積、3維卷積、MLP卷積、擴(kuò)張卷積、卷積非對(duì)稱(chēng)分解、擴(kuò)張因果卷積、深度可分離卷積、可變形卷積、尺度不變卷積、卷積二值化進(jìn)行總結(jié)。

圖4 卷積層總結(jié)

(1)1維卷積常用于序列模型，它通過(guò)卷積核在一個(gè)維度方向上進(jìn)行滑動(dòng)窗口并相乘求和。Ma等人[10]提出1維卷積神經(jīng)網(wǎng)絡(luò)對(duì)健康和癌變的乳腺組織進(jìn)行分類(lèi)，利用1D卷積核來(lái)捕獲輸入光譜數(shù)據(jù)的特征。

(2)反卷積也稱(chēng)為轉(zhuǎn)置卷積，它是一種特殊的正向卷積，先按照一定的比例通過(guò)補(bǔ)零來(lái)擴(kuò)大輸入圖像的尺寸，接著旋轉(zhuǎn)卷積核，最后進(jìn)行正向卷積。Fang等人[11]利用卷積和反卷積操作對(duì)COVID-19圖像進(jìn)行預(yù)處理，增強(qiáng)局部ROI病變區(qū)域的圖像特征，提高了COVID-19分類(lèi)精度。

(3)分組卷積是將輸入層的不同特征圖進(jìn)行分組，然后采用不同的卷積核再對(duì)各個(gè)組進(jìn)行卷積，可降低卷積的計(jì)算量。相比原始卷積整合所有通道特征圖的值，分組卷積只整合本組通道內(nèi)特征圖的值。Zhang等人[12]在ShuffleNet單元中利用分組卷積，然后將分組卷積后的特征圖按照通道混洗操作將通道進(jìn)行均勻混合，可以更好地獲取全局信息。

(4)3維卷積是以立體卷積塊的形式進(jìn)行卷積，3D卷積核可以在圖像的高度、寬度和通道3個(gè)方向上進(jìn)行移動(dòng)。Cao等人[13]提出的混合擴(kuò)張殘差網(wǎng)絡(luò)3D-2D SSHDR用于高光譜圖像分類(lèi)，采用3D卷積構(gòu)成的光譜殘差塊學(xué)習(xí)光譜特征，可以減少參數(shù)數(shù)量。

(5) 多層感知器(Multilayer Perceptron，MLP)卷積[14]是在NIN網(wǎng)絡(luò)中提出的用以代替?zhèn)鹘y(tǒng)卷積層，MLP卷積使用MLP將輸入局部補(bǔ)丁映射到輸出特征向量。

(6)擴(kuò)張卷積是在標(biāo)準(zhǔn)的卷積核中注入空洞，以此來(lái)增加模型的感受野，捕獲多尺度上下文信息。Lu等人[15]提出一種由金字塔擴(kuò)張卷積集成的ResNet用于神經(jīng)膠質(zhì)瘤分類(lèi)，將金字塔擴(kuò)張卷積模塊集成到ResNet網(wǎng)絡(luò)的底部以增強(qiáng)感受野，提高分類(lèi)精度。

(7)Szegedy等人[16]在InceptionV3網(wǎng)絡(luò)中對(duì)卷積進(jìn)行非對(duì)稱(chēng)分解，通過(guò)將n×n的卷積分解成1×n和n×1的卷積并串聯(lián)起來(lái)，加深網(wǎng)絡(luò)的同時(shí)減小了計(jì)算量。

(8)擴(kuò)張因果卷積由因果卷積和擴(kuò)張卷積組成，因果卷積常用于序列問(wèn)題，在因果卷積中時(shí)間t的狀態(tài)預(yù)測(cè)依賴(lài)前t-1個(gè)狀態(tài)，具有因果關(guān)系。Yan等人[17]在預(yù)測(cè)厄爾尼諾現(xiàn)象-南方濤動(dòng)中使用擴(kuò)張因果卷積，增大了模型的感受野。

(9)深度可分離卷積是在MobileNet[18]網(wǎng)絡(luò)中提出的，其中逐深度卷積對(duì)每一個(gè)通道進(jìn)行各自的卷積操作，一個(gè)卷積核負(fù)責(zé)一個(gè)通道，得到新的通道特征圖后，通過(guò)逐點(diǎn)卷積使用1×1卷積核進(jìn)行通道的像素融合。相對(duì)于普通卷積，深度可分離卷積減少了參數(shù)量，實(shí)現(xiàn)了通道和區(qū)域的分離。Prasetyo等人[19]提出一種多級(jí)殘差(MLR)網(wǎng)絡(luò)，通過(guò)采用深度可分離卷積以調(diào)整目標(biāo)層中的特征圖大小，將初始?jí)K的低級(jí)特征與最后一個(gè)塊的高級(jí)特征相結(jié)合，減少參數(shù)和計(jì)算量。

(10)由于傳統(tǒng)的卷積采用固定尺寸的卷積核，不能很好地適應(yīng)幾何形變，Dai等人[20]提出可變形卷積，將2D偏移量添加到標(biāo)準(zhǔn)卷積中的常規(guī)采樣位置，使采樣網(wǎng)格自由變形，可以使得卷積核在當(dāng)前位置附近隨意采樣。

(11)尺度不變(SI)卷積[21]是將輸入轉(zhuǎn)換為多分辨率金字塔，使用相同的卷積核進(jìn)行卷積，然后重新縮放回原始尺寸，最后執(zhí)行最大池化操作以實(shí)現(xiàn)縮放不變。由SI卷積代替殘差單元中的每個(gè)基本卷積構(gòu)成SI殘差單元，不會(huì)遭受梯度消失或爆炸的困擾。

(12)局部二值化殘差塊(LBB)[22]是通過(guò)將3×3卷積進(jìn)行二值化、1×1卷積保持實(shí)值對(duì)殘差單元進(jìn)行改進(jìn)，可以節(jié)省計(jì)算量，減少模型大小，避免過(guò)擬合。

3.1.2 歸一化層

歸一化操作是把需要處理的數(shù)據(jù)經(jīng)過(guò)某種算法處理后限制在一定范圍內(nèi)。使用網(wǎng)絡(luò)模型時(shí)需要保證訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)同分布，在深度學(xué)習(xí)中往往對(duì)網(wǎng)絡(luò)的每一層都做歸一化處理，以保證每次處理的數(shù)據(jù)分布一致，使得層與層之間更加獨(dú)立，依賴(lài)更小。

在傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)里，過(guò)高的學(xué)習(xí)率會(huì)導(dǎo)致梯度消失或者爆炸。2015年，Loffe等人[23]發(fā)現(xiàn)在訓(xùn)練中將神經(jīng)元的輸入歸一化到零均值和單位方差可以大大減少深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間，但是由于網(wǎng)絡(luò)中參數(shù)變化而引起內(nèi)部結(jié)點(diǎn)數(shù)據(jù)分布發(fā)生變化產(chǎn)生的內(nèi)部協(xié)變量偏移現(xiàn)象，使得訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)變得復(fù)雜，導(dǎo)致訓(xùn)練速度降低，于是作者提出批量歸一化(BN)來(lái)解決這個(gè)問(wèn)題。批量歸一化可以通過(guò)歸一化激活值，防止參數(shù)的微小變化在網(wǎng)絡(luò)中擴(kuò)散，增加了模型訓(xùn)練對(duì)參數(shù)大小變化的容忍度，以達(dá)到快速收斂和提高性能的目的。訓(xùn)練時(shí)，BN通過(guò)當(dāng)前輸入批次所有樣本的均值和方差來(lái)對(duì)輸入進(jìn)行縮放，從而加快訓(xùn)練速度，測(cè)試時(shí)，用訓(xùn)練時(shí)數(shù)據(jù)的均值和方差的無(wú)偏估計(jì)對(duì)輸入進(jìn)行歸一化操作。BN打破了以往在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中只能對(duì)輸入層數(shù)據(jù)進(jìn)行歸一化處理的局限，使得可以在網(wǎng)絡(luò)中任意一層進(jìn)行歸一化處理，在一定程度緩解了深層網(wǎng)絡(luò)中梯度消失問(wèn)題，從而使得訓(xùn)練深層網(wǎng)絡(luò)更加穩(wěn)定。

除了經(jīng)典的批量歸一化算法，歸一化算法還包括批量重歸一化(Batch ReNormalization， BRN)、層歸一化(Layer Normalization， LN)、實(shí)例歸一化(Instance Normalization， IN)、組歸一化(Group Normalization， GN)、自適配歸一化(Switchable Normalization， SN)和權(quán)重歸一化(Weight Normalization， WN)。如圖5所示是常用的5種歸一化算法的圖示，圖中深綠色方塊是歸一化算法計(jì)算均值和方差的區(qū)域。表1是對(duì)歸一化算法進(jìn)行總結(jié)，其中，C表示通道數(shù)，N表示批量大小，H和W表示特征圖的高度和寬度，G表示通道的分組數(shù)。批量歸一化是對(duì)一批數(shù)據(jù)的單通道維度進(jìn)行歸一化，對(duì)N×H×W個(gè)元素計(jì)算均值和方差，批量重歸一化與批量歸一化維度相同。層歸一化是對(duì)一層數(shù)據(jù)的全部通道做歸一化，計(jì)算C×H×W個(gè)元素的值。實(shí)例歸一化是對(duì)每個(gè)樣本和每個(gè)通道沿著H和W維度計(jì)算H×W個(gè)元素的均值和方差。組歸一化將通道數(shù)分為G組，每組有|C/G|個(gè)通道，對(duì)這些通道的元素求均值和方差，計(jì)算|C/G|×H×W個(gè)元素的均值和方差。自適配歸一化將BN， LN， IN結(jié)合，從通道、層和小批量3個(gè)方向來(lái)計(jì)算均值和方差。權(quán)重歸一化是對(duì)卷積核權(quán)重進(jìn)行歸一化，不受批量大小的影響。

表1 歸一化算法總結(jié)

圖5 歸一化算法圖示

(1)批量重歸一化(BRN)[24]的維度與BN維度相同，通過(guò)修正模型訓(xùn)練和測(cè)試之間的差別來(lái)解決批量歸一化用于小批量數(shù)據(jù)性能退化的問(wèn)題。Tian等人[25]將批量重歸一化融合到BRDNet中代替BN對(duì)數(shù)據(jù)進(jìn)行歸一化，解決內(nèi)部協(xié)變量偏移和小批量問(wèn)題，提高去噪網(wǎng)絡(luò)的收斂速度。

(2)層歸一化(LN)[26]不受批量大小的影響，是通過(guò)計(jì)算一層神經(jīng)元的所有累加輸入的均值和方差來(lái)進(jìn)行歸一化。王志揚(yáng)等人[27]提出去相關(guān)層歸一化方法，通過(guò)對(duì)單個(gè)樣本所有通道中加入白化操作，在保留原有網(wǎng)絡(luò)層歸一化的基礎(chǔ)上減少了輸入特征之間的相關(guān)性，使得通道上的數(shù)據(jù)特征表達(dá)具有獨(dú)立同分布的特點(diǎn)，提升層歸一化的泛化能力。

(3)實(shí)例歸一化(IN)[28]對(duì)每個(gè)樣本的H和W維度數(shù)據(jù)單獨(dú)做歸一化處理，不受通道和批量的影響，常用在圖像風(fēng)格化遷移中，可以提高生成圖片的質(zhì)量，并有效加快訓(xùn)練速度。Casella等人[29]提出一種具有實(shí)例歸一化時(shí)空特征的形狀約束對(duì)立框架用于自動(dòng)胎兒間膜分割，歸一化操作在實(shí)例和批處理級(jí)別執(zhí)行。

(4)組歸一化(GN)[30]將每個(gè)樣本的特征圖通道分為幾組，并在每組內(nèi)計(jì)算均值和方差以進(jìn)行歸一化。GN的計(jì)算不依賴(lài)批量大小，其準(zhǔn)確率在各種批量大小中都是穩(wěn)定的。

(5)自適配歸一化(SN)[31]使用可微分學(xué)習(xí)，通過(guò)動(dòng)態(tài)調(diào)節(jié)各種歸一化的權(quán)重，為深度網(wǎng)絡(luò)中的每一個(gè)歸一化層確定合適的歸一化操作。Zhong等人[32]設(shè)計(jì)TSSN-Net網(wǎng)絡(luò)解決特征匹配問(wèn)題，提出了兩步稀疏自適配歸一化塊，自適應(yīng)地在不同卷積層中切換歸一化操作，顯著提高了網(wǎng)絡(luò)的性能。

(6)權(quán)重歸一化(WN)[33]通過(guò)重寫(xiě)網(wǎng)絡(luò)權(quán)重w的方式來(lái)加速深度學(xué)習(xí)網(wǎng)絡(luò)參數(shù)收斂，采用WN進(jìn)行歸一化時(shí)需要特別注意參數(shù)初始值的選擇，而且不需要額外的空間來(lái)存儲(chǔ)小批量的均值和方差。Huang等人[34]通過(guò)將每個(gè)神經(jīng)元的傳入權(quán)重約束為單位范數(shù)，提出了基于投影的權(quán)重歸一化方法，已被證明是DNNs中斜流形優(yōu)化的有效方法。

3.1.3 激活函數(shù)

激活函數(shù)是通過(guò)對(duì)特征進(jìn)行非線(xiàn)性變換，使神經(jīng)網(wǎng)絡(luò)隨著深度的增加具有更高的擬合性，它模擬了生物神經(jīng)元的特性，即接受一組輸入信號(hào)并產(chǎn)生輸出。激活函數(shù)主要是為了在神經(jīng)網(wǎng)絡(luò)中添加非線(xiàn)性因素，用來(lái)激活或抑制神經(jīng)元，通過(guò)層級(jí)非線(xiàn)性映射的組合來(lái)提升整個(gè)神經(jīng)網(wǎng)絡(luò)的非線(xiàn)性表達(dá)能力。激活函數(shù)在決定深度學(xué)習(xí)模型的深度和非線(xiàn)性方面起著重要的作用，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中常用的激活函數(shù)有Sigmoid和Tanh函數(shù)，如圖6所示，Sigmoid函數(shù)中間區(qū)域增長(zhǎng)較快，兩端區(qū)域增長(zhǎng)較慢，其輸出值域在0 到1 之間，有很好的概率解釋性。Tanh函數(shù)是雙曲正切函數(shù)，其輸出在—1到1之間，它在Sigmoid激活函數(shù)基礎(chǔ)上又進(jìn)行了優(yōu)化，表現(xiàn)更為突出。但是，這兩個(gè)函數(shù)收斂較慢，而且容易出現(xiàn)梯度消失現(xiàn)象，當(dāng)輸入非常大或者非常小時(shí)，神經(jīng)元的梯度就接近于0，在反向傳播過(guò)程中前幾層網(wǎng)絡(luò)無(wú)法實(shí)現(xiàn)很好的參數(shù)更新，導(dǎo)致無(wú)法遞歸地學(xué)習(xí)輸入數(shù)據(jù)。

圖6 基本激活函數(shù)

在基本激活函數(shù)基礎(chǔ)上發(fā)展了很多其他類(lèi)型的激活函數(shù)，其中ReLU函數(shù)保留輸入的正值并將負(fù)值修改為零，解決了Sigmoid和Tanh存在的梯度消失問(wèn)題[35]，并且由于其非飽和特性，學(xué)習(xí)速度很快。然而，對(duì)于任何負(fù)值的輸入，ReLU死亡效應(yīng)總是輸出相同的值，導(dǎo)致神經(jīng)元不能更新參數(shù)。針對(duì)ReLU函數(shù)存在的“神經(jīng)元死亡”現(xiàn)象，出現(xiàn)了許多激活函數(shù)對(duì)其做出了改進(jìn)，這些函數(shù)分為3類(lèi)：ReLU型、ELU型和其它激活函數(shù)，下面對(duì)3類(lèi)激活函數(shù)進(jìn)行總結(jié)。

ReLU型激活函數(shù)包括ReLU， ReLU6，參數(shù)化整流線(xiàn)性單元(Parametric Rectified Linear Unit，PReLU)函數(shù)、泄露整流線(xiàn)性單元(Leaky Rectified Linear Unit， LReLU)函數(shù)、隨機(jī)泄露整流線(xiàn)性單元(Randomized leaky Rectified Linear Unit，RReLU)函數(shù)、串聯(lián)整流線(xiàn)性單元(Concatenated Rectified Linear Units， CReLU) 函數(shù)、S型整流線(xiàn)性激活單元(S-shaped Rectified Linear activation Unit， SReLU)函數(shù)、彈性整流線(xiàn)性單元(Elastic Rectifified Linear Unit， EReLU) 函數(shù)和彈性參數(shù)整流線(xiàn)性單元(Elastic Parametric Rectifified Linear Unit， EPReLU)函數(shù)。ReLU型激活函數(shù)圖像和公式如圖7所示，其中ReLU6限制最大輸出為6。一些激活函數(shù)針對(duì)負(fù)值部分做出了改進(jìn)，使得負(fù)軸的信息不會(huì)完全丟棄。在LReLU函數(shù)中，ReLU的負(fù)值部分被一個(gè)固定負(fù)斜率為0.01的線(xiàn)性函數(shù)代替，通過(guò)使用非零梯度，固定斜率可以保留小的負(fù)信號(hào)。PReLU是LReLU的一種改進(jìn)，從訓(xùn)練樣本中學(xué)習(xí)負(fù)斜率。RReLU通過(guò)在訓(xùn)練期間從均勻分布中采樣來(lái)隨機(jī)改變函數(shù)負(fù)值部分的斜率[36]。與RReLU不同，EReLU和EPReLU[37]對(duì)正值部分進(jìn)行了修改，EReLU的特點(diǎn)是每個(gè)正值在訓(xùn)練階段像彈簧一樣在中等范圍內(nèi)縮放，在測(cè)試時(shí)，EReLU成為標(biāo)準(zhǔn)ReLU。EPReLU是EReLU和PReLU的組合，能夠進(jìn)一步提高網(wǎng)絡(luò)的性能。CReLU通過(guò)改變其符號(hào)來(lái)保留負(fù)輸入作為額外的輸出通道，其輸出是輸入大小的2倍[38]。SReLU由3個(gè)分段線(xiàn)性函數(shù)和4個(gè)學(xué)習(xí)參數(shù)組成，可以學(xué)習(xí)凸函數(shù)和非凸函數(shù)，其中兩種函數(shù)的斜度以及函數(shù)相交的位置會(huì)在模型訓(xùn)練中被學(xué)習(xí)。

圖7 ReLU型激活函數(shù)

ELU型激活函數(shù)包括指數(shù)線(xiàn)性單元(Exponential Linear Unit， ELU)函數(shù)、縮放指數(shù)線(xiàn)性單元(Scaled Exponential Linear Unit， SELU)函數(shù)、參數(shù)化指數(shù)線(xiàn)性單元(Parametric Exponential Linear Unit， PELU)函數(shù)、高斯誤差線(xiàn)性單元(Gaussian Error Linear Unit， GELU)函數(shù)、連續(xù)可微指數(shù)線(xiàn)性單元(Continuously Differentiable Exponential Linear Unit， CELU)函數(shù)、彈性指數(shù)線(xiàn)性單元(Elastic Exponential Linear Unit， EELU)函數(shù)、多參數(shù)指數(shù)線(xiàn)性單元(Multiple Parametric Exponential Linear Units， MPELU)函數(shù)和參數(shù)可變形指數(shù)線(xiàn)性單元(Parametric Deformable Exponential Linear Unit， PDELU)函數(shù)。ELU的引入以減少偏置偏移效應(yīng)，在小于零的部分采用了負(fù)指數(shù)形式，保證對(duì)輸入變化的魯棒性[39]。它通過(guò)負(fù)輸入實(shí)現(xiàn)更快的學(xué)習(xí)，將輸出均值推近于零，加快收斂速度。隨著輸入變小，ELU飽和為負(fù)值，使用ELU函數(shù)可以使殘差網(wǎng)絡(luò)具有更快的學(xué)習(xí)速度和更高的分類(lèi)精度。ELU型激活函數(shù)圖像和公式如圖8所示，一些函數(shù)沒(méi)有圖像，故只給出函數(shù)公式。SELU輸出在沒(méi)有外部歸一化的情況下被歸一化，采用兩個(gè)固定參數(shù)λ和α用于在負(fù)輸入?yún)^(qū)域中縮放輸出和塑造函數(shù)[40]。PELU引入了可學(xué)習(xí)參數(shù)α和β，以靈活地確定ELU負(fù)值區(qū)域的大小，研究表明在深度學(xué)習(xí)模型中使用PELU會(huì)帶來(lái)性能提升，但在使用批量歸一化時(shí)，PELU也會(huì)出現(xiàn)性能下降[41]。GELU在激活中引入了隨機(jī)正則的思想，對(duì)于輸入乘以一個(gè)0，1組成的掩碼，而該掩碼的生成則是按照概率隨機(jī)地依賴(lài)輸入。CELU[42]提出了另一種參數(shù)化，它對(duì)于所有α值都是連續(xù)的，使整流器更容易推理并使α更容易調(diào)整，而且負(fù)值的激活被修改，以確保x=0處所有α值的函數(shù)導(dǎo)數(shù)為1。EELU是由Kim等人[43]提出的，結(jié)合了ReLU和ELU函數(shù)的優(yōu)點(diǎn)，EELU在正信號(hào)部分有一個(gè)彈性斜率并通過(guò)使用小的非零梯度保持負(fù)信號(hào)，減少偏移效應(yīng)，而且還利用高斯分布在激活函數(shù)中插入神經(jīng)元噪聲，以提高泛化能力。MPELU[44]是一種統(tǒng)一ReLU， LReLU，PReLU和ELU的函數(shù)，具有更好的分類(lèi)性能和收斂性，MPELU在正值區(qū)域與ReLU相同，α(c)和β(c)是用于確定負(fù)值區(qū)域中函數(shù)形狀及其權(quán)重的學(xué)習(xí)參數(shù)。Cheng等人[45]提出PDELU，引入了t-變形指數(shù)函數(shù)，其中參數(shù)t是控制變形程度的，可以賦值找到最佳的變形指數(shù)函數(shù)，PDELU可以將激活單元響應(yīng)的平均值推近于零，從而確保了在訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)時(shí)梯度的最大下降。

圖8 ELU型激活函數(shù)

其它激活函數(shù)包括SoftPlus， Noisy Softplus，Softsign， Swish， Mish， SoftExponential， Maxout和自適應(yīng)分段線(xiàn)性激活單元(Adaptive Piecewise Linear Activation Unit， APL)函數(shù)。其它激活函數(shù)圖像和公式如圖9所示，一些函數(shù)沒(méi)有圖像，故只給出函數(shù)公式。SoftPlus是ReLU的平滑版本，相比于早期的激活函數(shù)，SoftPlus和ReLU更加接近腦神經(jīng)元的激活模型。杜進(jìn)等人[46]通過(guò)將ReLU換成Noisy SoftPlus函數(shù)，提高了深度殘差網(wǎng)絡(luò)的表情識(shí)別精度，Noisy SoftPlus通過(guò)在SoftPlus中引入噪聲參數(shù)，同時(shí)對(duì)神經(jīng)元的輸出響應(yīng)特性進(jìn)行刻畫(huà)，能夠更加準(zhǔn)確地刻畫(huà)生物神經(jīng)元的輸入特性。Softsign和Tanh一樣，是反對(duì)稱(chēng)、去中心、可微分的函數(shù)，并返回—1和1之間的值，但是比Tanh更好地解決梯度消失的問(wèn)題。Swish是一種自門(mén)控的激活函數(shù)，它通過(guò)將Sigmoid函數(shù)乘以輸入來(lái)門(mén)控函數(shù)輸出，具有平滑、非單調(diào)、無(wú)上界、有下界的特性。Mish以上無(wú)邊界避免了由于封頂而導(dǎo)致的飽和。Maxout是由Goodfellow等人[47]提出的一個(gè)可學(xué)習(xí)的分段線(xiàn)性函數(shù)，可以擬合任意的凸函數(shù)，它是在多個(gè)線(xiàn)性函數(shù)中選擇最大值作為輸出。Agostinelli提出APL函數(shù)[48]，可以通過(guò)添加幾個(gè)鉸鏈形線(xiàn)性函數(shù)來(lái)實(shí)現(xiàn)凸函數(shù)或非凸函數(shù)。

圖9 其它激活函數(shù)

近年來(lái)，許多研究者對(duì)殘差單元中所用到的激活函數(shù)進(jìn)行了修改，提升了網(wǎng)絡(luò)性能。Yildiz等人[49]通過(guò)在深度殘差網(wǎng)絡(luò)中引入LReLU函數(shù)對(duì)噪聲進(jìn)行分解，可以克服ReLU死亡問(wèn)題，并加速訓(xùn)練。Yan等人[50]對(duì)單幅圖像去霧時(shí)在殘差塊中使用PReLU激活函數(shù)，緩解了梯度消失問(wèn)題，并加快網(wǎng)絡(luò)收斂速度。Tariq等人[51]對(duì)ResNet-50網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，在卷積塊中的不同位置采用ReLU，SELU和ELU激活函數(shù)，用來(lái)提高網(wǎng)絡(luò)的訓(xùn)練過(guò)程。由此可見(jiàn)，激活函數(shù)對(duì)殘差神經(jīng)網(wǎng)絡(luò)性能提升具有重要意義。

3.1.4 殘差單元整體結(jié)構(gòu)

通過(guò)對(duì)殘差單元整體結(jié)構(gòu)的改進(jìn)，可以有效地解決退化問(wèn)題，提高網(wǎng)絡(luò)性能。將殘差單元整體結(jié)構(gòu)從多尺度殘差單元、多分支殘差單元、殘差單元重構(gòu)、殘差單元結(jié)合其它方法4個(gè)方面總結(jié)，如圖10所示。

圖10 殘差單元整體結(jié)構(gòu)

(1)多尺度殘差單元。通過(guò)多尺度卷積，使用不同尺寸的卷積核提取不同尺度的特征，最后將不同尺度的特征聚合。多尺度卷積可以提取全局的整體信息和局部的詳細(xì)信息。Gao等人[52]提出多尺度架構(gòu)Res2Net，通過(guò)在一個(gè)殘差塊內(nèi)構(gòu)造分層的類(lèi)殘差連接，以更細(xì)粒度級(jí)別提高了CNN的多尺度表征能力，增加了網(wǎng)絡(luò)的感受野。為了自適應(yīng)提取和融合不同尺度的圖像特征，Qin等人[53]提出多尺度特征融合殘差塊(MSFFRB)，基于該殘差塊提出多尺度特征融合殘差網(wǎng)絡(luò)，可以充分利用局部多尺度特征和層次特征來(lái)生成準(zhǔn)確的超分辨率圖像。

(2)多分支殘差單元。將殘差單元分為多個(gè)分支，提高網(wǎng)絡(luò)結(jié)構(gòu)的擬合能力。Xie等人[54]提出多分支體系結(jié)構(gòu)ResNeXt，ResNeXt由具有相同拓?fù)浣Y(jié)構(gòu)的殘差塊堆疊而成，殘差塊利用分割-轉(zhuǎn)換-融合策略，并使用VGG和ResNet高度模塊化的設(shè)計(jì)，節(jié)省了計(jì)算開(kāi)銷(xiāo)。Zhang等人[55]提出ResNeSt采用拆分思想，每個(gè)ResNeSt塊都沿通道維數(shù)將特征圖分為幾組，其中每組的特征表示是根據(jù)全局上下文信息選擇權(quán)重，通過(guò)其拆分表示的加權(quán)組合來(lái)確定的。

(3)殘差單元重構(gòu)。通過(guò)改變Conv， BN和ReLU的位置或者增多、減少其個(gè)數(shù)實(shí)現(xiàn)殘差單元的重構(gòu)，可以提高模型的泛化能力和網(wǎng)絡(luò)性能。He等人[56]在ResNetV2網(wǎng)絡(luò)中采用預(yù)激活的方式改進(jìn)殘差單元，即將BN， ReLU轉(zhuǎn)移到卷積層之前，使得模型訓(xùn)練更加簡(jiǎn)單，泛化能力更強(qiáng)，加強(qiáng)模型的正則化。Han等人[57]提出深層金字塔殘差網(wǎng)絡(luò)，為了最大限度提高網(wǎng)絡(luò)的性能，在每個(gè)殘差單元模塊中刪除第1個(gè)ReLU函數(shù)，保留其它ReLU函數(shù)以確保非線(xiàn)性，并在最后一個(gè)卷積層之后添加BN層。

(4)殘差單元結(jié)合其它方法。Zhou等人[58]提出具有離散參數(shù)的殘差神經(jīng)網(wǎng)絡(luò)用于白內(nèi)障分類(lèi)。通過(guò)在殘差單元中添加統(tǒng)一離散或者指數(shù)離散，能夠減少網(wǎng)絡(luò)存儲(chǔ)內(nèi)存，并且可以防止小型訓(xùn)練集的過(guò)擬合。Zhao等人[59]提出通道間共享閾值和通道間不同閾值的深度殘差收縮網(wǎng)絡(luò)，將軟閾值化作為非線(xiàn)性層嵌入到殘差結(jié)構(gòu)之中，將不重要的特征置為零，以有效地消除與噪聲相關(guān)的特征。

3.2 殘差連接

原始?xì)埐顔卧ㄟ^(guò)殘差連接實(shí)現(xiàn)恒等映射。加入捷徑的殘差網(wǎng)絡(luò)模型，在訓(xùn)練過(guò)程中低層誤差可以通過(guò)捷徑快速地向上一層進(jìn)行傳遞，保證了反向傳播過(guò)程中參數(shù)的更新，從而可以避免由于網(wǎng)絡(luò)加深而造成的梯度消失問(wèn)題。本節(jié)從Add型殘差連接、Concat型殘差連接和拓?fù)浣Y(jié)構(gòu)3方面總結(jié)。

3.2.1 Add型殘差連接

Add型殘差連接是當(dāng)輸入圖像和輸出圖像尺寸相同時(shí)進(jìn)行元素級(jí)相加。如圖11(a)所示，若輸入與輸出圖像通道數(shù)相同，則可以直接使用原始?xì)埐顔卧暮愕扔成溥M(jìn)行學(xué)習(xí)，若通道數(shù)不同，快捷連接上需要增加一個(gè)1×1卷積層和BN層，其作用是進(jìn)行維度匹配，不參與網(wǎng)絡(luò)層數(shù)運(yùn)算。Add型殘差連接主要模型有以下兩種：

圖11 殘差連接示意圖

(1)為了獲得具有更多層次和紋理特征的全景圖像，Liu等人[60]提出多焦點(diǎn)圖像融合算法，低頻系數(shù)融合使用ResNet-50獲得低頻系數(shù)圖像的空間信息特征，其中殘差塊的恒等映射部分由卷積層和歸一化層組成，目的是確保恒等映射的尺寸與通過(guò)殘差函數(shù)獲得的特征的尺寸一致。

(2)Arsalan等人[61]提出一種用于皮膚分割的基于外部殘差跳躍連接的深度卷積神經(jīng)網(wǎng)絡(luò)OR-Skip-Net，編碼器通過(guò)外部殘差跳躍連接將空間邊緣信息提供給相應(yīng)的解碼器塊，跳躍連接包含1×1卷積層和BN層，來(lái)源于編碼器的每一個(gè)ReLU激活層之后。

3.2.2 Concat型殘差連接

原始?xì)埐钸B接方式通過(guò)元素級(jí)相加，Concat操作是在特征圖大小相同的情況下進(jìn)行通道拼接。Concat型殘差連接如圖11(b)所示，通過(guò)將原來(lái)的“Add”變成“Concat”以增加特征圖的通道數(shù)。Concat型殘差連接主要模型有以下兩種：

(1)Zhang等人[12]提出一種用于移動(dòng)設(shè)備上的網(wǎng)絡(luò)ShuffleNet，其中殘差模塊最后的合并操作由原來(lái)的“Add”變成了“Concat”以增加通道數(shù)。

(2)Jia等人[62]提出3D對(duì)抗金字塔形各向異性卷積深度神經(jīng)網(wǎng)絡(luò)用于MR圖像中的前列腺分割，其中金字塔卷積塊是由不同大小的卷積并行構(gòu)造的，以形成空間金字塔卷積結(jié)構(gòu)，通過(guò)Concat操作可以融合不同區(qū)域的特征，減少不同圖像比例下的上下文信息的丟失。

3.2.3 拓?fù)浣Y(jié)構(gòu)

殘差連接拓?fù)浣Y(jié)構(gòu)改進(jìn)是對(duì)原始?xì)埐钸B接進(jìn)行改進(jìn)。基本殘差單元中的殘差連接通過(guò)跨越2個(gè)或3個(gè)卷積層進(jìn)行連接，殘差連接拓?fù)浣Y(jié)構(gòu)改進(jìn)包括殘差單元中卷積層完全連接和殘差單元之間添加跳躍連接，如圖12所示。

圖12 拓?fù)浣Y(jié)構(gòu)

(1)Alotaibi等人[63]提出一種用于高光譜圖像分類(lèi)的深度ResNet和Inception混合模型，如圖12的左邊部分，該模型由兩個(gè)完全連接的級(jí)聯(lián)殘差塊組成，通過(guò)殘差連接使得殘差塊中的每個(gè)卷積層都接收之前所有卷積層的輸入，可以得到更好的分類(lèi)性能。

(2)Liu等人[64]提出一種多尺度殘差網(wǎng)絡(luò)(Multi-Scale Residual Network， MSResNet)，如圖12的右邊部分，該網(wǎng)絡(luò)在每個(gè)殘差單元到下一個(gè)殘差單元之間增加了一個(gè)跳躍連接，融合了不同殘差單元的輸出特征，既能兼容高層的語(yǔ)義特征，又能有效利用低層的判別特征，有助于準(zhǔn)確獲取目標(biāo)對(duì)象的位置信息。

3.3 網(wǎng)絡(luò)整體結(jié)構(gòu)

原始?xì)埐罹W(wǎng)絡(luò)結(jié)構(gòu)仍然存在一些問(wèn)題，難以在很深的網(wǎng)絡(luò)上進(jìn)行收斂。為了對(duì)殘差神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，對(duì)整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，可以有效地減少過(guò)擬合，提高網(wǎng)絡(luò)學(xué)習(xí)能力。本文對(duì)網(wǎng)絡(luò)整體結(jié)構(gòu)從并行殘差網(wǎng)絡(luò)、多尺度殘差網(wǎng)絡(luò)、隨機(jī)深度網(wǎng)絡(luò)、多路徑殘差網(wǎng)絡(luò)、寬殘差網(wǎng)絡(luò)、遞歸殘差網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)中的殘差網(wǎng)絡(luò)7個(gè)方面進(jìn)行總結(jié)，主要模型如圖13所示。

圖13 殘差神經(jīng)網(wǎng)絡(luò)整體結(jié)構(gòu)

(1)并行殘差網(wǎng)絡(luò)。通過(guò)幾個(gè)并行分支充分提取圖像特征，提高網(wǎng)絡(luò)精度，并減少網(wǎng)絡(luò)計(jì)算量。為了充分提取高分辨率圖像的特征，提高分類(lèi)精度，Lu等人[65]提出一種基于3維通道和空間注意力的多尺度空間譜殘差網(wǎng)絡(luò)，3分支架構(gòu)由3級(jí)獨(dú)立且并行的殘差塊組成，通過(guò)使用不同的3維卷積核從各自的殘差塊中連續(xù)學(xué)習(xí)光譜和空間特征。Zhang等人[66]提出空間殘差塊結(jié)合并行網(wǎng)絡(luò)用于高光譜圖像分類(lèi)，采用具有相同結(jié)構(gòu)和共享參數(shù)的并行分支提取光譜特征，以減少可訓(xùn)練的參數(shù)并優(yōu)化計(jì)算。

(2)多尺度殘差網(wǎng)絡(luò)。使用不同尺度卷積提取豐富的多尺度特征，有效解決了單尺度卷積核感受野有限的問(wèn)題。Fu等人[67]提出多尺度殘差金字塔注意力網(wǎng)絡(luò)用于醫(yī)學(xué)圖像融合，使用不同尺度卷積提取金字塔中的特征，具有更好的特征提取和表達(dá)能力。Ma[68]提出多尺度殘差注意力網(wǎng)絡(luò)，用于在穿墻情況下區(qū)分靜止的人和動(dòng)物，該網(wǎng)絡(luò)的特征提取部分由5個(gè)含有多尺度結(jié)構(gòu)的細(xì)節(jié)塊堆疊而成，主干分支是并行3×3卷積和5×5卷積的多尺度學(xué)習(xí)結(jié)構(gòu)，分別學(xué)習(xí)細(xì)尺度和粗尺度的特征。

(3)隨機(jī)深度網(wǎng)絡(luò)。針對(duì)深層網(wǎng)絡(luò)表達(dá)能力強(qiáng)但是更難訓(xùn)練的問(wèn)題，Huang等人[69]提出隨機(jī)深度網(wǎng)絡(luò)，通過(guò)在訓(xùn)練過(guò)程中隨機(jī)丟棄一些殘差單元將深層網(wǎng)絡(luò)變成淺層網(wǎng)絡(luò)，可以顯著提高ResNet的泛化能力。

(4)多路徑殘差網(wǎng)絡(luò)。通過(guò)多條路徑提取特征，可以緩解梯度消失問(wèn)題，提高網(wǎng)絡(luò)參數(shù)效率。Zhang等人[70]提出ScaleNet由堆疊的卷積-反卷積塊和多路徑殘差結(jié)構(gòu)組成，多路徑殘差結(jié)構(gòu)包括每個(gè)卷積-反卷積塊內(nèi)的跳躍連接和每?jī)蓚€(gè)相鄰卷積-反卷積塊之間的跳躍連接，以提高網(wǎng)絡(luò)的參數(shù)效率。為了改善CT圖像中的肺結(jié)節(jié)的分割性能，Liu等人[71]提出級(jí)聯(lián)雙通道殘差網(wǎng)絡(luò)(CDP-ResNet)，基于殘差塊的雙路徑網(wǎng)絡(luò)由感受野較小的7×7的局部路徑和感受野較大的13×13的全局路徑組成，在局部路徑的第1個(gè)殘差塊之后添加1個(gè)殘差塊來(lái)融合兩條路徑提取的特征。

(5)寬殘差網(wǎng)絡(luò)。寬殘差網(wǎng)絡(luò)通過(guò)增加特征圖的通道數(shù)達(dá)到對(duì)網(wǎng)絡(luò)加寬的目的。Zagoruyko等人[72]提出一種基于擴(kuò)展通道數(shù)學(xué)習(xí)機(jī)制的寬殘差網(wǎng)絡(luò)(WRNs)，通過(guò)增加特征圖的通道數(shù)來(lái)增大網(wǎng)絡(luò)的寬度，進(jìn)而有效地提高了網(wǎng)絡(luò)性能。Shi等人[73]提出基于固定跳躍連接的漸進(jìn)式寬殘差網(wǎng)絡(luò)(progressive Wide Residual Network with a Fixed Skip Connection， FSCWRN)用于MR圖像重建，采用漸進(jìn)式寬網(wǎng)絡(luò)代替更深層的網(wǎng)絡(luò)，實(shí)驗(yàn)表明該算法的性能優(yōu)于其它最新的重建算法。

(6)遞歸殘差網(wǎng)絡(luò)。該網(wǎng)絡(luò)是由共享權(quán)重的殘差單元組成的遞歸塊形成的，使用遞歸學(xué)習(xí)可以在增加網(wǎng)絡(luò)層數(shù)的基礎(chǔ)上減少網(wǎng)絡(luò)參數(shù)，使網(wǎng)絡(luò)性能更優(yōu)。Tai等人[74]提出用于單幅圖像超分辨率的深度遞歸殘差網(wǎng)絡(luò)(Deep Recursive Residual Network， DRRN)，使用遞歸學(xué)習(xí)以控制模型參數(shù)，同時(shí)增加網(wǎng)絡(luò)深度。Jin等人[75]提出雙流遞歸殘差網(wǎng)絡(luò)(Dual-Stream Recursive Residual Network，STRRN)，將全局、局部和多路徑中間殘差學(xué)習(xí)與遞歸學(xué)習(xí)相結(jié)合，以在每個(gè)流上形成多路徑遞歸殘差網(wǎng)絡(luò)，不僅有助于梯度流動(dòng)和低級(jí)特征傳輸，而且減少了參數(shù)數(shù)量。

(7)殘差網(wǎng)絡(luò)中的殘差網(wǎng)絡(luò)。由于通過(guò)簡(jiǎn)單堆疊殘差塊來(lái)構(gòu)建殘差網(wǎng)絡(luò)限制其優(yōu)化能力，Zhang等人[76]提出殘差網(wǎng)絡(luò)中的殘差網(wǎng)絡(luò)(Residual Networks Of Residual Networks， ROR)，ROR在原始?xì)埐罹W(wǎng)絡(luò)上增加了層級(jí)的快捷連接，用優(yōu)化殘差映射中的殘差映射代替優(yōu)化原始?xì)埐钣成?，提高了殘差網(wǎng)絡(luò)的學(xué)習(xí)能力。

4 ResNet與其它模型結(jié)合及其在醫(yī)學(xué)圖像領(lǐng)域中的應(yīng)用

殘差神經(jīng)網(wǎng)絡(luò)由于其出色的性能在醫(yī)學(xué)圖像領(lǐng)域而廣泛應(yīng)用，目前在良惡性腫瘤、肺癌、乳腺癌、皮膚疾病、心腦血管疾病等重大疾病的臨床輔助診斷方面取得良好效果。由于單個(gè)網(wǎng)絡(luò)的性能有限，越來(lái)越多的研究發(fā)現(xiàn)ResNet與其它網(wǎng)絡(luò)模型結(jié)合是一個(gè)重要的發(fā)展方向。在醫(yī)學(xué)圖像領(lǐng)域，從ResNet與DenseNet， U-Net， Inception結(jié)構(gòu)、注意力機(jī)制結(jié)合的角度對(duì)醫(yī)學(xué)圖像分類(lèi)識(shí)別、分割、融合、檢測(cè)、合成、去噪、超分辨率等方面進(jìn)行綜述，期望為臨床醫(yī)生提供幫助，為醫(yī)療行業(yè)提供更大的便利。

4.1 與密集連接神經(jīng)網(wǎng)絡(luò)結(jié)合

相比ResNet，密集連接神經(jīng)網(wǎng)絡(luò)(Dense Connection Neural Network， DenseNet)[77]提出一個(gè)密集連接機(jī)制：互連所有層，每個(gè)層都會(huì)與前面所有層在通道維度上拼接在一起，作為下一層的輸入，不僅可以實(shí)現(xiàn)特征重用，而且可以提升效率。ResNet和DenseNet結(jié)合主要是殘差連接和密集連接結(jié)合以及殘差塊和密集塊結(jié)合，可以提升模型的性能。目前兩者結(jié)合在醫(yī)學(xué)圖像處理領(lǐng)域中應(yīng)用非常廣泛，取得了很多突破性進(jìn)展。在醫(yī)學(xué)圖像領(lǐng)域，ResNet與DenseNet結(jié)合主要有WCRDGCNN、多路徑自適應(yīng)融合網(wǎng)絡(luò)、FC-DPN， DualCheXNet和DLARDNet 5種模型。

(1)文獻(xiàn)[78]提出多通道多尺度交叉連接殘差密集分組卷積神經(jīng)網(wǎng)絡(luò)(Wavelet based multi-channel and multi-scale Cross connected Residual-in-Dense Grouped Convolutional Neural Network，WCRDGCNN)，用于醫(yī)學(xué)圖像的精確超分辨率(SR)，該網(wǎng)絡(luò)通過(guò)使用殘差和密集跳躍連接將小波系數(shù)反向傳播到底層，解決了梯度消失問(wèn)題。

(2)Ding等人[79]提出多路徑自適應(yīng)融合網(wǎng)絡(luò)，在下采樣中將跳躍連接應(yīng)用于密集塊，有效地傳播和保留低級(jí)視覺(jué)特征，提高了多模態(tài)腦腫瘤分割的性能。

(3)Shan等人[80]提出FC-DPN網(wǎng)絡(luò)用于皮膚病變自動(dòng)分割，該網(wǎng)絡(luò)基于全卷積網(wǎng)絡(luò)(Fully Convolutional Network， FCN)和雙路徑網(wǎng)絡(luò)(Dual Path Network， DPN)構(gòu)建，DPN結(jié)合了殘差路徑和密集連接路徑的優(yōu)點(diǎn)，從而可以進(jìn)行有效的特征重用和再利用。

(4)Chen等人[81]提出雙非對(duì)稱(chēng)特征學(xué)習(xí)網(wǎng)絡(luò)DualCheXNet，用于多標(biāo)簽胸部疾病分類(lèi)，通過(guò)結(jié)合ResNet和DenseNet，從胸部圖像中捕獲更多的判別特征，提高胸部疾病分類(lèi)性能。

(5)吳宣言等人[82]提出一種深層聚合殘差密集網(wǎng)絡(luò)DLA-RDNet用于超聲圖像左心室分割，在下采樣部分，結(jié)合ResNet與DenseNet的優(yōu)勢(shì)，提出殘差密集網(wǎng)絡(luò)(Residual Dense Network， RDNet)，充分利用所有卷積層的層次信息且實(shí)現(xiàn)較高的增長(zhǎng)率。

4.2 與U-Net網(wǎng)絡(luò)結(jié)合

醫(yī)學(xué)圖像分割是醫(yī)學(xué)圖像分析中的重要步驟。U-Net是由Ronneberger等人[83]于2015年提出的編碼器-解碼器結(jié)構(gòu)的網(wǎng)絡(luò)，常用于解決醫(yī)學(xué)領(lǐng)域的圖像分割問(wèn)題。它是一個(gè)由卷積、下采樣、上采樣和跳躍連接組成的對(duì)稱(chēng)網(wǎng)絡(luò)，其中，收縮路徑進(jìn)行特征提取，擴(kuò)展路徑將提取到的特征圖恢復(fù)到原圖大小，收縮路徑和擴(kuò)展路徑之間的跳躍連接使用拼接操作將特征在通道維度拼接在一起，使得全局特征和局部特征結(jié)合，有助于還原下采樣過(guò)程中的信息損失。近年來(lái)，許多研究人員通過(guò)結(jié)合殘差塊和U-Net，將ResNet的本質(zhì)引入到醫(yī)學(xué)圖像分割領(lǐng)域，有助于提升分割精度。在醫(yī)學(xué)圖像領(lǐng)域，Res-Net與U-Net網(wǎng)絡(luò)結(jié)合主要有ResNet-34+U-Net，RRA-UNet， EED-Net和EAR-UNet 4種模型。

(1)Yu等人[84]使用改進(jìn)的U-Net架構(gòu)開(kāi)發(fā)了一種用于光盤(pán)和杯形分割的魯棒分割方法，采用預(yù)先訓(xùn)練的ResNet-34作為U-Net的編碼器部分，而解碼器部分則沿用原始U-Net結(jié)構(gòu)，避免了過(guò)擬合，實(shí)現(xiàn)了魯棒性。

(2)為解決胰腺分割困難的問(wèn)題，Lu等人[85]提出RRA-UNet網(wǎng)絡(luò)，在原始U-Net網(wǎng)絡(luò)的下采樣中添加環(huán)形殘差模塊，可以提取網(wǎng)絡(luò)深層的附加特征，有效地解決胰腺的邊界模糊問(wèn)題。

(3)由于牙齒X射線(xiàn)圖像質(zhì)量差，故進(jìn)行準(zhǔn)確的頜面分割比較困難，Kong等人[86]提出編-解碼器模型EED-Net，在編碼器中使用預(yù)激活殘差塊替換卷積層，以獲得有效的高分辨率特征，加快訓(xùn)練速度，提高泛化能力。

(4)Pham等人[87]提出從耳鏡圖像中自動(dòng)分割鼓膜的網(wǎng)絡(luò)EAR-UNet，其中解碼器是基于殘差塊構(gòu)造的，編、解碼器之間的跳躍連接部分使用了卷積層和殘差塊，負(fù)責(zé)調(diào)整編碼器產(chǎn)生的特征，從而促進(jìn)淺層和深層特征的融合。

4.3 與Inception結(jié)構(gòu)結(jié)合

為了在增加網(wǎng)絡(luò)深度和寬度的同時(shí)減少參數(shù)，Szegedy等人[88]在GoogleNet中提出Inception結(jié)構(gòu)，通過(guò)在3×3卷積層和5×5卷積層前面以及最大池化層后面分別添加1×1卷積層來(lái)降低特征圖的通道維度以減少計(jì)算量。很多研究人員將ResNet和Inception結(jié)構(gòu)結(jié)合來(lái)拓寬網(wǎng)絡(luò)，并提高ResNet的網(wǎng)絡(luò)性能。在醫(yī)學(xué)圖像領(lǐng)域，ResNet與Inception結(jié)構(gòu)結(jié)合主要有DRINet， RIED-Net和Inception+殘差連接3種模型。

(1)Chen等人[89]提出DRINet用于醫(yī)學(xué)圖像分割，使用殘差I(lǐng)nception模塊聚合來(lái)自不同分支的特征圖，顯著加深和拓寬了網(wǎng)絡(luò)，提高了分割性能。

(2)Gao等人[90]提出一種用于醫(yī)學(xué)成像合成的殘差I(lǐng)nception編解碼網(wǎng)絡(luò)，其中殘差I(lǐng)nception塊由一條具有兩個(gè)3×3卷積層的路徑和一條具有1×1卷積層的殘差I(lǐng)nception捷徑組成，解決了輸入與輸出特征圖通道不同的問(wèn)題。

(3)Zong等人[91]提出對(duì)眼底圖像進(jìn)行硬性滲出物分割的網(wǎng)絡(luò)，該網(wǎng)絡(luò)以U-Net為骨干，收縮和擴(kuò)展路徑中的每個(gè)單元都是由帶有Inception模塊的殘差單元構(gòu)成的，不僅減少了參數(shù)數(shù)量，還通過(guò)引入更多的線(xiàn)性映射提高了網(wǎng)絡(luò)的表達(dá)能力。

4.4 與注意力機(jī)制結(jié)合

注意力機(jī)制是通過(guò)網(wǎng)絡(luò)自主學(xué)習(xí)出的一組權(quán)重系數(shù)，并以“動(dòng)態(tài)加權(quán)”的方式來(lái)強(qiáng)調(diào)所感興趣的區(qū)域，同時(shí)抑制不相關(guān)背景區(qū)域。目前主流的注意力機(jī)制包括通道注意力機(jī)制、空間注意力機(jī)制、通道和空間注意力機(jī)制、自注意力機(jī)制和注意門(mén)機(jī)制。Hu等人[92]提出了SENet，通過(guò)精確的建模卷積特征各個(gè)通道之間的關(guān)系來(lái)改善網(wǎng)絡(luò)模型的表達(dá)能力，SE模塊能夠讓網(wǎng)絡(luò)模型對(duì)特征進(jìn)行校準(zhǔn)，使網(wǎng)絡(luò)從全局信息出發(fā)來(lái)選擇性地放大有價(jià)值的特征通道并且抑制無(wú)用的特征通道。Woo等人[93]提出卷積塊注意力模塊(Convolutional Block Attention Module， CBAM)結(jié)合了通道注意力和空間注意力機(jī)制，通過(guò)學(xué)習(xí)的方式自動(dòng)獲取每個(gè)通道和空間的重要程度，并利用重要程度來(lái)提升特征并抑制對(duì)當(dāng)前任務(wù)不重要的特征。醫(yī)學(xué)圖像常常使用注意力機(jī)制使網(wǎng)絡(luò)關(guān)注感興趣區(qū)域，準(zhǔn)確地定位病灶區(qū)域，有效地提高網(wǎng)絡(luò)性能。在醫(yī)學(xué)圖像領(lǐng)域，ResNet與注意力機(jī)制結(jié)合主要有CRAL框架、PARL塊、EAR-Unet， BVA Net和RHAM-MResNet-10 等5種模型。

(1)Guan等人[94]提出用于多標(biāo)簽胸部X射線(xiàn)圖像分類(lèi)的分類(lèi)殘差注意力學(xué)習(xí)(Category-wise Residual Attention Learning， CRAL)框架，該框架使用類(lèi)別注意，通過(guò)賦予相應(yīng)的特征表示以較小的權(quán)重來(lái)抑制不相關(guān)類(lèi)別，并增加相關(guān)類(lèi)別的權(quán)重，可以有效地對(duì)胸部X射線(xiàn)圖像進(jìn)行分類(lèi)。

(2)Wang等人[95]為了在3D胸部CT圖像中快速篩查COVID-19，設(shè)計(jì)了優(yōu)先注意力殘差學(xué)習(xí)(Prior-Attention Residual Learning， PARL)塊，來(lái)自病變區(qū)域檢測(cè)分支的分層注意力信息被轉(zhuǎn)移到COVID-19分類(lèi)分支，以學(xué)習(xí)更多的判別表示。

(3) Cheng等人[96]提出用于醫(yī)學(xué)圖像分類(lèi)和分割的殘差組注意力網(wǎng)絡(luò)(ResGANet)，在該網(wǎng)絡(luò)中引入組注意力塊，它使不同特征圖組之間的通道注意力成為可能，同時(shí)通道考慮的其他特征圖組通過(guò)空間注意力模塊聚合了所有分組的空間信息，提高了CNN的特征表示能力。

(4)Xing等人[97]提出BI-RADS矢量注意力網(wǎng)絡(luò)用于超聲圖像中的乳腺腫塊分類(lèi)，其中殘差注意力塊從殘差特征圖中計(jì)算出空間注意力掩碼，空間注意力掩碼作為空間特征過(guò)濾器，過(guò)濾掉不必要的空間特征。

(5)喬思波等人[98]提出RHAM-MResNet-10模型對(duì)腦部CT圖像進(jìn)行分類(lèi)，在殘差映射結(jié)構(gòu)中加入殘差混合注意力模塊，精確捕捉了腦部組織在CT圖像中的位置和內(nèi)容信息，極大降低噪聲的影響，提升模型的分類(lèi)準(zhǔn)確率。

5 總結(jié)與展望

殘差神經(jīng)網(wǎng)絡(luò)在深度學(xué)習(xí)領(lǐng)域取得突破性的進(jìn)展，因此，本文對(duì)殘差神經(jīng)網(wǎng)絡(luò)的研究背景和意義進(jìn)行概述，闡述了基本原理和網(wǎng)絡(luò)結(jié)構(gòu)，并從殘差單元、殘差連接和網(wǎng)絡(luò)整體結(jié)構(gòu)3個(gè)方面對(duì)殘差神經(jīng)網(wǎng)絡(luò)進(jìn)行總結(jié)。此外，從ResNet與DenseNet，U-Net， Inception結(jié)構(gòu)和注意力機(jī)制結(jié)合4方面探討ResNet在醫(yī)學(xué)圖像領(lǐng)域中的廣泛應(yīng)用，有助于醫(yī)生做出正確的醫(yī)學(xué)判斷和更好的患者預(yù)后，為臨床計(jì)算機(jī)輔助診斷提供參考。盡管殘差神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)圖像領(lǐng)域取得了突破性的進(jìn)展，并且在未來(lái)將發(fā)揮實(shí)質(zhì)性的作用，但是仍然面臨許多困難，存在以下亟待研究的問(wèn)題：

(1)盡管深度學(xué)習(xí)模型性能在不斷地提高，但仍離不開(kāi)大規(guī)模的高質(zhì)量標(biāo)注數(shù)據(jù)集的支持。大量醫(yī)學(xué)圖像數(shù)據(jù)缺乏有效的數(shù)據(jù)標(biāo)注且數(shù)量有限，很多研究者嘗試?yán)孟∈铇?biāo)注或未標(biāo)注數(shù)據(jù)進(jìn)行弱監(jiān)督學(xué)習(xí)，但是完成過(guò)程相對(duì)簡(jiǎn)單且模型的泛化能力較弱。因此優(yōu)質(zhì)的數(shù)據(jù)源和好的數(shù)據(jù)標(biāo)注非常重要，如何實(shí)現(xiàn)在標(biāo)注數(shù)據(jù)集不完善的情況下進(jìn)行弱監(jiān)督學(xué)習(xí)，在醫(yī)學(xué)圖像未來(lái)的研究中具有重要意義。

(2)殘差神經(jīng)網(wǎng)絡(luò)一直是醫(yī)學(xué)圖像領(lǐng)域的研究熱點(diǎn)，但其網(wǎng)絡(luò)模型的準(zhǔn)確率和魯棒性有待提高。其中激活函數(shù)、歸一化算法、卷積層的設(shè)計(jì)值得探討，此外，殘差單元和殘差網(wǎng)絡(luò)的結(jié)構(gòu)對(duì)網(wǎng)絡(luò)的學(xué)習(xí)能力和泛化能力影響很大。因此設(shè)計(jì)合理且泛化效果好的殘差神經(jīng)網(wǎng)絡(luò)模型，將會(huì)是未來(lái)發(fā)展的趨勢(shì)。

(3)由于單個(gè)網(wǎng)絡(luò)模型性能有限，對(duì)殘差神經(jīng)網(wǎng)絡(luò)與其他網(wǎng)絡(luò)模型進(jìn)行混合改進(jìn)，使得殘差神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)圖像分析任務(wù)中取得更高的準(zhǔn)確率是最具挑戰(zhàn)性的問(wèn)題。

(4)近年來(lái)“互聯(lián)網(wǎng)+”應(yīng)用于醫(yī)療研究已經(jīng)成為現(xiàn)代科技的熱點(diǎn)，人工智能在醫(yī)學(xué)影像和醫(yī)療智能決策中發(fā)揮著重要作用，互聯(lián)網(wǎng)醫(yī)療的快速發(fā)展促進(jìn)了科研和臨床實(shí)踐的有效結(jié)合，使得醫(yī)療產(chǎn)業(yè)的發(fā)展通過(guò)互聯(lián)網(wǎng)技術(shù)的應(yīng)用而煥發(fā)新生。