基于深度殘差網(wǎng)絡(luò)的脊柱疾病分類預(yù)測(cè)

李大舟，張?jiān)娙?，?巍

(沈陽化工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，遼寧 沈陽 110142)

0 引 言

退行性脊柱疾病是導(dǎo)致腰背疼痛的主要原因，是脊柱外科中最常見的疾病脊椎疾病。《1990～2016年中國(guó)及省級(jí)行政區(qū)疾病負(fù)擔(dān)報(bào)告》顯示脊椎問題，包括頸部和下腰部，一直是影響國(guó)內(nèi)各省級(jí)行政區(qū)人群生命質(zhì)量的最重要疾病，嚴(yán)重制約了人群健康期望壽命的提高[1]。脊椎疾病不僅帶來了巨大的醫(yī)療開銷，而且因患病導(dǎo)致的殘疾造成了巨大的社會(huì)成本。

脊椎疾病的診斷難度大、早期發(fā)現(xiàn)效率低，給及時(shí)治療帶來了很大的難度。磁共振成像因其很好地對(duì)人體軟組織(例如神經(jīng)組織)進(jìn)行成像，是目前臨床上診斷脊椎疾病的常用手段。放射科醫(yī)生根據(jù)核磁圖像能夠確定神經(jīng)根受壓的位置、病因和嚴(yán)重程度，生成具有逐級(jí)詳細(xì)信息的區(qū)域，并將這些發(fā)現(xiàn)傳達(dá)給醫(yī)師及患者。但是，核磁共振數(shù)據(jù)復(fù)雜、包含多個(gè)切片和多個(gè)模態(tài)數(shù)據(jù)，造成醫(yī)生的工作重復(fù)量大、效率低。為了解決這個(gè)問題，國(guó)內(nèi)外研究者引入人工智能技術(shù)來提高診斷效率，降低漏診、誤診率，實(shí)現(xiàn)了醫(yī)生診斷的一致性。

針對(duì)脊柱磁共振圖像的特點(diǎn)，該文提出了一種針對(duì)性的處理方法和訓(xùn)練方法，解決了在醫(yī)學(xué)領(lǐng)域中醫(yī)學(xué)數(shù)據(jù)的采集、標(biāo)注困難和醫(yī)療數(shù)據(jù)集數(shù)量少的問題。同時(shí)，著重于提高網(wǎng)絡(luò)的計(jì)算效率，降低內(nèi)存占用，以滿足該模型在嵌入式設(shè)備、移動(dòng)設(shè)備等資源有限的應(yīng)用場(chǎng)景的需要，解決了訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)過程中計(jì)算和內(nèi)存需求量大的問題，將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在退行性脊柱疾病的自動(dòng)化篩查領(lǐng)域。

1 相關(guān)工作

早期的脊椎圖像特征提取依靠人工實(shí)現(xiàn)特征工程。2008年，Corso等人使用概率圖模型來進(jìn)行脊椎的定位和分割任務(wù)[2]。2008年，趙燕燕等人使用形態(tài)學(xué)的分水嶺算法，實(shí)現(xiàn)了脊柱圖像的特征提取并完成了分割任務(wù)[3]。2011年，Koompairojn S等利用T2軸狀位圖像，使用手工制作的多層感知器特征進(jìn)行脊椎疾病的分類[4]。2012年，Ghosh等[5];2013年，Oktay和Akgul等[6]使用人工設(shè)計(jì)的梯度方向直方圖特征來對(duì)脊椎特征進(jìn)行提取。2018年，吳裕浩提出了一種基于隨機(jī)森林的椎骨CT圖像檢測(cè)算法，實(shí)現(xiàn)了椎骨特征提取和椎骨檢測(cè)[7]。

2019年，付光華等人使用邊緣檢測(cè)和區(qū)域生長(zhǎng)的方法，實(shí)現(xiàn)了脊椎區(qū)域的分割[8]。這些基于人工特征工程的傳統(tǒng)算法需要耗費(fèi)大量的時(shí)間在特征工程的設(shè)計(jì)上，而且針對(duì)特定數(shù)據(jù)集所設(shè)計(jì)的特征工程往往存在著嚴(yán)重的過擬合。一旦更換數(shù)據(jù)集，則需要重新設(shè)計(jì)特征工程。在實(shí)際應(yīng)用場(chǎng)景下的使用復(fù)雜，分析過程難以理解。

近年來，神經(jīng)網(wǎng)絡(luò)逐步取代傳統(tǒng)算法。基于卷積神經(jīng)網(wǎng)絡(luò)算法自動(dòng)進(jìn)行特征工程學(xué)習(xí)的算法取代了傳統(tǒng)的人工設(shè)計(jì)特征的方法，在計(jì)算機(jī)視覺領(lǐng)域的各方面均取得了最優(yōu)的成績(jī)。1995年，LoSCB等人使用含有兩個(gè)隱藏層的卷積神經(jīng)網(wǎng)絡(luò)算法，對(duì)胸部CT圖像中的肺結(jié)節(jié)進(jìn)行了檢測(cè)[9]。2017年，Rajpurkar P等人使用改良的DenseNet，使用150 000個(gè)訓(xùn)練樣本，對(duì)14種不同的肺部疾病進(jìn)行了分類[10]。2017年，Jamaludin等開發(fā)了多任務(wù)VGG-M結(jié)構(gòu)，用于對(duì)椎間盤退變、中央管狹窄和其他脊柱疾病的分級(jí)[11]。2018年，田娟秀等人基于Unet網(wǎng)絡(luò)[12]對(duì)腫瘤圖像特征進(jìn)行了提取和分析[13]。2019年，劉帆將卷積神經(jīng)網(wǎng)絡(luò)方法和機(jī)器學(xué)習(xí)中經(jīng)典特征提取方法相結(jié)合，實(shí)現(xiàn)了對(duì)脊柱側(cè)彎疾病的分級(jí)診斷[14]。2019年，洪雁飛等人使用了卷積神經(jīng)網(wǎng)絡(luò)的方法提取脊椎圖像特征[15]。這些算法雖然取得了比傳統(tǒng)算法識(shí)別率更高的效果，但模型訓(xùn)練時(shí)間長(zhǎng)、占用資源大、不利于模型在實(shí)際應(yīng)用場(chǎng)景中的使用。

2 算法設(shè)計(jì)

醫(yī)學(xué)圖像數(shù)據(jù)集具有數(shù)據(jù)量少、樣本之間差異性小的特點(diǎn)。該文提出的Depthwise-ResNet模型針對(duì)經(jīng)典的ResNet殘差結(jié)構(gòu)進(jìn)行了改進(jìn)，保證了在模型擬合能力不降低的同時(shí)，可以減緩模型對(duì)內(nèi)存的過度依賴，提高了模型的運(yùn)算效率。

2.1 模型設(shè)計(jì)

針對(duì)脊柱醫(yī)學(xué)圖像提出了針對(duì)性的數(shù)據(jù)處理方法。提出的模型將深度可分離卷積引入了傳統(tǒng)的ResNet的殘差結(jié)構(gòu)中。提出的改進(jìn)的結(jié)構(gòu)能在保證模型效果的同時(shí)，減少參數(shù)數(shù)量，提高運(yùn)算速度并減少內(nèi)存占用，模型的主要結(jié)構(gòu)如圖1所示。

圖1 設(shè)計(jì)的脊椎疾病分類模型

2.2 數(shù)據(jù)預(yù)處理

磁共振圖像在采集過程中，存在對(duì)比度低，圖像含有較多的噪聲等問題。在將圖像輸入網(wǎng)絡(luò)中進(jìn)行訓(xùn)練之前，使用自適應(yīng)直方圖均衡化對(duì)輸入圖像進(jìn)行了對(duì)比度增強(qiáng)，使用中值濾波，實(shí)現(xiàn)了對(duì)圖像噪聲的處理。

2.2.1 自適應(yīng)直方圖均衡化

醫(yī)學(xué)圖像由于本身及成像條件的限制，圖像的對(duì)比度很低，主要以圖像的低頻部分組成。但是，考慮到人眼對(duì)高頻信號(hào)(圖像邊緣部分)比較敏感，因此該文通過提高圖像高頻部分達(dá)到了提高視覺效果的目的。

采用自適應(yīng)直方圖均衡化算法增強(qiáng)醫(yī)學(xué)圖像的對(duì)比度，以增強(qiáng)圖像的高頻部分。自適應(yīng)直方圖均衡化(AHE)是一種提升圖像對(duì)比度的計(jì)算機(jī)圖像處理技術(shù)。AHE算法將原始圖像分為不重疊的局部小塊，然后在每一局部塊進(jìn)行直方圖均衡化，其計(jì)算方法如公式(1)所示：

(1)

式中，Sk表示均衡化之后的灰度值，nj表示原圖中某個(gè)灰度色階j的橡樹數(shù)量，N表示圖像像素總和。

通過自適應(yīng)直方圖均衡化算法很好地增強(qiáng)了核磁共振中脊椎部位的圖片局部信息。

2.2.2 中值濾波

磁共振圖像在采集過程中，存在脈沖干擾，因此核磁共振脊柱圖像具有較強(qiáng)的噪聲。為了消除該噪聲，該文選用非線性平滑中值濾波預(yù)處理核磁共振脊柱部位圖片。中值濾波是一種去除噪聲的非線性處理方法。中值濾波的基本思想是用一點(diǎn)的一個(gè)領(lǐng)域中各值的中值替代像中該點(diǎn)的值。該文使用中值濾波在輸入模型前對(duì)圖片進(jìn)行了處理。

2.3 鄰近幀擴(kuò)充

該文使用中間幀與相鄰幀構(gòu)成的三通道彩色圖作為提出的Depthwise-ResNet模型的輸入，核磁共振成像從不同角度提供了對(duì)于身體某個(gè)部位的切片掃描信息。在數(shù)據(jù)集中不僅包含專家標(biāo)注信息的中間幀的圖像，還包含著大量的可用信息在其他的切片。通過對(duì)核磁共振影像數(shù)據(jù)集的研究分析，發(fā)現(xiàn)矢狀位中間幀的鄰近幀的關(guān)鍵點(diǎn)位置以及相關(guān)的醫(yī)學(xué)特征與數(shù)據(jù)集中專家標(biāo)注的中間幀具有高相似性。因此，將含有專家標(biāo)注的中間幀與其前一幀和后一幀圖像數(shù)據(jù)在通道維度上組合，輸入模型進(jìn)行訓(xùn)練。

2.4 one-hot編碼

使用one-hot編碼方式對(duì)輸入模型的標(biāo)簽值進(jìn)行編碼。在脊椎磁共振數(shù)據(jù)集中，由于不同的疾病類別之間的相似度大，不同專家的標(biāo)注信息(真實(shí)標(biāo)簽值)并不具有一致性，標(biāo)注錯(cuò)誤時(shí)有發(fā)生。傳統(tǒng)的one-hot編碼方式將樣本的真實(shí)標(biāo)簽所對(duì)應(yīng)的分類所映射的整數(shù)值為1，其他位均為0。忽略了錯(cuò)誤的損失值，同時(shí)對(duì)標(biāo)注標(biāo)簽過度自信。此時(shí)使用傳統(tǒng)的one-hot編碼訓(xùn)練模型將會(huì)導(dǎo)致模型過度自信而缺乏泛化性。

標(biāo)簽平滑是機(jī)器學(xué)習(xí)中的一種針對(duì)標(biāo)簽的正則化方法。標(biāo)簽平滑把one-hot編碼中標(biāo)簽為1的那一項(xiàng)進(jìn)行衰減，衰減的那一部分平均分配到其他的每一個(gè)類別之中去，從而避免了過分相信訓(xùn)練樣本。假設(shè)原標(biāo)簽分布為q(k|x)=δk,y，那么標(biāo)簽平滑之后的標(biāo)簽分布q'(k|x)如公式(2)所示：

q'(k|x)=(1-ε)δk,y+εu(k)

(2)

其中，u(k)為一個(gè)概率分布。該文采用均勻分布，并假設(shè)需要分類的類別共有K類，該文使用的標(biāo)簽平滑之后的標(biāo)簽分布如公式(3)所示：

(3)

2.5 Depthwise-ResNet結(jié)構(gòu)單元

將經(jīng)過預(yù)處理的圖片數(shù)據(jù)和經(jīng)過one-hot編碼的標(biāo)簽值輸入到提出的Depthwise-ResNet模型中進(jìn)行訓(xùn)練。在傳統(tǒng)的ResNet網(wǎng)絡(luò)的殘差結(jié)構(gòu)的基礎(chǔ)上，將深度可分離卷積引入到殘差結(jié)構(gòu)中。將標(biāo)準(zhǔn)卷積分解成了深度卷積和一個(gè)1*1卷積，輸入x先經(jīng)歷一個(gè)3*3 的深度卷積，再經(jīng)過一個(gè)1*1卷積，在每次卷積操作之后緊接一個(gè)批標(biāo)準(zhǔn)化層和一個(gè)ReLu激活函數(shù)。模型結(jié)構(gòu)單元如圖2所示。

圖2 Depthwise-ResNet模型結(jié)構(gòu)單元

2.5.1 深度卷積

圖2中卷積核尺寸為3*3的深度卷積將卷積核拆解成單通道形式，深度卷積的卷積核個(gè)數(shù)等于輸入特征圖的通道數(shù)，其每個(gè)卷積核對(duì)應(yīng)著輸入圖像的一個(gè)通道。圖3展示了一個(gè)當(dāng)輸入特征圖通道數(shù)為3時(shí)的深度卷積過程。相比標(biāo)準(zhǔn)卷積，在深度卷積部分，卷積核的每個(gè)通道與圖片的單個(gè)通道一一對(duì)應(yīng)。每一個(gè)卷積核只提取一個(gè)通道的特征，卷積核尺寸為3*3時(shí)的深度卷積的參數(shù)量?jī)H為標(biāo)準(zhǔn)卷積的1/9。

圖3 深度卷積過程

2.5.2 批標(biāo)準(zhǔn)化層

圖3中3*3深度卷積運(yùn)算之后生成的特征圖具有不同的數(shù)據(jù)分布，這不利于模型特征的學(xué)習(xí)。該文在3*3深度卷積輸出后緊接批標(biāo)準(zhǔn)化層，對(duì)每一個(gè)最小訓(xùn)練批次進(jìn)行歸一化操作，批標(biāo)準(zhǔn)化將每個(gè)輸入批次的數(shù)據(jù)轉(zhuǎn)換為以0為均值，1為方差的正態(tài)分布，來保證輸入卷積層的數(shù)據(jù)分布具有一致性。這樣，使得模型更加專注于特征的提取，不必為不一致的分布增加額外的運(yùn)算操作和參數(shù)，從而提高了該模型的運(yùn)算速度，減少了模型的參數(shù)量。此外，為了恢復(fù)部分被修改的特征，在批標(biāo)準(zhǔn)化加入了γ,β。為了提高模型的運(yùn)算效率，將批標(biāo)準(zhǔn)化引入殘差結(jié)構(gòu)中，批標(biāo)準(zhǔn)化的計(jì)算公式為：

(4)

2.5.3 1*1卷積

圖3中3*3深度卷積生成的通道分離的特征圖作為1*1卷積層的輸入，將由3*3深度卷積得到的多個(gè)通道的特征圖在通道維度上進(jìn)行信息的交互并實(shí)現(xiàn)特征圖通道數(shù)的變化。1*1卷積過程的卷積核深度等于輸入特征圖的通道數(shù)，卷積核個(gè)數(shù)等于輸出特征圖的通道數(shù)。該文在每一個(gè)3*3深度卷積之后均使用一個(gè)1*1卷積用于融合特征圖的通道信息以及特征圖維度的變換。

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集

文中使用的數(shù)據(jù)集是脊柱的磁共振影像數(shù)據(jù)集，共包含訓(xùn)練集150例和測(cè)試集50例。磁共振成像是放射學(xué)中常用到的一種醫(yī)學(xué)成像技術(shù)。磁共振成像技術(shù)使用強(qiáng)磁場(chǎng)、磁場(chǎng)梯度和無線電波來生成人體器官的圖像。在脊柱磁共振的影像數(shù)據(jù)中，神經(jīng)、脊髓、椎體和椎間盤的氫原子含量不同，因此呈現(xiàn)出的亮度也不同。

文中使用的數(shù)據(jù)集中每一例數(shù)據(jù)包括訓(xùn)練所需要的灰度圖像和與圖像相對(duì)應(yīng)的標(biāo)注數(shù)據(jù)。灰度圖像數(shù)據(jù)包含從胸12(T12)腰1(L1)間的椎間盤開始到腰5(L5)骶1(S1)間的椎間盤結(jié)束的共6塊椎體和5塊椎間盤的圖像像素?cái)?shù)據(jù)信息。標(biāo)注信息包含與之相對(duì)應(yīng)的各個(gè)椎骨和椎間盤質(zhì)心關(guān)鍵點(diǎn)的坐標(biāo)，以及每個(gè)椎骨和椎間盤所屬的病變類型。數(shù)據(jù)集中椎體病變類型分成2類：正常和退行性病變；椎間盤病變類型分成5類：正常、膨出、突出、脫出、椎體內(nèi)疝出。椎體和椎間盤病變類型及編碼見表1。

表1 椎體、椎間盤分類編碼

3.2 評(píng)價(jià)指標(biāo)

評(píng)價(jià)指標(biāo)采用了精確率、召回率、F1-Score、內(nèi)存性能和一次完整迭代所需要時(shí)間。FP代表把負(fù)類預(yù)測(cè)為正類的樣本數(shù)；FN代表把正類預(yù)測(cè)為負(fù)類的樣本數(shù)；TP代表把正類預(yù)測(cè)為正類的樣本數(shù)；TN代表把負(fù)類預(yù)測(cè)為負(fù)類的樣本數(shù)。選用的5個(gè)評(píng)價(jià)指標(biāo)的計(jì)算公式如下：

精確率的計(jì)算公式：

(5)

召回率的計(jì)算公式：

(6)

F1-Score的計(jì)算公式：

(7)

內(nèi)存占用(兆字節(jié))：

N=模型占用的內(nèi)存大小

(8)

運(yùn)算速度(個(gè)/秒)：

S=病例樣本的平均運(yùn)算速度

(9)

3.3 訓(xùn)練過程

在進(jìn)行實(shí)驗(yàn)訓(xùn)練的過程中，針對(duì)醫(yī)學(xué)圖像的數(shù)據(jù)特點(diǎn)以及在訓(xùn)練過程中所遇到的過擬合等問題，對(duì)該脊椎數(shù)據(jù)集采取了多種針對(duì)性的處理和訓(xùn)練方法。這些方法主要包括尺度擾動(dòng)、帶權(quán)重的損失函數(shù)和過采樣。

3.3.1 尺度擾動(dòng)

該文在對(duì)椎骨椎間盤圖片進(jìn)行裁取時(shí)采用了尺度擾動(dòng)的方法。在數(shù)據(jù)集數(shù)據(jù)統(tǒng)計(jì)結(jié)果的基礎(chǔ)上，以關(guān)鍵點(diǎn)為中心，上下兩個(gè)關(guān)鍵點(diǎn)垂直距離h為基準(zhǔn)，隨機(jī)截取垂直長(zhǎng)度為h到1.2h，水平寬度為0.8h到h的矩形范圍。在實(shí)際訓(xùn)練時(shí)，使用上述的尺度擾動(dòng)方法截取的隨機(jī)尺寸圖像作為模型的輸入圖像。

3.3.2 帶權(quán)重的損失函數(shù)

所用數(shù)據(jù)集一共包含7個(gè)病變類別。椎體包含2類：正常、退行性改變。椎間盤包含5類：正常、膨出、突出、脫出和椎體內(nèi)疝出。對(duì)數(shù)據(jù)集中每個(gè)類的類別進(jìn)行統(tǒng)計(jì)后，發(fā)現(xiàn)數(shù)據(jù)集中椎間盤-脫出共有32例，椎間盤-椎體內(nèi)疝出共有5例，而椎體-退行性改變有587例，數(shù)據(jù)集中存在類別不均衡的情況。為了緩解類別不均衡給模型效果帶來的不利影響，使模型學(xué)到更多的少數(shù)類特征，采用了帶權(quán)重的損失函數(shù)和過采樣方法來解決數(shù)據(jù)集類別不均衡問題。

帶權(quán)重的損失函數(shù)是一種改善類別不均衡的方法。通過對(duì)少數(shù)類的損失值乘上一個(gè)大于1的系數(shù)，以此來定向提升模型的召回率，增加少數(shù)類錯(cuò)分的懲罰代價(jià)，并將此代價(jià)直接體現(xiàn)在目標(biāo)函數(shù)里。通過該方法優(yōu)化目標(biāo)函數(shù)調(diào)整模型在小樣本上的注意力。在實(shí)現(xiàn)過程中，使用PyTorch框架的CrossEntropyLoss損失函數(shù)的weight參數(shù)來設(shè)置損失函數(shù)的權(quán)重。根據(jù)訓(xùn)練集中各個(gè)類數(shù)量所占訓(xùn)練集樣本總數(shù)的比例的倒數(shù)，對(duì)帶損失的交叉熵?fù)p失函數(shù)的權(quán)重向量進(jìn)行了初始化并進(jìn)行訓(xùn)練。

3.3.3 過采樣

數(shù)據(jù)不平衡是指在分類樣本中，各個(gè)類別所占的比例不均等。通過對(duì)數(shù)據(jù)集中各個(gè)類別樣本數(shù)量進(jìn)行統(tǒng)計(jì)后發(fā)現(xiàn)，該數(shù)據(jù)集中不同類別樣本存在著嚴(yán)重的類別不平衡。為了解決不平衡問題，采用了過采樣技術(shù)。過采樣方法利用現(xiàn)有的正樣本生成新的正樣本。過采樣增加了正樣本數(shù)量以及正樣本的多樣性，提升了模型對(duì)正樣本的分類效果。

為了保證模型能學(xué)習(xí)到足夠多的特征，增大正樣本的抽樣比例。此外，采取的生成新樣本的方式是，在將正樣本圖片輸入模型進(jìn)行訓(xùn)練之前隨機(jī)添加隨機(jī)高斯噪聲，并對(duì)正樣本圖像進(jìn)行小角度的隨機(jī)旋轉(zhuǎn)。

3.4 實(shí)驗(yàn)結(jié)果

3.4.1 模型層數(shù)選擇

提出的Depthwise_ResNet模型的卷積層層數(shù)會(huì)影響模型的表達(dá)能力。為了選擇最優(yōu)的Depthwise_ResNet模型層數(shù)，使用不同的單元數(shù)量進(jìn)行訓(xùn)練。圖4記錄了精確率、召回率、F1-Score的數(shù)值與層數(shù)的關(guān)系。

(a)迭代輪數(shù)與精確率

(b)迭代輪數(shù)與召回率

(c)迭代輪數(shù)與F1-Score圖4 模型參數(shù)的選擇

從圖4的實(shí)驗(yàn)結(jié)果可以看到，當(dāng)Depthwise_ResNet模型結(jié)構(gòu)單元數(shù)量為6時(shí)，模型的精確率、召回率和F1-Score均為最高，所以使用的最終模型的Depthwise_ResNet模型結(jié)構(gòu)單元數(shù)量為6，模型總層數(shù)為13。

模型結(jié)構(gòu)見圖5。

圖5 提出的Depthwise_ResNet模型網(wǎng)絡(luò)結(jié)構(gòu)

在每一個(gè)卷積操作之后，緊接一個(gè)批標(biāo)準(zhǔn)化層和一個(gè)線性激活函數(shù)ReLu層。每一個(gè)3*3的深度卷積都緊接一個(gè)1*1卷積來融合通道信息以及改變輸出特征圖的維度。將卷積操作得到的特征圖送入輸入維度為512，輸出維度為7的全連接層中，計(jì)算并輸出分類結(jié)果。

3.4.2 標(biāo)簽平滑系數(shù)的選擇

對(duì)one-hot 編碼進(jìn)行了標(biāo)簽平滑。圖6展現(xiàn)了在不同的標(biāo)簽平滑系數(shù)ε下模型的F-Score分?jǐn)?shù)，橫軸是平滑系數(shù)ε，縱軸是F1-Score的值。在基準(zhǔn)模型下，圖6表明不添加標(biāo)簽平滑時(shí)，模型的F1-Score為0.671；當(dāng)標(biāo)簽平滑參數(shù)ε取0.001時(shí)，模型的F1-Score最高，達(dá)到了0.710。該結(jié)果證明了在模型中加入標(biāo)簽平滑解決了過擬合問題。

圖6 標(biāo)簽平滑系數(shù)選擇

3.4.3 實(shí)驗(yàn)結(jié)果分析

表2展示了使用不同的數(shù)據(jù)處理方法和訓(xùn)練方法進(jìn)行訓(xùn)練的結(jié)果。表2中基準(zhǔn)模型是該文提出的結(jié)構(gòu)單元數(shù)量為6的Depthwise_ResNet模型。表2每一行表明了對(duì)提出的Depthwise_ResNet模型使用不同的訓(xùn)練方法進(jìn)行訓(xùn)練的結(jié)果。

表2 訓(xùn)練細(xì)節(jié)的處理

表2中還可以看到鄰近幀擴(kuò)充可以提升F1-Score 0.015個(gè)百分點(diǎn)；尺度擾動(dòng)可以提高F1-Score 0.013個(gè)百分點(diǎn)；帶權(quán)重的損失函數(shù)可以提升F1-Score 0.02個(gè)百分點(diǎn)；標(biāo)簽平滑能提高F1-Score 0.01個(gè)百分點(diǎn)；過采樣操作可以提高F1-Score 0.017個(gè)百分點(diǎn)。該結(jié)果表明鄰近幀擴(kuò)充的數(shù)據(jù)增強(qiáng)方式和帶權(quán)重的損失函數(shù)能夠在一定程度上降低過擬合，提高模型的表現(xiàn)能力。綜上，所用的最終的模型的F1-Score 為0.710，比基準(zhǔn)模型提高0.038個(gè)百分點(diǎn)。

3.4.4 與經(jīng)典模型的比較

在控制其他變量不變的情況下，該文提出的Depthwise_ResNet模型與AlexNet[16]、ResNet[17]、VGG[18]等經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了比較。表3給出了上述5種算法在5種評(píng)價(jià)指標(biāo)下的比較結(jié)果。

表3 提出的Depthwise_ResNet模型與經(jīng)典模型的比較

表3中結(jié)果表明，在保證模型能力的同時(shí)，提出的Depthwise_ResNet模型結(jié)構(gòu)在F1-Score、精確率、運(yùn)算速度、內(nèi)存占用方面均取得了比傳統(tǒng)算法更好的結(jié)果。Depthwise_ResNet模型減少35%到85%的計(jì)算時(shí)間，降低70%以上的內(nèi)存占用。

在資源有限的應(yīng)用場(chǎng)景中，Depthwise_ResNet模型比傳統(tǒng)的模型占用更小的內(nèi)存消耗和更低的延遲，節(jié)省更大的計(jì)算成本。

4 結(jié)束語

提出了一種輕量化的Depthwise_ResNet模型，實(shí)現(xiàn)依據(jù)核磁共振圖像了對(duì)脊椎疾病進(jìn)行分類。針對(duì)醫(yī)學(xué)影像的核磁共振數(shù)據(jù)處理，提出的鄰近幀擴(kuò)充、尺度擾動(dòng)方法能夠小幅度提高Depthwise_ResNet模型的表現(xiàn)能力。與傳統(tǒng)的AlexNet、ResNet和VGG相比，提出的模型能夠減少85%的內(nèi)存占用和60%的計(jì)算時(shí)間，并且提高了預(yù)測(cè)效果。