深度學(xué)習(xí)在脊柱圖像分割中的應(yīng)用綜述

姜百浩，劉靜，仇大偉，姜良

（山東中醫(yī)藥大學(xué)智能與信息工程學(xué)院，山東 濟(jì)南 250355）

0 引言

骨性結(jié)構(gòu)對(duì)脊柱的壓迫是脊柱疾病的主要致病因素［1］。脊柱疾病作為常見病、多發(fā)病，病患數(shù)量多，醫(yī)生對(duì)脊柱圖像分割、診斷的任務(wù)重、工作量大；同時(shí)由于脊柱生理結(jié)構(gòu)的復(fù)雜性，醫(yī)生診斷會(huì)受到臨床經(jīng)驗(yàn)的影響，使得分割結(jié)果存在誤差，產(chǎn)生誤判。誤判不僅會(huì)影響分割結(jié)果的準(zhǔn)確率和后續(xù)的治療過程，還容易引起不必要的醫(yī)患矛盾。

傳統(tǒng)圖像分割方法主要是基于閾值的方法、基于邊緣的方法、基于區(qū)域的方法、基于特定理論的方法等，此外還可以通過直接確定區(qū)域間的邊界來實(shí)現(xiàn)圖像分割。傳統(tǒng)的分割方法只能對(duì)灰度圖像進(jìn)行分割處理，導(dǎo)致應(yīng)用受到限制；其次分割過程往往取決于醫(yī)生的先驗(yàn)知識(shí)，例如閾值法中選取閾值、區(qū)域生長法中選取種子點(diǎn)等，會(huì)導(dǎo)致結(jié)果受到主觀因素影響［2］；最重要的是分割的精度和效率很難達(dá)到實(shí)際應(yīng)用的效果。

深度學(xué)習(xí)模型是一種模仿人類大腦內(nèi)部神經(jīng)連接的結(jié)構(gòu)模型，能夠準(zhǔn)確地對(duì)圖像中關(guān)鍵信息由低級(jí)到高級(jí)進(jìn)行多層次的特征提取，提取過程中對(duì)檢測(cè)到的信息給予描述并反饋數(shù)據(jù)解釋，方便探索圖像蘊(yùn)含的更深層次的特征信息，從而達(dá)到精準(zhǔn)、高效的圖像分割效果［3］。將深度學(xué)習(xí)算法引入到醫(yī)學(xué)圖像分割中，能夠發(fā)揮深度學(xué)習(xí)算法學(xué)習(xí)能力強(qiáng)、對(duì)圖像具有良好的非線性映射能力等優(yōu)點(diǎn)，在彌補(bǔ)傳統(tǒng)分割方法提取圖像特征信息耗時(shí)長、精度不足的同時(shí)，可以更加精準(zhǔn)地表達(dá)出脊柱圖像深層次的關(guān)鍵信息，獲得更好的圖像分割效果［4］。

自深度學(xué)習(xí)模型出現(xiàn)以來，圖像分割技術(shù)取得了巨大的研究進(jìn)展［5］。卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型和U 型網(wǎng)絡(luò)（U-Net）模型作為最常見且分割效果較好的兩種深度學(xué)習(xí)網(wǎng)絡(luò)模型，在脊柱圖像分割領(lǐng)域已被廣泛應(yīng)用。本文以這兩種網(wǎng)絡(luò)模型為核心，從算法模型、圖像類型、分割效果等方面編寫深度學(xué)習(xí)在脊柱圖像分割方面的應(yīng)用綜述。

1 常見的脊柱疾病類型

脊柱疾病是指脊柱的骨質(zhì)、椎間盤、韌帶、肌肉等一系列組織發(fā)生病變，進(jìn)而壓迫、牽引、刺激脊髓、脊神經(jīng)、血管、植物神經(jīng)等出現(xiàn)的復(fù)雜多變的病狀。脊柱疾病依據(jù)形態(tài)學(xué)、頸椎曲度變化和椎間關(guān)節(jié)是否穩(wěn)定可以分為以下幾類：損傷類疾病，即椎體骨折；脊柱腫瘤、脊柱結(jié)核；退行性疾病，即腰椎間盤病變等；代謝疾病，如骨質(zhì)疏松；內(nèi)分泌、免疫系統(tǒng)疾?。患怪?、脊柱側(cè)彎等。目前臨床診斷上，脊柱畸形、退行性疾?。囱甸g盤突出）以及脊柱腫瘤等脊柱疾病類型的發(fā)病率高且診斷難度大，受到越來越多的關(guān)注。

1.1 脊柱畸形

脊柱畸形是指脊柱在冠狀位、矢狀位或橫斷位上偏離正常位置［6］。形態(tài)學(xué)上，脊柱畸形的臨床表現(xiàn)根據(jù)病因可分為原發(fā)性脊柱側(cè)彎、特發(fā)性脊柱側(cè)彎、神經(jīng)性脊柱側(cè)彎等。

以往研究表明，在椎骨節(jié)段，脊柱畸形的發(fā)病率較高。椎骨的精準(zhǔn)分割是定位病灶區(qū)域、合理選擇手術(shù)方案的前提，因此，如何精準(zhǔn)高效地實(shí)現(xiàn)椎骨的分割至關(guān)重要。影響椎骨準(zhǔn)確分割的因素通常包括：1）椎骨分為L1～L5 節(jié)段，各個(gè)節(jié)段的椎骨在形態(tài)學(xué)上具有很高的相似性，不利于單個(gè)節(jié)段的椎體分割；2）椎骨的正常圖像和病理圖像的相異性較小，判斷容易失誤；3）圖像采集過程中分辨率低、可見視野窄等情況會(huì)影響圖像的質(zhì)量，影響分割結(jié)果。

將深度學(xué)習(xí)算法引入椎骨分割中，發(fā)揮其自適應(yīng)性強(qiáng)、提取關(guān)鍵信息準(zhǔn)確的優(yōu)點(diǎn)，能夠更好地提取椎骨病灶區(qū)域信息，完成對(duì)椎骨的準(zhǔn)確分割。

1.2 退行性疾病

退行性疾病是腰椎退變引起的一系列改變，文獻(xiàn)［7-8］介紹了退行性疾病的主要類型，包括腰椎管狹窄、腰椎間盤突出、腰椎滑脫或者腰椎退變性不穩(wěn)、腰椎退變性側(cè)彎以及其他癥狀或者癥候群等。

腰椎間盤突出癥是退行性疾病中最為典型的一種，在臨床診斷中面臨著眾多挑戰(zhàn)，尤其在圖像分割過程中。腰椎間盤有著多個(gè)節(jié)段并且多個(gè)節(jié)段都會(huì)發(fā)生突出，其中腰椎、骶骨等節(jié)段發(fā)生突出的概率較高。從眾多節(jié)段中找到與病癥最相關(guān)的節(jié)段是治療腰椎間盤突出最關(guān)鍵的環(huán)節(jié)?；谏疃葘W(xué)習(xí)的方法進(jìn)行椎間盤圖像的分割，不僅可以彌補(bǔ)傳統(tǒng)方法耗時(shí)長、精度差的不足，而且還能夠幫助醫(yī)生做出更準(zhǔn)確的診斷，降低誤報(bào)率。

1.3 脊柱腫瘤

脊柱腫瘤是常見的腫瘤之一，通常發(fā)生于骨骼和骨髓的內(nèi)部及其周圍。文獻(xiàn)［9-10］介紹了脊柱腫瘤，指出脊髓及其周圍區(qū)域形成的腫瘤迅速生長會(huì)導(dǎo)致患者出現(xiàn)疼痛、癱瘓等并發(fā)癥，情況嚴(yán)重的甚至影響患者的生活質(zhì)量。

近四十年來，脊柱腫瘤發(fā)病率呈爆炸式增長，引起了更多的關(guān)注和研究。文獻(xiàn)［11-12］介紹了脊柱腫瘤的治療，提出了全脊柱切除術(shù)。經(jīng)過不斷地改進(jìn)、發(fā)展，目前該技術(shù)能夠徹底清除脊柱結(jié)構(gòu)上的腫瘤塊，并減少腫瘤周圍組織的感染范圍，對(duì)脊柱腫瘤患者神經(jīng)損傷和術(shù)后康復(fù)具有重要的臨床意義。

合理設(shè)計(jì)手術(shù)方案、選擇手術(shù)療法的前提是準(zhǔn)確找到脊柱腫瘤的發(fā)病位置，即找到病灶區(qū)域再進(jìn)行診斷分析。因此，如何精準(zhǔn)、快速、有效地分割脊柱腫瘤圖像至關(guān)重要。

以往的實(shí)驗(yàn)數(shù)據(jù)顯示，基于深度學(xué)習(xí)對(duì)脊柱圖像分割的方法能夠提取深層的特征信息，且準(zhǔn)確率、精度以及分割效率等實(shí)驗(yàn)結(jié)果相較于傳統(tǒng)方法有明顯的提升［13］。充分發(fā)揮深度學(xué)習(xí)技術(shù)圖像特征提取能力強(qiáng)、模型精度高等優(yōu)點(diǎn)，逐漸成為了當(dāng)前脊柱腫瘤圖像分割的主流方向。

2 脊柱圖像分割

脊柱圖像分割是對(duì)電子計(jì)算機(jī)斷層掃描（CT）、核磁共振成像（MRI）等圖像中的脊柱區(qū)域進(jìn)行分割，將脊柱圖像中與檢測(cè)內(nèi)容相關(guān)的特征數(shù)據(jù)進(jìn)行提取、表達(dá)和反饋，再將圖像中感興趣的脊柱區(qū)域分割出來。當(dāng)脊柱圖像中有效的特征區(qū)域被分割出來后［14］，分割將停止。最后結(jié)合三維重建、可視化等技術(shù)，幫助醫(yī)生更直觀、準(zhǔn)確地觀察患者的病變區(qū)域。

2.1 常用的公開數(shù)據(jù)集

深度學(xué)習(xí)模型通常具有巨大的參數(shù)量，需要規(guī)模龐大的數(shù)據(jù)集來避免模型過度擬合。脊柱圖像分割常用的幾種公開數(shù)據(jù)集如表1 所示。

表1 數(shù)據(jù)集信息Table 1 Dataset information

在公開數(shù)據(jù)集上重復(fù)進(jìn)行訓(xùn)練會(huì)影響模型對(duì)測(cè)試結(jié)果的準(zhǔn)確性，導(dǎo)致數(shù)據(jù)分析出現(xiàn)誤差。因此，研究者還會(huì)使用一些內(nèi)部數(shù)據(jù)集用于模型的測(cè)試，確保實(shí)驗(yàn)結(jié)果的準(zhǔn)確性。此外，對(duì)脊柱圖像分割之前，通常會(huì)進(jìn)行水平或垂直翻轉(zhuǎn)、平移縮放等預(yù)處理操作來擴(kuò)充實(shí)驗(yàn)數(shù)據(jù)，并且為防止圖像邊緣分割模糊，研究者會(huì)對(duì)圖像邊緣進(jìn)行標(biāo)注處理，然后由醫(yī)生驗(yàn)證是否準(zhǔn)確，從而確保數(shù)據(jù)集的質(zhì)量。

2.2 脊柱圖像分割方法及流程

深度學(xué)習(xí)算法通過多層特征提取，從原始輸入中逐漸提取更高級(jí)別的特征來實(shí)現(xiàn)有監(jiān)督、半監(jiān)督或無監(jiān)督的圖像處理［15］，從而實(shí)現(xiàn)自動(dòng)分割或者半自動(dòng)分割，提高分割效率；通過改善傳統(tǒng)圖像分割邊緣模糊、圖像類型匹配受限以及目標(biāo)器官與背景之間對(duì)比度較低或相似度較高的情況下分割不精準(zhǔn)等問題，來提高圖像的分割質(zhì)量［16］。

脊柱圖像分割通常采用CT 和MRI 圖像作為待處理的病理圖像，基于脊柱第一中心點(diǎn)進(jìn)行切塊處理，生成平滑處理曲線，同時(shí)基于第一中心點(diǎn)和脊椎的初始切割框，計(jì)算得到脊椎中不同脊椎類型對(duì)應(yīng)的第一距離均值；之后依據(jù)平滑處理曲線和第一距離均值，生成目標(biāo)切割框；再采用目標(biāo)切割框，基于第一中心點(diǎn)對(duì)脊椎進(jìn)行切塊處理，得到脊椎圖像切塊；最后通過二值分割處理得到二值分割結(jié)果，利用分割結(jié)果和之前的標(biāo)簽信息就能得到更多分割結(jié)果信息。

2.3 脊柱圖像分割評(píng)價(jià)指標(biāo)

研究者在圖像分割中通過使用一些精確衡量分割效果的評(píng)價(jià)指標(biāo)來反映分割網(wǎng)絡(luò)模型的工作性能，從而分析該模型的優(yōu)缺點(diǎn)。常用的圖像分割評(píng)價(jià)指 標(biāo)如表2 所示，其中，TP、FP、FN和TN分別表示分割任務(wù)中像素真陽性、假陽性、假陰性和真陰性的數(shù)量［17］。

脊柱圖像分割的評(píng)價(jià)指標(biāo)可以幫助醫(yī)生更直觀地對(duì)脊柱圖像進(jìn)行分析診斷。不同的評(píng)價(jià)指標(biāo)能反映出分割效果的各個(gè)方面，例如：DSC 對(duì)圖像分割的內(nèi)部區(qū)域效果明顯；HD 對(duì)圖像外部輪廓反映的效果更好；IoU 對(duì)分割邊緣具有更準(zhǔn)確的判斷。雖然在脊柱圖像分割效果評(píng)定方面，DSC 的評(píng)估意義更具有參考價(jià)值［19］，但采用多種指標(biāo)對(duì)分割結(jié)果進(jìn)行綜合評(píng)價(jià)，能夠更全面地體現(xiàn)脊柱圖像中的關(guān)鍵信息，更合理地對(duì)整體分割結(jié)果進(jìn)行評(píng)估。

3 深度學(xué)習(xí)在脊柱圖像分割中的應(yīng)用進(jìn)展

基于深度學(xué)習(xí)方法的脊柱圖像分割能夠準(zhǔn)確地描繪出圖像中蘊(yùn)含的關(guān)鍵特征信息，逐漸成為了圖像分割領(lǐng)域中首選的方法［20］。脊柱圖像分割中的神經(jīng)網(wǎng)絡(luò)模型大多是在CNN 模型和U-Net 模型的基礎(chǔ)上對(duì)算法和模型結(jié)構(gòu)進(jìn)行改進(jìn)，并不斷地提升分割效果。CNN 模型的設(shè)計(jì)理念是受到動(dòng)物視覺皮層結(jié)構(gòu)的啟發(fā)，通過考慮像素的空間位置，加上人工設(shè)定的感興趣程度，從而做到權(quán)重共享。該模型無須提取手工工藝特征即可顯著提高分割精度，實(shí)現(xiàn)對(duì)脊柱圖像信息的高效提取和精準(zhǔn)分割。U-Net 模型在脊柱圖像分割方面也具有許多優(yōu)點(diǎn)，例如：可同時(shí)處理脊柱圖像中全局和局部語義信息；在訓(xùn)練集較少的情況下，依然可以獲得很好的實(shí)驗(yàn)分割結(jié)果；端到端的結(jié)構(gòu)特性使得網(wǎng)絡(luò)可以保存輸入的脊柱圖像的全部語義信息。這些優(yōu)點(diǎn)使得U-Net 模型更適合處理數(shù)據(jù)集較少情況下的脊柱圖像分割問題。上述兩種模型相比傳統(tǒng)分割方法不僅能夠提高目標(biāo)邊緣檢測(cè)的精準(zhǔn)度，而且對(duì)提取目標(biāo)輪廓的準(zhǔn)確率也有很大改善。

將傳統(tǒng)方法與深度學(xué)習(xí)算法相結(jié)合也可以獲得良好的實(shí)驗(yàn)效果，例如文獻(xiàn)［21］使用馬爾可夫隨機(jī)場(chǎng)（MRF）來推斷脊柱圖像分割，通過黎曼流形嵌入對(duì)之前變形的復(fù)雜非線性模式進(jìn)行建模，在提高魯棒性的同時(shí)節(jié)省了存儲(chǔ)空間。由此可見，傳統(tǒng)脊柱圖像分割方法與深度學(xué)習(xí)方法相結(jié)合能夠快速且精準(zhǔn)地完成分割任務(wù)。

3.1 CNN 模型在脊柱圖像分割中的應(yīng)用

CNN 模型具有深度特征提取能力以及較強(qiáng)的自適應(yīng)性，在臨床上的實(shí)用性較高并且能夠有效地輔助醫(yī)生診斷，因此被稱為專為圖像分割而設(shè)計(jì)的算法模型。

3.1.1 基于CNN 模型的椎骨圖像分割

精準(zhǔn)的椎體分割可以為脊柱圖像的分析和干預(yù)提供良好的基礎(chǔ)，相較于傳統(tǒng)的圖像分割方法，基于深度學(xué)習(xí)的方法可以增強(qiáng)圖像分割效率和精準(zhǔn)度，提高醫(yī)生的診斷效率［22］。

CNN 模型雖能很好地提取目標(biāo)特征信息，但無法兼容不同大小的尺寸輸入；同時(shí)缺乏對(duì)圖像本身的全局理解，無法建立起特征之間的依賴關(guān)系，不能充分采用上下文的關(guān)鍵信息。為了較好地保留圖像的空間信息，并且實(shí)現(xiàn)圖像像素級(jí)的分類，文獻(xiàn)［23］提出全卷積神經(jīng)網(wǎng)絡(luò)（FCN），用卷積層代替全連接層，減少了模型訓(xùn)練所需要的參數(shù)量，從而降低了過度擬合的可能性。FCN 結(jié)構(gòu)如圖1 所示。

圖1 FCN 模型結(jié)構(gòu)Fig.1 FCN model structure

FCN 模型使用編碼器-解碼器的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行多次下采樣，以犧牲空間分辨率為代價(jià)來提取局部或全局特征，分割效果好且效率高；但由于感受野受限，而感受野的大小又是提取局部信息甚至全局信息的關(guān)鍵，因此對(duì)圖像的邊緣信息分割模糊。目前對(duì)脊柱圖像分割的研究大多是基于FCN 模型改進(jìn)的，F(xiàn)CN 模型的提出對(duì)脊柱圖像分割領(lǐng)域具有里程碑式的意義。

文獻(xiàn)［24］提出一種能夠高效檢測(cè)椎骨的深入前饋神經(jīng)網(wǎng)絡(luò)，但該網(wǎng)絡(luò)因較大的定位誤差未得到廣泛推廣。文獻(xiàn)［25］提出一種聯(lián)合卷積神經(jīng)網(wǎng)絡(luò)（J-CNN），利用隨機(jī)森林算法來定位椎骨。相較于文獻(xiàn)［24］提出的模型，J-CNN 模型在準(zhǔn)確率上具有較大的提升，但耗時(shí)過長導(dǎo)致效率較低。文獻(xiàn)［26］提出一種自動(dòng)脊柱水平識(shí)別（SPIDE）系統(tǒng)。該系統(tǒng)不使用外部跟蹤裝置，對(duì)椎骨分割的準(zhǔn)確率為88%，但手動(dòng)調(diào)優(yōu)的缺點(diǎn)使其在臨床上的推廣受到阻礙。

為更好地實(shí)現(xiàn)臨床應(yīng)用，文獻(xiàn)［27］提出CNN 和FCN 混合的全自動(dòng)CT 脊柱分割方法，該方法在提升效率的同時(shí)精度達(dá)到99%，缺點(diǎn)是計(jì)算冗余較大，成本過高并且每次分割只能對(duì)單個(gè)椎骨圖像進(jìn)行分割。文獻(xiàn)［28］通過級(jí)聯(lián)定位FCN 與分割FCN 的方法對(duì)脊柱CT 圖像進(jìn)行分割，所提模型DSC 為95.77±0.81%，多個(gè)FCN 使此模型存在著大量參數(shù)，解決了從不同視野獲取的CT 圖像中分割椎骨這一挑戰(zhàn)性難題。

隨著CNN 模型的不斷改進(jìn)，出現(xiàn)了許多基于迭代CNN 的算法。文獻(xiàn)［29］通過引入3D CNN 來標(biāo)記分類過的椎骨，使用迭代程序，按順序?qū)ψ倒侵饌€(gè)分割和識(shí)別。文獻(xiàn)［30］提出一種具有良好泛化能力的椎體實(shí)例分割模型，相較于文獻(xiàn)［29］方法，該模型降低了17%的內(nèi)存占用，實(shí)現(xiàn)了更好的經(jīng)濟(jì)內(nèi)存使用，可以更準(zhǔn)確地提供圖像的分割信息，適合應(yīng)用在一些臨床軟件項(xiàng)目上。文獻(xiàn)［31］利用監(jiān)督深度學(xué)習(xí)方法進(jìn)行全自動(dòng)高分辨率3D 分割，所提方法不需要進(jìn)行任何預(yù)處理，可以在1 min 內(nèi)高效地分割3D 圖像數(shù)據(jù)，在腰椎CT 圖像數(shù)據(jù)集上的準(zhǔn)確率高達(dá)99.80%，此外，該方法可以很方便地應(yīng)用于基于U-Net 架構(gòu)的分割方法，具有良好的泛化性能。文獻(xiàn)［32］利用多尺度神經(jīng)網(wǎng)絡(luò)對(duì)脊柱的MR 圖像進(jìn)行分割，所提模型DSC 為95.10%，相較于U-Net 模型提高了1.3 個(gè)百分點(diǎn)，證明了該模型的有效性。文獻(xiàn)［33］提出的深度學(xué)習(xí)算法可以自動(dòng)檢測(cè)MR 圖像中的腰椎，并對(duì)椎體進(jìn)行定位和分類，分割準(zhǔn)確率和精度分別為98.6%和98.9%，其與文獻(xiàn)［34］對(duì)特定椎體（L1～L5 腰椎椎體以及S1 骶骨的第一個(gè)椎體）的檢測(cè)精度的比較如表3 所示，結(jié)果顯示，文獻(xiàn)［33］方法的精度在L1～L5 椎體上相較于文獻(xiàn)［34］方法有所提升，并且實(shí)現(xiàn)了腰椎MRI 圖像的自動(dòng)化檢測(cè)、分類和分割。

表3 特定椎骨檢測(cè)精度比較Table 3 Precision comparison of specific vertebrae detection %

文獻(xiàn)［35］提出一種能夠在椎體和椎間盤的各類圖像中自動(dòng)且快速分割的深度學(xué)習(xí)模型，該模型分割的放射量很準(zhǔn)確，DSC 中位數(shù)大于0.95%，平均產(chǎn)出時(shí)間少于1.7 s，能夠快速地將圖像信息輸出，可以用于健康脊柱的臨床成像研究，但無法捕獲嚴(yán)重脊柱側(cè)凸患者的單個(gè)切片上的所有椎骨，因此在某些網(wǎng)絡(luò)模型架構(gòu)下應(yīng)用受到了限制。

目前基于CNN 模型的椎骨圖像分割方法在準(zhǔn)確率和精度方面都達(dá)到了很高的水準(zhǔn)，基本符合人們對(duì)深度學(xué)習(xí)在椎骨圖像分割中的期望，但由于CNN 的卷積是固定的，不能動(dòng)態(tài)地適應(yīng)輸入的變化，無法完整捕捉椎骨復(fù)雜的形態(tài)結(jié)構(gòu)；此外，椎體的彎曲受損程度也會(huì)影響單一甚至全部椎體病灶區(qū)域的分割。因此，未來的研究方向應(yīng)是在不考慮椎骨側(cè)彎嚴(yán)重程度的基礎(chǔ)上，準(zhǔn)確、高效地對(duì)單張切片上所有的椎骨進(jìn)行高精度分割。

3.1.2 基于CNN 模型的椎間盤圖像分割

椎間盤的分割對(duì)于椎間盤病變的檢測(cè)及分析具有重要意義，從醫(yī)學(xué)圖像中準(zhǔn)確分割病變的椎間盤是臨床診斷和制定治療計(jì)劃的前提。

文獻(xiàn)［36］提出二維自動(dòng)主動(dòng)形狀模型（2DAASM），彌補(bǔ)了傳統(tǒng)主動(dòng)形狀模型（ASM）耗時(shí)、易受主觀性影響等不足，分割精度和效率有了明顯提升。文獻(xiàn)［37］介紹的3DFCN 模型用于椎間盤高維體積數(shù)據(jù)的定位和分割任務(wù)，在視覺上可以生成平滑的分割效果，與2DFCN 相比，三維網(wǎng)絡(luò)模型的分割性能更好。文獻(xiàn)［38］介紹了一種三維多尺度FCN（MsFCN），其結(jié)構(gòu)框架如圖2 所示。

圖2 MsFCN 框架Fig.2 MsFCN framework

MsFCN 模型具有較高的分辨能力，同時(shí)緩解了自適應(yīng)問題，通過高階特征信息之間的相互融合來增強(qiáng)網(wǎng)絡(luò)處理解剖結(jié)構(gòu)尺度變化的能力，平均DSC達(dá)到91.2%，證明了模型的有效性和可行性。盡管該方法在許多情況下取得了令人滿意的效果，但也存在不足，例如在分割的開始和結(jié)束部分，由于椎間盤模糊和噪聲的影響，分割效果較差。未來的研究應(yīng)考慮如何更好地利用去模糊化、圖像歸一化等圖像處理方法解決此類問題。文獻(xiàn)［39］提出一種深度學(xué)習(xí)分割網(wǎng)絡(luò)MOM-RCNN，其對(duì)263 名患者的椎間盤MRI 圖像進(jìn)行分割，靈敏度為88%，特異性為98%，但圖像維度因素的影響使計(jì)算受到了限制。

對(duì)椎間盤圖像分割時(shí)，可以考慮將無監(jiān)督學(xué)習(xí)和監(jiān)督學(xué)習(xí)相結(jié)合，同時(shí)優(yōu)化已有的算法，例如將二維圖像轉(zhuǎn)變?yōu)橐胛恢眯畔⒌娜S圖像，或是將單模態(tài)和多模態(tài)之間的信息相融合，以便更好地將深度學(xué)習(xí)方法應(yīng)用于椎間盤圖像的分割。

3.2 U-Net 模型在脊柱圖像分割中的應(yīng)用

雖然FCN 模型在脊柱圖像分割的精度上已經(jīng)有了大幅度的提升，但訓(xùn)練速度較慢，不能完全滿足醫(yī)學(xué)領(lǐng)域?qū)τ趫D像分割精度和效率的嚴(yán)格要求。為解決神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度慢的問題，文獻(xiàn)［40］對(duì)FCN 模型結(jié)構(gòu)進(jìn)行改進(jìn)，提出U-Net 模型，其結(jié)構(gòu)如圖3所示。

圖3 U-Net 模型結(jié)構(gòu)Fig.3 U-Net model structure

U-Net 模型是對(duì)稱結(jié)構(gòu)，其通過跳躍連接的方法將編碼器和解碼器上提取的特征充分融合，在小型數(shù)據(jù)集中的分割表現(xiàn)十分優(yōu)異；同時(shí)它也是一種開源的體系結(jié)構(gòu)，對(duì)脊柱圖像分割方面的研究很有幫助［41］。

3.2.1 基于U-Net 模型的椎骨圖像分割

在文獻(xiàn)［40］提出U-Net 模型后，許多研究對(duì)U-Net 模型進(jìn)行改進(jìn)，并應(yīng)用于脊柱圖像分割。文獻(xiàn)［42-43］用三維圖像代替二維圖像對(duì)原始的U-Net模型進(jìn)行改進(jìn)，分別提出3DU-Net 模型和V-Net 模型，2 個(gè)模型的結(jié)構(gòu)如圖4、圖5 所示。3DU-Net 模型能夠半自動(dòng)或全自動(dòng)地從稀疏標(biāo)注中分割三維圖像體積。V-Net 模型通過引入基于Dice 系數(shù)的新?lián)p失函數(shù)，解決了背景和前景像素之間數(shù)量不平衡的問題。這兩種改進(jìn)的U-Net 模型都在在一定程度上提升了三維醫(yī)學(xué)圖像的分割精度，在后續(xù)的實(shí)驗(yàn)中發(fā)揮了重要作用。

圖4 3DU-Net 模型結(jié)構(gòu)Fig.4 3DU-Net model structure

圖5 V-Net 模型結(jié)構(gòu)Fig.5 V-Net model structure

文獻(xiàn)［44］提出了能夠聚合不同區(qū)域上下文信息的PSPNet 模型，解決了原始U-Net 模型上下文信息丟失的問題，但分割精度略顯不足。文獻(xiàn)［45］提出一種將Dense 模塊引入到U-Net 編碼器-解碼器結(jié)構(gòu)中來處理語義分割的方法，解決了PSPNet 模型分割精度差的問題。

文獻(xiàn)［46］提出Attention U-Net 模型，引入的注意力機(jī)制可以突出圖像信息的顯著特征，提高U-Net模型在不同的數(shù)據(jù)集和訓(xùn)練模型下的分割性能。文獻(xiàn)［47］利用深度監(jiān)督方法提出了具有高度靈活特點(diǎn)和快速推理能力的UNet++模型，其結(jié)構(gòu)如圖6 所示。UNet++模型在原始U-Net 模型的基礎(chǔ)上增加了許多跳躍連接路徑和上采樣卷積塊，將多尺度特征與上采樣提取的特征進(jìn)行融合，使得水平方向上每層尺度特征都能得到連接，彌補(bǔ)了編碼器和解碼器之間的語義鴻溝。

圖6 UNet++模型結(jié)構(gòu)Fig.6 UNet++model structure

文獻(xiàn)［48］使 用U-Net、Dense-U-Net 和Residual U-Net 等多種深度神經(jīng)網(wǎng)絡(luò)對(duì)椎體X 線片圖像進(jìn)行分割，對(duì)分割結(jié)果的定量評(píng)價(jià)如表4 所示。實(shí)驗(yàn)結(jié)果表明，殘差U-Net 對(duì)椎骨分割的響應(yīng)速度更快且分割結(jié)果更接近金標(biāo)準(zhǔn)。

表4 不同深度神經(jīng)網(wǎng)絡(luò)模型對(duì)椎體圖像的分割性能Table 4 Segmentation performance of vertebral body image by different depth neural network models

文獻(xiàn)［49］利用U-Net模型對(duì)脊柱X 線片圖像進(jìn)行分割，結(jié)果表明，醫(yī)生和系統(tǒng)對(duì)圖像分割的結(jié)果之間無統(tǒng)計(jì)學(xué)差異，且平均偏差非常小，該模型實(shí)現(xiàn)了對(duì)腰椎X 線片圖像分割的同時(shí)，能夠自動(dòng)測(cè)量Cobb 角，為醫(yī)生提供準(zhǔn)確、客觀的分割結(jié)果。文獻(xiàn)［50］將N-Net 網(wǎng)絡(luò)用于椎體分割，在3DFCN 的基礎(chǔ)上引入殘余結(jié)構(gòu)和跳躍連接，分割結(jié)果的DSC 達(dá)到95%。文獻(xiàn)［51］提出同時(shí)對(duì)多模態(tài)MRI 中多個(gè)脊柱結(jié)構(gòu)進(jìn)行三維語義分割的網(wǎng)絡(luò)模型S3egANet，該模型DSC 為88.3%，特異性指標(biāo)為91.45%，充分顯示了其臨床有效性。

文獻(xiàn)［52］提出了一種具備全尺寸跳躍連接和深度監(jiān)督優(yōu)勢(shì)的全尺度連接U-Net——U-Net 3+，通過減少網(wǎng)絡(luò)參數(shù)來提高運(yùn)算效率。文獻(xiàn)［53］在文獻(xiàn)［51］模型中引入注意力機(jī)制，提出ANU-Net模型。注意力機(jī)制可以聚集整個(gè)圖像上的目標(biāo)器官，不僅能大幅縮短訓(xùn)練時(shí)間，獲取更重要的病灶數(shù)據(jù)信息，而且對(duì)模型的分割精度和靈敏特性也有顯著提高。文獻(xiàn)［53］提出的ANU-Net 模型，通過判斷注意力的分布情況，著重表達(dá)某個(gè)關(guān)鍵的輸入來突出特征的關(guān)鍵信息。此外，該模型還具有嵌套的U-Net 結(jié)構(gòu)，可以集成不同等級(jí)的特征信息，有效提升了網(wǎng)絡(luò)分割精度［54］。文獻(xiàn)［55］方法使用U-Net模型對(duì)脊柱CT圖像進(jìn)行分割，DSC 為90.4%，精密度為96.81%，驗(yàn)證了該方法的臨床意義和可靠性。文獻(xiàn)［56］提出了新的卷積模塊代替標(biāo)準(zhǔn)的卷積來進(jìn)行特征提取，使用MCW1-Net 作為編碼器，利用DenseX-Net 進(jìn)行特征融合，獲得了準(zhǔn)確的分割結(jié)果，但分割精度和DSC 之間存在沖突，阻礙了該方法在臨床上的應(yīng)用。文獻(xiàn)［57］引入多尺度特征提取模塊構(gòu)建MA-UNet模型，在降低網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜性的同時(shí)提高了模型的分割性能。

3.2.2 基于U-Net 模型的椎間盤圖像分割

基于U-Net 模型簡(jiǎn)單、高效、可完成圖像像素級(jí)分割的特點(diǎn)，可以對(duì)椎間盤圖像復(fù)雜的特征信息進(jìn)行提取和分割。利用傳統(tǒng)的U-Net 模型進(jìn)行圖像分割存在冗余大以及分割、定位精度不可兼得的缺點(diǎn)，為此，許多研究對(duì)U-Net 模型進(jìn)行了改進(jìn)。文獻(xiàn)［58］提出了使用2 個(gè)不同尺度擴(kuò)張卷積的卷積塊來擴(kuò)展初始模塊，得到IVD-Net 模型，該模型的編碼部分采用多個(gè)路徑之間緊密連接的形式，每個(gè)路徑分別處理單個(gè)模塊，有效地利用來自多個(gè)圖像模式的信息進(jìn)行分割，提高了分割性能。文獻(xiàn)［59］提出一種基于級(jí)聯(lián)學(xué)習(xí)方法的BSU-Net 模型對(duì)椎間盤的MR 圖像進(jìn)行分割，該模型克服了U-Net 模型最大池化層的局限性，并且對(duì)椎間盤以及邊界的分割精度也有明顯的提升。文獻(xiàn)［60］通過將殘差網(wǎng)絡(luò)中“捷徑”的概念引入U(xiǎn)-Net 模型，完成對(duì)椎間盤圖像的分割。殘差網(wǎng)絡(luò)的概念最早是由文獻(xiàn)［61］提出的，通過引入殘差塊可以解決深層網(wǎng)絡(luò)產(chǎn)生的梯度消失、網(wǎng)絡(luò)爆炸問題以及圖像分割時(shí)所產(chǎn)生的退化問題，從而提高深層網(wǎng)絡(luò)的表現(xiàn)性能。該方法實(shí)現(xiàn)了椎間盤的全自動(dòng)分割，準(zhǔn)確率達(dá)到95.73%，缺點(diǎn)是無法同時(shí)對(duì)全部的椎間盤圖像進(jìn)行分割。為解決此類問題的不足，文獻(xiàn)［62］提出了MultiRes U-Net 模型，該模型實(shí)現(xiàn)了全部椎間盤的自動(dòng)分割，且分割精度良好。

從以往基于U-Net 模型的實(shí)驗(yàn)結(jié)果來看，U-Net模型并非FCN 模型那般融合粗略的語義信息和精細(xì)的外觀信息，而是通過跳躍連接更好地融合精細(xì)的語義信息，更像是一個(gè)輕量級(jí)網(wǎng)絡(luò)模型，更適合于脊柱圖像的分割工作。目前基于U-Net 模型的部分創(chuàng)新和改進(jìn)如表5 所示。

表5 U-Net 模型的改進(jìn)思路Table 5 Improvement ideas of U-Net model

傳統(tǒng)的U-Net 模型只注重分割精度的提升而忽略了卷積層數(shù)，導(dǎo)致計(jì)算量過大，嚴(yán)重影響運(yùn)算效率。對(duì)此，研究者提出了MECAU-Net，在編碼器部分采用2×2 偶數(shù)卷積代替3×3 卷積，結(jié)合空間和通道注意力機(jī)制，在保證特征信息提取的同時(shí)，大幅降低了計(jì)算成本?？斩淳矸e可以獲得更大的感受野，從而提升目標(biāo)檢測(cè)和語義分割的精度效果；殘差網(wǎng)絡(luò)則可以解決網(wǎng)絡(luò)層數(shù)增大而導(dǎo)致的梯度爆炸或梯度消失等情況；多尺度特征融合網(wǎng)絡(luò)可以更好地融合深層和淺層的信息，為語義分割提供更好的效果?；赨-Net 模型將多尺度和空洞卷積相結(jié)合，即DeepLabv3+，可以在更多的感受野下提取圖像的深層信息和淺層信息，對(duì)邊緣分割具有良好的效果。為了解決前景和背景像素不平衡的問題，研究者在U-Net 模型基礎(chǔ)上引入新的目標(biāo)函數(shù)，提出V-Net 用于分割三維圖像。U-Net++則對(duì)U-Net 的跳躍連接進(jìn)行了改進(jìn)，平衡了過量參數(shù)和網(wǎng)絡(luò)深度之間的關(guān)系。基于U-Net++模型，將不同尺度特征圖的深層信息和淺層信息相結(jié)合，即UNet 3+。UNet3+利用全尺度跳躍連接和深度監(jiān)督融合不同尺度、不同層次的特征信息，并引入分類引導(dǎo)模塊損失函數(shù)，可以抑制背景區(qū)域的過度分割。然而，UNet 3+和V-Net都存在龐大的參數(shù)量，限制了其使用范圍；U-Net 和U-Net 3+都無法獲取圖像的全局特征，對(duì)邊緣檢測(cè)結(jié)果較為模糊，而改進(jìn)后的注意力模塊和點(diǎn)采樣可以彌補(bǔ)邊緣模糊的不足。

目前U-Net 的改進(jìn)思路較為單一，例如加深卷積層數(shù)、建立殘差連接或者引入多尺度注意力機(jī)制，大多都是關(guān)于編碼器的改進(jìn)，忽略了跳躍連接和解碼器部分以及龐大的計(jì)算冗余。在時(shí)間就是生命的醫(yī)學(xué)環(huán)境下，要注重輕量化網(wǎng)絡(luò)的重要性，可以采用一層一回傳的跳躍連接方式，最大程度地將編碼器采樣的信息傳給解碼器，避免重要的信息丟失。

隨著深度學(xué)習(xí)算法在國際上的影響力不斷擴(kuò)大，國內(nèi)許多學(xué)者對(duì)CNN 模型和U-Net模型進(jìn)行了改進(jìn)，模型改進(jìn)方法以及分割結(jié)果的Dice系數(shù)如表6所示。

表6 國內(nèi)基于深度學(xué)習(xí)對(duì)脊柱圖像分割的研究Table 6 Research on spinal image segmentation based on deep learning in China %

從多個(gè)方面對(duì)神經(jīng)網(wǎng)絡(luò)模型的改進(jìn)方法和實(shí)驗(yàn)結(jié)果進(jìn)行詳細(xì)的總結(jié)歸納，如表7 所示。目前大多數(shù)脊柱圖像分割實(shí)驗(yàn)只采用DSC 作為評(píng)價(jià)指標(biāo)，顯示出該指標(biāo)的對(duì)于評(píng)價(jià)分割效果的重要意義；DSC對(duì)圖像內(nèi)側(cè)敏感，而采用HD、IoU 等指標(biāo)評(píng)價(jià)可以更好地反映出模型對(duì)脊柱圖像外側(cè)、輪廓等的分割效果，因此，部分實(shí)驗(yàn)會(huì)采用多種評(píng)價(jià)指標(biāo)來全面分析分割效果。

表7 不同研究中U-Net 模型的圖像分割性能對(duì)比分析Table 7 Comparative analysis of U-Net models' image segmentation performance in different researches %

目前深度學(xué)習(xí)在算法以及應(yīng)用上都較為成熟，但也存在著某些限制，例如對(duì)脊柱圖像邊緣信息的分割精度低、對(duì)三維圖像的特征信息獲取能力不足以及運(yùn)算時(shí)間長、模型占用空間內(nèi)存大等。此外，脊柱圖像分割的淺層語義信息通常摻雜冗余信息較多，在分割病灶區(qū)域與周圍背景或者其他組織器官的對(duì)比度較低時(shí)，分割效果達(dá)不到實(shí)際效果。

針對(duì)圖像邊緣分割精度不足的問題，可以采取以下幾種方法進(jìn)行改善：

1）在預(yù)處理環(huán)節(jié)中進(jìn)行降噪和圖像增強(qiáng)操作，在實(shí)際代碼操作中通過乘法或平方的方式來提升圖像邊緣較弱的像素梯度，通過放大像素值之間的差距，使圖像邊緣部分的像素值的梯度變大，從而實(shí)現(xiàn)精準(zhǔn)的圖像邊緣檢測(cè)分割。

2）在U-Net3+模型的全尺度特征融合過程中引入注意力門并且使用點(diǎn)采樣方法，通過特征疊加的方式整合不同層次的特征，利用注意力機(jī)制關(guān)注特征信息，采用分類引導(dǎo)模塊抑制過度分割，同時(shí)利用多尺度結(jié)構(gòu)相似性指數(shù)（MM-SSIM）損失方便為模糊邊界分配更高的權(quán)重，從而提高邊緣分割的精度。

3）多尺度特征融合，例如特征金字塔結(jié)構(gòu)通過深度網(wǎng)絡(luò)提取不同層次特征堆疊而成，在堆疊的基礎(chǔ)上通過Element-wise sum 實(shí)現(xiàn)特征融合，從而實(shí)現(xiàn)對(duì)不同層次、尺度的信息的檢測(cè)。

3.3 深度學(xué)習(xí)在脊柱腫瘤圖像分割中的應(yīng)用

脊柱腫瘤存在放射學(xué)的特殊性，且位置、結(jié)構(gòu)、大小、形狀等因患者而異，具有高度異質(zhì)性；同時(shí)醫(yī)生診斷在不同程度上會(huì)受到臨床經(jīng)驗(yàn)的限制，導(dǎo)致傳統(tǒng)脊柱腫瘤圖像分割出現(xiàn)誤判。為更好地實(shí)現(xiàn)良/惡性腫瘤的檢測(cè)與分割，許多研究充分發(fā)揮深度學(xué)習(xí)模型穩(wěn)定的分割效果、良好的平衡性能以及能夠精準(zhǔn)定位病灶區(qū)域等優(yōu)點(diǎn)，將深度學(xué)習(xí)模型應(yīng)用于脊柱腫瘤分割。文獻(xiàn)［68］提出以兩階段架構(gòu)對(duì)脊柱CT 圖像中成骨性轉(zhuǎn)移瘤進(jìn)行自動(dòng)檢測(cè)的方法，其網(wǎng)絡(luò)模型如圖7 所示，該方法能很好地適應(yīng)當(dāng)前低劑量、低分辨率CT 成像協(xié)議的趨勢(shì)。文獻(xiàn)［69］介紹了一種包含3 個(gè)相同子網(wǎng)絡(luò)的Siamese深度神經(jīng)網(wǎng)絡(luò)，并與聚集策略相結(jié)合，對(duì)26 例脊柱轉(zhuǎn)移瘤患者的MR 圖像分割結(jié)果進(jìn)行分析。該網(wǎng)絡(luò)具有相當(dāng)出色的表現(xiàn)，但在圖像邊界上分割的效果有待提升。

圖7 用于成骨性脊柱腫瘤分類的卷積神經(jīng)網(wǎng)絡(luò)Fig.7 Convolutional neural network for classification of osteoblastic spinal tumors

文獻(xiàn)［70］使用3DCNN 對(duì)脊柱的溶骨性和成骨性2 種腫瘤同時(shí)進(jìn)行分割和分類。該方法能夠檢測(cè)、分割和分類大于1.4 mm3的小病變，相較于其他已發(fā)表的CT 掃描脊柱的分析方法，具有高度靈活性，靈敏度高達(dá)92%，具有可靠的臨床價(jià)值；但其部分操作高度復(fù)雜化，且在成像條件等方面存在很大差異。為此，文獻(xiàn)［71］提出將CNN 模型和全連接條件隨機(jī)場(chǎng)相融合的方法對(duì)整張腫瘤圖像進(jìn)行分割，充分發(fā)揮CNN 精確提取圖像特征和使部分環(huán)節(jié)簡(jiǎn)單化的優(yōu)勢(shì)，彌補(bǔ)了文獻(xiàn)［70］中實(shí)驗(yàn)操作方法復(fù)雜的不足，提高了分割效率。

針對(duì)目標(biāo)檢測(cè)網(wǎng)絡(luò)應(yīng)用于腫瘤病變檢測(cè)時(shí)不能有效檢測(cè)出細(xì)小腫瘤區(qū)域這一問題，文獻(xiàn)［72］提出了一種細(xì)粒度的腫瘤檢測(cè)方法，其框架如圖8 所示。首先使用預(yù)先訓(xùn)練的二維特征金字塔網(wǎng)絡(luò)（FPN）［73］作為主干網(wǎng)絡(luò)構(gòu)建特征金字塔，從不同金字塔級(jí)別的輸入圖像中提取特征，使用多尺度增強(qiáng)器（MSB）對(duì)每一個(gè)金字塔級(jí)別的特征進(jìn)行大尺度變化的病變檢測(cè)，然后執(zhí)行分層擴(kuò)張卷積（HDC），其包含與特征金字塔互補(bǔ)的細(xì)粒度信息，能夠提高網(wǎng)絡(luò)對(duì)尺度變化的認(rèn)識(shí)并提供細(xì)粒度的規(guī)模估計(jì)，有效捕捉規(guī)模響應(yīng)有意義的響應(yīng)響應(yīng)；由通道和空間注意力組成的級(jí)聯(lián)注意力模塊對(duì)特征進(jìn)一步處理，以捕獲細(xì)粒度信息，達(dá)到細(xì)粒程度，實(shí)現(xiàn)最終預(yù)測(cè)。與Faster RCNN［74］、FPN 以及基 于三維 上下文 增強(qiáng)區(qū)域的CNN（3DCE）［75］等先進(jìn)的檢測(cè)模型相比，多尺度增強(qiáng)器特征金字塔網(wǎng)絡(luò)有效提高了在不同PF 率下的靈敏度值。

圖8 FPN 與MSB 檢測(cè)框架Fig.8 Detection frameworks of FPN and MSB

文獻(xiàn)［76］應(yīng)用動(dòng)態(tài)增強(qiáng)MRI 對(duì)無腫瘤史的61 例病人進(jìn)行研究，采用CNN 模型區(qū)分脊柱轉(zhuǎn)移瘤，所提方法準(zhǔn)確率為81%，對(duì)于此類疾病的診斷具有良好的作用。文獻(xiàn)［77］基于自注意力模型改進(jìn)2D V-Net，實(shí)現(xiàn)了脊柱腫瘤CT 圖像的分割，并對(duì)Faster RCNN模型改進(jìn)用于脊柱腫瘤檢測(cè)，在特征提取模塊將VGG 替換成ResNet 和DenseNet，通過增加殘差學(xué)習(xí)的密集連接來提升特征信息的學(xué)習(xí)和利用，所提方法邊緣分割精度相比VGG 分別提升了3.16% 和2.0%，同時(shí)還具有良好的泛化性能。文獻(xiàn)［78］采用深度學(xué)習(xí)方法建立了脊柱腫瘤二分類模型和三分類的深度人工神經(jīng)網(wǎng)絡(luò)（D-ANN）模型，結(jié)果顯示，D-ANN 為最佳二分類模型且準(zhǔn)確率達(dá)到90%以上，而由于腫瘤的異質(zhì)性大的特點(diǎn)，三分類模型效果較差。文獻(xiàn)［79］采用多尺度CNN 模型對(duì)CT 圖像進(jìn)行分割，內(nèi)部和外部驗(yàn)證的DSC 分別為97%、95%，基本滿足了人們對(duì)分割效果的期望。

深度學(xué)習(xí)模型為脊柱腫瘤的全脊柱切除術(shù)或者單一、特定脊柱節(jié)段的分割提供了可靠的方法。由于脊柱腫瘤圖像的成像特點(diǎn)以及難以與其他軟組織進(jìn)行區(qū)分，傳統(tǒng)分割方法對(duì)于圖像邊緣的分割效果較差，效率不高。目前基于U-Net 獨(dú)特的U 型結(jié)構(gòu)，通過跳躍連接能夠更好地捕獲圖像更高層次的特征信息，大幅提高腫瘤圖像整體分割的精準(zhǔn)度；而引入自注意力機(jī)制來提升網(wǎng)絡(luò)運(yùn)算效率，也解決了耗時(shí)嚴(yán)重的問題，逐漸成為提高運(yùn)算效率的主流方法。

4 總結(jié)與展望

將深度學(xué)習(xí)方法引入到脊柱的圖像分割中，一方面可以幫助醫(yī)生從繁瑣、重復(fù)的工作中解放出來，減少過度疲勞和主觀性因素導(dǎo)致的漏診、誤診等狀況的發(fā)生；另一方面提高了脊柱圖像的分割精度和準(zhǔn)確率，在臨床診療和術(shù)前規(guī)劃等方面發(fā)揮了不可替代的作用。雖然基于深度學(xué)習(xí)的脊柱分割方法具有優(yōu)異的臨床表現(xiàn)，但也有以下問題亟待解決：

1）在椎骨圖像分割方面，病灶區(qū)域的尺寸、形狀、位置等由于受到椎骨復(fù)雜的生理結(jié)構(gòu)的影響會(huì)發(fā)生變化，導(dǎo)致在醫(yī)學(xué)影像中觀察到的目標(biāo)區(qū)域的外觀變化較大，影響臨床分析；在椎間盤圖像分割方面，椎間盤圖像邊緣位置的圖像信息模糊，會(huì)導(dǎo)致分割時(shí)誤差較大、預(yù)處理和訓(xùn)練耗時(shí)長、結(jié)果準(zhǔn)確率低等問題；在脊柱腫瘤圖像分割方面，惡性腫瘤放射學(xué)的特殊性、CT 圖像中的腫瘤區(qū)域密度分布不均勻以及部分臨床醫(yī)生的經(jīng)驗(yàn)受限，使得評(píng)估及分割具有很大的難度，此外，當(dāng)使用CNN 模型對(duì)其分割時(shí)，只能分割腫瘤區(qū)域的一小部分且存在較高的計(jì)算冗余，而使用U-Net 分割時(shí)會(huì)導(dǎo)致分割過度，尤其是低對(duì)比度的腫瘤區(qū)域。

2）目前脊柱圖像公開數(shù)據(jù)集受到規(guī)模的限制，并且現(xiàn)有的深度學(xué)習(xí)算法通常引入遷移學(xué)習(xí)，即在公開數(shù)據(jù)集基礎(chǔ)上進(jìn)行訓(xùn)練和實(shí)驗(yàn)，導(dǎo)致實(shí)驗(yàn)結(jié)果在很大程度上受到訓(xùn)練數(shù)據(jù)集的影響，對(duì)分割準(zhǔn)確率、精度等分割性能指標(biāo)造成干擾。

3）由于脊柱成像過程會(huì)受到強(qiáng)度和亮度變化的影響，具有較大的差異性，同時(shí)受到脊柱外其他組織及噪聲等因素干擾，深度學(xué)習(xí)模型對(duì)脊柱圖像的邊緣區(qū)域分割效果較差。

4）目前對(duì)脊柱圖像整體區(qū)域分割的研究有待改進(jìn)，基本只能完成對(duì)特定區(qū)域的分割工作，而不能有效地對(duì)整體區(qū)域進(jìn)行分割。大多數(shù)深度學(xué)習(xí)模型對(duì)單一脊柱圖像類型的分割效果較好，但對(duì)多模態(tài)脊柱圖像分割的準(zhǔn)確率和精度還有待提升，由于不同圖像類型對(duì)不同脊柱區(qū)域的對(duì)比度不同，例如CT 圖像對(duì)椎骨有更好的對(duì)比度，而MR 圖像對(duì)椎間盤的對(duì)比度較好，因此融合同一患者多模態(tài)圖像對(duì)脊柱圖像的整體分割至關(guān)重要。

5）圖像分割的評(píng)價(jià)指標(biāo)往往只采用DSC，該指標(biāo)僅對(duì)分割區(qū)域的內(nèi)側(cè)較為敏感，而對(duì)圖像外側(cè)反映的分割效果略有不足。

6）圖像的分割精度與成本之間的關(guān)系有待解決，引入注意力機(jī)制、殘差模塊以及Dense 模塊等提高算法性能的同時(shí)，計(jì)算量也大幅增加，導(dǎo)致計(jì)算成本較高。

針對(duì)目前一些臨床和算法技術(shù)上問題，結(jié)合已有的臨床經(jīng)驗(yàn)和算法改進(jìn)的方法，對(duì)深度學(xué)習(xí)算法在脊柱圖像分割領(lǐng)域未來的研究進(jìn)行展望。未來應(yīng)當(dāng)圍繞以下幾個(gè)方面進(jìn)行改進(jìn)：

1）由于脊柱復(fù)雜的形態(tài)學(xué)結(jié)構(gòu)，無法從根源上解決分割易受非目標(biāo)特征區(qū)域影響的問題，但可以通過不斷改進(jìn)編碼器-解碼器架構(gòu)來提高病灶區(qū)域信息的提取能力。在跳躍連接過程中引入殘差模塊、注意力機(jī)制等可以更好地實(shí)現(xiàn)深層特征信息和淺層特征信息之間的相互融合，從而提高脊柱圖像的分割效果。

2）針對(duì)臨床實(shí)驗(yàn)數(shù)據(jù)集數(shù)量有限以及實(shí)驗(yàn)結(jié)果受到訓(xùn)練模型影響的問題，應(yīng)當(dāng)積極促進(jìn)醫(yī)工結(jié)合。在創(chuàng)建脊柱圖像數(shù)據(jù)集的過程中，要充分發(fā)揮醫(yī)生豐富的臨床經(jīng)驗(yàn)和嫻熟的技術(shù)方法，在醫(yī)生的幫助下對(duì)脊柱圖像進(jìn)行準(zhǔn)確標(biāo)記，同時(shí)醫(yī)生可以結(jié)合深度學(xué)習(xí)選擇合理的閾值進(jìn)行實(shí)驗(yàn)。此外，可以嘗試將多個(gè)數(shù)據(jù)集交叉融合進(jìn)行實(shí)驗(yàn)，交叉數(shù)據(jù)集不僅能提升實(shí)驗(yàn)的有效性，還能提高模型的泛化性能。

3）針對(duì)圖像邊緣信息模糊、噪聲大等問題，可以在圖像預(yù)處理環(huán)節(jié)中對(duì)圖像進(jìn)行數(shù)據(jù)增強(qiáng)，或采用直方圖均衡化的方法對(duì)圖像的像素信息重新分布，或利用處理過的損失函數(shù)來加快模型的收斂速度。實(shí)驗(yàn)證明，上述方法可以在保證圖像病灶區(qū)域準(zhǔn)確分割的同時(shí)，提升分割精度和運(yùn)算效率。此外，可以結(jié)合自監(jiān)督、半監(jiān)督或無監(jiān)督網(wǎng)絡(luò)來提升模型的穩(wěn)定性。例如半監(jiān)督和自監(jiān)督學(xué)習(xí)可以通過利用未標(biāo)記的數(shù)據(jù)和有限的注釋數(shù)據(jù)來解決實(shí)驗(yàn)需要大量標(biāo)記數(shù)據(jù)集的問題，有效地提升圖像分類、分割問題中訓(xùn)練樣本選擇的效率。一些流行的半監(jiān)督學(xué)習(xí)方法包括使用偽標(biāo)簽進(jìn)行自我訓(xùn)練、熵最小化、一致性正則化等，著重從未標(biāo)記的圖像中提取有用信息，同時(shí)使用有限的標(biāo)記例子。同樣，自監(jiān)督學(xué)習(xí)方法例如基于借口任務(wù)和對(duì)比學(xué)習(xí)的方法，旨在僅使用未標(biāo)記的圖像的預(yù)訓(xùn)練來學(xué)習(xí)良好的網(wǎng)絡(luò)初始化，再使用有限的注釋來微調(diào)該初始化，從而獲得良好性能。而無監(jiān)督學(xué)習(xí)通常用于不包含任何標(biāo)簽信息的數(shù)據(jù)，常用的兩種方法為確定型無監(jiān)督學(xué)習(xí)和概率型無監(jiān)督學(xué)習(xí)，先通過無監(jiān)督學(xué)習(xí)對(duì)深層神經(jīng)網(wǎng)絡(luò)架構(gòu)初始化，再逐步調(diào)優(yōu)達(dá)到更好的效果。對(duì)于復(fù)雜多變的病灶組織結(jié)構(gòu)，通過確立組織病理分析的金標(biāo)準(zhǔn)來規(guī)范分割標(biāo)準(zhǔn)；在模型方面，通過不斷地改進(jìn)編碼器、解碼器等架構(gòu)來構(gòu)建合適的模型，可以達(dá)到良好的邊緣分割效果。

4）針對(duì)目前深度學(xué)習(xí)模型不能對(duì)整體區(qū)域進(jìn)行分割的問題，應(yīng)當(dāng)更多地結(jié)合多任務(wù)學(xué)習(xí)、多尺度特征提取，通過融合脊柱多模態(tài)圖像，采用多種深度神經(jīng)網(wǎng)絡(luò)相結(jié)合的方式，在完成對(duì)椎骨圖像分割的同時(shí)，提高椎骨側(cè)彎Cobb 角的測(cè)量度數(shù)，或者準(zhǔn)確快速地分割整張脊柱圖像的病灶區(qū)域，并完成對(duì)病變區(qū)域的檢測(cè)工作。此外，通過結(jié)合多任務(wù)學(xué)習(xí)還可以在完成脊柱腫瘤圖像分割的同時(shí)，對(duì)腫瘤的良惡性做出有效的判斷。依據(jù)這些目標(biāo)對(duì)算法進(jìn)行改進(jìn)，更多地關(guān)注多任務(wù)學(xué)習(xí)、多尺度特征提取、多模態(tài)融合，有利于提高分割效果，更好地輔助醫(yī)生診斷研究。

5）針對(duì)單一評(píng)價(jià)指標(biāo)分析分割效果的問題，可以根據(jù)不同的分割病灶區(qū)域評(píng)價(jià)指標(biāo)的需求，在采用DSC 這一主要評(píng)價(jià)指標(biāo)的基礎(chǔ)上，使用其他評(píng)價(jià)指標(biāo)綜合、全面、系統(tǒng)地分析實(shí)驗(yàn)結(jié)果。

6）關(guān)于分割精度與成本之間的關(guān)系，需要尋求一種合理的方法來解決這個(gè)問題。目前基于深度學(xué)習(xí)的脊柱圖像分割工作在算法和模型上有一些缺陷，例如：卷積層數(shù)高雖然可以更好地提取深層次信息，但層數(shù)加深會(huì)導(dǎo)致運(yùn)算緩慢；CNN 模型雖然有較強(qiáng)的特征提取能力，但邊緣分割模糊以及不能建立遠(yuǎn)距離依賴關(guān)系的局限性，使其不能完全滿足醫(yī)學(xué)領(lǐng)域?qū)D像分割精度的嚴(yán)格要求。因此，考慮在醫(yī)學(xué)圖像分割中應(yīng)用較多的輕量化網(wǎng)絡(luò)，不僅能夠很好地降低計(jì)算成本和模型復(fù)雜度，提升網(wǎng)絡(luò)運(yùn)算效率，而且能夠保證較高的準(zhǔn)確率。

5 結(jié)束語

目前基于深度學(xué)習(xí)的脊柱圖像分割方法已取得了良好的臨床效果，不僅在精度和準(zhǔn)確率等方面有較大提升，而且還可以幫助醫(yī)生從繁瑣、重復(fù)的工作中解放出來，減輕醫(yī)生的臨床診斷壓力。本文針對(duì)深度學(xué)習(xí)在脊柱圖像分割中的應(yīng)用展開綜述，先詳細(xì)講述常見的脊柱疾病類型及其在臨床上的分割難點(diǎn)，以及脊柱圖像分割中常用的數(shù)據(jù)集和評(píng)價(jià)指標(biāo)等要素；再著重介紹CNN 模型、U-Net 模型及其改進(jìn)模型在椎骨、椎間盤以及脊柱腫瘤圖像分割中的應(yīng)用。實(shí)驗(yàn)結(jié)果表明，深度學(xué)習(xí)模型對(duì)脊柱圖像分割具有良好的效果，相較于傳統(tǒng)分割方法，分割效率有很大的提升，基本滿足了人們對(duì)深度學(xué)習(xí)算法在脊柱臨床分割上的期望，但目前大多數(shù)研究對(duì)圖像邊緣的分割精度還未達(dá)到令人滿意的效果，并且分割精度與成本之間的關(guān)系問題亟待解決。因此，未來需要繼續(xù)將深度學(xué)習(xí)與臨床醫(yī)生的專業(yè)知識(shí)和豐富經(jīng)驗(yàn)相融合，充分發(fā)揮深度學(xué)習(xí)算法中遷移學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、增強(qiáng)學(xué)習(xí)等技術(shù)的優(yōu)勢(shì)，不斷研究適用于圖像分割的模塊，改進(jìn)模型的編碼器-解碼器架構(gòu)，并且在跳躍連接模塊中引入注意力機(jī)制或采用全尺度跳躍連接等方法，來提高上下文特征信息的提取能力，彌補(bǔ)邊緣分割精度以及計(jì)算冗余的不足，從而促進(jìn)智慧醫(yī)療領(lǐng)域進(jìn)一步發(fā)展。