史再峰,程?明,歐陽順馨,孔凡寧,齊俊宇,田?穎
基于DCPAN的低劑量能譜CT圖像去噪方法
史再峰1, 2,程?明1,歐陽順馨1,孔凡寧1,齊俊宇1,田?穎3
(1. 天津大學微電子學院,天津 300072;2. 天津市成像與感知微電子技術(shù)重點實驗室,天津 300072;3. 天津仁愛學院,天津 301636)
能譜式計算機斷層掃描(CT)成像技術(shù)具備良好的能量分辨率,能夠精確地鑒別人體組織成分,從而為后續(xù)診斷提供更準確的檢測信息.隨著輻射劑量的降低,能譜CT圖像中噪聲水平顯著提高,對成像質(zhì)量產(chǎn)生嚴重影響,進而降低了組織成分的解析精度.基于卷積神經(jīng)網(wǎng)絡(CNN)的去噪模型雖然可以顯著降低圖像中的噪聲含量,但隨著卷積層數(shù)的增加,深層神經(jīng)網(wǎng)絡通常會丟失高頻信息.為了解決這一問題,并實現(xiàn)在低劑量條件下重建出高質(zhì)量能譜CT圖像,本文提出了一種結(jié)合通道注意力機制(CA)和持續(xù)自注意力機制(PSA)的密集連接持續(xù)注意力網(wǎng)絡(DCPAN).兩種注意力機制分別建立特征圖像在通道和全局維度的聯(lián)系以提高網(wǎng)絡對圖像高頻分量的敏感程度,進而抑制高頻細節(jié)信息的丟失.該模型所采用的密集連接結(jié)構(gòu)通過特征復用的方式可以在前饋傳播中保留高頻信息,使用復合損失函數(shù)來監(jiān)督網(wǎng)絡的訓練可以使該模型對邊緣特征和組織細節(jié)信息更加敏感.實驗結(jié)果表明,經(jīng)該模型處理的腹部切片CT圖像峰值信噪比、結(jié)構(gòu)相似性指數(shù)和特征相似性指數(shù)分別達到了38.25dB、0.9937和0.9732以上.相比于目前先進的CT噪聲去除方法,該方法具有更好的噪聲抑制能力,處理得到的重建圖像組織結(jié)構(gòu)清晰、噪聲含量更低,為后續(xù)診斷和其他處理工作提供更精確的檢測信息.
能譜式計算機斷層掃描;低劑量;卷積神經(jīng)網(wǎng)絡;注意力機制
能譜式計算機斷層掃描(computed tomography,CT)成像技術(shù)可以提供多個X射線能量區(qū)間的衰減信息,進而更加精準地量化評估所測組織成分信息.隨著輻射劑量的降低,光子饑餓、串擾等不良效應增強、噪聲水平明顯上升,這嚴重地影響了能譜CT的圖像質(zhì)量,進一步降低了組織成分解析的精度,因此改善低劑量能譜CT圖像質(zhì)量的關(guān)鍵在于抑制噪聲.目前已提出的CT圖像去噪方法基于數(shù)據(jù)來源可以分為兩類:投影域數(shù)據(jù)處理方法[1-2]和圖像域數(shù)據(jù)處理方法[3-5].通過引入字典學習[6]、非局部均值等[7]圖像處理算法雖然可以在一定程度上去除噪聲和偽影,但由此處理得到的CT圖像中存在圖像分辨率下降和邊緣模糊等問題,因此改善CT圖像質(zhì)量的效果十分有限.
相比于這些方法,深度學習在對圖像的特征提取和學習方面具有更強的優(yōu)勢,特別是在CT圖像去噪領(lǐng)域,涌現(xiàn)出了大量基于深度學習的方法.Kang等[8]提出了一種結(jié)合了小波變換的卷積神經(jīng)網(wǎng)絡模型對低劑量CT圖像進行處理,有效地提高了CT圖像的分辨率.Chen等[9]提出了一種殘差編解碼器CNN模型(RED-CNN)用于改善低劑量CT圖像質(zhì)量,在抑制噪聲和保留細節(jié)結(jié)構(gòu)等方面取得了不錯的效果.雖然基于卷積運算模型在抑制CT圖像噪聲方面有較強的優(yōu)勢,但是隨著網(wǎng)絡層數(shù)的加深,深層網(wǎng)絡會丟失圖像特征的高頻分量,導致其輸出圖像過于平滑,影響對CT圖像組織細節(jié)的觀察.Liang等[10]提出了一種結(jié)合邊緣檢測層來保留圖像邊緣處高頻信息的去噪模型(EDCNN),在一定程度上提高了圖像質(zhì)量,但其邊緣敏感程度受限于所引入的Sobel算子計算方向,對醫(yī)學影像中復雜的邊緣紋理結(jié)構(gòu)處理效果仍不理想.最近,隨著注意力機制在計算機視覺領(lǐng)域的快速發(fā)展,它可以通過提升網(wǎng)絡對輸入數(shù)據(jù)的選擇能力來使得網(wǎng)絡對特定信息具有更強的敏感性.這種特點為解決高頻信息丟失的問題提供了新的思路.例如,Zhang等[11]通過將通道注意力機制(channel attention mechanism,CA)引入神經(jīng)網(wǎng)絡中在圖像超分辨率重建領(lǐng)域?qū)崿F(xiàn)了更好的效果.Wang等[12]通過優(yōu)化網(wǎng)絡結(jié)構(gòu)來改善CA對空間位置間關(guān)系的敏感性,進而提高了網(wǎng)絡的去噪能力,但其對空間信息的調(diào)整僅通過聚合通道特征來實現(xiàn),導致其對高頻信息的敏感程度不佳.
為了抑制高頻信息在網(wǎng)絡處理過程中的丟失,使去噪圖像保留更多的細節(jié)信息,在本文中筆者提出了一種結(jié)合了CA和持續(xù)自注意力機制(persistent self-attention mechanism,PSA)的密集連接網(wǎng)絡模型:密集連接持續(xù)注意力網(wǎng)絡(densely connected persistent attention network,DCPAN).一方面,CA可以利用特征圖的通道依賴性自適應地調(diào)整需要強調(diào)的通道權(quán)重;另一方面,PSA既可以通過建立全局各位置間相關(guān)性來調(diào)整特征權(quán)重,又可以聚合先前自注意力特征信息以減少前饋過程中的信息丟失.DCPAN結(jié)合兩種注意力機制來改善網(wǎng)絡對通道和全局特征敏感性,并使用密集連接結(jié)構(gòu)聚合不同位置特征信息,有效地減少圖像高頻特征在處理過程中的丟失,進而重建出高質(zhì)量的低劑量能譜CT圖像.
深度學習模型具有強大的特征提取能力,并可通過訓練來逼近算子,進而建立這種未知映射關(guān)系以解決該圖像反問題.因此,本文通過構(gòu)建并訓練深度學習模型DCPAN以建立低劑量和常規(guī)劑量條件下能譜CT圖像之間的映射關(guān)系從而改善輸入圖像質(zhì)量是可行的.
1.2.1?模型整體結(jié)構(gòu)
相比機器視覺領(lǐng)域的常規(guī)圖像,能譜CT各能量區(qū)間重建圖像的噪聲分布具有一定的相關(guān)性.因此使用注意力機制來調(diào)整各通道信息有利于改善模型的去噪性能.筆者將探測數(shù)據(jù)重建的能譜CT各能量圖像堆疊為一個高維張量作為網(wǎng)絡的輸入,網(wǎng)絡的輸出為與輸入數(shù)據(jù)相對應的低噪聲圖像所構(gòu)成的高維張量.如圖1所示,所提出的DCPAN的整體結(jié)構(gòu)由個級聯(lián)注意力模塊(cascaded attention block,CAB)組成,各模塊之間采用密集連接方式,即除第1個模塊外,第個模塊均需要聚合前-1個模塊的輸出數(shù)據(jù).在網(wǎng)絡的末端,將網(wǎng)絡輸入數(shù)據(jù)與第個模塊的輸出相加,這種殘差結(jié)構(gòu)有助于解決深層網(wǎng)絡所引起的梯度消失問題.
圖1?基于DCPAN的低劑量能譜CT去噪方法結(jié)構(gòu)
每個CAB均由個級聯(lián)的持續(xù)注意力子模塊(persistent attention sub-block,PASB)和1個特征聚合子模塊(feature aggregation sub-block,F(xiàn)ASB)組成,各個PASB間也采用了密集連接的方式.每個PASB主要由CA單元和PSA單元組成,輸入數(shù)據(jù)經(jīng)過兩個3×3卷積層進行特征提取后輸入至CA單元.CA單元可以在通道維度上重新校準特征數(shù)據(jù),先通過全局平均池化層對輸入數(shù)據(jù)的空間維度進行特征壓縮,然后分別通過兩個1×1卷積層和兩個激活層生成特征權(quán)重來建立各通道間的相關(guān)性,并最終將其與輸入數(shù)據(jù)相乘,從而增強或抑制不同通道的特征信息.由于能譜CT圖像具有一定的能量相關(guān)性且模型輸入數(shù)據(jù)為各能量區(qū)間圖像堆疊而成的高維張量,CA單元可以通過調(diào)整各通道的權(quán)重更好地利用各能量區(qū)間圖像噪聲信息的能譜相關(guān)性,有益于提升模型的噪聲抑制能力.CA單元的輸出數(shù)據(jù)被輸入到PSA單元中.PSA單元在直接捕捉特征圖各位置間關(guān)系的過程中,通過對前級PASB的密集連接將各級特征權(quán)重與本級特征圖中的空間位置關(guān)系充分融合,從而減少了高頻信息的丟失.最終,第級PASB的輸出數(shù)據(jù)被輸入至FASB中.FASB密集連接先前各級CAB以匯集各級特征,并通過1×1卷積層和帶泄露線性整流(leaky rectified linear unit,Leaky ReLU)激活層來融合這些特征,其輸出與本級CAB的輸入數(shù)據(jù)相加構(gòu)成殘差結(jié)構(gòu)并輸出至下級CAB中.
1.2.2?持續(xù)自注意力機制
自注意力機制通過計算特征圖像各位置的加權(quán)平均值作為其中某個位置的輸出響應.Non-Local神經(jīng)網(wǎng)絡[13]作為一種自注意力機制結(jié)構(gòu),將非局部運算引入網(wǎng)絡中來建立特征信息間的遠程依賴關(guān)系,從而有效地保留了圖像的高頻信息,這對于保留能譜CT圖像復雜的細節(jié)結(jié)構(gòu)和邊緣特征具有很大的優(yōu)勢.但是在深層網(wǎng)絡中,隨著卷積層數(shù)的增多,中間卷積層的特征信息會呈現(xiàn)分層結(jié)構(gòu),因此在不同位置的自注意力機制嵌入空間中也存在不同的全局特征信息.應用這些信息可以使本級注意力機制在調(diào)整特征權(quán)重的同時兼顧前級子模塊對特征信息的調(diào)整情況,這有益于改善網(wǎng)絡的去噪性能并減少能譜CT圖像中細節(jié)信息的丟失.因此,PSA為融合各自注意力特征的嵌入空間信息,在Non-Local神經(jīng)網(wǎng)絡結(jié)構(gòu)基礎(chǔ)上加入密集連接結(jié)構(gòu).
式中為輸入的特征信息.第級PASB的PSA單元還需要融合前-1級的自注意力機制響應信息,該過程通過聚合前-1級信息并將其與本級嵌入空間特征圖加和來實現(xiàn),定義為
式中:1~分別為第1~級PSA輸出的特征權(quán)重信息;a為1×1卷積層的權(quán)重,用于壓縮這些特征信息.此外,PSA還通過另一個1×1卷積層來構(gòu)建全局位置信息作為自注意力機制的值向量.第級PASB中PSA單元最終響應為
式中Wb為一個1×1卷積層用于調(diào)整數(shù)據(jù)維度以實現(xiàn)與輸入信息xj的殘差連接.
1.2.3?復合損失函數(shù)
復合損失函數(shù)可以有效地均衡各損失函數(shù)的優(yōu)勢,在去噪過程中,使用復合損失函數(shù)約束網(wǎng)絡訓練過程可以有效地阻止圖像過于平滑,提高網(wǎng)絡對于細節(jié)信息的敏感性,從而克服圖像的細節(jié)紋理丟失問題.監(jiān)督DCPAN訓練的損失函數(shù)共分為1損失、特征感知損失和邊緣損失3個部分.其中,1損失可以描述輸出圖像與標簽之間的各對應像素間的差異的均值.相比于2損失,1損失具有更加穩(wěn)定的梯度,可以有效防止梯度爆炸等問題,可以用公式表示為
在網(wǎng)絡的優(yōu)化過程中,僅最小化1損失會引起輸出圖像過于平滑,從而丟失很多用于疾病診斷的重要特征信息.特征感知損失則可以通過描述輸出圖像與標簽在特征維度上的差異以促使輸出圖像與標簽的特征信息更加接近,從而抑制原有細節(jié)信息的丟失.根據(jù)文獻[14]中的經(jīng)驗,筆者使用已訓練好的VGG-19網(wǎng)絡得到輸出圖像與標簽的特征維度數(shù)據(jù),并使用2范數(shù)描述差異,定義為
邊緣損失通過最大化輸出圖像與標簽在梯度上的相關(guān)性系數(shù)來提高網(wǎng)絡對邊緣信息的敏感程度.將該系數(shù)加上一個非常小的參數(shù)并取倒數(shù)來保證損失函數(shù)的整體最小化,參數(shù)可以避免分母為零所造成的損失函數(shù)失效問題,其可以被表示為
綜上所述,用于訓練DCPAN的復合損失函數(shù)可以表示為
式中1和2為用來平衡兩部分損失的權(quán)重參數(shù).
2.1.1?數(shù)據(jù)集的準備
在實驗中,筆者使用大量數(shù)據(jù)集來訓練、驗證和測試所提出網(wǎng)絡結(jié)構(gòu).其中,杜克大學的XCAT[15]生成的體模被分為訓練集、驗證集和測試集3個部分.所使用體模數(shù)據(jù)來自12名不同年齡、性別、身高和體重患者.采用邊緣入射型X射線探測器模型[16]模擬X射線探測過程,并由140kVp驅(qū)動的GE_Maxiray_125型球管產(chǎn)生X射線光子.該探測器仿真模型可以充分考慮探測過程中的散射效應,并可以模擬投影過程中的隨機噪聲,采用FBP算法將投影數(shù)據(jù)重建為CT圖像,探測器配置參數(shù)如表1所示.
表1?邊緣入射型探測器配置參數(shù)
Tab.1?Parameters setting for edge-on detector
邊緣入射型探測器的能量閾值分別設(shè)置為70keV和95keV,并忽略20keV以下的光子數(shù)量,由此得到的3個能量范圍分別為20~70keV、70~95keV和95~140keV.使用仿真探測器模型掃描體模分別得到了常規(guī)劑量和低劑量條件下3個能量范圍的CT圖像.數(shù)據(jù)集的尺寸為256×256,實驗中選擇其中10個體模的共1400組數(shù)據(jù)和標簽進行網(wǎng)絡的訓練和驗證,并隨機標記其中280組作為驗證集,其余1120組用于訓練以抑制模型的過擬合現(xiàn)象.采用補丁訓練策略,將輸入圖像和標簽劃分為重疊的64×64圖像塊,滑動間隔為32個像素,共計54880組補丁用于網(wǎng)絡訓練.使用其余2個體模的280組數(shù)據(jù)和標簽測試模型性能,分別使用胸部和腹部CT切片結(jié)果對所提出方法的去噪性能和效果進行定性和定量分析,選取具有代表性的RED-CNN[9]、EDCNN[10]、InceptionNet[17]和混合高斯模型的正弦圖噪聲去除網(wǎng)絡(sinogram denoising network with Gaus-sian mixture model,SDN-GMM)[18]作為對比方法.
2.1.2?網(wǎng)絡訓練及參數(shù)設(shè)置
在訓練網(wǎng)絡的過程中,每個迭代周期使用的最小批次為32,采用Adam算法優(yōu)化網(wǎng)絡的梯度更新,其中學習率設(shè)為1×10-5,指數(shù)衰減參數(shù)分別為0.5和0.99.網(wǎng)絡中Leaky ReLU激活層的alpha系數(shù)設(shè)為0.1.網(wǎng)絡模型基于Tensorflow框架實現(xiàn),并在Intel i5-9400f CPU搭載的NVIDIA公司GeForce RTX 2080GPU上訓練1000個周期,TensorFlow-GPU的版本為1.9.0,Python的版本為3.6.8.
2.2.1?主觀效果對比
在實驗中,從測試數(shù)據(jù)集中分別選取了胸部和腹部切片輸入至各模型,測試結(jié)果如圖3和圖4所示.兩圖中第1列分別展示了低劑量條件下3個能量區(qū)間腹部和胸部切片CT圖像,第2列為常規(guī)劑量條件下3個能量區(qū)間對應切片圖像,第3~7列分別展示了RED-CNN、EDCNN、InceptionNet、SDN-GMM和DCPAN的相應測試結(jié)果.為了更加直觀地評估各方法的測試結(jié)果,筆者在圖像中分別選取了具有更多的細節(jié)特征的感興趣區(qū)域(region of interest,ROI),并標注為紅色方框以便觀察各方法測試結(jié)果的噪聲與細節(jié)特征的保留程度.
從圖3中可以看出,每種方法對于各能量區(qū)間下的低劑量CT圖像的噪聲均有一定的抑制作用.輸入的低劑量CT圖像具有很嚴重的噪聲和偽影,尤其是在低能圖像中嚴重影響了診斷過程中對病灶周邊組織和結(jié)構(gòu)的識別精確程度.圖3(c)和圖4(c)顯示了RED-CNN對低劑量CT圖像的處理結(jié)果,可以看出仍然帶有部分殘留的噪聲影響視覺效果.EDCNN的測試結(jié)果如圖3(d)和圖4(d)所示,可以看出邊緣特征提取層有益于改善邊緣部分圖像質(zhì)量,但圖像中仍有部分殘留噪聲,尤其是在射束硬化較為嚴重的胸部切片圖像.使用多尺度采樣的InceptionNet可以很好地保留圖像的細節(jié)信息,但其邊緣部位較為平滑,這說明該網(wǎng)絡對邊緣高頻信息并不夠敏感.圖3(f)和圖4(f)為SDN-GMM的測試結(jié)果,該方法因充分考慮到投影數(shù)據(jù)噪聲統(tǒng)計分布而取得較好的效果,可以看出圖中噪聲含量顯著降低,細節(jié)特征得到了很好的保留.圖3(g)和圖4(g)為DCPAN的處理結(jié)果,各重建圖像邊緣信息較為清晰且保留了組織細節(jié),這有利于后續(xù)診斷過程中對病灶組織的精確觀察.投影域數(shù)據(jù)難以獲取使SDN-GMM通用性依然受限,DCPAN利用了更易于獲取的圖像數(shù)據(jù),取得了與SDN-GMM相近的效果,具有更強的通用性和實用潛力.
圖3?腹部切片不同算法去噪效果對比
圖4?胸部切片不同算法去噪效果對比
筆者針對ROI標注區(qū)域來進一步對比各方法對邊緣和細節(jié)信息的保留情況.在低劑量能譜CT圖像中,標注區(qū)域的組織結(jié)構(gòu)受到噪聲信息的影響,無法準確地判斷組織的清晰結(jié)構(gòu).RED-CNN的測試結(jié)果雖然抑制了圖像中的噪聲,但對邊緣結(jié)構(gòu)的顯示并不清晰,尤其是圖3中紫色方框和圖4中藍色方框標注區(qū)域.EDCNN和InceptionNet測試結(jié)果的邊緣清晰度雖然有所提高,但對在部分細節(jié)信息的處理中出現(xiàn)了過于平滑的現(xiàn)象,不利于對體積較小的結(jié)構(gòu)進行觀察.SDN-GMM和DCPAN的處理結(jié)果中組織細節(jié)結(jié)構(gòu)和邊緣特征均得到很好的保留,具有較好的組織清晰度.
2.2.2?客觀量化分析
為了進一步分析各方法的性能,采用客觀評價指標峰值信噪比(peak signal to noise ratio,PSNR)、結(jié)構(gòu)相似性(structural similarity,SSIM)指數(shù)和特征相似性(feature similarity,F(xiàn)SIM)指數(shù)來對測試結(jié)果進行量化分析,其中PSNR表示圖像與背景噪聲的比率,PSNR越高則說明圖像中噪聲含量越低;SSIM則可以描述兩組圖像之間的結(jié)構(gòu)性差異,更高的SSIM值代表二者間更小的細節(jié)差異;FSIM通過計算圖像間的特征差異來衡量不同算法在去噪過程中對特征信息的保留能力.以各測試切片所對應的標簽作為客觀評價指標的對比圖像,各方法測試圖像客觀評價指標的平均結(jié)果如表2所示.
從表2中可見,相比于其他對比方法,DCPAN在PSNR、SSIM和FSIM 3種評價指標上均具備一定優(yōu)勢,更高的PSNR值證明了該模型相比于其他方法可以顯著抑制圖像的噪聲,更高的SSIM值可以說明該方法在對于圖像細節(jié)紋理結(jié)構(gòu)的保留上具有一定優(yōu)勢,更高的FSIM值則可以說明該方法具有更好的圖像特征保留能力.與EDCNN的測試結(jié)果相比,經(jīng)DCPAN處理的圖像PSNR值提高了1.67~3.28dB,SSIM值則提高了0.0010~0.0048,F(xiàn)SIM值提高了0.0099~0.0109.這說明相比于通過邊緣特征提取層保留細節(jié)特征,DCPAN結(jié)合兩種注意力機制而建立的信道和全局特征聯(lián)系使其對高頻特征信息更具敏感性.相較InceptionNet的測試結(jié)果,DCPAN測試結(jié)果的PSNR值提高了0.47~0.75dB,SSIM值提高了0.0012~0.0044,F(xiàn)SIM值則提高了0.0040~0.0091,這說明雖然多尺度采樣可以改善網(wǎng)絡性能并提高網(wǎng)絡對于細節(jié)信息的敏感程度,但DCPAN通過在密集連接運算過程中調(diào)整各注意力特征權(quán)重對細節(jié)特征具有更佳的保留效果.DCPAN測試結(jié)果的評價指標與SDN-GMM非常接近,這說明DCPAN通過充分利用能譜CT圖像特征在通道和全局維度的相關(guān)性,達到了與結(jié)合投影數(shù)據(jù)噪聲模型的SDN-GMM相近的去噪水平.對于胸部切片,該部位測試結(jié)果的指標則普遍低于腹部切片,這可能是由于胸部組織結(jié)構(gòu)更為復雜,且該部位胸骨、椎骨等具有較高衰減系數(shù)的組織所帶來的射束硬化更為嚴重. DCPAN對胸部切片的處理具有最佳效果,其測試結(jié)果的PSNR值達到了36.1600dB以上,SSIM值達到了0.9921以上,F(xiàn)SIM值達到了0.9678以上,這?說明DCPAN具有較強的去噪性能和細節(jié)特征保留能力.
表2?不同算法腹部和胸部切片測試結(jié)果客觀指標
Tab.2?Evaluation index of abdominal and chest slice test results from different methods
此外,為更好評估幾種方法的噪聲水平,從腹部和胸部切片中選取了較為平滑的部分如圖3和圖4中綠色方框所示,分別標注為ROI A和ROI B,并計算了這些部分的均值和標準差(standard deviation,SD)以定量分析,計算結(jié)果如表3所示.相比于其他對比模型,DCPAN各輸出圖像的SD均有不同程度的降低,這種變化尤其體現(xiàn)在ROI B中.相比于InceptionNet,對于胸部切片的DCPAN 3個輸出圖像SD分別下降了15.2%、14.3%和11.1%,胸部切片的SD分別下降了1.0%、1.5%和1.4%,說明DCPAN的輸出結(jié)果具有更低的噪聲水平.
表3?不同算法測試結(jié)果中的均值與標準差對比
Tab.3?Comparison of the mean and standard deviation of test results from different methods
2.3.1?不同模塊的消融研究
為驗證DCPAN中各模塊的性能,筆者針對各模塊對模型性能的影響進行了消融研究,其分析結(jié)果如表4所示.根據(jù)該表中的數(shù)據(jù)可以看出CA和PSA均有益于提升模型抑制噪聲的能力,且PSA對全局特征的建??梢允沟媚P蛯Ω哳l信息更加敏感.相比于CA對信道特征的建模,PSA對去噪效果的改善程度更高,兩種注意力機制相結(jié)合則可以進一步提高模型的性能.相比于只具有單種注意力機制,PSNR值提高了0.92dB以上,SSIM值提高了0.0018以上,F(xiàn)SIM提高了0.0061以上.此外,F(xiàn)ASB所構(gòu)建的密集連接結(jié)構(gòu)通過聚合運算過程中各CAB的輸出信息有效抑制了信息的丟失,網(wǎng)絡整體與CAB中所使用的殘差結(jié)構(gòu)可以優(yōu)化訓練過程中的梯度,使模型獲得更好的訓練效果,兩種結(jié)構(gòu)的使用使得模型性能進一步改善,相比于未使用兩種結(jié)構(gòu)的情況,PSNR值提高了約3.58%~6.56%,SSIM值提高了約0.29%~0.69%,而FSIM提高了約0.64%~0.73%.由此可以看出,兩種注意力機制結(jié)合密集連接和殘差結(jié)構(gòu)是所提模型的最佳方案,進一步證明其在低劑量能譜CT去噪領(lǐng)域的潛力.
表4?不同模塊與結(jié)構(gòu)下DCPAN的腹部和胸部切片測試結(jié)果客觀指標
Tab.4?Evaluation index of abdomen and chest slice from DCPAN with different combination of blocks and structures
2.3.2?不同損失函數(shù)的影響
為了探究復合損失函數(shù)各部分對模型性能的改善程度,分別采用各項損失的不同組合來訓練DCPAN模型,并選取腹部切片20~70keV能量區(qū)間下的測試圖像中具有組織細節(jié)和邊緣特征的部分作為ROI,如圖5(a)紅色線段標注所示,包含64個像素,將測試結(jié)果中在該部分64個像素的值,即線性衰減系數(shù)(linear attenuation coefficient,LAC),繪制為折線圖進行對比,以對各損失函數(shù)組合的訓練效果加以評估,對比結(jié)果如圖5(b)所示.可以看到通過1損失訓練的測試結(jié)果在相對平滑部位的抖動程度較少,但由于其過于平滑,邊緣部位的值與標簽相比產(chǎn)生了較大的偏差.當損失函數(shù)中加入特征感知損失后,可以看到在測試結(jié)果中,較為平滑的組織部位具有相對較小范圍數(shù)值變化,這說明感知損失的加入有益于模型對細節(jié)特征信息敏感性的提升.而對于1損失與邊緣損失組合所訓練的模型,測試圖像中邊緣部位準確程度顯著提升,這說明該損失組合提高了模型的邊緣特征學習能力,解決了重建圖像過度平滑所導致的邊緣不清晰等問題.相比上述幾種方案的測試結(jié)果,使用由1損失、感知損失和邊緣損失構(gòu)成復合損失函數(shù)來訓練模型可以獲得最接近標簽圖像的處理效果,說明損失函數(shù)中各部分優(yōu)勢和性能達到了均衡,證明了這種組合為最佳損失函數(shù)方案.
圖5 不同損失函數(shù)下DCPAN的腹部切片衰減曲線
隨著輻射劑量的降低,能譜CT圖像內(nèi)噪聲含量的升高嚴重影響后續(xù)診斷工作中醫(yī)生對病灶組織的準確觀察.因此,本文提出了一種具有密集連接結(jié)構(gòu)的網(wǎng)絡模型DCPAN以改善低劑量能譜CT圖像質(zhì)量.該模型使用了CA和PSA兩種注意力機制,通過結(jié)合空間和全局特征相關(guān)性來增強有效特征,從而使網(wǎng)絡能夠更多地關(guān)注與圖像高頻分量相關(guān)的特征信息.網(wǎng)絡的密集連接結(jié)構(gòu)通過特征復用有效地減少了圖像特征壓縮產(chǎn)生的信息丟失.監(jiān)督網(wǎng)絡訓練的復合損失函數(shù)均衡了各損失函數(shù)的優(yōu)勢,其中1損失保證了輸出圖像與標簽之間的逐像素對應關(guān)系,感知損失抑制了圖像過于平滑導致的細節(jié)信息丟失,邊緣損失則進一步改善了網(wǎng)絡對邊緣信息的敏感性.實驗結(jié)果表明:DCPAN輸出的低噪聲圖像具有較為清晰的邊緣特征和更低的噪聲水平,主觀效果和客觀指標均優(yōu)于其他對比方法,證明該方法能夠?qū)崿F(xiàn)低劑量能譜CT圖像的高質(zhì)量重建,具有一定的實際應用潛力.在未來的工作中,使用來自更多的CT系統(tǒng)成像數(shù)據(jù)來訓練所提出的網(wǎng)絡模型可以進一步增強其實用性和泛化能力.
[1] Wang J,Li T F,Lu H B,et al. Penalized weighted least-squares approach to sinogram noise reduction and image reconstruction for low-dose X-ray computed tomography[J]. IEEE Transactions on Medical Imaging,2006,25(10):1272-1283.
[2] Xie Q,Zeng D,Zhao Q,et al. Robust low-dose CT sinogram preprocessing via exploiting noise-generating mechanism[J]. IEEE Transactions on Medical Imaging,2017,36(12):2487-2498.
[3] Liu Y,Ma J H,F(xiàn)an Y,et al. Adaptive-weighted total variation minimization for sparse data toward low-dose X-ray computed tomography image reconstruction[J]. Physics in Medicine & Biology,2012,57(23):7923-7956.
[4] Yang C,Yin X D,Shi L Y,et al. Improving abdomen tumor low-dose CT images using a fast dictionary learning based processing[J]. Physics in Medicine & Biology,2013,58(16):5803-5820.
[5] Fumene F P,Vinegoni C,Gros J,et al. Block matching 3D random noise filtering for absorption optical projection tomography[J]. Physics in Medicine & Biology,2010,55(18):5401-5415.
[6] Wu W,Yu H,Chen P,et al. Dictionary learning based image-domain material decomposition for spectral CT[J]. Physics in Medicine and Biology,2020,65(24):245006.
[7] Liu Y,Wang J,Chen X,et al. A robust and fast non-local means algorithm for image denoising[J]. Journal of Computer Science and Technology,2008,23(2):270-279.
[8] Kang E,Min J,Ye J C. A deep convolutional neural network using directional wavelets for low-dose X-ray CT reconstruction[J]. Medical Physics,2017,44(10):e360-e375.
[9] Chen H,Zhang Y,Kalra M K,et al. Low-dose CT with a residual encoder-decoder convolutional neural network(RED-CNN)[J]. IEEE Transactions on Medical Imaging,2017,36(12):2524-2535.
[10] Liang T F,Jin Y,Li Y D,et al. EDCNN:Edge en-hancement-based densely connected network with com-pound loss for low-dose CT denoising[C]//International Conference on Signal Processing. Beijing,China,2020:193-198.
[11] Zhang Y L,Li K P,Li K,et al. Image super-resolution using very deep residual channel attention networks[C]// Lecture Notes in Computer Science. Munich,Germany,2018:286-301.
[12] Wang Y,Song X,Chen K. Channel and space attention neural network for image denoising[J]. IEEE Signal Progressing Letters,2021,28:424-428.
[13] Wang X L,Girshick R,Gupta A,et al. Non-local neural networks[C]//IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City,USA,2018:7794-7803.
[14] Yang Q,Yan P,Zhang Y,et al. Low-dose CT image denoising using a generative adversarial network with Wasserstein distance and perceptual loss[J]. IEEE Trans-actions on Medical Imaging,2018,37(6):1348-1357.
[15] Segars W P,Sturgeon G,Mendonca S,et al. 4D XCAT phantom for multimodality imaging research[J]. Medical Physics,2010,37(9):4902-4915.
[16] Shi Z,Yang H,Cong W,et al. An edge-on charge-transfer design for energy-resolved X-ray detection[J]. Physics in Medicine and Biology,2016,61(11):4183-4200.
[17] Zhang J,Zhou H L,Niu Y,et al. CNN and multi-feature extraction based denoising of CT images[J]. Quantitative Imaging in Medicine and Surgery,2021,67:102545.
[18] 史再峰,李慧龍,程?明,等. 基于SDN-GMM網(wǎng)絡的低劑量雙能CT投影數(shù)據(jù)去噪方法[J]. 天津大學學報(自然科學與工程技術(shù)版),2021,54(9):899-906.
Shi Zaifeng,Li Huilong,Cheng Ming,et al. A projection data denoising method based on SDN-GMM network for low-dose dual-energy computed tomography[J]. Journal of Tianjin University(Science and Technology),2021,54(9):899-906(in Chinese).
Low Dose Spectral Computed Tomography Image-Based Denoising Method via DCPAN
Shi Zaifeng1, 2,Cheng Ming1,Ouyang Shunxin1,Kong Fanning1,Qi Junyu1,Tian Ying3
(1. School of Microelectronics,Tianjin University,Tianjin 300072,China;2. Tianjin Key Laboratory of Imaging and Sensing Microelectronic Technology,Tianjin 300072,China;3. Tianjin Renai College,Tianjin 301636,China)
Spectral computed tomography(CT)has good energy resolution,which makes it more accurate to identify tissue components and provides more precise detection information for subsequent diagnosis. As low dose require-ments increase,the noise in spectral CT images improves significantly,affecting imaging quality and reducing reso-lution accuracy. Although the denoising model based on a convolutional neural network(CNN)can reduce the noise level,with the increase of layers,the denoised images from deeper neural networks often have less high-frequency information. To solve this problem,the densely connected persistent attention network (DCPAN)is proposed in this paper,which adopts the channel attention mechanism(CA)and the persistent self-attention mechanism(PSA),establishing the correlation of feature maps in the channel and global dimensions to improve the sensitivity of the network to the high-frequency components and thus suppress the loss of high-frequency information. The adopted densely connected structure realizes the retention of high-frequency information in feedforward propagation through feature multiplexing. During the period of training,a hybrid loss function is deployed to make the model more sensitive to edge and detailed information. The experimental results show that the peak signal to noise ratio,structural similarity,and feature similarity of abdomen slices are over 38.25dB,0.9937,and 0.9732. Compared with the current advanced methods,the method has a better denoising effect,and the tissue structure in the denoised images is clearer,giving a more accurate reference for the following diagnosis.
spectral computed tomography;low dose;convolutional neural network(CNN);attention mechanism
10.11784/tdxbz202202012
TP391.4
A
0493-2137(2023)02-0184-09
2022-02-19;
2022-05-03.
史再峰(1977—??),男,博士,副教授.
史再峰,shizaifeng@tju.edu.cn.
國家自然科學基金資助項目(62071326)
Supported by the National Natural Science Foundation of China(No. 62071326).
(責任編輯:孫立華)