基于半耦合字典的CT 圖像超分辨率重建方法研究?

范璐敏 樊重俊 沈玲麗 左星華

（1.上海理工大學管理學院 上海 200093）（2.上海市東方醫(yī)院 上海 200120）

1 引言

智能時代醫(yī)學影像技術得到了很好的發(fā)展，核磁共振和計算機斷層掃描等醫(yī)學圖像，逐漸成為了醫(yī)生對病患進行確診的主要手段［1］。通過計算機和電子掃描技術獲得的醫(yī)學成像，能夠幫助醫(yī)生和專家確定患者疾病，是診療疾病的重要輔助手段。結合醫(yī)學成像，醫(yī)生和專家可以為患者制定較為準確的治療方案。醫(yī)學成像中的CT 圖像是重建圖像，且無重疊［2］，作為醫(yī)院主要確定病灶物理性質的工具，可以反映出人體多個器官的具體狀態(tài)，還可以通過CT圖像看到人體內(nèi)部組織的詳細模態(tài)信息，從而對病人的疾病進行診斷［3］。醫(yī)生可以利用CT 醫(yī)學圖像，結合計算機視覺技術對病變的特征進行提取，根據(jù)圖像的模態(tài)信息進行目標檢測和分割等醫(yī)學處理手段，然后對處理后的信息進行分析，幫助醫(yī)生對病人的病情嚴重情況作出準確的判斷。

超分辨率重建技術［4］可以從低分辨率的圖像中提取出高質量圖像，從而解決硬件成像的缺陷。該方法在多個領域得以運用［5］，并且可以對單幅和多幅圖像都可以進行重建［6］。CT 圖像的超分辨率圖像可以展示出較小的紋理結構和病理細節(jié)，醫(yī)生和專家對于病情的診斷都依賴于高分辨率CT圖像中的信息［7］。因此，CT 圖像超分辨率重建的研究，對病癥的確診和治療都具有重要的現(xiàn)實意義。

目前對于圖像超分辨率重建的算法有很多，有基于神經(jīng)網(wǎng)絡方法［8］、基于圖像塊分類方法［9］、基于邊緣檢測方法［10］、基于局部結構相似與稀疏表示方法［11］、基于拉普拉斯金字塔生成對抗網(wǎng)絡方法［12］和基于雙字典方法［13］等多種重建算法。

其中劉村等［8］為了提高圖像的清晰度提出的一種基于神經(jīng)網(wǎng)絡的圖像重建模型。首先采集圖像信息的原始圖像特征，在多幀圖像的空間維度上采用訓練策略，提取出圖像的像素點信息，并通過對樣本信息特征的學習，結合神經(jīng)網(wǎng)絡對圖像在時間維度上的重建；再采用自適應分析法，實現(xiàn)對高分辨重建圖像的優(yōu)化。實驗結果表明，該方法可以有效地提高圖像的分辨率和清晰度，但是重建效果較差。杜凱敏等［9］為了提高傳統(tǒng)圖像重建算法的分辨率，提出的一種基于紋理分解的超分辨率圖像重建算法，首先選取初始圖像并將其進行紋理分割，對形態(tài)進行分析，提取邊緣紋理特征，讓特征信息進行學習，通過對邊緣紋理信息低分辨率特征的訓練，實現(xiàn)其高分辨率圖像特征的重建，仿真結果顯示，基于紋理分解的超分辨率圖像重建算法，明顯優(yōu)于傳統(tǒng)的圖像重建算法，但是峰值信噪比較低。

WANG.S 等［14］提出了可以通過半耦合字典學習的算法將高低分辨率的圖像聯(lián)系起來。為提高CT 圖像超分辨率重建的效果和性能，在此基礎上，將半耦合字典應用到CT圖像超分辨率重建當中。

2 CT圖像超分辨率重建方法設計

2.1 構建CT圖像降質退化模型

對于CT 圖像降質退化過程，可以采用一個降質退化函數(shù)，或一個復源濾波表示，如圖1所示。

圖1 CT圖像退化降質流程圖

圖1 中，初始CT 圖像u(x,y)利用降質退化函數(shù)H進行處理之后，加入噪音系數(shù)n(x,y)［15］，組成一幅全新的CT降質退化圖像g(x,y)。

相對于CT 圖像的超分辨率特征，其降質退化圖像g(x,y) 就是初始圖像g(x,y) 與神經(jīng)元函數(shù)h(x,y)之間的卷積形式，表示為

式中，n(x,y)表示加入噪音因素的退化降質圖像信息，ξ和η表示降質退化后的CT 圖像屬性關系，t表示CT 圖像退化降質的時間。將公式（1）進行小波變換，得到公式如下：

式中，F(xiàn)(u,v)表示CT 圖像降質退化處理后的小波變換結果，hi(u,v)表示神經(jīng)元函數(shù)的變換結果，Ni(u,v)表示初始CT圖像的變換值。

CT 圖像進行曝光處理后，圖像的分辨率會呈現(xiàn)離散化特點［16］，即公式為

其中，F(xiàn)(n1,n2)表示CT圖像的離散化坐標分布，m1和m2表示離散化系數(shù)。

為提高CT 圖像的分辨率，利用下列矩陣進行操作，即：

根據(jù)以上計算過程，構建了CT 圖像降質退化模型，通過提高CT 圖像的質量，為CT 圖像的超分辨率重建提供支持。

2.2 匹配CT圖像超分辨率特征點

在CT 圖像超分辨率特征點的匹配過程中，通常利用映射矩陣Pj進行計算，即：

式中，xj表示CT 圖像中的平面信息點，Xj表示CT圖像中的三維立體模態(tài)信息點，λj表示CT 圖像中含有的屬性參數(shù)。

設置匹配點和計算機斷層掃描的基本參數(shù)，根據(jù)半耦合算法獲取CT 圖像的超分辨率屬性特征［17］。假設CT圖像的超分辨率匹配點表達式為

式中，i=1,2,…,n表示CT 圖像的超分辨特征點，j=1,2,…,m表示CT 圖像的初始屬性，λ表示與CT 圖像超分辨率特征點相匹配的特征點，R與T表示CT 圖像在匹配特征點時的矢量信息，Rj和Tj表示CT 圖像在進行特征點匹配過程中，第j幀CT圖像與初始圖像屬性之間的關聯(lián)情況。將上述公式進行換乘處理，獲得下述表達式：

利用傅里葉算法，對Rj與Tj進行求和計算［9］，將結果作為CT 圖像高分辨率特征點匹配的初始值，得出下述公式：

根據(jù)式（8）可知，a為CT圖像的初始特征點匹配數(shù)值，歸一化處理之后得到，再對Pj進行紋理分解，得到分解后的結果和，此時獲得的結果并不準確，對進行第二次紋理分解，得到的為最優(yōu)結果，從而準確的匹配CT 圖像超分辨率特征點，即：

受噪聲等多種不可抗因素的影響，對于CT 圖像超分辨率特征點匹配結果a并不代表全局解［19］，把上述求得的Rj和Tj代入下述公式獲得全局ai的解：

通過上述的分解處理后，可以得到精準匹配CT圖像超分辨率特征點。

2.3 基于半耦合字典設計圖像超分辨率重建算法

在圖像超分辨率特征匹配的基礎上，在圖像超分辨率重建之前，先進入半耦合字典的訓練階段，對一部分高分辨率的CT 圖像進行深度學習，從而獲取超高質量的半耦合字典，半耦合字典的優(yōu)劣情況，直接決定CT 圖像超分辨率重建的結果［20］。通過半耦合算法對半耦合字典進行優(yōu)化，對原始CT圖像進行k次紋理分解，減少半耦合字典中低分辨率原子的個數(shù)［21］，從而實現(xiàn)對CT 圖像的超分辨率重建。

將CT圖像超分辨率重建的目標圖像函數(shù)表示為

式中，X為CT 圖像超分辨率重建的第j行的屬性，重建后的分辨率為，刪除dk內(nèi)包含的原始特征集Y進行分解的誤差系數(shù)Ek，對Ek進行特征分解，利用公式（14）進行定義：

式中，ωk表示CT 圖像重建前的樣本{yi}中的初始分辨率dk的圖像信息，假設當時，可以得到CT圖像超分辨率重建的索引，尺寸為N×|ωk|的超分辨率重建矩陣用Ωk表示，在CT圖像高分辨率重建位置(ωk(i)i)的初始分辨率系數(shù)設置為1，重建位置內(nèi)所有的像素點設置為0，進行自適應分析后得到的結果為進行歸一化處理后得到的值為Y，歸化自適應分解后得到的結果為Ek［22］。將式（14）引入式（15）實現(xiàn)轉換，將轉換后的結果利用式（16）表示為

通過對上述求得的轉換結果Ek進行特征分解，就可以得到Ek=U?V，然后進行矩陣排列，將U作為第一次CT圖像超分辨率重建結果的優(yōu)化結果，得到第一幀CT圖像超分辨率重建結果［23］，利用上述步驟對CT 圖像的每一幀進行超分辨率重建，最終獲得更新的半耦合字典。

通過對半耦合字典的更新和完善，實現(xiàn)對CT圖像超分辨率信息的重建，即：

通過上式，得到CT 圖像的超分辨率半耦合字典Dh，以及對應的超分辨率重建CT 圖像αk，通過式（17）對CT 圖像超分辨率信息進行求解，并對進程矩陣排列，為使半耦合字典內(nèi)的CT 圖像與重建完成的超分辨率CT 圖像較為相近，將利用式（18）得到重建的超分辨率CT圖像：

上式中，X1表示CT 圖像進行超分辨率重建后的效果，Rk代表重建后的超分辨率CT 圖像的k個特征點，對重建后的超分辨率CT圖像進行去噪處理后，利用最小二乘算法，利用式（19）對其進行求解：

通過上面闡述的過程，將CT 圖像超分辨率重建算法設計過程描述如下：

Step3：對待重建的CT 圖像利用式（19）代入半耦合字典進行重建，最終完成對CT 圖像超分辨率重建算法的設計。

根據(jù)上述步驟，實現(xiàn)了CT 圖像的超分辨率重建。

3 對比分析

3.1 數(shù)據(jù)及參數(shù)設置

過程中，將1000 個橫切面CT 圖像作為實驗樣本，形成一個數(shù)據(jù)集，樣本中所有CT圖像分辨率都為512*512 px，選取其中800個樣本作為訓練集，剩余的200個CT圖像樣本作為測試集。

在實驗數(shù)據(jù)的預處理階段，先篩選出含有噪聲的CT 圖像，利用小波分析去除CT 圖像中的噪聲，并對其進行降質處理，保證CT 圖像的質量。實驗所用相關參數(shù)如表1所示。

表1 參數(shù)設置

3.2 設置指標

CT 圖像超分辨率重建實驗分兩個階段進行，第一階段利用峰值信噪比和結構相似性指標衡量CT 圖像超分辨率重建的性能，兩個指標的計算公式為

式中，r表示初始CT 圖像，f表示重建后的CT 圖像，μ表示CT圖像的均值，σ表示CT圖像的方差。

實驗第二階段，利用CT 圖像邊緣的鋸齒效應衡量CT圖像超分辨率重建效果。

3.3 結果分析

為了驗證基于半耦合字典的CT圖像超分辨率重建方法在應用時的直觀對比性，引入基于卷積神經(jīng)網(wǎng)絡的重建方法和基于圖像塊分類的重建方法作對比，對三種重建方法進行測試，結果如下。

三種方法在CT圖像超分辨率重建中的峰值信噪比測試結果如圖2所示。

圖2 CT圖像超分辨率重建的峰值信噪比測試結果

從圖2 的結果可以得到，在峰值信噪比測試中，采用基于卷積神經(jīng)網(wǎng)絡的重建方法得到CT 圖像重建的峰值信噪比也越來越低，當CT 圖像樣本個數(shù)在80 個～140 個之間時，峰值信噪比穩(wěn)定在50%附近，隨后又迅速下降，最低峰值信噪比只有25%；采用基于圖像塊分類的重建方法時，在CT 圖像樣本數(shù)量低于100 的測試中，峰值信噪比穩(wěn)定在80%左右，隨后也出現(xiàn)了下降趨勢，最低峰值信噪比為60%；采用半藕合字典的重建方法時，在前80個樣本中，峰值信噪比都穩(wěn)定在98%，后期雖然出現(xiàn)了小幅度的下降，但是峰值信噪比仍然是三種方法中最高的。

三種方法在CT圖像超分辨率重建中的結構相似性測試結果如圖3所示。

圖3 CT圖像超分辨率重建的結構相似性測試結果

從圖3 的結果可以看出，采用基于卷積神經(jīng)網(wǎng)絡的重建方法時，在前140 個樣本中重建的結構相似性呈線性下降趨勢，后期的測試中，重建的結構相似性下降幅度較大，最低結構相似性只有20%；采用基于圖像塊分類的重建方法時，重建的結構相似性雖然也在下降，但是波動幅度比較小，得到的最低結構相似性達到了62%；采用半藕合字典的方法時，整個測試過程中，CT 圖像重建的結構相似性在85%～99%之間浮動，說明該方法在重建的結構相似性方面具有更好的性能。

為了驗證文中方法的重建效果，測試了三種方法經(jīng)過超分辨率重建之后的圖像邊緣鋸齒效應，結果如圖4所示。

從圖4 的結果可以看出，采用基于卷積神經(jīng)網(wǎng)絡的重建方法和基于圖像塊分類的重建方法經(jīng)過重建得到的CT 圖像邊緣出現(xiàn)鋸齒現(xiàn)象比較嚴重，而采用半藕合字典的方法經(jīng)過重建得到的CT圖像邊緣相對圓滑，說明方法的重建效果更好。

4 結語

本文提出了基于半耦合字典的CT圖像超分辨率重建研究，通過測試對比發(fā)現(xiàn)，該方法在峰值信噪比和結構相似性方面具有更好的重建性能；同時在CT 圖像邊緣的圓滑度上，也具有更好的重建效果。