基于Transformer的結(jié)構(gòu)強化IVOCT導絲偽影去除方法

郭勁文，馬興華，駱功寧，王 瑋，曹 陽，王寬全*

（1.哈爾濱工業(yè)大學 計算學部，哈爾濱 150001；2.哈爾濱醫(yī)科大學附屬第一醫(yī)院，哈爾濱 150001）

0 引言

心血管疾?。–ardioVascular Disease，CVD），亦稱循環(huán)系統(tǒng)疾病，是一系列涉及循環(huán)系統(tǒng)的疾病，通常由粥樣動脈硬化導致。據(jù)最新公開的心血管疾病數(shù)據(jù)統(tǒng)計，國內(nèi)身患心血管疾病的人口數(shù)量已達3.30 億，且患病人數(shù)依然在不斷增長。在國內(nèi)主要疾病死亡人數(shù)的統(tǒng)計中，CVD 占城市居民主要疾病死亡的43.81%，而在農(nóng)村居民主要疾病死亡的占比更是高達46.66%［1］。隨我國日益嚴重的老齡化趨勢，CVD的死亡率依然在不斷攀升，已對國民健康和社會發(fā)展造成了巨大影響。

有效的預(yù)防、檢查及治療可顯著降低CVD 的死亡率，血管內(nèi)光學相干斷層掃描（IntraVascular Optical Coherence Tomography，IVOCT）技術(shù)憑借它針對心血管的良好成像已成為醫(yī)生診斷CVD 的重要手段。IVOCT 是迄今最前沿的現(xiàn)代化血管成像技術(shù)之一，通過近紅外光反射的血管內(nèi)成像模式成像，在生物組織的成像領(lǐng)域展現(xiàn)了可靠的性能［2-3］。該技術(shù)以弱相干光干涉儀的基本原理作為理論基礎(chǔ)，檢測入射弱相干光在生物組織深淺層面背向反射或散射信號的差異，生成生物組織的結(jié)構(gòu)影像。

具體而言，IVOCT 基于邁克爾遜干涉測量法并使用超高亮度二極管發(fā)射器作為光源。光源射出的光通過光纖進入光纖耦合器后形成兩束光束，其中一束進入待觀察物體，而另一束則進入圖像信號接收系統(tǒng)。由兩條路徑反射或反向散射的光通過光纖耦合器重新集成到光束中并由檢測器接收。隨后測量光散射的輻射能和通過生物組織時間在不同深度組織之間的差異，進而通過顯示偽色的灰度值得到生物組織影像，其中：淺色（如淺黃色和淺綠色）代表輻射較強的區(qū)域；暗色（如藍色和黑色）代表輻射較弱的區(qū)域；綠色代表輻射平均的區(qū)域［4-6］。

在臨床IVOCT 系統(tǒng)中，數(shù)據(jù)采集使用了包括定位（Position）、清洗（Purge）、噴入（Puff）以及回撤（Pullback）在內(nèi)的4P 方法［7-9］。在數(shù)據(jù)采集過程中：定位用于確定目標位置；清洗利用造影劑清洗成像導管的管腔血液；噴入確保指引導管與冠脈同軸；回撤將近紅外光傳輸?shù)教筋^并通過導絲拖拽采集連續(xù)的截面反射信號實現(xiàn)管腔內(nèi)影像的采集。高反射的人造物導絲會導致探頭發(fā)射的近紅外光發(fā)生反射，因而在拖拽的過程中，極坐標圖像的導絲區(qū)域會形成高亮的月牙形偽影，且導絲的遮掩將導致所成影像的導絲后方存在貫穿整個圖像的黑色矩形偽影，如圖1 所示。IVOCT 檢查的所有成像均會不可避免地出現(xiàn)上述導絲偽影，其中偽影面積約占單張影像的10%并且貫穿整個圖像，偽影區(qū)域的管腔內(nèi)壁組織信息無法被獲取。

圖1 IVOCT圖像與導絲偽影Fig.1 IVOCT image and guidewire artifact

醫(yī)生在觀察IVOCT 序列時，可根據(jù)臨床經(jīng)驗結(jié)合序列上下幀之間的影像信息和導絲偽影運動軌跡，推測導絲偽影區(qū)域的影像信息，進而分析管壁與斑塊的表征并診斷CVD。但臨床經(jīng)驗的差異可能導致不同醫(yī)生對于導絲偽影區(qū)域圖像信息的推測不一致。去除導絲偽影能夠促進醫(yī)療影像系統(tǒng)的現(xiàn)代化和IVOCT 影像診斷CVD 的標準化，有助于醫(yī)生更加準確地診斷CVD，減小誤診與漏診的概率。

為去除IVOCT 導絲偽影，本文提出了基于Transformer 的結(jié)構(gòu)強化網(wǎng)絡(luò)（Structure-Enhanced Transformer Network，SETN），以生成器（Generator）和判別器（Discriminator）構(gòu)成的生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）架構(gòu)重建導絲偽影區(qū)域圖像，以提高IVOCT 圖像的連續(xù)性與完整性。根據(jù)IVOCT 圖像管壁結(jié)構(gòu)復雜以及序列上下幀具有關(guān)聯(lián)性的特點，SETN 的生成器關(guān)注序列上下文信息且針對IVOCT 的管壁結(jié)構(gòu)進行了強化設(shè)計。為關(guān)聯(lián)上下幀特征并通過鄰幀信息強化待復原區(qū)域的語義描述，SETN 使用了能夠同時分析單幀空間位置和序列時序的Transformer 模塊挖掘序列的上下文關(guān)聯(lián)性。此外，在原始圖像（ORIginal image，ORI image）主干生成網(wǎng)絡(luò)的基礎(chǔ)上，SETN 引入了并聯(lián)的RTV（Relative Total Variation）［10］圖像強化生成網(wǎng)絡(luò)完成ORI 圖像和與之對應(yīng)RTV 圖像導絲偽影區(qū)域的重建。RTV重建獲取的結(jié)構(gòu)特征被融入ORI 圖像的紋理特征，用于輔助ORI 主干生成網(wǎng)絡(luò)對導絲偽影區(qū)域的圖像重建。

本文的主要工作為：1）首次提出了一種基于Transformer的結(jié)構(gòu)強化網(wǎng)絡(luò)SETN 用于去除IVOCT 圖像中結(jié)構(gòu)信息復雜且區(qū)域占比大的導絲偽影；2）結(jié)合IVOCT 圖像結(jié)構(gòu)復雜的特點，提出了在RTV 圖像上提取結(jié)構(gòu)特征的RTV 強化生成網(wǎng)絡(luò)，用于在ORI 重建圖像時強化IVOCT 的圖像結(jié)構(gòu)以提高導絲偽影去除性能；3）設(shè)計了關(guān)注時/空間域信息的Transformer 編碼器，分別從單幀空間域和序列時間域的角度挖掘IVOCT 序列圖像特征的上下文關(guān)聯(lián)性；4）分別從偽影區(qū)域重建性能和計算機輔助診斷（易損斑塊分割以及管腔輪廓線提?。┑慕嵌闰炞C了本文導絲偽影去除方法的實效性。

1 相關(guān)工作

通過偽影去除技術(shù)提高醫(yī)療圖像的成像質(zhì)量在醫(yī)療影像的臨床應(yīng)用中具有重要意義。在放射影像檢查中，由金屬物植入導致X 光線衰減形成的放射狀偽影可以通過去噪技術(shù)消除［11］。而IVOCT 為光學成像技術(shù)，它的偽影由近紅外光的導絲反射導致部分區(qū)域無法成像。圖像補全技術(shù)能有效處理區(qū)域較大且集中的圖像缺失，因此本文基于圖像補全技術(shù)提出IVOCT 導絲偽影去除方法。

1.1 基于傳統(tǒng)方法的圖像補全

基于傳統(tǒng)方法的圖像補全技術(shù)主要分為兩類：基于補丁的方法和基于擴散的方法。

基于補丁的方法依次搜索缺失區(qū)域并填充高匹配度的補丁。Liu 等［12］使用了馬爾可夫隨機場模型估計并結(jié)合單應(yīng)性變換以增強修復與周圍區(qū)域的一致性和結(jié)構(gòu)的連貫性；Ding 等［13］提出了一種利用非局部紋理匹配和非線性濾波的圖像補全方法以兼顧圖像強度和紋理的一致性。

基于擴散的方法將圖像信息從邊界擴散到缺失區(qū)域以實現(xiàn)缺失區(qū)域的填充。Li 等［14］提出了一種基于擴散的圖像補全方法，通過定位補全區(qū)域后利用通道內(nèi)和通道間變化的局部方差實現(xiàn)數(shù)字圖像的補全；Sridevi 等［15］提出了一種基于分數(shù)階導數(shù)和傅里葉變換的擴散圖像補全方法，以解決補全中階梯狀和散斑偽影的問題。

基于傳統(tǒng)方法的相關(guān)技術(shù)初步探索了圖像補全的技術(shù)路線，并為該任務(wù)提供了清晰的解決思路，但與后續(xù)發(fā)展的深度學習技術(shù)相比，傳統(tǒng)方法普遍存在難以應(yīng)對復雜圖像和高占比缺失的缺陷。

1.2 基于深度學習的圖像補全

隨著近年來深度學習算法的不斷發(fā)展與完善，圖像補全技術(shù)得到長足的發(fā)展，基于深度學習方法的圖像補全技術(shù)主要采用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）和Transformer 兩種網(wǎng)絡(luò)構(gòu)架。

1.2.1 CNN

深度學習首先以普遍適用于計算機視覺（Computer Vision，CV）任務(wù)的CNN 架構(gòu)引入圖像補全任務(wù)?；贑NN的圖像補全方法使用編碼器-解碼器的網(wǎng)絡(luò)結(jié)構(gòu)提取圖像特征并復原圖像信息。Xie 等［16］提出了一種自動編碼預(yù)訓練的深度網(wǎng)絡(luò)修復模型，利用無監(jiān)督特征學習實現(xiàn)了圖像的修復；Favorskaya 等［17］使用全連接網(wǎng)絡(luò)對去除視頻序列中的偽影后的紋理進行重建；K?hler 等［18］通過卷積層學習像素破壞圖像塊到完整圖像塊的映射，進而修復特定掩碼區(qū)域。

基于CNN 的方法擅長細節(jié)的重建，但受限于修復區(qū)域的尺寸等因素。隨著深度學習技術(shù)的發(fā)展，以CNN 為圖像生成基礎(chǔ)的GAN 架構(gòu)［19］被提出應(yīng)用于圖像的生成和補全任務(wù)，此類方法利用隨機產(chǎn)生的噪聲逐漸生成待修復對象，克服了CNN 方法受限于修復區(qū)域的缺點。GAN 是一個包含生成器G和判別器D（兩個前饋網(wǎng)絡(luò)）的博弈學習模型。其中，G通過真實圖像訓練模型參數(shù)并生成全新的圖像，而D通過訓練鑒別真實圖像與生成圖像的差異。若D無法區(qū)分生成圖像與真實圖像，則認為G的性能滿足要求，這種關(guān)系可認為是G和D競爭的最小最大博弈。綜上所述，G（D）試圖最小化（最大化）對抗損失V(D，G)作為損失函數(shù)，如式（1）所示：

其中：z和x分別表示噪聲Pz(z)和真實數(shù)據(jù)分布Pdata(x)采樣的隨機噪聲向量和真實圖像。

在圖像補全相關(guān)方法中，G通過學習完整圖像特征生成缺失區(qū)域圖像信息，D鑒定生成的圖像信息的可信度。Kim等［20］提出了一種聚合相鄰幀時間特征的循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN），實現(xiàn)了VINet 模型修復視頻；Chang 等［21］使 用了改進3D 門控卷積以及T-Patch GAN（Temporal Patch GAN ），提出了LGTSM（Learnable Gated Temporal Shift Module），最終實現(xiàn)了自由形式遮掩的視頻補全；Lee 等［22］提出了復制并粘貼參考幀相應(yīng)內(nèi)容的深度學習網(wǎng)絡(luò)框架CAP（Copy-And-Paste）以補全目標幀中缺失區(qū)域。

盡管堆疊卷積層能夠使CNN 提取較抽象的高級語義特征，但依然存在全局信息獲取有限、圖像不同區(qū)域間語義信息相對獨立等局限性。而近年提出的Transformer［23］網(wǎng)絡(luò)架構(gòu)使用注意力機制實現(xiàn)全局上下文信息的捕獲，能獲取目標相關(guān)的長距離關(guān)聯(lián)性特征。

1.2.2 Transformer

Transformer 是一種基于注意力機制的網(wǎng)絡(luò)構(gòu)架，最先應(yīng)用于自然語言處理（Natural Language Processing，NLP）領(lǐng)域。Transformer 憑借其強大的序列信息處理能力，成為了當前完成NLP 相關(guān)任務(wù)的最先進的深度學習模型。由于它在NLP領(lǐng)域各項任務(wù)中優(yōu)異的性能表現(xiàn)，CV 領(lǐng)域的研究人員也開始探索Transformer 在CV 任務(wù)上的應(yīng)用潛力。Dosovitskiy等［24］首次提出了Vision Transformer（ViT）應(yīng)用于圖像分類任務(wù)。而后隨著Transformer 在CV 領(lǐng)域的快速發(fā)展，它在CV 領(lǐng)域得到了大規(guī)模的普及并被用于處理包括圖像補全在內(nèi)的各類CV 任務(wù)。

與Transformer 相比，CNN 的局部語義信息處理僅計算相鄰像素間的關(guān)系，無法快速獲得上下文信息，而RNN 的線性序列分析結(jié)構(gòu)僅能有限地計算單向依賴的語義信息。Transformer 分析序列上下文信息不受長期依賴問題的影響，能夠避免因序列過長導致的性能下降。由于在序列分析上的優(yōu)勢，Transformer 也被應(yīng)用于圖像補全工作中。Jiang 等［25］提出一個Transformer GAN 模型驗證了Transformer 架構(gòu)應(yīng)用于圖像生成任務(wù)的可行性；Zeng 等［26］提出了一個時空聯(lián)合Transformer 網(wǎng) 絡(luò)（Spatial-Temporal Transformer Network，STTN）模型，實現(xiàn)了對視頻運動對象缺失幀的修復。

與自然圖像相比，醫(yī)療圖像具有圖像相似度高、聚焦細微結(jié)構(gòu)的紋理特征以及不同模態(tài)之間差異大的特點，因此針對任務(wù)數(shù)據(jù)特點的圖像補全方法雖然在相應(yīng)的各類自然圖像的補全任務(wù)上具有很好的性能，但遷移至如IVOCT 圖像的醫(yī)療圖像補全任務(wù)上時，性能會有所下降。本文針對IVOCT影像的特性設(shè)計了SETN，使用先進的Transformer 分析序列上下文信息，且在兼顧紋理特征的同時加強了圖像結(jié)構(gòu)特征。

2 基于Transformer的結(jié)構(gòu)強化方法

本文提出了基于SETN 的IVOCT 導絲偽影去除方法，SETN 為生成器和判別器構(gòu)成的GAN 模型。

生成器的網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，包括ORI 圖像主干生成網(wǎng)絡(luò)、RTV 圖像強化生成網(wǎng)絡(luò)以及結(jié)構(gòu)特征融合模塊。ORI圖像主干生成網(wǎng)絡(luò)是生成器的主干網(wǎng)絡(luò)，主要提取ORI 圖像的紋理特征并針對原始圖像的導絲偽影區(qū)域進行重建；RTV圖像強化生成網(wǎng)絡(luò)是生成器的并行分支網(wǎng)絡(luò)，主要通過提取結(jié)構(gòu)特征并重建RTV 圖像偽影區(qū)域的方式為主干網(wǎng)絡(luò)提供結(jié)構(gòu)信息輔助ORI 圖像的偽影去除；結(jié)構(gòu)特征融合模塊融合RTV 圖像強化生成網(wǎng)絡(luò)獲取的結(jié)構(gòu)特征與ORI 圖像主干生成網(wǎng)絡(luò)獲取的紋理特征，為ORI 圖像的解碼還原提供兼顧紋理與結(jié)構(gòu)的圖像特征。

圖2 SETN生成器的網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Generator network structure of SETN

SETN 使用兩個T-Patch GAN 判別器分別監(jiān)督ORI 主干生成網(wǎng)絡(luò)和RTV 強化生成網(wǎng)絡(luò)的重建結(jié)果，它的設(shè)計對于難以重建或需要精細化的區(qū)域進行了更加細節(jié)化的處理。

2.1 ORI主干生成網(wǎng)絡(luò)

ORI 主干生成網(wǎng)絡(luò)以未作處理的極坐標IVOCT 圖像序列作為輸入，重建圖像缺失區(qū)域信息以完成導絲偽影的去除，包括ORI 編碼模塊、Transformer 模塊以及ORI 解碼模塊。ORI 編碼模塊將輸入序列中待去除偽影圖像以單幀形式處理提取圖像紋理特征；Transformer 模塊由順序連接的6 個Transformer 編輯器組成，用來建立整個圖像序列各幀編碼特征之間的上下文關(guān)系；ORI 解碼模塊根據(jù)ORI 編碼模塊和Transformer 模塊獲取的具有序列信息的特征以單幀的形式重建導絲偽影區(qū)域。

2.1.1 ORI編碼模塊

由于導絲偽影的尺度分布不均，為將不同尺度特征輸入空間結(jié)構(gòu)固定的Transformer 模塊，同時防止簡單的卷積堆疊破壞特征間的聯(lián)系，SETN 的ORI 編碼模塊被設(shè)計為特征編碼+層次編碼的編碼模式，為Transformer 模塊分析序列上下文信息提供高魯棒性的紋理特征。

特征編碼對ORI 圖像進行基本特征提取，為后續(xù)的層次編碼提供尺度遞進的紋理特征。它由5 組卷積核大小為3×3的卷積層和負斜率為0.2 的帶泄漏線性整流函數(shù)（Leaky Rectified Linear Unit，LeakyReLU）激活層交替連接組成，其中卷積層的輸出通道數(shù)量為［64，64，128，128，256］。

層次編碼提取不同尺度的ORI 圖像特征，為應(yīng)對不同尺度導絲偽影的解碼重建而設(shè)計實現(xiàn)了不同層次特征的逐幀混合，為序列各幀圖像提供層次化語義特征。它的結(jié)構(gòu)設(shè)計與特征編碼相同，但為實現(xiàn)層次化特征提取，卷積層以［1，2，4，8，1］的分組方式完成分組卷積，其中每個層次編碼的輸出的通道數(shù)為［384，512，384，256，128］。此外層次編碼相鄰卷積層執(zhí)行Concat 操作，以實現(xiàn)多級通道層次的混合。

SETN 通過特征編碼與層次編碼獲取輸入圖像序列中ORI 圖像的不同尺度紋理特征，為后續(xù)的Transformer 模塊提供了高魯棒性強的層次化特征向量。

2.1.2 Transformer模塊

在IVOCT 圖像序列中，序列上下文信息可以為導絲偽影去除提供更加豐富的語義信息。因此在單幀圖像特征提取后，SETN 使用善于捕獲全局上下文信息的Transformer 通過注意力機制建立序列幀之間的關(guān)聯(lián)。本文設(shè)計了能夠分別提取IVOCT 圖像時/空間域上下文信息的Transformer 模塊，在分析序列時序關(guān)聯(lián)性的同時，建立單幀圖像不同位置特征之間的聯(lián)系。

Transformer 模塊由順序連接的6 個Transformer 編碼器組成。通過不同尺度的patch 劃分和flatting 操作，特征序列被轉(zhuǎn)化為embedding 序列并輸入至Transformer 編碼器。在Transformer 編碼器中，時間域特征整合器（Temporal Domain Feature Integrator，TDFI）和空間 域特征 整合器（Spatial Domain Feature Integrator，SDFI）分別從序列各幀關(guān)聯(lián)性的時間域和單幀各位置關(guān)聯(lián)性的空間域兩個角度處理整合序列，如圖3 所示，圖3 中⊕代表鄰層間的殘差連接，通過四方格劃分的方形塊代表圖像的patch 特征。

圖3 Transformer編碼器與時/空間域特征整合器Fig.3 Transformer encoder and temporal/spatial domain feature integrators

TDFI 按序列時序?qū)⒚恳粠恢孟嗤膒atch embedding排列為embedding 序列，以完成同位置patch 在序列維度上的語義特征分析，進而在上下幀圖像中查找各幀patch 區(qū)域內(nèi)與待重建區(qū)域相符的特征。由于時間域特征分析以全局角度在圖像序列中查找注意力信息，TDFI 整合特征劃分patch的尺寸設(shè)置較大（起始Transformer 編碼器TDFI 的patch 尺寸設(shè)置為7×7），以增大在時序序列中查找缺失區(qū)域相關(guān)特征的感受野。

SDFI 將單幀圖像的patch embedding 排列為空間維度的embedding 序列，以建立單幀圖像不同位置特征之間的聯(lián)系。與TDFI 相比，SDFI 關(guān)注單幀圖像的空間關(guān)聯(lián)性，以捕獲與待重建區(qū)域有關(guān)的單幀圖像內(nèi)語義信息。SDFI 整合特征劃分patch 的尺寸設(shè)置較?。ㄆ鹗糡ransformer 編碼器SDFI 的patch尺寸設(shè)置為3×3），以獲取更多的小尺度紋理描述，并在同幀圖像中查找缺失區(qū)域相關(guān)的紋理特征。

由于ORI 編碼模塊獲取的特征向量代表不同尺度特征，SETN 以不同尺度特征的Transformer 編碼器完成不同尺度特征分析。在Transformer 結(jié)構(gòu)中，每個Transformer 編碼器的輸入patch 尺寸皆以與之相連的前一個編碼器的2 倍遞增。

將通過TDFI 與SDFI 整合的embedding 序列并行輸入Transformer 編碼器，其中序列位置編碼的設(shè)計遵循ViT。Transformer 編碼器由多頭自注意力（Multi-head Self-Attention，MSA）子模塊 和多層 感知器（Multi-Layer Perceptron，MLP）子模塊順序連接組成，其中層標準化（Layer Normalization，LN）應(yīng)用于每個子模塊之前，殘差連接應(yīng)用于每個子模塊之后。殘差連接能夠使模型關(guān)注當前模塊前后差異以防止網(wǎng)絡(luò)退化，LN 使輸入數(shù)據(jù)均值方差相同以加快網(wǎng)絡(luò)收斂。

為使Transformer 編碼器具有更好的擬合能力且處理序列更加穩(wěn)定，MSA 子模塊集成了多個并聯(lián)的自注意力（Selfattention）層，以避免單個自注意力層序列信息獲取的局限性，其中自注意層通過Query、Key 和Value 三元組計算目標輸入序列各embedding 之間的關(guān)聯(lián)性，計算過程可具體表示為：

其中：(Q，K，V)為輸入序列與可學習參數(shù)矩陣相乘得到的Query、Key 和Value 三元組；d為Query/Key 的維度（實驗?zāi)Ｐ驮O(shè)置為32）。MSA 子模塊并聯(lián)多個自注意力層的計算可具體表示為：

其中：Qi、Ki和Vi分別為第i個自注意 力層的Query、Key 和Value 三元組；head為單個注意力層學習的注意力參數(shù)矩陣；WO為將多個自注意力層的拼接維度映射至輸出維度的可學習參數(shù)；h為實驗?zāi)Ｐ蚳ead數(shù)量，設(shè)置為8。

2.1.3 ORI解碼模塊

為將Transformer 模塊完成序列分析后的圖像紋理特征用于導絲偽影去除任務(wù)，本文設(shè)計了與ORI 編碼模塊中特征編碼對應(yīng)的ORI 解碼模塊以重建導絲偽影區(qū)域圖像。

ORI 解碼模塊通過上采樣將圖像特征轉(zhuǎn)化為ORI 圖像信號。它的結(jié)構(gòu)特征編碼相對稱，由5 層的卷積核大小為3×3 且連接LeakyReLU 激活層的反卷積層組成，其中插值使用scale_factor 設(shè)置為2 的雙線性（bilinear）處理方式實現(xiàn)。

2.2 RTV強化生成網(wǎng)絡(luò)

ORI 主干生成網(wǎng)絡(luò)為導絲偽影去除提供圖像細節(jié)的紋理特征，而RTV 化IVOCT 圖像能夠有效地表達圖像結(jié)構(gòu)信息。因此本文設(shè)計了RTV 強化生成網(wǎng)絡(luò)用于重建RTV 圖像的導絲偽影區(qū)域，并通過紋理特征融合模塊將結(jié)構(gòu)特征引入ORI 圖像的導絲偽影去除。

2.2.1 IVOCT圖像RTV化

RTV 強化生成網(wǎng)絡(luò)的輸入為通過RTV 化得到的RTV 圖像序列。RTV 化［10］是一種圖像的結(jié)構(gòu)化分離方法，它的實現(xiàn)總變差分模型可具體表示為：

其中：I和S分別為輸入原始圖像和輸出結(jié)構(gòu)化圖像；p為二維圖像像素索引；λ表示結(jié)構(gòu)圖像與原始圖像的相似權(quán)值；?為梯度算子。

圖像RTV 化的主要參數(shù)設(shè)置包括：λ∈（0，0.05］，用于控制平滑的程度；σ∈（0，6］，用于確定最大紋理選擇；sharpness∈（0.001，0.03］，用于控制圖像銳化；Itermax控制轉(zhuǎn)化迭代次數(shù)。不同參數(shù)值設(shè)置的RTV 化圖像結(jié)果如圖4 所示，與其他結(jié)果相比，圖4（c）中RTV 圖像紋理消除有效且結(jié)構(gòu)清晰，因此本文IVOCT 圖像序列的RTV 化遵循圖4（c）的參數(shù)設(shè)置。

圖4 IVOCT圖像的RTV化結(jié)果Fig.4 RTV results of IVOCT image

2.2.2 RTV強化生成網(wǎng)絡(luò)結(jié)構(gòu)

RTV 強化生成網(wǎng)絡(luò)的結(jié)構(gòu)組成與ORI 主干生成網(wǎng)絡(luò)相同，包括參數(shù)一致的RTV 編碼模塊、Transformer 模塊以及RTV 解碼模塊，其中兩個生成網(wǎng)絡(luò)的Tranformer 模塊實現(xiàn)參數(shù)共享以減少網(wǎng)絡(luò)參數(shù)量。

RTV 強化生成網(wǎng)絡(luò)的Transformer 模塊亦由4 個包括TDFI 與SDFI 的Transformer 編碼器組成。為保證模型效率的同時關(guān)聯(lián)更豐富的高相似度值patch 特征，SDFI 將以當前幀與上、下幀共計3 幀的patch 作為輸入。此外，因在較大patch上提取的結(jié)構(gòu)特征能夠更好地描述圖像結(jié)構(gòu)，輸入至SDFI的初始patch 尺寸設(shè)置為7×7。

2.3 結(jié)構(gòu)特征融合模塊

結(jié)構(gòu)特征融合模塊把RTV 強化生成網(wǎng)絡(luò)獲取的結(jié)構(gòu)特征融合至ORI 主干生成網(wǎng)絡(luò)提取的紋理特征中，以在導絲偽影區(qū)域的圖像重建過程中實現(xiàn)結(jié)構(gòu)強化。

如圖5 所示，待融合結(jié)構(gòu)特征主要包括當前幀結(jié)構(gòu)特征和序列結(jié)構(gòu)特征。當前幀結(jié)構(gòu)特征為RTV 編碼模塊最終提取的結(jié)構(gòu)特征Fself，它可為修復導絲區(qū)域邊界結(jié)構(gòu)提供良好的性能。序列結(jié)構(gòu)特征為RTV 解碼模塊不同尺度反卷積層計算特征及它們是時序維度獲取的全局結(jié)構(gòu)信息。上述序列結(jié)構(gòu)特征根據(jù)下采樣由深到淺獲得，較深的下采樣特征趨近于描述圖像的整體構(gòu)架，而較淺的下采樣特征趨近于描述圖像的細節(jié)特征。

圖5 結(jié)構(gòu)特征融合模塊Fig.5 Structural feature fusion module

結(jié)構(gòu)特征融合模塊將當前幀結(jié)構(gòu)特征和序列結(jié)構(gòu)特征融入主干網(wǎng)絡(luò)獲取的紋理特征方式如圖5 所示，F(xiàn)self、及與ORI 解碼模塊對應(yīng)層的輸入進行Concat 操作，Concat 所得完成結(jié)構(gòu)強化的紋理特征將輸入至對應(yīng)反卷積層。該融合模塊按照次序依次完成下采樣由深到淺的不同層次特征融合。

2.4 損失函數(shù)

本文的SETN 設(shè)計采用GAN 的網(wǎng)絡(luò)架構(gòu)，因此損失函數(shù)包括重建損失函數(shù)與對抗損失函數(shù)兩類，其中重建損失函數(shù)使用像素級重建損失函數(shù)（即L1 損失）。

生成器的重建對象包括ORI 和RTV 兩種圖像，因此重建損失函數(shù)分為ORI 重建損失和RTV 重建損失。

ORI 重建損失是針對原始圖像缺失重建設(shè)計的損失，該損失計算模型輸出的補全圖像序列與目標圖像序列的差異，其間兩者的差值與待重建區(qū)域的掩碼信息相乘，而后計算單個像素的平均差異，計算方式如下：

其中：Mt為ORI 圖像序列的待重建區(qū)域掩碼信息為完成ORI 補全的圖像序列；為輸入序列與掩碼值的乘積，即ORI 主干網(wǎng)絡(luò)的輸入序列數(shù)據(jù)；⊙表示同或運算。

為了使補全內(nèi)容在缺失邊界上與原圖像具有一致性，同時也使補全結(jié)果更加符合原始未缺損圖像，缺失邊界損失的計算方式與式（5）一致，不同在于它的掩碼信息保留非待重建區(qū)域的圖像，在缺失邊界損失計算方式如下：

ORI 總重建損失由缺失重建損失與缺失邊界損失加權(quán)相加得到，計算方式如下：

其中：λhole與λvalid分別為與兩個損失函數(shù)的加權(quán)參數(shù)。

RTV 重建損失與ORI 重建損失LORI的計算方式類似，針對缺失區(qū)域和缺失邊界圖像設(shè)計的損失分別為與且該損失也由兩個損失函數(shù)的加權(quán)相加得到，加權(quán)參數(shù)設(shè)置與ORI 重建損失一致，計算方式如下：

重建損失函數(shù)Lrec由ORI 重建損失LORI與RTV 重建損失LRTV構(gòu)成，其中RTV 結(jié)構(gòu)圖像在補全時強化結(jié)構(gòu)以輔助重建，因此兩個損失的重要性需要通過加權(quán)制衡。重建損失函數(shù)Lrec計算方式如下：

其中：ω為LORI與LRTV兩個損失函數(shù)的加權(quán)參數(shù)（取值范圍為［0，1］）。

對抗損失函數(shù)由判別器對抗損失及生成器對抗損失函數(shù)組成，其中判別器對抗損失計算方式如下：

其中：Yt為與待補全圖像序列對應(yīng)的Ground Truth，即無導絲偽影的IVOCT 影像序列。

生成器對抗損失分為ORI 對抗損失以及RTV 對抗損失，兩者計算方式相同且加權(quán)相加，生成器對抗損失的計算方式如下：

生成器的損失由重建損失及生成器對抗損失函數(shù)加權(quán)相加得到，計算方式如下：

其中：λrec與λadv分別為Lrec與Ladv兩個損失函數(shù)分配的權(quán)值。以上參數(shù)數(shù)值選定的標準通過相關(guān)經(jīng)驗及實驗確定，具體的參數(shù)數(shù)值如表1 所示。

表1 損失函數(shù)參數(shù)值Tab.1 Parameter values of loss function

3 實驗與結(jié)果分析

3.1 數(shù)據(jù)預(yù)處理

本文實驗所用數(shù)據(jù)集由哈爾濱醫(yī)科大學附屬第一醫(yī)院提供，包括137 組來自不同患者的IVOCT 影像序列，其中每個圖像序列包括50 幀連續(xù)的IVOCT 圖像。本文SETN 的輸入序列長度設(shè)置為10，因此每組的數(shù)據(jù)將被分為5 段10 幀的IVOCT 圖像序列，其中100 組的數(shù)據(jù)被劃分為訓練數(shù)據(jù)，其余組的數(shù)據(jù)被劃分為測試數(shù)據(jù)。在上述序列中每幀圖像均含有導絲偽影，其中導絲偽影均由專業(yè)醫(yī)生標注。

為保證實驗驗證與分析的真實性和準確性，本文使用如圖6 所示方法對IVOCT 圖像序列的單幀圖像分別進行預(yù)處理，以構(gòu)建具有真實Ground Truth 的導絲偽影去除單幀訓練數(shù)據(jù)。在圖6 的添加導絲偽影的步驟中，根據(jù)導絲偽影的寬度分布統(tǒng)計，按圖7（a）中概率分布的導絲寬度期望在拼接圖像中添加不同寬度的導絲偽影（同序列圖像中偽影寬度一致）。

圖6 IVOCT單幀圖像預(yù)處理流程Fig.6 Flow of IVOCT image preprocessing

圖7 偽影軌跡和寬度統(tǒng)計Fig.7 Artifact trajectory and width statistics

為確保IVOCT 圖像序列中導絲偽影添加軌跡趨近真實偽影，本文還分析了臨床數(shù)據(jù)中的導絲運動軌跡，偽影軌跡散點如圖7（b）所示。圖中軌跡分布在極坐標下統(tǒng)計，導絲運動軌跡趨近于連續(xù)的螺旋結(jié)構(gòu)，運動軌跡中存在的不均勻抖動主要由自動/手動回撤速度不一致造成。預(yù)處理IVOCT序列的偽影位置分布隨機選取等長度數(shù)目的連續(xù)散點位置進行映射。

3.2 評價指標

本文SETN 使用GAN 網(wǎng)絡(luò)架構(gòu)完成視頻序列的圖像補全，因此為有效地評估IVOCT 重建圖像的質(zhì)量，選擇常用于評價圖像補全模型的4個指標對實驗結(jié)果進行評估：峰值信噪比（Peak Signal to Noise Ratio，PSNR）、結(jié)構(gòu)相似性指數(shù)度量（Structural Similarity Index Measure，SSIM）、平均絕對誤差（Mean Absolute Error，MAE）和弗雷 謝初始 距離分 數(shù)（Frechet Inception Distance score，F(xiàn)ID）。

1）PSNR 是使用最廣泛的衡量圖像間相似程度的評價指標之一，衡量標準是計算缺失重建圖像與未缺失圖像之間的峰值信噪比（單位：dB），數(shù)值越大表示缺失區(qū)域重建圖像的質(zhì)量越好。計算公式如下：

其中：RMSE是重建圖像K和原始圖像I之間的累積平方誤差；m和n分別為重建圖像的長和寬；MAXI為未缺失圖像中像素值的最大值（灰度圖像MAXI=255）。

2）SSIM 是計算圖像間結(jié)構(gòu)相似性的評價指標，主要從亮度、對比度和結(jié)構(gòu)三個角度比較。在比較兩張圖像之間的差異時，與PSNR 相比，SSIM 更加貼合人眼對于圖像質(zhì)量的判斷。計算公式如下：

3）MAE 是深度學習領(lǐng)域常用的衡量誤差指標之一，在如圖像分類、圖像分割等多種計算機視覺任務(wù)中均有應(yīng)用。盡管它僅考慮單像素值間的差異，但在衡量圖像差異上具備易于理解和解釋、計算簡單等優(yōu)點。計算公式如下：

其中：m和n分別為重建圖像的長和寬；yi和分別為未遮蓋圖像和重建圖像的像素值。

4）FID 是從圖像特征的角度衡量真實圖像與生成圖像間差異的計算指標，計算方式量化并比較二者特征向量之間的距離。二者的特征向量均由Inception v3 模型得到，而距離通過Frechet Distance 計算。FID 值越小表示向量分布越相似，即缺失區(qū)域重建結(jié)果的質(zhì)量越高。計算公式如下：

其中：m和S分別為經(jīng)驗均值和經(jīng)驗協(xié)方差；r 和g 分別為真實數(shù)據(jù)和生成數(shù)據(jù)；Tr()表示矩陣的跡。

3.3 實驗配置

本文驗證SETN 有效性的實驗基于Pytorch 深度學習框架并使用NVIDIA RTX 3090 GPU 服務(wù)器完成網(wǎng)絡(luò)模型的訓練。訓練過程中，選用Adam 優(yōu)化器優(yōu)化損失函數(shù)，參數(shù)β1和β2分別設(shè)置為0.9 和0.99，訓練學習率設(shè)置為0.000 01，每10 000 次迭代衰減為當前學習率的0.1。訓練迭代次數(shù)為500 000，BatchSize 設(shè)置為2。輸入模型的IVOCT 圖像分辨率統(tǒng)一調(diào)整為624×336。

3.4 導絲偽影去除的實驗結(jié)果

為了驗證本文SETN 在IVOCT 導絲偽影去除任務(wù)上的實效性，將SETN 與圖像補全方法及消融分析模型進行了圖像補全性能的對比與分析，結(jié)果如表2，其中：加粗表示最優(yōu)結(jié)果。

表2 導絲偽影去除的評估結(jié)果Tab.2 Evaluation results of guidewire artifact removal

由表2 可知，SETN 在PSNR、SSIM、MAE 以及FID 指標上均取得了最優(yōu)性能，其中與性能最優(yōu)SOTA（State-Of-The-Art）方法（STTN）相比，各指標性能增/減幅分別達到了2.3%、0.177%、6.1%以及13.3%。這表明SETN 針對IVOCT 圖像特點設(shè)計的結(jié)構(gòu)強化模型更適用于完成醫(yī)療圖像的補全工作，且能夠切實有效地去除IVOCT 圖像中的導絲偽影。

為了驗證本文SETN 中Transformer 模塊以及RTV 強化生成網(wǎng)絡(luò)的有效性，設(shè)計了兩個SETN 變體模型并進行相應(yīng)模塊的消融分析實驗。其中SETNTR-表示移除了SETN 生成器中的Transformer 模塊，編碼與解碼模塊直接相連完成圖像重建；SETNRTV-表示移除了SETN 生成器中的RTV 強化生成網(wǎng)絡(luò)，僅由ORI 主干生成網(wǎng)絡(luò)完成紋理特征的提取與重建。根據(jù)表2 可知，移除Transformer 模塊后，未利用序列上下文信息的SETNTR-在各項指標上性能均有下降，這說明SETN 中Transformer 模塊時/空間域特征提取的設(shè)計對圖像重建具有積極的意義；SETNRTV-與SETN 的實驗結(jié)果對比表明，RTV 強化生成網(wǎng)絡(luò)提取結(jié)構(gòu)特征并融合至ORI 主干生成網(wǎng)絡(luò)是有效的。

圖8 給出了STTN、消融分析模型SETNRTV-與SETN 的箱式圖。與STTN 相比，SETNRTV-對于時/空間域分別計算注意力的Transformer 編碼器在IVOCT 導絲偽影去除任務(wù)的序列分析上效果更好。對比SETNRTV-和SETN 的箱式圖可知，添加RTV 強化生成網(wǎng)絡(luò)的生成器在導絲偽影區(qū)域的重建性能提升明顯。SETN 與STTN 相比，測試數(shù)據(jù)預(yù)測的箱式圖更穩(wěn)定且集中，說明SETN 的導絲偽影去除更穩(wěn)定可靠。

圖8 實驗結(jié)果箱式圖Fig.8 Box plots of experimental results

圖9 展示了各方法在導絲偽影區(qū)域進行的重建細節(jié)紋理。與STTN 的重建結(jié)果相比，SETNRTV-在細節(jié)紋理分布的還原上更接近Ground Truth，說明時/空間域Transformer 模塊的設(shè)計能夠有效地分析IVOCT 的序列信息。與STTN 和SETNRTV-相比，本文SETN 重建結(jié)果的紋理處理和明暗度的表現(xiàn)均更突出。在細小結(jié)構(gòu)以及邊界清晰度等細節(jié)上，SETN的重建結(jié)果避免了其他模型在邊界上可能會出現(xiàn)模糊的情況，而此類細節(jié)正是醫(yī)生診斷相關(guān)疾病的重要依據(jù)。而與SETNRTV-相比上述細節(jié)的提升，進一步驗證了SETN 中RTV強化生成模塊提取的結(jié)構(gòu)特征對于紋理信息分布指導的有效性。

圖9 導絲偽影區(qū)域重建結(jié)果的細節(jié)對比Fig.9 Detail comparison of reconstruction results of guidewire artifact area

導絲偽影區(qū)域重建結(jié)果整體結(jié)構(gòu)的對比如圖10 所示，在偽影區(qū)域圖像結(jié)構(gòu)較為復雜時，SETN 的重建圖像在層次上更加接近原始圖像，這進一步驗證了SETN 通過RTV 圖像特征強化結(jié)構(gòu)特征的可行性。

圖10 導絲偽影區(qū)域重建結(jié)果結(jié)構(gòu)對比Fig.10 Structural comparison of reconstruction results of guidewire artifact area

3.5 導絲偽影去除的應(yīng)用

為驗證SETN 去除導絲偽影對于IVOCT 圖像的計算機輔助診斷工作具有積極的意義，以導絲偽影去除前后的IVOCT圖像作為數(shù)據(jù)基礎(chǔ)在下游視覺任務(wù)上進行實驗，對比、分析易損斑塊分割和腔體輪廓線提取任務(wù)基于SETN 去除偽影圖像數(shù)據(jù)完成的優(yōu)勢。

3.5.1 易損斑塊分割

本實驗將對比導絲偽影去除前后，U-Net+ResNet50 模型對于IVOCT 圖像中易損斑塊的分割結(jié)果，以驗證本文SETN的導絲偽影去除性能及其對于易損斑塊分割任務(wù)的意義，其中易損斑塊分割的評價指標包括像素準確率（Pixel Accuracy，PA）、平均像素準確率（Mean Pixel Accuracy，MPA）、交并比（Intersection over Union，IoU）、DICE系數(shù)（DICE Coefficient）、精準率（Precision）以及召回率（Recall）。

如表3 所示，分割模型在去除偽影的IVOCT 圖像上進行分割的性能顯著優(yōu)于未處理圖像，這表明導絲偽影去除工作能夠提高IVOCT 圖像質(zhì)量，對于IVOCT 圖像的易損斑塊識別具有重要意義。對比STTN 和SETNRTV-處理圖像的模型分割結(jié)果，本文的SETN 在PA、MPA、IoU 以及DICE 指標上達到了最優(yōu)性能，這表明SETN 中的時/空間域Transformer 和RTV強化生成網(wǎng)絡(luò)的設(shè)計均能夠提升導絲偽影去除的性能。

表3 不同輸入的分割結(jié)果 單位：%Tab.3 Segmentation results of different input unit：%

圖11 展示了SETN 導絲偽影去除前后U-Net+ResNet50的分割結(jié)果，其中：白色扇形區(qū)域代表易損斑塊，灰色扇形區(qū)域代表導絲偽影。將使用SETN 處理后的影像作為數(shù)據(jù)完成斑塊分割時，分割模型能夠更好地定位斑塊區(qū)域從而準確地完成分割，這表明去除導絲偽影有效地提高了IVOCT 數(shù)據(jù)的完整性和連續(xù)性，有利于深度學習模型完成易損斑塊的特征提取。

圖11 導絲偽影去除前后的分割結(jié)果Fig.11 Segmentation results before and after guidewire artifact removal

3.5.2 管腔輪廓線提取

已提出的IVOCT 圖像心血管腔體輪廓線提取方法通常使用插值方法預(yù)測導絲偽影區(qū)域的腔體輪廓線，但插值方法根據(jù)邊緣趨勢將預(yù)測的平滑曲線作為導絲偽影區(qū)域輪廓線，因此難以預(yù)測復雜且存在尖銳的管腔輪廓。本文的SETN 通過大量具有結(jié)構(gòu)復雜輪廓線的IVOCT 數(shù)據(jù)進行訓練，它的導絲偽影去除結(jié)果能夠真實還原腔體輪廓線。

如圖12 所示（圖中白色輪廓線為插值方法預(yù)測結(jié)果），插值方法在提取結(jié)構(gòu)復雜的導絲偽影區(qū)域管腔輪廓線時無法實現(xiàn)精準的預(yù)測，而SETN 通過導絲偽影區(qū)域圖像的重建精準地還原了腔體輪廓線。與STTN 相比，SETN 導絲偽影區(qū)域重建的輪廓線更接近真實管腔輪廓。SETN 通過重建偽影區(qū)域獲取了完整且連續(xù)的IVOCT 影像，能為提取導絲偽影區(qū)域的管腔輪廓提供全新的應(yīng)對方法。

圖12 導絲偽影區(qū)的域輪廓線對比Fig.12 Contour comparison of guidewire artifact area

4 結(jié)語

本文提出了一種基于Transformer 的結(jié)構(gòu)強化網(wǎng)絡(luò)（SETN），以去除IVOCT 圖像中結(jié)構(gòu)信息復雜且區(qū)域占比大的導絲偽影。SETN 的生成器并聯(lián)了ORI 主干生成網(wǎng)絡(luò)和RTV 強化生成網(wǎng)絡(luò)，分別提取原始圖像中的紋理特征和RTV圖像中的結(jié)構(gòu)特征；設(shè)計了時/空間域Transformer 編碼結(jié)構(gòu)，以關(guān)聯(lián)單幀圖像不同位置間以及序列上下文信息。導絲偽影區(qū)域的圖像重建以及下游視覺任務(wù)的驗證結(jié)果均驗證了SETN 對于IVOCT 影像計算機輔助診斷的價值。后續(xù)工作將嘗試進一步研究結(jié)構(gòu)強化的融合方式，以更好地融合紋理與結(jié)構(gòu)信息；其次，在IVOCT 圖像分析的其他下游任務(wù)上將開展導絲偽影去除的應(yīng)用；最后，將進一步探索更加先進且輕量級的網(wǎng)絡(luò)結(jié)構(gòu)，以更加高效且精準地完成IVOCT 圖像導絲偽影去除。