改進的拉普拉斯金字塔多光譜術(shù)中引導快速融合算法

董琰彪，陳春曉，李杰

(南京航空航天大學生物醫(yī)學工程系，南京 211106)

1 引 言

多光譜術(shù)中引導技術(shù)能夠輔助醫(yī)生精確定位腫瘤[1]。近紅外圖像可以反映腫瘤大小、輪廓等信息，但難以判斷腫瘤精確位置；彩色圖像可以反映腫瘤位置、重要組織等信息。兩者融合可以為腫瘤的辨別提供更為全面的判斷依據(jù)。彩色與近紅外融合技術(shù)已廣泛應用于醫(yī)療成像、航空導航等領(lǐng)域[2-3]。

拉普拉斯金字塔作為多尺度融合方法[4-5]，常用于可見光與近紅外圖像融合。Paris等[6]采用拉普拉斯金字塔進行圖像模糊、邊界調(diào)整等處理，但速度較慢。盡管Paris通過限制層數(shù)來提高效率，但融合質(zhì)量明顯降低。Do等[7]為去除噪聲影響，提出基于廣義偽逆的拉普拉斯重構(gòu)算法，該方法在去噪的同時會模糊圖像。為提高運算效率，邵靖凱等[8]對不同失焦程度的圖像采用并行優(yōu)化的拉普拉斯金字塔算法，有效增強了圖像的細節(jié)；張紹良等[9]結(jié)合中值濾波和邊緣增強算法對圖像進行預處理，并釆用拉普拉斯金字塔算法進行融合，保留邊界輪廓的同時，去除了噪聲的干擾，但該方法應用于術(shù)中腫瘤邊緣的精確識別仍存在一定問題。

為了精確切除腫瘤，需要將其從正常組織中區(qū)分。因此，本研究采用彩色圖像綠色通道與近紅外圖像進行融合；同時，利用圖像分割、邊緣強度最大及GPU技術(shù)有效去除背景、增強腫瘤輪廓并提高運算速度。

2 拉普拉斯金字塔融合方法

拉普拉斯金字塔融合算法能夠處理不同頻率信息，步驟如下：

(1)通過原始圖像構(gòu)造高斯金字塔。圖像Gi由前一層圖像Gi-1經(jīng)過5×5高斯內(nèi)核卷積并去除偶數(shù)行與列后重組得到：

Gi=pyrDown(Gi-1)

(1)

(2)

(3)融合圖像由各層圖像Li分別融合，并向上重構(gòu)獲得。

3 改進的拉普拉斯金字塔融合方法

3.1 多光譜術(shù)中引導系統(tǒng)

多光譜術(shù)中引導系統(tǒng)由熒光示蹤劑、近紅外光源、相機及圖像處理模塊組成(見圖1)。本研究采用ICG作為熒光示蹤劑，該試劑與血清蛋白集合后，在近紅外光的照射下能夠發(fā)出穿透能力較強的熒光。通過AD-080GE相機采集可見光與熒光圖像。

圖1 多光譜硬件系統(tǒng)

3.2 基于綠色通道的金字塔融合改進方法

缺少了色彩信息，近紅外圖像難以精確判別腫瘤在正常組織中的邊界及位置。將近紅外圖像與彩色圖像進行融合可以解決上述問題。為此，本研究提出了改進的拉普拉斯金字塔圖像快速融合算法(見圖2)。

圖2 多光譜圖像處理流程

3.2.1腫瘤色彩標記 本研究利用近紅外圖像對彩色圖像中的腫瘤進行色彩標記與增強。彩色圖像[R,G,B]由三通道組成。人體組織存在大量紅色信息；與藍色相比，人眼對于綠色具有較高敏感性。本研究采用綠色通道與近紅外圖像通過改進的拉普拉斯金字塔進行分解與融合。將綠色通道融合圖像G′與原始紅、藍通道重組，得到目標圖像[R,G′,B]。結(jié)果圖像中的腫瘤將被標記為綠色。

3.2.2腫瘤區(qū)域融合 逐層融合過程中，每層圖像包含的腫瘤信息不同，因此，需要采用不同的融合方法。本研究將金字塔圖像分為兩個部分：頂層圖像與非頂層圖像。融合規(guī)則如下：

(1)非頂層圖像包含原始數(shù)據(jù)在不同尺度下的高頻分量信息，如腫瘤邊緣。非頂層圖像融合規(guī)則參考邊緣強度最大算法，按公式(3)計算單個像素點的判斷系數(shù)。

Pi,j=abs(N(i,j))-abs(V(i,j))

(3)

N為近紅外拉普拉斯圖像，V為綠色通道拉普拉斯圖像，Pi,j為(i,j)坐標像素點的判斷系數(shù)。對于圖像任意坐標(i,j)都有：

(4)

F為融合圖像，k為邊緣細節(jié)增強系數(shù)。k值通過增強不同尺度高頻信息像素值來調(diào)整腫瘤邊界亮度。

(2)頂層近紅外圖像由于其激發(fā)與檢測波段較為接近，背景中包含大量非腫瘤信息。圖像分割技術(shù)能夠有效提取目標。

本研究利用Canny算子提取腫瘤邊緣，利用形態(tài)學方法對邊緣圖像進行閉運算以連接斷點，并進行孔洞填充操作，最后與原始頂層近紅外圖像相乘，得到目標腫瘤圖像。

3.2.3CUDA并行化 為提高速度，本研究利用CUDA編程模型，將圖像處理放置在GPU端運行。每個像素分配一個線程，同時將圖像分為16×16像素大小的模塊，每個模塊對應一個線程塊。CPU與GPU之間通過函數(shù)調(diào)用和數(shù)據(jù)傳輸相互連接，見圖3。該模型可以提高本研究算法的運算速度。

圖3 并行計算結(jié)構(gòu)

4 實驗結(jié)果與討論

4.1 實驗設(shè)計

實驗一：為驗證算法性能，本研究設(shè)計了ICG熒光試劑體外實驗，流程如下：

(1)利用ICG與人體血清配置熒光試劑。

(2)利用多光譜成像系統(tǒng)觀察熒光試劑。

ICG結(jié)果見圖4。試劑產(chǎn)生的熒光信息記錄在近紅外圖像中。此外，圖像還記錄了重影、噪聲以及激發(fā)光等無關(guān)信息。結(jié)果表明：本研究提出的算法可有效抑制上述干擾，提高了融合質(zhì)量。

圖4 熒光試劑融合結(jié)果

實驗二：為驗證實際腫瘤處理效果，本研究設(shè)計了小鼠實驗，流程如下：

(1)選取體重約20 g的腫瘤小鼠，深度麻醉。

(2)注射ICG試劑。

(3)腹部脫毛后，手術(shù)切開組織，利用多光譜成像系統(tǒng)觀察腫瘤，見圖5。

圖5 小鼠實驗

與基于閾值的融合方法相比，本研究方法能夠體現(xiàn)低亮度值的腫瘤細節(jié)，展示更多細節(jié)信息。

4.2 融合評價指標

本研究通過五種方法進行評估：均值、信息熵、標準差、SSIM及平均梯度。均值可以體現(xiàn)圖像的可感知程度；信息熵與標準差能夠反映圖像包含信息的豐富程度[10]；平均梯度可以反映邊界的清晰程度[11]；SSIM值則反映了融合圖像與原圖的相似度[12]，公式如下：

SSIM(X，F(xiàn))=[l(X，F(xiàn))]α×[c(X，F(xiàn))]β×[s(X，F(xiàn))]γ

(5)

X為融合前的圖像，F(xiàn)為融合圖像，α、β、γ為非零系數(shù)，l(X，F(xiàn))、c(X，F(xiàn))、s(X，F(xiàn))分別為亮度失真、對比度失真和結(jié)構(gòu)畸變函數(shù)。融合圖像與近紅外、彩色圖像之間的SSIM定義為：

SSIM(N，C，F(xiàn))=tSSIM(N，F(xiàn))+(1-t)SSIM(C，F(xiàn))

(6)

N為近紅外圖像，C為彩色圖像,t為加權(quán)系數(shù)。

4.3 融合效果評價

非頂層圖像處理過程中，公式(4)系數(shù)k的取值將直接影響融合質(zhì)量。圖7顯示了小鼠彩色、近紅外、頂層融合圖像及非頂層融合圖像在不同增強系數(shù)下的融合效果。圖6顯示了k值對腫瘤中心亮度的影響。當k超過2.6后，增強效果不再明顯，同時還會產(chǎn)生大量噪聲。k=2.6時，融合效果最佳。

針對熒光標記腫瘤圖像，本研究采用低通比率金字塔(RP)[13]、雙樹復小波變換(DTCWT)[14]、曲波變換(CVT)[15]以及非下采樣輪廓波變換(NSCT)[16]算法，分別對圖像進行融合。各算法性能指標見表1。綜合比較發(fā)現(xiàn)，本研究方法能夠反映更多的腫瘤信息，具有更好的融合效果。

圖6腫瘤中心區(qū)域亮度均值

Fig6Meanluminanceoftumorcenterregion

圖7 細節(jié)增強

Table 1 Fusion index

4.4 融合速度評價

本研究在Matlab環(huán)境下，對熒光標記腫瘤圖像不同融合方法速度進行測試，見表2。

表2融合效率比較

Table 2 Fusion efficiency comparison

為保證視頻流暢，處理間隔應在33 ms以下。本研究通過C環(huán)境，分別在CPU與GPU端對拉普拉斯金字塔下采樣函數(shù)及程序整體運算速度進行比較。表3顯示，利用GPU將圖像處理并行化，能夠提升運算速度。

表3CPU與GPU處理速度比較

Table 3 Comparison of processing speed between CPU and GPU

5 結(jié)論

本研究算法對腫瘤的切除率及復發(fā)率具有較大影響。通過基于GPU的拉普拉斯金字塔快速融合算法對圖像進行多尺度融合，并將包含腫瘤細節(jié)的非頂層近紅外圖像進行強化處理，從而在融合圖像中標記并區(qū)分腫瘤；對頂層近紅外圖像的分割可以去除背景、重影等非腫瘤信息。該算法具有運算速度快，邊界清晰等優(yōu)點，可以幫助醫(yī)生準確辨別腫瘤與健康組織，并精準切除腫瘤。當近紅外圖像噪聲、環(huán)境干擾較為明顯時，融合效果將受到影響。因此，本文方法主要適用于手術(shù)環(huán)境下，熒光標記的多光譜腫瘤檢測與處理等方面。