高速掃描激光共聚焦顯微內窺鏡圖像校正

徐寶騰，楊西斌，劉家林，周 偉，田浩然，熊大曦

(中國科學院 蘇州生物醫(yī)學工程技術研究所 光與健康研究中心，江蘇 蘇州 215163)

1 引 言

激光共聚焦顯微內窺鏡是一種把激光共聚焦顯微技術和傳統(tǒng)內窺鏡技術結合起來的新型內窺鏡，它可以對活體組織進行高分辨率組織學診斷，并能實現(xiàn)一定深度的斷層掃描，對于早期腫瘤和癌前病變的篩查具有重要的作用[1]。研究表明影響共聚焦顯微內窺鏡圖像質量的首要原因是抖動引起的圖像模糊[2]。提高激光共聚焦顯微內窺鏡的成像幀率有助于減少圖像模糊問題。

目前，基于點掃描的激光共聚焦顯微內窺鏡系統(tǒng)通常使用X/Y軸振鏡實現(xiàn)掃描成像，為了提高成像速度，高速共振振鏡已經(jīng)取得了廣泛應用，其掃描方式可分為單程式隔行掃描和往復式逐行掃描兩種[3-4]。相比于單程式隔行掃描，往復式逐行掃描充分利用了掃描振鏡返程時采集的數(shù)據(jù)，成像速度快，圖像數(shù)據(jù)利用率高，是提高激光共聚焦顯微內窺鏡系統(tǒng)成像幀速和成像分辨率的理想掃描方式[5]。但由于共振振鏡反饋的同步信號和振鏡實際位置不匹配，重構圖像中相鄰兩行的圖像會存在一定的錯位。同時，掃描過程中共振振鏡的速度呈非線性變化，等時間間隔下采集到的圖像會產(chǎn)生嚴重的橫向畸變問題[6]。受畸變的影響，圖像不同橫向位置的錯位程度也不一致。

通過去除邊緣畸變嚴重的區(qū)域可以緩解橫向畸變現(xiàn)象，但是不能完全消除畸變[7]。另一種校正橫向畸變的方法是通過軟件處理調整每個像素所占的空間，但是軟件校正方法比較耗時，并且數(shù)據(jù)利用率較低[8-9]。上述方法均未解決圖像錯位的問題，秦小云等[10]通過軟件移動像素減少圖像錯位程度，但是圖像不同位置的錯位程度存在差異，該方法不能完全消除圖像錯位現(xiàn)象。

本文通過分析共振振鏡的運動規(guī)律，基于采樣時間和掃描光斑位置的函數(shù)關系，獲得了非等時采樣下的采樣時間函數(shù)，從而利用非等時采樣的方式校正了振鏡速度變化所帶來的圖像畸變問題。然后利用互相關法評價圖像錯位程度，基于遺傳算法獲得最佳的采樣開始時刻，使采樣和振鏡運動同步開始，從而校正了圖像錯位問題。本文搭建了共聚焦內窺顯微成像系統(tǒng)，采用往復式逐行掃描方式成像，驗證了圖像校正的效果。

2 畸變和錯位原因分析

2.1 系統(tǒng)原理

激光共聚焦顯微內窺鏡系統(tǒng)結構如圖1所示，它主要由光學探測系統(tǒng)、控制系統(tǒng)和數(shù)據(jù)采集系統(tǒng)構成。激光器產(chǎn)生的激光通過準直器、二色鏡、X/Y軸掃描振鏡、透鏡組、光纖束照射到組織表面，組織表面激發(fā)出的熒光按原路徑返回并穿過二色鏡、發(fā)射片、針孔透鏡、針孔后照射到光電倍增管(Photo Multiplier Tube, PMT)上。PMT前的針孔可以減少來自焦平面前后樣品處的雜散光，從而極大提高了信噪比和軸向分辨率[11]。通過針孔的熒光信號經(jīng)PMT和放大器轉換成電壓信號后由采集卡轉成數(shù)據(jù)包傳輸至計算機[12]。

激光共聚焦顯微內窺鏡依靠X/Y軸掃描振鏡的z偏轉激光束對整個掃描平面逐點成像，X/Y軸振鏡的掃描方式如圖2所示。兩個掃描振鏡正交放置，X軸振鏡掃描一行后Y軸振鏡移動一個步長，X軸振鏡一個往返周期完成兩行圖像的掃描。以掃描一幅512×512像素的圖像為例，掃描整幅圖像需要X軸振鏡轉動256個周期，Y軸只需轉動1個周期，所以X軸一般使用轉速較高的共振振鏡，Y軸一般使用轉速較低的檢流計振鏡[13]。

圖1 激光共聚焦內窺成像系統(tǒng)示意圖

圖2 振鏡掃描方式示意圖

2.2 圖像畸變和錯位原因分析

圖像橫向畸變的主要原因是共振振鏡速度呈正弦變化。共振振鏡的鏡面連接一個扭力桿，在驅動電路的激勵下以固定頻率做簡諧運動，振幅只取決于控制電壓[13]。共振振鏡速度呈正弦變化，如圖3所示，在兩端的速度為0，在中間時的速度最高。如果采集卡以等時間間隔采集數(shù)據(jù)，直接利用采樣數(shù)據(jù)拼成的圖像兩端呈拉伸形變，中間呈壓縮形變，整幅圖像會出現(xiàn)較大程度的橫向畸變[8]。

圖3 共振振鏡速度變化示意圖

圖像錯位問題的主要原因是共振振鏡反饋的同步信號與振鏡的實際位置不匹配。共振振鏡提供的行同步信號是用來確定振鏡位置的唯一信號，同步信號高電平表示振鏡正向運動，低電平表示振鏡反向運動，信號的下降沿和上升沿表示振鏡運動方向發(fā)生了反轉。由于硬件原因，同步信號的邊緣和振鏡反轉的時間存在時間間隔，共振振鏡位置、速度和同步信號之間的關系如圖3所示，其中Δt為同步信號和振鏡轉向時刻的間隔時間。數(shù)據(jù)采集卡將同步信號的邊沿作為采集一行數(shù)據(jù)的起點，同步信號和振鏡的實際位置不匹配會造成同步信號邊沿觸發(fā)采集開始指令后，在振鏡掃描過程中采集到的數(shù)據(jù)點與空間中的實際位置不能準確匹配。正向運動和反向運動采集到的數(shù)據(jù)點會向相反方向偏移，拼接成的圖像會有鋸齒狀錯位，導致圖形特征的邊緣模糊不清，影響圖像質量。

圖4 圖像畸變和錯位模擬圖

模擬實驗結果如圖4所示，圖4(a)是均勻分布的條紋圖像，圖4(b)是模擬采樣時間錯位并且振鏡速度呈正弦變化的情況下掃描到的圖像，圖像中的條紋呈鋸齒狀，圖像邊緣模糊不清，并且兩側的條紋被橫向拉伸，中心的條紋被壓縮。重構圖像在橫向畸變的基礎上疊加了圖像錯位，使圖像在不同橫向位置的錯位程度存在一定差異，如圖4(b)所示。相比于后期校正失真算法，調整采集卡的采樣時間間隔和采樣觸發(fā)時間的方式能更加直接高效地校正圖像畸變。

3 圖像校正

3.1 畸變校正

為了解決圖像的橫向畸變問題，通過分析振鏡速度的變化規(guī)律，根據(jù)振鏡擺動角度與時間的關系調整采樣點的時間間隔，使采樣點在掃描平面內均勻分布以實現(xiàn)均勻空間采樣。

共振振鏡角速度呈正弦變化，掃描光斑在X方向的運動可以近似為簡諧運動。根據(jù)系統(tǒng)光學特性和掃描光斑的運動規(guī)律可以推導出采樣點橫坐標X(t)與采樣時刻t之間的關系如下：

(1)

其中T為共振振鏡的轉動周期，t0為掃描當前行的開始時刻，L為掃描平面的寬度。L可以用以下公式表示：

L=ftan(CAmax),

(2)

其中f為激光共聚焦內窺鏡耦合物鏡的焦距，Amax為振鏡轉動的最大角度，C為與光學系統(tǒng)有關的常數(shù)。

如果要采樣點在掃描平面內的距離相等，那么同一行中第i個采樣點在掃描平面上的橫坐標X(i)可以表示為：

(3)

其中N為一行圖像的采樣點數(shù)。根據(jù)公式(1)和公式(3)可以得到均勻空間采樣情況下當前行第i個像素的采集時刻t(i):

(4)

那么相鄰兩個采樣點的時間間隔可以表示為：

Δti=

(5)

采集卡根據(jù)公式(5)確定采樣時間間隔，等行同步信號觸發(fā)后按照非等時采樣的方式采集圖像。如果觸發(fā)采集的時刻能與振鏡轉向時刻對齊，那么圖像的橫向畸變就能通過非等時采樣的方式得到校正，而且不會有圖像錯位的問題。但是由于行同步信號和振鏡轉向存在時間間隔Δt，采樣時刻和采樣點的空間位置不能準確匹配，圖像仍然存在一定程度的失真，需要進一步調整一行采樣的開始時刻才能消除圖像失真。

使用非等時采樣的方式提取圖像時，采樣點的錯位距離Δl與Δt之間的關系可以根據(jù)式(1)、式(3)和式(4)求得:

(6)

當Δt不變時，圖像采樣點i取不同值時得到的錯位距離不同，圖像的錯位距離隨著采樣點的位置變化。

3.2 錯位校正

根據(jù)公式(6)可知：當Δt=0時每個采樣點的錯位距離Δl=0，拼接后的圖像就不會有錯位和畸變問題。設采樣開始時刻與行同步信號的間隔為Δt′，可以通過尋找Δt′的最優(yōu)取值使Δl的值趨近于0，以校正圖像的失真。

本文采用遺傳算法尋找Δt′的最優(yōu)取值，遺傳算法具有尋優(yōu)能力強、過程簡單、易與其他算法相結合的優(yōu)點[14]。遺傳算法根據(jù)校正圖像錯位的能力決定個體存活下去的概率，因此評價圖像錯位程度的方法尤為重要。本文采用互相關法評價不同Δt′取值得到的圖像錯位程度，具體過程如下：將圖像奇數(shù)行和偶數(shù)行分別提取拼成兩幅圖像，然后對兩幅圖像進行互相關運算，得到圖像的錯位評價系數(shù)?；ハ嚓P函數(shù)的公式為：

R(x,y)=f1(x,y)?f2(-x,-y).

(7)

傅里葉變換后:

(8)

式中：f1為奇數(shù)行圖像；f2為偶數(shù)行圖像；Rccf(u,v)為峰值點與原點的橫向距離，即兩幅圖像的橫向錯位量ΔRx。ΔRx取值越大，表示原始圖像中奇數(shù)行和偶數(shù)行的錯位程度越嚴重[15]。

在運行遺傳校正算法之前要先確定個體的取值范圍和基因編碼方式。個體的取值Δt′可以用采集卡的時鐘周期表示，Δt′的取值范圍過大會影響搜索效率，取值范圍太小可能會搜索不到最佳個體。經(jīng)多次實驗發(fā)現(xiàn)，使用120 MHz的采集卡時，錯位時間Nt的取值在±1 000個時鐘周期以內。考慮一些極端情況，本文選擇Nt∈(-1 500,1 500)作為種群個體的取值范圍。為了方便編碼，將個體取值加1 500以映射到自然數(shù)域，用4個基因編碼，每個基因代表十進制個體取值中的一位。圖像錯位校正算法的流程如圖5所示。

圖5 圖像錯位校正算法流程

第二步，種群個體選擇。為了使函數(shù)快速收斂，又不陷入初始收斂不能自拔，采用精英主義與輪盤賭相結合的算法。精英主義方法在每產(chǎn)生一代新個體時，將上一代最優(yōu)解的基因直接復制到新一代中。精英主義操作可以保證整體最優(yōu)解不被變異和交叉操作淘汰，加快算法的收斂速度[16]。然后采用輪盤賭的方式對新一代的個體進行選擇，即把個體的適應度和全體適應度的比值作為個體被選擇的概率。

第三步，交叉、變異生成下一代種群。交叉操作將被選中的兩個個體基因中一個或幾個基因相互交換位置，從而生成兩個新的個體。采用順序交叉的方法完成交叉操作。然后按照一定的變異概率，將選中個體基因進行變異操作。

第四步,對生成的新一代個體進行適應度評估。遺傳算法停止的條件設置為連續(xù)5代的適應度不再變化，或者迭代次數(shù)達到100代。

共振振鏡的錯位程度受環(huán)境影響會發(fā)生緩慢的變化。計算機軟件可以記錄上一次校正算法的計算結果，每次開機后將記錄結果發(fā)送到采集卡，并自動評估采集到的圖像，發(fā)現(xiàn)圖像錯位后提醒用戶運行自動校正程序。

4 系統(tǒng)測試

基于上述系統(tǒng)搭建的實驗裝置如圖6所示。從激光器(Cobolt 06-MLD)發(fā)出的中心波長為488 nm的激光經(jīng)過物鏡聚焦耦合到單模光纖中，再經(jīng)準直透鏡(F240FC-532，Thorlabs)準直后輸出。準直激光到達二向色鏡(ZT488rdc，Chroma)后被反射至X/Y軸掃描振鏡(6SC08KA040, 6215HSM, Cambridge)。經(jīng)振鏡反射的激光經(jīng)過中繼透鏡組(AC254-050-A，AC254-100-A，Thorlabs)擴束并中繼到耦合物鏡(10×/0.3，Olympus)后瞳。耦合物鏡將激光束耦合至光纖中。激光束在光纖的另一端出射，并通過微型物鏡聚焦到樣品上。樣品上激發(fā)出的熒光原路返回，到達二向色鏡時與激光分離，再經(jīng)過發(fā)射濾光片(ET525/50m，Chroma)消除光路中殘留的激發(fā)光和其他雜散光。最后經(jīng)針孔透鏡(AC254-050-A，Thorlabs)聚焦后經(jīng)針孔(P50H，Thorlabs)進入PMT(H10770，Thorlabs)。PMT將熒光信號轉成電信號，電信號經(jīng)放大器(C999，Hamamatsu)放大后被采集卡采集，并傳輸?shù)接嬎銠C軟件中處理。

圖6 共聚焦內窺成像系統(tǒng)

圖7 成像軟件界面

計算機軟件采用C#和C++語言混合編程，實現(xiàn)數(shù)據(jù)接收、圖像重建、圖像校正和顯示功能，軟件界面如圖7所示。數(shù)據(jù)采集卡(NI7931R, NI)可以通過編程實現(xiàn)圖像信號的非等時采樣，并通過以太網(wǎng)將圖像信號傳輸至計算機。振鏡控制卡采用ARM+DA芯片的架構，主控芯片(STM32F407, ST)通過SPI接口向雙通道DA芯片(AD5689,ADI)發(fā)指令，輸出控制X/Y軸掃描振鏡的模擬信號。

控制系統(tǒng)通過兩路模擬信號控制共振振鏡的振幅和檢流計振鏡的位置，同時將行同步信號和幀同步信號反饋給數(shù)據(jù)采集卡，采集系統(tǒng)根據(jù)行同步信號和幀同步信號確定圖像信號的采樣時機。振鏡的控制信號和同步信號的時序關系如圖8所示，其中X軸控制信號決定共振振鏡的振幅，Y軸控制信號決定檢流計振鏡的位置。行同步信號作為采集卡采集數(shù)據(jù)的觸發(fā)信號，每512個行同步信號發(fā)送一個幀同步信號表示一幀的開始。

圖8 控制信號和同步信號的時序圖

為了驗證圖像校正效果，本文進行了對比實驗。實驗選取浸泡過熒光素鈉溶液的紗布纖維進行成像，采用文獻[10]方法作為對比實驗方法，并選擇圖像不同區(qū)域的灰度數(shù)據(jù)對比實驗效果。

圖9 畸變校正效果

首先將光纖端面浸泡在熒光素鈉溶液中，光纖束會被熒光均勻照亮，在圖像上形成一個明亮的圓形區(qū)域。圖9(a)和圖9(b)分別為等時采樣模式和非等時采樣模式下采集到的圖像。從圖9(a)可以看出，在等時采樣模式下采集到的光纖端面圖像呈橢圓形，圖像具有明顯畸變；從圖9(b)可以看出，在非等時采樣模式下，圖像畸變得到了很好的校正，但是光纖端面存在很明顯的鋸齒狀邊緣。非等時采樣獲得的圖像需要通過錯位校正才能得到無橫向畸變和錯位的圖像。

然后運行錯位校正算法，經(jīng)43次迭代后獲得適應度為100的最優(yōu)解，最優(yōu)解對應的采樣時刻校正值為81個采樣周期。將校正數(shù)據(jù)下發(fā)給采集卡實現(xiàn)圖像錯位的校正。浸泡了熒光素鈉溶液的紗布纖維進行成像的結果如圖10所示。圖10(a)，10(b)和10(c)分別是錯位校正前的圖像、用文獻[10]方法校正錯位后的圖像和本文方法校正錯位后的圖像。圖10中曲線圖是由紅線標出區(qū)域(1)，區(qū)域(2)中相鄰兩行的灰度數(shù)據(jù)繪制的(彩圖見期刊電子版)。

圖10 錯位校正對比

由圖10可以看出，畸變校正后圖像在不同位置的錯位程度不一致，本文和文獻[10]中的方法均可以很好地校正圖中區(qū)域(1)的圖像，紗布纖維的寬度由錯位校正前的29 pixel校正為9 pixel。但是文獻[10]的方法對圖像區(qū)域(2)的校正效果并不理想，圖像存在一定的錯位，纖維寬度由25 pixel校正為10 pixel，而本文方法仍然可以使圖像較好的重合，將纖維寬度校正為6 pixel，局部橫向分辨率比文獻[10]的方法提高了約33%。本文通過調節(jié)采樣時間的方法校正了圖像畸變，與文獻[10]中通過后期計算校正畸變的方法相比，節(jié)約了時間。

5 結 論

通過非等時采樣可以校正振鏡速度非線性變化造成的橫向畸變。本文利用互相關法評價圖像錯位程度，采用遺傳算法獲得最優(yōu)的采樣開始時刻，可以有效地校正因振鏡同步信號和振鏡實際位置不匹配引起的圖像錯位問題。與后期處理校正圖像失真的方式不同，本文通過調節(jié)采集卡的采樣時間間隔和采樣觸發(fā)時刻校正圖像失真，在數(shù)據(jù)采集環(huán)節(jié)解決了圖像失真問題，從而使畸變和錯位校正更加徹底。實驗結果表明，該方法可以較正圖像畸變和錯位，有效提高了圖像的橫向分辨率。