關(guān)聯(lián)成像算法研究進(jìn)展

林惠祖,劉偉濤,孫帥,杜隆坤,常宸,3,李月剛

(1國(guó)防科技大學(xué)理學(xué)院,湖南 長(zhǎng)沙 410073;2國(guó)防科技大學(xué)量子信息學(xué)科交叉中心,湖南 長(zhǎng)沙 410073;3北京郵電大學(xué)電子工程學(xué)院,北京 100876)

0 引言

成像是信息獲取的重要手段,是人類認(rèn)識(shí)和改造世界不可或缺的有力工具。傳統(tǒng)成像通過透鏡建立了基于高斯成像的物面到探測(cè)面的“點(diǎn)對(duì)點(diǎn)”對(duì)應(yīng)關(guān)系。對(duì)于二維圖像信號(hào),需要用面陣探測(cè)器來獲取圖像信息,是一種“所見即所得”的直接成像模式。隨著人類對(duì)成像分辨率和成像視場(chǎng)要求的不斷提高,成像系統(tǒng)的復(fù)雜性和實(shí)現(xiàn)難度將非線性地增加。近年來,隨著量子糾纏和量子光學(xué)原理的產(chǎn)生,在光場(chǎng)調(diào)控和量子探測(cè)技術(shù)支撐下,關(guān)聯(lián)成像逐步發(fā)展起來[1?7]。作為一種基于光場(chǎng)漲落和二階關(guān)聯(lián)獲取物體圖像的新型成像技術(shù),關(guān)聯(lián)成像不僅具有更高的信息獲取效率,而且提升了圖像信息獲取方式的靈活性,能夠具備傳統(tǒng)成像所不具備的成像能力,如非局域成像、無透鏡成像等,在高分辨率成像、高靈敏度成像和抗干擾等方面具有優(yōu)勢(shì),受到了國(guó)內(nèi)外學(xué)者的廣泛關(guān)注。隨著關(guān)聯(lián)成像研究的逐步深入,人們實(shí)現(xiàn)了基于(贗)熱光的鬼干涉[3]、亞波長(zhǎng)干涉[8,9]和傅里葉成像[6],關(guān)聯(lián)成像的思想也被逐步用到X光[10?13]、太赫茲波[14]、微波[15?17]等其他領(lǐng)域,甚至利用電子[18]、原子[19]、中子[20,21]等物質(zhì)波實(shí)現(xiàn)了關(guān)聯(lián)成像。關(guān)聯(lián)成像的研究也在逐步向應(yīng)用拓展,研究人員分析了散射[22]、湍流[23,24]、相對(duì)運(yùn)動(dòng)[25?27]、背景光[28]等實(shí)際條件對(duì)成像性能的影響。

與傳統(tǒng)的基于高斯成像的“點(diǎn)對(duì)點(diǎn)”圖像獲取模式不同,關(guān)聯(lián)成像是一種物面到探測(cè)面“多對(duì)多”的新型成像模式,需要通過計(jì)算來重構(gòu)“點(diǎn)對(duì)點(diǎn)”對(duì)應(yīng)關(guān)系,進(jìn)而獲取目標(biāo)圖像信息。它是一種“所見非所得”的間接成像模式,計(jì)算成為成像過程的必備要素,因而關(guān)聯(lián)成像算法在圖像的獲取過程中起著舉足輕重的作用,是提高成像質(zhì)量、提升成像效率的重要手段。好的關(guān)聯(lián)成像算法對(duì)于推進(jìn)關(guān)聯(lián)成像的實(shí)際應(yīng)用進(jìn)程具有重要意義,不僅能大大降低成像所需的測(cè)量次數(shù),減小采集的數(shù)據(jù)量,提高信息提取效率,縮短成像時(shí)間;還能減小非完全采樣帶來的統(tǒng)計(jì)誤差與各種不良干擾的影響,提高圖像重構(gòu)質(zhì)量;且能降低對(duì)成像硬件的要求。隨著關(guān)聯(lián)成像技術(shù)研究的逐步深入,關(guān)聯(lián)成像算法也不斷發(fā)展。本文將從關(guān)聯(lián)成像的原理機(jī)制出發(fā),梳理關(guān)聯(lián)成像算法的發(fā)展歷程,對(duì)其基本原理、優(yōu)缺點(diǎn)和適用場(chǎng)景進(jìn)行分析,以期為關(guān)聯(lián)成像算法的優(yōu)化和新算法的提出提供一定參考。

1 關(guān)聯(lián)成像基本原理

1.1物理原理

關(guān)聯(lián)成像利用光場(chǎng)的高階關(guān)聯(lián)獲得物體的圖像信息,其結(jié)構(gòu)示意圖如圖1所示。在關(guān)聯(lián)成像系統(tǒng)中,贗熱光源一般由單模激光經(jīng)過旋轉(zhuǎn)毛玻璃、空間光調(diào)制器或數(shù)字微鏡陣列調(diào)制后產(chǎn)生。贗熱光源被分為兩路:一路經(jīng)過物體后的總光強(qiáng)被一個(gè)點(diǎn)探測(cè)器收集(孔徑內(nèi)能量被透鏡收集至一點(diǎn),這種探測(cè)方式也稱桶探測(cè)),稱為物臂;另一路經(jīng)自由傳播或透鏡成像后的光強(qiáng)分布被面陣探測(cè)器記錄,稱為參考臂。物體的圖像可以通過兩臂信號(hào)的關(guān)聯(lián)計(jì)算得到。由于這種成像方式有悖于常規(guī)思維習(xí)慣,該成像方式在被發(fā)現(xiàn)之初就被冠之以“鬼”成像的稱謂。與直接記錄物體信號(hào)光強(qiáng)度分布的傳統(tǒng)成像相比,由于采用了照明或后端調(diào)制編碼、桶探測(cè)和關(guān)聯(lián)重構(gòu)圖像等方式,關(guān)聯(lián)成像具有編碼設(shè)計(jì)靈活、靈敏度高、抗噪性強(qiáng)等顯著特點(diǎn)[29?34]。同時(shí),關(guān)聯(lián)成像可以結(jié)合壓縮感知、機(jī)器學(xué)習(xí)等方法,突破奈奎斯特采樣定律的限制,實(shí)現(xiàn)亞采樣下的圖像重構(gòu)[35?44]。但是由于關(guān)聯(lián)成像利用點(diǎn)探測(cè)器來實(shí)現(xiàn)對(duì)面目標(biāo)的成像,需多次測(cè)量來獲取目標(biāo)信息,且成像場(chǎng)景越復(fù)雜,獲得高質(zhì)量圖像所需的測(cè)量次數(shù)就越多,這樣會(huì)嚴(yán)重增加圖像重構(gòu)所需的數(shù)據(jù)采集時(shí)間和數(shù)據(jù)量。

圖1 關(guān)聯(lián)成像結(jié)構(gòu)示意圖Fig.1 Structure diagram of ghost imaging

贗熱光關(guān)聯(lián)成像的原理可以用Klyshko提出的“Advanced wave”理論來解釋,將圖1的光路等效展開,如圖2所示,可給出類比于高斯透鏡成像的幾何成像圖及成像公式[45,46]。由光源發(fā)出的光經(jīng)過分束器,兩光子傳播相同的距離后在兩個(gè)面上形成完全相同的空間分布,形成這兩個(gè)面上的“點(diǎn)對(duì)點(diǎn)”對(duì)應(yīng)關(guān)系。將光源看作相位共軛鏡,由物體發(fā)出的光經(jīng)過光源后獲得共軛相位,從而在光源的對(duì)側(cè)得到物體的圖像,再經(jīng)透鏡成像到CCD相機(jī)的探測(cè)面上。由以上解釋可以看出,關(guān)聯(lián)成像利用光子對(duì)建立了類似于傳統(tǒng)成像的“點(diǎn)對(duì)點(diǎn)”對(duì)應(yīng)關(guān)系。

圖2 贗熱光關(guān)聯(lián)成像展開圖[46]Fig.2 Unfolded picture of the ghost imaging system with psudothermal light[46]

由于關(guān)聯(lián)成像中物體的圖像信息是通過物臂端測(cè)量得到的總光強(qiáng)信號(hào)和參考臂端得到的散斑場(chǎng)進(jìn)行關(guān)聯(lián)運(yùn)算得到,傳統(tǒng)的關(guān)聯(lián)成像算法(TGI)可寫為

式中:〈·〉表示時(shí)域上的系綜平均,實(shí)際應(yīng)用中對(duì)應(yīng)多次采樣;I1(x1)表示參考臂光強(qiáng)分布;B表示桶探測(cè)信號(hào),可表示為

式中:I2(x2)表示物體表面的光強(qiáng)分布,T(x2)表示物體的強(qiáng)度反/透射率函數(shù)。將(2)式代入(1)式,可以得到

(贗)熱光場(chǎng)可以看作是足夠多的隨機(jī)相幅矢量的疊加,光強(qiáng)服從高斯隨機(jī)變量的統(tǒng)計(jì)性質(zhì),有

當(dāng)照明光場(chǎng)平均強(qiáng)度均勻時(shí),在足夠多的采樣次數(shù)下,(4)式右邊第一項(xiàng)為熱光二階關(guān)聯(lián)的背景項(xiàng),不包含物體信息;第二項(xiàng)為其關(guān)聯(lián)項(xiàng),在一定條件下可以近似寫成δ函數(shù)。此時(shí),再結(jié)合(3)式可以看出,物體強(qiáng)度反射率函數(shù)和光場(chǎng)關(guān)聯(lián)函數(shù)的卷積實(shí)際上決定于物體的反射率分布,這就是關(guān)聯(lián)成像的結(jié)果。

對(duì)應(yīng)于光場(chǎng)相干度的定義,也可以將關(guān)聯(lián)成像的表達(dá)式寫為

在照明光場(chǎng)平均強(qiáng)度均勻的條件下,(5)式和(1)式是等效的,相同次數(shù)下獲得的圖像質(zhì)量也相當(dāng)。將(2)式代入(5)式,可得

1.2數(shù)學(xué)表示

由以上分析可知,計(jì)算是關(guān)聯(lián)成像的必要部分,建立與圖像獲取相對(duì)應(yīng)的數(shù)學(xué)表示顯得尤為重要。無論是“點(diǎn)對(duì)點(diǎn)”還是“多對(duì)多”的成像模式,圖像獲取都可以表示為如下求解問題模型

式中x∈RN為待恢復(fù)的圖像信號(hào),y∈RM為探測(cè)信號(hào),Φ∈RM×N為測(cè)量矩陣,ε為探測(cè)噪聲,如圖3所示。當(dāng)成像模式為傳統(tǒng)的“點(diǎn)對(duì)點(diǎn)”時(shí),M=N;當(dāng)成像模式為“多對(duì)多”時(shí),M可以小于N。理想情況下,在傳統(tǒng)成像中Φ為單位方矩陣。此時(shí),探測(cè)器上一個(gè)像元的探測(cè)結(jié)果直接對(duì)應(yīng)物面上一點(diǎn),如圖3右上圖所示。對(duì)于“多對(duì)多”成像模式來說,探測(cè)器上一個(gè)像元的探測(cè)結(jié)果是物面上多點(diǎn)探測(cè)的線性組合,如圖3右下圖所示。關(guān)聯(lián)成像作為一種“多對(duì)多”成像模式,測(cè)量矩陣Φ為M次測(cè)量所得參考臂相機(jī)信號(hào)構(gòu)成的隨機(jī)矩陣,每一行即為一幀參考臂相機(jī)信號(hào),y為點(diǎn)探測(cè)器的探測(cè)信號(hào),而計(jì)算二階相干函數(shù)就是計(jì)算ΦTΦ,其中T表示矩陣的轉(zhuǎn)置。當(dāng)光源隨機(jī)照明時(shí),Φ為隨機(jī)矩陣,ΦTΦ相當(dāng)于一個(gè)全1矩陣加單位矩陣。為了更好地求解(7)式的問題模型,即在含噪的條件下高效地恢復(fù)圖像信息,減小重構(gòu)誤差,人們從光源設(shè)計(jì)[29?31]、探測(cè)方法[47,48]、成像策略[32?34]、算法優(yōu)化[35?42]等角度入手展開研究。其中,關(guān)聯(lián)成像算法在一定程度上決定了重構(gòu)圖像的質(zhì)量以及系統(tǒng)的工作效率,因而成為關(guān)聯(lián)成像技術(shù)走向?qū)嵱没年P(guān)鍵,研究高效的關(guān)聯(lián)成像算法是提高成像質(zhì)量和成像速度最有效的方法之一。

圖3 不同成像模式的圖像采樣方式Fig.3 Sampling methods for different imaging modes

由于關(guān)聯(lián)成像需要對(duì)探測(cè)數(shù)據(jù)進(jìn)行處理、運(yùn)算才能得到物體圖像,這也給借助算法提升關(guān)聯(lián)成像性能帶來了可能。關(guān)聯(lián)成像算法研究的主要目標(biāo)是提升圖像質(zhì)量和減少成像的資源消耗?；陉P(guān)聯(lián)成像系統(tǒng)的物理機(jī)理、統(tǒng)計(jì)解釋和數(shù)學(xué)表示,關(guān)聯(lián)成像算法的研究思路主要有以下兩類:一是從強(qiáng)度關(guān)聯(lián)算法中各要素的物理意義出發(fā),改進(jìn)算法來克服不良條件對(duì)圖像重構(gòu)的影響,包括漲落關(guān)聯(lián)算法、差分關(guān)聯(lián)算法、歸一化關(guān)聯(lián)算法和二階關(guān)聯(lián)歸一化算法等;二是從數(shù)學(xué)表述形式出發(fā),尋找更優(yōu)的數(shù)學(xué)求解模型來提升系統(tǒng)性能。由此,人們發(fā)展出一些矩陣求解方法,包括偽逆算法和壓縮感知算法等。同時(shí),機(jī)器學(xué)習(xí)等領(lǐng)域的新發(fā)展也給關(guān)聯(lián)成像算法研究帶來了新的思路。下面將系統(tǒng)介紹這幾種關(guān)聯(lián)成像算法,并對(duì)其優(yōu)缺點(diǎn)和應(yīng)用場(chǎng)景做一定的討論。

2 關(guān)聯(lián)成像算法

2.1基于光場(chǎng)關(guān)聯(lián)函數(shù)的改進(jìn)算法

2.1.1 漲落關(guān)聯(lián)算法

關(guān)聯(lián)成像是通過統(tǒng)計(jì)的方法來重構(gòu)物體圖像的,TGI算法通過物臂端測(cè)量得到的總光強(qiáng)信號(hào)和參考臂端得到的散斑場(chǎng)進(jìn)行關(guān)聯(lián)運(yùn)算重構(gòu)出目標(biāo)圖像,如(1)式所示,但根據(jù)該式計(jì)算得到的圖像結(jié)果往往對(duì)比度不高。為了提高圖像對(duì)比度,通常結(jié)合物理上對(duì)于關(guān)聯(lián)的理解和漲落的定義,(1)式可以改寫為

理論上,當(dāng)采樣次數(shù)無限多時(shí)便可以得到圖像期望值。而在有限的測(cè)量次數(shù)下,重構(gòu)的圖像中存在相對(duì)于期望值的統(tǒng)計(jì)誤差。在有限采樣次數(shù)下,(8)式右邊第一項(xiàng)是背景項(xiàng),且和照明光場(chǎng)平均強(qiáng)度的空間分布有關(guān),并不是常數(shù)項(xiàng),被減去之后可以提高成像質(zhì)量。利用強(qiáng)度關(guān)聯(lián)減掉背景項(xiàng)的方法稱為背景減除的傳統(tǒng)關(guān)聯(lián)成像算法(BSTGI),可以表示為

在相同采樣次數(shù)下,(9)式比(1)式重建圖像的信噪比高。由(9)式可見,減去背景項(xiàng)后,剩余部分實(shí)際上表示了兩光場(chǎng)的漲落關(guān)聯(lián),即圖像是由兩探測(cè)器的漲落之間的關(guān)聯(lián)得到的,因此BSTGI算法也被稱作關(guān)聯(lián)成像的漲落關(guān)聯(lián)算法。

將(2)式和(4)式代入(9)式,可得

2.1.2 差分關(guān)聯(lián)算法

在關(guān)聯(lián)成像系統(tǒng)中,當(dāng)目標(biāo)為透明度高的透射型物體或反射面占比高的反射型物體時(shí),由于回波平均強(qiáng)度大而相對(duì)漲落小,難以有效獲得光強(qiáng)的漲落,成像質(zhì)量較差。為解決這一問題,2010年,Ferri小組提出了差分鬼成像算法(DGI),其在TGI算法的基礎(chǔ)上引入了差分項(xiàng),DGI算法在每次采樣過程中將參考臂端數(shù)據(jù)求和,作為“桶探測(cè)器數(shù)據(jù)S”引入關(guān)聯(lián)運(yùn)算,實(shí)驗(yàn)架構(gòu)如圖4所示[35]。DGI算法可以表示為

圖4 差分關(guān)聯(lián)成像實(shí)驗(yàn)架構(gòu)圖[35]Fig.4 Experimental architecture of DGI[35]

(11)式可變形為

式中:前兩項(xiàng)之差是漲落關(guān)聯(lián)算法獲得的物體的圖像,后兩項(xiàng)可以看作整個(gè)視場(chǎng)的像。因此DGI算法可以表示為

令χ=T/M表示物體面積和視場(chǎng)面積之比,χ≤1。此時(shí)(13)式可簡(jiǎn)化為

式中等號(hào)右邊兩項(xiàng)分別對(duì)應(yīng)物體和整個(gè)視場(chǎng)的強(qiáng)度關(guān)聯(lián)圖像。這兩幅圖像是基于相同散斑序列照明重構(gòu)得到的,是相同的獨(dú)立同分布的變量之和,因此等號(hào)右邊兩項(xiàng)是正相關(guān)的。通過兩項(xiàng)做差可以抑制物體關(guān)聯(lián)圖像中的統(tǒng)計(jì)噪聲,因而可以突破散粒噪聲極限,獲得高信噪比的圖像,如圖5所示[35]。圖5是在相同采樣次數(shù)下,DGI算法和TGI算法在不同物體反射系數(shù)條件下的成像質(zhì)量對(duì)比,其中橫坐標(biāo)和物體反射系數(shù)有關(guān),橫坐標(biāo)越接近1表示物體反射面積越少;縱坐標(biāo)表示成像質(zhì)量。由圖5可見,系數(shù)χ越接近1,對(duì)應(yīng)物體越接近全(透)反射,(14)式兩項(xiàng)的統(tǒng)計(jì)誤差越接近,DGI算法相比于TGI算法越能更好地抑制統(tǒng)計(jì)誤差,圖像信噪比越高。

圖5 DGI算法和TGI算法成像圖像質(zhì)量對(duì)比[35]Fig.5 Comparisons of image quality between DGI algorithm and TGI algorithm[35]

2.1.3歸一化關(guān)聯(lián)算法

DGI算法解決了大物體成像質(zhì)量差的問題,但其仍然基于照明光場(chǎng)平均光強(qiáng)空間均勻的假設(shè),當(dāng)照明光場(chǎng)平均強(qiáng)度不均勻時(shí),圖像質(zhì)量會(huì)受到影響。為了解決這一問題,2012年,格拉斯哥大學(xué)研究小組在DGI算法的基礎(chǔ)上提出了歸一化關(guān)聯(lián)成像算法(NGI)[36],NGI算法和DGI算法的關(guān)系可以表示為

在照明光場(chǎng)統(tǒng)計(jì)性質(zhì)均勻的條件下,NGI算法和DGI算法的性能相當(dāng),下面討論光場(chǎng)統(tǒng)計(jì)性質(zhì)不均勻的情況。當(dāng)贗熱光場(chǎng)強(qiáng)度的一階矩(平均強(qiáng)度)和二階矩(強(qiáng)度漲落)在空間上分布不均勻時(shí),照明光場(chǎng)可表示為

式中?(x)表示光場(chǎng)平均強(qiáng)度的不均勻系數(shù),其不隨時(shí)間發(fā)生變化。此時(shí)光場(chǎng)的一階矩和二階矩分別表示為

式中?(x)表示光場(chǎng)強(qiáng)度漲落的系數(shù),?(x)≤1。對(duì)于理想的贗熱光場(chǎng),?(x)=1。將(2)式和(17)式代入(11)式,得到

可以看到,當(dāng)光場(chǎng)強(qiáng)度的一階矩和二階矩不均勻時(shí),得到的物體圖像也不均勻。將(17)式和(18)式代入(15)式,得到

可見與DGI算法相比,NGI算法在參考臂記錄總光強(qiáng)值并用來歸一化物臂端測(cè)得的總光強(qiáng)信號(hào),可以抑制光場(chǎng)強(qiáng)度一階矩,即平均光強(qiáng)分布的影響,但無法抑制光場(chǎng)強(qiáng)度二階矩的不均勻?qū)Τ上竦挠绊憽?/p>

2.1.4二階關(guān)聯(lián)歸一化算法

根據(jù)前面的討論,照明光場(chǎng)的二階相干度對(duì)應(yīng)于關(guān)聯(lián)成像系統(tǒng)的點(diǎn)擴(kuò)展函數(shù)。在實(shí)際應(yīng)用中,通常用旋轉(zhuǎn)的毛玻璃調(diào)制一束激光產(chǎn)生贗熱光作為照明光場(chǎng),光場(chǎng)的平均強(qiáng)度分布將是高斯分布。不同時(shí)空點(diǎn)的光強(qiáng)不滿足全同分布條件,且光場(chǎng)的近場(chǎng)漲落分布也不均勻,這些因素都會(huì)影響關(guān)聯(lián)成像的點(diǎn)擴(kuò)展函數(shù),進(jìn)而影響成像質(zhì)量。為了解決這一問題,Sun等[37]提出了二階相干度歸一化算法(SGI)。SGI算法的基本思想是對(duì)光場(chǎng)二階相干度進(jìn)行歸一化,可表示為

式中分母可以看作是視場(chǎng)的關(guān)聯(lián)圖像,分子則是TGI算法得到的物體圖像,兩者的統(tǒng)計(jì)誤差有關(guān)聯(lián)。與DGI算法通過將兩者統(tǒng)計(jì)誤差作差來提高信噪比不同,SGI是通過將兩者統(tǒng)計(jì)誤差相除來提高信噪比。(20)式還可以表示為

式中分母可以看作照明光場(chǎng)的二階相干度。SGI算法可以看作在TGI算法基礎(chǔ)上對(duì)照明光場(chǎng)的二階相干度做了歸一化。當(dāng)光場(chǎng)強(qiáng)度的一階矩和二階矩空間分布不均勻時(shí),將(2)式和(17)式代入(21)式,得到

式中分子和分母的第一項(xiàng)都是背景項(xiàng),不包含信息。在關(guān)聯(lián)成像中,物臂和參考臂光場(chǎng)統(tǒng)計(jì)性質(zhì)相同,即?(x2)=?(x1)。對(duì)比(18)、(19)式和(22)式,在SGI算法中,光強(qiáng)的不均勻系數(shù)對(duì)成像質(zhì)量的影響通過歸一化消除,同時(shí)強(qiáng)度漲落系數(shù)?(x1)的影響也被縮小。當(dāng)χ≈1,即物體越接近全反或全透,此時(shí)漲落系數(shù)?(x1)對(duì)成像質(zhì)量的影響也被消除。通過以上分析可以看到,SGI算法通過對(duì)關(guān)聯(lián)成像中光場(chǎng)二階相干度的歸一化,有效抑制了光場(chǎng)一階矩(平均強(qiáng)度)、二階矩(漲落)分布不均勻和光源功率抖動(dòng)對(duì)成像質(zhì)量的影響,可以得到比DGI算法和NGI算法成像質(zhì)量更高的圖像。

上述算法從光場(chǎng)關(guān)聯(lián)函數(shù)出發(fā),以提高不同條件下的成像質(zhì)量為主要目標(biāo),都屬于線性算法,運(yùn)算速度較快且對(duì)軟硬件的要求不高。為了在提高成像質(zhì)量的同時(shí)減少成像所需數(shù)據(jù)量和提高成像分辨率,人們從關(guān)聯(lián)成像的數(shù)學(xué)表述形式出發(fā),發(fā)展出一些矩陣求解方法。

2.2基于矩陣的求解與改進(jìn)

2.2.1 壓縮感知算法

壓縮感知(CS)[49,50]又稱壓縮采樣,作為新的采樣理論,其利用信號(hào)的稀疏特性,可在遠(yuǎn)小于Nyquist采樣率的條件下用隨機(jī)采樣獲取信號(hào)的離散樣本,然后通過非線性重建算法完美地重建信號(hào)。關(guān)聯(lián)成像從數(shù)學(xué)形式上來看與壓縮感知方法極為相似,贗熱光場(chǎng)的空時(shí)隨機(jī)漲落和桶探測(cè)器的使用完成了CS方法中所需的“隨機(jī)+整體”測(cè)量,因此CS方法可以自然地應(yīng)用在關(guān)聯(lián)成像數(shù)據(jù)處理中,計(jì)算型關(guān)聯(lián)成像更是被看作CS在成像領(lǐng)域中的一種具體物理實(shí)現(xiàn)方式?；陉P(guān)聯(lián)成像與CS在數(shù)學(xué)形式上的共通性,可以很好地把CS應(yīng)用到關(guān)聯(lián)成像的數(shù)據(jù)處理中以減少數(shù)據(jù)量和提高成像分辨率。2002年,Rice大學(xué)的Baraniuk小組將CS應(yīng)用于光學(xué)成像,實(shí)現(xiàn)了“單像素相機(jī)”[50]。2009年,Silberberg小組提出的基于CS的關(guān)聯(lián)成像算法(CGI)將CS引入關(guān)聯(lián)成像中,可以在較少的采樣次數(shù)下重構(gòu)出優(yōu)于一般關(guān)聯(lián)成像算法的圖像,提高了關(guān)聯(lián)成像的信噪比和分辨率[38]。2011年,Boyd小組的Zerom等[51]利用糾纏光子對(duì)采用CS的方法實(shí)現(xiàn)了單光子水平的高分辨關(guān)聯(lián)成像。2012年,中國(guó)科學(xué)院上海光學(xué)精密機(jī)械研究所的Gong等[39]采用CS算法在欠采樣條件下實(shí)現(xiàn)了高分辨率的圖像獲取。

CS理論的實(shí)現(xiàn)條件主要包括兩點(diǎn):信號(hào)的稀疏性和測(cè)量矩陣的不相關(guān)特性。信號(hào)的稀疏性也是數(shù)據(jù)壓縮的基礎(chǔ),自然圖像大多滿足稀疏性(或可壓縮性)或是在某個(gè)變換域下近似稀疏。CS理論表明:如果被探測(cè)的信號(hào)具備稀疏特性,則獲取信號(hào)所必需的測(cè)量數(shù)據(jù)可遠(yuǎn)小于信號(hào)的維數(shù)。此時(shí),由于觀測(cè)方程的數(shù)量小于未知數(shù)的數(shù)量,(7)式所示的信號(hào)重構(gòu)問題是一個(gè)欠定問題,或者稱為病態(tài)問題,要準(zhǔn)確恢復(fù)信號(hào)必須增加其他的正則約束條件。若測(cè)量矩陣滿足有限等距性質(zhì)(RIP),則可得到一個(gè)最優(yōu)解。滿足RIP性質(zhì)意味著信號(hào)恢復(fù)具有穩(wěn)健性和魯棒性,而關(guān)聯(lián)成像的隨機(jī)測(cè)量矩陣正好能夠很好地滿足RIP性質(zhì),因此CS算法在理論上可精確求解(7)式,可以以更少的采樣重構(gòu)質(zhì)量更高的圖像。

根據(jù)線性代數(shù)理論,當(dāng)M

圖像稀疏性最本質(zhì)的度量為l0范數(shù),若測(cè)量中含有噪聲,則Find sparsestx,s.t.y=Φx的數(shù)學(xué)描述為

式中參數(shù)σ反映了測(cè)量噪聲的水平。

隨著問題維度的增加,求解該問題的復(fù)雜度將指數(shù)增長(zhǎng)。對(duì)于很多的測(cè)量矩陣(如隨機(jī)矩陣)來說,當(dāng)信號(hào)足夠稀疏時(shí),l1最小化問題完全等價(jià)于l0最小化問題。CS理論創(chuàng)造性地將l1范數(shù)最小化稀疏約束與隨機(jī)矩陣結(jié)合,得到一個(gè)稀疏信號(hào)重建性能的最佳結(jié)果。最小l1范數(shù)模型求解是高效、穩(wěn)健且適合圖像重構(gòu)等大規(guī)模數(shù)據(jù)計(jì)算的稀疏優(yōu)化算法。

基于l1范數(shù)凸優(yōu)化的稀疏重構(gòu)模型為

式中∥∥2為二階范數(shù),為一階范數(shù),(24)式為基追蹤去噪(BPDN)問題。處理實(shí)際問題時(shí),通

過

對(duì)系統(tǒng)測(cè)量條件的分析可以得到噪聲水平的大致估計(jì)。實(shí)際求解形如(24)式的約束優(yōu)化問題時(shí),可將約束條件轉(zhuǎn)換為懲罰項(xiàng),構(gòu)造非約束優(yōu)化問題其中x即為稀疏重構(gòu)圖像,τ為控制稀疏約束強(qiáng)度的參數(shù)。CS方法是求解該非約束優(yōu)化問題的一種有效方法,它通過對(duì)稀疏信號(hào)的相對(duì)少數(shù)量隨機(jī)投影的測(cè)量就可以獲取信號(hào)的大部分信息,從而準(zhǔn)確重構(gòu)信號(hào)。雖然CGI算法可以實(shí)現(xiàn)較少采樣下的高質(zhì)量圖像重構(gòu),但是也存在受光源功率抖動(dòng)影響、受噪聲影響大且計(jì)算時(shí)間隨著成像幀數(shù)的增加而非線性地增加等不足,限制了CGI算法的實(shí)用性。

為了更好地說明和比較各個(gè)算法的性能,對(duì)光源功率存在抖動(dòng)且照明光場(chǎng)不均勻?qū)嶒?yàn)條件下的TGI、DGI、NGI、SGI和CGI等各算法的圖像重構(gòu)質(zhì)量進(jìn)行了分析,并采用均方誤差(MSE)指標(biāo)來評(píng)價(jià)和比較各算法的成像質(zhì)量[52],結(jié)果如圖6所示?？梢钥吹?在灰度物體圖像的重構(gòu)中,當(dāng)TGI算法已經(jīng)無法清晰重構(gòu)物體圖像時(shí),DGI、NGI、SGI和CGI算法依然可以得到物體較高信噪比的圖像,且CGI和SGI算法重構(gòu)圖像的均勻性優(yōu)于DGI和NGI算法。

圖6 不同算法的關(guān)聯(lián)成像圖像重構(gòu)結(jié)果[37]Fig.6 Reconstruction results of ghost imaging with different algorithms[37]

2.2.2偽逆關(guān)聯(lián)成像算法

上文介紹的CGI算法可在一定程度上提高關(guān)聯(lián)成像系統(tǒng)的分辨率,但其局限于具有稀疏性的目標(biāo)且運(yùn)算時(shí)間較長(zhǎng)。為了實(shí)現(xiàn)普適性的高分辨快速成像,發(fā)展出了偽逆關(guān)聯(lián)成像算法(PGI)[40,41]。由(7)式可見,測(cè)量矩陣不是方陣,不存在逆矩陣,因此PGI算法在重構(gòu)過程中對(duì)雙臂間數(shù)據(jù)關(guān)聯(lián)的計(jì)算方式做出調(diào)整,將參考臂光場(chǎng)替代為其偽逆矩陣,實(shí)驗(yàn)架構(gòu)如圖7所示[40]。

圖7 PGI實(shí)驗(yàn)架構(gòu)圖[40]Fig.7 Experimental architecture of PGI[40]

PGI算法計(jì)算公式可表示為

式中:B為每次采樣時(shí)的探測(cè)臂數(shù)據(jù);I〈B〉表示與B同維度的矩陣,其值為B的均值;I為K×1單位矩陣;K為采樣數(shù);α為光強(qiáng)比例系數(shù);Ψ=Φ?I〈Φ〉,Φ為采樣所得參考臂數(shù)據(jù)整理得到的矩陣;Ψ?為Ψ的偽逆矩陣;O為物體。TGI算法中的ΨTΨ矩陣與PGI算法中的Ψ?Ψ矩陣和對(duì)應(yīng)的圖像重構(gòu)結(jié)果對(duì)比如圖8所示。在經(jīng)過求偽逆矩陣變換后,Ψ?Ψ比ΨTΨ更接近一個(gè)標(biāo)量對(duì)角矩陣,因此分辨率得以提升。此外,噪聲也得到抑制,重構(gòu)圖像質(zhì)量因此得以提升,且隨著采樣次數(shù)的增加,噪聲抑制效果越來越好。但是在實(shí)際系統(tǒng)中,矩陣Φ和B往往存在一定誤差,會(huì)嚴(yán)重影響Ψ?Ψ的真實(shí)結(jié)果,導(dǎo)致成像質(zhì)量變差。

圖8 GI中ΨTΨ矩陣(左)與PGI中Ψ?Ψ矩陣(右)和對(duì)應(yīng)的圖像重構(gòu)結(jié)果[40,41]Fig.8 Matrices and reconstruction results ofΨTΨin GI(left)andΨ?Ψin PGI(right)[40,41]

2.3結(jié)合深度學(xué)習(xí)的關(guān)聯(lián)成像算法

深度學(xué)習(xí)(DL)是機(jī)器學(xué)習(xí)研究中的一個(gè)新領(lǐng)域,它利用大量數(shù)據(jù)訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)來獲得數(shù)據(jù),例如圖像、聲音和文本等。近年來,隨著數(shù)據(jù)量的急劇增長(zhǎng)和計(jì)算能力的不斷提高,深度學(xué)習(xí)技術(shù)迅速發(fā)展并應(yīng)用到計(jì)算成像[53]的眾多子領(lǐng)域中,一定范圍內(nèi)解決了相位恢復(fù)[54?56]、散射成像[57?59]、計(jì)算關(guān)聯(lián)成像[60?63]等領(lǐng)域中長(zhǎng)期未解決的問題。在基于深度學(xué)習(xí)的關(guān)聯(lián)成像算法方面,大致分為兩種:一種是對(duì)關(guān)聯(lián)成像獲得的圖像進(jìn)行降噪提質(zhì),在網(wǎng)絡(luò)訓(xùn)練過程中輸入大量的物體真實(shí)圖像和關(guān)聯(lián)圖像,使得輸出盡可能接近源圖像,而在使用過程中先基于已有的關(guān)聯(lián)算法獲得圖像,再利用神經(jīng)網(wǎng)絡(luò)進(jìn)行質(zhì)量提升;第二種則是基于關(guān)聯(lián)成像的物理模型進(jìn)行網(wǎng)絡(luò)設(shè)計(jì),以關(guān)聯(lián)成像的照明光場(chǎng)和桶探測(cè)數(shù)據(jù)為輸入進(jìn)行訓(xùn)練,使用時(shí)直接由實(shí)驗(yàn)數(shù)據(jù)得到圖像,不需要經(jīng)過關(guān)聯(lián)算法預(yù)處理。

2017年,中國(guó)科學(xué)院上海光學(xué)精密機(jī)械研究所的司徒國(guó)海小組利用訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)感知模型對(duì)獲得的關(guān)聯(lián)圖像進(jìn)行降噪,提升了關(guān)聯(lián)圖像的襯噪比[61]。深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)關(guān)聯(lián)成像流程圖如圖9所示,包含訓(xùn)練和測(cè)試兩個(gè)步驟,實(shí)驗(yàn)測(cè)試結(jié)果如圖10所示,在成像采樣率為5%的條件下能夠?qū)崿F(xiàn)對(duì)物體的恢復(fù)。但該方法存在訓(xùn)練數(shù)據(jù)難以獲取且耗時(shí)的缺點(diǎn),尤其是對(duì)更大視場(chǎng)的場(chǎng)景進(jìn)行高分辨率成像時(shí),所需訓(xùn)練數(shù)據(jù)的采集會(huì)更為困難。

圖9 深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)關(guān)聯(lián)成像流程圖[61]Fig.9 Flow chart of GI using deep neural networks[61]

圖10 不同算法計(jì)算的圖像重構(gòu)結(jié)果[61]Fig.10 Reconstruction images using different algorithms[61]

關(guān)聯(lián)成像通常需要進(jìn)行大量的采樣,這限制了成像系統(tǒng)性能,在處理運(yùn)動(dòng)物體時(shí)這一限制顯得尤為突出。2020年,Hu等[63]通過使用數(shù)值數(shù)據(jù)訓(xùn)練卷積去噪自動(dòng)編碼器網(wǎng)絡(luò)對(duì)少數(shù)樣本中的模糊圖像進(jìn)行去噪,在采樣率為3.7%的條件下還能獲取圖像信息。利用這些輸出數(shù)據(jù),通過基于關(guān)聯(lián)成像的互相關(guān)方法重建運(yùn)動(dòng)目標(biāo)的軌跡和清晰圖像,所需的采樣次數(shù)減少了三分之二。同時(shí),結(jié)合了機(jī)器學(xué)習(xí)降噪的互相關(guān)運(yùn)動(dòng)物體追蹤成像方法對(duì)運(yùn)動(dòng)物體的追蹤成像有更好的表現(xiàn)。

此外,為了解決數(shù)據(jù)訓(xùn)練耗時(shí)問題和重建高分辨率圖像,司徒國(guó)海小組于2022年提出了一種遠(yuǎn)場(chǎng)超分辨率的基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)約束的關(guān)聯(lián)成像技術(shù)(GIDC)[64]。GIDC使用隨機(jī)初始化的神經(jīng)網(wǎng)絡(luò)約束鬼成像的計(jì)算重構(gòu)過程,無需預(yù)先獲取任何帶標(biāo)簽的訓(xùn)練數(shù)據(jù),僅需已知當(dāng)前系統(tǒng)的探測(cè)信號(hào)和正向物理模型,然后利用該模型優(yōu)化網(wǎng)絡(luò)參數(shù)以擬合探測(cè)信號(hào),獲得優(yōu)于傳統(tǒng)方法的遠(yuǎn)場(chǎng)超衍射極限分辨成像結(jié)果,如圖11所示,為遠(yuǎn)距離運(yùn)動(dòng)目標(biāo)觀測(cè)提供了一種新的途徑。盡管GIDC也使用了神經(jīng)網(wǎng)絡(luò),但并不存在標(biāo)簽數(shù)據(jù)獲取和泛化性方面的問題,適用于重構(gòu)不同結(jié)構(gòu)類型的物體,具有普適性。

圖11 GIDC整體框架[64]Fig.11 Sketch of GIDC[64]

3 結(jié)論

對(duì)關(guān)聯(lián)成像算法進(jìn)行了系統(tǒng)介紹,從基于關(guān)聯(lián)成像機(jī)理的TGI算法出發(fā),介紹了在此基礎(chǔ)上發(fā)展而來的BSTGI、DGI、NGI和SGI等優(yōu)化算法。其中,BSTGI算法可以一定程度上提升有限采樣條件下的圖像重構(gòu)質(zhì)量,但成像信噪比較低,尤其是高透射率的物體;DGI算法通過作差的方法來抑制有限次數(shù)采樣下關(guān)聯(lián)成像的統(tǒng)計(jì)誤差,可實(shí)現(xiàn)大目標(biāo)高質(zhì)量重構(gòu),但成像質(zhì)量受照明光場(chǎng)平均強(qiáng)度不均勻影響;NGI算法雖可以消除平均光強(qiáng)分布不均勻的影響,但無法抑制光場(chǎng)強(qiáng)度二階矩的不均勻?qū)Τ上竦挠绊?SGI算法采用統(tǒng)計(jì)誤差相除的方法,可以抑制統(tǒng)計(jì)噪聲、光源的不均勻和光源功率抖動(dòng)對(duì)關(guān)聯(lián)成像的影響,使成像信噪比得到明顯的提高?？偟膩碚f,這些算法的成像質(zhì)量受光源參數(shù)、目標(biāo)特性等因素影響較大,難以達(dá)到超分辨的效果。但這些算法都是線性算法,數(shù)據(jù)處理速度快,且更易于算法硬件化,有助于實(shí)現(xiàn)實(shí)時(shí)成像。為了進(jìn)一步提高成像質(zhì)量和分辨率,人們通過對(duì)關(guān)聯(lián)成像圖像求解模型的研究,發(fā)展出CGI和PGI等一些矩陣求解方法。這些算法不僅可以有效降低獲得較高信噪比成像所需的采樣次數(shù),還有一定的超分辨成像能力。但CGI算法對(duì)噪聲的魯棒性相對(duì)較低,當(dāng)采樣矩陣或測(cè)量值中存在噪聲時(shí)對(duì)成像質(zhì)量影響較大,且圖像重構(gòu)時(shí)間較長(zhǎng),對(duì)運(yùn)算設(shè)備性能有一定要求。同時(shí),深度學(xué)習(xí)等領(lǐng)域的新發(fā)展也給關(guān)聯(lián)成像算法研究帶來了新的思路。深度學(xué)習(xí)技術(shù)可以通過大量數(shù)據(jù)訓(xùn)練實(shí)現(xiàn)端到端的自學(xué)習(xí)過程而非常適合應(yīng)用于圖像去噪等逆問題的求解,但在訓(xùn)練策略、訓(xùn)練時(shí)間和神經(jīng)網(wǎng)絡(luò)的普適性方面還有較大的提升空間。

基于上述關(guān)聯(lián)成像算法,還有一些改進(jìn)算法可以進(jìn)一步提高成像質(zhì)量,如偽逆迭代關(guān)聯(lián)成像算法(PIGI)[65]、壓縮感知?dú)w一化關(guān)聯(lián)成像算法(CSNGI)[66]和基于二項(xiàng)式的關(guān)聯(lián)成像重構(gòu)算法(BGI)[67]等。目前,關(guān)聯(lián)成像算法的研究在一定程度上解決了采樣次數(shù)多、圖像質(zhì)量差等問題?？傮w而言,雖然線性算法計(jì)算速度快,魯棒性較強(qiáng),但在相同采樣次數(shù)條件下成像質(zhì)量一般不如非線性算法。而非線性算法計(jì)算時(shí)間較長(zhǎng),且對(duì)實(shí)驗(yàn)條件要求較高,否則無法獲得高質(zhì)量的圖像。能夠?qū)嶋H應(yīng)用的算法應(yīng)具有成像質(zhì)量高、計(jì)算速度快、對(duì)外部噪聲不敏感等特點(diǎn),如何進(jìn)一步開發(fā)或優(yōu)化重構(gòu)算法以提升復(fù)雜條件下的關(guān)聯(lián)成像質(zhì)量和成像速度,推進(jìn)關(guān)聯(lián)成像技術(shù)的實(shí)用化進(jìn)程,這一關(guān)鍵問題顯得越來越重要、越來越緊迫。此外,面向復(fù)雜環(huán)境或運(yùn)動(dòng)目標(biāo)的圖像獲取等實(shí)際應(yīng)用場(chǎng)景,為了提升信息獲取效率,反饋式關(guān)聯(lián)成像方法也得到了發(fā)展,如對(duì)感興趣區(qū)域進(jìn)行重點(diǎn)提取[34]、提取物體的位移或速度等信息以實(shí)現(xiàn)運(yùn)動(dòng)物體追蹤成像[26,27]、利用前序測(cè)量調(diào)制后續(xù)照明光場(chǎng)[32]等?？傊?隨著關(guān)聯(lián)成像研究和實(shí)用化進(jìn)程的不斷推進(jìn),關(guān)聯(lián)成像朝著更遠(yuǎn)距離成像、更高質(zhì)量成像、更快成像和更強(qiáng)魯棒性成像的方向不斷拓展,對(duì)高效、高速、高質(zhì)量和易硬件化關(guān)聯(lián)成像算法的要求將愈加凸顯。