分辨率、超分辨率與空間帶寬積拓展—從計(jì)算光學(xué)成像角度的一些思考

左 超 ，陳 錢

（1. 南京理工大學(xué) 電子工程與光電技術(shù)學(xué)院 智能計(jì)算成像實(shí)驗(yàn)室(SCILab), 江蘇南京 210094；2. 南京理工大學(xué) 江蘇省光譜成像與智能感知重點(diǎn)實(shí)驗(yàn)室, 江蘇南京 210094；3. 南京理工大學(xué)智能計(jì)算成像研究院(SCIRI), 江蘇南京210019）

1 引 言

人類對(duì)外界信息的感知80%以上來(lái)自視覺(jué)。而人眼的信息獲取能力受生理結(jié)構(gòu)的限制，在時(shí)間、空間、靈敏度、分辨力等方面均存在局限，無(wú)法獲取遙遠(yuǎn)距離的信息或者難以看清非常細(xì)小的物體。光學(xué)成像技術(shù)的出現(xiàn)，將客觀景物轉(zhuǎn)變?yōu)閳D像，擴(kuò)展了人眼的視覺(jué)特性。例如：望遠(yuǎn)鏡的發(fā)明，實(shí)現(xiàn)了對(duì)宇宙、星空等遙遠(yuǎn)空間的探索與觀測(cè)；顯微鏡的發(fā)明，實(shí)現(xiàn)了對(duì)微觀世界如細(xì)胞等的觀察與分析。由此可見，光學(xué)成像系統(tǒng)的發(fā)明與研究是為了獲取客觀世界的圖像信息，獲取更多的信息量一直是人類追求的永恒目標(biāo)。

一個(gè)光學(xué)成像系統(tǒng)的信息量由該系統(tǒng)的視場(chǎng)和分辨率決定[1]。寬視場(chǎng)能夠覆蓋的觀測(cè)范圍更大，高分辨率能夠獲得更多的細(xì)節(jié)信息。顧名思義，寬視場(chǎng)高分辨成像，即成像系統(tǒng)既能夠在拍攝到很大的視場(chǎng)范圍的同時(shí)，又能拍攝到重要且又易被忽略的細(xì)節(jié)信息。其被廣泛應(yīng)用于眾多的科研領(lǐng)域與軍事民生領(lǐng)域。比如：在市區(qū)廣場(chǎng)，車站機(jī)場(chǎng)等人流密集的場(chǎng)所，寬視場(chǎng)高分辨率成像系統(tǒng)可以實(shí)現(xiàn)全方位安防監(jiān)控，對(duì)密集人群中的可疑人員進(jìn)行觀察甚至跟蹤等[2]；在交通管理中，寬視場(chǎng)高分辨成像系統(tǒng)可以對(duì)車輛流量，交通安全，路面狀況等進(jìn)行全面的實(shí)時(shí)觀測(cè)；在現(xiàn)代軍事行動(dòng)中，越來(lái)越要求光學(xué)成像系統(tǒng)能夠及時(shí)獲取戰(zhàn)場(chǎng)大范圍內(nèi)的詳細(xì)情報(bào)，以滿足對(duì)軍事目標(biāo)探測(cè)、識(shí)別、偵測(cè)和戰(zhàn)場(chǎng)態(tài)勢(shì)感知的需要。在現(xiàn)代生物學(xué)領(lǐng)域中，隨著研究重點(diǎn)已經(jīng)由生命體的形態(tài)學(xué)表型探測(cè)逐步轉(zhuǎn)向了細(xì)胞和分子基本機(jī)制的定量測(cè)量，這種格局的轉(zhuǎn)變直接導(dǎo)致對(duì)生物光學(xué)成像中信息通量的需求在不斷增加[3]。例如，神經(jīng)元作為大腦和神經(jīng)系統(tǒng)的基礎(chǔ)組成部分，它的大小通常是微米量級(jí)的，但它的功能連接范圍遍及了整個(gè)大腦，想要研究整個(gè)神經(jīng)系統(tǒng)的工作機(jī)理就必須同時(shí)對(duì)整個(gè)大腦內(nèi)每一個(gè)神經(jīng)元進(jìn)行高分辨率成像。再如，細(xì)胞生物學(xué)、臨床快速診斷、藥物篩選和細(xì)胞功能分析等研究應(yīng)用一方面需要對(duì)群體活細(xì)胞進(jìn)行快速無(wú)損的功能檢測(cè)，另一方面又需要針對(duì)單細(xì)胞進(jìn)行亞細(xì)胞結(jié)構(gòu)和生物分子水平的動(dòng)態(tài)功能分析以對(duì)細(xì)胞內(nèi)基本功能進(jìn)行解讀[4]。然而，復(fù)雜生物樣本的單細(xì)胞研究帶來(lái)了信息量的指數(shù)級(jí)增長(zhǎng)，伴隨而來(lái)的更大挑戰(zhàn)來(lái)自大量的生物信息的獲取。簡(jiǎn)言之就是“小個(gè)體”與“大群體”之間的矛盾。一個(gè)由數(shù)千個(gè)細(xì)胞組成的腫瘤樣本可以在基于集群的研究中進(jìn)行一次分析，而單細(xì)胞水平的研究則需要進(jìn)行數(shù)千次分析。這意味著大量的人力、時(shí)間和研究費(fèi)用。復(fù)雜生物系統(tǒng)的單細(xì)胞研究在生命科學(xué)的各個(gè)領(lǐng)域都極為重要，然而有限的技術(shù)手段和資源仍然是一個(gè)巨大的挑戰(zhàn)。因此為了研究這種擁有海量信息的生命科學(xué)系統(tǒng)，必須借助于同時(shí)具備寬視場(chǎng)和高分辨率的成像工具。

傳統(tǒng)光學(xué)成像系統(tǒng)的成像過(guò)程是一個(gè)簡(jiǎn)單直接的串行過(guò)程：場(chǎng)景經(jīng)過(guò)光學(xué)透鏡系統(tǒng)折射后聚焦投影到傳感器，傳感器像素和目標(biāo)場(chǎng)景之間通過(guò)建立“點(diǎn)對(duì)點(diǎn)”的一一對(duì)應(yīng)關(guān)系來(lái)獲取圖像，傳感器得到的數(shù)據(jù)經(jīng)過(guò)數(shù)字化處理后形成計(jì)算機(jī)可顯示的圖像。這種“所見即所得”的成像模式實(shí)質(zhì)上可以理解為場(chǎng)景強(qiáng)度信號(hào)在空間維度上的直接均勻采樣記錄與再現(xiàn)。在此過(guò)程中，成像的分辨率與信息量不可避免地受到光學(xué)衍射極限、探測(cè)器離散采樣、成像系統(tǒng)空間帶寬積（Spatial Bandwidth Product，SBP）等若干物理限制：首先，光學(xué)系統(tǒng)所能分辨的最小物體特征受限于光的衍射特性，存在瑞利-阿貝物理衍射極限。其與探測(cè)光波的波長(zhǎng)與成像系統(tǒng)的孔徑密切相關(guān)，無(wú)論使用何種光學(xué)儀器，都很難對(duì)尺寸小于半個(gè)波長(zhǎng)（約為200 nm）的微小特征清晰成像。其次，像素是組成數(shù)字圖像的最小單元，像素?cái)?shù)量越多且越細(xì)膩，圖像承載的信息量就越大，因此像素?cái)?shù)量是影響圖像品質(zhì)的重要因素。但受到探測(cè)能效、制作工藝、工作條件、光電串?dāng)_、功耗成本等因素的限制，光電探測(cè)器的像元尺寸無(wú)法無(wú)限制縮小，規(guī)模也無(wú)法無(wú)限制擴(kuò)大。最后，對(duì)于一個(gè)成像系統(tǒng)而言，成像視場(chǎng)越大、分辨率越高，有效像素?cái)?shù)量就越多，圖像中包含的信息量也就越大。但現(xiàn)有光學(xué)成像系統(tǒng)受拉格朗日不變量等因素的制約，空間帶寬積大多僅在百萬(wàn)至千萬(wàn)像素量級(jí)[2,5-6]。而天文觀測(cè)、航空航天、生命科學(xué)、軍事國(guó)防等領(lǐng)域迫切需要成像系統(tǒng)滿足寬畫幅、跨尺度成像，其所需的成像信息量往往要達(dá)到億像素甚至十億像素級(jí)，這是傳統(tǒng)成像系統(tǒng)的數(shù)十到數(shù)百倍。綜上所述，基于“所見即所得”的傳統(tǒng)成像技術(shù)因受光學(xué)衍射極限、探測(cè)器離散采樣、成像系統(tǒng)空間帶寬積等若干物理?xiàng)l件的制約，無(wú)法滿足當(dāng)今軍事和民用領(lǐng)域?qū)Ω叻直媛?、寬視?chǎng)成像應(yīng)用日益增長(zhǎng)的需求。

計(jì)算光學(xué)成像技術(shù)將前端物理域的光學(xué)調(diào)控與后端數(shù)字域的信息處理進(jìn)行有機(jī)結(jié)合，為突破傳統(tǒng)成像技術(shù)的諸多限制性因素提供了新手段與新思路[7-8]。近年來(lái)，計(jì)算光學(xué)成像已發(fā)展為一門集信息光學(xué)、現(xiàn)代信號(hào)處理、計(jì)算光學(xué)、幾何光學(xué)等理論于一體的新興交叉技術(shù)研究領(lǐng)域，成為國(guó)際上光學(xué)成像領(lǐng)域的研究重點(diǎn)和熱點(diǎn)，代表了先進(jìn)光學(xué)成像技術(shù)的未來(lái)發(fā)展方向。盡管計(jì)算成像的概念形成于20世紀(jì)90年代中期，但從本質(zhì)上而言它并不能算是什么“新事物”。作為20世紀(jì)最偉大的工作之一，信息論應(yīng)用概率論、隨機(jī)過(guò)程、傅立葉分析等數(shù)學(xué)手段定量分析信號(hào)的采集、處理及傳輸?shù)囊话阋?guī)律。正如其奠基者C.E. Shannon的著名論文A Mathematical Theory of Communication中所說(shuō)[9]：“通信的基本問(wèn)題就是在一點(diǎn)重新準(zhǔn)確地或近似地再現(xiàn)另一點(diǎn)所選擇的信息”。從信息論的觀點(diǎn)看來(lái)，聲學(xué)、電學(xué)和光學(xué)系統(tǒng)都是用來(lái)傳遞信息的，電學(xué)系統(tǒng)傳遞隨時(shí)間變化的電訊號(hào)，而光學(xué)系統(tǒng)傳遞隨空間變化的圖像[10]。在一個(gè)典型的通信系統(tǒng)中，信源消息通過(guò)信源編碼，信道編碼，然后由調(diào)制器加載到載波調(diào)制信號(hào)上通過(guò)信道進(jìn)行傳輸。在信道的另一端，信號(hào)將先經(jīng)過(guò)解調(diào)，然后在通過(guò)信道解碼、信源解碼后送到信宿處。經(jīng)過(guò)比較可以直觀地看出，近年來(lái)快速發(fā)展的計(jì)算光學(xué)成像技術(shù)正是信息論在光學(xué)成像領(lǐng)域的應(yīng)用和拓展——場(chǎng)景或物體相當(dāng)于通信系統(tǒng)中的信源，成像系統(tǒng)相當(dāng)于信道，最后重建得到的圖像相當(dāng)于信宿。而光信息學(xué)，即信息光學(xué)就是通信理論中傅立葉分析等一系列數(shù)學(xué)思想以及系統(tǒng)理論與光學(xué)（主要是波動(dòng)光學(xué)）相結(jié)合的產(chǎn)物，其研究的是光信號(hào)表征、采集、分析、處理以及在自由空間與光學(xué)系統(tǒng)中傳輸?shù)囊话阋?guī)律。

信息光學(xué)起源可以追溯到原始光學(xué)初期，但獲得迅速發(fā)展還是最近半個(gè)多世紀(jì)的事，這得益于20世紀(jì)幾項(xiàng)重要的發(fā)明：信號(hào)傳輸與通訊、激光與光全息、光電信號(hào)數(shù)字化以及數(shù)字信號(hào)處理技術(shù)。而20世紀(jì)末計(jì)算成像概念的興起與快速發(fā)展又得益于“可調(diào)控”光學(xué)器件——包括光源（波長(zhǎng)調(diào)諧激光器、可編程LED陣列、可編程LCD面板）、光學(xué)元件（掃描振鏡、變焦透鏡）、空間光調(diào)制器（SLM，DMD，LCOS）等的出現(xiàn)、先進(jìn)高分辨高靈敏度光電傳感器（sCMOS、EMCCD、SPAD、TOF、偏振相機(jī)）、數(shù)據(jù)處理能力日益提升，存儲(chǔ)空間日益遞增的計(jì)算機(jī)/并行處理計(jì)算單元、以及最優(yōu)化理論、壓縮感知、深度學(xué)習(xí)等新型數(shù)學(xué)與算法工具三方面的并行發(fā)展與無(wú)縫結(jié)合。光電器件、計(jì)算機(jī)與微處理器的計(jì)算性能仍然會(huì)在接下來(lái)的若干年內(nèi)借助于“摩爾定律”的慣性（盡管并非嚴(yán)格遵守）持續(xù)增長(zhǎng)。而正在孕育中的新型光學(xué)器件、光場(chǎng)調(diào)控機(jī)制、高性能圖像傳感器、數(shù)學(xué)算法與工具、并行/云/光/量子計(jì)算、人工智能技術(shù)必將為計(jì)算成像技術(shù)的未來(lái)發(fā)展注入新的活力。如今，計(jì)算光學(xué)成像已發(fā)展為一門集信息光學(xué)、計(jì)算機(jī)視覺(jué)、計(jì)算光學(xué)、現(xiàn)代信號(hào)處理、幾何光學(xué)等理論于一體的新興交叉技術(shù)研究領(lǐng)域。

這里值得提及的是，“成像中的計(jì)算”與“計(jì)算成像”有著本質(zhì)的不同。計(jì)算成像雖然被稱為“計(jì)算”成像，但其核心仍在于前端（物理域）的光學(xué)調(diào)控機(jī)制與成像系統(tǒng)表征，其從根本上決定了后端（數(shù)字域）信息處理技術(shù)所能解譯與反演的信息量。簡(jiǎn)言之，如果成像系統(tǒng)前端所獲取的原始信號(hào)（大部分情況是強(qiáng)度信息）的正向模型不明確或者數(shù)據(jù)不理想，僅依靠后端圖像處理技術(shù)很難加以彌補(bǔ)。因?yàn)樾畔⒉⒉粫?huì)憑空產(chǎn)生（這對(duì)當(dāng)下非常流行的深度學(xué)習(xí)技術(shù)也適用），正所謂“巧婦難為無(wú)米之炊”[8]。因此，通過(guò)將前端（物理域）的光學(xué)調(diào)控與后端（數(shù)字域）信息處理的有機(jī)結(jié)合，計(jì)算光學(xué)成像對(duì)照明、成像系統(tǒng)進(jìn)行光學(xué)編碼與數(shù)學(xué)建模，以計(jì)算重構(gòu)的方式獲取圖像與信息。這種新型的成像方式將有望突破傳統(tǒng)光學(xué)成像技術(shù)對(duì)光學(xué)系統(tǒng)以及探測(cè)器制造工藝、工作條件、功耗成本等因素的限制，使其在功能（相位、光譜、偏振、光場(chǎng)、相干度、折射率、三維形貌、景深延拓，模糊復(fù)原，數(shù)字重聚焦，改變觀測(cè)視角）、性能（空間分辨、時(shí)間分辨、光譜分辨、信息維度與探測(cè)靈敏度）、可靠性、可維護(hù)性等方面獲得顯著提高。正如本文的標(biāo)題所示，這里所著重探討的主題是光學(xué)成像系統(tǒng)的分辨率、超分辨率與空間帶寬積拓展，這顯然是計(jì)算光學(xué)成像技術(shù)所重點(diǎn)涉及的范疇。

另一方面我們不得不承認(rèn)，由于缺乏系統(tǒng)性的理論體系與框架支撐，現(xiàn)階段的計(jì)算光學(xué)成像并不能被稱為一門系統(tǒng)性的光學(xué)分支學(xué)科。更準(zhǔn)確地說(shuō)，它可以被認(rèn)為是一種對(duì)各類新興光學(xué)成像機(jī)理“后知后覺(jué)”地總結(jié)歸納與抽象概括，并為人們提供了一個(gè)“包羅萬(wàn)象”的通用框架。例如，分辨率提升、超分辨率與空間帶寬積拓展技術(shù)相關(guān)的研究可以追溯到20世紀(jì)中葉（例如合成孔徑雷達(dá)，CT等技術(shù)），其歷史甚至早于人類第一個(gè)數(shù)字-光學(xué)成像系統(tǒng)——電荷耦合器件（CCD）相機(jī)的發(fā)明（20世紀(jì)70年代中葉）。而超分辨成像技術(shù)，特別是熒光超分辨顯微成像技術(shù)基于結(jié)構(gòu)光照明、受激發(fā)射損耗[11]與熒光分子的光開關(guān)效應(yīng)[12-14]等新穎光學(xué)調(diào)控機(jī)制，光學(xué)顯微鏡的衍射極限已被大幅突破，使光學(xué)顯微鏡的分辨率達(dá)到了納米尺度。2014年，諾貝爾化學(xué)獎(jiǎng)分別授予Eric Betzig, Stefan W. Hell 以及William E. Moerner三位科學(xué)家，以表彰他們?cè)诔直鏌晒怙@微成像技術(shù)方面的重大貢獻(xiàn)。顯然上述光學(xué)成像技術(shù)所取得的巨大成就是獨(dú)立于 “計(jì)算成像” 領(lǐng)域所取得的。它們都源于本身所處于的學(xué)科方向，在實(shí)踐中逐漸發(fā)展且逐漸形成了獨(dú)具特色的系統(tǒng)理論與技術(shù)體系。但不可否認(rèn)的是，這種基于個(gè)案（case-by-case）的研究方式難以揭示那些看似獨(dú)立的成像方法之間的本質(zhì)物理機(jī)理和內(nèi)在關(guān)聯(lián)。

本文標(biāo)題的后半部分“從計(jì)算光學(xué)成像角度的一些思考”恰好闡明了本文的核心立場(chǎng)——通過(guò)將這些新型光學(xué)成像的具體個(gè)案置入“計(jì)算光學(xué)成像”這個(gè)更高維度的體系框架去分析與探討，有望更深入系統(tǒng)地解釋這些成像技術(shù)背后的物理學(xué)與光信息學(xué)本質(zhì)，這將有望為設(shè)計(jì)和探索面向各類復(fù)雜現(xiàn)實(shí)成像應(yīng)用的新型成像機(jī)理與方法提供有益的啟示。值得說(shuō)明的是，本文與我們不久前在《紅外與激光工程》中所發(fā)表的綜述“計(jì)算光學(xué)成像：何來(lái)，何處，何去，何從？”[8]側(cè)重點(diǎn)有所區(qū)別。它并不力求面面俱到，而旨在反映一個(gè)核心思想——大多數(shù)提升分辨率，或者說(shuō)“超分辨”及拓展空間帶寬積的計(jì)算光學(xué)成像方法，它們本質(zhì)上只是在若干物理機(jī)制的限制下，在“得”與“失”之間做出符合規(guī)律的權(quán)衡與選擇，或者形象地說(shuō)——"戴著腳鐐跳舞"。這也從側(cè)面印證了，在沒(méi)有足夠恰當(dāng)?shù)膭?dòng)機(jī)和緣由的情況下，濫用“超分辨”一詞是存在一定隱患的。因?yàn)槠浜雎粤嗽谔岣叱上穹直媛蔬^(guò)程不可避免的基本“權(quán)衡”以及所需要付出的“代價(jià)”。

基于上述認(rèn)識(shí)，本文“分辨率、超分辨率與空間帶寬積拓展——從計(jì)算光學(xué)成像角度的一些思考”，概括性地介紹了分辨率、超分辨率與空間帶寬積的相關(guān)基礎(chǔ)理論，核心機(jī)理及其在計(jì)算光學(xué)成像中的若干實(shí)例。在第一章到第三章中，首先簡(jiǎn)要介紹分辨率與空間帶寬積的基本概念與背景知識(shí)。對(duì)于一個(gè)成像系統(tǒng)而言，分辨率主要受限于光學(xué)系統(tǒng)衍射與探測(cè)器離散采樣兩方面。前者稱為光學(xué)分辨率，受衍射極限影響；后者稱為圖像分辨率，受采樣極限影響；二者共同決定了成像系統(tǒng)的解析力。而空間帶寬積主要取決于成像系統(tǒng)的自由度，其可在相空間中簡(jiǎn)潔明了地可視化。第四章至第七章中，以Lukosz的超分辨原則[15-16]與Papoulis廣義抽樣[17-18]理論為出發(fā)點(diǎn)，闡述大部分提高成像分辨率的計(jì)算成像方法從本質(zhì)上都可以被理解為一種 “空間帶寬積調(diào)控”策略，即利用成像系統(tǒng)的可用自由度，在成像系統(tǒng)有限空間帶寬積的限制下，以最佳方式進(jìn)行編解碼和傳遞信息的過(guò)程，并基于此分類對(duì)典型的超分辨率與空間帶寬積擴(kuò)展的計(jì)算成像方法進(jìn)行了概述。最后，在第八章中針對(duì)若干未來(lái)重要的發(fā)展方向進(jìn)行展望，并給出了本文的總結(jié)性評(píng)論。

2 光學(xué)分辨率與衍射極限

圖像的空間分辨率是對(duì)圖像細(xì)節(jié)分辨能力的衡量，是評(píng)價(jià)成像系統(tǒng)圖像質(zhì)量的關(guān)鍵指標(biāo)，也是成像系統(tǒng)實(shí)際應(yīng)用中應(yīng)考慮的一個(gè)關(guān)鍵參數(shù)。成像系統(tǒng)的分辨率主要包括光學(xué)分辨率（衍射極限）與圖像分辨率（像素尺寸）。二者共同成為光學(xué)成像系統(tǒng)空間分辨率的兩大制約因素。光學(xué)分辨率本質(zhì)上與光學(xué)系統(tǒng)的孔徑大小以及用于觀察樣本標(biāo)本的光波長(zhǎng)有關(guān)。在表征光學(xué)分辨率時(shí)，通常需要考慮三個(gè)數(shù)學(xué)概念：‘艾里斑’、‘瑞利判據(jù)’、‘阿貝衍射極限’，它們分別從不同的角度衡量成像系統(tǒng)的分辨能力。以下按歷史時(shí)間順序逐一對(duì)這些術(shù)語(yǔ)進(jìn)行解釋。

2.1 空域單點(diǎn)準(zhǔn)則——艾里斑（1835）

對(duì)于一個(gè)理想光學(xué)系統(tǒng)來(lái)說(shuō)，一個(gè)無(wú)窮小的點(diǎn)物經(jīng)過(guò)光學(xué)系統(tǒng)后，仍然會(huì)在像面匯聚為一個(gè)理想點(diǎn)。然而，在實(shí)際成像系統(tǒng)中，由于光的衍射現(xiàn)象，通過(guò)光學(xué)系統(tǒng)的點(diǎn)狀物體最終會(huì)被成像為一個(gè)點(diǎn)狀光斑，稱為“艾里斑”?！鞍锇摺笔怯捎?guó)數(shù)學(xué)家和天文學(xué)家G. B. Airy得名而來(lái)的。1835年，他在劍橋哲學(xué)學(xué)會(huì)學(xué)報(bào)上發(fā)表了一篇題為《有關(guān)圓孔徑物鏡的衍射》的論文[19]。論文以一個(gè)天文學(xué)家的視角描述了通過(guò)一個(gè)精良的望遠(yuǎn)鏡觀察到的恒星周圍的光環(huán)或者射線的形狀及亮度。盡管該文章是從天文學(xué)的角度去闡述的結(jié)論，但該結(jié)論對(duì)其他光學(xué)系統(tǒng)，特別是顯微鏡具有普適意義。圖1為艾里斑的典型現(xiàn)象。如圖1所示，艾里斑（Airy Disc）是在衍射限制的系統(tǒng)中由圓形孔徑形成的聚焦的光點(diǎn)，其呈現(xiàn)為中央為亮點(diǎn)、周圍是明暗相間的同心環(huán)。衍射圖案由光的波長(zhǎng)和光所通過(guò)的孔徑大小決定。艾里斑的中心點(diǎn)含有大約83.8%的光強(qiáng)，第一個(gè)光強(qiáng)過(guò)零點(diǎn)出現(xiàn)在的位置如式(1)所示：

圖1 艾里斑的典型現(xiàn)象，由其中心的最亮光點(diǎn)和環(huán)繞的衍射環(huán)組成Fig. 1 The typical phenomenon of an Airy spot consists of the brightest spot at its center and the surrounding diffraction ring

其中：λ表示波長(zhǎng)，F(xiàn)# 為 成像系統(tǒng)的F數(shù)，NA為成像系統(tǒng)的數(shù)值孔徑，其余16%的光強(qiáng)分布于環(huán)繞該點(diǎn)的衍射圖案中。

“艾里斑”基于空域單點(diǎn)準(zhǔn)則來(lái)衡量成像系統(tǒng)的分辨能力，它說(shuō)明對(duì)于一個(gè)理想物點(diǎn)，即使采用一個(gè)沒(méi)有像差的完善的透鏡或光學(xué)系統(tǒng)成像，也得不到理想的幾何像點(diǎn)，而僅能得到一個(gè)由孔徑與波長(zhǎng)決定的衍射光斑，這正是光學(xué)衍射與有限孔徑效應(yīng)的影響。光學(xué)分辨率與光學(xué)系統(tǒng)孔徑成正比，與照明光源波長(zhǎng)成反比，增加光學(xué)孔徑，或者采用波長(zhǎng)較短的光照明，都可提高分辨率。然而，艾里斑是從空域單點(diǎn)強(qiáng)度成像特性來(lái)衡量成像系統(tǒng)分辨能力的準(zhǔn)則，其又被稱為（光強(qiáng)）點(diǎn)擴(kuò)散函數(shù)，通常用于描述非相干成像系統(tǒng)的成像特性。當(dāng)然，實(shí)際成像中通常物體并不是一個(gè)理想點(diǎn)，而是可以看作無(wú)限密集的點(diǎn)目標(biāo)的集合，成像系統(tǒng)觀察時(shí)圖像也是由許多光點(diǎn)組合而成的。因此，相比較采用單個(gè)光點(diǎn)的“艾里斑”準(zhǔn)則，采用兩點(diǎn)分辨能力的“瑞利判據(jù)”或許是更妥當(dāng)?shù)姆绞健?/p>

2.2 空域兩點(diǎn)準(zhǔn)則——“瑞利判據(jù)”（1896）

Rayleigh以Airy的理論為基礎(chǔ)進(jìn)一步延伸，于1896年創(chuàng)造了“瑞利判據(jù)”理論（Rayleigh Criterion）[20]。瑞利判據(jù)在衍射極限系統(tǒng)當(dāng)中定義了分辨率極限，換言之，就是何時(shí)能夠?qū)?個(gè)光點(diǎn)相互區(qū)分或分辨開。如圖2（彩圖見期刊電子版）所示，當(dāng)兩個(gè)物點(diǎn)相距較遠(yuǎn)時(shí)，兩個(gè)像斑也相距較遠(yuǎn)，此時(shí)兩個(gè)物點(diǎn)可以被分辨，若兩個(gè)物點(diǎn)相距很近，使得兩個(gè)像斑重疊而混為一體，此時(shí)兩個(gè)物點(diǎn)就不能再分辨了。瑞利提出了這樣一個(gè)距離分辨標(biāo)準(zhǔn) δRayleigh：當(dāng)一個(gè)艾里斑的邊緣與另一個(gè)艾里斑的中心恰好重合時(shí)，此時(shí)對(duì)應(yīng)的兩個(gè)物點(diǎn)剛好能被人眼或光學(xué)儀器所分辨，這個(gè)判據(jù)稱為瑞利判據(jù)，用公式表示即：

圖2 “瑞利判據(jù)”的可視化表達(dá)。(a) 成像系統(tǒng)最小可分辨距離（光學(xué)角分辨率）與成像系統(tǒng)的孔徑成反比。(b-d) 兩個(gè)非相干的點(diǎn)目標(biāo)在不同間距下所能拍攝到的艾里斑圖像Fig. 2 Visual representation of the "Rayleigh criterion". (a) The minimum resolvable distance (optical angular resolution) of the imaging system is inversely proportional to the aperture of the imaging system. (b-d) Airy spot images of two noncoherent point targets at different spacings

假設(shè)兩個(gè)艾里斑的峰值強(qiáng)度為1，中心凹陷位置的強(qiáng)度為0.735。根據(jù)瑞利判據(jù)，兩個(gè)恰好能夠分辨的衍射焦斑的明暗對(duì)比度的極限值是0.153。Rayleigh選擇的標(biāo)準(zhǔn)是基于人類的視覺(jué)系統(tǒng)，并為觀察者提供足夠的對(duì)比度，以區(qū)分圖像中的兩個(gè)獨(dú)立物點(diǎn)。值得說(shuō)明的是，瑞利判據(jù)嚴(yán)格意義上并不是一個(gè)基本的物理定律，而是一個(gè)有些主觀定義的值，這一點(diǎn)由其本人在1879年的論文中明確指出[21]。當(dāng)滿足瑞利判據(jù)，即當(dāng)兩個(gè)物點(diǎn)剛能分辨時(shí)，其對(duì)透鏡中心的張角為最小分辨角：

其中D為光學(xué)系統(tǒng)的口徑，f為光學(xué)系統(tǒng)的焦距，它正好與艾里斑對(duì)透鏡中心的張角相等。即對(duì)某種光學(xué)系統(tǒng)而言，一個(gè)物點(diǎn)通過(guò)其成的像斑越小，其分辨率才越高。正如之前所述，鑒于“分辨率”本身的含義就存在主觀性與不確定性，瑞利判據(jù)因其簡(jiǎn)單方便而被人們廣泛采納，已經(jīng)成為衡量光學(xué)系統(tǒng)分辨率的最普遍的定義之一。

2.3 頻域線對(duì)準(zhǔn)則——“阿貝衍射極限”（1873）

“阿貝衍射極限”是由德國(guó)數(shù)學(xué)家和物理學(xué)家E. K. Abbe而得名[22]。他與Carl Zeiss共同創(chuàng)立了“蔡司光學(xué)工作室”，即現(xiàn)在的蔡司公司，對(duì)光學(xué)顯微鏡的設(shè)計(jì)和理論做出了開創(chuàng)性的貢獻(xiàn)。除此之外，Abbe還是定義數(shù)值孔徑這一術(shù)語(yǔ)的首位學(xué)者：

式中n為 成像介質(zhì)的折射率，α是物鏡孔徑角的一半。當(dāng)成像介質(zhì)為空氣（折射率n=1），則數(shù)值孔徑僅取決于所述孔徑角的最大值（90°），即NA=sin90o=1。這是空氣作為成像介質(zhì)數(shù)值孔徑（使用“干”顯微物鏡）的理論最大值。想要使數(shù)值孔徑突破1，必須提升成像介質(zhì)的折射率，如采用水（折射率1.33），甘油（折射率1.47）和浸油（折射率1.51）等。

1873年，Abbe發(fā)表了他關(guān)于顯微鏡圖像生成的開創(chuàng)性論文“Beitr?ge zur Theorie des Mikroskops und der mikroskopischen Wahrnehmung”（對(duì)顯微鏡理論和顯微視覺(jué)性質(zhì)的貢獻(xiàn)）[22]，提出了自己對(duì)光學(xué)成像系統(tǒng)原理的理解[22]：物是一系列具有不同空間頻率二維光柵的集合，入射光經(jīng)物平面發(fā)生夫瑯和費(fèi)衍射，在透鏡焦面（頻譜面）上形成一系列衍射光斑，各衍射光斑發(fā)出的球面次波在像面上相干疊加，從而形成圖像，如圖3（彩圖見期刊電子版）所示。這就是著名的阿貝成像原理，其顯式地將成像過(guò)程分為兩步：分頻與合成。而其中成像系統(tǒng)對(duì)分辨率的限制作用就體現(xiàn)在頻譜面的低通濾波效應(yīng)：物體包含從低頻到高頻的信息，透鏡口徑限制了高頻信息通過(guò)，只許一定的低頻信息通過(guò)，高頻信息不能參與成像。因此，丟失了高頻信息的光束再合成導(dǎo)致圖像細(xì)節(jié)模糊。對(duì)于非相干成像系統(tǒng)而言，這個(gè)低通濾波器的截止頻率為：

圖3 阿貝成像原理顯式將成像過(guò)程分為兩步：分頻與合成Fig. 3 The Abbe imaging principle explicitly divides the imaging process into two steps: frequency division and synthesis

其所對(duì)應(yīng)的空域光柵線對(duì)的最小可分辨間距為

阿貝成像原理的意義在于：它基于傅立葉分析的理論來(lái)描述成像系統(tǒng)的成像過(guò)程，構(gòu)成了傅立葉光學(xué)中成像系統(tǒng)分析的基石，也啟發(fā)人們通過(guò)改造頻譜的方法來(lái)進(jìn)行光信息的調(diào)控與處理。

2.4 對(duì)光學(xué)衍射極限準(zhǔn)則的探討——常數(shù)游戲?

注意由阿貝成像原理所定義的“阿貝衍射極限”相比較瑞利判據(jù)而言系數(shù)上有些差異（常數(shù)系數(shù)為0.5而非0.61），這個(gè)值幾乎對(duì)應(yīng)于點(diǎn)擴(kuò)散函數(shù)的半高寬（Full Width at Half Maximum, FWHM）。

這背后有兩方面因素：一是阿貝衍射極限是以周期光柵線對(duì)間距，而非兩點(diǎn)間距作為分辨率判別準(zhǔn)則的。盡管光柵線對(duì)間距也表示空間距離，但其本質(zhì)上還是空間頻率的等效表達(dá)，這與基于空域兩點(diǎn)準(zhǔn)則的瑞利判據(jù)從本質(zhì)上是有所區(qū)別的。而且其最小可分辨間距衡量的是低通濾波器的截止頻率（濾波器頻域支持域，也就是非零的邊界），這忽略了對(duì)比度的限制，因此是一種非常理想的情況。而瑞利判據(jù)中定義兩點(diǎn)可分辨的明暗對(duì)比度的極限值是 0.153，這顯然要比阿貝衍射極限更加苛刻一些，從而最小可分辨距離的值也就更大一些。值得提及的，如果將此對(duì)比度進(jìn)一步從0.153放寬到極限值0，也就是兩個(gè)艾里斑恰好完全重合成為一個(gè)平頂包絡(luò)時(shí)，此時(shí)的兩點(diǎn)分辨率判據(jù)稱為斯派羅判據(jù)（Sparrow Criterion）[23]，可表示為

這個(gè)值更接近于從“阿貝衍射極限”公式中得到的最小可分辨線對(duì)間距（式(6)）。圖4（彩圖見期刊電子版）用一個(gè)實(shí)例給出了這些不同方法所得的分辨率判據(jù)的計(jì)算方法與差異。當(dāng)使用510 nm的綠光及NA為1.4的油浸物鏡時(shí)，基于瑞利判據(jù)的分辨率極限為222 nm，基于斯派羅判據(jù)的分辨率極限為171 nm，基于阿貝衍射極限判據(jù)的分辨率極限為182 nm，基于半高寬的分辨率極限為186 nm。

圖4 艾里斑(a)與4個(gè)常用的分辨率度量準(zhǔn)則（即Rayleigh (b)、 Sparrow (c)、 Abbe (d)和FWHM (e)）?；疑退{(lán)色的曲線代表試樣中不同點(diǎn)的單個(gè)強(qiáng)度變化，其中垂直（y-）軸是強(qiáng)度，水平（x-）軸是各點(diǎn)之間的橫向間隔。下圖上方的曲線描述了所述的對(duì)強(qiáng)度分布的單獨(dú)貢獻(xiàn)，而下方的曲線展示了由各自上方曲線中的每個(gè)單獨(dú)成分形成的疊加強(qiáng)度曲線Fig. 4 Airy spot (a) and 4 widely-utilized criterion (i.e., Rayleigh (b), Sparrow (c), Abbe (d), and FWHM (e)) for resolution computation. The gray and blue curves represent the individual intensity variations at different points in a specimen where the vertical (y-) axis is the intensity and the horizontal (x-) axis is the lateral separation between the points. The bottom plots describe the individual contributions to the intensity distribution while the top plots illustrate a super-imposed intensity profile formed by each of the individual components in the respective bottom plots

2.5 對(duì)光學(xué)分辨率的進(jìn)一步探討——傳遞函數(shù)理論與相干性

如前所述，從信息論的觀點(diǎn)看來(lái)，光學(xué)系統(tǒng)傳遞的是隨空間變化的圖像。而光信息學(xué)，即信息光學(xué)，或傅立葉光學(xué)就是通信理論中傅立葉分析等一系列數(shù)學(xué)思想以及系統(tǒng)理論與光學(xué)（主要是波動(dòng)光學(xué)）相結(jié)合的產(chǎn)物，其研究的是光信號(hào)表征、采集、分析、處理以及在自由空間與光學(xué)系統(tǒng)中傳輸?shù)囊话阋?guī)律。J. W. Goodman的《傅立葉光學(xué)導(dǎo)論》[24]與《統(tǒng)計(jì)光學(xué)》[25]是這個(gè)領(lǐng)域最為重要的著作。它們分別利用傅立葉分析與概率統(tǒng)計(jì)的數(shù)學(xué)工具對(duì)不同相干態(tài)的光進(jìn)行表述，并深刻揭示了它們干涉、衍射、偏振及成像等光學(xué)現(xiàn)象的本質(zhì)規(guī)律。

從空域來(lái)看，任何載有物體或者場(chǎng)景信息的復(fù)雜光場(chǎng)信號(hào)，在空間域都可以看作不同統(tǒng)計(jì)特性（關(guān)聯(lián)性）的點(diǎn)源（球面波）的組合；從頻域來(lái)看，該復(fù)雜光場(chǎng)信號(hào)又可以看作各種空間頻率（角度）的正/余弦或復(fù)指數(shù)函數(shù)（平面波）的集合（角譜）。光學(xué)系統(tǒng)（當(dāng)然也包括自由空間）對(duì)輸入的物空間的響應(yīng)程度是通過(guò)空域點(diǎn)擴(kuò)散函數(shù)來(lái)度量的，而光學(xué)系統(tǒng)對(duì)輸入的物空間頻率響應(yīng)程度是通過(guò)頻域的光學(xué)傳遞函數(shù)（OTF）來(lái)度量的，二者互為傅立葉變換。因此，一個(gè)光學(xué)成像系統(tǒng)的性能可直觀且定量地通過(guò)光學(xué)傳遞函數(shù)（或等價(jià)點(diǎn)擴(kuò)散函數(shù)）來(lái)體現(xiàn)。這種空間域與頻率域的分析方式為分析成像系統(tǒng)的衍射極限提供了相互聯(lián)系又有所區(qū)別的獨(dú)特視角。

在本小節(jié)中，我們將目光從點(diǎn)擴(kuò)散函數(shù)轉(zhuǎn)向光學(xué)傳遞函數(shù)，因?yàn)榛诳臻g頻率域的光學(xué)傳遞函數(shù)理論不僅能給出分辨率的極限值，還能夠更直觀地給出目標(biāo)不同空間頻率信息的對(duì)比度傳遞值，因此逐漸成為評(píng)價(jià)光學(xué)成像系統(tǒng)像質(zhì)的主要方法

OTF完全表征了系統(tǒng)的成像特性，即反映系統(tǒng)對(duì)不同空間頻率正弦波分量的通過(guò)能力。其模通常稱為調(diào)制傳遞函數(shù)或?qū)Ρ葌鬟f函數(shù)MTF，它表示被成像系統(tǒng)傳遞的不同空間頻率成分調(diào)制度（或?qū)Ρ榷龋┧p的情況； O TF的相位由相位傳遞函數(shù)PTF表示，它表示被成像系統(tǒng)傳遞的空間頻率在像面上相對(duì)其理想位置的偏移。如圖5（彩圖見期刊電子版）所示，OTF的作用在空域中等價(jià)于點(diǎn)擴(kuò)散函數(shù)（PSF）和組成理想物函數(shù)各空間頻率的卷積，該卷積效應(yīng)會(huì)導(dǎo)致圖像對(duì)比度的衰減（取決于MTF）或圖像位置的偏移（取決于PTF）。值得注意的是，還可以將OTF利用歐拉公式展開：

圖5 OTF 的幅值和相位成分。（a）表示 OTF 對(duì)強(qiáng)度調(diào)制的影響，即對(duì)比度的影響；（b）表示OTF對(duì)空間分布的影響。（c）OTF的大小完全取決于正弦波模式的最小強(qiáng)度（IMIN）與最大強(qiáng)度（IMAX）的相對(duì)大小。為了納入可能的相移的影響，OTF是在復(fù)數(shù)坐標(biāo)的單位圓內(nèi)構(gòu)建的，其實(shí)部和虛部反映了相移的大小，在這些坐標(biāo)中，OTF 的實(shí)部和虛部的平方根給出，因此保持單位值，與相移無(wú)關(guān)Fig. 5 The magnitude and phase of the OTF. The former expresses the effect on intensity modulation, i.e., contrast (a), and the latter is the spatial distribution (b). OTF magnitude depends solely on the relative magnitude of the minimum intensity(IMIN) of the sinusoidal pattern vs. its maximum (IMAX). To incorporate the effect of a possible phase shift, OTF is constructed within a unit circle in complex coordinates, with its real and imaginary parts reflecting the magnitude of phase shift, but not the OTF magnitude itself, which is in these coordinates given by a square root of the sum of squared real and imaginary parts of OTF, therefore remaining unit value independent of the phase shift (c)

右邊的兩個(gè)因子分別為OTF的實(shí)部和虛部。前者是余弦函數(shù)，在空間頻率為零時(shí)值為1，而后者為0。當(dāng)PSF徑向?qū)ΨQ分布時(shí)（即光學(xué)系統(tǒng)與像差函數(shù)具有徑向?qū)ΨQ性，如散焦、球差的情況），其傅立葉變換的虛部為0。反之，當(dāng)PSF徑向非對(duì)稱時(shí)，如成像系統(tǒng)存在彗差與像散時(shí)，OTF就會(huì)存在明顯的虛部成分。

值得注意的是，之前所討論的大多數(shù)結(jié)論都是針對(duì)非相干成像（如熒光顯微成像、攝影、遙感等）的情形，而在許多光學(xué)成像與計(jì)量學(xué)應(yīng)用中，通常需要引入主動(dòng)照明照射待測(cè)樣品：如高時(shí)空相干性的激光已成為傳統(tǒng)干涉計(jì)量與全息成像等領(lǐng)域不可或缺的重要工具；而在眾多新興的計(jì)算成像領(lǐng)域（如計(jì)算光學(xué)顯微成像），降低光源的相干性，即部分相干光源在獲得高信噪比、高分辨率圖像信息方面具有獨(dú)特優(yōu)越性[26-27]。因此，光學(xué)成像系統(tǒng)的傳遞函數(shù)理論與光場(chǎng)的相干性是密不可分的。這里由于篇幅所限，僅闡述最重要的結(jié)論部分：

對(duì)于相干成像系統(tǒng)而言，其為一個(gè)復(fù)振幅的線性系統(tǒng)，此時(shí)光學(xué)系統(tǒng)的傳遞函數(shù)被稱作相干傳遞函數(shù)。對(duì)于一個(gè)沒(méi)有像差的光學(xué)成像系統(tǒng)，其為一個(gè)理想的光瞳函數(shù)，即MTF在通帶內(nèi)恒為1，其截止頻率為

因?yàn)槔硐氲墓馔瘮?shù)通常為只有0和1兩個(gè)數(shù)值的低通濾波器（截止頻率以內(nèi)為1，截止頻率以外為0），通帶內(nèi)的空間頻率將被無(wú)衰減地通過(guò)，即成像系統(tǒng)具有很高的對(duì)比度。但是由于最終成像系統(tǒng)僅對(duì)光強(qiáng)信號(hào)敏感，所以往往只能探測(cè)到具有吸收成分的樣品。當(dāng)成像的物體具有一定的相位分布時(shí)，其復(fù)振幅分布可以近似為aei?≈a(1+i?)，必須借助于傳遞函數(shù)的虛部成分才能夠?qū)ο辔恍畔⒊上馵28-29]。如借助于基于阿貝空間濾波原理的相襯顯微技術(shù)，或者在成像系統(tǒng)中引入光學(xué)像差，如離焦等的相位恢復(fù)與定量相位成像技術(shù)（如相干衍射成像[30-31]、光強(qiáng)傳輸方程[26,32]等），亦或是通過(guò)采用非對(duì)稱照明或非對(duì)稱孔徑，以打破成像系統(tǒng)的徑向?qū)ΨQ性（如差分相襯顯微成像[33-34]、傅立葉疊層顯微成像[35-36]、四棱錐波前傳感器[37-38]、或孔徑分割/可編程顯微成像[39-40]等）。

對(duì)非相干成像系統(tǒng)而言，其為一個(gè)光強(qiáng)的線性系統(tǒng)，此時(shí)光學(xué)系統(tǒng)的傳遞函數(shù)被稱作非相干傳遞函數(shù)或光學(xué)傳遞函數(shù)?？紤]到傅立葉自相關(guān)定理，光學(xué)傳遞函數(shù)是相干傳遞函數(shù)的歸一化自相關(guān)，數(shù)學(xué)上可以通過(guò)兩個(gè)移位的光瞳函數(shù)的積分得到，其截止頻率被拓展到相干截止頻率兩倍，如圖6（彩圖見期刊電子版）所示。

圖6 相干傳遞函數(shù)和非相干光學(xué)傳遞函數(shù)的計(jì)算模型和分布剖線Fig. 6 Computational model and distribution profile of coherent transfer function and optical transfer function under incoherence imaging condition

值得注意的是，由于非相干成像物面上各點(diǎn)的振幅和相位隨時(shí)間變化的方式是彼此獨(dú)立的，統(tǒng)計(jì)無(wú)關(guān)的。盡管物面上的每一點(diǎn)通過(guò)系統(tǒng)之后仍能得到一個(gè)對(duì)應(yīng)的復(fù)振幅分布，但是由于物面是非相干的，此時(shí)的復(fù)振幅分布無(wú)法再像相干情況下被直接疊加，而僅僅對(duì)強(qiáng)度疊加。因此，非相干成像系統(tǒng)無(wú)法對(duì)物體的相位信息進(jìn)行探測(cè)。同樣注意到，光學(xué)傳遞函數(shù)的幅值隨空間頻率的增大呈現(xiàn)衰減趨勢(shì)，這意味著增大成像孔徑在獲得高分辨率的同時(shí)還會(huì)導(dǎo)致成像的高頻細(xì)節(jié)的襯度降低。

對(duì)于部分相干（介于相干與非相干之間）照明下的成像系統(tǒng)而言，情況會(huì)更為復(fù)雜一些，其嚴(yán)格的傳遞函數(shù)理論是在20世紀(jì)50年代由Hopkins基于統(tǒng)計(jì)光學(xué)原理建立起來(lái)的，揭示了成像系統(tǒng)中物體與圖像之間的關(guān)系是雙線性的，它們?cè)陬l域中的傳遞關(guān)系通過(guò)交叉?zhèn)鬟f系數(shù)（TCC）來(lái)表征[41]。然而TCC的高維特性（對(duì)于二維成像系統(tǒng)而言是個(gè)四維函數(shù)）給部分相干成像的運(yùn)算分析與計(jì)算反演都帶來(lái)了極大的不便。但幸運(yùn)地是，當(dāng)被測(cè)物滿足一階Born或Rytvo近似時(shí)，部分相干成像系統(tǒng)可以近似為一個(gè)線性系統(tǒng)[42]，物體的吸收與相位成分均可以由TCC線性部分（令其空間頻率坐標(biāo)的其中之一為0即可得到）的實(shí)部與虛部所表征，且該傳遞函數(shù)與光場(chǎng)的相干性密切相關(guān)[26,43]。其量化截止頻率由照明數(shù)值孔徑NAill與物鏡的數(shù)值孔徑NA共同決定（二者之比被定義為相干參數(shù)[26,43]）

其中在顯微鏡中，NAill通常由聚光鏡的孔徑角決定。對(duì)于吸收物體成像，物體襯度在低空間頻率處（空間頻率小于 (NA-NAill)/λ區(qū)間）沒(méi)有衰減，超過(guò)此區(qū)間將會(huì)出現(xiàn)類似非相干成像系統(tǒng)傳遞函數(shù)那樣的衰減情況，到(NA+NAill)/λ時(shí)，最終衰減為0，如圖7（彩圖見期刊電子版）所示。對(duì)于相位物體成像，基本結(jié)論與相干照明類似，同樣需要引入光學(xué)離焦像差或非對(duì)稱照明/探測(cè)，才能使傳遞函數(shù)產(chǎn)生虛部成分，從而在圖像中能夠探測(cè)到相位成分。

圖7 不同照明條件下的光學(xué)傳遞函數(shù)幾何示意圖。（a）相干與非相干成像情況（光源孔徑無(wú)窮小或大于等于物鏡孔徑）；（b）部分相干成像情況（光源孔徑小于物鏡孔徑）Fig. 7 Geometric schematic of the optical transfer function under different illumination conditions. (a) Coherent and incoherent imaging cases (source aperture is infinitely small, or is greater than or equal to the objective aperture); (b) partially coherent imaging case (source aperture is smaller than the objective aperture)

2.6 傳統(tǒng)成像系統(tǒng)中的光學(xué)分辨率限制

在此章節(jié)的最后需要提及的是，不論是相干成像、非相干成像還是部分相干成像，上節(jié)所提及的分辨率公式本質(zhì)上都是建立在阿貝衍射極限的基礎(chǔ)上的。它們都可以結(jié)合2.1～2.3節(jié)所提到的一些標(biāo)準(zhǔn)判據(jù)稍作修改，如在一些文獻(xiàn)中，部分相干照明下的瑞利衍射極限被簡(jiǎn)單地定義為[44-45]：

值得注意的是，由于瑞利衍射極限的系數(shù)1.22是在非相干成像條件下得到的結(jié)論，直接將其加以推廣顯得并不是那么嚴(yán)謹(jǐn)。當(dāng)照明的相干性較低時(shí)有NAill＞0.5NA，該推廣的精度是可以接受的。但當(dāng)照明相干性較高時(shí)，情況就變得復(fù)雜一些。由上節(jié)傳遞函數(shù)理論可知，此時(shí)不能簡(jiǎn)單地將非相干成像的結(jié)果直接遷移到部分相干成像的情況，而需要具體情況具體分析[46-47]。例如，相干照明下的瑞利衍射極限被定義為[48-50]：

這顯然比直接推廣的情況要好上不少（1.22λ/NA），這是因?yàn)殡m然截止頻率僅為非相干成像的一半，但相干成像的MTF在通帶內(nèi)沒(méi)有像非相干成像那樣的衰減，而這也間接補(bǔ)償了其兩點(diǎn)分辨能力的損失。類似地，相干照明下的斯派羅衍射極限被定義為[48-49,45]：

盡管上述工作已經(jīng)充分考慮了相干成像襯度的影響，但不得不承認(rèn)其仍然有一定的爭(zhēng)議與缺陷。正如J. W. Goodman在《傅立葉光學(xué)導(dǎo)論》所指出的[24]：相干成像下的兩點(diǎn)分辨能力還與它們之間的相位差有關(guān)。圖8顯示了相干成像下兩點(diǎn)源強(qiáng)度與它們相位差之間的關(guān)系，當(dāng)二者同相位時(shí)，強(qiáng)度無(wú)法被分辨；但二者相位差增加到π/2，二者強(qiáng)度中間出現(xiàn)了一個(gè)凹陷，圖像強(qiáng)度分布與非相干點(diǎn)源的分布相同；當(dāng)相位正交時(shí)（相位差為π），凹陷一直下降到了0點(diǎn)，從而兩個(gè)光源強(qiáng)度就被完全“解析”出來(lái)。因此，不能單一從兩點(diǎn)的強(qiáng)度圖像來(lái)判斷相干成像下的分辨率，更不能以相位正交特例來(lái)說(shuō)明相干成像下分辨率優(yōu)于非相干成像。此外，在許多計(jì)算成像技術(shù)中，圖像分辨率還依賴于所選取的成像模型、重建算法、以及噪聲與重建偽影等，這都需要對(duì)相干成像下的分辨率準(zhǔn)則進(jìn)行拓展與補(bǔ)充。如R. Horstmeyer等[51]主張采用西門子星分辨率靶標(biāo)（Siemens star target）置于成像視場(chǎng)各個(gè)位置的強(qiáng)度與相位圖像來(lái)綜合衡量其相干成像系統(tǒng)的分辨能力，如圖9所示。

圖8 相干成像下兩點(diǎn)源強(qiáng)度與它們相位差之間的關(guān)系。豎線表示兩個(gè)點(diǎn)源的位置。其中?是兩個(gè)點(diǎn)源之間的相對(duì)相位[24]Fig. 8 The relationship between the intensity of two point sources under coherent imaging and their phase difference. The vertical lines indicate the positions of the two point sources, where ? is the relative phase between the two point sources[24]

圖9 用西門子星的分辨率靶標(biāo)衡量相干成像系統(tǒng)的分辨率（波長(zhǎng) 400 nm，100× 0.8NA，像素大小1.3 μm，有泊松噪聲）[51]。（a）理想目標(biāo)圖像； （b）視場(chǎng)中心成像效果；（c）視場(chǎng)邊緣成像效果（存在像差）；（d）沿著（c）中圈出的一段圖像振幅值，周期為533 nm。由于“暗”輻條內(nèi)的噪聲值（圈出的）超過(guò)了“亮”輻條內(nèi)的值，因此不可能明確地聲稱分辨率為533 nm。（e）周期為550 nm的輻條被清晰分辨（所有輻條都通過(guò)了驗(yàn)證）Fig. 9 Simulated example of a resolution report with the Siemens star for a coherent imaging system (λ = 0.40 μm, 100×0.8 numerical aperture objective, pixel size = 1.3 μm, with Poisson noise)[50]. (a) Ideal target image. (b) Imaging effect of region in while box of (a). (c) Re-imaged target center after moving it to the edge of the sensor, where aberrations further limit effective resolution. (d) Plot of amplitude values along a segment of the blue circle in (c) at 533 nm spoke periodicity. As noisy values within ‘dark’ spokes (circled) exceed values within ‘bright’ spokes, it is not possible to unambiguously claim a resolution of 533 nm. (e) Similar plot along the red circle in (c), showing that spokes at a periodicity of 550 nm are unambiguously resolved (verified for all spokes)

雖然本節(jié)所涉及的分辨率極限的定義準(zhǔn)則有所區(qū)別，但它們背后所蘊(yùn)含的物理涵義是類似的：要提高成像系統(tǒng)的光學(xué)分辨率，標(biāo)本必須使用波長(zhǎng)更短的光來(lái)進(jìn)行觀察，或者提高光學(xué)系統(tǒng)的孔徑大?。▽?duì)于顯微鏡而言，包括照明的數(shù)值孔徑與探測(cè)的數(shù)值孔徑）。但不管怎么樣提高，其數(shù)值孔徑也是有限的，不可能把物體散射的所有光都收集到。即使能夠造出一個(gè)接近理想的物鏡，能收集到所有的遠(yuǎn)場(chǎng)散射光，這個(gè)分辨率也難以看到比波長(zhǎng)一半小的物體的細(xì)節(jié)（約在200 nm左右）[52]，這也即是傳統(tǒng)光學(xué)成像系統(tǒng)中的衍射極限限制，如圖10（彩圖見期刊電子版）。

圖10 阿貝衍射極限—— 光學(xué)成像系統(tǒng)難以看清比波長(zhǎng)一半小的物體的細(xì)節(jié)Fig. 10 Abbe diffraction limit—optical imaging systems have difficulty seeing details of objects smaller than half the wavelength

3 圖像分辨率與采樣定律

如前所述，對(duì)于任意的光學(xué)成像系統(tǒng)，其成像過(guò)程可以被表述為：光源發(fā)出的光照射樣品，經(jīng)光學(xué)系統(tǒng)衍射并在其后焦面被成像系統(tǒng)的孔徑選通并濾波，最終在圖像平面形成影像的過(guò)程。隨著從光學(xué)成像時(shí)代到光電數(shù)字化成像時(shí)代的轉(zhuǎn)變，圖像需要通過(guò)圖像傳感器件進(jìn)行數(shù)字化離散采樣和記錄。這一過(guò)程要求能夠記錄光學(xué)圖像的完整信息，以應(yīng)對(duì)后續(xù)的觀察和處理。因此，光學(xué)分辨率不再是限制成像系統(tǒng)分辨率的唯一因素，它和光電探測(cè)器件的圖像分辨率一起成為制約系統(tǒng)空間分辨率的兩大因素。

3.1 光學(xué)圖像的離散化與數(shù)字化記錄

成像數(shù)字化過(guò)程意味著對(duì)光學(xué)圖像進(jìn)行離散化采樣，以形成一系列矩陣分布的采樣網(wǎng)格。在每個(gè)采樣點(diǎn)上，局部區(qū)域內(nèi)的輻照度被積分，并被圖像傳感器所記錄。這一過(guò)程可以建模為樣本分布與系統(tǒng)點(diǎn)擴(kuò)散函數(shù)的卷積。進(jìn)一步而言，圖像強(qiáng)度在每個(gè)采樣點(diǎn)被量化，以產(chǎn)生一個(gè)整數(shù)灰度值，如圖11（彩圖見期刊電子版）所示。此過(guò)程將光學(xué)信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)并記錄，為光學(xué)成像后續(xù)的存儲(chǔ)與處理提供了數(shù)據(jù)基礎(chǔ)。圖像分辨率是衡量數(shù)字圖像代表光學(xué)系統(tǒng)記錄的模擬圖像的精細(xì)細(xì)節(jié)的程度，其核心參數(shù)在于構(gòu)建和渲染數(shù)字圖像時(shí)使用的像素尺寸和數(shù)目。在同等視場(chǎng)下，隨著數(shù)字圖像采樣和量化期間獲取的像素?cái)?shù)量增加，圖像的空間分辨率也隨之增加。理想的數(shù)字采樣過(guò)程能夠完整地記錄光學(xué)圖像的全部信號(hào)，樣本的重要信息將完好無(wú)損地被記錄并再現(xiàn)。而如果數(shù)字化采樣過(guò)程無(wú)法完整記錄光學(xué)圖像的信號(hào)，那么將會(huì)產(chǎn)生信息混疊。也就是說(shuō)，即使樣本的信號(hào)可以被光學(xué)系統(tǒng)很好地傳遞，但是傳感器的記錄過(guò)程導(dǎo)致部分信息混疊，無(wú)法呈現(xiàn)光學(xué)系統(tǒng)的所有信息。

圖11 光學(xué)圖像的離散化與數(shù)字化記錄過(guò)程。（a）原始理想光學(xué)圖像；（b）局部區(qū)域的離散采樣圖像；（c）圖（a）紅框區(qū)域的局部放大圖；（d）對(duì)應(yīng)區(qū)域的像素灰度數(shù)值Fig. 11 The process of discretization and digital recording of optical images. (a) Original ideal optical image; (b) local area discrete sampling image; (c) enlarged view of the area in the red box in (a); (d) pixel gray scale of the corresponding area

3.2 香農(nóng)-奈奎斯特（Shannon-Nyquist）采樣定理

香農(nóng)-奈奎斯特采樣定理指出在滿足兩個(gè)條件的情況下，均勻間隔的采樣點(diǎn)可以無(wú)誤差地重構(gòu)出原始信號(hào)的連續(xù)分布[53]。第一，該函數(shù)必須是有限帶寬的，這意味著它的傅立葉頻譜在某個(gè)截止頻率（稱之為截止頻率）以上的所有頻率都是零。第二，采樣間距必須滿足Nyquist所提出的奈奎斯特采樣定理：大于信號(hào)中最高頻率分量fmax的兩倍。以圖12所示的簡(jiǎn)單一維正弦波信號(hào)為例，當(dāng)采樣間距恰好滿足Nyquist采樣頻率2fmax可以采集到正確的信號(hào)周期變化，此時(shí)原信號(hào)頻譜沿頻域產(chǎn)生復(fù)制但不產(chǎn)生混疊；當(dāng)采樣間距小于Nyquist采樣頻率 2fmax時(shí)，采樣點(diǎn)無(wú)法正確反應(yīng)原周期信號(hào)，此時(shí)信號(hào)頻譜將產(chǎn)生混疊。

圖12 香農(nóng)-奈奎斯特采樣定理。（a）采樣間距恰好滿足Nyquist采樣頻率 2 fmax可以采集到信號(hào)正確的周期變化；（b）采樣間距小于Nyquist采樣頻率 2 fmax無(wú)法采集到正確的周期信號(hào)；（c）滿足Nyquist采樣頻率時(shí)，原信號(hào)頻譜沿頻域產(chǎn)生復(fù)制但不產(chǎn)生混疊；（d）不滿足Nyquist采樣頻率時(shí)信號(hào)頻譜產(chǎn)生混疊Fig. 12 Shannon-Nyquist sampling theorem. (a) The correct periodic variation of the signal can be captured when the sampling spacing exactly satisfies the Nyquist sampling frequency 2 fmax; (b) the correct periodic signal cannot be captured when the sampling spacing is less than the Nyquist sampling frequency 2 fmax; (c) when the Nyquist sampling frequency is satisfied, the original signal spectrum is replicated along the frequency domain but no aliasing occurs; (d)the signal spectrum is overlapped when the Nyquist sampling frequency is not satisfied

將香農(nóng)-奈奎斯特采樣定理拓展到光學(xué)圖像信號(hào)的離散采樣可知，當(dāng)探測(cè)器像素尺寸間距過(guò)大，或采樣過(guò)于稀疏時(shí)，即不滿足上述奈奎斯特采樣定律時(shí)，將導(dǎo)致像素混疊效應(yīng)。即探測(cè)器前光學(xué)圖像的頻譜中具有的高于Nyquist頻率（采樣頻率的一半）的高頻信息，會(huì)沿著Nyquist頻率對(duì)折混入低頻當(dāng)中而不能被恢復(fù)。香農(nóng)-奈奎斯特采樣定理表明，成像系統(tǒng)的像質(zhì)退化不僅發(fā)生在光學(xué)系統(tǒng)中，還發(fā)生在圖像數(shù)字化的過(guò)程中——像素大小和間距都會(huì)造成像質(zhì)的下降。整個(gè)系統(tǒng)的MTF是光學(xué)系統(tǒng)的MTF與傳感器的MTF的乘積。首先，像素大小會(huì)造成對(duì)比度下降。因?yàn)橐粋€(gè)像素的灰度值與它面積范圍內(nèi)光強(qiáng)的總和成正比，這類似于對(duì)原始連續(xù)光學(xué)圖像利用均值濾波器做了一次卷積。其次，像素間距形成了離散采樣，采樣頻率不足也可能會(huì)造成信息的丟失。如果假設(shè)Iin(x)為照射到探測(cè)器上的原始光學(xué)圖像，探測(cè)器陣列的像元尺寸為p，像素間距為xd，探測(cè)器所拍攝到的離散信號(hào)可以被建模為[54]：

其中：?表示卷積。

從頻域來(lái)看，該信號(hào)頻譜是經(jīng)過(guò)低通濾波的光學(xué)圖像的頻譜，即由寬度為1/p的sinc函數(shù)調(diào)制形成的低通濾波圖像。采樣相當(dāng)于復(fù)制了圖像的帶限頻譜的復(fù)制。

3.3 傳統(tǒng)成像系統(tǒng)中的圖像分辨率限制

光學(xué)圖像的離散化與數(shù)字化記錄過(guò)程最終導(dǎo)致的不良后果就是采樣不足形成的“馬賽克”效應(yīng)，如圖13所示。如果考慮到一個(gè)實(shí)際的光電成像系統(tǒng)，決定其探測(cè)距離的重要因素就是鏡頭焦距。當(dāng)鏡頭焦距確定后，目標(biāo)所成像的大小，也就是在焦平面上所占像素?cái)?shù)與其距光學(xué)系統(tǒng)的距離有關(guān)。圖13(c)給出了一個(gè)典型的紅外熱像儀對(duì)于人體目標(biāo)在不同距離下的成像效果（像元尺寸為38 μm，像素分辨率為320×240，50 mm焦距鏡頭）。從圖中可以看到，目標(biāo)越遠(yuǎn)，其像所占用的像素點(diǎn)越少，“馬賽克”效應(yīng)越嚴(yán)重。正如約翰遜準(zhǔn)則（Johnson Criteria）所定義的那樣[55]，這種馬賽克效應(yīng)將成為限制搜索/跟蹤系統(tǒng)的探測(cè)（目標(biāo)所成的像在探測(cè)器焦平面上必須占到1.5個(gè)像素以上）、識(shí)別（目標(biāo)所成的像在焦平面上必須占到6個(gè)像素以上）、以及辨認(rèn)（目標(biāo)所成的像在焦平面上必須占到12個(gè)像素以上）的關(guān)鍵瓶頸。

圖13 探測(cè)器像元大小所限制的奈奎斯特采樣極限（馬賽克效應(yīng)）。（a）像素采樣不足（像素尺寸過(guò)大）所導(dǎo)致的信息混疊現(xiàn)象；（b）恰好滿足奈奎斯特采樣極限時(shí)的情況；（c）一個(gè)典型的紅外熱像儀對(duì)于人體目標(biāo)在不同距離下的成像效果（像元尺寸為38 μm，像素為320×240，50 mm焦距鏡頭）Fig. 13 Nyquist sampling limit (mosaic effect) limited by detector image element size. (a) Information aliasing caused by under-sampling of pixels (too large pixel size); (b) The case when the Nyquist sampling limit is exactly satisfied; (c)imaging results of a typical thermal imaging camera for a human target at different distances (image element size of 38 μm, pixels of 320 × 240, and a lens of 50 mm focal length)

如前所述，提升圖像分辨率的核心在于減小像元尺寸或增加像元數(shù)量。這種方式雖然看似簡(jiǎn)單直接，但實(shí)際實(shí)施時(shí)，通常面臨以下4方面的問(wèn)題：

（1）目前的探測(cè)器尺寸已經(jīng)接近物理極限，受探測(cè)器工作條件和加工工藝的限制，通過(guò)減小像元尺寸和增加陣元數(shù)量的方式提高分辨率往往是十分困難的；特別對(duì)于某些特殊波段的探測(cè)器，如紅外探測(cè)器，受制作工藝、工作條件、功耗成本等因素的限制，陣列規(guī)模仍然較小、像元尺寸較大，通常難以滿足奈奎斯特采樣定理[56]，無(wú)法完整記錄光學(xué)圖像的全部信號(hào)，從而難以滿足對(duì)遠(yuǎn)距離弱小目標(biāo)精準(zhǔn)探測(cè)/識(shí)別所需要的成像分辨率的需求，如圖14（彩圖見期刊電子版）所示。

圖14 大多數(shù)紅外熱像儀，如制冷中波熱像儀和非制冷長(zhǎng)波熱像儀的像素尺寸較大。特別是當(dāng)配備了在寬視場(chǎng)大口徑的光學(xué)成像系統(tǒng)時(shí)，像元尺寸成為了限制其成像分辨率的根本因素（采樣比Fλ/d小于2）[56]Fig. 14 The pixel size of most thermal imaging cameras,especially cooled mid-wave cameras and uncooled long-wave cameras, is large, especially when equipped with a large-aperture optical imaging system in a wide field of view, and the image element size becomes a fundamental factor limiting its imaging resolution (sampling ratio Fλ/d less than 2)[56]

（2）像元尺寸變小會(huì)導(dǎo)致光通量降低，靈敏度下降，產(chǎn)生嚴(yán)重的散粒噪聲，后續(xù)補(bǔ)償困難；

（3）高密度的探測(cè)器陣列會(huì)引入光電串?dāng)_問(wèn)題，使得圖像質(zhì)量進(jìn)一步惡化；

（4）信號(hào)通路增加將導(dǎo)致系統(tǒng)功耗、體積、重量、數(shù)據(jù)存儲(chǔ)以及處理復(fù)雜度的增加。

值得說(shuō)明的是，雖然本節(jié)側(cè)重以遠(yuǎn)距離探測(cè)系統(tǒng)為例來(lái)說(shuō)明，但是圖像分辨率與采樣在顯微成像系統(tǒng)中也具有同等重要的作用。在顯微成像系統(tǒng)中，必須謹(jǐn)慎地選擇圖像傳感器件以對(duì)經(jīng)光學(xué)系統(tǒng)放大的細(xì)節(jié)信息進(jìn)行充分采樣。然而，在采樣要求更為嚴(yán)格的基于部分相干或非相干成像的光學(xué)系統(tǒng)中，采集到的原始圖像經(jīng)常會(huì)出現(xiàn)欠采樣現(xiàn)象[57-60]。特別是針對(duì)大視場(chǎng)高分辨率的計(jì)算光學(xué)顯微成像技術(shù)而言（如無(wú)透鏡片上成像），這些原始欠采樣的圖像信息將導(dǎo)致成像分辨率出現(xiàn)嚴(yán)重?fù)p失。

4 圖像信息量與空間帶寬積

圖像信息量與空間帶寬積是光學(xué)成像系統(tǒng)信息論中的一個(gè)基礎(chǔ)問(wèn)題，其采用與評(píng)估一個(gè)通信系統(tǒng)類似的方式去評(píng)估一個(gè)成像系統(tǒng)的信息容量。在本節(jié)中將首先簡(jiǎn)要介紹光學(xué)系統(tǒng)信道容量問(wèn)題的工具—光學(xué)信息論與相空間光學(xué)，然后再著重討論圖像的空間帶寬積以及成像系統(tǒng)的空間帶寬積限制。

4.1 光學(xué)成像系統(tǒng)的自由度

在香農(nóng)信息論中的香農(nóng)公式是通信領(lǐng)域最著名的公式之一，其描述了高斯白噪聲干擾下連續(xù)信道的信道容量[61]：

式中，C代表信道，也就是傳輸通道可傳送的最大信息速率，簡(jiǎn)稱為信道容量；T為信號(hào)的傳輸時(shí)長(zhǎng)；Δv為信號(hào)的傳輸帶寬；S NR代表接收信號(hào)的信噪比；光學(xué)信息論通過(guò)將香農(nóng)公式進(jìn)行改良和拓展，以用于表征一個(gè)成像系統(tǒng)的光學(xué)信道容量。其中一個(gè)重要拓展是關(guān)于光學(xué)自由度的定義。在原始香農(nóng)公式中的TΔv是時(shí)間信號(hào)以奈奎斯特采樣率進(jìn)行離散采樣處理后的符號(hào)數(shù)。而單位符號(hào)能承載多少比特的信息，即比特?cái)?shù)（類似于A/D過(guò)程中量化時(shí)的階數(shù)）可以被理解為信號(hào)的自由度，也稱系統(tǒng)的香農(nóng)數(shù)。在光學(xué)成像系統(tǒng)中，被傳遞的圖像信息由光場(chǎng)信號(hào)表征，其不再僅僅是時(shí)間的函數(shù)，因而需要重新考慮其自由度。本節(jié)所討論的問(wèn)題就是需要多少個(gè)獨(dú)立變量來(lái)描述一個(gè)光信號(hào)。

光信號(hào)的自由度問(wèn)題最早是由von Laue[62]（1914年）和后來(lái)的Gabor[63]（1961年）所提出的，他們把自由度解釋為信息傳遞的通道。他們還認(rèn)識(shí)到光學(xué)信號(hào)的自由度與幾何光學(xué)的重要不變量，即史密斯-拉格朗日（Smith-Lagrange）不變量之間[64]的密切關(guān)系。而后，Toraldo di Francia在他1955年的論文[65]首次明確把自由度的概念引入光學(xué)領(lǐng)域，并借助于抽樣定理得出了自由度的估計(jì)?？紤]到成像系統(tǒng)孔徑的限制，光信號(hào)以奈奎斯特采樣率進(jìn)行離散采樣處理后的最高空間頻率為Δv，且信號(hào)在空間域被包含在大小為D的窗口中，因此，可以估計(jì)描述信號(hào)的自由度，即描述一個(gè)光信號(hào)所需的獨(dú)立變量的數(shù)量為

但因公式(19)沒(méi)有考慮成像的多維特性與成像系統(tǒng)的時(shí)間帶寬，因此是不完整的。將此定義擴(kuò)展到具有有限的持續(xù)時(shí)間和時(shí)間帶寬的二維光信號(hào)的情況，自由度的總數(shù)可以被定義為[66]：

其中Dx、Dy、Δvx和 Δvy表示圖像x和y方向上的視場(chǎng)和空間帶寬，而T和B指的是信號(hào)的時(shí)間長(zhǎng)度和帶寬。公式中3個(gè)常數(shù)“2”的前兩個(gè)是用于標(biāo)示當(dāng)帶限函數(shù)是復(fù)函數(shù)時(shí)，每一個(gè)采樣值都由強(qiáng)度與相位兩個(gè)自由度所決定，第三個(gè)常數(shù)“2”代表光場(chǎng)還有兩個(gè)相互正交的偏振態(tài)。Toraldo di Francia的光學(xué)自由度顯然并不十分嚴(yán)謹(jǐn)，1969年，他把Slepian、Pollak和Landau發(fā)展的回轉(zhuǎn)橢球波函數(shù)[67-69]引入光學(xué)信息論，創(chuàng)立了光學(xué)本征理論，相干條件下無(wú)像差光學(xué)系統(tǒng)傳遞信息量的問(wèn)題才得到了較為嚴(yán)謹(jǐn)?shù)慕庾x[67]。即便如此，由于光場(chǎng)實(shí)際上還有更多維度，如空間、時(shí)間、強(qiáng)度、相位、光譜、偏振、角動(dòng)量、相干性等，其光學(xué)自由度數(shù)也應(yīng)該是由這些維度疊加而來(lái)的[66,10]，所以這一表達(dá)也并不是最完整的。但上述公式至少反應(yīng)了一個(gè)事實(shí)：可以為光場(chǎng)中每個(gè)獨(dú)立的維度增加一個(gè)自由度，它們都能作為傳輸信息的載體。

4.2 相空間光學(xué)與維格納（Wigner）分布函數(shù)

“相空間光學(xué)”（phase space optics）是一種對(duì)光場(chǎng)相干性進(jìn)行度量與表征的一門系統(tǒng)學(xué)科分支，同時(shí)也是對(duì)成像系統(tǒng)承載信息能力進(jìn)行定量分析的重要工具。不同于常見傅立葉變換的空間域或頻率域，相空間光學(xué)是一個(gè)人為構(gòu)造的多維空間，能夠同時(shí)描述光信號(hào)的空間位置和空間頻率（角譜）[70]。維格納分布函數(shù)（Wigner Distribution Function，WDF）是最常用的相空間表達(dá)，其最早可追溯到1932年，Wigner[71]針對(duì)熱力學(xué)體系的量子修正研究而提出一個(gè)描述粒子動(dòng)力學(xué)狀態(tài)的準(zhǔn)概率分布函數(shù)。20世紀(jì)60年代，Dolin[72]和Walther[73-75]在輻射計(jì)量學(xué)領(lǐng)域中引入維格納分布函數(shù)，并定義其為“廣義輻亮度（generalized radiance）”。1979年，Bastiaans[76-83]正式將維格納分布函數(shù)引入到傅立葉光學(xué)領(lǐng)域，系統(tǒng)地分析和總結(jié)了維格納分布函數(shù)在光學(xué)成像與光信息處理中的應(yīng)用，并論述了維格納分布函數(shù)在描述部分相干光場(chǎng)的獨(dú)特優(yōu)勢(shì)。由于維格納分布函數(shù)能夠同時(shí)表示信號(hào)的空間位置和空間頻率特性，其既可滿足對(duì)部分相干光場(chǎng)空域和頻域信息關(guān)聯(lián)特性的分析和處理的需求，又能夠以近似光線的形式對(duì)部分相干光場(chǎng)分布的表征與傳輸進(jìn)行直觀的可視化[84]，從而搭建了波動(dòng)光學(xué)和幾何光學(xué)的橋梁，并為部分相干理論和成像系統(tǒng)分析提供了嶄新的視角。

在經(jīng)典部分相干理論中，互相干函數(shù)是描述部分相干光最常用的工具。然而它們的雙線性的本質(zhì)使其在計(jì)算中較為復(fù)雜，并且通常難以對(duì)公式背后所蘊(yùn)含的物理意義做出直觀解釋。通過(guò)Wigner分布函數(shù)對(duì)部分相干光場(chǎng)進(jìn)行表征能夠有效克服上述缺點(diǎn)，簡(jiǎn)化對(duì)成像過(guò)程、系統(tǒng)以及相關(guān)機(jī)理的描述。對(duì)于部分相干光場(chǎng)U(x,t)，其中x=(x,y)為二維空間坐標(biāo)，維格納分布函數(shù)被定義為其交叉譜密度函數(shù)在差分變換坐標(biāo)系下的傅立葉變換[70]：

其中u是 對(duì)應(yīng)于x在 空間頻率域的坐標(biāo),G(x1,x2)為光場(chǎng)的交叉譜密度函數(shù)。注意與交叉譜密度函數(shù)G(x1,x2)類似，維格納分布函數(shù)等價(jià)描述了一個(gè)多色部分相干光場(chǎng)中單色成分的系綜相關(guān)特性，即光場(chǎng)的空間相干性。

維格納分布函數(shù)嚴(yán)格來(lái)說(shuō)可以被理解為關(guān)于光子的位置和動(dòng)能的概率密度分布。單色相干光波場(chǎng)的標(biāo)量復(fù)振幅函數(shù)在某一個(gè)平面上的空間頻率坐標(biāo)實(shí)際上對(duì)應(yīng)不同角度傳播的平面波分量（角譜），所以可以將維格納分布函數(shù)W(x,u)中的u近似地理解為某點(diǎn)x處的光線分布的角度。由于位置與方向（動(dòng)能）是唯一確定一束光線的兩個(gè)元素，維格納分布函數(shù)又可以被理解為一種更加嚴(yán)格的光線模型，被定義為廣義輻亮度：不同于傳統(tǒng)輻亮度，廣義輻亮度可以取負(fù)值[85]。它不僅考慮了光線的直線傳播，還能夠精確描述光波的波動(dòng)光學(xué)效應(yīng)，如干涉與衍射現(xiàn)象。當(dāng)U(x)為單色相干光波場(chǎng)時(shí)，G(x1,x2)=U(x1)U*(x2)，則其維格納分布函數(shù)可以表示為

如表1所示，維格納分布函數(shù)具有空間邊緣（spatial marginal）性質(zhì)、頻率邊緣（spatial frequency marginal）性質(zhì)、卷積（convolution）和瞬時(shí)頻率（instantaneous frequency）等重要性質(zhì)。維格納分布函數(shù)具有空間、頻率雙重表述功能，其空間傳播與光學(xué)變換性質(zhì)卻無(wú)一例外地遵循光線模型。這使維格納分布函數(shù)成為一座連接幾何光學(xué)（光度學(xué)）與物理光學(xué)的橋梁，為成像系統(tǒng)分析和光信號(hào)處理提供了一種非常簡(jiǎn)單而實(shí)用的工具。表2為維格納分布函數(shù)的常見光學(xué)變換，它們?cè)谙嗫臻g所對(duì)應(yīng)的維格納分布函數(shù)的變化作用總結(jié)于圖15。

圖15 常見信號(hào)變換在相空間的表征。（a）菲涅耳傳播；（b）Chirp調(diào)制（透鏡）；（c）傅立葉變換；（d）分?jǐn)?shù)階傅立葉變換；（e）光束放大器Fig. 15 The characterization of common signal transformations in phase space. (a) Fresnel propagation; (b) Chirp modulation(lens); (c) Fourier transform; (d) Fractional Fourier transform; (e) beam magnifier

表1 維格納分布函數(shù)的性質(zhì)Tab. 1 Properties of WDF

表2 維格納分布函數(shù)的常見光學(xué)變換Tab. 2 Common optical transformations of WDF

4.3 空 間 帶 寬 積（Space-Bandwidth Product，SBP）與相空間圖（Phase Space Diagram，PSD）

空間帶寬積一方面可以用來(lái)度量成像系統(tǒng)的信息量，另一方面，對(duì)于記錄系統(tǒng)來(lái)說(shuō)，也可以衡量系統(tǒng)接收信息量的能力，具體到成像系統(tǒng)中，可以用來(lái)衡量成像系統(tǒng)可以測(cè)量物體的大小和細(xì)節(jié)分辨的能力。為簡(jiǎn)單化，本小節(jié)僅考慮成像系統(tǒng)空間坐標(biāo)一維的情況，此時(shí)空間帶寬積同式(19)，N=DΔv， 此時(shí)，D代表物體所占據(jù)的空間域成像視場(chǎng)，Δv為物體滿足奈奎斯特采樣定律下的信號(hào)帶寬。不難發(fā)現(xiàn)，此定義與Toraldo di Francia所描述的光信號(hào)的自由度一致[65]，其等效于有效視場(chǎng)和系統(tǒng)截止頻率所確定的通帶面積的乘積。SBP是評(píng)價(jià)系統(tǒng)性能的重要參數(shù)，既可以描述圖像的信息容量，又可用來(lái)描述系統(tǒng)的信息傳遞和處理能力。結(jié)合上一小節(jié)相空間光學(xué)與維格納分布函數(shù)的定義可以發(fā)現(xiàn)，上述空間帶寬積可以直觀地用它在相空間，即空間-頻域中所覆蓋的面積來(lái)描述。維格納函數(shù)分布中支持域（非0區(qū)域）所圍成的面積便是空間帶寬積，因此維格納函數(shù)可以視為系統(tǒng)空間帶寬積的一種全面的度量工具，它不僅給出了空間帶寬積的值，也給出了空間帶寬的分布情況。將這種相空間下描述空間帶寬積的可視化表達(dá)方式稱作相空間圖或維格納圖[86,70]。

圖15所示的即是一個(gè)在空間域與頻率域都為有限支持域的信號(hào)在不同光學(xué)變換下的PSD，當(dāng)光場(chǎng)經(jīng)菲涅爾衍射后，維格納分布函數(shù)產(chǎn)生了水平方向的剪切（圖15(a)），當(dāng)光信號(hào)通過(guò)一個(gè)理想的薄透鏡時(shí)，啁啾信號(hào)調(diào)制下（即信號(hào)與二次相位函數(shù)的乘法）的維格納分布函數(shù)產(chǎn)生了垂直方向的剪切（圖15(b)）；光信號(hào)通過(guò)傅立葉透鏡，或?qū)π盘?hào)進(jìn)行遠(yuǎn)場(chǎng)衍射，傅立葉變換作用引起維格納分布函數(shù)90°旋轉(zhuǎn)（圖15(c)）等。所有這些對(duì)維格納分布函數(shù)產(chǎn)生的變換都是線性正則變換（Linear Canonical Transform，LCT）的特例[70,87]。它們將其每個(gè)x-u坐標(biāo)映射到一個(gè)新的位置，且該坐標(biāo)映射是仿射的，也就是說(shuō)PSD內(nèi)部陰影區(qū)域的面積在映射前后是保持不變的，這形象地說(shuō)明了線性正則變換下光學(xué)成像系統(tǒng)的有限空間帶寬積應(yīng)與信息量守恒，也就是說(shuō)其SBP是一個(gè)定值，這類似于海森堡不確定性原理。值得一提的是，早在1914年，von Laue就從光學(xué)信息論的角度指出了光學(xué)系統(tǒng)信息量守恒原理：給定一個(gè)光學(xué)系統(tǒng)，它能傳遞的光信息自由度數(shù)是常量，因?yàn)樵撓到y(tǒng)可傳遞的空間頻帶是不變的[62]。但是von Laue支持該理論的理由卻是錯(cuò)誤的，直到1966年才由Lukosz糾正并建立了Laue-Lukosz自由度不變定理[15]：給定一個(gè)光學(xué)系統(tǒng)，其可傳遞的光信息自由度數(shù)是常量；系統(tǒng)的空間頻帶卻是可變的，因?yàn)榭梢酝ㄟ^(guò)減少總自由度數(shù)N某一個(gè)因子來(lái)擴(kuò)展空間頻帶寬，以提升成像系統(tǒng)的分辨率，該部分將在第5章詳細(xì)討論。

不難發(fā)現(xiàn)，當(dāng)PSD保持長(zhǎng)方形的形狀時(shí)，對(duì)圖像傳感器的空間帶寬積要求最低，此時(shí)PSD的面積正好等于在奈奎斯特極限下完整表示信號(hào)所需的采樣樣本數(shù)，即其有效可分辨像元的數(shù)目，更具體而言，其被定義為[88-90]

其中：r=λF#=0.5λ/NA，為成像系統(tǒng)在非相干成像條件下的阿貝衍射極限分辨率，F(xiàn)#代表鏡頭的F數(shù)，NA代表其對(duì)應(yīng)的數(shù)值孔徑，0.5這個(gè)因子是由于奈奎斯特采樣定律所引入的。

4.4 傳統(tǒng)成像系統(tǒng)中的空間帶寬積限制

基于光學(xué)系統(tǒng)空間帶寬積守恒原理，對(duì)于傳統(tǒng)成像系統(tǒng)而言，通過(guò)鏡頭聚焦并被成像設(shè)備采集到的物體的信息量，也就是其空間帶寬積總是有限的。如圖16及表3所示，現(xiàn)有的成像鏡頭的空間帶寬積都在千萬(wàn)像素量級(jí)（10 Megapixels），且隨著鏡頭焦距的提高（角分辨率提高），成像系統(tǒng)的空間帶寬積不但沒(méi)有提升，反而有所下降[2,5-6]。這種有限的空間帶寬積是制約廣域監(jiān)視、天文觀測(cè)、航天遙感、邊防預(yù)警等成像系統(tǒng)對(duì)復(fù)雜環(huán)境下的目標(biāo)進(jìn)行有效探測(cè)、識(shí)別與感知的關(guān)鍵瓶頸。

表3 典型35 mm單反相機(jī)鏡頭的空間帶寬積Tab. 3 Spatial bandwidth product of typical 35 mm SLR lens

圖16 對(duì)于傳統(tǒng)光學(xué)系統(tǒng)，視場(chǎng)與分辨率這兩個(gè)參數(shù)互相矛盾，無(wú)法同時(shí)兼顧。（a）35 mm單反相機(jī)不同焦距下所對(duì)應(yīng)的視場(chǎng)角；（b）35 mm單反相機(jī)不同焦距下所拍攝到的典型圖像Fig. 16 For conventional optical systems, the two parameters of the field of view and resolution are contradictory and cannot be accommodated at the same time. (a) Field of view of 35 mm SLR cameras at different focal lengths; (b) typical images captured by 35 mm SLR cameras at different focal lengths

成像視場(chǎng)與分辨率的矛盾同樣存在于傳統(tǒng)顯微成像系統(tǒng)中。如圖17所示，對(duì)于一個(gè)傳統(tǒng)光學(xué)成像系統(tǒng)，空間分辨率的提高與視場(chǎng)的擴(kuò)大往往是一對(duì)難以調(diào)和的矛盾[91]。如表4所示，隨著物鏡放大倍數(shù)的提高，成像視場(chǎng)直徑呈反比線性縮小，但是光學(xué)分辨率極限卻很難做到線性提升（放大率超過(guò)40倍時(shí)尤其明顯），因此，傳統(tǒng)顯微成像系統(tǒng)始終受限于空間分辨率與視場(chǎng)大小之間的矛盾。目前，現(xiàn)有的大部分顯微物鏡的空間帶寬積也在千萬(wàn)像素量級(jí)，這種有限的空間帶寬積

表4 典型的顯微物鏡的空間帶寬積Tab. 4 Spatial bandwidth product of typical microscopic objectives

圖17 傳統(tǒng)顯微鏡存在分辨率與視場(chǎng)大小難以同時(shí)兼顧的矛盾：低倍鏡下視野大，但分辨率低；切換到高倍鏡后分辨率雖得以提升，視場(chǎng)卻相應(yīng)的成更高比例的縮減Fig. 17 There is a tradeoff between the resolution and FOV in traditional microscopes: the FOV under low-magnification objective is large with the low resolution; for high-magnification objective, the resolution is improved while the FOV is reduced dramatically

與宏觀成像系統(tǒng)一樣，成為制約顯微成像系統(tǒng)應(yīng)對(duì)復(fù)雜生物樣品（如細(xì)胞集群）的單細(xì)胞研究的關(guān)鍵瓶頸[92]。雖然利用高倍物鏡結(jié)合視場(chǎng)拼接技術(shù)可以同時(shí)實(shí)現(xiàn)高分辨與寬視野成像，達(dá)到提升空間帶寬積的目的，但機(jī)械掃描與圖像拼接降低了成像速度，致使成像系統(tǒng)的時(shí)空帶寬積（Space-Time-Bandwidth Product，STBP，即單位時(shí)間內(nèi)的SBP）降低，從而無(wú)法為單細(xì)胞分析提供研究細(xì)胞生命現(xiàn)象動(dòng)態(tài)過(guò)程所需的高時(shí)間分辨率[93-94]。因此，如何有效突破成像系統(tǒng)的時(shí)空帶寬積限制，實(shí)現(xiàn)高通量成像，是目前計(jì)算光學(xué)成像研究的一大重要方向。

5 （光學(xué)）超分辨成像——基于空間帶寬積調(diào)控的視角

本節(jié)借助于Lukosz的超分辨原理來(lái)闡述大部分提高光學(xué)成像的光學(xué)分辨率的計(jì)算成像方法從本質(zhì)上都可以被理解為一種“空間帶寬積調(diào)控”（space-bandwidth product adaptation）策略。Lukosz在他的兩篇開創(chuàng)性的論文中指出[15-16]，圖像分辨率并不是單純由其頻域帶寬決定的，而是由其總的空間帶寬積決定的。因此可以借助于一定的編碼方案，將總信道容量的一部分用于傳輸圖像信號(hào)的各個(gè)頻段，這些頻段甚至可以在原系統(tǒng)的通帶之外，從而為突破成像系統(tǒng)的分辨率衍射極限提供了可能性。當(dāng)然為了滿足空間帶寬積的限制，所能成像的目標(biāo)視場(chǎng)大小也必須相應(yīng)進(jìn)行縮放，以保持傳輸信號(hào)信息的總量守恒。

5.1 Lukosz空間帶寬積調(diào)控

Lukosz所提出的“空間帶寬積調(diào)控”本質(zhì)上是利用成像系統(tǒng)的可用自由度，在成像系統(tǒng)有限空間帶寬積的限制下，以最佳方式進(jìn)行編解碼和傳遞信息的過(guò)程[15-16]。圖18展示了Lukosz在其原著中提出的成像系統(tǒng)，相干照明下的物體的波前傳播到第一透鏡前方的光柵上，光柵衍射產(chǎn)生物光場(chǎng)的兩個(gè)副本，它們以不同但共軛的方向傳播。4f系統(tǒng)將緊靠光柵G1后方的波前成像到共軛平面，第二個(gè)相同的光柵G2位于該平面上。Lukosz從原理上推導(dǎo)出通過(guò)該系統(tǒng)可將成像分辨率提升至孔徑限制下衍射極限的兩倍。該原理可以借助于PSD進(jìn)行直觀闡述[88-89,95]。如圖19所示，根據(jù)上節(jié)中所定義的相空間中的SBP概念，考慮一個(gè)空間上緊湊，同時(shí)在頻帶上受限的信號(hào)，滿足SBP=ΔxΔv。圖19(a)顯示了成像系統(tǒng)在沒(méi)有光柵的情況下傳輸信號(hào)的PSD。為了在保持傳輸信號(hào)信息總量守恒的前提下將圖像分辨率提高兩倍，需要將其視場(chǎng)縮減到原來(lái)的一半（圖19(b)）。在這種情況下，物光信號(hào)自由空間中傍軸衍射對(duì)應(yīng)于信號(hào)相空間區(qū)域的水平剪切。傳播到第一個(gè)光柵對(duì)應(yīng)于一個(gè)水平剪切（圖19(c)）。隨后用光柵函數(shù)進(jìn)行調(diào)制，將信號(hào)分成兩個(gè)相同的副本，每個(gè)副本都沿頻率軸移動(dòng)（圖19(d)）。透鏡的傅立葉變換作用交換了相空間的空間軸和頻率軸，使其在相空間中順時(shí)針旋轉(zhuǎn)了90°。而4f系統(tǒng)的有限孔徑效應(yīng)相當(dāng)于抹去了由光學(xué)系統(tǒng)傳輸?shù)念l段之外的所有頻率（圖19(e)）。光場(chǎng)傳播到達(dá)第二個(gè)光柵再次產(chǎn)生了兩個(gè)相同的副本，每個(gè)副本沿頻率軸向相反方向移動(dòng)（圖19(f)）。因此，獲得了3個(gè)信號(hào)分量，其中中間完整的那個(gè)是所期待恢復(fù)的（但經(jīng)過(guò)菲涅耳傳播的）輸入信號(hào)。因此，將信號(hào)反向傳播到輸出圖像平面（圖19(g)），并應(yīng)用空間濾波器濾除掉不需要的信號(hào)分量或偽影（圖19(h)），就可以恢復(fù)出原信號(hào)。

圖18 Lukosz型超分辨率系統(tǒng)。物體平面（OP）的信號(hào)被傳播到第一個(gè)光柵（G1）。然后，編碼信號(hào)通過(guò)由兩個(gè)傅立葉透鏡L1和L2組成的4f成像系統(tǒng)成像到位于第二個(gè)光柵（G2）的共軛平面。系統(tǒng)孔徑大小為A，位于夫瑯禾夫平面（FP）。解碼后的信號(hào)在系統(tǒng)的圖像平面（IP）中被觀察到Fig. 18 Lukosz-type superresolution system. The signal in the object plane (OP) is propagated to the first grating (G1). The encoded signal is then imaged to the conjugate plane located at the second grating (G2) by the 4f imaging system consisting of two Fourier lenses, L1 and L2. The system aperture of size A resides in the Fraunhofer plane (FP). The decoded signal is observed in the image plane (IP) of the system

圖19 超分辨率系統(tǒng)的相空間圖。（a）通過(guò)4f系統(tǒng)的信號(hào)，沒(méi)有編碼；（b）帶寬超過(guò)4f系統(tǒng)通帶2倍的信號(hào)；（c）第一個(gè)光柵（G1）之前；（d）G1之后；（e）通過(guò)4f系統(tǒng)后和第二個(gè)光柵（G2）之前的編碼信號(hào)；（f）G2之后；（g）信號(hào)反傳播到圖像平面IP；（h）去除信號(hào)區(qū)域外的偽影之后Fig. 19 Phase-space diagram of the superresolution system. (a) Signal passing the 4f system without encoding; (b) signal with a bandwidth exceeding the pass band of the 4f system by a factor of two; (c) before the first grating (G1); (d) after G1;(e) encoded signal after passing the 4f system and before the second grating (G2); (f) after G2; (g) signal back-propagated to the image plane IP; and (h) after removing artifacts outside the signal area

5.2 提升分辨率所需要付出的成本與代價(jià)

雖然上節(jié)中所提及的Lukosz超分辨率系統(tǒng)已經(jīng)在實(shí)驗(yàn)中得以成功驗(yàn)證[96]，但必須意識(shí)到實(shí)現(xiàn)超分辨是需要付出成本與代價(jià)的。首先，即使在理想的條件下，輸出信號(hào)的能量也只有輸入信號(hào)的四分之一。一般來(lái)說(shuō)，信號(hào)功率的損失與分辨率提高的倍數(shù)成正比。成像系統(tǒng)的孔徑和輸出平面的空間濾波器都會(huì)將所接收信號(hào)的能量減半。這會(huì)導(dǎo)致成像信噪比的損失。更重要的是，如果將整個(gè)成像系統(tǒng)（包括衍射光柵）視為一個(gè)黑匣子，它其實(shí)只是一個(gè)分辨率為1 /2Δu的成像系統(tǒng)。但不可否認(rèn)的是，它的內(nèi)部清晰地包含了信息編碼、信道傳輸以及信息解碼幾個(gè)部分（盡管信息解碼部分是由光學(xué)系統(tǒng)完成的，但這不影響對(duì)其性質(zhì)所作出的界定）。這就像一個(gè)典型的通信系統(tǒng)：信源信息通過(guò)信源編碼、信道編碼后，經(jīng)過(guò)調(diào)制器加載到載波調(diào)制信號(hào)上通過(guò)信道進(jìn)行傳輸。在信道的另一端，信號(hào)將先經(jīng)過(guò)解調(diào)，再通過(guò)信道解碼、信源解碼后，送到信宿處。Lukosz超分辨率的思想反映的是計(jì)算光學(xué)成像的最精髓部分，即“先調(diào)制，再拍攝，最后解調(diào)”這種“混合光學(xué)—數(shù)字”成像方式的縮影。

相空間分析使我們能夠明確看到Lukosz超分辨率方案的另一個(gè)非常重要的代價(jià)：編碼步驟產(chǎn)生了PSD的復(fù)制與擴(kuò)展，原始信號(hào)的兩個(gè)副本在相空間需要合理安置以確保它們不相重疊（在相空間中是正交的），并且能夠在孔徑函數(shù)截?cái)嗪笾匦陆M合。這個(gè)概念可以進(jìn)一步擴(kuò)展到同時(shí)考慮空間和時(shí)間等多維自由度的情況——即Laue-Lukosz自由度不變定理[97]：給定一個(gè)光學(xué)系統(tǒng)，其可傳遞的光信息自由度數(shù)是常量；但系統(tǒng)的空間頻帶卻是可變的，因?yàn)榭梢酝ㄟ^(guò)調(diào)控自由度數(shù)N中某些因子來(lái)擴(kuò)展空間頻率帶寬。例如采用時(shí)域編碼和時(shí)頻復(fù)合編碼的方式擴(kuò)展相空間，此時(shí)由于整個(gè)信息空間已經(jīng)拓展到了由空間和空間頻率坐標(biāo)以及時(shí)間和時(shí)間頻率組成的擴(kuò)展相空間，傳輸信號(hào)在此擴(kuò)展相空間中的正交性往往更容易得到滿足[98-99]。另一方面，由于額外時(shí)間維度的引入，甚至依托于高維數(shù)據(jù)的冗余性放寬“相空間有部分重疊”這一限制性條件，而信號(hào)本身可以從具有重疊的多次測(cè)量值中反演重建出來(lái)。最終，Lukosz超分辨率方案也可以拓展到非相干成像與結(jié)構(gòu)光場(chǎng)照明的場(chǎng)合，因?yàn)槠銹SD的剪切、復(fù)制、擴(kuò)展、截?cái)?、重組等相空間操作都可以適用于任意相干態(tài)的光波場(chǎng)。上述思想在現(xiàn)階段許多計(jì)算成像超分辨技術(shù)中都被體現(xiàn)的淋漓盡致，如分時(shí)合成孔徑雷達(dá)、傅立葉疊層顯微成像以及結(jié)構(gòu)光照明超分辨顯微術(shù)等。但無(wú)論如何，這些技術(shù)都脫離不了一個(gè)最基本的前提假設(shè)——信息不會(huì)無(wú)中生有，想要在“分辨率”上有所“得”，就必須在另一個(gè)光學(xué)自由度上，如時(shí)間分辨率、成像視場(chǎng)等，有所“失”。它們實(shí)質(zhì)上都是在物理限制下，在“得”與“失”之間所作出的符合規(guī)律的權(quán)衡與選擇。

5.3 （光學(xué)）超分辨成像的典型計(jì)算成像案例

Lukosz所提出的“空間帶寬積調(diào)控”其實(shí)是一種內(nèi)涵廣泛且具有普適意義的超分辨成像思想，但在當(dāng)時(shí)由于基于“調(diào)制解調(diào)”的計(jì)算成像思想僅僅處于啟蒙階段，在他關(guān)于超分辨率的開創(chuàng)性論文中僅給出了非常有限的實(shí)例來(lái)支撐他的思想[15-16]。而如今，計(jì)算光學(xué)成像已全面進(jìn)入了“百花齊放，百家爭(zhēng)鳴”的繁榮發(fā)展局面，現(xiàn)在已經(jīng)有大量成熟的樣例來(lái)充分體現(xiàn)Lukosz超分辨成像思想?；?Laue-Lukosz 自由度不變定理，可以看出經(jīng)典空間頻帶展寬可通過(guò)犧牲另一個(gè)維度上的自由度來(lái)實(shí)現(xiàn)，如以犧牲時(shí)間分辨換取空間分辨的合成孔徑、結(jié)構(gòu)光照明技術(shù)以及犧牲視場(chǎng)的點(diǎn)擴(kuò)散函數(shù)工程的超分辨成像技術(shù)等。

5.3.1 合成孔徑

光學(xué)衍射極限對(duì)系統(tǒng)成像分辨能力的限制本質(zhì)上是系統(tǒng)孔徑的限制，即有限的系統(tǒng)孔徑限制了成像系統(tǒng)的成像分辨能力。合成孔徑光學(xué)超分辨率成像技術(shù)主要借助于Lukosz超分辨率思想，通過(guò)多個(gè)小口徑光學(xué)系統(tǒng)的圖像數(shù)據(jù)合成等效獲得大口徑光學(xué)系統(tǒng)的成像能力。傳統(tǒng)合成孔徑成像技術(shù)是一種基于主動(dòng)照明的相干探測(cè)成像機(jī)制，如圖20所示的合成孔徑雷達(dá)（Synthetic Aperture Radar，SAR）或許是人類歷史上最早采用“計(jì)算成像”思想的光電探測(cè)系統(tǒng)（盡管是在微波波段）[100]。通過(guò)發(fā)射大時(shí)寬-帶寬積的信號(hào)（如線性調(diào)頻信號(hào)），對(duì)目標(biāo)回波進(jìn)行脈沖壓縮，獲得面向距離的高分辨率；其成像原理是在平臺(tái)與目標(biāo)相對(duì)運(yùn)動(dòng)的情況下，利用多普勒頻率的線性變化，記錄平臺(tái)不同位置處的目標(biāo)回波信號(hào)；經(jīng)過(guò)數(shù)據(jù)處理，將發(fā)射孔徑在空間上合成一個(gè)虛擬大孔徑，實(shí)現(xiàn)方位聚焦，獲得方位向的高分辨率圖像。

圖20 最早的合成孔徑“計(jì)算成像”技術(shù)——合成孔徑雷達(dá)Fig. 20 Synthetic Aperture Radar (SAR), the earliest computational imaging technique

將合成孔徑雷達(dá)的思想擴(kuò)展到光學(xué)波段，形成了激光合成孔徑雷達(dá)技術(shù)（Synthetic Aperture Ladar，SAL）[101]。2002年，美國(guó)空軍實(shí)驗(yàn)室利用移動(dòng)孔徑和漫反射散射目標(biāo)成功研制了世界上第一個(gè)真正的合成孔徑激光雷達(dá)裝置[102]。2005年，美國(guó)Aerospace公司同樣采用1.5 μm波長(zhǎng)的光纖激光器第一次實(shí)現(xiàn)了真正意義上的激光合成孔徑雷達(dá)成像（如圖21所示）：大小為5 mm×8 mm漫反射目標(biāo)，在距離2 m處進(jìn)行合成孔徑成像[103]。類似于SAR，基于激光合成孔徑的SAL也是以提升有效成像孔徑為目標(biāo)的[104-105]，但SAL的激光發(fā)射孔徑衍射極限與SAR的天線束寬相比要小得多[106-107]。并且其合成孔徑長(zhǎng)度遠(yuǎn)小于傳統(tǒng)SAR的合成孔徑長(zhǎng)度，即相同時(shí)間內(nèi)需要處理的數(shù)據(jù)量沒(méi)有SAR那么大，這也就加快了戰(zhàn)場(chǎng)情報(bào)的掌握速度。此外相比于SAR，SAL工作在光學(xué)波段，它的高分辨率和對(duì)微小表面的成像能力，以及這些圖像看起來(lái)更自然、更容易理解的事實(shí)，對(duì)于快速掌握戰(zhàn)場(chǎng)環(huán)境細(xì)節(jié)非常適合。

圖21 激光合成孔徑雷達(dá)技術(shù)[102]。（a）美國(guó)Aerospace公司研制的基于光纖的激光合成孔徑雷達(dá)成像原理圖；（b）成像結(jié)果對(duì)比（右圖為衍射受限成像結(jié)果，左圖為合成孔徑后的結(jié)果圖）Fig. 21 Synthetic Aperture Ladar (SAR)[102]. (a) Principle diagram of laser synthetic aperture radar imaging based on optical fibers developed by Aerospace Corporation of the United States; (b) comparison of imaging results (right image is diffraction-limited imaging results, left image is synthetic aperture results)

不管是微波波段還是光學(xué)波段的合成孔徑雷達(dá)技術(shù)，都基于相干探測(cè)原理，如干涉測(cè)量或全息的方法記錄復(fù)數(shù)振幅。但值得一提的是，合成孔徑技術(shù)其實(shí)并不依賴于相干測(cè)量與相位直接探測(cè)。2013年，Zheng等[35]提出了傅立葉疊層顯微成像（Fourier Ptychographic Microscopy，F(xiàn)PM）技術(shù)：樣品被不同角度的照明光束（通常是一個(gè)LED陣列）依次照射（見圖22），采集的低分辨率圖像在頻域基于疊層相位恢復(fù)算法實(shí)現(xiàn)合成孔徑，從而使頻譜支持域得到顯著提升[108-110]。與傳統(tǒng)的合成孔徑超分辨率算法不同，相位恢復(fù)和頻域合成孔徑在傅立葉疊加成像重疊更新算法中同時(shí)完成，這就是傅立葉疊層成像技術(shù)本身的魅力所在。通常情況下，傅立葉疊層成像技術(shù)使用低倍率物鏡的低數(shù)值孔徑來(lái)獲得大視野，然后使用大角度范圍的照明光束在頻域中依次照亮樣品來(lái)合成孔徑。最終圖像的等效數(shù)值孔徑提高到物鏡和照明的數(shù)值孔徑之和，同時(shí)保持低倍率物鏡的大視場(chǎng)，從而實(shí)現(xiàn)大空間帶寬積。

圖22 傅立葉疊層顯微成像技術(shù)原理圖Fig. 22 Schematic diagram of Fourier ptychographic microscopy

2016年，Holloway等[111]首次將傅立葉疊層成像技術(shù)應(yīng)用在遠(yuǎn)距離成像中，通過(guò)頻域中的孔徑交疊反復(fù)迭代投影更新并恢復(fù)目標(biāo)不同的空間頻率的振幅與相位成分，在非干涉條件下以單次曝光實(shí)現(xiàn)合成孔徑主動(dòng)超分辨率成像。該技術(shù)雖然采用相干激光照明，但并不采用干涉的方式對(duì)散射場(chǎng)的強(qiáng)度和相位進(jìn)行直接探測(cè)。隨后在2017年，Holloway等[112]又在之前的基礎(chǔ)上對(duì)透射式系統(tǒng)進(jìn)行改進(jìn)，提出了反射光路結(jié)構(gòu)的宏觀傅立葉疊層成像系統(tǒng)，其系統(tǒng)結(jié)構(gòu)如圖23所示。在反射式系統(tǒng)中，通過(guò)對(duì)散斑噪聲的處理而能夠?qū)β瓷湮矬w進(jìn)行測(cè)量，使該技術(shù)面向遠(yuǎn)距離目標(biāo)探測(cè)的實(shí)用性更近了一步。

圖23 反射式傅立葉疊層成像系統(tǒng)實(shí)物與原理圖[111]Fig. 23 Reflective Fourier ptychographic imaging system and its schematic diagram[111]

上述相干合成孔徑成像技術(shù)，都需要在照明光源具有極高相干性的條件下才能實(shí)現(xiàn)，因此不可避免地需要采取激光主動(dòng)照明的方式。然而，針對(duì)遠(yuǎn)場(chǎng)目標(biāo)探測(cè)的應(yīng)用環(huán)境，主動(dòng)激光照明對(duì)激光功率、發(fā)散角、穩(wěn)定性等都提出了諸多具有挑戰(zhàn)性的要求。尤其是在戰(zhàn)場(chǎng)監(jiān)測(cè)等應(yīng)用環(huán)境下，主動(dòng)照明還會(huì)引發(fā)自我暴露等問(wèn)題，對(duì)其應(yīng)用場(chǎng)景有一定限制。因此，研究在太陽(yáng)光、月光等被動(dòng)照明下的非相干合成孔徑技術(shù)也必將是未來(lái)的一大發(fā)展趨勢(shì)。但由于非相干成像條件下物場(chǎng)相位信息已經(jīng)丟失，直接對(duì)其強(qiáng)度探測(cè)無(wú)法將其信息在頻域進(jìn)行有效融合，因此其核心問(wèn)題是非相干條件下物場(chǎng)波前相位信息的獲取。范西特-澤尼克定理表明非相干目標(biāo)的光強(qiáng)分布與其遠(yuǎn)場(chǎng)互強(qiáng)度函數(shù)互為傅立葉變換。因此，只需在非相干光場(chǎng)的前提下實(shí)現(xiàn)相位復(fù)原與頻譜填充，就可實(shí)現(xiàn)目標(biāo)強(qiáng)度的合成孔徑成像。如圖24所示，非相干合成孔徑反演成像基于多個(gè)分立子孔徑對(duì)來(lái)自目標(biāo)的各方向散射光進(jìn)行收集，然后通過(guò)逐點(diǎn)關(guān)聯(lián)干涉[113-114]、非相干全息[115]、傅立葉疊層[116]等相位測(cè)量或恢復(fù)技術(shù)計(jì)算各子孔徑下的復(fù)振幅分布，然后通過(guò)分時(shí)合成填充大口徑光學(xué)成像系統(tǒng)才能獲得的物場(chǎng)頻譜，進(jìn)而利用傅立葉逆變換重建高分辨率的目標(biāo)圖像。

圖24 非相干合成孔徑技術(shù)原理[116]。（a）分時(shí)分孔徑相位反演合成孔徑過(guò)程；（b）基于分時(shí)分孔徑相位反演合成孔徑實(shí)現(xiàn)點(diǎn)擴(kuò)散函數(shù)優(yōu)化；（c）超分辨前后成像對(duì)比Fig. 24 Principle of incoherent synthetic aperture technology[116]. (a) Process for synthetic aperture super-resolution imaging based on time and aperture division synthetic aperture of phase reconstructive; (b) point spread function optimization based on time and aperture division synthetic aperture of phase reconstructive; (c) image comparison before and after super resolution

值得一提的是，嚴(yán)格意義上來(lái)說(shuō)合成孔徑技術(shù)通常不被稱作“超分辨”技術(shù)，這是因?yàn)槠洳坏珕未螠y(cè)量是衍射受限的，而且合成孔徑后仍然受限于由子孔徑之和所決定的大孔徑光學(xué)系統(tǒng)下的光學(xué)衍射極限，其并沒(méi)有突破由光波波長(zhǎng)所限制的光學(xué)衍射極限。此外，通常情況下合成孔徑的原始數(shù)據(jù)都是基于低空間帶寬的成像系統(tǒng)以犧牲時(shí)間分辨率獲得的空間分辨率提升，因此必須在總的空間帶寬（或分辨率）和時(shí)間分辨率之間做出權(quán)衡，這再次表明在使用“超分辨”這一術(shù)語(yǔ)時(shí)要足夠謹(jǐn)慎。這強(qiáng)調(diào)了一個(gè)成像系統(tǒng)實(shí)現(xiàn)超分辨率的能力往往與其信息量或自由度的分解與重組相關(guān)，前者往往需要借助于光學(xué)調(diào)控機(jī)制來(lái)實(shí)現(xiàn)，而后者是需要數(shù)字化的信息處理形式來(lái)實(shí)現(xiàn)，而最終所“超”的分辨率需要通過(guò)另一個(gè)維度的“犧牲”來(lái)彌補(bǔ)。

5.3.2 結(jié)構(gòu)光照明

另一種典型的基于頻域調(diào)控的超分辨技術(shù)是結(jié)構(gòu)光照明顯微術(shù)（Structured Illumination Microscopy，SIM）。如前所述，成像系統(tǒng)的分辨率受到阿貝空間濾波效應(yīng)的限制，存在接近波長(zhǎng)一半尺度的衍射極限，物場(chǎng)信息中高于此光學(xué)傳遞函數(shù)截止頻率的成分將會(huì)被濾除。針對(duì)這一問(wèn)題，Gustafsson[117]于2000年提出了SIM技術(shù)，其基本原理是通過(guò)結(jié)構(gòu)化照明在頻域以空間混頻的方式將物體高頻信息載入光學(xué)系統(tǒng)的探測(cè)通帶內(nèi)實(shí)現(xiàn)突破阿貝衍射極限的超分辨光學(xué)顯微成像。當(dāng)利用周期性結(jié)構(gòu)正弦照明光激發(fā)樣品時(shí)，在頻域上由于結(jié)構(gòu)光頻譜與物頻譜的卷積而產(chǎn)生攜帶物體信息的多級(jí)頻譜。其中±1級(jí)頻譜將攜帶物體細(xì)節(jié)信息的高頻部分平移至截止頻率范圍內(nèi)而被探測(cè)，如圖25(a)所示。但這些高頻信息與0級(jí)頻譜的低頻信息疊加在一起，需要后期數(shù)據(jù)處理（如相移、反卷積、參數(shù)估計(jì)等）將三級(jí)頻譜分開才能有效獲得樣品的高頻信息[118]。由于結(jié)構(gòu)光條紋照射在樣品上也受到系統(tǒng)衍射限制，因此等效截止頻率最多可拓展一倍，即SIM的分辨率最多能在衍射極限的基礎(chǔ)上提高一倍，達(dá)到非相干衍射極限的2倍，約100 nm[119]。但光柵衍射效應(yīng)不僅僅限于±1級(jí)頻譜，例如矩形光柵的頻譜就要豐富的多，其還包括±2級(jí)、±3級(jí)等高階頻譜。因此，假如能采用矩形光柵作為結(jié)構(gòu)光，則可以產(chǎn)生多級(jí)頻譜，使等效截止頻率得到多次拓展從而大幅提高分辨率。但由于結(jié)構(gòu)光的產(chǎn)生也受到光學(xué)系統(tǒng)有限孔徑的限制，直接在物平面上形成一個(gè)周期接近衍射極限分辨率的矩形光柵并不現(xiàn)實(shí)。針對(duì)此問(wèn)題， Gustafsson[120]在傳統(tǒng)SIM的基礎(chǔ)上進(jìn)一步提出了飽和結(jié)構(gòu)光照明顯微技術(shù)（Saturated SIM，SSIM），巧妙地利用熒光分子的飽和激發(fā)使樣品在正弦光波激發(fā)下發(fā)出具有高階頻率分量的非正弦結(jié)構(gòu)光，從而實(shí)現(xiàn)多級(jí)頻譜拓展（如圖25(b)），將分辨率提高到了約50 nm的水平。然而，飽和照明所需的高強(qiáng)度激光增加了SSIM的光漂白，使其難以運(yùn)用于活細(xì)胞成像，無(wú)法發(fā)揮SIM高光子效率、低光毒性的優(yōu)勢(shì)，因此并未得到廣泛應(yīng)用。相關(guān)結(jié)果見圖25(c)～25(e)。

圖25 結(jié)構(gòu)光照明顯微術(shù)。（a）傳統(tǒng)（線性）結(jié)構(gòu)光照明顯微術(shù)的光路及頻譜調(diào)制過(guò)程；（b）飽和結(jié)構(gòu)光照明顯微技術(shù)的頻譜調(diào)制過(guò)程；（c）COS-7細(xì)胞中f-肌動(dòng)蛋白的飽和SIM超分辨圖像及不同方法的對(duì)比結(jié)果（左上：寬場(chǎng)，右上：反卷積，左下：SIM，右下：SSIM）；（d）不同方法下COS-7細(xì)胞中質(zhì)膜微囊的超分辨圖像（左上：寬場(chǎng)，右上：反卷積，左下：SIM，右下：SSIM）；（e） 活體COS-7細(xì)胞中質(zhì)膜微囊的SSIM超分辨結(jié)果[117,120-121]Fig. 25 Structured illumination microscopy. (a) Optical train and spectral modulation process of conventional (linear) structured illumination microscopy; (b) spectral modulation process of saturated structured illumination microscopy; (c)SIM super-resolution images of f-actin in COS-7 cells and the comparison results with different methods (upper left:wide field, upper right: deconvolution, lower left: SIM, lower right: SSIM); (d) super-resolution images of caveolae in COS-7 cells with different methods (upper left: wide field, upper right: deconvolution, lower left: SIM, lower right:SSIM); (e) SSIM super-resolution results of caveolae in living COS-7 cells[117,120-121]

雖然在光柵調(diào)控方式上具有高度相似性，結(jié)構(gòu)光照明技術(shù)與Lukosz超分辨率方案在具體實(shí)施上仍有幾點(diǎn)區(qū)別。首先，光柵調(diào)制與形成的方式不同（物理光柵-光學(xué)結(jié)構(gòu)光場(chǎng)），所以SIM光柵條紋同樣受到系統(tǒng)衍射極限限制。其次，Lukosz超分辨率方案本質(zhì)上是屬于相干成像的范疇，而SIM技術(shù)實(shí)際上是一種非相干成像模態(tài)，所以二者在成像機(jī)理（復(fù)振幅探測(cè)-強(qiáng)度探測(cè)）與衍射極限上（相干衍射極限-非相干衍射極限）都有一些區(qū)別。最后，從處理方式上來(lái)看，SIM是通過(guò)數(shù)字重構(gòu)來(lái)獲得空間帶寬積提升的，而非Lukosz超分辨率方案中的物理濾波。盡管如此，SIM技術(shù)與Lukosz超分辨率方案的本質(zhì)思想是一致的。這種一致性當(dāng)將SIM技術(shù)應(yīng)用在相干成像系統(tǒng)中時(shí)尤為明顯，如結(jié)構(gòu)光照明數(shù)字全息顯微術(shù)[122-123]。由于相干正弦光場(chǎng)本質(zhì)上可以看作是2束（當(dāng)存在直流分量時(shí)為3束）平面波干涉疊加形成的結(jié)果，此類相干SIM技術(shù)本質(zhì)上就可以看作是相干合成孔徑技術(shù)的一個(gè)（多孔徑復(fù)用探測(cè)）特例[124]。

5.3.3 點(diǎn)擴(kuò)散函數(shù)工程

除了上述從頻域光學(xué)傳遞函數(shù)合成的方式來(lái)提升分辨率外，實(shí)現(xiàn)超分辨率同樣也可以從空域角度考慮，即通過(guò)縮小空域點(diǎn)擴(kuò)散函數(shù)的尺寸來(lái)實(shí)現(xiàn)。這類通過(guò)人為調(diào)控點(diǎn)擴(kuò)散函數(shù)來(lái)實(shí)現(xiàn)超分辨成像的技術(shù)被稱為點(diǎn)擴(kuò)散函數(shù)工程。阿貝衍射極限公式源自嚴(yán)密的物理學(xué)推演，并在實(shí)踐中經(jīng)受了嚴(yán)格的檢驗(yàn)，但其成立的條件是可以改變的。2014年，獲得諾貝爾化學(xué)獎(jiǎng)的超分辨率熒光顯微技術(shù)利用熒光分子的開關(guān)效應(yīng)的發(fā)現(xiàn)和單分子探測(cè)技術(shù)，使連續(xù)觀測(cè)單個(gè)熒光分子行為而非其集合平均成為可能。受激發(fā)射損耗顯微（Stimulated Emission Depletion，STED）[11]、光敏定位顯微（Photo Activated Localization Microscopy，PALM）[13]、隨機(jī)光學(xué)重建顯微（Stochastic Optical Reconstruction Microscopy, STORM）[12]等超分辨成像利用熒光分子的受激輻射原理與光開關(guān)效應(yīng)繞開了阿貝衍射極限，將光學(xué)顯微技術(shù)帶入到納米尺度。這些技術(shù)都離不開對(duì)成像系統(tǒng)PSF的人為調(diào)控。

基于PSF函數(shù)調(diào)制的超分辨技術(shù)的代表為Hell[11,125-126]所提出的STED技術(shù)。如圖26所示，STED采用兩束共軸激光，分別為激發(fā)光和損耗光。在激發(fā)光的照射下，基態(tài)的熒光分子吸收光子躍遷到激發(fā)態(tài)并發(fā)射出熒光；再使用環(huán)形損耗光將第1束光斑周圍的熒光物質(zhì)通過(guò)受激損耗過(guò)程滅活，只保留位于中間部位的納米尺度區(qū)域以減少熒光光點(diǎn)的衍射面積，通過(guò)掃描記錄即可獲取整個(gè)樣品的完整圖像[127]。STED顯微鏡的橫向分辨率可達(dá)20～70 nm，憑借超高的分辨率，STED很快被應(yīng)用于生物細(xì)胞研究并取得一系列重要的新發(fā)現(xiàn)[127]。但是，由于STED本身屬于點(diǎn)掃描成像技術(shù)，為了提升成像速度，STED通常需要高的激發(fā)強(qiáng)度來(lái)記錄足夠的光子以換取時(shí)間分辨率，所導(dǎo)致的光毒性和光漂白限制了STED在活細(xì)胞成像中的應(yīng)用。

圖26 STED的超分辨原理示意圖和結(jié)果圖。（a）STED典型光學(xué)系統(tǒng)；（b）STED超分辨原理；（c）微管寬場(chǎng)圖像；（d）微管超分辨圖像[128]Fig. 26 The schematic diagram and results of super-resolution STED. (a) A typical STED setup; (b) the principle of STED;(c) the wide-field image of microtubules; (d) the super-resolution image of microtubules [128]

Betzig[13]等提出的PALM技術(shù)基于熒光分子的光轉(zhuǎn)化能力和單分子定位，通過(guò)用光控制每次僅有少量隨機(jī)離散的單個(gè)熒光分子發(fā)光，并準(zhǔn)確定位單個(gè)熒光分子點(diǎn)擴(kuò)展函數(shù)的中心，最終利用多次曝光疊加成一幅超高分辨率圖像，如圖27所示。由Hess[129]提出的熒光活化定位顯微術(shù)（fPALM）與PALM原理相似，熒光團(tuán)經(jīng)探測(cè)器成像后，由光強(qiáng)控制熒光分子被可逆地滅活或不可逆地光漂白而從視場(chǎng)中消失。莊小威[12]提出的STORM與PALM技術(shù)在原理上類似，區(qū)別在于其所利用的探針是化學(xué)小分子（Cy3和Cy5、Cy7等）而不是生物大分子?；趩畏肿佣ㄎ坏某直骘@微成像技術(shù)可實(shí)現(xiàn)10～30 nm的橫向分辨率，但由于反復(fù)激活和淬滅熒光分子，所需時(shí)間長(zhǎng)，其時(shí)間分辨率較低。

圖27 PALM的超分辨原理示意圖與結(jié)果圖。（a）探測(cè)的單個(gè)原始光子圖像；（b）對(duì)（a）的高斯擬合；（c） 定位的（a）的中心；（d） 聚苯乙烯微球的寬場(chǎng)圖像；（e）疊加原始PALM堆棧數(shù)據(jù)中單分子圖像所獲取的聚苯乙烯微球圖像；（f）聚苯乙烯微球的PALM超分辨圖像Fig. 27 Schematic diagram and result diagram of PALM super-resolution imaging. (a) Detected single raw photon image;(b) Gaussian fitting of (a); (c) localized center of (a); (d) wide-field image of plain polystyrene beads; (e) the plain polystyrene bead image obtained by superimposing the single molecule images in the entire PALM data stack;(f) PALM super-resolution image of plain polystyrene beads

上述STED、PALM和STORM超分辨成像技術(shù)理論上可將顯微成像系統(tǒng)的有效PSF尺寸無(wú)限壓縮，極大提高系統(tǒng)的分辨率，但它們都需要對(duì)樣品進(jìn)行復(fù)雜的熒光標(biāo)記，這就局限了顯微樣品的種類，并且這類技術(shù)對(duì)熒光探針也有較高的精度要求。如何在不采用熒光標(biāo)記的前提下縮小PSF尺寸，提升成像系統(tǒng)的分辨率對(duì)天文學(xué)、遙感監(jiān)測(cè)、無(wú)標(biāo)記顯微和光學(xué)數(shù)據(jù)存儲(chǔ)等領(lǐng)域具有重要意義。由于成像系統(tǒng)的PSF由光瞳函數(shù)所決定，因此可以通過(guò)調(diào)制光瞳函數(shù)（振幅、相位與偏振）實(shí)現(xiàn)對(duì)PSF的調(diào)控。該問(wèn)題由Toraldo di Francia[130]于1952年進(jìn)行了系統(tǒng)闡述與研究。他指出通過(guò)構(gòu)造由離散環(huán)狀狹縫組成的系統(tǒng)孔徑，可以減小PSF中心光斑的尺寸。通過(guò)仔細(xì)設(shè)計(jì)同心環(huán)半徑，可以減小中心的光斑大小，當(dāng)焦斑主瓣寬度小于衍射極限時(shí)，則實(shí)現(xiàn)了超分辨成像。該想法隨后被許多學(xué)者通過(guò)理論與實(shí)驗(yàn)得以證實(shí)[131-134]，并廣泛應(yīng)用到光刻和光存儲(chǔ)等領(lǐng)域。實(shí)際上，該光瞳濾波技術(shù)與后來(lái)報(bào)道的超振蕩透鏡在思路和形式上都非常相似。在第2.3節(jié)中所討論的阿貝成像原理表明，成像系統(tǒng)對(duì)物光場(chǎng)而言相當(dāng)于一個(gè)低通濾波器，其截止頻率決定了成像系統(tǒng)所能觀察到的最小特征。因此，當(dāng)光場(chǎng)通過(guò)成像系統(tǒng)后在像面形成的是一個(gè)帶限信號(hào)。一般來(lái)說(shuō)，帶限函數(shù)的振蕩速度是不可能高于其最高傅立葉分量的，但超振蕩現(xiàn)象的發(fā)現(xiàn)恰好反駁了這一點(diǎn)。超振蕩現(xiàn)象的本質(zhì)就在于帶限函數(shù)在局部區(qū)域振蕩得比其最高傅立葉成分更快，其首次由Aharonov等[135]和Berry[136-137]引入到光學(xué)聚焦中。超振蕩的發(fā)生可以解釋為信號(hào)的局部頻率，或者說(shuō)相位梯度超過(guò)信號(hào)傅立葉頻譜中的最高頻率分量。對(duì)于二維光場(chǎng)信號(hào)，超振蕩的發(fā)生與相位奇異性（非連續(xù)性跳變或振蕩）有關(guān)[138]，并且可以很容易地在散斑場(chǎng)中觀察到[139]。超振蕩焦斑通常尺寸上要小于 0 .38λ/NA[140]，顯著優(yōu)于瑞利判據(jù)的 0.61λ/NA，因此為遠(yuǎn)場(chǎng)的超分辨聚焦和成像提供了新的思路。

值得注意的是，這里將超振蕩歸類于Lukosz型超分辨方案的原因是超振蕩所帶來(lái)的分辨率提升效應(yīng)也是需要付出代價(jià)的。一方面，超振蕩現(xiàn)象常伴隨著較低的主瓣強(qiáng)度和高強(qiáng)度的旁瓣。因此，可用的視場(chǎng)范圍非常有限，通常需要以犧牲視場(chǎng)換取分辨率的提升。此特性使其非常適合與共聚焦點(diǎn)掃描機(jī)制的顯微鏡相結(jié)合（因?yàn)樵擃惣夹g(shù)本身就需要犧牲視場(chǎng)或者時(shí)間分辨率），如圖28所示[141]。另一方面，對(duì)于一個(gè)固定振幅的超振蕩窗口，信號(hào)能量隨著超振蕩的數(shù)量呈指數(shù)增長(zhǎng)，并隨著信號(hào)帶寬的倒數(shù)呈多項(xiàng)式增長(zhǎng)[142]。這就意味著隨著超振蕩效應(yīng)的提升，大部分的信號(hào)能量會(huì)停留在超振蕩發(fā)生窗口之外，從而需要犧牲信噪比（或斯特列爾比，Strehl Ratio）以換取分辨率的提升。這與Feirreira和Kempf[142]所指出的信號(hào)動(dòng)態(tài)范圍的指數(shù)增長(zhǎng)符合香農(nóng)信息理論不謀而合：如果成像系統(tǒng)空間帶寬積為SBP，其可以傳輸信息的比特?cái)?shù)為S BPlog2(1+S NR)。如果想要提升分辨率，即增加超過(guò)空間帶寬乘積的信號(hào)特征量，必須要犧牲信噪比，即每個(gè)單位符號(hào)所攜帶的信息量。因此，在設(shè)計(jì)超分辨率孔徑或者超震蕩透鏡時(shí)，必須在分辨率（PSF尺寸）、視場(chǎng)、信噪比之間進(jìn)行平衡[143]。

圖28 基于超振蕩透鏡的共聚焦顯微鏡，右上角的插圖顯示了超振蕩光斑的光強(qiáng)分布[141]Fig. 28 Principles of confocal microscopy with superoscillatory illumination. The inset in the upper right corner shows the intensity distribution of a superoscillatory hotspot[141]

6 （圖像）超分辨成像——基于廣義采樣的視角

從上節(jié)可知，Lukosz的超分辨方法僅僅對(duì)信號(hào)的相空間分布進(jìn)行調(diào)控與重排列。而本節(jié)將在相空間中解釋采樣與插值，這不僅僅是為了在空間域和頻域同時(shí)揭示對(duì)采樣定理的理解，還展示了將其概念基于Lukosz的空間帶寬積調(diào)控思想相關(guān)聯(lián)與拓展的可能性。這將為解釋另一類超分辨技術(shù)，即突破像素離散采樣頻率限制的圖像超分辨成像技術(shù)提供獨(dú)特的視角。

6.1 相空間采樣與Papoulis帶寬壓縮

光學(xué)圖像在相空間內(nèi)的表征特性就如同不可壓縮的流體，雖然它靈活可控，但總體積守恒。想要壓縮相空間的一個(gè)維度，必須犧牲其他的維度?？梢詫⑼瑯拥母拍顟?yīng)用于香農(nóng)-奈奎斯特采樣定理——空域離散采樣在相空間中對(duì)應(yīng)沿頻率v軸復(fù)制頻譜，并沿x軸離散化維格納分布函數(shù)[144-145]。而其逆過(guò)程插值對(duì)應(yīng)于低通濾波器的維格納函數(shù)在頻率軸上的相乘和在空間域中的卷積。

為了理解相空間采樣的核心思想，以Papoulis帶寬壓縮[146]的相關(guān)樣例來(lái)說(shuō)明。如圖29所示，原始（帶限）信號(hào)(a)通過(guò)透鏡啁啾（即信號(hào)與二次相位函數(shù)的乘積）與分?jǐn)?shù)階傅立葉變換后，其PSD也相繼經(jīng)過(guò)平行于v軸方向的剪切（圖29 (b)）以及旋轉(zhuǎn)后，形成了另一個(gè)帶限函數(shù)（圖29(c)）。其PSD與x軸重新平齊，但帶寬發(fā)生了改變。

圖29 通過(guò)線性光學(xué)變換進(jìn)行帶寬壓縮。（a）帶限函數(shù)的相空間圖；（b）啁啾后的PSD；（c）經(jīng)過(guò)分?jǐn)?shù)傅立葉變換恢復(fù)帶限函數(shù)后的PSDFig. 29 Bandwidth compression via linear optical transformations. (a) Phase-space diagram of band-limited function; (b) PSD after chirping; (c) PSD after fractional Fourier transformation to recover band-limited function

顯然上述Papoulis帶寬壓縮是以空間軸延展（Δx增 加到Δx′）為代價(jià)的，空間帶寬積總量并不發(fā)生改變，這本質(zhì)上與Lukosz超分辨率的空間帶寬積調(diào)控相一致。

6.2 相空間廣義采樣定理

可以進(jìn)一步將相同的概念應(yīng)用于空間帶寬有限但頻域帶寬無(wú)限的信號(hào)（圖30(a)）。當(dāng)其在自由空間傳播（菲涅爾衍射）時(shí)，該信號(hào)的空間帶限性就會(huì)被打破，如圖30 (b)所示。因?yàn)槠銹SD不再是長(zhǎng)方形條狀，在空間域不論如何進(jìn)行直接采樣都會(huì)導(dǎo)致在頻域中非帶限信號(hào)的直接復(fù)制，從而不可避免地造成混疊。然而，當(dāng)能夠采用分?jǐn)?shù)階傅立葉變換對(duì)信號(hào)進(jìn)行去啁啾時(shí)，就能夠?qū)⑵漕l域轉(zhuǎn)換到緊湊支持域，此時(shí)再對(duì)信號(hào)進(jìn)行高于Δvs頻率的采樣就可有效地避免混疊問(wèn)題，如圖30 (b)所示[70]。另一方面，還可以暫且不顧混疊，對(duì)信號(hào)進(jìn)行高于Δvs頻率的采樣，然后在插值恢復(fù)之前對(duì)信號(hào)進(jìn)行去啁啾，或者等價(jià)地說(shuō)把去啁啾結(jié)合進(jìn)入內(nèi)插公式中，同樣可以去混疊并恢復(fù)連續(xù)信號(hào)[147]。上述過(guò)程揭示了一個(gè)信號(hào)只要在相空間沿著某一個(gè)方向或者聯(lián)合維度是緊湊的，它就能夠通過(guò)空間帶寬調(diào)控的方式在不丟失信號(hào)信息的情況下獲得對(duì)其離散采樣，其最小采樣頻率是由其相空間最緊湊維度上的局部帶寬決定的。該思想可以被認(rèn)為是香農(nóng)-奈奎斯特采樣定理的拓展，我們將其稱為相空間的廣義采樣定律。正如圖30 (b)～30(c)所示，不管采用何種相空間變換，該信號(hào)的最小采樣間距是由其相空間的局部帶寬決定的。

圖30 菲涅爾全息圖的廣義采樣。（a）空間緊湊的信號(hào)的相空間圖；（b）采樣域中的信號(hào)；（c）圖（b）中去啁啾后的信號(hào)Fig. 30 Generalized sampling of Fresnel holograms. (a) Phase-space diagram of a signal compact in space; (b) signal in the domain of sampling; (c) signal in (b) after dechirping

6.3 Papoulis廣義采樣

區(qū)別于相空間的廣義采樣定理，Papoulis從另一個(gè)角度提出了另一種廣義抽樣展開概念，其為實(shí)現(xiàn)圖像亞像素超分辨提供了數(shù)據(jù)采集方案基礎(chǔ)，可廣泛應(yīng)用于分析時(shí)間多次編碼采樣或者空域并行多孔徑系統(tǒng)。這些系統(tǒng)的任務(wù)可以定義為用多個(gè)小空間帶寬積系統(tǒng)對(duì)一個(gè)大空間帶寬積信號(hào)進(jìn)行采集，或者一個(gè)小空間帶寬積系統(tǒng)通過(guò)多次采樣對(duì)一個(gè)大空間帶寬積信號(hào)進(jìn)行采集。Papoulis廣義抽樣為分析與解讀這些超分辨、或者空間帶寬積拓展的計(jì)算成像技術(shù)提供了一個(gè)通用的理論框架[17-18]。

Papoulis廣義采樣指的是通過(guò)對(duì)一個(gè)信號(hào)u(x)（它可以是有帶寬限制的，也可以是沒(méi)有帶寬限制的）以M個(gè)相應(yīng)的點(diǎn)擴(kuò)散函數(shù)hm(x)進(jìn)行抽樣調(diào)制，經(jīng)過(guò)系統(tǒng)低通濾波與離散化采集后降采樣的gm(x) 恢 復(fù)連續(xù)信號(hào)的估計(jì)值u?(x)的過(guò)程。這本質(zhì)上是一個(gè)多元聯(lián)合解卷積問(wèn)題，或者等價(jià)于線性方程組的求解問(wèn)題。而該方程組的解的存在性與唯一性，取決于點(diǎn)擴(kuò)散函數(shù)hm(x)的形式與數(shù)量[148]。更具體來(lái)說(shuō)，由系統(tǒng)點(diǎn)擴(kuò)散函數(shù)hm(x)所構(gòu)造的采樣矩陣H本身要是可逆的。從物理角度說(shuō)，每個(gè)子孔徑對(duì)應(yīng)的光學(xué)傳遞函數(shù)可以覆蓋原信號(hào)所感興趣的帶寬Δv，也就是說(shuō)在這個(gè)頻帶內(nèi)的每個(gè)頻率必須被至少一個(gè)子孔徑所覆蓋。此外，在傳遞函數(shù)多次覆蓋的區(qū)域，它們的多次測(cè)量值間還需要具有一定意義上的正交性，以此保證對(duì)每個(gè)頻譜信息進(jìn)行無(wú)歧義恢復(fù)[148]。

以亞像素超分辨成像作為一個(gè)簡(jiǎn)單的例子來(lái)說(shuō)明。可以把對(duì)場(chǎng)景的兩次低分辨率采樣當(dāng)作是兩個(gè)成像子系統(tǒng)，每個(gè)子系統(tǒng)的通帶為Δv，且分別以奈奎斯特采樣頻率的一半對(duì)輸出信號(hào)進(jìn)行采樣。如果兩個(gè)系統(tǒng)在同一個(gè)位置采樣，則它們的功能相同，此時(shí)，由于高頻分量沒(méi)有足夠的信息去解混疊，所以無(wú)法恢復(fù)理想信號(hào)。但如果在兩個(gè)測(cè)量值之間引入亞像素偏移，就會(huì)引起測(cè)量信號(hào)的差異，這就為恢復(fù)理想信號(hào)提供了有效的信息，如圖31。與Lukosz型超分辨率類似的是，Papoulis廣義采樣實(shí)質(zhì)上也是一種通過(guò)交換自由度來(lái)實(shí)現(xiàn)信息量提升的過(guò)程，其構(gòu)成了實(shí)現(xiàn)多幀圖像超分辨率與去混疊技術(shù)的基礎(chǔ)。

圖31 可控亞像素移動(dòng)所引起的像素級(jí)光強(qiáng)變化Fig. 31 Pixel level light intensity change caused by controllable sub-pixel movement

6.4 壓縮采樣（compressive sampling）與壓縮感知（compressive sensing）

上述采樣技術(shù)雖然是香農(nóng)-奈奎斯特采樣定理的拓展，但它們成立的前提仍然受到采樣定理本身的限制。而壓縮采樣理論則認(rèn)為可以通過(guò)遠(yuǎn)少于傳統(tǒng)香農(nóng)-奈奎斯特采樣的次數(shù)來(lái)恢復(fù)圖像，該理論亦被稱為壓縮感知[149-150]。為了實(shí)現(xiàn)這一點(diǎn)，壓縮采樣依靠?jī)蓚€(gè)準(zhǔn)則：稀疏性（sparsity）與非相干性（incoherence）。也就是說(shuō)大多數(shù)自然信號(hào)是稀疏且可壓縮的，它們?cè)诤线m的基下有更緊湊的表示，即信號(hào)在某個(gè)域中非零點(diǎn)很集中，遠(yuǎn)遠(yuǎn)小于信號(hào)總點(diǎn)數(shù)。而誤差、干擾、噪聲或者與信號(hào)無(wú)關(guān)的成分，在此基下則有著稠密的表示。

壓縮采樣與壓縮感知突破奈奎斯特采樣定理的關(guān)鍵就在于其采樣的方式。當(dāng)提到“采樣頻率”的時(shí)候，意味著做的是等間距采樣，數(shù)字信號(hào)領(lǐng)域通常都是做等間距采樣，但是壓縮感知采用不等間距采樣，比如采用隨機(jī)亞采樣，這時(shí)候頻域就不再是以固定周期進(jìn)行延拓的了，而是會(huì)產(chǎn)生大量不相關(guān)的干擾值。這些頻率泄露均勻地分布在整個(gè)頻域，但因?yàn)橄啾群诵某煞侄再x值較小，通過(guò)“壓縮”排除它們的干擾，為信號(hào)的高信噪比恢復(fù)提供了可能。壓縮感知理論的核心問(wèn)題是信號(hào)的稀疏表示、觀測(cè)矩陣的設(shè)計(jì)和重構(gòu)算法，信號(hào)本身或在變換域中的系數(shù)越稀疏，觀測(cè)矩陣和稀疏基構(gòu)成的壓縮感知矩陣的受限等距常數(shù)越小，則壓縮感知的性能越好。而重構(gòu)算法通常以原始信號(hào)和信號(hào)估計(jì)之差的L1范數(shù)作為目標(biāo)函數(shù)，并通過(guò)非線性迭代優(yōu)化的方式實(shí)現(xiàn)。

壓縮采樣所代表的基本思路是從盡量少的數(shù)據(jù)中提取盡量多的信息，這毫無(wú)疑問(wèn)是一種極具應(yīng)用前景的理論與思想。它是傳統(tǒng)信息論的延伸，但是又超越了傳統(tǒng)的采樣理論，成為了信息論的一門嶄新子分支，在計(jì)算光學(xué)成像領(lǐng)域得到了廣泛關(guān)注[151-152]。但我們?nèi)孕枳⒁猓畔⒈举|(zhì)上不會(huì)無(wú)中生有，壓縮采樣的成立是有條件的。L1范數(shù)最小化本質(zhì)上蘊(yùn)含了目標(biāo)分布的先驗(yàn)信息（如分片平滑性），該先驗(yàn)信息的準(zhǔn)確性決定了數(shù)據(jù)壓縮比以及信號(hào)重建的質(zhì)量。

6.5 （圖像）超分辨成像的典型計(jì)算成像案例

隨著光學(xué)成像到光電數(shù)字化成像的轉(zhuǎn)變，圖像需要通過(guò)圖像傳感器件進(jìn)行數(shù)字化離散采樣和記錄。這一過(guò)程要求能夠記錄光學(xué)圖像的完整信息，以應(yīng)對(duì)后續(xù)的觀察和處理，圖像的像素分辨率也是成像系統(tǒng)進(jìn)行采樣的“最后一道工序”。根據(jù)奈奎斯特采樣定律知，當(dāng)探測(cè)器的像素大小大于所探測(cè)光強(qiáng)最高余弦頻率分量周期的1/2時(shí)，會(huì)發(fā)生像素混疊。如圖32(a)所示，此成像過(guò)程可以等效為光強(qiáng)先經(jīng)高分辨率像素網(wǎng)格采樣（不發(fā)生混疊），然后進(jìn)行一次像素合并，相鄰高分辨像素合并為低分辨率像素的過(guò)程（發(fā)生混疊，如圖32 (b)）。像素超分辨的本質(zhì)就是將低分辨像素重新分解成高分辨率像素，并獲取每個(gè)高分辨率像素響應(yīng)相對(duì)于低分辨率像素的權(quán)重（圖像細(xì)節(jié)成分），如圖32(c)所示。這本身也是一個(gè)從無(wú)到有的過(guò)程，因此，超分辨率的優(yōu)化重建本質(zhì)上是一個(gè)病態(tài)方程的逆向求解問(wèn)題。高維病態(tài)問(wèn)題的不確定性即解的不可預(yù)測(cè)性，可以通過(guò)構(gòu)建系數(shù)矩陣，將病態(tài)問(wèn)題正定化，從而實(shí)現(xiàn)病態(tài)問(wèn)題的優(yōu)化求解。歸根到底，超分辨率重建技術(shù)本質(zhì)上就是采用光學(xué)調(diào)控的方式，通過(guò)交換自由度來(lái)實(shí)現(xiàn)信息量提升，從而打破成像系統(tǒng)的固有限制，實(shí)現(xiàn)圖像超分辨率重建與去混疊。其本質(zhì)都是將信號(hào)通過(guò)調(diào)制解調(diào)的方式，以犧牲某一維度（時(shí)間）的信息來(lái)?yè)Q取另外一個(gè)維度（空間）上的信息提升，或通過(guò)構(gòu)造函數(shù)或算法將信號(hào)無(wú)失真或近似地恢復(fù)，從而實(shí)現(xiàn)濾波、去噪和去偽影等功能。

圖32 圖像亞像素超分辨。（a）圖像降采樣正向模型；（b）采樣頻率不足產(chǎn)生頻譜混疊效應(yīng)；（c）亞像素位移超分辨重建示意圖Fig. 32 Image subpixel super-resolution. (a) Image downsampling forward model; (b) spectral aliasing effect due to insufficient sampling frequency; (c) schematic diagram of subpixel shift super-resolution reconstruction

超分辨率重建通常以構(gòu)建正向物理模型以及學(xué)習(xí)外部樣例等方式引入先驗(yàn)知識(shí)，使得超分辨率重建問(wèn)題的解具有唯一性，重建出理想的高分辨率圖像。目前圖像（像素）分辨率成像技術(shù)大致可分為兩類，即單幀圖像超分辨[153-155]和多幀圖像超分辨[156-157]。

6.5.1 單幀像素超分辨技術(shù)

單幀圖像超分辨重建技術(shù)僅從一幅低分辨率圖像中即可重建對(duì)應(yīng)的高分辨率圖像，其也可以看作是圖像插值的特例。顯然，從一幅靜態(tài)圖像進(jìn)行像素超分辨率是一個(gè)病態(tài)逆問(wèn)題求解過(guò)程，但在圖像質(zhì)量較高而噪聲較低且放大系數(shù)較小的情況下，可以通過(guò)引入某種先驗(yàn)?zāi)Ｐ突蚴褂锰囟ǖ钠ヅ錂C(jī)制在原始圖像上進(jìn)行插值，以提升圖像的視覺(jué)效果。

單幀圖像超分辨方法主要包括頻域外推[158-159]、正則化[160]、實(shí)例映射[161]以及深度學(xué)習(xí)[162-165]等。稀疏性可以作為約束或者正則項(xiàng)，提供額外的先驗(yàn)信息。而大部分信號(hào)本身并不是稀疏的（即在自然基下的表達(dá)不是稀疏的），但是經(jīng)過(guò)適當(dāng)?shù)木€性變換后是稀疏的（即在另一組基下是稀疏的），如離散余弦變換與小波變換等。這樣就可以使得采樣速率完全由信號(hào)中包含的信息所決定，而不再受限于信號(hào)的帶寬，從而打破了傳統(tǒng)信息處理需滿足奈奎斯特采樣的局限性，在信號(hào)處理領(lǐng)域開辟了全新的研究方向。其基本思想也是如何利用盡可能少的信息恢復(fù)得到高維信息。壓縮感知用非自適應(yīng)線性投影來(lái)保持信號(hào)的原始結(jié)構(gòu)，通過(guò)編解碼的方式，以遠(yuǎn)低于所需的采樣頻率對(duì)原始信號(hào)進(jìn)行采樣，并通過(guò)后端數(shù)據(jù)處理的方式對(duì)原始信號(hào)進(jìn)行重建恢復(fù)，有效減小了傳感器的計(jì)算壓力與數(shù)據(jù)的傳送、儲(chǔ)存成本。與此同時(shí)，壓縮感知目前也存在一些問(wèn)題和瓶頸，主要集中在系數(shù)矩陣的構(gòu)建與重建求解上，例如測(cè)量矩陣與稀疏基的非相關(guān)性難以保證，稀疏矩陣構(gòu)建的復(fù)雜性，稀疏求解的不確定性等。

近年來(lái)，人工智能與深度學(xué)習(xí)技術(shù)的飛躍式發(fā)展為計(jì)算光學(xué)成像技術(shù)開啟了一扇全新的大門，也同樣再次助推單幀圖像超分辨圖像[166-169]的革新，將傳統(tǒng)物理模型驅(qū)動(dòng)的圖像復(fù)原轉(zhuǎn)為基于數(shù)據(jù)模型驅(qū)動(dòng)的圖像間映射問(wèn)題，或是物理模型與數(shù)據(jù)模型的聯(lián)合優(yōu)化設(shè)計(jì)。深度學(xué)習(xí)技術(shù)[170-172]通過(guò)輸入圖像中不同尺度上的內(nèi)部相似性或者從外部低分辨率和高分辨率樣本中進(jìn)行學(xué)習(xí)建立學(xué)習(xí)映射函數(shù)來(lái)恢復(fù)其最可能的高分辨率版本，如圖33（彩圖見期刊電子版）所示。然而由于單幀圖像所包含的信息本身十分有限，故所能達(dá)到的分辨率提升效果會(huì)受到極大限制。更重要的是，額外的高頻信息往往是通過(guò)“圖像先驗(yàn)”[173-174]與“樣本學(xué)習(xí)[175]”所得到的，因此重建所獲得的“最有可能”的高分辨率版本通常情況下只能在視覺(jué)上達(dá)到較高的清晰度，但不能保證提供真實(shí)的目標(biāo)圖像高分辨率細(xì)節(jié)。

圖33 基于深度學(xué)習(xí)的單幀圖像超分辨圖像重構(gòu)算法[184]。（a）基于圖像特征提取的單幀圖像超分辨率神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)框圖；（b） 單幀圖像神經(jīng)網(wǎng)絡(luò)超分辨重構(gòu)結(jié)果。雖然圖像細(xì)節(jié)變清晰了，但大多與真實(shí)圖像并完全不一致Fig. 33 Single-frame super-resolution image reconstruction algorithm based on deep learning[184]. (a) Block diagram of singleframe image super-resolution neural network structure based on image feature extraction; (b) results of single-frame image neural network super-resolution reconstruction. Although the image details become clearer, most of them do not match with the real image at all

進(jìn)而，基于物理模型先驗(yàn)[176-178]的深度學(xué)習(xí)求解思想也相繼提出，將復(fù)雜的問(wèn)題分解為若干簡(jiǎn)單子問(wèn)題或子步驟與深度神經(jīng)網(wǎng)絡(luò)的聯(lián)合優(yōu)化求解，或是將成像系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)[179-181]（或光學(xué)傳遞函數(shù)）模型映射到深度學(xué)習(xí)網(wǎng)絡(luò)中，同時(shí)將光學(xué)系統(tǒng)拍攝到的圖像與傳遞函數(shù)作為“網(wǎng)絡(luò)輸入”，將待恢復(fù)的期望信息作為“網(wǎng)絡(luò)輸出”通過(guò)高維度特征擬合實(shí)現(xiàn)圖像與信息的提取與重建。此外，通過(guò)構(gòu)建真實(shí)數(shù)據(jù)集[182-183]，建立場(chǎng)景與圖像之間的正向模型，并使得采樣數(shù)據(jù)包含場(chǎng)景中所感興趣的物理信息，提供模型重建的穩(wěn)定性以及可靠性。

6.5.2 多幀像素超分辨技術(shù)

1977年，Papoulis A首次引入廣義采樣理論[17]，對(duì)Shannon采樣定理進(jìn)行推廣，探討符合Nyquist采樣率的條件下，線性時(shí)不變系統(tǒng)帶限信號(hào)的采樣與重構(gòu)問(wèn)題。進(jìn)一步User M和Zerubia J在Papoulis A理論基礎(chǔ)上，將信號(hào)空間拓展到非帶限情況，將信號(hào)的重構(gòu)問(wèn)題轉(zhuǎn)向空間投影與信號(hào)在其子空間或投影空間的逼近[148,185]。而多幀圖像超分辨的核心思想在于利用時(shí)間帶寬（獲取同一場(chǎng)景的多幀圖像序列）換取空間分辨，構(gòu)建病態(tài)逆向問(wèn)題的求解矩陣。采用照明端或成像端調(diào)控的方式，建立場(chǎng)景與成像端之間的變換或調(diào)制模型，通過(guò)迭代算法優(yōu)化進(jìn)行計(jì)算反演，以獲得目標(biāo)場(chǎng)景的高質(zhì)量圖像與高維度物理信息。正如Papoulis廣義采樣所指出的，超分辨重建問(wèn)題本質(zhì)上是一個(gè)多元聯(lián)合解卷積問(wèn)題，或者等價(jià)于線性方程組的求解問(wèn)題。若給予足夠數(shù)量的觀察圖像，系統(tǒng)的求解方程將是正定矩陣或超定矩陣，使高分辨圖像復(fù)原成為可能。從物理角度講，由系統(tǒng)點(diǎn)擴(kuò)散函數(shù)所構(gòu)造的采樣矩陣H本身要是可逆的，并且在實(shí)際成像中也包含著成像系統(tǒng)干擾項(xiàng)及大氣擾動(dòng)等外部影響因素，因此逆向矩陣構(gòu)建的穩(wěn)定性（條件數(shù)）代表了成像模型對(duì)噪聲的敏感性，它直接影響高分辨圖像的恢復(fù)效果。因此，Papoulis廣義采樣實(shí)質(zhì)上也是一種通過(guò)交換自由度來(lái)實(shí)現(xiàn)信息量提升的過(guò)程，其構(gòu)成了多幀圖像超分辨率與去混疊技術(shù)的基礎(chǔ)（圖34）。

圖34 多幀圖像超分辨基本原理。通過(guò)進(jìn)行不同的調(diào)控方式使得點(diǎn)擴(kuò)散函數(shù)（采樣矩陣）產(chǎn)生像素級(jí)的光強(qiáng)變化Fig. 34 The basic principle of multi-frame image super-resolution. The point spread function produces pixel-level light intensity variations (sampling matrix) by performing different modulation methods

空間混疊意味著高頻成分被折疊并加入到低頻成分中，通過(guò)獲得幾個(gè)具有不同空間混疊效應(yīng)的測(cè)量，這些高頻成分可以被識(shí)別和恢復(fù)，但如果在兩個(gè)測(cè)量值之間引入亞像素偏移，從而引起測(cè)量信號(hào)的差異，這就為理想信號(hào)恢復(fù)提供了有效的信息。因此，傳統(tǒng)的多幀圖像超分辨算法大多數(shù)通過(guò)探測(cè)器與觀測(cè)場(chǎng)景間的可控亞像素位移來(lái)產(chǎn)生這些具有光強(qiáng)多樣性的低分辨圖像的，通過(guò)對(duì)同一場(chǎng)景的多次采樣，最后采用重構(gòu)算法恢復(fù)出高分辨率圖像?；诒粍?dòng)亞像素位移的超分辨重建算法研究較為成熟，大部分算法是從圖像盲復(fù)原引入的，還可以細(xì)分為頻域法[186]，非均勻內(nèi)插法[187]等。在經(jīng)典多圖像超分辨中，對(duì)同一場(chǎng)景中的低分辨率圖像進(jìn)行亞像素位移，對(duì)高分辨率圖像進(jìn)行重構(gòu)，這只需移動(dòng)相機(jī)即可實(shí)現(xiàn)，如圖32(c)所示。然而，由于非理想光學(xué)傳輸、非均勻采樣[187]及配準(zhǔn)誤差[188]問(wèn)題，這種方法通常僅限于分辨率的小幅度提高。

實(shí)現(xiàn)圖像亞像素偏移的另一類關(guān)鍵技術(shù)是通過(guò)主動(dòng)微掃描的方式獲得光學(xué)系統(tǒng)和探測(cè)器之間的可操縱位移[189-192]，以獲取像素級(jí)的光強(qiáng)變化。微掃描可以看作是一個(gè)過(guò)采樣的過(guò)程（圖35），它通過(guò)壓電陶瓷、掃描振鏡或平板旋轉(zhuǎn)來(lái)實(shí)現(xiàn)，通過(guò)高精度微掃描裝置使得探測(cè)器所采集圖像分別在x，y方向進(jìn)行等間距的亞像素位移，得到多幀具有不同方向、不同位移的混疊圖像。通過(guò)已知的不同方向的位移量，結(jié)合采集的圖像進(jìn)行數(shù)據(jù)重組即可重建得到一張去混疊圖像，從而實(shí)現(xiàn)超像素分辨成像。微掃描技術(shù)的應(yīng)用比較廣泛，特別是在現(xiàn)代軍事夜視與紅外成像制導(dǎo)應(yīng)用方面占有極其重要的地位。主動(dòng)微掃描圖像超分辨技術(shù)[193]有效解決了被動(dòng)多幀圖像超分辨中的非全局平移、配準(zhǔn)誤差、以及采樣不均勻的問(wèn)題，有效促進(jìn)了分辨率穩(wěn)定且各向同性的提升，但采集裝置存在著系統(tǒng)結(jié)構(gòu)復(fù)雜，加工精度高，位移量及掃描路徑不易控制，對(duì)環(huán)境振動(dòng)敏感等缺點(diǎn)[194]。

圖35 微掃描裝置。（a）光學(xué)折射法；（b）平板旋轉(zhuǎn)法；（c）壓電陶瓷體Fig. 35 Micro-scanning device. (a) Optical refraction method; (b) flat plate rotation method; (c) piezoelectric ceramics

針對(duì)上述問(wèn)題，本課題組提出了基于孔徑編碼的像素超分辨成像方法[195]。從“編碼、混疊、采樣”正向建模過(guò)程出發(fā)，同時(shí)考慮點(diǎn)擴(kuò)散函數(shù)的各項(xiàng)異性、頻譜的覆蓋率與響應(yīng)度，通過(guò)構(gòu)建多元聯(lián)合解卷積方程尋找最優(yōu)編碼圖案，突破探測(cè)器空間采樣限制，實(shí)現(xiàn)圖像去混疊。該方法與傳統(tǒng)的基于亞像素位移的多幀圖像超分辨率方法的根本區(qū)別是，成像過(guò)程并不依賴于場(chǎng)景和探測(cè)器之間的相對(duì)運(yùn)動(dòng)，且明確考慮了成像系統(tǒng)的衍射效應(yīng)。如圖36所示，編碼孔徑像素超分辨成像技術(shù)的基本思想是通過(guò)改變不同的孔徑模式來(lái)調(diào)節(jié)成像系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)，使得點(diǎn)擴(kuò)散函數(shù)可以跨越多個(gè)整像素，并包含有關(guān)高頻圖像的信息。成像系統(tǒng)在不同孔徑編碼調(diào)控下對(duì)同一場(chǎng)景進(jìn)行多次采樣，然后將所拍攝到的低分辨率混疊圖像在頻域進(jìn)行迭代重構(gòu)與解混疊，最終可反演出目標(biāo)場(chǎng)景中小于像素尺寸的高頻細(xì)節(jié)成分。實(shí)驗(yàn)結(jié)果如圖37所示，采用該技術(shù)可使成像系統(tǒng)的分辨率提升至探測(cè)器物理尺寸所限制的奈奎斯特采樣頻率的3倍以上，進(jìn)而實(shí)現(xiàn)“亞像素”成像。該方法其實(shí)是點(diǎn)擴(kuò)散函數(shù)工程與Papoulis廣義采樣理論在像素超分辨成像領(lǐng)域的創(chuàng)新結(jié)合，其不借助于物理移動(dòng)器件或空間掃描機(jī)制，為突破探測(cè)器空間采樣不足所造成的分辨率受限提供了一條嶄新的思路。

圖37 基于孔徑編碼的像素超分辨成像技術(shù)的典型實(shí)驗(yàn)結(jié)果[116]。（a）長(zhǎng)波紅外成像系統(tǒng)對(duì)標(biāo)準(zhǔn)分辨率靶標(biāo)成像測(cè)試；（b）～（d） 采用像素超分辨算法對(duì)USAF靶標(biāo)及遠(yuǎn)距離車輛前后成像效果對(duì)比Fig. 37 Typical experimental results of coded aperture-based pixel super-resolution imaging technique[116]. (a) Long-wave infrared imaging system for standard resolution target imaging test; (b)-(d) comparison of imaging resolution before and after applying pixel super-resolution algorithm on USAF target and vehicle

7 空間帶寬積拓展——擴(kuò)視場(chǎng)vs超分辨

圖像空間帶寬積是其奈奎斯特極限下完整表示信號(hào)所需的采樣樣本數(shù)，即其有效可分辨像元的數(shù)目。而受光學(xué)系統(tǒng)空間帶寬積守恒原理所限，對(duì)于傳統(tǒng)成像系統(tǒng)而言，通過(guò)鏡頭聚焦并被成像設(shè)備采集到的物體的信息量，也就是其空間帶寬積總是有限的，大約在千萬(wàn)像素量級(jí)（10 Megapixels）。圖像空間帶寬積取決于兩方面因素——視場(chǎng)與分辨率，因此圖像空間帶寬積的擴(kuò)展也必須依賴于視場(chǎng)的擴(kuò)大與分辨率的提高兩方面共同完成。

7.1 基于視場(chǎng)擴(kuò)大的空間帶寬積拓展

擴(kuò)大視場(chǎng)是提升空間帶寬積，獲得寬視場(chǎng)高分辨圖像最直接的方式。其又可以分為單成像系統(tǒng)掃描拼接與多探測(cè)器/多孔徑合成兩類技術(shù)。單成像系統(tǒng)掃描拼接是以時(shí)間分辨置換空間分辨的傳統(tǒng)帶寬積拓展方式。圖38為美國(guó)卡耐基梅隆大學(xué)設(shè)計(jì)開發(fā)的Gigapan全景拍攝系統(tǒng)[196]，通過(guò)圍繞一個(gè)固定軸進(jìn)行連續(xù)掃描拍攝，獲取不同視角下的圖像，然后通過(guò)后期圖像拼接處理，最終獲得了約十億像素級(jí)的寬視場(chǎng)超高分辨率圖像。在理想情況下（忽略視場(chǎng)重疊區(qū)域），所獲得圖像的最大空間帶寬積由單幅圖像的空間帶寬積與曝光次數(shù)的乘積決定。

圖38 Gigapan全景拍攝系統(tǒng)及拍攝拼接所得的像素全景圖Fig. 38 Gigapan panoramic imaging system and the gigapixel panorama image obtained by stitching

多探測(cè)器/多孔徑合成是在同一時(shí)刻使用多個(gè)成像設(shè)備對(duì)空間場(chǎng)景進(jìn)行并行拍攝。每個(gè)相鄰成像設(shè)備之間均有一定視場(chǎng)的重疊，最終通過(guò)拍攝圖像拼接獲得寬視場(chǎng)高分辨圖像。這種方法無(wú)需旋轉(zhuǎn)掃描機(jī)械結(jié)構(gòu)，解決了單相機(jī)掃描拍攝的時(shí)間分辨率低的問(wèn)題。依照視場(chǎng)拼接方式的不同，其大致包括探測(cè)器拼接、多相機(jī)拼接和多尺度成像等方式。

7.1.1 多探測(cè)器拼接

近來(lái)年，隨著航天遙感、天文觀測(cè)、廣域監(jiān)視等領(lǐng)域的發(fā)展，單片探測(cè)器的像素規(guī)模已經(jīng)不能滿足要求。多探測(cè)器拼接技術(shù)利用多片探測(cè)器實(shí)現(xiàn)了像素的互補(bǔ)，通過(guò)光學(xué)系統(tǒng)分光并投射于各個(gè)探測(cè)器感光面實(shí)現(xiàn)多幅圖像獲取，并借助光學(xué)拼接成像技術(shù)實(shí)現(xiàn)了廣域超高分辨圖像合成探測(cè)。如Microlensing Observations in Astrophysics(MOA) 項(xiàng)目的第三代成像組件MOA-cam3[197]，其由10片像素?cái)?shù)為 2000×4 000的CCD4482芯片按5×2組成，經(jīng)過(guò)特殊封裝, 可實(shí)現(xiàn)多個(gè)側(cè)面拼接，如圖39 (a)所示。歐洲空間局（ESA）建造的大型天文望遠(yuǎn)鏡Gaia[198]的焦平面陣列由106片CCD拼接而成，如圖39 (b)所示。單片CCD像素?cái)?shù)為4 500×1966，可實(shí)現(xiàn)總像素?cái)?shù)可達(dá)9.4億廣域圖像。由華盛頓大學(xué)和其他研究機(jī)構(gòu)的科學(xué)家研究的大型綜合巡天望遠(yuǎn)鏡（Large Synoptic Survey Telescope，LSST）[199]的焦平面陣列由189個(gè)4 096×4 096像素?cái)?shù)的CCD探測(cè)器組成，如圖39 (c)所示。LSST三天全天區(qū)拍攝一次，可以實(shí)現(xiàn)320～1 060 nm波長(zhǎng)范圍的6個(gè)波段上20 000平方度天區(qū)的連續(xù)重疊成像，像素規(guī)模達(dá)到30億。如圖39 (d)所示，由中國(guó)科學(xué)院國(guó)家天文臺(tái)承擔(dān)建造的大天區(qū)面積多目標(biāo)光譜天文望遠(yuǎn)鏡LAMOST[200]包含一個(gè)反射施密特校正鏡，包含24塊正六邊形子鏡片，每片鏡片的口徑在3.6～4.9 m之間，通過(guò)我國(guó)自主研制的鏡面拼接技術(shù)，將接收到的包含天體光譜信息的光束反射到光纖探頭并傳輸?shù)紺CD上，可同時(shí)觀測(cè)4 000個(gè)天體。

圖39 多片探測(cè)器進(jìn)行集成與拼接。（a）由10片CCD4482芯片組成MOA-cam3；（b）由106片CCD 拼接而成的Gaia天文望遠(yuǎn)鏡的焦平面陣列；（c）由21個(gè)模塊組成的大型綜合巡天望遠(yuǎn)鏡LSST（Large Synoptic Survey Telescope）的焦平面陣列。每個(gè)模塊由9個(gè)CCD 探測(cè)器組成；（d）由24塊正六邊形的鏡片拼接組成的大天區(qū)面積多目標(biāo)光譜天文望遠(yuǎn)鏡的改正鏡Fig. 39 Integration and stitching of multiple detectors. (a) MOA-cam3 is composed of 10 CCD4482 chips; (b) the Gaia Astronomical Telescope's focal plane array consists of 106 CCDs stitched together; (c) the focal plane array of the Large Synoptic Survey Telescope (LSST) is composed of 21 modules. Each module consists of 9 CCD detectors; (d) the correction mirror of large sky area multi-target spectral astronomical telescope is composed of 24 hexagonal lenses

除了天文觀測(cè)外，多片探測(cè)器進(jìn)行集成與拼接技術(shù)還廣泛應(yīng)用在軍工探測(cè)領(lǐng)域。例如美國(guó)空軍實(shí)驗(yàn)室和LosAlamos國(guó)家實(shí)驗(yàn)室聯(lián)合研制了AngelFire大視角持久監(jiān)視觀測(cè)系統(tǒng)，英國(guó)Logos Technologies公司研制了高分辨率廣域晝夜監(jiān)視系統(tǒng)Kestrel，英國(guó)BAE公司研制了搭載在A160T蜂鳥無(wú)人直升機(jī)上的ARGUS系統(tǒng)[201]等。如圖40所示，ARGUS系統(tǒng)采用了368個(gè)Aptina MT9P031商用圖像傳感器和4個(gè)主鏡頭，其中92個(gè)傳感器為一組，共用一個(gè)主鏡頭。92個(gè)探測(cè)器呈棋盤狀分布，4個(gè)焦平面陣列交錯(cuò)互補(bǔ)，再通過(guò)圖像拼接，能夠得到較好的整體大視場(chǎng)高分辨率圖像，總像素?cái)?shù)為18億。該系統(tǒng)飛行高度為6 km，可覆蓋直徑為7.2 km、面積為40平方公里的地面區(qū)域，地面像元分辨率可達(dá)15 cm，對(duì)覆蓋區(qū)域內(nèi)的人、車輛以及景物清晰可辨。

圖40 ARGUS-IS系統(tǒng)及其成像效果。（a）ARGUS-IS 系統(tǒng)外型；（b）系統(tǒng)采用了368個(gè)圖像傳感器和4個(gè)主鏡頭，其中92個(gè)傳感器為一組，共用一個(gè)主鏡頭。通過(guò)巧妙設(shè)置傳感器的安裝位置，使得每組傳感器獲得的圖像錯(cuò)位，互為補(bǔ)充，再通過(guò)圖像拼接，能夠得到較好的整體成像結(jié)果。（c）此成像系統(tǒng)在6 000 m高空有效覆蓋7.2 km×7.2 km的地面區(qū)域Fig. 40 ARGUS-IS system and its imaging results. (a) ARGUS-IS system appearance; (b) the system adopts 368 image sensors and four main lenses, of which 92 sensors are in one group and share one main lens. By skillfully setting the installation position of the sensors, the images obtained by each group of sensors are misaligned to complement each other, and then by image stitching, a better overall imaging result can be obtained. (c) This imaging system effectively covers a ground area of 7.2 km×7.2 km at 6 000 m altitude

7.1.2 多相機(jī)拼接

多相機(jī)分視場(chǎng)組合成像是使用多個(gè)小相機(jī)組成的相機(jī)陣列在同一時(shí)刻拍攝多幅有一定視場(chǎng)重疊的子圖，再拼接得到廣域視場(chǎng)合成圖像。相機(jī)陣列的排列方式根據(jù)應(yīng)用場(chǎng)景的不同而變化，包括平面型、環(huán)型、球型、仿生復(fù)眼型等。典型案例包括：2005年，斯坦福大學(xué)Wilburnden等人提出的一種由96個(gè)相機(jī)組成的大型成像系統(tǒng)，其可實(shí)現(xiàn)室內(nèi)場(chǎng)景或室外特定場(chǎng)景的拼接成像，如圖41(b)與41(c)所示。Lytro公司所研制的光場(chǎng)采集系統(tǒng)Immerge（如圖41(a)）打破了多相機(jī)拼接場(chǎng)景的限制。該系統(tǒng)每個(gè)相機(jī)均配有單獨(dú)的數(shù)據(jù)處理器，并且可以單獨(dú)調(diào)控自己相機(jī)分布，拍攝出來(lái)的子圖可以適應(yīng)場(chǎng)景的變化，從而可以實(shí)現(xiàn)寬視場(chǎng)高分辨率視頻圖像采集[202-203]。借助于每個(gè)相機(jī)在不同視角分布的優(yōu)勢(shì)，該技術(shù)還可用于三維重建（如圖41(d)所示的用于3D掃描技術(shù)的CAMatrix環(huán)型相機(jī)陣列系統(tǒng)）與光場(chǎng)渲染（如圖41(e)所示的來(lái)自清華大學(xué)戴瓊海院士課題組的鳥籠狀相機(jī)陣列系統(tǒng)）等。

圖41 多相機(jī)拼接系統(tǒng)。（a）Lytro公司所研制的光場(chǎng)采集系統(tǒng)Immerge；（b）斯坦福半環(huán)型相機(jī)陣列系統(tǒng)；（c）斯坦福平面型相機(jī)陣列系統(tǒng)；（d）CAMatrix環(huán)型相機(jī)陣列系統(tǒng)；（e）清華大學(xué)鳥籠相機(jī)陣列系統(tǒng)Fig. 41 Multi-camera stitching system. (a) Immerge, a light field acquisition system developed by Lytro; (b) Stanford semiring camera array system; (c) Stanford planar camera array system; (d) CAMatrix ring camera array system;(e) Tsinghua University birdcage camera array system

在仿生復(fù)眼成像方面，瑞士洛桑聯(lián)邦理工學(xué)院（EPFL）的科研團(tuán)隊(duì)設(shè)計(jì)并研制了仿生復(fù)眼成像設(shè)備Panoptic[204]，如圖42(a)所示。該成像系統(tǒng)由上百個(gè)“子眼微相機(jī)”組成并分層排布在一個(gè)半球面上，可覆蓋較大的視場(chǎng)范圍。在Panoptic系統(tǒng)的基礎(chǔ)上，該科研團(tuán)隊(duì)進(jìn)一步研發(fā)了大視場(chǎng)高分辨率的OMNI-R系統(tǒng)和Giga EYE系統(tǒng)[205]。其中OMNI-R系統(tǒng)由44個(gè)焦距為6 mm，視場(chǎng)為53°×43°的子眼鏡頭組成，如圖42(b)所示，可以實(shí)時(shí)成像的視場(chǎng)范圍為360°×100°。類似于昆蟲復(fù)眼結(jié)構(gòu)的還有美國(guó)北卡羅來(lái)納州立大學(xué)天文學(xué)家Nicholas Law研制的艾弗里地基望遠(yuǎn)系統(tǒng)（Evryscope）[206-207]。該系統(tǒng)由24個(gè)口徑為7 cm的望遠(yuǎn)鏡組成，24個(gè)望遠(yuǎn)鏡排布在半球殼上，如圖42(c)所示，每次曝光可以獲得約1/4個(gè)天空的視野。

圖42 仿生復(fù)眼成像系統(tǒng)；（a）瑞士洛桑聯(lián)邦理工學(xué)院（Swiss Federal Institute of Technology Lausanne，EPFL）的科研團(tuán)隊(duì)設(shè)計(jì)并研制了仿生復(fù)眼成像設(shè)備Panoptic；（b）大視場(chǎng)高分辨率的OMNI-R系統(tǒng)；（c）Nicholas Law研制的艾弗里地基望遠(yuǎn)系統(tǒng)EvryscopeFig. 42 Bionic compound eye imaging system; (a) Bionic compound eye imaging device Panoptic designed and developed by a research team at the Swiss Federal Institute of Technology Lausanne (EPFL); (b) large field of view high-resolution OMNI-R system; (c) Avery ground-based telescope Evryscope developed by Nicholas Law

7.1.3 多尺度成像

多尺度光學(xué)成像是另一種可同時(shí)實(shí)現(xiàn)寬視場(chǎng)和高分辨成像的方法。區(qū)別于前文介紹的幾種成像方法，該方法是基于透鏡系統(tǒng)的比例法則，從通過(guò)光學(xué)設(shè)計(jì)校正光學(xué)系統(tǒng)像差的角度出發(fā)來(lái)拓展成像系統(tǒng)的空間帶寬積。針對(duì)大尺寸光學(xué)系統(tǒng)幾何像差大的問(wèn)題，美國(guó)杜克大學(xué)的Brady提出了多尺度光學(xué)成像設(shè)計(jì)方法[208]，采用光學(xué)設(shè)計(jì)的手段減少系統(tǒng)的幾何像差。其主要思想是將系統(tǒng)成像過(guò)程劃分為大視場(chǎng)粗糙成像與小視場(chǎng)高分辨成像兩部分。大視場(chǎng)粗糙成像采用置于系統(tǒng)前端的主球透鏡頭對(duì)空間大角度光能進(jìn)行收集實(shí)現(xiàn)，而小視場(chǎng)高分辨成像則采用位于主透鏡后端的小透鏡陣列對(duì)不同視場(chǎng)處的像差進(jìn)行校正并配合使用與透鏡陣列相對(duì)應(yīng)的探測(cè)器陣列來(lái)實(shí)現(xiàn)。最終，借助信號(hào)處理單元將多通道獲取的具有一定重疊的高分辨圖像進(jìn)行快速并向配準(zhǔn)，拼接得到一幅完整的大視場(chǎng)高分辨圖像。

雖然采用多尺度光學(xué)系統(tǒng)拓展成像系統(tǒng)空間帶寬積具有很大的優(yōu)越性，但是系統(tǒng)對(duì)主鏡的選擇有很高的要求。若以常規(guī)的透鏡作為系統(tǒng)主鏡，組成次級(jí)成像的多孔徑中繼陣列所需要校正的局部視場(chǎng)像差各不相同，這會(huì)很大程度增加中繼陣列的加工與設(shè)計(jì)的難度。針對(duì)這一問(wèn)題，Brady等人提出了同心多尺度光學(xué)成像系統(tǒng)[209-215,2]，使得次級(jí)成像系統(tǒng)所需要校正的局部像差對(duì)稱，基于此，他們先后研制了應(yīng)用于可見光波段的多尺度大視場(chǎng)高分辨率成像系統(tǒng)AWARE-2[2]、AWARE-10[216]、AWARE-40[217]，如 圖43所 示。AWARE-2與AWARE-10均采用一個(gè)雙層同心球透鏡作為前級(jí)系統(tǒng)，分別以98個(gè)微相機(jī)以及382個(gè)微相機(jī)構(gòu)成中繼成像陣列；AWARE-40則采用一個(gè)非同心的雙高斯物鏡作為前級(jí)系統(tǒng)，從而增加了前級(jí)系統(tǒng)物鏡的焦距，以262個(gè)微相機(jī)構(gòu)成中繼成像陣列。上述的多尺度成像系統(tǒng)均能夠?qū)崿F(xiàn)大視場(chǎng)高分辨成像，且獲取圖像的有效像素個(gè)數(shù)均可達(dá)十億以上。

圖43 多尺度成像系統(tǒng)。（a）AWARE-2結(jié)構(gòu)圖；（b）AWARE-10結(jié)構(gòu)圖；（c）AWARE-40結(jié)構(gòu)圖Fig. 43 Multiscale imaging system. (a) AWARE-2 architecture; (b) AWARE-10 architecture; (c) AWARE-40 architecture

7.2 基于分辨率提升的空間帶寬積拓展

基于多探測(cè)器/多孔徑合成技術(shù)為成像空間帶寬積拓展提供了一種直接且可行的途徑。理論上來(lái)說(shuō)，只要不斷提升探測(cè)器孔徑數(shù)值，就能無(wú)止境地提升成像系統(tǒng)的空間帶寬積。當(dāng)然，這種堆砌硬件的做法通常被戲稱為一種“土豪”式的做法[218]，不論從科研角度，還是從工程角度看，都不是一種最為理想的解決方案。而基于分辨率提升的空間帶寬積拓展技術(shù)則是一種“更聰明”的做法，其僅利用單個(gè)成像系統(tǒng)即可一次性獲得較大的成像視場(chǎng)（通常采用廣角鏡頭、低倍物鏡甚至無(wú)透鏡光路），在此基礎(chǔ)上，再結(jié)合之前所介紹的計(jì)算光學(xué)成像技術(shù)提升成像分辨率的方法，來(lái)實(shí)現(xiàn)高空間帶寬積成像。

7.2.1 合成孔徑全息術(shù)

相空間光學(xué)為理解數(shù)字全息的頻譜分布以及對(duì)數(shù)字探測(cè)器的帶寬要求提供了一個(gè)強(qiáng)大的工具。2013年，筆者有幸參加了于德國(guó)海德堡舉辦的Fringe 2013會(huì)議。在此次會(huì)議上，J. W. Goodman針對(duì)相空間光學(xué)在數(shù)字全息方面的應(yīng)用作了Holography Viewed from the Perspective of the Light Field Camera的大會(huì)報(bào)告。J. W. Goodman以光場(chǎng)相機(jī)為類比強(qiáng)調(diào)了相空間光學(xué)，特別是Wigner分布函數(shù)對(duì)于分析數(shù)字全息不同記錄結(jié)構(gòu)的采樣MTF以及像元響應(yīng)非線性的重要意義[219]。圖44展示了不同記錄結(jié)構(gòu)下的菲涅爾型全息圖在維格納空間的空間帶寬積分布，圖中全息圖零級(jí)的空間頻率為物體空間頻率的兩倍，這是由于物體自相關(guān)所導(dǎo)致的頻譜展寬。相比較同軸全息圖中所有信息在相空間中相互重疊，離軸全息中正負(fù)一級(jí)與零級(jí)分離，這是由于離軸參考光所引起的頻率搬移所導(dǎo)致的。通過(guò)觀察它們的相空間圖可以直觀看出同軸全息對(duì)于數(shù)字探測(cè)器件空間帶寬積的要求要低于離軸全息，空間帶寬積的有效利用率也高于離軸全息。然而由于三個(gè)級(jí)次混在一起無(wú)法分離，通常還需要用時(shí)域相移技術(shù)，以犧牲時(shí)間分辨率的方式將它們解耦。

圖44 不同記錄結(jié)構(gòu)的菲涅爾型全息圖在維格納空間的空間帶寬積表示。（a）物體的原始SBP；（b）同軸全息的SBP；（c）離軸全息的SBPFig. 44 SBP representation for different Fresnel-type holograms in Wigner space. (a) Original SBP of the object; (b) SBP for in-line geometry; and (c) SBP for off-axis geometry matching on the different elementary apertures

相比之下，離軸數(shù)字全息技術(shù)僅需采集一幅載頻干涉圖即可以簡(jiǎn)單高效地實(shí)現(xiàn)相位重建。然而由于共軛項(xiàng)和零頻分量的存在，該方法很難充分利用成像系統(tǒng)與成像器件的空間帶寬積。如圖45所示，合成孔徑全息顯微技術(shù)將載頻干涉條紋當(dāng)作頻域載波，通過(guò)頻分復(fù)用原理在全息圖的傅立葉頻譜空間上調(diào)制多重空間信息[220]。其與眾多合成孔徑技術(shù)類似，也是基于移頻原理。文獻(xiàn)[221]建立了數(shù)字全息合成孔徑的基本理論基礎(chǔ)，采用傾斜照明[222]，位置掃描[223-224]等方式實(shí)現(xiàn)數(shù)字全息超分辨成像。成像系統(tǒng)可以采用共路干涉光路[225-227]，Mach-Zehnder干涉光路[228-229]，無(wú)透鏡光路[223,230]，多波長(zhǎng)復(fù)用[231]，空域最優(yōu)復(fù)用策略[231-233]等。正如本文第5章所提到的，除傾斜照明外，結(jié)構(gòu)光照明也是實(shí)現(xiàn)超分辨數(shù)字全息的常用方法[121,234]。此外，合成孔徑全息顯微技術(shù)不僅可以提升系統(tǒng)橫向分辨率，同時(shí)可以提升軸向分辨率，使得系統(tǒng)具有高精度軸向切片能力，實(shí)現(xiàn)超分辨真三維成像[235,228]。值得注意的是，頻分復(fù)用的原理不僅能提升分辨率，還能延展視場(chǎng)，可用以解決探測(cè)器靶面有限而導(dǎo)致的視場(chǎng)受限問(wèn)題。其基本原理是利用物體在不同視場(chǎng)內(nèi)信息與不同參考光角度干涉形成不同頻率的載波成分，從而將看似疊加在一起的多幅空間視場(chǎng)信息在頻譜域進(jìn)行分離[236-238]。最終在頻譜中分別進(jìn)行解調(diào)與視場(chǎng)拼接，從而在不移動(dòng)物體或者成像系統(tǒng)的前提下拓展了成像的視場(chǎng)，相較傳統(tǒng)離軸全息技術(shù)，其在一定程度上提升了成像的空間帶寬積。

圖45 基于合成孔徑的數(shù)字全息顯微鏡[220]。（a）合成孔徑后的頻譜圖；（b）傳統(tǒng)的單孔徑低分辨率重建；（c）合成孔徑后的高分辨率重建Fig. 45 Synthetic aperture-based digital holographic microscopy[220]. (a) Spectrum after synthetic aperture; (b) conventional single-aperture low-resolution reconstruction; (c) high-resolution reconstruction after synthetic aperture

7.2.2 傅立葉疊層顯微成像

傅立葉疊層顯微成像可以看作是前一節(jié)提及的合成孔徑全息術(shù)的非干涉版本，該方法整合了相位恢復(fù)和合成孔徑的概念，無(wú)需任何的機(jī)械移動(dòng)操作，不僅可以獲得與高數(shù)值孔徑物鏡相當(dāng)?shù)母叻直媛始?xì)節(jié)，又能夠保留低數(shù)值孔徑物鏡原有的大成像視場(chǎng)。典型的傅立葉疊層顯微成像系統(tǒng)通過(guò)將傳統(tǒng)顯微鏡的照明源替換為可編程LED陣列來(lái)實(shí)現(xiàn)，因此其可以與大多數(shù)顯微鏡平臺(tái)兼容?？删幊蘈ED陣列可靈活調(diào)控實(shí)現(xiàn)角度照明掃描來(lái)記錄不同空間頻率的樣本信息。在采集過(guò)程中，每個(gè)LED單元被順序地點(diǎn)亮，產(chǎn)生具有一定入射角的平面波，依次照亮樣品，由此記錄一系列低分辨率和大視場(chǎng)的圖像用于后續(xù)的迭代重建。其中，明場(chǎng)照明的子孔徑光譜包含零頻率分量，記錄了透射光下樣品的低頻信息，而暗場(chǎng)照明將低頻率分量移到所捕獲的子孔徑之外，收集了大角度傾斜照明下的高分辨率散射信息。通過(guò)平面照明與空間頻率的一一對(duì)應(yīng)關(guān)系，這些圖像在傅立葉空間的相應(yīng)區(qū)域采用交替投影算法被合成，顯著地拓展頻譜帶寬，實(shí)現(xiàn)超越物鏡衍射極限的成像分辨率。最終的等效數(shù)值孔徑可以擴(kuò)展為物鏡數(shù)值孔徑和LED陣列的照明數(shù)值孔徑之和。如圖46所示，傅立葉疊層顯微成像技術(shù)可在2×，0.08 NA的物鏡的大視場(chǎng)下，通過(guò)合成孔徑達(dá)到了約20×物鏡的成像分辨率[91]。由于其簡(jiǎn)單的硬件配置和優(yōu)越的成像性能，傅立葉疊層顯微成像技術(shù)已經(jīng)廣泛應(yīng)用于生物醫(yī)學(xué)和病理學(xué)領(lǐng)域，如瘧疾感染細(xì)胞識(shí)別、循環(huán)腫瘤細(xì)胞測(cè)量和高內(nèi)涵篩選等。

圖46 傅立葉疊層顯微成像技術(shù)采用2× 0.08 NA的物鏡，在其大視場(chǎng)下通過(guò)合成孔徑達(dá)到了約20×物鏡的成像分辨率[91]Fig. 46 Fourier ptychographic microscopy uses a 2× 0.08 NA objective and achieves an imaging resolution of approximately 20× objective in its large field of view through synthetic aperture[91]

傅立葉疊層成像技術(shù)在提出伊始就引起了研究人員廣泛的研究興趣，近年來(lái)，像差補(bǔ)償[239]、位置誤差校正[240,109]、照明模態(tài)解耦[241-242,59]、三維衍射層析[243-245]等核心問(wèn)題被相繼攻克。與傳統(tǒng)的數(shù)字全息合成孔徑超分辨率算法不同，在傅立葉疊層成像交替更新算法中，相位恢復(fù)與頻域合成孔徑是同時(shí)完成的，這一優(yōu)勢(shì)也使得它可以在多個(gè)應(yīng)用領(lǐng)域發(fā)揮強(qiáng)大的潛能。然而，不得不考慮的一點(diǎn)是，傳統(tǒng)傅立葉疊層成像技術(shù)采用迭代重建來(lái)提升孔徑帶寬積的算法本質(zhì)上是一個(gè)非線性優(yōu)化問(wèn)題，其算法收斂的關(guān)鍵在于原始數(shù)據(jù)約束，而這往往需要采集大量的原始低分辨率圖像。這也導(dǎo)致了傅立葉疊層成像在生物學(xué)應(yīng)用的一個(gè)最主要的問(wèn)題，即成像效率較低，使其難以實(shí)現(xiàn)快速和動(dòng)態(tài)的成像應(yīng)用。針對(duì)這一問(wèn)題，稀疏采樣[246]、多角度照明復(fù)用[241-242]、空間分束單次采集[247-248]、差分相襯初始化迭代[93]等方法被相繼提出。例如，Sun等[36,94]通過(guò)分析傾斜照明的相位傳遞特性，提出采用最優(yōu)化的環(huán)形可編程照明來(lái)執(zhí)行傅立葉疊層成像（圖47），將其實(shí)現(xiàn)定量相位成像的數(shù)據(jù)需求量級(jí)減少，實(shí)現(xiàn)了動(dòng)態(tài)定量相位成像。他進(jìn)一步將該環(huán)形照明與顏色復(fù)用技術(shù)相結(jié)合，實(shí)現(xiàn)了單幀傅立葉疊層顯微成像[36,94]，在1.33 mm2的視場(chǎng)下成像的半寬分辨率達(dá)到了388 nm，成像速度達(dá)到相機(jī)的固有幀頻50 frame/s。有關(guān)傅立葉疊層成像技術(shù)的更多詳細(xì)內(nèi)容，感興趣的讀者可參閱相關(guān)綜述論文[92,249-250]。

圖47 基于環(huán)形照明的傅立葉疊層顯微成像的高通量定量顯微成像[36]Fig. 47 High throughput quantitative microscopic imaging based on annular illumination Fourier ptychographic microscopy[36]

7.2.3 無(wú)透鏡片上顯微成像

片上無(wú)透鏡顯微成像技術(shù)是一種無(wú)需借助任何透鏡，直接將待測(cè)物體置于，或者緊靠傳感器表面進(jìn)行成像的高通量顯微成像技術(shù)。從實(shí)現(xiàn)技術(shù)路線來(lái)看，其主要分為兩類，即接觸式投影成像技術(shù)和基于衍射的無(wú)透鏡顯微成像技術(shù)。在接觸式投影成像中，樣品緊貼傳感器表面放置，使用部分相干光源直接照射相位物體，圖像傳感器直接采集樣品的投影。不借助任何重構(gòu)方法，該方法不僅能對(duì)靜態(tài)物體進(jìn)行成像還能對(duì)細(xì)胞分裂、運(yùn)動(dòng)及其他特性進(jìn)行監(jiān)測(cè)。2008年，Cui[251]等和Ozcan[252-253]等在微流體通道上結(jié)合片上顯微技術(shù)，實(shí)現(xiàn)了對(duì)不同類型細(xì)胞的監(jiān)測(cè)。次年，Ozcan[254]等實(shí)現(xiàn)了微粒和細(xì)胞強(qiáng)度和相位的重構(gòu)。2011年，Zheng[255]等在移除相機(jī)表面玻璃的傳感器表面，基于投影式無(wú)透鏡顯微鏡實(shí)現(xiàn)了細(xì)胞生長(zhǎng)以及胚胎干細(xì)胞分化的跟蹤。此外，結(jié)合微流通道可有效減小實(shí)驗(yàn)系統(tǒng)體積，實(shí)現(xiàn)大視場(chǎng)高分辨成像。如2008年，Yang[251]等利用微流體、金屬鍍層的CMOS傳感器以及微米尺寸的小孔陣列，實(shí)現(xiàn)了對(duì)秀麗隱桿線蟲、孢子和單細(xì)胞的高分辨成像。

另一類無(wú)透鏡片上顯微成像技術(shù)被稱為芯片上無(wú)透鏡全息顯微成像技術(shù)，其最初于2009年由美國(guó)加州大學(xué)洛杉磯分校（UCLA）的Ozcan課題組[256]所提出。該技術(shù)由準(zhǔn)相干光場(chǎng)照射記錄同軸衍射全息圖，再結(jié)合相位恢復(fù)技術(shù)來(lái)減少甚至消除樣品與成像面之間的衍射現(xiàn)象[257-259,30,260]。最初的芯片上無(wú)透鏡全息顯微成像技術(shù)大多是基于迭代相位復(fù)原技術(shù)，通過(guò)稀疏物體約束[256,261]或多距離強(qiáng)度約束恢復(fù)光場(chǎng)的相位分布[259,262]，再通過(guò)角譜反衍射重構(gòu)出物面的強(qiáng)度和相位分布。2015年，本課題組[263]基于菲涅耳域內(nèi)照明波長(zhǎng)與傳播距離的可置換性，將光強(qiáng)傳輸方程相位恢復(fù)技術(shù)引入到無(wú)透鏡全息顯微成像中，并采用“多波長(zhǎng)照明、固定物平面”的方式避免了傳統(tǒng)無(wú)透鏡顯微成像中所需引入的機(jī)械移動(dòng)。與基于傳統(tǒng)透鏡的顯微成像技術(shù)相比，無(wú)透鏡片上顯微成像技術(shù)在兩個(gè)方面表現(xiàn)出優(yōu)勢(shì)[261,58]：第一，由于物體與探測(cè)器距離很?。ㄒ话阈∮? mm），系統(tǒng)最終的成像放大率接近于1，即成像視場(chǎng)完全由探測(cè)器的光敏面大小所決定；第二，由于物體與探測(cè)器距離很小，成像系統(tǒng)的等效數(shù)值孔徑也接近于1，即幾乎樣品的所有正向散射光均能夠被探測(cè)器所接收。以上兩點(diǎn)表明無(wú)透鏡顯微成像系統(tǒng)相當(dāng)于一個(gè)放大倍數(shù)為1，數(shù)值孔徑為1.0的傳統(tǒng)光學(xué)顯微系統(tǒng)，其空間帶寬積相比于傳統(tǒng)顯微鏡提升了約2個(gè)數(shù)量級(jí)。然而，由于探測(cè)器像元尺寸（通常）所導(dǎo)致的離散采樣效應(yīng)，理論的光學(xué)分辨率在實(shí)際中往往難以實(shí)現(xiàn)，因此迫切需要提高重構(gòu)圖像的分辨率。本質(zhì)上而言，無(wú)透鏡全息顯微技術(shù)將傳統(tǒng)的顯微成像系統(tǒng)中的空間帶寬積受限這一問(wèn)題轉(zhuǎn)移到了成像器件的采樣率受限上。原則上說(shuō)，限制芯片上無(wú)透鏡全息顯微技術(shù)成像分辨率的是欠采樣引起的高頻信號(hào)混淆失真，而非數(shù)值孔徑不足引起的高頻信號(hào)丟失。因此，該領(lǐng)域大量的研究工作都集中在“像素超分辨”上，即通過(guò)某種方式縮小等效像元尺寸，實(shí)現(xiàn)“亞像元成像”，從而就可以實(shí)現(xiàn)大數(shù)值孔徑的高分辨率探測(cè)。圖48（彩圖見期刊電子版）顯示了相關(guān)超分辨方法，包括：傳感器二維橫向亞像素掃描[264]、光源微位移亞像素掃描[58]、傳感器軸向多離焦距離掃描[265]、照明光波長(zhǎng)掃描[266]、基于平行板的主動(dòng)光源微掃描[267]等。圖49（彩圖見期刊電子版）展示了基于不同無(wú)透鏡成像系統(tǒng)的實(shí)驗(yàn)結(jié)果。本節(jié)的像素超分辨與第六章所討論的圖像亞像素超分辨技術(shù)在本質(zhì)上是高度一致的。因?yàn)樵趥鹘y(tǒng)像素超分辨中，水平方向的亞像素位移有助于提供額外的信息，用于消除像素混疊。而在無(wú)透鏡全息顯微成像中，單獨(dú)使用橫向位移只能消除像素混疊，而調(diào)控其余參數(shù)（如樣品—傳感器間距、照明角度、波長(zhǎng)）不僅可以消除像素混疊（提高重構(gòu)分辨率），還能用于消除共軛像（相位恢復(fù)）[262]，這正是Laue-Lukosz 自由度不變定理的靈活應(yīng)用。有關(guān)無(wú)透鏡顯微成像技術(shù)更多詳細(xì)內(nèi)容，請(qǐng)參閱本課題組所撰寫的綜述論文《無(wú)透鏡片上顯微成像技術(shù)：理論、發(fā)展與應(yīng)用》[57]。

圖48 芯片上無(wú)透鏡全息顯微成像的“亞像素”超分辨技術(shù)。（a）照明源的亞像素移動(dòng)[57]；（b）二維水平亞像素傳感器移動(dòng)[264]；（c）基于光纖陣列的光源掃描[268]；（d）照明波長(zhǎng)掃描[266]；（e）多樣品到傳感器距離的軸向掃描[265]；（f）基于平行板的主動(dòng)光源微掃描[267]Fig. 48 Schematic diagrams of the sub-pixel super-resolution based lensfree on-chip imaging setup. (a) Sub-pixel shifting of illumination source[57]; (b) 2D horizontal sub-pixel sensor motion[264]; (c) fiber-optic array based source scanning[268];(d) illumination wavelength scanning[266]; (e) axial scanning with multiple sample-to-sensor distances[265]; (f) active source micro-scanning using parallel plates[267]

圖49 無(wú)透鏡顯微成像結(jié)果。（a）投影式成像系統(tǒng)胚胎干細(xì)胞的全場(chǎng)結(jié)果[255]；（b1-b9）圖（a）中紅框區(qū)域亞像素位移超分辨的時(shí)序結(jié)果；（c）基于多波長(zhǎng)掃描的無(wú)透鏡片上顯微系統(tǒng)，Hela細(xì)胞的全場(chǎng)恢復(fù)結(jié)果[269]；（d）圖（c）中Area1區(qū)域像素超分辨的時(shí)序結(jié)果Fig. 49 Lens-free microscopic imaging results. (a) Full-field results of embryonic stem cells from a projection-based imaging system[255]; (b1-b9) time-series results of subpixel shift super-resolution in the red-boxed region in (a); (c) full-field recovery results of Hela cells based on a lens-free on-chip microscopy system with multi-wavelength scanning[269];(d) time-series results of pixel super-resolution of Area1 in (c)

8 結(jié)論與展望

本文概括性地介紹了分辨率、超分辨率與空間帶寬積拓展的相關(guān)基礎(chǔ)理論，核心機(jī)理及其在計(jì)算光學(xué)成像中的若干實(shí)例。有別于大部分的綜述論文與研究論文，本文所討論的重點(diǎn)并不放在揭示現(xiàn)有方法在原理上的獨(dú)特性與創(chuàng)造性上，也沒(méi)有放在展示它們的具有吸引力的實(shí)驗(yàn)結(jié)果上。相反，我們將這些具體個(gè)案置入“計(jì)算光學(xué)成像”這個(gè)更高維度的體系框架去分析與探討，在光信息論的意義上揭示了它們大多數(shù)都可以被理解為L(zhǎng)ukosz “空間帶寬積調(diào)控”策略的子集或者變體。它們本質(zhì)上都是利用成像系統(tǒng)的可用自由度，如空間、時(shí)間、強(qiáng)度、相位、光譜、偏振、角動(dòng)量、相干性等，在成像系統(tǒng)有限空間帶寬積的限制下，在“得”與“失”之間所作出符合規(guī)律的權(quán)衡與選擇。

本文的主要結(jié)論似乎是顯而易見的，甚至可以說(shuō)是微不足道的。但可以肯定的是，在當(dāng)下蓬勃發(fā)展的計(jì)算光學(xué)成像這一領(lǐng)域中，這個(gè)結(jié)論并未得到充分的認(rèn)識(shí)，或更準(zhǔn)確地說(shuō)，它未能得到足夠的重視。就如同現(xiàn)在我們所能閱讀到的大量該領(lǐng)域論文中，作者往往會(huì)不遺余力地在論文伊始（例如摘要）就展示出所提出的理論與方法在成像功能與性能提升方面的顯著優(yōu)勢(shì)，卻往往一直到了論文最后的結(jié)論部分都不愿意提及（不論是明確地還是隱晦地）該方法的缺點(diǎn)與局限性。例如針對(duì)圖像像素超分辨技術(shù)，我們必須意識(shí)到并明確分辨率提升，即用于空間頻率帶寬提升以及解混疊，所需要的額外信息的來(lái)源。當(dāng)我們利用Papoulis廣義抽樣原理，即采用小空間帶寬積系統(tǒng)多幀采樣來(lái)采集并重建大空間帶寬積信號(hào)時(shí)，我們就必須理智地接受此過(guò)程中由于多次采樣所造成的時(shí)間分辨率的損失。反之，如果只是追求最終成像指標(biāo)上的“優(yōu)美”而不愿意在速度、成像幀頻上做出妥協(xié)，這就必須依賴于單幀圖像超分辨技術(shù)。但事實(shí)上我們也必須意識(shí)到，這些額外“增長(zhǎng)”出的圖像信息的源頭往往來(lái)自于先驗(yàn)。這就像建立了一套復(fù)雜的查找表機(jī)制，輸入與輸出總是由少到多的，而其中的邏輯來(lái)源于對(duì)目標(biāo)場(chǎng)景中可能的物體特征的深入見解與精準(zhǔn)預(yù)測(cè)，這是它們?nèi)〉贸晒ψ钪饕囊蛩亍．?dāng)然，這類以少博多，以小博大的方法，不論是壓縮感知抑或是當(dāng)下非常熱門的深度學(xué)習(xí)技術(shù)，都無(wú)法逾越“信息不會(huì)無(wú)中生有”，“過(guò)往不代表現(xiàn)在，更不能代表未來(lái)”這些既定的事實(shí)，這也預(yù)示著它們?cè)谀承胺浅Ｒ?guī)”情形下失敗的必然性。

因此，本文啟發(fā)各位計(jì)算光學(xué)成像領(lǐng)域的從業(yè)者接受一些淺顯易懂的光信息理論：在設(shè)計(jì)計(jì)算光學(xué)成像系統(tǒng)時(shí)，需要考慮圖像或物體的信息量的度量，信息量經(jīng)光學(xué)系統(tǒng)的傳遞，以及最后到達(dá)像平面后離散采樣的影響。當(dāng)采用不同光學(xué)調(diào)控或信息處理方法最大限度優(yōu)化成像系統(tǒng)效能的同時(shí)，需要重視光學(xué)系統(tǒng)中傳遞光學(xué)信息量各自由度之間的制約關(guān)系。在光信息理論體系的指引下，借助于計(jì)算光學(xué)調(diào)控手段的靈活優(yōu)勢(shì)，發(fā)展求解相應(yīng)逆問(wèn)題的標(biāo)準(zhǔn)可重用算法，發(fā)揮成像系統(tǒng)有限信息資源的最大效用，針對(duì)性地在所關(guān)注的核心成像指標(biāo)上實(shí)現(xiàn)質(zhì)的突破，從而有助于面向各類復(fù)雜現(xiàn)實(shí)應(yīng)用的新型計(jì)算成像方法更快，更系統(tǒng)地形成。

當(dāng)然，計(jì)算光學(xué)成像現(xiàn)已發(fā)展為集信息光學(xué)、幾何光學(xué)、計(jì)算光學(xué)、現(xiàn)代信號(hào)處理等理論、學(xué)科于一體的新興交叉技術(shù)研究領(lǐng)域；光學(xué)信息論也是一門廣泛涉及光學(xué)、概率論、量子理論、數(shù)學(xué)物理方法、通信原理等學(xué)科的綜合學(xué)科。它們之間的深入交融以及在有關(guān)分辨率、超分辨率與空間帶寬積拓展方面的進(jìn)一步應(yīng)用，還需要借助于各種類型的光學(xué)成像技術(shù)與系統(tǒng)來(lái)說(shuō)明。由于本文篇幅所限，無(wú)法對(duì)此方面全面涉及。以下列出了筆者在本文未重點(diǎn)闡述但又十分重要的研究方向，這里僅做簡(jiǎn)要提及。

8.1 光學(xué)傳遞函數(shù)調(diào)控

在第二章中，我們討論了光學(xué)傳遞函數(shù)與成像系統(tǒng)的性能緊密相關(guān)，其截止頻率決定了成像分辨率，其響應(yīng)幅度決定了成像的對(duì)比度與信噪比。Lukosz超分辨思想主要揭示了給定成像系統(tǒng)下信道容量與視場(chǎng)、空間帶寬間的制約關(guān)系。但值得注意的是，計(jì)算光學(xué)成像系統(tǒng)的信道容量是與其采用的光學(xué)調(diào)控機(jī)制緊密相關(guān)的，而光學(xué)傳遞函數(shù)的截止頻率與信噪比（即與坐標(biāo)軸所圍成的面積）在一定程度上反應(yīng)了信道容量，因此可以通過(guò)光學(xué)傳遞函數(shù)調(diào)控的方式提升成像分辨率與信噪比，這點(diǎn)在基于相空間光學(xué)的成像系統(tǒng)分析中表現(xiàn)的更為清晰。以定量相位成像為例，如果采用非相干光場(chǎng)照明，由于光學(xué)傳遞函數(shù)的虛部為0（沒(méi)有相位襯度），無(wú)法對(duì)相位信息進(jìn)行成像[43,28]。這也就意味著該成像系統(tǒng)其對(duì)相位信息傳遞的信道容量為0，顯然與對(duì)吸收物體成像的情況截然不同。而基于計(jì)算光學(xué)成像的思想，可通過(guò)照明調(diào)制[270]、孔徑函數(shù)調(diào)制[271]等方式有效地針對(duì)相位信息傳遞，最大化相位傳遞函數(shù)的響應(yīng)幅度與截止頻率。例如最近我們的研究表明，匹配物鏡數(shù)值孔徑的環(huán)形照明非常適于對(duì)相位信息成像與探測(cè)，它不僅可以提供較高的成像襯度（MTF平坦且幅值較高），還可將非干涉定量相位成像的分辨率拓展到非相干衍射極限（截止頻率達(dá)到fincoh）[28,272,36,34]。當(dāng)然在此過(guò)程中，我們也需要對(duì)成像系統(tǒng)的光能利用率做出一定的妥協(xié)（環(huán)形照明總能量低于圓形照明孔徑，因?yàn)槠渲皇菆A形照明孔徑的一個(gè)子集），但這正體現(xiàn)了計(jì)算光學(xué)成像中“Less is more”（筆者這里將其翻譯為有無(wú)相生）的哲學(xué)思想。

8.2 頻譜外推與信息分辨率

由阿貝成像理論推演得到的阿貝衍射極限雖然在物理上看是嚴(yán)密的，但其成立的條件是基于空域無(wú)限的周期光柵的圖像所推演得到的。然而，如果物體是一個(gè)有限尺度的光柵，其衍射的階次就會(huì)額外衍生出許多高階項(xiàng)，這些邊帶信息可能會(huì)落入物鏡的數(shù)值孔徑之中，從而為其信號(hào)反演提供了可能。顯然，由觀測(cè)圖像和成像系統(tǒng)的PSF或者OTF的信息恢復(fù)原始高分辨率圖像本質(zhì)上是數(shù)學(xué)上的病態(tài)逆問(wèn)題。其與相位恢復(fù)問(wèn)題本質(zhì)上非常類似，可以借助于Gerchberg-Papoulis (GP)[273]、Gerchberg-Saxton（GS）[274-275]或 者Fienup Hybrid Input-Output（HIO）[30]這類在傅立葉域與空間域進(jìn)行反復(fù)投影的算法進(jìn)行迭代優(yōu)化求解。

本文第6章所討論的壓縮采樣理論表明，在滿足稀疏性與非相干性條件下，可以通過(guò)遠(yuǎn)少于傳統(tǒng)香農(nóng)-奈奎斯特采樣的數(shù)據(jù)來(lái)恢復(fù)原信號(hào)。Donoho等[276]從數(shù)學(xué)角度深入闡述了這個(gè)問(wèn)題，其主要結(jié)論是當(dāng)一個(gè)物體如果在空域是稀疏的，即其共計(jì)n個(gè)采樣點(diǎn)中有m/2個(gè)為0（m/2≤n）（Donoho等將其稱為nearly black條件），其可以僅用一部分（n個(gè)其中的m個(gè)）的傅立葉系數(shù)對(duì)其進(jìn)行完美重建。將該理論應(yīng)用到成像系統(tǒng)，這一部分傅立葉系數(shù)必須能落入物鏡的數(shù)值孔徑之中，以此來(lái)推演衍射極限以外的高頻分量，如圖50通過(guò)有限區(qū)間頻譜信息外推整個(gè)信號(hào)所示。該思想又被稱為解析延拓理論，即任何空域有界函數(shù)的頻譜函數(shù)是解析函數(shù)，因此只要能準(zhǔn)確地知道它在有限區(qū)間內(nèi)的部分信息就可以唯一確定整個(gè)函數(shù)。而基于此方法的超分辨技術(shù)稱為解析延拓或頻譜外推[277-278]，其對(duì)分辨率提升的有效性已經(jīng)在相位恢復(fù)[279]、圖像復(fù)原[280]、數(shù)字全息[281-282]等領(lǐng)域得到廣泛的驗(yàn)證與應(yīng)用。該思想其實(shí)也隱含在了Lukosz超分辨方案中，以犧牲一半的視場(chǎng)來(lái)?yè)Q取2倍分辨率的提升。雖然解析延拓理論在理論上是完備的，但實(shí)際應(yīng)用中所能達(dá)到的分辨率極易受到噪聲與其他干擾信號(hào)的影響，這也從一定程度上反映了以香農(nóng)信息論為基礎(chǔ)，以信噪比為核心所定義的成像系統(tǒng)的“信息分辨率”極限[283-284]。

圖50 通過(guò)有限區(qū)間頻譜信息外推整個(gè)信號(hào)Fig. 50 Extrapolation of the entire signal through finite interval spectrum information

8.3 三維層析中的合成孔徑

本文所討論的光學(xué)成像技術(shù)著重針對(duì)二維成像，因此本文所指的分辨率特指橫向分辨率。而在實(shí)際應(yīng)用中，樣品往往不僅僅局限在二維平面。事實(shí)上，生命有機(jī)體，大到人體小到組成人體的每個(gè)細(xì)胞，都是具有一定內(nèi)部結(jié)構(gòu)的三維物體。為了獲得樣品三維空間的立體結(jié)構(gòu)，必須借助于斷層掃描技術(shù)或者層析成像技術(shù)。X射線斷層掃描術(shù)（X-ray CT）與核磁共振成像（Magnetic Resonance Imaging，MRI）是當(dāng)今醫(yī)學(xué)影像學(xué)中最為重要的三維成像技術(shù)，它們都是基于Radon所提出的投影重建理論（傅立葉切片定量）[285]。將該理論應(yīng)用于光學(xué)波段或較小尺度的樣品，就必須考慮光波的衍射效應(yīng)，即需要借助于Wolf的衍射層析理論[286]。本質(zhì)上而言，它們都可以被認(rèn)為是一種合成孔徑技術(shù)，只不過(guò)將二維頻譜空間拓展

到了三維。例如基于衍射層析顯微成像技術(shù)往往需要通過(guò)旋轉(zhuǎn)物體[287-288]，改變照明方向[228,235,289-290]等方式得到各角度散射場(chǎng)的復(fù)振幅信息，然后在一階Born或Rytov近似下對(duì)物體三維散射勢(shì)頻譜填充與合成孔徑[26]。類似地，結(jié)構(gòu)光照明顯微成像也可以被拓展到三維成像（3D-SIM），其在2D-SIM的雙光束干涉的基礎(chǔ)上再加一束干涉光以產(chǎn)生軸向駐波效應(yīng)，進(jìn)而提升軸向?qū)游龇直媛蔥291]。值得注意的是，這些技術(shù)與二維合成孔徑類似，在傳遞函數(shù)優(yōu)化[292]、非干涉疊層重建[45,245]、頻譜復(fù)用解耦[293-294]等方面也都取得了諸多成效，但最終仍需要在成像系統(tǒng)有限空間帶寬積的限制下，在成像分辨率、成像速度與視場(chǎng)之間做出權(quán)衡。此外，此類技術(shù)還普遍面臨由于照明與探測(cè)孔徑角受限所致的“頻譜缺失錐”這一共性問(wèn)題。該問(wèn)題可以通過(guò)引入目標(biāo)分布的先驗(yàn)信息（如非負(fù)性、分片平滑性），并基于上小節(jié)提到頻譜外推以及正則化方法加以補(bǔ)償[295]。

8.4 近場(chǎng)顯微與倏逝波收集

目前大部分計(jì)算光學(xué)成像技術(shù)所考慮的衍射極限僅僅限于傳輸波，倏逝波并沒(méi)有被納入其中。Lukosz的原始工作也并沒(méi)有考慮倏逝波與超分辨之間的關(guān)系。當(dāng)然，最直接的對(duì)束縛在樣品表面含有高空間頻率倏逝波進(jìn)行收集的方式是采用掃描近場(chǎng)光學(xué)顯微術(shù)（Scanning Near-field Optical Microscope，SNOM）[296]，利用納米尺度探針將樣品表面位置的倏逝波成分耦合成遠(yuǎn)場(chǎng)區(qū)域可以探測(cè)的行波，其廣泛地應(yīng)用于光學(xué)、化學(xué)、材料和生物等領(lǐng)域中。但它仍存在一些不足，如光學(xué)探針的加工要求與精度較高，且需要高精度的近場(chǎng)操作手段作為保障。為了解決這個(gè)問(wèn)題，可以借助于計(jì)算光學(xué)成像中的合成孔徑技術(shù)思想，通過(guò)光場(chǎng)調(diào)制將傳統(tǒng)光學(xué)顯微鏡無(wú)法獲取到的樣品高頻分量移動(dòng)到系統(tǒng)的低通頻帶范圍內(nèi)。隨后通過(guò)頻譜解調(diào)，實(shí)現(xiàn)頻譜接收范圍的有效擴(kuò)展[297]。為了實(shí)現(xiàn)有效的倏逝波頻率搬移，通常需要借助于介質(zhì)材料全反射產(chǎn)生的倏逝波和金屬介質(zhì)界面產(chǎn)生的表面等離激元。如圖51所示，這些技術(shù)在本質(zhì)思想上與本文第五章討論的傳統(tǒng)合成孔徑技術(shù)，如結(jié)構(gòu)光照明[298-299]與傅立葉疊層成像[300]技術(shù)十分類似，因此完全也可以被囊括在Lukosz超分辨框架中。

圖51 傳統(tǒng)SIM和基于表面等離激元PSIM原理示意圖[298]。 （a）SIM；（b）PSIM；（c）介質(zhì)中傳播的色散曲線示意圖Fig. 51 Illustration of the SIM and PSIM principles[298]. (a) SIM; (b) PSIM; (c) schematic of the dispersion curves of the propagating photon in dielectric media

8.5 基于深度學(xué)習(xí)的超分辨成像

深度學(xué)習(xí)作為近年來(lái)興起的一種“數(shù)據(jù)驅(qū)動(dòng)”技術(shù)，在光學(xué)成像領(lǐng)域受到越來(lái)越多的關(guān)注，并在近幾年取得了豐碩的成果。它顛覆了傳統(tǒng)計(jì)算成像的“物理模型驅(qū)動(dòng)”方式，并開啟了基于“數(shù)據(jù)驅(qū)動(dòng)”的新范式[301-303]。對(duì)比傳統(tǒng)方法的正則化函數(shù)或指定先驗(yàn)，深度學(xué)習(xí)所學(xué)習(xí)到的先驗(yàn)信息是針對(duì)真實(shí)實(shí)驗(yàn)數(shù)據(jù)的統(tǒng)計(jì)量身定制的，這原則上為求解反問(wèn)題提供了更強(qiáng)、更合理的正則化。因此其繞過(guò)了求解非線性病態(tài)逆問(wèn)題的障礙，可以直接建立輸入與期望輸出之間的偽逆映射關(guān)系。大量已發(fā)表的文獻(xiàn)結(jié)果表明，基于深度學(xué)習(xí)的超分辨成像技術(shù)能夠在極小的數(shù)據(jù)量需求下，提供顯著優(yōu)于基于先驗(yàn)或物理模型的傳統(tǒng)的計(jì)算成像方法的性能[304-305,167,306]。但就如同本章開頭所述，由于信息并不會(huì)“無(wú)中生有”，深度學(xué)習(xí)所獲得的結(jié)果不可能總是準(zhǔn)確可靠的。深度學(xué)習(xí)的成功通常取決于從訓(xùn)練樣本中學(xué)習(xí)和提取的“共同”特征作為先驗(yàn)信息。因此當(dāng)面對(duì)“罕見樣本”時(shí)，人工神經(jīng)網(wǎng)絡(luò)是無(wú)法保證其結(jié)果的準(zhǔn)確性的。

最后，不論是Lukosz空間帶寬積調(diào)控，還是Papoulis廣義采樣，其本質(zhì)上就是Laue-Lukosz 自由度不變定理背后思想的集中體現(xiàn)——想要在“分辨率”上有所“得”，就必須在另一個(gè)光學(xué)自由度上，如成像視場(chǎng)、時(shí)間分辨率、光譜分辨率等，有所“失”。它們實(shí)質(zhì)上都是在物理限制下，在“得”與“失”之間所作出的符合規(guī)律的權(quán)衡與選擇?！暗谩迸c“失”背后反映的是一種哲學(xué)思想，就如同中國(guó)從古到今觀念中的陰陽(yáng)、天地、五行一樣，相輔相成，相生相剋，是一種既對(duì)立又統(tǒng)一的矛盾體。這或許也能夠留給我們一絲人生啟發(fā)：因?yàn)閷?shí)無(wú)所“舍”，亦無(wú)所“得”，何不視“失”為“舍”，以“舍”博“得”。

致謝：南京理工大學(xué)智能計(jì)算成像實(shí)驗(yàn)室的張潤(rùn)南、錢佳銘、王博文、胡巖、盧林芃、范瑤、李加基、李卓識(shí)、吳雪娟等在本文的圖表繪制、內(nèi)容完善以及文字校對(duì)過(guò)程中做出了大量工作，在此向他們深表謝意。