手機嵌入式快照成像光譜儀的研制

田久誼

（陜西快譜深光科技有限公司, 陜西 西安 710065）

1 引 言

手機的照相功能已經(jīng)成為各個廠商技術(shù)比拼的重點內(nèi)容之一，其主要包含二維空間（x-y向）圖像和三維深度圖像(z向) 的獲取，但多光譜成像還是空白。多光譜成像在物體真假識別、蔬菜水果農(nóng)藥殘留、化妝品重金屬檢測等消費領域具有優(yōu)勢，消費級的手機如果具備多光譜成像功能，將極大拓寬其應用領域和提升消費體驗。目前的光譜成像主要應用于在機、星載資源勘查[1-2]、軍事目標的多光譜偽裝識別[3]、專業(yè)計量測試結(jié)構(gòu)的專業(yè)檢測[4]等領域，鮮有消費級別的應用報道。這些領域?qū)庾V成像的體積、光譜分辨率、時間分辨率的要求和消費電子領域應用的差別巨大。據(jù)我們所知，到目前為止，還沒有能夠嵌入手機的商業(yè)化微小型快照式光譜成像相機的報道。華為公司2021 年發(fā)布的P50 Pro 和2022 年發(fā)布的P50 Pocket 手機，也僅僅是分別嵌入了5 和10 通道的光譜傳感陣列，主要用于色溫處理[5-6]。但是這種趨勢表明，急需能嵌入手機的、消費級別的快照式光譜相機。目前主要技術(shù)壁壘在于如何在兼具高光譜分辨率和適中空間分辨率的前提下做到小體積。

根據(jù)光譜的獲取方式，可以將目前的光譜成像儀分為色散型、濾光片型和干涉型，它們要求的成像光學系統(tǒng)結(jié)構(gòu)差別較大，進而影響光譜重構(gòu)方式、體積重量等諸多指標。對于掃描式色散型光譜成像儀，其通過擺掃和推掃并結(jié)合線陣和面陣探測器件，經(jīng)過棱鏡或者光柵色散原件分光，從而實現(xiàn)光譜和空間維度的成像探測[7]；干涉型光譜成像系統(tǒng)雖然能夠同時滿足高通量和高光譜分辨率的要求，但是其獨特的干涉數(shù)據(jù)獲取方式對搭載平臺的穩(wěn)定度及光譜圖像反演提出了很高的要求[8]。這兩類成像光譜儀由于其體積和重量較大，不適合手機嵌入使用。調(diào)諧型濾光片相比于色散型濾光片，無需機械轉(zhuǎn)輪調(diào)諧衍射波長，而是采用電調(diào)諧和液晶調(diào)諧的方式，在加快調(diào)諧速度的同時減小了機械誤差，但需要多次曝光才可以得到數(shù)據(jù)立方體[9]。編碼成像技術(shù)是近年來發(fā)展的光譜成像技術(shù)，其通過光譜編碼和解碼，實現(xiàn)高空間分辨率和光譜分辨率[10]。這些技術(shù)均需要復雜的光譜圖像重構(gòu)技術(shù)，時間分辨率較低且體積龐大，也不適用于手機的應用。

從時間分辨率角度看，快照式成像光譜相機更接近消費級別的應用場景，文獻[11]綜述了快照式光譜成像技術(shù)的相關(guān)進展，探討了圖像分割、孔徑分割、光路分割和頻率分割的光譜成像技術(shù)途徑，并詳細分析了多種技術(shù)方案的原理、優(yōu)點、缺點與現(xiàn)狀，從空間像素數(shù)與光譜通道數(shù)權(quán)衡、圖譜匹配、空間采樣連續(xù)性、光能利用率及動態(tài)范圍5個方面進行了對比和展望[11]。認為在應用快照式光譜成像儀時，應根據(jù)實際需要權(quán)衡空間分辨率與光譜通道數(shù)（光譜分辨率）。

從體積角度講，能搭載在手機平臺上，是快照成像光譜儀快速走進民用消費市場的核心目標。近年來發(fā)展起來的片上光譜成像系統(tǒng)將光學元件、探測器以及控制電路全部集成在一個芯片上，已經(jīng)在多個領域展現(xiàn)出其獨特的優(yōu)越性和誘人的發(fā)展前景[12]。尤其是它兼顧了體積、重量以及光譜分辨率、時間分辨率等主要技術(shù)指標，然而現(xiàn)階段均處于實驗室研究階段，距離實際工程應用還有一定的距離。

從光譜分辨率角度看，近年發(fā)展起來的深度學習方法,在不增加硬件的前提下，通過前期大量的數(shù)據(jù)訓練，從軟件和硬件層面實現(xiàn)光譜識別和分辨率提高。這些成果極大地豐富了成像光譜儀的技術(shù)途徑，但是離成熟的商用成像光譜儀的技術(shù)方案還較遠，需要做更多的工作[13-14]。

顯然，設計和制造微型光譜成像儀的主要技術(shù)難點在于，在較小空間內(nèi)設計出滿足光譜分辨率、空間分辨率和時間分辨率的光學系統(tǒng)結(jié)構(gòu)以及實現(xiàn)光譜成像[11-12，14]。目前報道的可以用在快照式光譜成像儀的光學系統(tǒng)結(jié)構(gòu)[15-16]和濾光結(jié)構(gòu)主要有微納光柵[17]、微納濾波芯片[18]、多通道陣列濾光片[14,19]等。濾光片基本采用F-P 腔[12,14,17,19]、亞波長光柵[12,20]、以及超表面[13,18,21]結(jié)構(gòu)。其能夠滿足CMOS 的像素尺寸和像素規(guī)模，在光譜分辨率和空間分辨率之間取得平衡，與實際應用場景相匹配[14]。手機平臺不需要高光譜分辨率，中等空間分辨率即能滿足消費者的基本應用需求。顯然，多通道陣列濾光片技術(shù)是實現(xiàn)該應用場景的最有可能的技術(shù)途徑之一[14,22-24]。

本文采用多通道陣列F-P 濾光片[19]及復合微透鏡陣列成像[22]，采用集成制造技術(shù)，設計并實驗驗證了一款小尺寸的成像光譜儀，其有效物理尺寸小于Φ6×6 mm。該方案解決了陣列濾光片的制備以及一體化裝配等技術(shù)工藝，其光譜分辨率為8 nm，光譜范圍為0.53～0.68 μm，實驗驗證了快照式光譜儀的設計指標，證明其具備了嵌入手機等小平臺的必要條件。

2 基本原理和技術(shù)方案

2.1 基本原理

圖1(彩圖見期刊電子版)是基于陣列濾光片的光譜成像系統(tǒng)的基本結(jié)構(gòu)，通過陣列濾光片和微透鏡陣列復合應用，實現(xiàn)多光譜成像。該成像系統(tǒng)中集成的濾光薄膜陣列和復合微透鏡陣列的光學組件是光譜成像的核心部件，決定著系統(tǒng)的技術(shù)指標。

圖1 陣列濾光片的光譜成像系統(tǒng)的基本結(jié)構(gòu)Fig. 1 Basic structure of the spectral imaging system of an array filter

工作中，物光通過濾光片陣列，進入子孔徑成像陣列，成像在CCD 上，由于濾光片陣列的通帶不一樣，因此各個子孔徑成像的光譜成份不一樣，通過圖像匹配和數(shù)據(jù)反演，可以獲得物體上任一點的光譜成份。實際上，由于各個子孔徑的視場存在差異，各個子孔徑上的物體像視場也存在差異，需要后續(xù)的圖像處理進行匹配各個物點，實現(xiàn)光譜曲線提取。

2.2 技術(shù)方案和指標

本文選用的CMOS 基本參數(shù)指標如表1 所示，根據(jù)其有效的圖像區(qū)域物理尺寸3.6 mm×4.8 mm，設計和其匹配的濾光片和微透鏡陣列尺寸。

表1 CMOS 的基本參數(shù)指標Tab.1 Basic parameters and indicators of CMOS

為了保證視場以及適應手機嵌入應用，設計了3×4 共計12 個光譜通道，每個子孔徑的像方尺寸為1.2 mm×1.2 mm，像方視場由微透鏡決定，原理樣機的光譜范圍確定在0.53～0.68 μm 之間（受限于F-P 腔濾光片的帶寬），對應光譜寬度為～100 nm(峰值波長之差)；根據(jù)通道數(shù)（12 個），則系統(tǒng)的光譜分辨率為8 nm。

3 系統(tǒng)設計和實現(xiàn)

3.1 光學組件的設計和研制

光學組件的設計包含濾光片的設計和微透鏡陣列的設計兩部分。濾光片設計主要采用F-P 腔的基本理論[14,19]，通過優(yōu)選材料色散，選用初始結(jié)構(gòu)，經(jīng)過膜系優(yōu)化后，獲得的12 通道的波長范圍為0.53～0.68 μm，半高寬為8 nm；微透鏡陣列的單孔徑設計采用高次非球面，光學系統(tǒng)參數(shù)和濾光陣列的基本參數(shù)如圖2(彩圖見期刊電子版)所示。

圖2 陣列濾光片組件設計方法Fig. 2 Design method of the array filter assembly

3.1.1 膜系設計和制備

F-P 型單腔層濾光片的基本膜系結(jié)構(gòu)為G|(LH)S(a2L)(HL)S|A，G 為基底；A 為入射介質(zhì)；H 為高折射率材料；L 為低折射率材料；H 和L 表示其光學厚度都為λ/4；(LH)S和(HL)S為F-P 膜系的上下反射膜堆，S 為上下反射堆結(jié)構(gòu)的周期數(shù)；(a2L)為整個膜系中的腔層，也稱之為間隔層，其中，a 表示窄帶濾光片的干涉級次，2L 表示其光學厚度為λ/2。由此，確定膜系結(jié)構(gòu)為：(LH)52L(HL)5，其中，L 表示低折射率材料二氧化硅，H 表示高折射率材料鈦酸鑭(H4)。經(jīng)過優(yōu)化，得到12 通帶的窄帶濾光片透過率曲線，如圖3(彩圖見期刊電子版)所示。其透過率保持在90%以上，截至帶-40 dB，半高寬平均為8 nm。在0.53～0.68 μm內(nèi)分布了12 個光譜通道。

圖3 3×4 通道濾光片理論透過率Fig. 3 Theoretical transmittance of 3×4 channel filter

采用光刻技術(shù)實現(xiàn)陣列濾光片陣列制備的工藝路線如圖4(彩圖見期刊電子版) 所示。首先，在基底上采用成熟的lift-off 工藝涂敷光刻膠(AZ5214)[19]；然后，在圖示的掩模板下曝光，掩模板的透過區(qū)尺寸為1.2 mm×1.2 mm，經(jīng)過顯影獲得需要的單通道圖案；在圖形化的基底上制備陷波濾光片膜系，最后采用丙酮剝離后，獲得圖示的多通道結(jié)構(gòu)；經(jīng)過12 次迭代，獲得12 個通道的陣列率濾光片。實驗過程中光刻過程的基本工藝參數(shù)詳細見前期工作[25]。

圖4 陣列濾光片的工藝路線Fig. 4 Process route of an array filter

制備的12 通道濾光片的透過率測試結(jié)果如圖5(彩圖見期刊電子版)所示，和設計結(jié)果基本吻合。差距主要表現(xiàn)在峰值透過率上，出現(xiàn)差距的原因主要是膜系制備和測試誤差。表2 列出了本工作制備的濾光片和其他濾光片的性能對比?？梢姡啾扔诓捎秒娮邮饪讨苽涞慕饘?介質(zhì)-金屬陣列濾光片、超表面濾光片在半高寬以及透過率上優(yōu)勢明顯[14,26-28]，在主要技術(shù)指標，半高寬和峰值透過率上均表現(xiàn)出了較高性能。

圖5 測試的12 通道的光譜透過曲線Fig. 5 Spectral transmission test curve for the 3×4 channels

表2 濾光片性能對比Tab.2 Performance comparison of the filters

3.1.2 微透鏡設計和制備

采用Zemax 開展設計工作，公式(1)給出了經(jīng)過優(yōu)化后的微透鏡表面面形函數(shù)。

式中，r為非球面上任一點到光軸的距離，c為非球面頂點處的曲率，k是二次曲面的圓錐系數(shù)，k＜1 表示雙曲面，k=-1 表示拋物面，-1＜k＜0 表示橢球面，k=0 表示球面，k＞0 表示扁平橢球面。設計結(jié)果為：基圓曲率半徑為2.18 mm，c=0.46，k=-0.50，設計的面矢高最大值為82.30 μm。

圖6(a)給出了模擬光線追蹤示意圖。圖6(b)給出了3×4 陣列透鏡的空間位置關(guān)系和幾何尺寸，可以模擬成3×4 陣列通道圖像(圖6(c)，彩圖見期刊電子版)。設計結(jié)果表明系統(tǒng)在7°視場和后工作距為0 mm(鏡頭和CMOS 膠合) 時，對應單孔徑的MTF 值在120 l/mm 空間頻率下大于0.3(圖6(d)，彩圖見期刊電子版)，說明系統(tǒng)具有良好的成像特性。

圖6 微透鏡陣列設計結(jié)果。（a）光線模擬圖，單位mm；（b）3×4 陣列透鏡的空間位置關(guān)系；（c）模擬3×4 陣列像；（d）MTF曲線Fig. 6 Design results of the microlens array. (a) Simulation diagram of light tracing; (b) spatial position relationship of the 3×4 array lens; (c) simulated 3×4 array images; (d) MTF curves

經(jīng)過單點車加工后的透鏡陣列表面形貌如圖7(a)(彩圖見期刊電子版)所示，基本工藝參考論文[16]。由圖7(a)可以清楚看出12 通道的微透鏡陣列。圖7(b) 給出7(a)中虛線所示方向的輪廓曲線，和設計的理論曲線相比，復現(xiàn)了設計面型。測試的最大失高為83.48 μm，和設計結(jié)果相差1.18 μm，相對誤差小于1.4%，可保證后續(xù)的成像實驗。

圖7 微透鏡加工效果圖。（a）表面形貌；（b）輪廓曲線Fig. 7 Processing effect of microlens. (a) Surface morphology; (b) contour curve

3.2 系統(tǒng)裝配和成像分析

為了滿足手機狹小空間的需求，裝配主要采用膠合工藝，裝配中選用的紫外膠合劑參數(shù)和膠合工藝參數(shù)分別如表3 和表4 所示。為了監(jiān)控膠合是否對準，采用動態(tài)的監(jiān)控過程。

表3 紫外膠合劑參數(shù)Tab.3 Parameters of the UV adhesive

表4 膠合基本工藝和參數(shù)Tab.4 Basic gluing process and parameters

膠合前的部件如圖8(a)所示，包含微透鏡陣列，陣列濾光片以及CMOS 芯片。膠合后的快照光譜成像儀如圖8(b) 所示，其鏡頭的有效尺寸為3.6 mm×4.8 mm，完全容納在直徑為6 mm 的圓內(nèi)，匹配CMOS 的有效敏感面積；所設計的微透鏡陣列厚度為5 mm，濾光片厚度為0.5 mm，合計不超過6 mm，具備了嵌入手機的必要條件。

圖8 （a）裝配前及（b）裝配后的快照式光譜相機Fig. 8 Snapshot spectral camera (a) before assembly and(b) after assembly

4 實驗驗證

圖9(a)(彩圖見期刊電子版)給出了成像驗證的具體光路和配置圖，通過更換目標物體的顏色（光譜）來模擬不同的光譜目標，作為光譜成像系統(tǒng)的輸入。圖9(b)(彩圖見期刊電子版) 給出了圖9(a) 中綠色目標的12 通道光譜像，其中通道1 到12 分別對應圖5 中的12 個波長通道。這12 個通道的能量強弱不同，由此可以獲得輸入物體含有的不同光譜成份。將目標物體的顏色分別換為白色、紅色和藍色后，對應的12 通道光譜像分別如圖9(c)～9(e) 所示。顯然對于同一目標的12 通道圖像，其強弱分布不同，這表明目標含有不同的光譜成份。

圖9 實驗測試結(jié)果。（a）光學布局；（b）綠色、（c）白色、（d）紅色、（e）藍色物體的光譜像Fig. 9 Experimental test results. (a) Optical layout; spectral images of a (b) blue, (c) white, (d) red and (e)blue object

對于綠色目標，含有的光譜成份主要集中在綠色光波段，所以通道1-4 的光強明顯高于通道9-12；對于紅色目標，通道9-12 的像光強明顯高于其他通道，符合紅色目標的光譜成份；而對于藍色目標的光譜像，光譜成份超出了系統(tǒng)的光譜范圍，但是其仍然具有光譜分辨能力，其12 通道的像強弱明顯不一致；對于白色目標，同時含有紅色、藍色和綠色目標像的光譜信息，因此從12 通道的目標像上看，相對于綠色和紅色目標像，其12通道的強度都較強，符合實際目標的光譜成份。

由圖9 可知，模擬的光譜物體(圖9(a))中的圖像邊緣輪廓清晰，而實驗獲得的光譜像邊緣模糊，和圖6(a) 給出的MTF 相差較大。原因在于圖6(a)給出的僅僅是單孔徑的模擬曲線，實際拍攝中，由于相鄰孔徑之間的干擾較大，實際的分辨率距離理論MTF 較大，造成實際光譜像邊緣模糊。

另外，對應同一物體的12 通道的光譜像，通過選取12 通道目標像上同一位置的信號強度（圖9（b）中紅色五角星所示位置），即可獲得物體上該點的光譜曲線。圖10 給出了圖9（b）上圖示點的光譜曲線（虛線），同時也采用了光纖光譜儀測試了該位置點光譜成份曲線（實線），二者具有類似的變化趨勢。由于目標是綠色物體，其光譜主要集中在綠色波長的譜段，所以540～580 nm 波段強度相對較高；成像光譜儀的光譜曲線較光纖光譜儀測試曲線有20 nm的紅移，原因在于圖中選點位置和光纖光譜儀測試的位置存在偏差，而且所研制的樣機相鄰通道存在串擾，這兩個原因共同導致該紅移。

圖10 圖9（b）所標點的光譜曲線（實線：微光纖光譜儀測試結(jié)果，虛線：成像光譜儀測試結(jié)果）Fig. 10 Spectral curve marked in Fig. 9 (b) (solid line: micro fiber spectrometer test results, dotted line: imaging spectrometer test results)

本文的光譜標定方法和傳統(tǒng)光譜儀不同，傳統(tǒng)光譜儀標定主要工作是：確定線陣CCD 像素對應的光譜波長。由于成像系統(tǒng)具有非線性，因此需要波長標定[29-30]。本文中的光譜準確度其實源自濾光片透過率測試的準確性，測試濾光片透過率的設備是經(jīng)過國防一級計量站定標的分光光度計。成像系統(tǒng)中CCD 被分割成3×4=12 通道，每個通道對應一個光譜像，其對應的定標波長就是濾光片的中心波長[12,24]。

表5 給出了所研制的快照式光譜儀的技術(shù)指標和相關(guān)文獻報道的光譜成像儀的對比情況。從表中可以看出，目前報道的成像光譜儀最小尺寸在，均遠遠超過手機嵌入式鏡頭的基本尺寸（Φ8×6 mm）[22,31-33]；另外，從光譜分辨率角度分析，本文實現(xiàn)的硬件分辨率達到了8 nm，均優(yōu)于其他文獻報道的光譜分辨率，略低于文獻[22]計算重構(gòu)后的分辨率[22]，但經(jīng)過后續(xù)的超光譜算法，有望實現(xiàn)更高的光譜分辨率。

5 目前的不足和后續(xù)研究

根據(jù)硅探測器的光譜范圍以及實際光譜識別物體的需要，光譜范圍為400～1 000 nm，分辨率需達到2 nm 以下，本文設計的快照式光譜成像儀可以滿足實際的部分需求，比如色溫測量、農(nóng)藥殘留等[4-6]。目前研制的樣機離應用還有差距，是下一步努力的方向。

另外，眾所周知，光譜分辨率、空間分辨率以及光譜范圍三者是相互制約的關(guān)系，依靠硬件手段同時使三者滿足要求，實際設計中存在巨大的困難[14-15]，并且還受限于手機平臺的尺寸要求。作者認為通過深度學習算法實現(xiàn)光譜分辨率超分辨是解決此類問題的有效方法。對于這一點，也有相關(guān)的研究。2021 年，Zhang 等人指出經(jīng)過深度學習，實現(xiàn)了光譜超分辨，驗證了該方法的有效性[22]，但尚需要進一步縮小鏡頭尺寸，以適應手機等平臺的尺寸要求。

標定涉及到兩類參數(shù)定標：一是光譜定標；一是輻射定標。從消費應用層面來看，光譜定標更重要，因為后續(xù)應用場景主要是利用光譜的特征峰開展物體識別[4]。而輻射定標對于專業(yè)的測試計量意義較大。論文研制的這類多孔徑系統(tǒng)，確實普遍存在視場不一致的事實[15]，該視場差會導致圖像相面輻照度不均勻，其影響的是光譜曲線強度的準確性，而不會影響光譜定標的準確性。而面對嵌入手機成像光譜儀的應用場景，更關(guān)心的是波長準確性，少許的強度偏差可以通過后續(xù)的軟件算法和深度學習修正，這些工作將在二代工程樣機中實現(xiàn)。

6 結(jié) 論

面向手機內(nèi)置光譜成像的迫切需求，解決目前智能手機端無法實時獲取成像光譜信息的行業(yè)痛點，開發(fā)出一種快照式緊湊型光譜成像儀。 通過精密光學設計、復雜光場調(diào)制、先進的光學制造和裝備，實現(xiàn)光譜、空間等多維度信息的融合獲取。其光譜分辨率為8 nm，光譜范圍為0.53～0.68 μm。實驗研究驗證其可以實現(xiàn)不同顏色的實物成像，獲得任意物體部位的光譜曲線，快照式光譜儀的設計指標初步具備了嵌入手機平臺的基本條件。未來有望搭載手機平臺，應用于重金屬殘留、水果蔬菜的農(nóng)藥殘留、色溫、兒童玩具衣服熒光劑殘留、女性化妝品鑒別等領域檢測和識別。