一種基于FPGA的多模式微納遙感相機設計

張原野，劉增龍，吳建福，關晨輝，彭呈祥

（北京空間機電研究所，北京 100094）

近年來，微納遙感衛(wèi)星作為航天活動的熱點之一，正向著高性能、智能化、網(wǎng)絡化的方向發(fā)展，同時，微納遙感衛(wèi)星也成為創(chuàng)新主戰(zhàn)場，與大型遙感業(yè)務衛(wèi)星互為補充，綜合形成完整的國家空間遙感體系［1-3］，豐富了航天系統(tǒng)的能力和手段，在航天創(chuàng)新發(fā)展中起到舉足輕重的作用。微納衛(wèi)星在時間分辨率、大數(shù)據(jù)綜合效能等方面表現(xiàn)出強大優(yōu)勢，但是受體積、系統(tǒng)工作模式、系統(tǒng)供電等因素的限制，微納遙感衛(wèi)星對以遙感相機為代表的核心功能單機的集成度、智能化等提出更高要求，工作模式多樣化集成、高性能圖像在軌實時處理、高質(zhì)量低帶寬需求圖像壓縮、多場景自適應自動曝光快速收斂等問題是當前微納衛(wèi)星遙感相機面臨的主要矛盾。

因此，本文針對上述問題，提出了一種基于FPGA的微納遙感相機系統(tǒng)，相機采用大面陣CMOS Bayer型圖像傳感器，實現(xiàn)數(shù)字TDI推掃成像、面陣拍照成像和高速視頻成像功能集成；通過優(yōu)化FPGA并行流水線數(shù)據(jù)處理邏輯，實現(xiàn)Bayer圖像高速實時數(shù)字TDI處理；通過優(yōu)化Bayer圖像壓縮方法，實現(xiàn)低帶寬、高性能、多模式Bayer圖像實時在軌壓縮編碼；該系統(tǒng)相機具備集成度高、功能多樣、投入產(chǎn)出比高、研發(fā)周期短、體積小、重量輕、使用靈活方便及可集群/星座/組網(wǎng)運行等特點，適用于微納遙感衛(wèi)星平臺應用。

1 微納遙感相機硬件設計

傳統(tǒng)遙感相機多采用CCD成像器件和大型光學系統(tǒng)相結(jié)合的設計方案，通過衛(wèi)星平臺高穩(wěn)定度和姿態(tài)控制能力，達到理想的成像效果。隨著半導體工藝的不斷提升，大面陣高性能CMOS圖像傳感器以及高性能FPGA芯片不斷涌現(xiàn)，為微納遙感相機研制提供了新的思路［4-5］。采用針對性的光學系統(tǒng)和高集成度電子學電路一體化整機結(jié)構設計，能夠使微納遙感相機在大幅度提升功能和性能的同時，對衛(wèi)星姿態(tài)變化具有更好的適應能力；在實現(xiàn)高幀頻視頻成像模式基礎上，采用數(shù)字TDI技術，微納遙感相機能夠?qū)崿F(xiàn)更加靈活可靠的推掃成像模式［6］，將微納遙感衛(wèi)星功能和易用性提升到新的高度。

本文設計了一種2 m分辨率的微納遙感相機，技術指標如表1所示，其相機光學系統(tǒng)采用RC+校正鏡形式，采用大面陣CMOS探測器和高性能FPGA主控電路，實現(xiàn)相機系統(tǒng)輕小型化設計。

表1 2 m微納遙感相機技術指標

相機系統(tǒng)結(jié)構如圖1所示，由主承力板、主鏡組件、次鏡組件、遮光筒、透鏡組件、消雜光部件、成像及控制電子學、熱控組件等組成。其中電子學組件由焦面電路、FPGA主控電路和接口電路組成。單個部組件需要完成CMOS傳感器多模式驅(qū)動、Bayer圖像數(shù)字TDI、DDR3高速數(shù)據(jù)緩存、Bayer圖像壓縮編碼控制、自動曝光與圖像增強、總線通信等功能。

圖1 微納相機系統(tǒng)組成框圖

相機電子學結(jié)構如圖2所示，采用Xilinx Kintex7系列FPGA XC7K410T為主控芯片，搭配ADV212進行圖像數(shù)據(jù)實時壓縮編碼，配置高速DDR3 SDRAM實現(xiàn)圖像數(shù)據(jù)緩存，對外數(shù)據(jù)接口采用LVDS接口。圖像采集、數(shù)據(jù)通信、圖像畫質(zhì)提升、數(shù)字TDI、調(diào)焦控制等功能均由FPGA實現(xiàn)，提升了相機電子學的集成度。焦面電路的核心是CMOS圖像傳感器，實現(xiàn)圖像的光電信號轉(zhuǎn)換。接口電路主要集成了各類接口芯片，實現(xiàn)相關通信、控制、供電協(xié)議轉(zhuǎn)換。電子學組件高度集成，能夠滿足微納衛(wèi)星平臺使用需求。

圖2 相機電子學架構

2 微納遙感相機軟件設計

2.1 軟件架構

相機FPGA軟件架構如圖3所示，包括CMOS驅(qū)動、圖像預處理、高速數(shù)據(jù)緩存、自動曝光、數(shù)字TDI、圖像壓縮編碼、遙控遙測解析、CameraLink數(shù)據(jù)輸出等功能模塊，圖像數(shù)據(jù)流按照流水線方式依次進行處理。根據(jù)CAN總線控制指令，進行推掃成像、拍照成像和視頻成像切換。

圖3 FPGA軟件架構

CMOS驅(qū)動模塊主要完成傳感器驅(qū)動時序、傳感器參數(shù)配置、傳感器成像模式控制、相機曝光控制等功能；自動曝光模塊主要完成曝光時間實時計算；高速串行數(shù)據(jù)采集模塊主要完成22通道串行數(shù)據(jù)采集、像素數(shù)據(jù)提取、圖像數(shù)據(jù)組幀等功能；圖像預處理模塊主要完成壞點校正、FPN校正、自動白平衡等功能；高速數(shù)據(jù)緩存模塊主要完成DDR3驅(qū)動控制、圖像數(shù)據(jù)高速讀取等功能；TDI處理模塊主要完成Bayer圖像數(shù)字TDI計算功能；圖像壓縮編碼模塊主要完成ADV212驅(qū)動控制、推掃圖像/視頻圖像/拍照圖像壓縮編碼控制；遙控遙測解析模塊主要完成遙控指令解析、工作模塊控制、遙測信息輸出等功能；CameraLink模塊主要完成接口驅(qū)動、數(shù)據(jù)打包等功能。

本文主要介紹快速自動曝光算法、Bayer圖像數(shù)字TDI是算法和Bayer圖像壓縮算法等核心模塊設計，其余基礎模塊不做詳細介紹。

2.2 快速自動曝光算法設計

自動曝光算法用于在相機景物亮度發(fā)生變換時實時調(diào)整相機曝光時間，使圖像亮度值保持在一個合適的范圍內(nèi)。自動曝光算法通過計算上一幀圖像數(shù)據(jù)值確定本幀圖像的曝光時間，連續(xù)迭代，直至工作結(jié)束。本文算法根據(jù)對地遙感相機的場景中云、強光照等特殊條件進行了優(yōu)化調(diào)整，可適應復雜的場景變化，調(diào)整迅速精準［7-8］。

一幅圖像中，圖像的灰度分布情況可以反映不同的圖像質(zhì)量，灰度直方圖在各個灰度值上分布越均勻，圖像對應的動態(tài)范圍就越寬，圖像自然就越清晰。在這里用圖像熵來定義灰度直方圖的均勻性［10］。按照下式定義圖像信息熵函數(shù)：

其中，N為灰度基數(shù)；Pi為每個灰度級出現(xiàn)的概率。

相機采用圖像分塊加權和圖像熵相結(jié)合的方式進行自動曝光控制。為便于FPGA實現(xiàn)，選用7 920×6 004全畫幅圖像中心7 920×6 000區(qū)域作為自動曝光計算區(qū)域。將選中區(qū)域圖像相鄰的4×4像素計算平均值后合并為1個像素，得到1 980×1 500大小圖像。再將圖像劃分為100個198×150的圖像塊。分別計算100塊圖像分別的圖像熵，根據(jù)各塊圖像熵計算結(jié)果和對應加權系數(shù)（如圖4所示），計算當前圖像平均灰度值。圖像平均灰度按照下式計算：

圖4 圖像熵與加權系數(shù)曲線圖

其中，DNcur_ave為當前圖像平均DN值；AVEi為第i塊圖像平均DN值；ai為第i塊圖像加權系數(shù)。

其中，Eave為整幅圖像平均圖像熵；Emin為整幅圖像最小圖像熵。

根據(jù)圖像當前平均灰度值DNcur_ave，按照圖5調(diào)整曲線，過查找表方式得出調(diào)整系數(shù)Q，計算出下一幀曝光時間，用于控制成像。

圖5 圖像DN值與加權系數(shù)曲線圖

其中，Tnext為下一幀曝光時間；Tcur為當前幀曝光時間；Q為加權系數(shù)。

曝光時間算法流程如圖6所示。

圖6 算法流程圖

2.3 Bayer圖像數(shù)字TDI算法設計

時間延遲積分（Time Delay and Integration，TDI）技術是航天遙感應用領域的關鍵技術之一，該技術已廣泛應用于CMOS探測器中。但基于TDI CMOS的相機系統(tǒng)電子學系統(tǒng)復雜，難以滿足微納衛(wèi)星的要求［11-13］。采用面陣CMOS圖像傳感器的電子學集成度高，通過FPGA數(shù)字TDI的方式可以實現(xiàn)條帶推掃成像，同時還可以實現(xiàn)凝視視頻等多種工作模式，非常適合微納衛(wèi)星系統(tǒng)的應用。

面陣傳感器數(shù)字TDI技術在數(shù)字域進行TDI和在電荷域進行TDI的原理是一致的，都是通過對同一景物多次曝光后進行延遲累加，從而解決單幀推掃成像積分時間不充足的情況。由于Bayer圖像分布特點，每個像素僅包含一種顏色信息，導致Bayer圖像數(shù)字TDI不能按照傳統(tǒng)逐行疊加方式，本方案采用2行圖像進行數(shù)字TDI計算，以積分級數(shù)4為例，TDI算法原理如圖7所示，其中曝光級數(shù)4，幀頻為2行推掃時間。

圖7 數(shù)字TDI原理示意圖

當衛(wèi)星飛行于500 km軌道高度時，推掃模式最大行頻達4 000行/s，為實現(xiàn)1～25級可數(shù)字TDI實時計算，F(xiàn)PGA數(shù)據(jù)吞吐率需達到15.84 Gbps。為了降低FPGA資源消耗，提高計算效率，采用流水線和循環(huán)乒乓存儲輸出方式進行高效TDI實時計算，吞吐率可達32 Gbps。數(shù)據(jù)流程如圖8所示。

圖8 數(shù)字TDI原理示意圖

2.4 Bayer圖像壓縮

圖像傳感器采集到的原始Bayer圖像，僅1幀/s的 7 920×6 004×10 bit全畫幅圖像，就需要475.6 Mbps帶寬才能實現(xiàn)實時傳輸，這對衛(wèi)星數(shù)據(jù)處理和傳輸鏈路帶來了巨大資源消耗，并不適合微納衛(wèi)星應用。若采用傳統(tǒng)的YUV色彩空間壓縮方式，會導致FPGA軟件運算流程復雜化，效率降低，同時經(jīng)過RGB插值和YUV轉(zhuǎn)換后的壓縮前圖像數(shù)據(jù)量提升2至3倍，在相同的通信帶寬情況下需要相機具備更大的壓縮比［14-16］。本文采用將Bayer圖像R、G、B色彩分離形成R子圖像、G子圖像、B子圖像（如圖9所示），再將子圖像分別獨立分塊壓縮編碼方式進行圖像壓縮處理?？捎行Ы档瓦\算復雜度，減小圖像壓縮比，提升壓縮后圖像質(zhì)量。

圖9 R/G/B子圖像提取示意

為保證Bayer子圖像壓縮效率，系統(tǒng)采用2片ADV212并行圖像壓縮編碼，其中1片用于G通道子圖像壓縮，另外1片用于R/B通道子圖像壓縮，單片ADV212按照40（Milion Samples Per Second）圖像輸入設計，時鐘頻率40 MHz，輸入位 寬 16 bit，采 用 CS（Custom Specific）模式 ，由VDATA接口輸入圖像數(shù)據(jù)，HDATA接口輸出壓縮數(shù)據(jù)，可滿足最大47.6（Milion Samples Per Second）圖像處理需求。ADV212芯片配置流程參考文獻［15］進行了說明，本文不做詳細闡述。三種模式R/G/B子圖像均按照固定壓縮圖像塊：64（行）×4 096（列）進行壓縮處理。以全畫幅圖像為例，每幀圖像分為188塊（G圖像94塊，R圖像47塊、B圖像47塊）進行壓縮。推掃圖像每256行壓縮一次；視頻圖像4幀壓縮一次。

Bayer圖像FPGA壓縮編碼流程如圖10所示。

圖10 Bayer圖像壓縮流程

3 應用效果分析

相機系統(tǒng)經(jīng)過了板級測試、系統(tǒng)測試、熱環(huán)境測試和多個型號在軌驗證，程序運行穩(wěn)定，性能指標滿足應用需求。以某型號標準3U微納遙感相機為例，F(xiàn)PGA軟件在Xilinx XC7K410T平臺實現(xiàn)，Slice占用約18%，BUFG/BUFGCTRLs占用約37%，RAM占用約56%，整機功耗小于15 W。

該相機重量不足2.8 kg，僅為“珠海一號”O(jiān)VS-1A/B衛(wèi)星視頻相機重量的1/4［17］，實現(xiàn)了同樣的2 m（軌道高度500 km）對地分辨率，同時實現(xiàn)了1～25級可調(diào)節(jié)數(shù)字TDI推掃成像模式，1幀/s的7 920×6 004全畫幅拍照成像模式、25幀/s的1 920×1 080凝視視頻成像模式和高性能Bayer圖像壓縮算法集成。面陣成像幅寬達15.8 km×12 km，是OVS-1A/B衛(wèi)星相機成像幅寬的4倍。數(shù)字TDI推掃成像模式和圖像壓縮算法加入，使得該相機成像適應性更強，數(shù)傳帶寬需求更低。

相機在軌實測自動曝光收斂速度在4幀以內(nèi)，Bayer圖像壓縮質(zhì)量和數(shù)字TDI效果優(yōu)異。圖11為3U相機實物圖，圖12為視頻/拍照成像在軌實拍圖像，圖13為Bayer數(shù)字TDI推掃模式在軌實拍圖像。

圖11 相機實物圖

圖12 面陣成像

圖13 圣瑪利亞港（TDI-8級）

由相機在軌應用效果可見，該系統(tǒng)資源消耗低、成像性能優(yōu)異，非常適合微納衛(wèi)星應用。

4 結(jié)論

本文針對微納遙感相機應用特點和型號實際需求，提出了一種基于FPGA的推掃視頻一體化多模式微納相機系統(tǒng)，系統(tǒng)集成Bayer圖像數(shù)字TDI、面陣成像、自動曝光、Bayer圖像壓縮編碼制等功能，極大拓展了相機適用性。實驗和在軌應用表明，該相機系統(tǒng)源占用少，穩(wěn)定性高，非常適合微納遙感衛(wèi)星系統(tǒng)搭載應用。