紅外探測器集成圖像信號處理芯片設(shè)計

汪 健，張 磊，曾 鑫，戴 放,2，徐春葉

〈系統(tǒng)與設(shè)計〉

紅外探測器集成圖像信號處理芯片設(shè)計

汪 健1，張 磊1，曾 鑫1，戴 放1,2，徐春葉1

（1. 中國兵器工業(yè)第214研究所，江蘇 蘇州 215163；2. 南京理工大學，江蘇 南京 210094）

在紅外信號處理中，紅外探測器原始輸出圖像存在非均勻性嚴重、噪聲大、對比度低等問題，無法滿足武器裝備對圖像質(zhì)量的要求。為解決紅外圖像信號數(shù)據(jù)量大、算法復雜、系統(tǒng)實時性強等系列問題，研制紅外探測器集成圖像信號處理電路，以減小體積、降低功耗、提升性能。

紅外探測器；信號處理；系統(tǒng)級芯片

0 引言

自20世紀80年代以來，紅外成像技術(shù)[1]得到了突飛猛進的發(fā)展，由于其具有全天候探測、靈敏度高、抗干擾能力強等特點，紅外成像組件在武器裝備中得到了廣泛應(yīng)用，如槍瞄、車載/偵察、單兵、頭盔、制導彈藥等領(lǐng)域[2]。隨著紅外成像技術(shù)的進一步發(fā)展，不同波長、不同陣列的紅外熱像儀已成為紅外成像系統(tǒng)的主要組成部分，其核心技術(shù)難點主要體現(xiàn)在紅外探測器和相關(guān)的電子學組件上。

在紅外圖像信號處理中，紅外探測器原始輸出圖像存在非均勻性嚴重、噪聲大[2]、對比度低等問題，無法滿足武器裝備對圖像質(zhì)量的要求，為解決紅外圖像信號數(shù)據(jù)量大、算法復雜、系統(tǒng)實時性強等系列問題，裝備目前多采用FPGA或FPGA＋DSP的方式進行圖像處理。這種方式主要以進口器件為主，且難以適用越來越多空間有限的小口徑紅外制導彈藥的應(yīng)用需求。隨著半導體集成電路技術(shù)的發(fā)展，可在更小的芯片面積上實現(xiàn)更多的功能，包括圖像畸變的校正、非均勻性校正、噪聲抑制和圖像增強等，通過提高處理速度、提升數(shù)據(jù)吞吐量，達到增強系統(tǒng)功能，擴大紅外裝備應(yīng)用范圍的目標，因此內(nèi)置圖像預(yù)處理與信號處理的集成紅外圖像處理（image signal process, ISP）電路成為較為理想的實現(xiàn)途徑。

1 紅外集成信號處理

近年來，隨著紅外熱像儀中探測器技術(shù)的迅速發(fā)展，國外二代紅外焦平面探測器現(xiàn)已大量裝備各種武器平臺，以288×384、320×256、640×512為代表的二代碲鎘汞紅外探測器[3]，滿足了多種系列武器平臺的使用要求，同時正大力推進三代紅外焦平面探測器發(fā)展，正在研制的大面陣探測器像元規(guī)模已達到8k以上，小像元探測器像元尺寸從10mm縮小到5mm，8mm像元間距探測器已完成工程化并成為貨架產(chǎn)品。隨著探測器的迅速發(fā)展，對紅外熱像儀中另一個重要組成——紅外圖像信號處理系統(tǒng)也提出了更高的要求，不僅要用于接收紅外探測器的輸出信號并進行成像處理，同時要輸出更高質(zhì)量的圖像。

早在紅外探測器研究的同時，信號處理技術(shù)也同步在開展工作，解決問題的手段主要是采用線性濾波技術(shù)，它能較好地處理高斯噪聲，降低它的影響。但當系統(tǒng)中存在非高斯噪聲或非線性噪聲時，使用線性濾波器就會毀壞圖像信號的邊緣，使分辨能力變差，對脈沖噪聲的處理效果不太明顯[4]。未來對紅外圖像系統(tǒng)的智能化、實時性要求越來越高，同時探測環(huán)境越來越復雜，紅外信號處理技術(shù)的重要作用越來越突出。利用高性能集成圖像信號處理電路對目標紅外圖像信號進行檢測識別處理，通過增強目標信號，抑制雜波及干擾噪聲，提高信噪比以有效提高對目標的檢測概率，從復雜背景雜波中將背景和目標初步分離，提取出目標，實現(xiàn)紅外圖像系統(tǒng)對目標的有效檢測識別、高速處理、小型化和高可靠。

近年來裝備上使用的紅外信號處理方式有多種，有的基于PC機進行處理，有的基于單FPGA（field programmable gate array）架構(gòu)，有的基于數(shù)字信號處理器（digital signal process，DSP）結(jié)構(gòu)，有的基于可編程邏輯器件（FPGA）＋DSP的混合處理結(jié)構(gòu)等。但是無論哪種結(jié)構(gòu)，核心器件主要以進口為主，尤其隨著武器裝備對小體積、低功耗的發(fā)展需求，上述架構(gòu)受到較大限制。隨著半導體集成電路工藝加工等技術(shù)的快速發(fā)展，可以將運算量較大的處理，如圖像畸變的校正、非均勻性校正、噪聲抑制、邊緣增強等圖像預(yù)處理算法與圖像處理算法進行專用ASIC（application specific integrated circuit）集成，實現(xiàn)紅外信號處理ISP（image signal processing）電路。

本文介紹了一種紅外ISP電路的實現(xiàn)方法，采用先進的半導體設(shè)計與工藝技術(shù)，研制了一款紅外ISP信號處理電路，包括探測器接口、專用圖像預(yù)處理模塊、高性能處理器、高速接口等模塊，可用于紅外探測器輸出的信號處理中，提高圖像質(zhì)量，減小紅外組件體積，降低功耗。

2 紅外ISP電路設(shè)計

為了滿足紅外探測器信號處理集成的需求，研制了一款集成圖像預(yù)處理算法的ISP系統(tǒng)級芯片（system on chip，SoC）專用電路。系統(tǒng)結(jié)構(gòu)如圖1所示。該電路以ARM Cortex-M4處理器為內(nèi)核，運行頻率100MHz，采用AMBA（advanced microcontroller bus architecture）總線結(jié)構(gòu)，功耗：大約395mW、內(nèi)置圖像信號處理IP、圖像接口、支持DDR3接口、521KB的SRAM、3路UART、1路QSPI、3路SPI、4路IIC以及支持休眠模式等，實現(xiàn)紅外圖像信號處理專用ISP電路。

圖1 系統(tǒng)結(jié)構(gòu)框圖

電路采用55nm CMOS工藝進行制造，布局布線后面積約為4285mm×4610mm，版圖布局如圖2所示。

圖2 ISP電路版圖布局

3 專用圖像預(yù)處理模塊設(shè)計

圖像預(yù)處理模塊從結(jié)構(gòu)上主要解決兩個問題：一是算法與算法間的交互，包括數(shù)據(jù)流的高速傳輸和算法信息的交互；二是算法與緩存間大規(guī)模高速高效交互。隨著信號處理算法復雜度的提高，帶寬的要求也越來越高，以640×480分辨率，幀頻50Hz，位寬14bit的紅外探測器原始數(shù)據(jù)為例，通常需要10倍于原始數(shù)據(jù)的吞吐量才可完成一系列復雜的紅外熱像儀信號處理工作，初步計算內(nèi)部總線帶寬需要250Mbyte/s，而外部存儲器帶寬接近2.5Gbyte/s。未來紅外焦平面的面陣會不斷擴大，1024×1024分辨率的面陣也會逐步走向主流，此時的內(nèi)部總線帶寬達到400～700Mbyte/s，外部存儲器帶寬將達到4～7Gbyte/s，需要高速總線接口、高帶寬外部存儲器和高效存儲器仲裁機制才能滿足要求。因此，高速總線接口設(shè)計及合理的外部存儲器讀寫訪問研究很有必要。每一個模塊均和ISP電路中的總線連接，并可以通過配置，選擇是否參與預(yù)處理流程。涉及數(shù)據(jù)量大的子模塊還與外部高速接口相連，提高圖像數(shù)據(jù)的吞吐。

由于紅外探測器自身材料、工藝加工一致性等原因，探測器輸出的原始圖像質(zhì)量不高，尤其在非均勻性嚴重、隨機噪聲大、對比度低等方面，導致紅外熱像儀的成像質(zhì)量有限。要想獲得理想的圖像，這幾個問題是首先需要解決的基礎(chǔ)問題。除此之外，還必須進行如探測器驅(qū)動、圖像存儲和顯示等處理，將這些功能集成并進行靈活配置，滿足多種紅外探測器圖像的需求。在紅外ISP電路中設(shè)計了一種可通用于紅外探測器的圖像預(yù)處理模塊，結(jié)構(gòu)如圖3所示。在預(yù)處理模塊中，共設(shè)計了15個子模塊，包括探測器驅(qū)動、數(shù)據(jù)存儲、幀間濾波、單點校正、去盲元、基于場景的校正、直方圖均衡、圖像增強、去盲行、幀緩存、亮度調(diào)整、裁剪、縮放、灰度處理以及顯示等[6]。

圖3 圖像預(yù)處理結(jié)構(gòu)示意圖

4 仿真與驗證

當前的SoC片上系統(tǒng)設(shè)計中，幾乎有2/3的時間都用在了驗證工作上，驗證是整個芯片設(shè)計中十分重要的環(huán)節(jié)。ISP電路的仿真驗證主要通過以下幾方面進行。

首先對集成的圖像預(yù)處理模塊進行仿真，這是整個電路仿真中的重點，需要依次配置圖像IP內(nèi)的各個模塊，使每個模塊工作在典型應(yīng)用場景下，配合芯片要求的各輸出控制信號時序，從視頻接口輸入原始圖像數(shù)據(jù)，在仿真平臺中判斷圖像IP內(nèi)每級模塊的輸出是否正確。

其次對ISP電路中除圖像預(yù)處理模塊外進行仿真驗證。

1）處理器仿真：加載處理器的各種指令及組合，驗證功能。

2）時鐘復位仿真：配置圖像模塊的時鐘并解除reset，比較所有寄存器初值，讀寫所有寄存器并與期待值比較。

3）中斷仿真：產(chǎn)生所有的中斷模式，依次觸發(fā)各個中斷源，驗證各中斷的發(fā)生以及退出。在錯誤的地址下寫入數(shù)據(jù)，產(chǎn)生CPU硬件錯誤中斷，驗證硬件錯誤中斷的產(chǎn)生和清除。

4）DMA仿真：配置DMA，DMA傳送源地址分別為SRAM，QSPI，DDR等，驗證從DMA作為BUS Master把數(shù)據(jù)從一個模塊中傳輸?shù)搅硪粋€模塊中，并比較傳輸數(shù)據(jù)的正確性。

5）高速外設(shè)DDR的仿真，DDR時鐘配置為400MHz，讀寫DDR空間的各個邊界地址，驗證數(shù)據(jù)的正確性。

6）外設(shè)接口仿真：驗證QSPI、I2C、UART、SPI、GPIO在單線/雙線/四線模式下通訊動作的正確性。

鑒于數(shù)字前端仿真效率較低，覆蓋的TestCase（測試用例）有限，為了更為全面且高效地驗證電路前端設(shè)計，項目驗證中搭建了基于FPGA的硬件驗證平臺，采用Xilinx ZC706開發(fā)板進行代碼集成，?？?40×512紅外探測器實現(xiàn)紅外圖像采集，對圖像進行接收、裁剪、縮放、單點校正、去豎紋、去盲元、圖像增強、顯示等算法驗證。FPGA驗證效果如圖4所示。

ISP電路采用55nm CMOS工藝進行加工，由于引腳較多，采用324引腳BGA封裝，芯片外形如圖9所示，封裝后尺寸為12mm×12mm。

研制的電路成像效果如圖10所示，可以看出效果比仿真還要清晰。

圖4 FPGA驗證效果圖

圖5 電路外形圖

圖6 電路成像效果

5 結(jié)論

隨著紅外探測器的快速發(fā)展，集成紅外圖像信號處理越來越重要。研制的專用紅外集成信號處理電路可以廣泛用于系列紅外熱像儀中，滿足小口徑彈藥、單兵頭盔、車載等裝備應(yīng)用[8]，顯著地減小體積、降低功耗、提高性能，有效地降低成本，實現(xiàn)核心器件自主可控。

[1] 趙超, 楊號. 紅外制導的發(fā)展趨勢及其關(guān)鍵技術(shù)[J]. 電光與控制, 2008, 15(5):48-53.

ZHAO Chao, YANG Hao. A survey on development trends and key technologies of infrared guidance systems[J]., 2008, 15(5): 48-53.

[2] 陳振宇. 微小型彈載圖像采集處理系統(tǒng)研究[D]. 南京: 南京理工大學, 2015.

CHEN Zhenyu. Research on Micro-Miniature Missile-Borne Image Acquisition and Processing System[D]. Nanjing: Nanjing University of Science & Technology, 2015.

[3] 張寧. 非制冷紅外探測器噪聲抑制技術(shù)研究[D]. 北京: 中國科學院大學, 2017.

ZHANG Ning. Research on Noise Suppression Technology of Uncooled Infrared Detector[D]. Beijing: University of Chinese Academy of Science, 2017.

[4] 于文陽. 640×480像元非制冷紅外探測器讀出電路研究[D]. 天津: 天津工業(yè)大學, 2020.

YU Wenyang. Research on Readout Circuit of 640×480 Pixel Uncooled Infrared Detector[D]. Tianjin: Tiangong University, 2020.

[5] 任亞晶. 低噪聲非制冷紅外探測器讀出電路的研究[D]. 天津: 天津工業(yè)大學, 2019.

REN Yajing. Research on Readout Circuit of Low Noise Uncooled Infrared Detector [D]. Tianjin: Tiangong University, 2019.

[6] 吳曉斌. 小型化紅外熱像儀信號處理方法研究及實現(xiàn)[D]. 南京: 南京理工大學, 2017.

WU Xiaobin. Research and Realization of Signal Processing Method for Miniaturized Infrared Thermal Imager[D]. Nanjing: Nanjing University of Science & Technology, 2017.

[7] 鄭瑞紅, 陳錢. 基于場景的紅外圖像非均勻性校正算法的研究[J]. 光電子技術(shù), 2003, 23(4):241-244.

ZHENG Ruihong, CHEN Qian. The research of scene-based methods on infrared nonuniformity correction[J]., 2003, 23(4): 241-244.

[8] 呂潔, 羅勇, 卿松, 等. 紅外制導技術(shù)在空空導彈中的應(yīng)用分析[J]. 兵器裝備工程學報, 2017, 38(12): 70-74.

LYU Jie, LUO Yong, QING Song, et al. Application analysis of infrared guidance technology in air-to-air missile[J]., 2017, 38(12): 70-74.

Design of Integrated Image Signal Processing Chip for Infrared Detector

WANG Jian1，ZHANG Lei1，ZENG Xin1，DAI Fang1,2，XU Chunye1

(1.,215163,;2.,210094,)

In infrared signal processing, the original output image of the infrared detector has serious non-uniformity, high noise, and low contrast, which cannot meet the requirements of the image quality of ammunition. To solve problems such as large amounts of infrared image signal data, complex algorithm, and strong real-time performance of the system, the integrated infrared signal processing circuit is developed for reducing the volume and improving performance.

infrared detector, signal processing, system on chip

TP752.1

A

1001-8891(2021)11-1044-05

2021-10-25；

2021-10-30.

汪?。?969-），女，研究員，研究方向為數(shù)字集成電路與SOC設(shè)計。E-mail: wangjian214@163.com。