基于FPGA的紅外圖像仿真注入系統(tǒng)

管目強，李 巖，黃 梅，王鶴淇

（1.中國科學(xué)院長春光學(xué)精密機械與物理研究所，吉林長春130033；2.中國科學(xué)院研究生院，北京100039）

基于FPGA的紅外圖像仿真注入系統(tǒng)

管目強1，2，李 巖1，黃 梅1，2，王鶴淇1，2

（1.中國科學(xué)院長春光學(xué)精密機械與物理研究所，吉林長春130033；2.中國科學(xué)院研究生院，北京100039）

設(shè)計了一種新的圖像注入系統(tǒng)來實現(xiàn)PC機仿真圖像到紅外處理系統(tǒng)的直接傳輸。首先，該系統(tǒng)利用USB2.0接收PC機對外場實測數(shù)據(jù)仿真得到的BMP格式文件，用FPGA控制由兩個SDRAM組成的緩沖模塊進行圖像緩存，然后通過Camera Link接口傳送出去。系統(tǒng)數(shù)據(jù)緩存采用乒乓操作，避免了數(shù)據(jù)處理時無法持續(xù)接收而丟失有效數(shù)據(jù)的現(xiàn)象。測試時用圖像采集卡進行圖像采集并顯示。結(jié)果表明，該系統(tǒng)具有速度快、實時性好、穩(wěn)定性高等特點，可替代光電跟瞄設(shè)備進行仿真訓(xùn)練及設(shè)備的動態(tài)檢驗。

紅外圖像仿真；圖像注入系統(tǒng)；FPGA；乒乓操作；camera link接口

1 引 言

在軍隊靶場訓(xùn)練基地，操作人員主要通過光電跟瞄設(shè)備完成對目標(biāo)的捕獲跟蹤任務(wù)，能否迅速準(zhǔn)確地捕獲跟蹤高速目標(biāo)是檢驗光電跟瞄設(shè)備性能的主要手段。跟蹤分為自動跟蹤和手動跟蹤。由于武器平臺具有機動性強、目標(biāo)遠、目標(biāo)小等特點，自動跟蹤很容易把目標(biāo)跟丟，因此必須有手動跟蹤作為補充。而手動跟蹤對操作手的操作能力有著很高的要求，操作手的跟蹤捕獲能力需要在大量的訓(xùn)練中得以提高。

目前，在光電跟蹤設(shè)備訓(xùn)練方面的研究，大多都屬于純計算機仿真訓(xùn)練，脫離了實際的光電跟瞄設(shè)備。這些系統(tǒng)在跟蹤慢速運動目標(biāo)時，效果很好，但是在跟蹤高速運動目標(biāo)時，效果不是很理想。從使用方面看，現(xiàn)在的跟瞄設(shè)備訓(xùn)練系統(tǒng)的數(shù)據(jù)源均由算法計算所得，其效果很難接近真實的飛行環(huán)境，并且模擬訓(xùn)練不能實現(xiàn)閉環(huán)要求，無法實現(xiàn)對光電跟瞄設(shè)備的動態(tài)檢測［1，2］。因此靶場實驗基地急需一套專門的、低成本而又高效率的模擬訓(xùn)練系統(tǒng)。

本文提出了一種新的仿真圖像注入系統(tǒng)，該系統(tǒng)利用PC機對外場測得的目標(biāo)飛行信息進行仿真，然后將仿真結(jié)果注入到跟瞄設(shè)備中，從而替代光電設(shè)備進行仿真訓(xùn)練及設(shè)備的動態(tài)檢測［3］。

2 圖像注入系統(tǒng)運行模式

目標(biāo)跟蹤系統(tǒng)分為兩種運行模式：一種是操作手訓(xùn)練模式，該模式下可以不開啟紅外相機，對操作手進行模擬訓(xùn)練，同時還可以對跟蹤系統(tǒng)的動態(tài)性能進行檢測；另一種是實戰(zhàn)狀態(tài)，在這種狀態(tài)下可以實現(xiàn)目標(biāo)的手動跟蹤和自動跟蹤。兩種模式的切換方式如圖1所示。

訓(xùn)練模式時操作手操作單桿，并將信息傳遞給仿真控制系統(tǒng)，控制系統(tǒng)根據(jù)初始化參數(shù)、單桿控制信息及外場實驗圖像數(shù)據(jù)庫生成目標(biāo)圖像，并疊加背景圖像，生成BMP格式的輸出圖像，然后利用仿真圖像注入系統(tǒng)傳輸?shù)綀D像處理系統(tǒng)，圖像處理系統(tǒng)解算出脫靶量等信息，并將處理結(jié)果傳遞給控制系統(tǒng)，完成對目標(biāo)的捕獲訓(xùn)練。

圖1 圖像注入系統(tǒng)運行模式圖Fig.1 Operation diagram of image injection system

3 仿真圖像注入系統(tǒng)

本文設(shè)計的仿真圖像注入系統(tǒng)技術(shù)指標(biāo)如下：

（1）圖像注入系統(tǒng)接收PC機發(fā)出的仿真圖像信息，接收速度要求大于15 MB/s。即圖像注入系統(tǒng)可以接收分辨率為320×240，深度為16，幀頻為100 frame/s的圖像。

（2）注入系統(tǒng)能將接收到的圖像數(shù)據(jù)按照Camera Link協(xié)議高速、實時、不間斷地送給后級圖像處理系統(tǒng)，保證傳遞到后級系統(tǒng)的圖像數(shù)據(jù)沒有丟幀的情況發(fā)生。

根據(jù)圖像注入系統(tǒng)的技術(shù)指標(biāo)采用模塊化設(shè)計思想，模塊分為圖像數(shù)據(jù)接收模塊、圖像數(shù)據(jù)緩存模塊、圖像數(shù)據(jù)發(fā)送模塊和時序控制模塊。系統(tǒng)框圖見圖2。

圖2 圖像注入系統(tǒng)框圖Fig.2 Block diagram of image injection system

3.1 圖像數(shù)據(jù)接收模塊

圖像數(shù)據(jù)的接收速率要求大于15 MB/s，滿足該速率的方案可以使用USB2.0和PCI總線，但USB2.0具有應(yīng)用廣泛、攜帶方便的特點，故本系統(tǒng)選用USB2.0作為數(shù)據(jù)的接收方式。

設(shè)計中采用Cypress公司的EZ-USB FX2芯片，該芯片將USB外圍接口設(shè)備所需要的各種功能包裝成一個簡潔的集成電路。EZ-USB FX2的串行接口引擎（SIE）可工作在全速（1.5 MB/s）或高速（60 MB/s）傳輸速率下。為了實現(xiàn)60 MB/s的高傳輸速率，外部邏輯通常直接接到FIFO進行數(shù)據(jù)傳輸，且在傳輸過程中不需要FX2 CPU的參與。當(dāng)一個實際應(yīng)用要求CPU處理外部邏輯與USB之間傳輸?shù)臄?shù)據(jù)，或者當(dāng)不存在外部邏輯時，則固件程序能夠存取端點緩沖區(qū)，就像取RAM區(qū)或者利用一個自動增量指針存取FIFO一樣。

FX2有兩種接口方式：Slave FIFOS和通用可編程接口（GPIF）。本文采用的是Slave FIFOS方式，這種接口與FPGA相連比較簡單。FIFO數(shù)據(jù)總線寬度FD［x：0］可以是8位，也可以是16位，其由FIFO的WORDWIDE位（EPxFIFOCFG.0）決定。芯片上電或復(fù)位后，F(xiàn)IFO的數(shù)據(jù)總線默認為16位（WORDWIDE=1）。FIFOADR［1∶0］引腳用于選擇4個內(nèi)部FIFO中的一個與FD腳連接［4］。

3.2 圖像數(shù)據(jù)的緩存模塊

圖像數(shù)據(jù)緩存可以采用三種方案：一是采用先進先出（FIFO）的方式，該種方式具有兩套數(shù)據(jù)線，沒有地址線，可以在一端寫的同時另一端讀；二是采用雙端口RAM的形式，與第一種方式不同，該方式具有兩套獨立的數(shù)據(jù)、地址和控制總線，可以從兩個端口同時讀寫而互不干擾；三是采用雙SDRAM結(jié)構(gòu)，該結(jié)構(gòu)使SDRAM工作在“乒乓”模式，一個SDRAM接收數(shù)據(jù)的同時另一個SDRAM發(fā)送數(shù)據(jù)。第一種方案讀寫數(shù)據(jù)比較呆板，并且大容量的高速FIFO非常昂貴；第二種方案大容量的高速雙口RAM很難實現(xiàn)且價格高?？紤]到系統(tǒng)的性能、價格及讀寫速度等原因，本系統(tǒng)采用第三種方案［7］。

SDRAM作為系統(tǒng)的緩存區(qū)來完成圖像的暫存功能。SDRAM需要對接收來的一幀數(shù)據(jù)進行緩存，每幀圖像的尺寸為 320×240×16= 1 228 800 bit，近似為150 KB。因此，采用兩片256 KB的SDRAM就可以實現(xiàn)系統(tǒng)的緩存要求。

3.3 圖像數(shù)據(jù)的發(fā)送模塊

Camera Link協(xié)議是各公司為簡化圖像采集的接口，該協(xié)議使不同制造商的圖像采集卡與數(shù)字相機有了一個統(tǒng)一的連接標(biāo)準(zhǔn)。Camera Link采用LVDS傳輸方式，該協(xié)議比較適宜于高速數(shù)據(jù)的傳輸。Camera Link是由channel link技術(shù)發(fā)展而來的。channel link包含一個驅(qū)動器和一個數(shù)據(jù)接收器。發(fā)送端驅(qū)動器在一個時鐘周期內(nèi)將28位的數(shù)據(jù)信號以7∶1的比例轉(zhuǎn)換成4路數(shù)據(jù)信號對，同時將時鐘信號也轉(zhuǎn)換成1路時鐘信號差分對，發(fā)送器將這5路差分信號同時傳送給接收端。接收端將接收到的5路差分信號轉(zhuǎn)換回28位的并行信號和1位時鐘信號。采用這種傳輸方式可以減少數(shù)據(jù)傳輸中電纜的條數(shù)和數(shù)據(jù)接收器個數(shù)［8］。

發(fā)送模塊主要采用NI公司的DS90CR287來實現(xiàn)。如圖3所示，DS90CR287對FPGA送出的28位TTL數(shù)據(jù)信號和1路時鐘信號進行電平轉(zhuǎn)換與發(fā)送。28位數(shù)據(jù)包括：24位圖像數(shù)據(jù)，4位圖像數(shù)據(jù)同步信號Spare，LVAL，F(xiàn)VAL和DVAL，設(shè)計中只用到FVAL和LVAL同步信號。

圖3 Camera Link接口電路Fig.3 Camera Link interface circuit

3.4 時序控制模塊

時序控制模塊采用 ALTERA公司的EP2C8Q208C8N作為整個圖像注入系統(tǒng)的時序控制模塊。該模塊主要控制USB2.0接口的數(shù)據(jù)接收、SDRAM的讀寫和Camera Link接口的數(shù)據(jù)發(fā)送。

FPGA和USB2.0之間的數(shù)據(jù)傳遞采用Slaves FIFOs的形式，該設(shè)計方法比較便捷。為避免讀寫過程的亞穩(wěn)態(tài)、空滿狀態(tài)判斷問題，設(shè)計中采用格雷碼指針和劃分地址空間方法產(chǎn)生空滿邏輯。控制狀態(tài)機發(fā)出的控制信號不斷查詢Slaves FIFOs的空滿狀態(tài)，根據(jù)這些狀態(tài)決定是否將接收的數(shù)據(jù)讀到FPGA中，根據(jù)狀態(tài)機的控制信號判斷把數(shù)據(jù)寫入相應(yīng)的SDRAM中。

對雙緩存SDRAM的控制采用在FPGA中構(gòu)建嵌入式系統(tǒng)來實現(xiàn)，利用IP核的形式來構(gòu)建。SDRAM控制器核可通過不同的數(shù)據(jù)寬度（8位、16位、32位或64位）來訪問SDRAM，可以訪問不同容量且有多個片選的存儲器。可以完成SDRAM的初始化，將FPGA發(fā)出的讀寫指令轉(zhuǎn)變?yōu)镾DRAM的讀寫電平格式，以及定時刷新SDRAM等工作。SDRAM從FPGA發(fā)出讀寫控制指令到SDRAM與數(shù)據(jù)總線之間實現(xiàn)交換，有11個時鐘周期的延遲時間。為提高傳輸?shù)男?，SDRAM的讀寫采用整頁讀寫模式，并將突發(fā)讀寫長度設(shè)置為64個時鐘周期。SDRAM數(shù)據(jù)的讀寫控制信號由FPGA中的控制狀態(tài)機實現(xiàn)，當(dāng)寫完一幀數(shù)據(jù)時兩塊SDRAM進行讀寫功能切換，即原來寫數(shù)據(jù)的SDRAM切換到讀數(shù)據(jù)模式，而原來讀數(shù)據(jù)的SDRAM切換到寫數(shù)據(jù)模式。

在對數(shù)據(jù)發(fā)送時序控制時采用了 Verilog HDL語言，數(shù)據(jù)傳輸時采用視頻同步信號的FVAL（幀同步信號）和 LVAL（行同步信號）［9］。如圖4所示，當(dāng)FVAL為高電平時，輸出一幀有效數(shù)據(jù)；LVAL為高電平時，輸出一個有效像元行，在兩個有效像元行中間，LVAL會跳過幾個無效的像素點，可以在實際應(yīng)用中設(shè)定跳過的像素點數(shù)。當(dāng)FVAL與LVAL信號都為高電平時，數(shù)字圖像數(shù)據(jù)在時鐘信號PIXCLK的控制下依次發(fā)送。設(shè)計中FPGA的時鐘為50 MHz，仿真圖像發(fā)送控制時鐘信號PIXCLK采用系統(tǒng)時鐘的2分頻，即25 MHz。視頻同步信號FVAL和LVAL均由時鐘信號PIXCLK計數(shù)產(chǎn)生，時序如圖5所示。設(shè)計中采用幀頻為100 frame/s，所以傳輸一幀圖像所用的PIXCLK周期的個數(shù)為25 MHz/100= 250 000個。設(shè)定跳過的無效像元P1，P2分別為41，19個PIXCLK周期，幀同步信號FVAL在一個周期中低電平的時間為162 340個PIXCLK周期。傳輸一幀圖像用的時間為240×（320+45）+ 41+19+162 340=250 000個時鐘周期。

圖4 圖像時序信號關(guān)系Fig.4 Timing relationship between the image signals

圖5 視頻同步控制信號時序Fig.5 Video synchronous signal timing

根據(jù)模塊化設(shè)計思想，設(shè)計的圖像注入系統(tǒng)的總體數(shù)據(jù)信號流圖如圖6所示。

圖6 圖像數(shù)據(jù)流圖Fig.6 Flow diagram of image data

4 試驗結(jié)果

根據(jù)所設(shè)計的硬件電路編寫軟件代碼，F(xiàn)PGA部分的軟件信息采用Flash配置，上電后系統(tǒng)自動加載。系統(tǒng)測試時采用在輸入端連續(xù)發(fā)送一幅圖像數(shù)據(jù)為320×240的灰度圖像，圖像深度為16，幀頻為100 frame/s，上位機發(fā)送對話框如圖7所示。用CL160采集卡進行圖像采集與顯示，測試結(jié)果穩(wěn)定，沒有丟幀現(xiàn)象，測試效果如圖8所示。測試中平均傳送幀頻為101 frame/s，平均傳輸速率為15.483 MByte/s。

圖7 圖像注入系統(tǒng)上位機測試對話框Fig.7 Dialog box of PC testing in image injection system

圖8 采集卡采集效果圖Fig.8 Collection effect image of acquisition card

5 結(jié) 論

本文提出一種將計算機仿真圖像注入到跟瞄設(shè)備的方法。該方法既可以完成模擬目標(biāo)跟蹤日常訓(xùn)練，提高操作手捕獲跟蹤目標(biāo)能力的任務(wù)，又可以完成跟蹤設(shè)備的自動跟蹤性能檢測及跟蹤算法的驗證。輸出圖像數(shù)據(jù)真實、實時性好、圖像連續(xù)無間斷。該系統(tǒng)能夠?qū)崿F(xiàn)在不開啟紅外相機的情況下完成訓(xùn)練及各種跟蹤算法的客觀評價，節(jié)約了成本。

［1］宋振豐，李巖，于洋.數(shù)字圖像注入式紅外目標(biāo)捕獲跟蹤訓(xùn)練仿真［J］.中國光學(xué)與應(yīng)用光學(xué)，2010，3（9）：194-200.SONG ZH F，LI Y，YU Y.Simulation for IR capturing and tracking train based on digital image injection［J］.Chinese J.Opt.Appl.Opt.，2010，3（9）：194-200.（in Chinese）

［2］王斌，趙躍進.基于電子穩(wěn)像跟蹤技術(shù)濾波算法［J］.光學(xué)精密工程，2009，17（1）：202-206.WANG B，ZHAO Y J.Motion filtering algorithm for tracking technology based on image stailization［J］.Opt.Precision Eng.，2009，17（1）：202-206.（in Chinese）

［3］吳軍輝，朱震，薛芳俠，等.數(shù)字圖像注入式紅外捕獲跟蹤閉環(huán)仿真試驗探討［J］.系統(tǒng)仿真學(xué)報，2004，16（9）：2067-2070.WU J H，ZHU ZH，XUE F X，et al..Study on loop-locked IR capturing and tracking simulation based on digital image injection［J］.J.System Simulation，2004，16（9）：2067-2070.（in Chinese）

［4］許永和.EZ-USB FX系列單片機USB外圍設(shè)備設(shè)計與應(yīng)用［M］.北京：北京航空航天大學(xué)出版社，2002.XU Y H.EZ-USB FX USB Peripherals MCU Design and Application［M］.Beijing：Beihang University Press，2002.（in Chinese）

［5］姚劍敏，靳明，宋建中.基于USB2.0的實時視頻圖像傳輸［J］.數(shù)據(jù)采集與處理，2004，19（3）：352-355.YAO J M，JIN M，SONG J ZH.Real-time video image transmission based on USB 2.0 technology［J］.J.Data Acquisition Processing，2004，19（3）：352-355.（in Chinese）

［6］梁風(fēng)梅，趙敬.基于USB2.0的高速實時圖像采集系統(tǒng)［J］.電腦開發(fā)與應(yīng)用，2009，22（6）：26-30.LIANG F M，ZHAO J.An rapid real-time image acquisition system based ON USB 2.0［J］.Computer Development Appl.，2009，22（6）：26-30.（in Chinese）

［7］康艷霞，曹劍中，天雁，等.實時視頻處理系統(tǒng)中乒乓緩存的設(shè)計［J］.彈箭與制導(dǎo)學(xué)報，2007，27（4）：218-221.KANG Y X，CAO J ZH，TIAN Y，et al..Ping-pang cache structure in real-time video processing system［J］.J.Projectiles；Rockets；Missiles and Guidance，2007，27（4）：218-221.（in Chinese）

［8］BASLER，CONGNEX，CORECO Corporation，et al.Specifications of camera link interface standard for digital camera and frame grabbers［S］.Camera Link Specifications.［S·1·］：BASLER，CONGNEX，CORECO Corporation，2000.

［9］王小艷，張會新，孫永生，等.Camera Link協(xié)議和FPGA的數(shù)字圖像信號源設(shè)計［J］.國外電子器件，2008（7）：59-61.WANG X Y，ZHANG H X，SUN Y SH，et al..Design of numeral picture signal source based on Camera Link standard and FPGA［J］.International Elements，2008（7）：59-61.（in Chinese）

［10］黃維通.Visual C++面向?qū)ο笈c可視化程序設(shè)計［M］.北京：清華大學(xué)出版社，2003.HUANG W T.Visual C++Object-oriented Programming and Visualization［M］.Beijing：Tsinghua University Press，2003.（in Chinese）.

［11］朱麗，陳鐘榮，張秀再.基于VC的USB接口通信程序設(shè)計［J］.電子工程師，2008，34（3）：57-60.ZHU L，CHEN ZH R，ZHANG X Z.Program design of USB interface communication based on VC［J］.Electronic Eng.，2008，34（3）：57-60.（in Chinese）

Infrared image simulation injection system based on FPGA

GUAN Mu-qiang1，2，LI Yan1，HUANG Mei1，2，WANG He-qi1，2

（1.Changchun Institute of Optics，F(xiàn)ine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China；2.Graduate University of Chinese Academy of Sciences，Beijing 100039，China）

A new image injection system was presented to realize the direct transmission of PC simulated images.Firstly，the system received a BMP file obtained by simulation for the measured data of the external field using PC though USB2.0.Then，a FPGA was used to control the buffer module consisting of two SDRAMs for the image cache，and the image was sent to the image acquisition card by Camera Link.Finally，the image was acquired by the image acquisition card and displayed on a monitor.The ping-pong operation was adopted for data cache to avoid the condition that the data couldn′t be received continuously and valid data may be lost.Experiments show that the image injection system has advantages in well real time，vividly and highspeed features，and provides reliable data for optical equipment scanning and manipulator training.

infrared image simulation；image injection system；FPGA；ping-pong operation；camera link interface

2011-02-11；

2011-04-13

V556；TP391.9

A

1674-2915（2011）03-0277-06

管目強（1985—），男，山東濰坊人，碩士研究生，主要從事計算機仿真應(yīng)用、視頻數(shù)據(jù)傳輸方面的研究。E-mail：guanmuqiang@sina.com