基于TMS320C6455的紅外與可見(jiàn)光實(shí)時(shí)圖像融合系統(tǒng)硬件設(shè)計(jì)

王 鵬，李 飚，劉 斐

(國(guó)防科技大學(xué)ATR國(guó)防重點(diǎn)實(shí)驗(yàn)室，長(zhǎng)沙 410073)

隨著信息技術(shù)高速發(fā)展和計(jì)算機(jī)技術(shù)的日新月異，數(shù)字圖像處理技術(shù)已深入廣泛地應(yīng)用于各行各業(yè)當(dāng)中，同時(shí)也對(duì)圖像處理技術(shù)提出了更高的要求［1-7］。單一傳感器的圖像處理已經(jīng)不能滿足現(xiàn)有技術(shù)發(fā)展，如何實(shí)時(shí)、快速地將不同傳感器獲得的同一場(chǎng)景的多幅數(shù)字圖像融合處理已成為當(dāng)前圖像處理領(lǐng)域的一大熱門(mén)研究課題。但在這些數(shù)字圖像處理系統(tǒng)中，一個(gè)突出的問(wèn)題就是數(shù)據(jù)量龐大，數(shù)據(jù)處理相關(guān)性高，實(shí)時(shí)實(shí)現(xiàn)比較困難。因此，圖像處理速度成為影響實(shí)時(shí)性的主要因素，這就要求實(shí)時(shí)圖像處理系統(tǒng)必須具有強(qiáng)大的運(yùn)算能力。本文主要論述以 TI公司TMS320C6455DSP為處理器的圖像處理系統(tǒng)整體設(shè)計(jì)方案。

1 圖像融合系統(tǒng)原理及系統(tǒng)硬件設(shè)計(jì)

圖像處理系統(tǒng)主要用于圖像的預(yù)處理、圖像配準(zhǔn)、圖像融合等，圖像處理系統(tǒng)的設(shè)計(jì)理念是基于現(xiàn)有的理論基礎(chǔ)和算法，將其應(yīng)用于實(shí)際中，使理論與實(shí)際結(jié)合，同時(shí)有效地驗(yàn)證理論與算法的一致性。圖像處理系統(tǒng)主要解決準(zhǔn)確性和實(shí)時(shí)性2個(gè)方面的問(wèn)題。由于高速數(shù)字處理技術(shù)的日益成熟，DSP芯片的不斷更新，使圖像處理系統(tǒng)的處理速度不斷得到提升，圖像處理系統(tǒng)的準(zhǔn)確性和實(shí)時(shí)性得到進(jìn)一步完善［8］。可見(jiàn)光與紅外圖像融合系統(tǒng)的重點(diǎn)在于圖像融合系統(tǒng)的設(shè)計(jì)，圖1是圖像融合系統(tǒng)的原理框圖。

如圖1所示，系統(tǒng)接收到紅外圖像和可見(jiàn)光圖像后，令FPGA數(shù)字邏輯對(duì)紅外圖像和可將光圖像進(jìn)行預(yù)處理，并通過(guò)FrameBaffer對(duì)預(yù)處理過(guò)的可見(jiàn)光圖像和紅外圖像進(jìn)行幀存，利用DSP對(duì)幀存的數(shù)字圖像進(jìn)行提取、配準(zhǔn)和圖像融合，并通過(guò)DSP系統(tǒng)對(duì)圖形進(jìn)行進(jìn)一步的目標(biāo)檢測(cè)、識(shí)別，并通過(guò)通信接口將圖像識(shí)別信息輸出。

圖1 圖像融合系統(tǒng)的原理框圖

根據(jù)系統(tǒng)原理框圖，本系統(tǒng)的硬件設(shè)計(jì)主要分為4個(gè)模塊:FPGA模塊、程序存儲(chǔ)-引導(dǎo)模塊、圖像存儲(chǔ)模塊、DSP處理模塊。圖2是系統(tǒng)的硬件設(shè)計(jì)框圖。

圖2 圖像融合系統(tǒng)硬件設(shè)計(jì)框圖

2 系統(tǒng)中各功能模塊的作用

2.1 DSP 模塊

本系統(tǒng)中的核心器件是DSP，DSP的性能直接影響到圖像處理平臺(tái)的性能。由于在進(jìn)行圖像處理過(guò)程中要處理大量的數(shù)據(jù)且計(jì)算復(fù)雜，而且要求計(jì)算結(jié)果精度高，因此，必須依據(jù)系統(tǒng)選擇合適的DSP芯片。在選擇過(guò)程中主要考慮以下因素:

1)在本設(shè)計(jì)中主要處理的圖像信號(hào)的每個(gè)像素的灰度值占用2個(gè)字節(jié)，即16bit，在數(shù)據(jù)位數(shù)相同的情況下，定點(diǎn)DSP芯片和浮點(diǎn)DSP芯片的運(yùn)算精度相同，且定點(diǎn)DSP芯片功耗、成本、體積較浮點(diǎn)DSP芯片小，易于實(shí)現(xiàn)，穩(wěn)定性好。因此，本設(shè)計(jì)中選擇定點(diǎn)DSP芯片完全滿足設(shè)計(jì)要求［9-10］。

2)選擇具體的DSP芯片。DSP芯片的運(yùn)算速度是反映DSP芯片性能的重要指標(biāo)，它也是在選擇DSP芯片時(shí)的考慮因素。DSP芯片的運(yùn)算速度采用DSP的指令周期、單周期的乘加次數(shù)或采用數(shù)字信號(hào)處理中的基準(zhǔn)程序。由美國(guó)儀器(TI)公司推出的高端芯片TMS320C6455具有較強(qiáng)的運(yùn)算能力，其主頻達(dá)到了1 GHz，具有1 ns的指令周期，每周期執(zhí)行8條32位指令，最大峰值速度達(dá)到8 000 MIPS。TMS320C6455還帶有 Seria/RapidlO(r)總線，互連速率高達(dá)25 Gbits/s，實(shí)現(xiàn)了極高的多處理性能，降低了系統(tǒng)消耗，比此前的外部存儲(chǔ)器接口快12倍。TMS320CC6455片內(nèi)是基于C64xx內(nèi)核的L1/L2存儲(chǔ)結(jié)構(gòu)，片上集成有大量的存儲(chǔ)空間，L1P為32 k字節(jié)，L1D為32 k字節(jié)，L2為2M字節(jié)，比此前C64x器的存儲(chǔ)器容量件翻一番，其中L1P和L2都可直接映射到存儲(chǔ)空間，能滿足本設(shè)計(jì)的實(shí)時(shí)性要求［9-10］。

TMS320CC6455的外圍總線包括1個(gè)內(nèi)部集成電路總線(I2C)、2個(gè)多路緩沖串口總線(McBSPs)、2個(gè)64位通用定時(shí)器(可以配置成4個(gè)32位定時(shí)器)、1個(gè)可配置的16位或32位主機(jī)接口(HPI16/HPI32)、1個(gè)PCI總線、1個(gè)16管腳的通用輸入/輸出端口(GPIO)、1個(gè)10/100/1000M 以太網(wǎng)媒體訪問(wèn)控制器(EMAC)、1個(gè)32位DDR2 SDRAM接口。

工作原理:DSP經(jīng)過(guò)上電復(fù)位后，利用寫(xiě)事件置位寄存器(ESR)啟動(dòng) EDMA，EDMA通過(guò) Pa-RAM獲取地址信號(hào)，將所需數(shù)據(jù)及程序經(jīng)過(guò)EMIF從外設(shè)存儲(chǔ)器中讀取并將其送入數(shù)據(jù)cache(L1D)和程序cache(L1P)中，CPU通過(guò)2條地址總線(DA1和DA2)向DMC提交數(shù)據(jù)訪問(wèn)申請(qǐng)后，訪問(wèn)程序cache(L1P)和數(shù)據(jù)cache(L1D)，并經(jīng)過(guò)取數(shù)總線LD1和LD2將數(shù)據(jù)送入CPU中進(jìn)行處理;待CPU將數(shù)據(jù)處理完畢后，CPU通過(guò)2條地址總線(DA1和DA2)向DMC提交數(shù)據(jù)訪問(wèn)申請(qǐng)后，將所得數(shù)據(jù)通過(guò)存儲(chǔ)總線ST1和ST2將數(shù)據(jù)寫(xiě)入數(shù)據(jù)cache(L1D);通過(guò)EDMA將數(shù)據(jù)傳輸至系統(tǒng)的外設(shè)DDR中，供系統(tǒng)下一步的處理工作使用;利用DSP在運(yùn)行中產(chǎn)生的控制信息和地址信息，將存儲(chǔ)在緩存區(qū)的圖像信息進(jìn)行提取并傳輸至DSP進(jìn)行處理，通過(guò)通信協(xié)議將處理過(guò)的圖像信息調(diào)制傳輸至上位機(jī);傳感器的控制信息由DSP寫(xiě)入，通過(guò)調(diào)制后經(jīng)過(guò)高速串行通信鏈路發(fā)送至傳感器，實(shí)現(xiàn)對(duì)傳感器的控制。

2.2 FPGA 模塊

本處理系統(tǒng)中的FPGA選擇使用美國(guó)賽靈思(Xilinx)公司的Spartan6系列。Spartan6是第6代Spartan系列產(chǎn)品，基于45 nm技術(shù)、9層金屬布線、雙柵極氧化層工藝技術(shù)生產(chǎn)，在前幾代Spartan系統(tǒng)的結(jié)構(gòu)基礎(chǔ)上，利用了成熟可靠的Virtex高端系統(tǒng)構(gòu)架。它提供的資源包括高級(jí)功耗管理、高效雙寄存器6輸入LUT、高達(dá)150 000個(gè)的邏輯單元、片上PCI Express硬件模塊、高級(jí)片外存儲(chǔ)器控制器MCB(memory controller block)、250 MHzDSP SLICE和3.125Gbit/s低功耗收發(fā)器等。Spartan6 FPGA為能為本系統(tǒng)提供最佳的低風(fēng)險(xiǎn)、低成本、低功耗和高性能的解決方案。

由于系統(tǒng)需要，在FPGA內(nèi)部需要設(shè)計(jì)多個(gè)FIFO(先進(jìn)先出寄存器)，即以先讀入的數(shù)據(jù)先寄存，先讀入的數(shù)據(jù)先讀取的方式。通過(guò)高速串行通信鏈路傳輸至FPGA中，將信號(hào)解調(diào)為16字節(jié)數(shù)據(jù)，以20 MHz/像素暫存。當(dāng)FIFO寫(xiě)滿時(shí)，將數(shù)據(jù)送入圖像緩存，節(jié)省了等待和查詢時(shí)間，能有效提高傳輸速度。

工作原理:成像曝光控制模塊控制紅外傳感器和可見(jiàn)光傳感器，并對(duì)傳感器的曝光參數(shù)進(jìn)行控制;而后傳感器將圖像信號(hào)傳出，通過(guò)高速串行通信鏈路接收并傳輸至FPGA中;圖像信號(hào)通過(guò)通信協(xié)議(解碼)模塊解調(diào)為16字節(jié)數(shù)據(jù)，以20 MHz速率將圖像信息暫存于FIFO中;FIFO的讀出和寫(xiě)入都是由FPGA來(lái)控制，當(dāng)暫存數(shù)據(jù)達(dá)到N個(gè)像元后，F(xiàn)IFO的狀態(tài)電路發(fā)出1個(gè)數(shù)據(jù)寫(xiě)滿信號(hào);FPGA根據(jù)FIFO的寫(xiě)滿信號(hào)，將FIFO中的數(shù)據(jù)讀出，按圖像信息存儲(chǔ)器DDR的地址順序?qū)?shù)據(jù)寫(xiě)入進(jìn)行存儲(chǔ)，F(xiàn)IFO數(shù)據(jù)傳輸流程如圖3所示。

圖3 FIFO數(shù)據(jù)傳輸流程

2.3 圖像存儲(chǔ)模塊

本系統(tǒng)的圖像存儲(chǔ)模塊由DDR組成，主要用于對(duì)FIFO中的待處理圖像信息的存儲(chǔ)和經(jīng)過(guò)DSP處理后的圖像信息的儲(chǔ)存。圖像存儲(chǔ)模塊則采用Infineon公司的DDR-500 256M系列芯片，它具有2倍的內(nèi)存預(yù)讀寫(xiě)能力，由于其采用封裝形式，具有良好的電器性能與散熱性，且TMS320C6455帶有的DDR2 SDRAM存儲(chǔ)器接口，可以實(shí)現(xiàn)與32位存儲(chǔ)器件的無(wú)縫連接。存儲(chǔ)器的運(yùn)行時(shí)鐘直接由PLL2進(jìn)行控制，時(shí)鐘為PLL2輸入時(shí)鐘的10倍。DDR的刷新由 TMS320C6455自動(dòng)控制。

工作原理:DDR通過(guò)DMA將信息傳輸至DSP，在傳輸信息之前首先由主控寄存器和副控寄存器設(shè)置DMA通道PRICTL寄存器的START=00b及SECCTL寄存器，并對(duì)DMA通道源/目的地址寄存器以及傳輸技術(shù)寄存器進(jìn)行設(shè)置;然后對(duì)主控制寄存器START寫(xiě)入11b，以自動(dòng)化方式啟動(dòng)DMA;圖像數(shù)據(jù)通過(guò)DDR2 SDRAM接口傳輸至DSP的數(shù)據(jù)cache(L1D)中，供DSP的處理使用;當(dāng)DSP將圖像信息進(jìn)行處理之后，已處理圖像信息經(jīng)過(guò)DMA寫(xiě)入DDR存儲(chǔ)器中進(jìn)行存儲(chǔ)。

2.4 程序存儲(chǔ)-引導(dǎo)模塊

本系統(tǒng)的程序存儲(chǔ)-引導(dǎo)模塊是由EEROM電子抹除式可復(fù)寫(xiě)只讀存儲(chǔ)器構(gòu)成。EEROM具有高性能、低功耗的特點(diǎn)。首先，一般的DSP外圍的存儲(chǔ)器的存取時(shí)間在70～150 ns，在本系統(tǒng)中直接讓程序在EEROM中運(yùn)行勢(shì)必影響DSP處理器的運(yùn)行速率和效率，DSP程序需要在速率更快的外部 DDR中運(yùn)行。其次，當(dāng) DSP上電時(shí)，會(huì)將EEROM的前1k空間的內(nèi)容復(fù)制至片內(nèi)L2 SRAM中的0x800000到x8003FF地址空間，復(fù)制完成后DSP會(huì)從0x800000地址處開(kāi)始運(yùn)行，但需要搬運(yùn)的程序的向量表、初始化段等往往超過(guò)1k大小，不能有效的在系統(tǒng)上電時(shí)自動(dòng)引導(dǎo)應(yīng)用程序運(yùn)行，因此本系統(tǒng)采取DSP處理器的EMIF ROM/Flash boot模式進(jìn)行DSP啟動(dòng)。圖4為DSP EMIF ROM/Flash模式的啟動(dòng)過(guò)程。

工作流程:系統(tǒng)上電后固化在DSP內(nèi)部ROM中的“boot loader”將EEROM的前1k空間的二次引導(dǎo)代碼復(fù)制到片內(nèi)L 2 SRAM的0x8000000到x8003FF地址空間;復(fù)制完成后DSP從0x800000地址處開(kāi)始運(yùn)行，也就是說(shuō)DSP運(yùn)行二次引導(dǎo)，此時(shí)，DSP將EEROM空間起始地址為0xB0020000的數(shù)據(jù)按照section指定的地址復(fù)制到DDR;復(fù)制完成后，二次引導(dǎo)代碼跳轉(zhuǎn)到程序初始化入口處(_c_int00)，加載過(guò)程結(jié)束。

圖4 DSP EMIF ROM/Flash模式的啟動(dòng)過(guò)程

3 結(jié)束語(yǔ)

數(shù)字圖像處理的廣泛應(yīng)用及硬件技術(shù)的日新月異斷推動(dòng)數(shù)字圖像處理技術(shù)的迅速發(fā)展，也促使數(shù)字圖像處理系統(tǒng)的實(shí)時(shí)性和準(zhǔn)確性得到不斷提升。本文主要使用最新的數(shù)字信號(hào)處理芯片TMS320C6455，結(jié)合可編輯門(mén)陣列FPGA，探討了了實(shí)時(shí)圖像處理系統(tǒng)的設(shè)計(jì)原理及系統(tǒng)的硬件設(shè)計(jì)，并介紹了所屬模塊在系統(tǒng)中的功能。

［1］張建勛，謝婷婷.基于小波區(qū)域梯度的圖像融合新算法［J］.重慶理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2012，26(10)：51-55.

［2］宋英姿.基于第二代Curvelet變換的多聚焦圖像融合［J］.四川兵工學(xué)報(bào)，2010(3)：115-116.

［3］黃寧寧，賈振紅，何迪，等.改進(jìn)的模糊熵與圖像局部信息相結(jié)合的遙感圖像分割新算法［J］.激光雜志，2010(6)：20-22.

［4］王建，劉肖，王國(guó)琿 .基于梯度變換的多傳感器圖像融合算法［J］.重慶理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2012，26(10)：62-65..

［5］文江平，胡巖峰，王無(wú)敵，等.一種有效的SAR圖像水陸分割方法［J］.四川兵工學(xué)報(bào)，2010(2)：108-110..

［6］張利紅;梁英波.基于改進(jìn)小波變換的醫(yī)學(xué)圖像融合算法研究［J］.激光雜志，2012(5)：23-24.

［7］張蓮，秦華峰，余成波.基于人體手指靜脈圖像分割算法的研究［J］.壓電與聲光，2008(2)：233-235.

［8］李方慧，王飛，何佩琨.TMS320C6000系列DSPs原理與應(yīng)用［M］.北京：電子工業(yè)出版社，2004：60-156.

［9］孫興，李捍東，田申.DSP6416在數(shù)字圖像處理中的應(yīng)用［J］.貴州工業(yè)大學(xué)學(xué)報(bào)：自然科學(xué)版，2005(6)：67-71.

［10］邢素霞.基于DSP與FPGA的紅外與可將光實(shí)時(shí)圖像融合系統(tǒng)硬件設(shè)計(jì)［J］.北京：北京工商大學(xué)學(xué)報(bào)：自然科學(xué)版，2008(6)：：44-47.