基于DSP和FPGA的多通道CMOS圖像監(jiān)控系統(tǒng)

朱孟祥，唐普英，黃自立，唐湘成

（1.電子科技大學(xué) 四川 成都 610054；2.西南技術(shù)物理研究所 四川 成都 610041）

近年來，隨著數(shù)字圖像處理技術(shù)的發(fā)展，視頻監(jiān)控技術(shù)已經(jīng)在社會各個領(lǐng)域廣泛應(yīng)用。傳統(tǒng)的視頻監(jiān)控技術(shù)都是采用單一攝像頭對某一固定場景進行監(jiān)控，視頻的監(jiān)控范圍有限，不能同時對同一個物體進行全方位的監(jiān)控[1]。由此越來越多的圖像監(jiān)控系統(tǒng)采用 CMOS圖像傳感器作為圖像采集器件。由于圖像處理實時性的要求較高，為了實現(xiàn)并行算法與硬件結(jié)構(gòu)的優(yōu)化配置，將FPGA和DSP結(jié)合起來，提高數(shù)字信號處理速度，滿足現(xiàn)圖像處理的高速率、高穩(wěn)定性要求，成為了當(dāng)今數(shù)字信號處理的一個重要研究方向?；贑MOS圖像傳感器本文提出了一種多通道視頻監(jiān)控系統(tǒng)，通過控制多各通道視頻穩(wěn)定、可靠的輪轉(zhuǎn)切換，分析圖像數(shù)據(jù)，根據(jù)圖像異常，產(chǎn)生相應(yīng)的報警命令和各種控制命令，實現(xiàn)了利用一個監(jiān)控系統(tǒng)對不同場景的全方位實時準(zhǔn)確監(jiān)控。

1 系統(tǒng)的硬件結(jié)構(gòu)框圖

整個系統(tǒng)的結(jié)構(gòu)框圖如圖1所示。DSP一方面受到指令周期、時鐘約束，時序控制能力較弱。另一方面因其外部接口的通用性較差。但是它的數(shù)字信號處理能力及算法強，可以實現(xiàn)較高速的數(shù)據(jù)采集，因此DSP更適于實現(xiàn)算法而不是控制。FPGA時序控制能力強，集成外圍控制、譯碼和接口電路，在高速數(shù)據(jù)采集方面，F(xiàn)PGA有DSP無法比擬的優(yōu)勢，但是難于實現(xiàn)一些復(fù)雜的算法，并且穩(wěn)定性較差。因此本文采用DSP和FPGA的相結(jié)合硬件結(jié)構(gòu)設(shè)計方案，通過CPLD選擇20路圖像視頻信號中的一路，經(jīng)視頻解碼芯片處理后輸出數(shù)字圖像信號。然后將處理后的圖像數(shù)據(jù)通過PPI口傳給DSP進行跟蹤算法處理，以實現(xiàn)相應(yīng)的監(jiān)控報警功能[2]。

圖1 系統(tǒng)結(jié)構(gòu)框圖Fig.1 Diagram of system

2 圖像采集模塊的設(shè)計

2.1 基于CMOS器件的圖像采集

隨著集成電路設(shè)計技術(shù)和工藝水平的不斷提高，CMOS圖像傳感器技術(shù)己經(jīng)有了很大的進步，其分辨率、動態(tài)范圍、靈敏度等指方面明顯提高。并且它固有的集成度高、功耗小、成本等優(yōu)點是CCD傳感器所無法比擬的。CMOS圖像傳感器采用標(biāo)準(zhǔn)的半導(dǎo)體工藝，其技術(shù)難度低于CCD工藝，擁有該工藝的廠家都可以生產(chǎn)CMOS圖像傳感器，因而CMOS圖像傳感器再次成為研究的熱點。故本設(shè)計采用CMOS圖像傳感器采集圖像信號。

2.2 圖像采集模塊的控制器件

圖像采集是設(shè)計的一個重要環(huán)節(jié)，它的高速性和準(zhǔn)確性直接影響到整個監(jiān)控系統(tǒng)的性能。因此，利用可編程邏輯控制器CPLD控制CMOS器件，從而最大限度地提高系統(tǒng)的圖像采集能力，降低了軟件設(shè)計的難度。

CPLD控制CMOS器件選通，最重要的是向各路CMOS傳感器傳送同步信號，保證傳送圖像信號的質(zhì)量。圖像數(shù)據(jù)傳輸?shù)紻SP之后，DSP對圖像進行跟蹤比較處理之后，向FPGA發(fā)出各種控制命令，F(xiàn)PGA對各種控制命令進行編碼處理，然后將各種控制命令的編碼信號傳送給CPLD，最后CPLD對各種控制命令的編碼信號進行解碼處理，控制各路CMOS攝像頭輪轉(zhuǎn)切換和發(fā)出告警信號。

2.3 圖像采集模塊框圖

圖像采集模塊如圖2所示。

圖2 圖像采集框圖Fig.2 Diagram of image acquisition

3 FPGA圖像預(yù)處理模塊的設(shè)計

FPGA圖像預(yù)處理部分的可實現(xiàn)對圖像數(shù)據(jù)進行預(yù)處理，通過IIC配置視頻編解碼器件；控制ADV7179視頻編碼芯片，使其輸入視頻信號中疊加字符數(shù)據(jù)，以此指示選中是哪一路視頻通道，并且輸出此模擬視頻信號到監(jiān)視器。

3.1 圖像預(yù)處理控制器的選擇

預(yù)處理后的圖像數(shù)據(jù)為DSP進行圖像目標(biāo)檢測，目標(biāo)跟蹤等的實現(xiàn)提供了必要的數(shù)字圖像信息，可以提高各種DSP各種算法的準(zhǔn)確度和可操作性。

圖像預(yù)處理控制器采用Altera公司的EP3C40系列芯片對圖像信號進行預(yù)處理，ALTERA Cyclone III EP3C40芯片，等效門數(shù)為200萬門，同時實現(xiàn)了低功耗、高性能和低成本，能夠支持更多的大批量、低成本FPGA應(yīng)用。它具有4 Mbits嵌入式存儲器、288個嵌入式18×18位乘法器、專用外部存儲器接口電路、鎖相環(huán)（PLL）和高速差分I/O。

3.2 圖像預(yù)處理模塊的設(shè)計

設(shè)計采用視頻解碼芯片SAA7113將輸入的模擬視頻信號轉(zhuǎn)換為數(shù)字信號。SAA7113是9位視頻解碼器，提供6路模擬輸入和2個增強型的模數(shù)轉(zhuǎn)換器。通過FPGA利用IIC對SAA7113的寄存器進行配置。為了使系統(tǒng)更加完善，利用FPGA對SAA7113產(chǎn)生的數(shù)字信號進行處理，也就是對圖像信號進行疊加字符處理，然后將其傳給視頻編碼芯片ADV7179，經(jīng)過預(yù)處理的圖像數(shù)據(jù)從FPGA的輸出到ADV7179芯片，分離的行、場同步信號分別傳送到ADV7179的控制引腳上，ADV7179輸出正確的視頻模擬信號。

3.3 SDRAM存儲模塊

在圖像處理中，為了實現(xiàn)對圖像信號的實時連續(xù)處理，也就是實現(xiàn)FPGA對每場圖像信號實時準(zhǔn)確的處理，使用SDRAM對待處理的圖像數(shù)據(jù)作緩存處理[3]。以此保證FPGA對當(dāng)前圖像數(shù)據(jù)處理時，不至于造成圖像數(shù)據(jù)丟失。

同步動態(tài)隨機存儲器SDRAM有價格低廉、容量大等優(yōu)點，被廣泛采用。為了操作方便，利用FPGA實現(xiàn)一個對SDRAM控制的模塊，通過這個模塊可以對SDRAM進行訪問，SDRAM控制器與外部接口之間的連接如圖3所示。

圖3 SDRAM控制器接口示意圖Fig.3 Diagram of SDRAM controller interface

3.4 對圖像信號進行去抖動處理[4]

由于硬件電路和外部環(huán)境的影響，圖像信號在處理和傳輸?shù)倪^程中不可避免的受到電路延時和環(huán)境噪聲影響，導(dǎo)致信號的邊沿不穩(wěn)定，從而影響DSP對視頻數(shù)據(jù)的采集。若不對圖像信號和各種控制信號進行降噪處理，DSP將會采集到不同步的圖像數(shù)據(jù)，那么DSP對圖像信號的跟蹤和判斷將會發(fā)生錯誤，產(chǎn)生錯誤的控制命令。

為此，利用FPGA對DSP接收圖像信的標(biāo)志信號進行邏輯控制，產(chǎn)生與標(biāo)志信號同相的信號，代替原來的標(biāo)志信號。由于FPGA特有的內(nèi)部寄存器構(gòu)造，新產(chǎn)生的標(biāo)志信號具有更強的抗干擾性能。設(shè)計中我們使用的標(biāo)志信號是行同步信號（HS）和場同步信號（VS）。圖像信號去抖動處理之后，DSP收到的圖像如圖4所示。

4 跟蹤控制算法模塊的設(shè)計

4.1 跟蹤控制器件的選擇

ADSP-BF53x系列處理器是Blackfin系列產(chǎn)品的成員之一，融合了Analog Devices/Intel的微信號結(jié)構(gòu)（MicroSignal Architecture）（MSA）。Blackfin處理器這種體系結(jié)構(gòu)將藝術(shù)級的dual-MAC信號處理器引擎，簡潔的RISC式微處理器指令集的優(yōu)點，以及單指令多數(shù)據(jù)（SIMD）多媒體能力結(jié)合起來，形成了一套獨特的指令集結(jié)構(gòu)[5]。ADSP-BF53x系列處理器是一個高度集成的片上系統(tǒng)解決方案。通過將工業(yè)標(biāo)準(zhǔn)接口與高性能的數(shù)字信號處理內(nèi)核相結(jié)合，用戶可以快速開發(fā)出節(jié)省成本的解決方案，而無需昂貴的外部組件。系統(tǒng)外設(shè)包括一個 UART口、一個 SPI口、兩個串行口（SPORT）、4個通用定時器（其中3個具有PWM功能）、一個實時時鐘、一個看門狗定時器，以及一個并行外設(shè)接口。

4.2 通過PPI口傳送圖像數(shù)據(jù)

設(shè)計中FPGA和DSP之間的數(shù)據(jù)通傳輸是通過PPI口實現(xiàn)的。ADSP-BF53x處理器的PPI口包括一個專用時鐘引腳，多達3個幀同步引腳和多達16個數(shù)據(jù)引腳。輸入時鐘支持并行數(shù)據(jù)傳輸，同步信號可以被設(shè)置為輸入或輸出。PPI支持各種通用模式和ITU-R656模式操作。在通用模式下，PPI提供高達16位數(shù)據(jù)的半雙工、雙向數(shù)據(jù)傳輸，并且提供了多達3個幀同步信號。在ITU-R656模式下，PPI提供8或10位視頻數(shù)據(jù)的半雙工、雙向傳輸。

4.3 乒乓操作控制

在DSP跟蹤控制功能的實現(xiàn)模塊中，首先對DSP進行設(shè)置，將奇偶場圖像數(shù)據(jù)分別進行處理，以便提高信號的處理速度。這就需要把視頻信號的奇偶場分別存儲，即將奇偶場圖像數(shù)據(jù)存儲在不同的存儲器地址，由此對存儲器控制采用乒乓操作。

乒乓操作是一種用于數(shù)據(jù)控制的處理方法，使低速模塊處理高速數(shù)據(jù)成為現(xiàn)實。乒乓操作的最大特點是將輸入數(shù)據(jù)選擇單元和輸出數(shù)據(jù)選擇單元按節(jié)拍，進行相應(yīng)的切換，實現(xiàn)對輸入數(shù)據(jù)進行處理的無縫連接，將輸入數(shù)據(jù)完整的沒有時間停頓的送到數(shù)據(jù)處理模塊。因此乒乓操作非常適合對數(shù)據(jù)的流水線操作[6]。示意圖如圖5所示。

圖5 乒乓存結(jié)構(gòu)示意圖Fig.5 Diagram of ping-pong memory structure

4.4 跟蹤控制功能的實現(xiàn)

當(dāng)DSP產(chǎn)生PF中斷時，它將對接收到的圖像數(shù)據(jù)進行跟蹤比較處理，并且向FPGA發(fā)送各種控制命令。具體操作程為：DSP在接收到PPI口傳送的標(biāo)志信號 （開始接收圖像）時，開始對視頻信號進行接收存儲，并且進行跟蹤比較處理，DSP將發(fā)送切換命令給FPGA，命令包括：告警命令，各路圖像正常切換命令和調(diào)試命令等；FPGA對各種命令進行編碼處理，編碼后的信號將傳送到CPLD；CPLD進行命令解碼，產(chǎn)生控制信號，控制系統(tǒng)正常運轉(zhuǎn)。

5 設(shè)計軟件流程圖

本設(shè)計軟件控制流程圖如圖6所示。

圖6 軟件流程圖Fig.6 Flow chart of software

6 結(jié) 論

視頻監(jiān)控以其直觀、方便、信息內(nèi)容豐富而廣泛應(yīng)用于生產(chǎn)生活。視頻監(jiān)控成為生活中不可或缺的技術(shù)。在一些危險場所，用視頻監(jiān)控代替人工監(jiān)視，可以保證人們的生命安全。鑒于一路視頻的視野范圍有限，要充分收集目標(biāo)的信息，就需要用多路視頻來對同一個物體進行全方位的精確監(jiān)控。

本文設(shè)計了一種以DSP和FPGA芯片為核心處理器件的多通道高速CMOS圖像監(jiān)控系統(tǒng)，實現(xiàn)了對全分辨率下高速圖像數(shù)據(jù)采集、數(shù)據(jù)傳輸和數(shù)據(jù)存儲。本設(shè)計具有很高的可靠性和集成度，降低了外界環(huán)境于整個系統(tǒng)的影響。同時，通過FPGA和CPLD芯片實現(xiàn)對整個系統(tǒng)的控制、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)存儲和傳輸功能，具有較高的系統(tǒng)穩(wěn)定性[7]。

[1]鄒東斌.基于ADSP-BF561智能視頻監(jiān)控系統(tǒng)設(shè)計 [D].成都：四川大學(xué)，2009.

[2]王誠，吳繼華.Altera FPGA/CPLD設(shè)計基礎(chǔ)篇 [M].北京：人民郵電出版社，2005.

[3]王誠，吳繼華.Altera FPGA/CPLD設(shè)高級篇 [M].北京：人民郵電出版社，2005.

[4]曾晶，唐湘成，劉怡.基于FPGA的多路視頻通道控制[J].電子設(shè)計工程，2010，18（4）：91-93.

ZENG Jing，TANG Xiang-cheng，LIU Yi.Design of multiple video channels control based on FPGA[J].Electronic Design Engineering，2010，18（4）：91-93.

[5]陳峰.Blackfin系列DSP原理與系統(tǒng)設(shè)計[M].北京：電子工業(yè)出版社，2004.

[6]楊波，楊俊，王躍科.高性能A/D芯片AD9203與ADSP2191的高速DMA通信[J].電子產(chǎn)品世界，2003（15）：69-71.

YANG Bo，YANG Jun，WANG Yue-ke.High-speed DMA communication between AD9203 and ADSP2191[J].Electronic Engineering&Product World，2003（15）：69-71.

[7]卞九輝.基于DSP+FPGA的視頻圖像處理[D].哈爾濱：哈爾濱工程大學(xué)，2009.

[8]雷明，馬游春.基于FPGA的多通道圖像采集存儲系統(tǒng)設(shè)計[J].通信技術(shù)，2010，43（4）：204-207.

LEI Ming，MA You-chun.Design of multichannel image acquisition system based on FPGA[J].Communications Technology，2010，43（4）：204-207.