基于ZYNQ的運動目標識別與追蹤

金燚 鄧濤

摘要：針對當前運動目標檢測跟蹤有關(guān)的算法在中低端的硬件平臺上實時性差，且耗費資源大、功耗高的問題。本文在Xilinx的ZYNQ-7020硬件平臺上，合理利用以并行運算見長的FPGA和以控制見長的ARM核，高效的實現(xiàn)了運動目標檢測算法的移植。在PL端實現(xiàn)視頻圖像的采集、灰度轉(zhuǎn)換、幀間差分算法、膨脹腐蝕算法以及包圍盒的設(shè)計，而PS端主要完成了IIC對攝像頭的配置，以及對VDMA的配置。實驗結(jié)果表明，該系統(tǒng)能夠?qū)崟r檢測出運動目標。

關(guān)鍵詞：運動目標檢測;ZYNQ;幀間差分;包圍盒;軟硬件協(xié)同;VDMA

引言

隨著集成電路的發(fā)展，一些硬件處理器的性能不斷提高，嵌入式圖像處理平臺由于其靈活性的優(yōu)勢，具有較高的研究價值。本文基于Xilinx的ZYNQ-7020硬件平臺，采用軟硬件協(xié)同設(shè)計方法，搭建了運動目標檢測系統(tǒng)。ZYNQ具有FPGA+ARM架構(gòu)，同時擁有了FPGA和ARM的優(yōu)點，所以其功能強大靈活性高的優(yōu)點，能夠輕松完成運動目標檢測的工作。

1???? 數(shù)字圖像處理

1.1? 幀間差分算法

幀差法即幀間差分法，是一種通過對視頻圖像連續(xù)兩幀作差分運算來獲得運動目標輪廓的方法。當視頻圖像中的物體出現(xiàn)運動時，相鄰兩幀之間就會出現(xiàn)較為明顯的差異，通過兩幀相減，得到兩幀亮度差的絕對值。結(jié)合預(yù)設(shè)的閾值進行二值化來分析圖像中物體的運動特性，確定圖像中有無運動物體。

幀差法主要通過式（1）實現(xiàn)，其中和 分別為當前幀和上一幀同一位置坐標的像素點灰度值，T為預(yù)設(shè)的參考分割閾值，y為最終輸出的二值結(jié)果。

1.2? 包圍盒的設(shè)計

一組像素的包圍盒是指包含所有這些像素的最小矩形框，矩形框的長和寬都平行于像素坐標軸。假設(shè)所有的像素均為閾值差分后的二值化像素，則通過流水處理，得到的包圍盒會包圍所有的運動目標，即視為捕獲運動目標。

差分后剪掉靜止的背景畫面，得到一幀二值化的畫面，其中運動目標所在的像素數(shù)值為1。以二值化的結(jié)果為包圍盒的工作使能，記錄每個像素的坐標，同時進行比較。

2硬件平臺搭建

本系統(tǒng)采用的是ZYNQ-7020開發(fā)板進行設(shè)計，攝像頭接口采集的圖像數(shù)據(jù)，輸入到圖像處理模塊進行一系列運算處理后，通過Video in視頻輸入IP將RGB數(shù)據(jù)轉(zhuǎn)換為AXI Stream流后，與VDMA IP之間進行數(shù)據(jù)通信，實現(xiàn)把數(shù)據(jù)通過VDMA寫入到DDR3。每次寫入一幅圖像的數(shù)據(jù)后，會把數(shù)據(jù)三緩存后，再通過VDMA發(fā)出去。VDMA發(fā)送端與Video out視頻輸出IP連接。數(shù)據(jù)進入Video out后，會隨同VTC IP輸出符合VGA時序的圖像信號。HDMI驅(qū)動IP會將Video out的VGA輸出信號轉(zhuǎn)換為HDMI信號送出到顯示器顯示。

2.1? 圖像采集模塊

0V5640圖像采集模塊負責采集圖像數(shù)據(jù)。本設(shè)計采集的是640X480分辨率、RGB565格式的圖像。

圖像采集IP核主要實現(xiàn)輸入數(shù)據(jù)的轉(zhuǎn)換，8位數(shù)據(jù)需要2 字節(jié)（兩個時鐘周期）才可以完成1 個像素點數(shù)據(jù)的采集。對于攝像頭寄存器的配置，通過ZYNQ的IIC接口實現(xiàn)，在SDK中用軟件進行配置。

2.2? 圖像處理模塊

圖像處理模塊主要是完成運動目標檢測，主要采用的是幀差法。圖像處理模塊包含了4個IP核，分別是灰度轉(zhuǎn)換IP核、幀間差分算法IP核、腐蝕算法IP核、包圍盒定位IP核?；叶绒D(zhuǎn)換IP核對視頻中的每一幀進行格式轉(zhuǎn)換，將彩色圖轉(zhuǎn)換為灰色圖，把轉(zhuǎn)換后的灰度圖緩存一幀存入FI-FO，準備與下一幀進行幀間差分。

2.3? AXI VDMA模塊

數(shù)據(jù)傳輸?shù)耐分饕玫降氖荲DMA IP核，VDMA數(shù)據(jù)接口分為讀、寫通道，本系統(tǒng)的圖像數(shù)據(jù)是通過寫通道M_AXI_S2MM將AX-I-Stream類型的數(shù)據(jù)寫入DDR3，通過讀通道M_AXI_MM2S從DDR3讀取數(shù)據(jù)，并以AXI-Stream類型的格式輸出。

3系統(tǒng)實現(xiàn)

3.1? 硬件平臺搭建

在完成各模塊的設(shè)計后，便可以在VIVADO上進行整個系統(tǒng)搭建，完成搭建后，軟件進行綜合分析后得到系統(tǒng)資源消耗圖。

其中，BRAM使用較大，這是由于將一幀圖像存入FIFO時，使用了較多的RAM。系統(tǒng)的動態(tài)功耗為1.672W，靜態(tài)功耗僅為0.162W，滿足低功耗要求。

3.2? 軟件部分設(shè)計

在VIVADO中運行SDK，在SDK中通過軟件對攝像頭OV5640寄存器配置和VDMA配置。

（1）?? VDMA配置。主要配置的是幀緩存的數(shù)量，讀寫的幀起始地址，幀延遲和跨度以及水平方向和垂直方向尺寸。在本系統(tǒng)中，圖像尺寸為640X480。

（2）?? OV5640攝像頭的配置。本設(shè)計中采用的是ZYNQ自帶的IIC接口來進行配置。

3.3? 系統(tǒng)測試

完成所有硬件搭建和軟件配置后，便可以在SDK中進行系統(tǒng)調(diào)試，將比特流文件下載至開發(fā)板中。觀察顯示器圖像，如圖1 所示，圖中藍色框圈起來的部分即為運動的手臂。

4總結(jié)

基于ZYNQ的運動目標識別與追蹤系統(tǒng)，通過軟件與硬件相結(jié)合的方式，極大的提高了開發(fā)效率。通過軟件綜合后的結(jié)果分析，可以看到資源利用率以及功耗，表明該系統(tǒng)具有較低的功耗。對檢測結(jié)果分析測試，都達到了預(yù)期的設(shè)計效果。ZYNQ采用FPGA+ARM的架構(gòu)，結(jié)合了FPGA和ARM的優(yōu)勢，能夠較好的應(yīng)用于圖像處理領(lǐng)域。

參考文獻：

[1]李棟.基于ARM嵌入式的圖像處理研究[D].石家莊：河北科技大學(xué)，2010.

[2]許崢.基于ARM與FPGA的嵌入式實時圖像處理平臺[D].蘇州：蘇州大學(xué)，2012.

[3]鄧裕彬.基于ZYNQ的運動目標檢測技術(shù)研究[D].南京：南京理工大學(xué)，2017.

[4]楊曉安，羅杰，蘇豪，等.基于ZYNQ-7000高速圖像采集與實時處理系統(tǒng)[J].電子科技，2014，23（7）：96-98.

[5]何賓.Xilinx all programmable ZYNQ-7000SoC[M].北京：清華大學(xué)出版社，2013.