基于FPGA的高速圖像跟蹤系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

周全宇，史忠科

（西北工業(yè)大學(xué)自動(dòng)化學(xué)院，陜西西安710072）

目前，圖像跟蹤系統(tǒng)廣泛應(yīng)用于安防監(jiān)控、教育、會(huì)議等領(lǐng)域，但對于某些特殊應(yīng)用場合，如導(dǎo)彈末制導(dǎo)、彈道試驗(yàn)以及火箭飛行等高速目標(biāo)跟蹤領(lǐng)域，因?yàn)槟繕?biāo)運(yùn)動(dòng)速度過快，而常規(guī)圖像跟蹤系統(tǒng)[1-2]中圖像采集裝置的幀頻一般僅為25～30 fps，傳感器捕捉的圖像目標(biāo)往往會(huì)出現(xiàn)變形、模糊等現(xiàn)象，對目標(biāo)的精確檢測產(chǎn)生極大的干擾。而高速圖像跟蹤系統(tǒng)由于每幀圖像的曝光時(shí)間極短，相當(dāng)于將目標(biāo)的某一瞬間狀態(tài)凍結(jié)[3]，若將其應(yīng)用于高速目標(biāo)的跟蹤，能夠很大程度上改善目標(biāo)運(yùn)動(dòng)模糊問題。

對現(xiàn)有的高速圖像跟蹤系統(tǒng)進(jìn)行研究發(fā)現(xiàn)，由于高速圖像數(shù)據(jù)量非常大，對于處理器的要求也較高，而在某些實(shí)時(shí)性要求較高的系統(tǒng)中，甚至需要帶有專業(yè)功能的高速攝像機(jī)才能滿足系統(tǒng)對高速圖像的實(shí)時(shí)性處理需求，這些系統(tǒng)結(jié)構(gòu)復(fù)雜，造價(jià)也較昂貴[4-5]。有些研究也僅僅是對高速圖像處理算法進(jìn)行實(shí)時(shí)性分析，沒有對一個(gè)完整的系統(tǒng)進(jìn)行分析[6]。

現(xiàn)場可編程門陣列（FPGA）具有強(qiáng)大的并行處理能力，有很強(qiáng)的實(shí)時(shí)性，非常適合數(shù)據(jù)量較大的圖像處理[7]。因此本文設(shè)計(jì)實(shí)現(xiàn)了一種基于FPGA的高速圖像實(shí)時(shí)跟蹤系統(tǒng)，該系統(tǒng)直接在FPGA中對采集到的高速圖像序列進(jìn)行實(shí)時(shí)處理，無需存儲，且系統(tǒng)所有功能模塊均集中在FPGA中實(shí)現(xiàn)，結(jié)構(gòu)簡單，具有單芯片集成、低功耗、便攜化、小型化等優(yōu)點(diǎn)。

1 系統(tǒng)硬件方案設(shè)計(jì)

基于FPGA的高速圖像跟蹤系統(tǒng)主要由CMOS高幀頻圖像傳感器、FPGA核心處理單元、片外SRAM、舵機(jī)云臺和串口通信等部分組成。將CMOS傳感器作為圖像采集裝置，其輸出為數(shù)字圖像，可以直接送至FPGA。CMOS驅(qū)動(dòng)、高速圖像采集與處理和舵機(jī)云臺控制均集中在一片F(xiàn)PGA內(nèi)實(shí)現(xiàn)，提高了系統(tǒng)的集成度，也降低了系統(tǒng)復(fù)雜度。FPGA作為系統(tǒng)的計(jì)算和控制中心，將各模塊的功能通過FPGA聯(lián)系在一起，構(gòu)成一個(gè)完整的高速圖像跟蹤系統(tǒng)，系統(tǒng)總體結(jié)構(gòu)如圖1所示。

圖1 系統(tǒng)總體結(jié)構(gòu)圖Fig.1 The overall structure of the system

系統(tǒng)的工作流程為：系統(tǒng)上電后，F(xiàn)PGA通過SPI總線對CMOS高速圖像傳感器進(jìn)行驅(qū)動(dòng)配置，配置完成后，CMOS以高速圖像捕捉目標(biāo)；FPGA采集高速圖像，并在其內(nèi)部進(jìn)行實(shí)時(shí)圖像處理，包括動(dòng)態(tài)閾值分割與形心跟蹤算法；根據(jù)形心對視場中央的偏移量控制舵機(jī)云臺跟蹤目標(biāo)，最終使得目標(biāo)在圖像視場中的位置始終鎖定在視場中央，進(jìn)而完成目標(biāo)的跟蹤。

2 系統(tǒng)軟件設(shè)計(jì)

2.1 軟件功能的實(shí)現(xiàn)

整個(gè)跟蹤系統(tǒng)的所有功能均在FPGA中實(shí)現(xiàn)，各功能模塊的整體邏輯結(jié)構(gòu)如圖2所示。CMOS驅(qū)動(dòng)模塊用于驅(qū)動(dòng)CMOS圖像傳感器，通過模擬SPI總線協(xié)議對CMOS的內(nèi)部寄存器配置，從而改變CMOS的幀頻、分辨率等工作參數(shù)；圖像采集模塊是直接通過CMOS的數(shù)據(jù)通道采集其輸出的高速數(shù)字圖像；閾值分割模塊是對采集到的圖像進(jìn)行實(shí)時(shí)的動(dòng)態(tài)閾值分割檢測目標(biāo)，并計(jì)算目標(biāo)形心位置，將該形心坐標(biāo)送至PWM波產(chǎn)生模塊；PWM波產(chǎn)生模塊接收閾值分割模塊傳過來的形心坐標(biāo)，并根據(jù)形心對圖像中央的偏移量計(jì)算云臺轉(zhuǎn)動(dòng)的幅度，并通過該幅度產(chǎn)生相應(yīng)的PWM波來控制云臺轉(zhuǎn)動(dòng)，進(jìn)而跟蹤目標(biāo)；時(shí)鐘模塊是根據(jù)各功能模塊的時(shí)鐘要求，通過分頻和倍頻給其提供相應(yīng)的工作時(shí)鐘。

2.2 圖像采集模塊

圖像采集模塊的功能是CMOS通過高速圖像捕捉目標(biāo)信息，F(xiàn)PGA采集CMOS傳輸過來的高速圖像。系統(tǒng)采用美國cypress公司開發(fā)的CMOS高速圖像傳感器芯片LUPA-300，該芯片最大分辨率為640×480，在最大分辨率下最高可以達(dá)到每秒250幀圖像的拍攝速度，幀頻可調(diào)。上電后，F(xiàn)PGA模擬SPI總線協(xié)議對CMOS進(jìn)行配置，配置參數(shù)為640×480@125fps；配置完成后，CMOS直接向FPGA傳輸灰度圖像，像素時(shí)鐘頻率為40 MHz，F(xiàn)PGA按照CMOS產(chǎn)生的幀有效信號（frame_valid）和行有效信號（line_valid）以相同的時(shí)鐘頻率采集圖像。

2.3 動(dòng)態(tài)閾值分割模塊

動(dòng)態(tài)閾值分割模塊是系統(tǒng)的核心功能模塊，其主要功能是在高速圖像的像素時(shí)鐘周期內(nèi)完成目標(biāo)檢測和形心計(jì)算，否則，會(huì)有數(shù)據(jù)堆積，進(jìn)而影響整個(gè)系統(tǒng)的工作時(shí)序，是實(shí)現(xiàn)高速圖像實(shí)時(shí)處理的根本。

目標(biāo)檢測采用動(dòng)態(tài)閾值法實(shí)現(xiàn)，該方法的實(shí)現(xiàn)流程分為兩步：1）計(jì)算圖像的平均灰度值A(chǔ)vg_gray；2）通過調(diào)整因子α_gray得到目標(biāo)分割閾值Th。閾值計(jì)算公式表示為：

當(dāng)像素灰度值位于（Avg_gray-α_gray，Avg_gray+α_gray）之間時(shí)，認(rèn)為該像素為目標(biāo)像素，否則不是。

目標(biāo)在圖像中的位置，即形心坐標(biāo)（Mx_posi，My_posi），由式（2）計(jì)算：

其中，Mx_posi表示形心的橫坐標(biāo)，My_posi表示形心的縱坐標(biāo)，i和j分別表示像素在圖像中位置坐標(biāo)，N為目標(biāo)面積。

根據(jù)FPGA的并行運(yùn)算特點(diǎn)，將形心計(jì)算嵌入到閾值分割法中，主要分兩步進(jìn)行：1）檢驗(yàn)當(dāng)前像素是否目標(biāo)像素，如果是，則將目標(biāo)像素的個(gè)數(shù)加1；如果不是，則目標(biāo)像素個(gè)數(shù)保持不變；2）如果當(dāng)前幀結(jié)束，計(jì)算該幀的平均灰度值以及目標(biāo)的形心坐標(biāo)，具體實(shí)現(xiàn)流程如圖3所示。

圖2 目標(biāo)跟蹤邏輯結(jié)構(gòu)圖Fig.2 Target tracking logic structure

由FPGA的并行運(yùn)行特點(diǎn)可以看出，目標(biāo)檢測和形心計(jì)算總共只需兩步即可完成，即只需兩個(gè)時(shí)鐘周期。而CMOS高速圖像的幀頻為125 fps，像素時(shí)鐘頻率為40 MHz，每個(gè)時(shí)鐘周期是25 ns。閾值分割模塊的工作頻率設(shè)為80 MHz，每個(gè)時(shí)鐘周期12.5 ns，則每個(gè)像素就有2個(gè)時(shí)鐘周期的操作時(shí)間，這2個(gè)時(shí)鐘周期足夠滿足動(dòng)態(tài)閾值分割和形心計(jì)算需要。這樣，即完成高速圖像的實(shí)時(shí)目標(biāo)檢測，整個(gè)過程不需要對圖像數(shù)據(jù)進(jìn)行存儲，也沒有數(shù)據(jù)堆積的問題。

圖3 動(dòng)態(tài)閾值法流程Fig.3 Dynamic threshholding flowchart

平均灰度計(jì)算部分使用一個(gè)32位寬的寄存器Sum_gray[0:31]存儲灰度值累加和，8位寬的寄存器Avg_gray[0:7]存儲平均灰度值。一幀采集完畢后，通過一次除法運(yùn)算即得到圖像平均灰度值A(chǔ)vg_gray，由于幀頻較高，相鄰兩幀圖像的灰度值相差很小，因此由式（1）計(jì)算出動(dòng)態(tài)閾值Th作為下一幀的分割閾值，當(dāng)前幀的分割閾值由上一幀得到。

2.4 舵機(jī)云臺控制

系統(tǒng)通過形心坐標(biāo)對視場中央的偏移量進(jìn)行控制，將偏移量換算成舵機(jī)控制量控制舵機(jī)轉(zhuǎn)到相應(yīng)的角度，從而實(shí)現(xiàn)目標(biāo)的跟蹤。由于目標(biāo)不可能嚴(yán)格地處于圖像中央點(diǎn)（320，240）處，當(dāng)目標(biāo)形心處于圖像中央方塊區(qū)域中時(shí)，就認(rèn)為目標(biāo)處于圖像中央，這種情況下不再改變舵機(jī)控制量；當(dāng)目標(biāo)跑出該范圍后，再根據(jù)目標(biāo)的形心位置計(jì)算相應(yīng)的舵機(jī)控制量。

3 系統(tǒng)測試與實(shí)驗(yàn)結(jié)果

飛機(jī)從屏幕一側(cè)飛到另一側(cè)再從另一側(cè)回到初始位置，如此循環(huán)，將該過程通過投影儀投影放大至墻上，鏡頭對準(zhǔn)屏幕跟蹤飛機(jī)在投影屏幕上的運(yùn)動(dòng)。為了能夠更精確地檢測目標(biāo)，改善實(shí)驗(yàn)效果，文中將飛機(jī)設(shè)置為白色作為目標(biāo)，背景設(shè)為黑色，這樣只檢測閾值高于某一灰度值作為目標(biāo)像素，能夠有效避免噪聲的影響，更精確地檢測目標(biāo)。因?yàn)樵婆_的轉(zhuǎn)動(dòng)幅度較小，拍攝視頻的距離較遠(yuǎn)，通過視頻不能明顯看出舵機(jī)的轉(zhuǎn)動(dòng)動(dòng)作，在固定系統(tǒng)電路板的夾板上添加一個(gè)能夠發(fā)出紅色激光束的激光管，如圖4所示。激光管發(fā)出激光束，可以通過激光點(diǎn)在投影上的位置來確定云臺的位置，以觀察跟蹤效果。

圖4 仿真實(shí)驗(yàn)環(huán)境Fig.4 Simulation experiment environment

將閾值取為（Avg_gray+60，Avg_gray+65），可以消除激光點(diǎn)對目標(biāo)的干擾。將整個(gè)實(shí)驗(yàn)過程用視頻錄下來，視頻幀頻為29 fps，屬于低速圖像。本文通過視頻將實(shí)驗(yàn)的過程錄下來，然后從中截取部分，如圖5所示。實(shí)驗(yàn)中云臺能夠自主跟蹤目標(biāo)，隨著目標(biāo)的來回往復(fù)運(yùn)動(dòng)也進(jìn)行來回往復(fù)跟蹤，鏡頭視場一直鎖定目標(biāo)，跟蹤也較為穩(wěn)定。在該過程中，某些幀中飛機(jī)有虛影，這是因?yàn)槠聊伙@示本身的問題，由于目標(biāo)不大，不會(huì)影響到目標(biāo)的檢測。

圖5 跟蹤仿真實(shí)驗(yàn)過程Fig.5 Process of the simulation tracking experiment

圖5中某幾幀的激光點(diǎn)呈線狀，是因?yàn)樵婆_轉(zhuǎn)動(dòng)太快，用低速相機(jī)拍攝圖像的曝光時(shí)間較長，拍攝到的不是點(diǎn)，而是點(diǎn)的軌跡（線）。同樣，由于飛機(jī)運(yùn)動(dòng)速度較快，通過低速圖像拍攝到的飛機(jī)有很長的拖影。高速圖像中的每一幀曝光時(shí)間較短，因此其捕捉到的實(shí)際跟蹤圖像中飛機(jī)的拖影大大減少，極大地改善了拖影的負(fù)面影響。

圖5中對應(yīng)的跟蹤過程持續(xù)了32幀，則該段時(shí)間約為32/29=1.103秒，目標(biāo)在1.103秒內(nèi)沿著一個(gè)方向移動(dòng)了3 m，根據(jù)三角關(guān)系，可以估算出該段過程中云臺轉(zhuǎn)動(dòng)的角度為55.9度，則云臺的跟蹤角速度約為55.9/1.103=50.7度/秒，滿足高速目標(biāo)的要求，實(shí)驗(yàn)?zāi)軌蝌?yàn)證高速圖像目標(biāo)跟蹤的有效性。

4 結(jié)論

針對低速圖像跟蹤系統(tǒng)跟蹤目標(biāo)時(shí)因圖像模糊造成的跟蹤精度降低的問題，文中設(shè)計(jì)實(shí)現(xiàn)了基于FPGA的高速圖像跟蹤系統(tǒng)。系統(tǒng)采用高速圖像傳感器作為圖像采集裝置，改善了低速圖像跟蹤系統(tǒng)對高速運(yùn)動(dòng)目標(biāo)跟蹤誤差大、精度低等問題，具有單芯片集成、低功耗、小型化、便攜化等優(yōu)點(diǎn)，有良好的應(yīng)用前景。

[1] 寧成軍，史忠科.基于FPGA的實(shí)時(shí)空中目標(biāo)跟蹤系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].交通運(yùn)輸系統(tǒng)工程與信息，2010，10（5）:45-52.NING Cheng-jun，SHI Zhong-ke.Design and implement of Real-time aerial target tracking system based on FPGA[J].Journal of Transportation Systems Engineering and Information Technology，2010，10（5）:45-52.

[2] 劉紫燕，馮亮，祁佳.一種基于FPGA的實(shí)時(shí)視頻跟蹤系統(tǒng)硬件平臺設(shè)計(jì)術(shù)[J].傳感器與微系統(tǒng)，2014，33（7）:98-102.LIU Zi-yan，F(xiàn)ENG Liang，QI Jia.Design of a FPGA-based hardware platform of realtime video tracking system[J].Transducer and Microsystem Technologies，2014，33（7）:98-102.

[3] 計(jì)宏偉，王懷文.基于高速圖像測量技術(shù)的緩沖材料緩沖性能的表征[J].振動(dòng)與沖擊，2011，30（9）:216-220.JI Hong-wei，WANG Huai-wen.Characterization of dynamic cushioning property of cushioning material based on highspeed image measurement technology[J].Journal of Vibration and Shock，2011，30（9）:216-220.

[4] 張遠(yuǎn)輝，韋巍，虞旦.基于實(shí)時(shí)圖像的乒乓機(jī)器人Kalman跟蹤算法[J].浙江大學(xué)學(xué)報(bào)，2009，43（9）:1580-1584.ZHANG Yuan-hui，WEI Wei，YU Dan.Kalman tracking algorithm based on real-time vision of ping-pong robot[J].Journal of Zhejiang University，2009，43（9）:1580-1584.

[5] 張正濤，徐德.基于智能攝像機(jī)的高速視覺系統(tǒng)及其目標(biāo)跟蹤算法研究[J].機(jī)器人，2009，31（3）:229-224.ZHANG Zheng-tao，XU De.High-Speed vision system based on smart camera and its target tracking algorithm[J].Robot，2009，31（3）:229-224.

[6] 劉剛，蘇秀琴，胡曉東，等.高速電視下基于自適應(yīng)閾值的實(shí)時(shí)圖像跟蹤[J].光子學(xué)報(bào)，2005，34（8）:1262-1265.LIU Gang，SU Xiu-qin，HU Xiao-dong，et al.Real-time image tra-cking based on adaptive threshold in high speed TV[J].Acta Photonica Sinica，2005，34（8）:1262-1265.

[7] Gu Q，Takaki T，Ishii I.Fast FPGA-based multiobject feature extraction[J].IEEE Transactions on Circuits and Systems for Video Technology，2013，23（1）:30-45.