基于FPGA硬件架構(gòu)的實時高速圖像特征檢測系統(tǒng)

中北大學計算機與控制工程學院 溫建飛 岳鳳英

中北大學儀器與電子學院 李永紅

基于FPGA硬件架構(gòu)的實時高速圖像特征檢測系統(tǒng)

中北大學計算機與控制工程學院 溫建飛 岳鳳英

中北大學儀器與電子學院 李永紅

高速、高精度的圖像特征檢測的實現(xiàn)是計算機視覺的重大難題，它是高水平圖像處理分析的基礎(chǔ)。然而圖像特征檢測使用傳統(tǒng)的軟件方法或者普通的硬件架構(gòu)很難實現(xiàn)，因為它們在高速處理和功耗優(yōu)化上有諸多弊端。構(gòu)建了一個基于Sobel算法邊緣檢測的從視頻圖像提取圖像特征高速實時的圖像特征檢測系統(tǒng)，利用FPGA高速并行機制和流水線的處理方式，提高了圖像特征提取的效率，該系統(tǒng)的實現(xiàn)對機器人視覺有很大的應(yīng)用價值。

計算機視覺；Sobel；并行流水線；FPGA

1　 引言

圖像特征點檢測有著廣泛的應(yīng)用如紋理檢測、物體檢測和圖像分割等，甚至圖像特征檢測是圖像還原、圖像加密的基礎(chǔ)[1]。面對高性能圖像特征檢測的需求，提出一種具有特定硬件架構(gòu)并行實現(xiàn)的實時特征檢測加速器。相對于嵌入式處理器在性能、功耗、體積上諸多限制，F(xiàn)PGA(field programmable gate array)的并行流水線運算方式和片上分布式存儲器為圖像特征檢測提供較多便利[2]。圖像特征檢測在圖像處理中的應(yīng)用如圖1所示：

圖1　 圖像特征檢測的應(yīng)用

2　 研究背景

2.1 FPGA簡介

FPGA（Field Programmable Gate Array）是作為專用集成電路（ASIC）領(lǐng)域中的一種半定制電路出現(xiàn)的，既解決了訂制電路的不足，又克服了原有可編程器件中邏輯門數(shù)有限的缺點FPGA基于LUT（查找表），片上資源豐富，有CLB（可配置邏輯單元）、IOB（輸入輸出單元）、Multipliers（硬線乘法器）、BRAM（片上RAM）、DSP（數(shù)字信號處理器）、PLL（鎖相環(huán)）等，為設(shè)計中靈活的硬件架構(gòu)提供必要的條件[3]。

2.2 基于硬件架構(gòu)數(shù)據(jù)流處理技術(shù)

圖像是人類認知客觀世界的重要途徑，而圖像特征檢測通過濾掉圖像中的次要信息來提取圖像特征（不變信息），圖像特征檢測技術(shù)成為了計算機視覺的一個重要的基礎(chǔ)[4]。基于硬件架構(gòu)的圖像處理算法通過增加運算的并行性達到加速的目的，常用硬件復制和流水線設(shè)計方法。如圖2所示，無須等到整個流水線處理結(jié)束后才開始下一幀數(shù)據(jù)的處理，從而保證數(shù)據(jù)充滿所有的功能單元，提高了數(shù)據(jù)處理的速度[5]。

圖2　 數(shù)據(jù)流并行處理方式

3　 系統(tǒng)概述

3.1 系統(tǒng)總體架構(gòu)圖

如圖3所示為基于FPGA的靈活硬件架構(gòu)的實時圖像特征檢測系統(tǒng)架構(gòu)圖，該系統(tǒng)主要包含圖像采集、圖像數(shù)據(jù)的轉(zhuǎn)換和處理、圖像特征提取后實時顯示部分。

FPGA收到攝像頭采集到的數(shù)據(jù)后進行數(shù)據(jù)格式轉(zhuǎn)換，并實時寫入DDR2中進行緩存，并進行圖像特征檢測處理，此時得到的數(shù)據(jù)為圖像特征提取后的邊緣數(shù)據(jù)，寫入fifo進行緩存后，輸入到VGA驅(qū)動模塊，對所提取的圖像特征信息進行實時的顯示。

圖3　 圖像特征檢測系統(tǒng)架構(gòu)圖

3.2 系統(tǒng)軟件流程

系統(tǒng)上電經(jīng)電源穩(wěn)定后（置位），在對攝像頭、DDR2、顯示器等外設(shè)和FPGA內(nèi)部各個模塊進行初始化，然后系統(tǒng)進入準備工作狀態(tài)等待，上位機通過串口發(fā)送開始采集指令Sample_en、DDR2初始化完成、DDR2完成一幀圖像數(shù)據(jù)的寫入和讀取完畢都會觸發(fā)一次本地復位信號lreset_n對FPGA各個模塊進行初始化，使得下次DDR2和各個緩沖器能夠?qū)懭牖蛘咦x取出有效的數(shù)據(jù)。

3.3 圖像特征檢測部分

圖像特征檢測的實質(zhì)是采用某種算法來提取出圖像中對象與背景間的交界線，圖像特征即為圖像匯總灰度發(fā)生急劇變化的區(qū)域邊界，圖像灰度變化可以用圖像灰度分布的梯度來反映，因此我們可以用局部圖像微分技術(shù)來獲得邊緣檢測算子[6]。

（1）本設(shè)計中使用基于窗口的實現(xiàn)方式，從輸入的圖像中提取出k x k像素矩陣，經(jīng)過窗口管理中心點提取和算法產(chǎn)生一個新的輸出，通常一個像素點的輸出由每一個窗口像素矩陣經(jīng)過特征檢測算法實現(xiàn)并且存儲在這個窗口的中心點位置，如圖4所示：

圖4　 基于窗口的操作

（2）基于FPGA硬件架構(gòu)的窗口處理[7]?；诖翱诘膱D像幀操作可以用公式（1）來表示，I為M x N的輸入圖像窗，Y為輸出圖像，K為像素k x k核心，kij代表像素核心K的系數(shù)，Ir+i,c+j代表輸入圖像（r, c）像素點周圍k x k臨近像素，fin代表一個標量函數(shù)。

輸出值通過和一個門限閾值相比較，由一個標量函數(shù)產(chǎn)生最終的響應(yīng)，得到我們想要的特征點，如公式（2）：

（3）基于Sobel算子的并行計算[8]。圖像特征檢測模塊從DDR2中讀取出要進行邊緣檢測的像素數(shù)據(jù)，通過并行流水線結(jié)構(gòu)，實時處理并送到緩沖區(qū)以便VGA驅(qū)動模塊進行顯示。Sobel邊緣檢測算子在3X3鄰域內(nèi)做亮度加權(quán)運算，與預先設(shè)定閾值比較，來確定該圖像矩陣為黑色像素還是白色像素，Sobel梯度算子的卷積模板如公式（3）所示：

4　 采取的關(guān)鍵技術(shù)及創(chuàng)新點

整個系統(tǒng)中實現(xiàn)控制流和數(shù)據(jù)流分割，控制部分由FPGA中Verilog編寫邏輯，與數(shù)據(jù)流協(xié)作，保證數(shù)據(jù)幀按照時間順序形成從輸入、緩存、處理、輸出的并行結(jié)構(gòu)，使得系統(tǒng)時鐘處于一個高速并行狀態(tài)，增加了系統(tǒng)的穩(wěn)定性，在對圖像實時性較高的應(yīng)用中（如計算機視覺）更有優(yōu)勢。

5　 結(jié)語

基于FPGA硬件架構(gòu)的高速實時圖像特征檢測系統(tǒng)集視頻圖像采集、數(shù)據(jù)流緩沖器、算法處理以及實時顯示單元于一體，在FPGA的控制下實現(xiàn)整個系統(tǒng)的協(xié)調(diào)工作，實現(xiàn)了真正的高速實時處理攝像頭采集到的原始圖像到上位機顯示的特征圖像。

[1]Chris H,Mike S．A combined corner and edge detector[J]．In proceedings of the 4th Alvey Vision Conference,pages,1988:147-151．

[2]Stphen B, Zvonko V Fundamentals of Digital Logic with Verilog Design[J]．2th Edition McBraw-Hill 2008:10-12

[3]官鑫,王黎,高曉蓉,等．圖像邊緣檢測Sobel算法的FPGA仿真與實現(xiàn)[J]．現(xiàn)代電子技術(shù)2009,32(8) :56-58．

[4]李明,趙勛杰,毛偉民．Sobel邊緣檢測的FPGA實現(xiàn)[J]．現(xiàn)代電子技術(shù)2009,35(4):13-14．

[5]李正明,劉春國,安明建．基于FPGA的Sobel圖像邊緣檢測的設(shè)計[J]．現(xiàn)代科學儀器2012(4):56-57．

[6]夏宇聞．復雜數(shù)字電路與系統(tǒng)的Verilog HDL設(shè)計技術(shù)[M]．北京:北京航天航空大學出版社,1998．

[7]薛明星．基于FPGA器件的Sobel算法的實現(xiàn)[J]．電子元器件應(yīng)用,2008,10(11) :27-30．

[8]袁春蘭,熊宗龍,周雪花,等．基于Sobel算子的圖像邊緣檢測研究[J]．激光與紅外2009,39(1):18-20．

溫建飛（1991—），男，中共黨員，山西忻州人，中北大學碩士研究生，研究方向為動態(tài)測試與智能儀器。

岳鳳英（1977—），女，副教授，研究生導師，研究方向為導航與制導。

李永紅（1967—），男，教授，研究生導師，研究方向為儀器科學與技術(shù)。