雙處理器實(shí)時(shí)視頻拼接系統(tǒng)

陳　靜，馮桂蘭，呂昌亮，康　宇

(中國(guó)計(jì)量大學(xué) 光學(xué)與電子科技學(xué)院，浙江 杭州 310018)

?

雙處理器實(shí)時(shí)視頻拼接系統(tǒng)

陳靜，馮桂蘭，呂昌亮，康宇

(中國(guó)計(jì)量大學(xué) 光學(xué)與電子科技學(xué)院，浙江 杭州 310018)

【摘要】當(dāng)一些視頻系統(tǒng)需更大觀測(cè)范圍，同時(shí)獲得完整場(chǎng)景是一個(gè)問(wèn)題.針對(duì)這種情況，提出一套基于FPGA和DSP雙處理器協(xié)同工作的視頻拼接系統(tǒng)，設(shè)計(jì)了包括雙處理器、FLASH程序存儲(chǔ)器、SDRAM數(shù)據(jù)存儲(chǔ)器、SRAM數(shù)據(jù)存儲(chǔ)器、視頻AD和視頻解碼器等硬件結(jié)構(gòu).系統(tǒng)采集兩路視頻信號(hào)輸入，對(duì)其進(jìn)行數(shù)字視頻轉(zhuǎn)換，然后由FPGA做基本圖像處理，并將其送入SDRAM進(jìn)行存儲(chǔ).DSP將初步處理后的圖像數(shù)據(jù)取出，并對(duì)其進(jìn)行圖像配準(zhǔn)和圖像融合.為了保證圖像的實(shí)時(shí)性，系統(tǒng)采用實(shí)時(shí)高效易實(shí)現(xiàn)的改進(jìn)的PSO算法實(shí)現(xiàn)圖像配準(zhǔn),采用平均加權(quán)法實(shí)現(xiàn)圖像融合.實(shí)驗(yàn)結(jié)果表明，此系統(tǒng)可對(duì)兩幅720×576分辨率、25幀/秒的視頻圖像進(jìn)行實(shí)時(shí)拼接，滿(mǎn)足所需大視場(chǎng)視頻圖像要求.

【關(guān)鍵詞】雙處理器；現(xiàn)場(chǎng)可編程門(mén)陣列;數(shù)字信號(hào)處理;圖像拼接；大視場(chǎng)

視頻圖像是一種具有直接、客觀、記憶功能的信息承載體，在信息表達(dá)中起著非常重要的作用[1]，與日常生活息息相關(guān).隨著電子、計(jì)算機(jī)、通信等相關(guān)技術(shù)的發(fā)展，視頻圖像在圖像偵查[2]、高速運(yùn)動(dòng)目標(biāo)檢測(cè)、機(jī)器人視覺(jué)系統(tǒng)、網(wǎng)絡(luò)攝像機(jī)、車(chē)輛檢測(cè)與跟蹤[3]等眾多領(lǐng)域中有重要應(yīng)用.市場(chǎng)上的單個(gè)攝像機(jī)雖逐步優(yōu)化，但由于其自身限制并不能滿(mǎn)足當(dāng)前視頻系統(tǒng)的應(yīng)用需求，且超廣角、廣角等大視場(chǎng)鏡頭會(huì)造成畸變.針對(duì)這一問(wèn)題，文獻(xiàn)[4]研究了基于SIFT算法的拼接問(wèn)題，文獻(xiàn)[5]提出了一種分層式自適應(yīng)采樣的視頻拼接方法，文獻(xiàn)[6]提出了一種基于控制幀的固定攝像頭視拼接方法，文獻(xiàn)[7]則研究了可以實(shí)現(xiàn)全自動(dòng)視頻拼接的方法，這些研究均通過(guò)視頻拼接來(lái)擴(kuò)大視場(chǎng)范圍.近年來(lái)，隨著FPGA和DSP的快速發(fā)展，將FPGA和DSP應(yīng)用到視頻圖像領(lǐng)域有一定的研究，文獻(xiàn)[8]介紹了一種基于FPGA和DSP的視頻處理硬件系統(tǒng)，文獻(xiàn)[9]設(shè)計(jì)并實(shí)現(xiàn)了一種基于FPGA和DSP的高清視頻圖像系統(tǒng)，文獻(xiàn)[10]則研究了基于FPGA和DSP的視頻圖像采集處理系統(tǒng).基于這些研究，本文提出一套用FPGA和DSP雙處理器實(shí)現(xiàn)視頻拼接[11]的系統(tǒng)，詳細(xì)敘述了此系統(tǒng)的硬件選擇和軟件實(shí)現(xiàn)，并通過(guò)實(shí)驗(yàn)驗(yàn)證.試驗(yàn)結(jié)果表明，該系統(tǒng)可實(shí)現(xiàn)視頻圖像實(shí)時(shí)拼接，滿(mǎn)足所需大視場(chǎng)視頻圖像要求.

1雙處理器實(shí)時(shí)視頻拼接系統(tǒng)總體設(shè)計(jì)

為保證系統(tǒng)的實(shí)時(shí)性，采用FPGA和DSP作為雙處理器[12]，雙處理器協(xié)同工作實(shí)現(xiàn)視頻數(shù)據(jù)的采集[13]、處理和輸出.雙處理器實(shí)時(shí)視頻拼接系統(tǒng)包括圖像采集、視頻拼接和圖像顯示三個(gè)部分.為獲取大視場(chǎng)圖像，采用對(duì)多幅視頻圖像進(jìn)行圖像配準(zhǔn)和圖像拼接，從而得到一幅符合要求的大視場(chǎng)、高分辨圖像，其視頻圖像拼接算法流程圖如圖1.

多個(gè)圖像傳感器采集到的圖像數(shù)據(jù)經(jīng)過(guò)AD轉(zhuǎn)換變成數(shù)字圖像數(shù)據(jù)流，再依次通過(guò)圖像預(yù)處理、圖像配準(zhǔn)、以及圖像融合來(lái)實(shí)現(xiàn)整個(gè)算法.圖像傳感器所獲得圖像，由于傳感器內(nèi)部以及一些隨機(jī)信號(hào)影響，會(huì)使所得圖像被動(dòng)的加入一些噪聲，使圖像無(wú)法完全正確還原原始圖像的有用信息，因此系統(tǒng)進(jìn)行圖像預(yù)處理，主要包括圖像濾波和圖像銳化.圖像配準(zhǔn)是對(duì)有重疊的兩幅圖像進(jìn)行搜索，找到位移、旋轉(zhuǎn)角度等特征量，從而實(shí)現(xiàn)兩幅圖像融合，圖像融合是根據(jù)圖像配準(zhǔn)提供的位移等特征量，實(shí)現(xiàn)將兩幅圖像拼接在一起，圖像融合算法主要用加權(quán)平均法.

圖1　視頻圖像拼接算法流程圖Figure 1　Flow chart of video image mosaic algorithm

2雙處理器實(shí)時(shí)視頻拼接系統(tǒng)的硬件設(shè)計(jì)

本視頻拼接系統(tǒng)需要處理來(lái)自?xún)蓚€(gè)相同的圖像傳感器、在同一視場(chǎng)平面內(nèi)所采集的圖像模擬信號(hào)，視頻圖像拼接系統(tǒng)硬件設(shè)計(jì)總體框圖如圖2.

圖2　視頻圖像拼接系統(tǒng)硬件設(shè)計(jì)總體框圖Figure 2　Hardware diagram of the video mosaic system

視頻拼接系統(tǒng)采用FPGA+DSP雙處理器結(jié)構(gòu)，F(xiàn)PGA采用Altera公司Cyclone Ⅲ系列EP3C40F484，具有豐富的硬件資源，包括40K邏輯單元(LE)、1.61Mbit片內(nèi)RAM、126個(gè)18×18硬件乘法器以及4個(gè)PLL單元等，可以充分的保證較為復(fù)雜的圖像處理算法的硬件實(shí)現(xiàn)需求.TMS320DM642是TI公司推出的一款面向數(shù)字多媒體應(yīng)用的DSP，其工作頻率為600 MHz，處理能力為4800MIPS，具有8個(gè)并行處理單元、兩級(jí)緩存的Cache結(jié)構(gòu)，結(jié)合TI公司的圖像處理庫(kù)，可實(shí)現(xiàn)多種高級(jí)圖像處理程序.本系統(tǒng)采用兩個(gè)視頻通道輸入，實(shí)驗(yàn)中兩相機(jī)機(jī)械安裝位置如圖3.

圖3　相機(jī)安裝圖Figure 3　Camera location

兩路獨(dú)立CCD攝像機(jī)視場(chǎng)角分別為β1，β2，兩路視頻的視場(chǎng)保證一定的重疊場(chǎng)景，為后續(xù)圖像拼接提供基礎(chǔ).所采集視頻均為模擬視頻，需進(jìn)行A/D轉(zhuǎn)換.視頻解碼芯片將PAL視頻信號(hào)轉(zhuǎn)換為符合BT.656標(biāo)準(zhǔn)的數(shù)字信號(hào)后經(jīng)過(guò)FPGA控制中，以備圖像預(yù)處理.FPGA與DSP地址線和數(shù)據(jù)線相連，通過(guò)分時(shí)復(fù)用，達(dá)到對(duì)SDRAM數(shù)據(jù)存儲(chǔ)器的訪問(wèn)，從而完成視頻數(shù)據(jù)的存儲(chǔ)和傳遞.FPGA連有兩塊SDRAM，這也是FPGA向DSP傳送圖像數(shù)據(jù)和處理結(jié)果的主要通道.其工作模式為FPGA將當(dāng)前幀的圖像數(shù)據(jù)和處理結(jié)果寫(xiě)入其中一塊SDRAM時(shí)，DSP可以從另一塊SDRAM中讀取上一幀的圖像數(shù)據(jù)和處理結(jié)果，并進(jìn)行下一步處理操作.這種并行工作方式使系統(tǒng)具有高速實(shí)時(shí)性，其中SRAM存儲(chǔ)器負(fù)責(zé)系統(tǒng)的數(shù)據(jù)暫存.DSP將兩幅圖像拼接處理后的數(shù)據(jù)通過(guò)I2C配置視頻編碼芯片進(jìn)行視頻編碼，視頻編碼主要功能是把YCbCr數(shù)字圖像信號(hào)或者M(jìn)PEG格式數(shù)字圖像信號(hào)編碼成視頻信號(hào)S-VIDEO，以供VGA顯示屏對(duì)系統(tǒng)完成輸出圖像的顯示.

3雙處理器實(shí)時(shí)視頻拼接系統(tǒng)的算法

為了實(shí)現(xiàn)大視場(chǎng)高分辨的視頻圖像，需要對(duì)前端獲取的圖像進(jìn)行圖像拼接，主要包括兩個(gè)部分，首先進(jìn)行圖像配準(zhǔn)，然后進(jìn)行圖像拼接.

3.1圖像配準(zhǔn)

圖像配準(zhǔn)核心是如何利用相鄰圖像重疊區(qū)域的相似性，求解出兩幅圖像間的空間變換關(guān)系.最大互信息(MI)圖像配準(zhǔn)方法，是基于像素灰度的配準(zhǔn)方法，具有亞像素級(jí)的配準(zhǔn)精度，且不需對(duì)圖像進(jìn)行分割、特征提取等預(yù)處理，本文采用以圖像最大MI為匹配測(cè)度的粒子群優(yōu)化算法完成圖像拼接.以下詳細(xì)介紹經(jīng)典粒子群優(yōu)化算法的原理.由美國(guó)社會(huì)心理學(xué)家Kenndedy和電氣工程師Eberhart共同提出的粒子群優(yōu)化算法(PSO)是智能優(yōu)化算法的一種[14]，其基本思想源于鳥(niǎo)群覓食行為，具有簡(jiǎn)單、易理解、參數(shù)少的優(yōu)點(diǎn)，在很多領(lǐng)域有重要應(yīng)用.鳥(niǎo)群在未知食物位置時(shí)最有效的搜尋方式是尋找離食物最近的鳥(niǎo)的周?chē)鷧^(qū)域.PSO初始化為一群隨機(jī)粒子，通過(guò)迭代在搜索空間找到最優(yōu)值.如式(1)，Xi(t)和Xi(t+1)分別代表xi上一次的以及當(dāng)前位置，Vi(t+1)表示粒子的行進(jìn)速度.

Xi(t+1)=Xi(t)+Vi(t+1).

(1)

正是這個(gè)行進(jìn)速度驅(qū)使粒子走向更優(yōu)的位置速度更新的公式如下：

V(t+1)=ωVi(t)+c1r1(Pi-Xi(t))+

c2r2(Pg-Xi(t)).

(2)

式(2)中：Xi(t)是粒子當(dāng)前位置信息；Pi為粒子X(jué)i所找到的最佳位置，也稱(chēng)自身最優(yōu)位置(personal best)；Pg是粒子X(jué)i的“鄰居們”所找到的最佳位置，也叫做全局最優(yōu)位置(global best)；Vi(t)是Xi的速度值；c1、c2表示學(xué)習(xí)因子，且為常數(shù)，c1主要是用來(lái)調(diào)節(jié)粒子飛向自身最優(yōu)位置的權(quán)重系數(shù)，c2則用來(lái)調(diào)節(jié)粒子向全局最優(yōu)位置方向飛行的權(quán)重系數(shù)；ω為慣性因子，使粒子保持運(yùn)動(dòng)慣性的同時(shí)具有探索新區(qū)域的能力；r1、r2分別為0～1之間的隨機(jī)數(shù)；主要目的是為了保證在進(jìn)化過(guò)程中粒子一直在搜索空間的范圍之內(nèi).為保證足夠次數(shù)的迭代，速度Vi(t)一般需要限定于一定范圍內(nèi).由于PSO算法是基于隨機(jī)搜索的，一種改進(jìn)后的IPSO算法步驟為：1)初始化種群，包括最大進(jìn)化數(shù)種群規(guī)模，學(xué)習(xí)因子參數(shù)設(shè)置、粒子速度、位置及每個(gè)粒子歷史最優(yōu)值和種群歷史最優(yōu)值的初始化.2)據(jù)式(1)和(2)對(duì)每個(gè)粒子的速度更新，且取反，得到一個(gè)新速度.3)根據(jù)粒子的當(dāng)前速度和取反后的速度，分別求出對(duì)應(yīng)的速度以及適應(yīng)值，對(duì)比適應(yīng)值，保留適應(yīng)值較好的速度給當(dāng)前粒子.4)據(jù)當(dāng)前的適應(yīng)值更新粒子的歷史最優(yōu)值和種群的歷史最優(yōu)值.5)判斷是否達(dá)到最大進(jìn)化數(shù)或者滿(mǎn)足精度要求，若是滿(mǎn)足則結(jié)束算法，返回步驟2).算法流程如圖4.

圖4　MPSO算法流程圖Figure 4　Flow chart of MPSO algorithm

3.2圖像融合

算法取得最佳的位置后，為了保證系統(tǒng)的實(shí)時(shí)性，本文在重疊區(qū)域采用平均加權(quán)法實(shí)現(xiàn)了圖像融合，融合效果較好.以A和B兩圖像為例，加權(quán)平均的數(shù)學(xué)表示為

F(x,y)=ω1A(x,y)+ω2B(x,y).

(3)

式(3)中，A和B代表兩幅待融合圖像，A(x,y)和B(x,y)分別為A和B圖像在(x,y)的像素灰度值.ω1和ω2為加權(quán)系數(shù)，ω1+ω2=1；若ω1+ω2=0.5，則為平均融合[15].

4實(shí)驗(yàn)結(jié)果

為驗(yàn)證設(shè)計(jì)系統(tǒng)的性能進(jìn)行相關(guān)實(shí)驗(yàn)，分別取兩CCD攝像機(jī)拍攝視頻中的一幀，如圖5，一幅為參考圖像(a)，另一幅為浮動(dòng)圖像(b)，其中圖像浮動(dòng)圖(b)與(a)相比有水平位移、垂直位移.實(shí)驗(yàn)結(jié)果如圖(c).

圖5　系統(tǒng)輸出結(jié)果圖Figure 5　Output images

5結(jié)語(yǔ)

基于大視場(chǎng)視頻圖像的需求，提出一套基于FPGA+DSP雙處理器的視頻拼接系統(tǒng).實(shí)驗(yàn)結(jié)果表明，此系統(tǒng)可對(duì)兩幅720×576分辨率的視頻圖像進(jìn)行實(shí)時(shí)拼接，滿(mǎn)足大市場(chǎng)視頻圖像要求.

【參考文獻(xiàn)】

[1]雷中鋒，王廣生，方穗明.視頻圖像拼接和應(yīng)用[J].中國(guó)有線電視，2003(22):70-71.

LEI Zhongfeng，WANG Guangsheng，F(xiàn)ANG Suiming.Video image stitching and its application[J] .China Cable Television，2003(22):70-71.

[2]孫展明，尹偉中.論視頻圖像偵查[J].中國(guó)人民公安大學(xué)學(xué)報(bào)(自然科學(xué)版)，2011(3):25-28.

SUN Zhanming, YIN Weizhong. The theory of the video investigation[J].Journal of Chinese People’s Public Security University( Science and Technology)，2011(3):25-28.

[3]許潔瓊.基于視頻圖像處理的車(chē)輛檢測(cè)與跟蹤方法研究[D].上海：中國(guó)海洋大學(xué)，2012.

XU Jieqiong. Research on vehicle detection and tracking method based on video image processing[D].Shanghai: Ocean University of China，2012.

[4]YANG Jinkun，PEI Yijian，LI Bo, et al. Multivideo mosaic based on SIFT algorithm[C]// 2011 International Conference on Computer Science and Network Technology.Portugal:[s.n],2011:1497-1501.

[5]劉永，王貴錦，姚安邦，等.基于自適應(yīng)幀采樣的視頻拼接[J].清華大學(xué)學(xué)報(bào)(自然科學(xué)版)，2010，50(1):108-112.

LIU Yong,WANG Guijin,YAO Anbang, et al. Video mosaicking based on adaptive sampling[J].Journal of Tsinghua University(Science and Technology)，2010，50(1):108-112.

[6]劉暢，金立左，費(fèi)樹(shù)岷，等.固定多攝像頭的視頻拼接技術(shù)[J].數(shù)據(jù)采集與處理，2014，29(1):126-133.

LIU Chang, JIN Lizuo, FEI Shumin, et al. Video stitching technology based on fixed multi-camera[J].Journal of Data Acquisition and Processing，2014，29(1):126-133.

[7]王小強(qiáng)，陳臨強(qiáng)，梁旭.實(shí)時(shí)全自動(dòng)視頻拼接方法[J].計(jì)算機(jī)工程，2011，37(5):291-293.

WANG Xiaoqiang，CHEN Linqiang，LIANG Xu. Method of real time automatic video stitching[J].Computer Engineering，2011，37(5):291-293.

[8]劉曉明，田雁，許朝暉.基于DSP和FPGA的視頻處理系統(tǒng)設(shè)計(jì)及其實(shí)現(xiàn)[J].激光與紅外， 2007，37(12):1328-1330.

LIU Xiaoming, TIAN Yan, XU Zhaohui. Design and realization of video-processing system based on DSP and FPGA[J].Laser and Infrared，2007，37(12):1328-1330.

[9]高楊，劉榮科，胡偉.基于FPGA+DSP的高清視頻圖像系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].電子測(cè)量技術(shù)，2011，34(1):69-73.GAO Yang, LIU Rongke, HU Wei. Design and implementation of high definition video image system based on FPGA+DSP[J].Electronic Measurement Technology，2011，34(1):69-73.

[10]李易難，牛燕雄，楊露.基于DSP+FPGA視頻圖像采集處理系統(tǒng)的設(shè)計(jì)[J].電子測(cè)量技術(shù)，2014，37(1):58-61.

LI Yinan,NIU Yanxiong,YANG Lu. Design of video image sampling and processing system based on DSP and FPGA[J]. Electronic Measurement Technology，2014，37(1):58-61.

[11]OKUMURA KI, RAUT S,GU Qingyi,et al. Real-time Feature-based Video Mosaicing at 500 fps[C]//2013 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS).Portugal:[s.n],2013:2665-2670.

[12]馮桂蘭，田維堅(jiān)，屈有山，等.實(shí)時(shí)視場(chǎng)拼接系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].光電工程，2007，34(4):144-147.

FENG Guilan ,TIAN Weijian, QU Youshan, et al. Design of real-time video mosaic system[J]. Opto-Electronic Engineering，2007，50(1):144-147.

[13]高站力，余桂英，唐瑋.FPGA圖像采集系統(tǒng)研究與設(shè)計(jì)[J].中國(guó)計(jì)量學(xué)院學(xué)報(bào)，2014，25(1):75-79.

GAO Zhanli，YU Guiying，TANG Wei. Research and design of an image acquisition system based on FPGA[J].Journal of China University of Metrology，2014，25(1):75-79.

[14]楊維，李岐強(qiáng).粒子群優(yōu)化算法綜述[J].中國(guó)工程科學(xué).2004，6(5):87-94．

YANG Wei,LI Qiqiang. The review of Particle Swarm Optimization[J].Engineering Science，2004，6(5):87-94．

[15]牛文賓.圖像融合算法研究及應(yīng)用[D].重慶：重慶理工大學(xué)，2012.

NIU Wenbin. Research and application on image fusion algorithm[D].Chongqing：Chongqing University of Technology，2012.

【文章編號(hào)】1004-1540(2016)02-0223-05

DOI:10.3969/j.issn.1004-1540.2016.02.017

【收稿日期】2015-12-08《中國(guó)計(jì)量學(xué)院學(xué)報(bào)》網(wǎng)址：zgjl.cbpt.cnki.net

【基金項(xiàng)目】浙江省科技廳公益技術(shù)應(yīng)用研究項(xiàng)目(No.2013C31061).

【作者簡(jiǎn)介】陳靜(1987-)，女，湖北省孝感人，碩士研究生，主要研究方向?yàn)閳D像處理.E-mail:532519842@qq.com 通信聯(lián)系人：馮桂蘭，女，副教授.E-mail:fengguiian@cjiu.edu.cn

【中圖分類(lèi)號(hào)】TN911.73

【文獻(xiàn)標(biāo)志碼】A

Real-time video mosaic systems based on double processors

CHEN Jing, FENG Guilan, LYU Changliang, KANG Yu

(College of Optical and Electronic Technology, China Jiliang University, Hangzhou 310018, China)

Abstract:It is difficult for some video systems to capture the whole scene simultaneously. In view of this situation, a video mosaic system based on FPGA and DSP dual-processors was proposed. A hardware architecture including dual-processors, FLASH program memory, SDRAM data memory, SRAM data memory, video AD and video decoder was designed. Two video input signals were captured and converted to digital signals and were stored in the SDRAM after basic image processing by FPGA. The image data readout, registration and fusion were processed by DSP. To ensure the real-time property of the system, the improved particle swarm optimization (IPSO) algorithm was adopted to process the image registration; and the image fusion was processed by the weighted average method. The test results show that two images were acquired and stitched simultaneously at resolution of 720×576 and 25FPS.

Key words:dual processor; FPGA; DSP; image stitching; wide field of view