一種全景圖像拼接系統(tǒng)的設(shè)計(jì)方案

陶 清 凌朝東

[關(guān)鍵字] 圖像配準(zhǔn)；圖像融合；工控機(jī)

1 引言

全景視頻拼接系統(tǒng)是將擁有重疊區(qū)域的多個(gè)相機(jī)采集的視頻圖像進(jìn)行特征點(diǎn)檢測(cè)和圖像變換，完成圖像配準(zhǔn)和邊緣融合，從而實(shí)現(xiàn)一幅超大分辨率的全景圖[1]。其廣泛應(yīng)用于城市廣場(chǎng)、軍用全景作戰(zhàn)平臺(tái)、綜合交通樞紐、X射線醫(yī)療影像等領(lǐng)域。

在基于灰度模板、特征點(diǎn)和變換域這三類圖像配準(zhǔn)算法中，基于灰度的方法易受非線性光照、拍攝位置等影響，基于傅立葉變換在旋轉(zhuǎn)、縮放和平移過(guò)程中會(huì)引入大量誤差，而采用基于特征的圖像配準(zhǔn)方法[2]、SIFT特征檢測(cè)法[3]在抗干擾、尺度大小和光照等方面魯棒性好。

本文提出一種全景視頻圖像拼接系統(tǒng)的方案，通過(guò)上位機(jī)進(jìn)行圖像拼接控制，將多個(gè)攝像頭采集的視頻圖像，進(jìn)行圖像配準(zhǔn)和圖像融合。通過(guò)網(wǎng)絡(luò)將生成的變換參數(shù)傳送給工控機(jī)，工控機(jī)嵌入IPC視頻拼接處理器作為輸入，多路IPC視頻拼接處理器完成圖像的旋轉(zhuǎn)、平移、縮放和切割處理，并進(jìn)行全景顯示。

2 圖像配準(zhǔn)

2.1 特征提取

SIFT（Scale Invariant Feature Transform）尺度不變特征變換[4]，SIFT特征檢測(cè)算法包括尺度空間構(gòu)建、空間極值檢測(cè)、特征方向提取、描述關(guān)鍵點(diǎn)[5]。由圖像與高斯核卷積得到圖像的尺度空間：

L(x,y,σ)=G(x,y,σ)*I(x,y) (1)

以DOG（Difference of Gaussian）差分高斯極值作為判斷依據(jù)，將濾波后的兩幅圖像相減得到DOG圖，通過(guò)高斯金字塔相鄰尺度圖像層之間作差構(gòu)造DOG金字塔，在DOG圖像中，若像素點(diǎn)是本層圖像和相鄰層圖像的周圍26個(gè)像素DOG局部的極值，則判為候選特征點(diǎn)。

2.2 特征向量生成

根據(jù)上述方法得到SIFT候選特征點(diǎn)集合X0，為了后面進(jìn)行精確的特征點(diǎn)匹配，需要剔除不穩(wěn)定的關(guān)鍵點(diǎn)，主要是對(duì)比度較低和靠近圖像邊緣的點(diǎn)。剔除后，對(duì)特征點(diǎn)進(jìn)行描述，通過(guò)特征點(diǎn)鄰域像素的梯度分布確定，對(duì)平滑圖像上每一個(gè)點(diǎn)L(x,y)的梯度求模m(x,y)與方向角θ(x,y)，由表達(dá)式（2）得到

對(duì)于每一個(gè)特征點(diǎn)，利用直方圖方式統(tǒng)計(jì)鄰域像素梯度分布，尋找峰值最大的角度作為該特征點(diǎn)方向。在構(gòu)造特征點(diǎn)描述符時(shí)，將特征點(diǎn)鄰域劃分成4鄰域，通過(guò)直方圖按8個(gè)方向統(tǒng)計(jì)得到周圍4鄰域分別8個(gè)方向的向量信息，共4×8維作為該特征點(diǎn)描述符向量。當(dāng)劃分為16鄰域則可得到128維SIFT描述符。

2.3 特征點(diǎn)匹配

保存好128維特征描述符后，采用K-D樹對(duì)向量加快匹配過(guò)程，利用最鄰近查詢算法在K-D樹中快速查找。為了提高匹配的準(zhǔn)確度，通過(guò)距離比值法初步篩選匹配對(duì)，隨機(jī)抽樣一致性算法深入剔除誤匹配對(duì)。

距離比值法：計(jì)算出特征點(diǎn)與最鄰近距離N1和次鄰近距離N2，若兩者比值小于一個(gè)THR常數(shù)（這里設(shè)為0.8）則認(rèn)為是特征點(diǎn)，否則剔除。

隨機(jī)抽樣一致性算法：通過(guò)采樣和驗(yàn)證，將一組待驗(yàn)證數(shù)據(jù)輸入?yún)?shù)化模型，反復(fù)迭代修改驗(yàn)證模型，得出最優(yōu)參數(shù)化數(shù)學(xué)模型，即3*3的單應(yīng)矩陣H，通過(guò)如下公式完成幾何變換。

3 圖像融合

配準(zhǔn)后的圖像融合采用多分辨率融合法實(shí)現(xiàn)，它是以金字塔的結(jié)構(gòu)來(lái)描述圖像，在不同分辨率的圖像中，存在不同的融合帶，分別建立待融合圖像的拉普拉斯金子塔LA,LB，構(gòu)建權(quán)重W和高斯金字塔圖像GW，然后通過(guò)下式得到各層（k）拉普拉斯金字塔圖像，最后由各層拉普拉斯金字塔得到融合圖像。

4 系統(tǒng)設(shè)計(jì)

全景拼接系統(tǒng)是一套軟硬件相結(jié)合的復(fù)雜系統(tǒng)。如圖1所示：

圖1 全景圖像拼接方案框圖

網(wǎng)絡(luò)交換機(jī)將多個(gè)攝像頭、工控機(jī)和IPC視頻拼接處理器連接在同一局域網(wǎng)內(nèi)，工控機(jī)得到視頻碼流，經(jīng)VLC解碼后獲取攝像頭采集的圖像，圖像配準(zhǔn)和圖像融合的相關(guān)參數(shù)計(jì)算由PC端編寫控制程序?qū)崿F(xiàn)，保存到SD卡里，并通過(guò)網(wǎng)絡(luò)通信將生成的變換參數(shù)下發(fā)給工控機(jī)，IPC處理器將視頻圖像進(jìn)行圖像處理和顯示。采用軟硬件相協(xié)調(diào)，發(fā)揮各自資源優(yōu)勢(shì)，最終實(shí)現(xiàn)全景視頻實(shí)時(shí)拼接。

工控機(jī)采用C/S架構(gòu)，優(yōu)勢(shì)互補(bǔ)，加速算法運(yùn)算速率，減小通信開銷[6]?？蛻舳嘶谂錅?zhǔn)融合算法完成圖像的參數(shù)調(diào)整，將變換參數(shù)保存在SD卡，并傳遞給服務(wù)器端進(jìn)行視頻圖像平移、旋轉(zhuǎn)、縮放和裁剪，嵌入IPC視頻拼接處理器作為其輸入源。圖2為工控機(jī)軟件操作流程，表1是實(shí)驗(yàn)設(shè)備。

圖2 軟件操作流程

表1 實(shí)驗(yàn)設(shè)備

5 測(cè)試結(jié)果和分析

實(shí)驗(yàn)測(cè)試環(huán)境是VS2010搭載OpenCv2.4.4。對(duì)全景系統(tǒng)進(jìn)行圖像配準(zhǔn)算法和融合算法的功能驗(yàn)證。工控機(jī)經(jīng)過(guò)VLC視頻解碼[7]后，采集到5個(gè)攝像頭的圖像如圖3所示。

圖3 各攝像頭采集的圖像組

這里以圖3（2）、（3）為例，圖 4(1)、(2)分別為圖3(2)、(3)的SIFT特征檢測(cè)結(jié)果圖。

圖4 SIFT特征檢測(cè)結(jié)果圖

圖5 (1)是關(guān)鍵點(diǎn)經(jīng)過(guò)距離比值法挑選后的結(jié)果圖，圖5(2)是經(jīng)過(guò)RANSAC算法剔除后的結(jié)果圖。表2距離比值法和RANSAC算法篩選匹配對(duì)比較。

圖5 篩選后的結(jié)果圖

通過(guò)隨機(jī)抽樣一致性（RANSAC）算法對(duì)兩幅圖像的特征匹配點(diǎn)對(duì)進(jìn)行誤匹配剔除，簡(jiǎn)化后結(jié)果如下：

圖像配準(zhǔn)需要將第二張圖片按照第一張基準(zhǔn)圖片的尺寸、角度等形態(tài)信息基于單應(yīng)矩陣進(jìn)行透視變換匹配，把多幅圖像轉(zhuǎn)換至同一水平線上，圖6為圖像融合后的全景拼接圖。完成5路攝像頭的視頻圖像采集和圖像預(yù)處理需要0.06916秒，大約14幀左右，少于25幀每秒。實(shí)時(shí)性提升是進(jìn)一步努力的方向。

表2 距離比值法和RANSAC算法篩選匹配對(duì)比較

6 結(jié)論

圍繞著全景拼接方案，本文介紹了基于SIFT配準(zhǔn)算法和多分辨率融合法的基本理論。然后提出了以工控機(jī)為核心的視頻圖像拼接方案，并通過(guò)Visual Studio 2010+OpenCv[8]平臺(tái)實(shí)現(xiàn)和驗(yàn)證。實(shí)驗(yàn)結(jié)果表明：基于SIFT的檢測(cè)和多分辨率融合法的可行性高，能得到較佳的全景拼接圖，并對(duì)比出RANSAC算法篩選匹配對(duì)優(yōu)于距離比值法。

圖6 全景圖