利用魚眼鏡頭生成全景圖像的方法

鄧松杰， 周松斌， 程韜波

（1. 中國(guó)科學(xué)院廣州地球化學(xué)研究所遙感與GIS專業(yè)，廣東 廣州 510640；2. 廣東省科學(xué)院自動(dòng)化工程研制中心，廣東 廣州 510070）

利用魚眼鏡頭生成全景圖像的方法

鄧松杰1， 周松斌2， 程韜波2

（1. 中國(guó)科學(xué)院廣州地球化學(xué)研究所遙感與GIS專業(yè)，廣東 廣州 510640；2. 廣東省科學(xué)院自動(dòng)化工程研制中心，廣東 廣州 510070）

介紹了一種利用魚眼鏡頭在特殊角度下所拍攝成的圖像，以優(yōu)化的快速展開模型為基礎(chǔ)，經(jīng)過像點(diǎn)坐標(biāo)變換、雙三次插值及內(nèi)部拼接，生成全景圖像的方法。該方法無(wú)須運(yùn)用多幅標(biāo)準(zhǔn)照片拼接，且無(wú)須運(yùn)用柱面模型及成像儀器的參數(shù)。最后從MATLAB仿真的實(shí)例中驗(yàn)證了此方法的有效性。

計(jì)算機(jī)應(yīng)用；全景圖像；快速展開模型；魚眼圖像

全景圖像生成技術(shù)近期發(fā)展迅速，傳統(tǒng)的方法主要有利用多幅照片拼接的方法[1-5]和基于柱面模型變換的方法[6-9]。多幅照片拼接的方法操作麻煩，缺乏實(shí)用性和實(shí)時(shí)性；基于柱面模型變換的方法，理論模型較為復(fù)雜，且需要考慮攝像頭焦距、鏡頭雙曲面方程等參數(shù)，在真實(shí)系統(tǒng)中難以運(yùn)用。為了克服上述缺點(diǎn)，本文提出了一種利用魚眼鏡頭生成全景圖像的方法。由于無(wú)論是通過計(jì)算機(jī)生成的圖像，還是經(jīng)過光學(xué)投射在成像元件如CCD中形成的數(shù)字圖像，都是基于像素點(diǎn)矩陣的，且無(wú)論是柱面模型變換或是其他模型的變換也只是按照一定的數(shù)學(xué)關(guān)系對(duì)圖像像素點(diǎn)矩陣進(jìn)行變換，若非運(yùn)用插值或變換過程中數(shù)據(jù)的丟失，像素點(diǎn)的數(shù)量是不會(huì)發(fā)生變化的。所以基于這種思想，本文運(yùn)用一種優(yōu)化的快速展開模型，結(jié)合雙三次插值[10]和內(nèi)部拼接的方法，達(dá)到生成全景圖的目的。

1 原 理

1.1 均勻的快速展開模型

魚眼鏡頭視角大，一般為180°，這使通過魚眼鏡頭生成全景圖像具備了理論上的可能性。如圖1所示，此圖像為魚眼鏡頭在仰視角度下，對(duì)四周景物的一次拍攝。

圖1 魚眼鏡頭仰視拍攝圖

根據(jù)圖像性質(zhì)，首先假設(shè)一種均勻的快速展開模型。如圖2所示，將魚眼圖像像“切蛋糕”一樣，均勻分割若干塊，然后展開，分割的塊數(shù)越多，像素點(diǎn)分布越均勻，可是分割的塊數(shù)越多，運(yùn)算起來越復(fù)雜且原始數(shù)據(jù)丟失越嚴(yán)重。在上述情況運(yùn)用插值，會(huì)出現(xiàn)“鋸齒形”失真。

圖2 均勻的快速展開模型

1.2 優(yōu)化的快速展開模型

為了改善失真的情況，設(shè)計(jì)一種優(yōu)化的快速展開模型，如圖3所示，魚眼圖像被a, b, c, d, e, f, g, h線段分割，展開形成8個(gè)三角形，每個(gè)三角形由隔一相鄰的兩條線段與底邊組成，兩兩三角形之間有一半的區(qū)域相同。

圖3 魚眼圖像展開示意圖

如圖4所示，三角形X, Y中每一行像素點(diǎn)坐標(biāo)按比例拉伸，分別變換為矩形A, B, 底邊長(zhǎng)度保持不變。從兩矩形M, N區(qū)域內(nèi)算出縫合線的位置進(jìn)行拼接，組合成矩形C。

如此類推，8個(gè)三角形進(jìn)行變換，兩兩內(nèi)部縫合，最終生成全景圖像。

圖4 任意兩子圖變換與拼接示意圖

2 算 法

2.1 展開算法分析

如圖5所示，在魚眼圖像上附加一極坐標(biāo)系，圖像中心與極坐標(biāo)系原點(diǎn)重合。假設(shè)圖像上任意一點(diǎn)變換到子圖像 OABC矩陣中，子矩陣以表示，P點(diǎn)位置不變，坐標(biāo)系改變，；點(diǎn)的極坐標(biāo)形式對(duì)應(yīng)的笛卡爾坐標(biāo)形式為；通過優(yōu)化的快速展開模型變換為矩陣中的點(diǎn)，它們之間的關(guān)系是：，；當(dāng)坐標(biāo)變換完畢后，運(yùn)用雙三次插值，賦值于空白的像點(diǎn)，形成完整的矩形圖像。如此類推，其余的子圖通過旋轉(zhuǎn)，進(jìn)入圖5所示的坐標(biāo)系中進(jìn)行變換。

圖5 子圖矩陣坐標(biāo)變換原理圖

2.2 內(nèi)部拼接算法分析

魚眼圖像矩陣經(jīng)過變換計(jì)算與雙三次插值后，初步生成8個(gè)子圖像，如圖4中的矩形圖像A與B，其原始像素點(diǎn)分布越往左、右上角則越稀疏，即失真越嚴(yán)重。此時(shí)，需要運(yùn)用與優(yōu)化的快速展開模型算法對(duì)應(yīng)的內(nèi)部拼接算法改善失真情況。如圖6所示，區(qū)域M中任意一列像素點(diǎn)與區(qū)域N中任意一列像素點(diǎn)，兩列中同一行的兩像素點(diǎn)比較，當(dāng)時(shí)，則T=T+1, T為對(duì)應(yīng)兩像素點(diǎn)相等的次數(shù)，初始值為零；當(dāng)T為最大值時(shí)，圖像A的與圖像B的為縫合線。由于像素點(diǎn)是離散的，進(jìn)行展開模型變換時(shí)難免會(huì)有誤差，故縫合線未必就是M，N區(qū)域的中線。然后，將A矩陣大于列的像素點(diǎn)刪除，將B矩陣小于列的像點(diǎn)刪除，合并A，B矩陣形成新的矩陣，同樣的方法，將8幅子圖拼接成一幅全景圖。

圖6 任意兩子圖內(nèi)部拼接原理圖

3 結(jié) 論

通過MATLAB軟件執(zhí)行上述算法，利用圖1采取上述方法，圖7為最終的結(jié)果。優(yōu)化的快速展開模型變換的實(shí)現(xiàn)，只用簡(jiǎn)單的坐標(biāo)系轉(zhuǎn)換和矩陣變換計(jì)算，無(wú)須通過復(fù)雜的柱面模型，無(wú)須考慮魚眼鏡頭的參數(shù)，只需直接針對(duì)魚眼鏡頭拍攝的數(shù)字圖像矩陣。由于像點(diǎn)矩陣是離散的，坐標(biāo)是以整數(shù)表示，在變換過程中難免有小部分原始像素點(diǎn)數(shù)據(jù)丟失，故在優(yōu)化的快速展開模型的前提下配合運(yùn)用內(nèi)部拼接算法縫合兩兩具有1/2相同部分的8幅子圖，能有效補(bǔ)償變換過程中像素點(diǎn)數(shù)據(jù)的丟失和減少圖像邊緣的誤差，改善均勻快速展開模型的“鋸齒形”失真。MATLAB仿真實(shí)驗(yàn)證明了該算法的有效性。

圖7 全景展開圖

[1] 封靖波, 蘇志勛, 劉秀平. 一種基于相似曲線的全景圖自動(dòng)拼接算法[J]. 計(jì)算機(jī)學(xué)報(bào), 2003, 26(11): 1604-1608.

[2] 付厚超, 陳宗海. 基于垂直邊緣處理的全景圖像的拼接[J]. 計(jì)算機(jī)工程, 2004, 30(4): 132-134.

[3] 李立鴻, 施鵬飛, 趙群飛. 基于多分辨率技術(shù)的快速全景圖圖像匹配算法[J]. 中國(guó)圖像圖形學(xué)報(bào), 2006, 11(6): 1271-1275.

[4] 葛 誠(chéng), 彭啟民, 劉 鵬, 等. 基于多域分析和全局優(yōu)化的全景圖拼接方法[J]. 中國(guó)圖像圖形學(xué)報(bào), 2006, 11(7): 971-976.

[5] 薛 峰, 張佑生, 江巨浪, 等. 基于最大梯度和灰度相關(guān)的兩步全景圖拼接算法[J]. 系統(tǒng)仿真學(xué)報(bào), 2005, 17(12): 2965-2968.

[6] 童 宇, 劉典型. 全景圖自動(dòng)生成算法中幾個(gè)相關(guān)問題的研究[J]. 計(jì)算技術(shù)與自動(dòng)化, 2006, 25(3): 111-114.

[7] 凌云峰, 朱齊丹, 吳自新, 等. 全景視覺圖像柱面理論展開算法實(shí)現(xiàn)及其改進(jìn)[J]. 應(yīng)用科技, 2006, 33(9): 4-6.

[8] 徐 瑋, 王 煒, 張茂軍, 等. 一種基于凸曲面反射鏡的柱面全景圖像無(wú)縫快速生成系統(tǒng)[J]. 計(jì)算機(jī)工程與科學(xué), 2006, 28(11): 33-36.

[9] 平 潔, 殷潤(rùn)民. 一種全景圖快速生成算法及其實(shí)現(xiàn)[J]. 微計(jì)算機(jī)應(yīng)用, 2006, 27(1): 59-62.

[10] 賀興華, 周媛媛, 王繼陽(yáng), 等. MATLAB7.x圖像處理[M]. 北京: 人民郵電出版社, 2006. 45-49.

Omni-Directional Image Making Based on Fisheye Lens

DENG Song-jie1, ZHOU Song-bin2, CHENG Tao-bo2
( 1. RS & GIS, Guangzhou Institute of Geochemistry, Chinese Academy of Sciences, Guangzhou Guangdong 510640, China; 2. Automation Engineering R&M Center, Guangdong Academy of Sciences, Guangzhou Guangdong 510070, China )

Base on an optimized fast outspread theory, fisheye lens image can be transformed into omin-directional image. It works by transforming the coordinates with the bicubic interpolation and inner stitching. There is no need of stitching some photos taken by camera or using cylindrical theory and parameter of apparatus in this method. In the end, the effectiveness of the method is demonstrated by the final examples by way of MATLAB.

computer application; omni-directional image; fast outspread theory; fisheye lens image

TP 391.4

A

：1003-0158(2010)01-0135-04

2008-04-17

鄧松杰（1980-），男，廣東高要人，碩士研究生，主要研究方向?yàn)檫b感、自動(dòng)化及圖像處理。