西域文化博物館全景圖像拼接研究與實(shí)現(xiàn)

駱學(xué)森

（塔里木大學(xué)信息工程學(xué)院，阿拉爾 843300）

西域文化博物館；全景圖像

0 引言

全景圖通過廣角的展現(xiàn)手法以及繪圖、照片、視頻、3ds Max模型等各個(gè)形式，盡最大可能多表現(xiàn)出四周的環(huán)境。360度全景，是使用專業(yè)圖像采集設(shè)備來(lái)捕獲整個(gè)場(chǎng)面的圖像信息或使用建模軟件渲染后的圖片，再利用軟件進(jìn)行圖像處理、圖片拼接等操作，使用特有的輸出設(shè)備將全景圖像輸出，即將傳統(tǒng)平面照片或者計(jì)算機(jī)建模圖片變?yōu)槿皥D片，展現(xiàn)給觀看者。

全景圖像上世紀(jì)90年代問世到如今，已逐漸廣泛地被運(yùn)用在各個(gè)領(lǐng)域中，其中包括安保、國(guó)防、文化娛樂、文物保護(hù)、交通工具行駛記錄、新型地圖服務(wù)等各個(gè)重要方向。全景圖像之所以能夠受到眾多科技前沿領(lǐng)域的追捧，是應(yīng)為其比傳統(tǒng)圖像豐富的特點(diǎn)。全景圖像避免了傳統(tǒng)平面效果圖視角單一的缺點(diǎn)，為觀看者提供了各個(gè)方位的視角體驗(yàn)。展現(xiàn)了形式良好的全景圖還擁有較佳的交互體驗(yàn)，可根據(jù)觀看者的操作現(xiàn)象當(dāng)前視角的圖像，本特征也是虛擬現(xiàn)實(shí)技術(shù)的基石。據(jù)目前針對(duì)全景圖像的研究已經(jīng)較為豐富，涉及到眾多的技術(shù)細(xì)節(jié)問題，但更多的局限在圖像的拼接算法部分。

因此，本文將從全景圖像拼接研究和實(shí)現(xiàn)的角度來(lái)整體分析。主要通過介紹全景圖像相關(guān)的重要理論和關(guān)鍵技術(shù)，并融合一些具體的設(shè)計(jì)和實(shí)現(xiàn)來(lái)對(duì)全景圖像的拼接和實(shí)現(xiàn)做全面的解釋和驗(yàn)證，并加以實(shí)現(xiàn)和完善。

全景圖像所包含的細(xì)節(jié)方向很多，其中主要包括全景圖像的采集、全景圖像的拼接、呈現(xiàn)形式和體驗(yàn)方式這幾個(gè)較為重要的板塊。全景圖像的采集部分中，主要涉及到了圖像采集設(shè)備的抉擇、整體布局結(jié)構(gòu)和支撐架構(gòu)等方面。圖像采集模塊的設(shè)計(jì)好壞在極大程度上決定了上層設(shè)計(jì)的難易程度，以及最后的展現(xiàn)效果。全景圖像的拼接部分是最近幾年最受專家學(xué)者關(guān)注的部分，目前已經(jīng)形成了較為穩(wěn)定和非常優(yōu)秀的處理算法，可根據(jù)具體的應(yīng)用場(chǎng)景和需求類別進(jìn)行抉擇和局部的適當(dāng)優(yōu)化。另外，在全景圖像采集和拼接部分的軟件系統(tǒng)設(shè)計(jì)中，采用如何的設(shè)計(jì)和實(shí)現(xiàn)能夠更加高效地處理多相機(jī)并發(fā)及多任務(wù)類型的工程業(yè)務(wù)一樣十分的重要。除此之外，全景圖像的展現(xiàn)形式的種類也很繁多，根據(jù)全景圖像投影模型的不同，基本類型可分為圓柱面、立方體、球面三種類型。目前全景圖像的呈現(xiàn)形式除了投影類型的區(qū)分外，基本都是以圖像的形式。本文將分析、設(shè)計(jì)和實(shí)現(xiàn)一種我校西域文化博物館采用全景圖片拼接展現(xiàn)形式的效果，以達(dá)到更好的體驗(yàn)和效果，以適應(yīng)更多的場(chǎng)景需求以及向更多的人展現(xiàn)西域文化的多姿多彩。

1 研究的目的與意義

圖像拼接技術(shù)的研究是在科技的飛速發(fā)展以及人們對(duì)現(xiàn)實(shí)應(yīng)用的需求下飛速發(fā)展起來(lái)的，已成為計(jì)算機(jī)圖形學(xué)和計(jì)算機(jī)視覺領(lǐng)域?qū)＜覍W(xué)者的研究熱點(diǎn)，是近幾年來(lái)圖像繪制技術(shù)的重要研究?jī)?nèi)容。

本項(xiàng)目通過采集西域文化博物館各展廳數(shù)據(jù)（攝像機(jī)只能圍繞一個(gè)固定的軸進(jìn)行旋轉(zhuǎn)，當(dāng)攝像機(jī)拍攝完一張圖像后需要將攝像機(jī)旋轉(zhuǎn)一定的角度拍攝下一張圖像，重疊區(qū)域的要占圖像的1/3左右），經(jīng)過數(shù)據(jù)的預(yù)處理（消除圖像采集過程中混入的噪聲），并經(jīng)過圖像配準(zhǔn)、圖像定位、圖像融合與優(yōu)化等一系列流程，最終把西域文化博物館拼接成360度環(huán)形全景圖像，在豐富西域文化博物館傳統(tǒng)展示的基礎(chǔ)上，為人們提供立體、動(dòng)感的視覺感受。

西域，為古今中西交通極其重要的樞紐地帶，是地理概念，也是文明象征，與歷史有著密切聯(lián)系。人們一提起西域文化，首先想到的便是絲綢之路，而絲綢之路不僅僅是一條貿(mào)易路線，還是承載了亞歐大陸文化交流，宗教傳播。如今，西域文化博物館試圖將文化遺產(chǎn)象征轉(zhuǎn)變?yōu)橐曈X表現(xiàn)符號(hào)，發(fā)揮古為今用原則，向人們展示西域文化的神秘與精要。西域文化博物館是坐落在南疆的塔里木大學(xué)，是一座集歷史、藝術(shù)、民俗、自然為一體的綜合性博物館，因地勢(shì)偏遠(yuǎn)，所以人們對(duì)此所知甚少，基于此種現(xiàn)狀，本項(xiàng)目選擇對(duì)西域文化博物館全景圖像拼接進(jìn)行研究與實(shí)現(xiàn)，想要通過此項(xiàng)研究完整的表達(dá)西域博物館的環(huán)境信息，帶給人們不同的視覺體驗(yàn)，讓更多的人感受到西域文化的壯闊與瑰麗。

2 國(guó)內(nèi)外研究現(xiàn)狀與發(fā)展趨

全景技術(shù)自上世紀(jì)90年代問世以來(lái)，全景圖像(視頻)作為高速發(fā)展的前沿科技領(lǐng)域，在國(guó)外擁有豐富研究和實(shí)踐成果，而國(guó)內(nèi)的全景技術(shù)起步較晚。國(guó)外最早運(yùn)用全景技術(shù)的是谷歌公司，在谷歌公司的Street View中，首次成熟的運(yùn)用了全景圖像技術(shù)。參照谷歌公司街景的發(fā)展方式，亞馬遜旗下的搜索業(yè)務(wù)同樣采用街道全景車采集圖像，歷經(jīng)半年多的時(shí)間，共獲得美國(guó)22座城市的主要街道的街景圖像數(shù)據(jù)，并經(jīng)過后期編輯處理形成數(shù)據(jù)龐大的全景資料庫(kù)。

如今，全景圖像技術(shù)已日趨成熟，廣泛運(yùn)用與各個(gè)領(lǐng)域中，在國(guó)內(nèi)，隨著VR技術(shù)的興起，全景圖像也在迅速發(fā)展，主要的運(yùn)用領(lǐng)域和發(fā)展趨勢(shì)：

（1）地圖信息

國(guó)內(nèi)知名互聯(lián)網(wǎng)公司百度，在2013年8月在百度世界大會(huì)上首先發(fā)布，百度地圖將加入全景功能，百度地圖的全景與其他地圖全景服務(wù)的不同之處就在于，不僅將街道，城市轉(zhuǎn)換為全景，還將酒店、各地的風(fēng)景名勝也加入了全景服務(wù)。

（2）酒店宣傳

商家就通過3D建模將酒店的結(jié)構(gòu)和裝潢以及餐飲條件做成全景圖進(jìn)行全方位的展示，吸引顧客。

（3）虛擬校園

通過全景圖可以讓學(xué)生和家長(zhǎng)通過網(wǎng)絡(luò)就可以了解學(xué)校，而不是傳統(tǒng)的通過學(xué)校網(wǎng)站和新聞媒體。對(duì)學(xué)校的了解比傳統(tǒng)模式的效率以及感受，會(huì)有更加直觀的理解和認(rèn)識(shí)。

（4）廣告營(yíng)銷

全景技術(shù)在廣告領(lǐng)域的運(yùn)用大部分還在視覺效果上，傳統(tǒng)廣告還停留在廣而告之的層面，而全景技術(shù)下，廣告不再是單向傳播的了，還可以與受眾進(jìn)行交互。

3 項(xiàng)目分析

全景圖像拼接主要由七個(gè)關(guān)鍵處理過程組成：圖像的初步處理、圖像的配準(zhǔn)、圖像的定位、調(diào)整捆綁、測(cè)光優(yōu)化、圖像之間的融合和生成全景圖像，項(xiàng)目實(shí)現(xiàn)流程大致如圖1所示。

圖1 全景圖像拼接處理過程

下面對(duì)各個(gè)過程包含的步驟和所要解決的問題進(jìn)行說明：

（1）圖像預(yù)處理主要承擔(dān)兩項(xiàng)任務(wù)：①對(duì)所使用的采集設(shè)備進(jìn)行調(diào)整，獲取參數(shù)；②對(duì)因?yàn)橄鄼C(jī)而引起的圖像失真進(jìn)行驗(yàn)證獲取其校正后參數(shù)。

（2）圖像配準(zhǔn)主要是用多幅待拼接圖片與參考圖片進(jìn)行比較，從而找到兩者間具有重疊區(qū)域的圖像。然后對(duì)應(yīng)的點(diǎn)求出重疊在一起的圖像間的變換矩陣。圖像配準(zhǔn)的任務(wù)可以分為四個(gè)部分組成：①提取每幅圖像的特別點(diǎn)；②將提取出來(lái)的特別點(diǎn)，在和其他圖像上尋找與之對(duì)應(yīng)的特別點(diǎn)；③按照一定的算法和規(guī)則，來(lái)對(duì)這些特征點(diǎn)進(jìn)行選擇，去除錯(cuò)誤的特征點(diǎn)，這種方法稱為特征點(diǎn)提純；④依據(jù)提純后的特征點(diǎn)來(lái)進(jìn)行圖像的匹配，通過變換矩陣獲取最優(yōu)的匹配。

（3）圖像定位主要目的就是將配準(zhǔn)后的圖片再放入3ds Max建模中的位置，如果圖像只是在水平方向相鄰，那么只需要注重水平方向各個(gè)圖像之間關(guān)系，如果圖像不只有水平的關(guān)系，還有垂直方向的關(guān)系，那么我們就要首先確定其水平方向的關(guān)系，然后再根據(jù)其水平方向的關(guān)系來(lái)確定垂直方向的位置。

（4）調(diào)整捆綁的主要任務(wù)是將全景平面投影的變化矩陣的一些優(yōu)化，具體工作兩部分組成：①將接有魚眼鏡頭的相機(jī)在時(shí)間不同，采集角度不同獲取到的圖像，通過逆變換過程重筑空間場(chǎng)景來(lái)將視角統(tǒng)一；②通過非線性最優(yōu)化算法最小化相鄰圖像的匹配特征點(diǎn)對(duì)變換到全景參考平面后的距離，減小多次變換導(dǎo)致的全局累積誤差。

（5）測(cè)光優(yōu)化的主要任務(wù)是將全景圖像進(jìn)行優(yōu)化，在視覺效果上，使觀看效果更具真實(shí)性和侵入感。

（6）圖像之間的融合是將圖像拼接過程中形成的縫隙和圖像重疊區(qū)域進(jìn)行消除。

（7）全景投影輸出主要任務(wù)是將球形空間的大視角全景圖的投影作為平面可視圖像。方便在普通設(shè)備或者輸出設(shè)備上輸出。

4 項(xiàng)目總體設(shè)計(jì)

（1）使用接有魚眼鏡頭以及全景云臺(tái)、三腳架的數(shù)碼單反相機(jī)采集西域文化博物館的圖像，采集過程中要進(jìn)行多角度的拍攝，角度偏差不得大于5度。

（2）將采集到的圖像進(jìn)行圖像預(yù)處理，圖像配準(zhǔn)，圖像融合，邊界平滑等處理，使其與真實(shí)場(chǎng)景存在的差別盡量減小。

（3）測(cè)量西域文化博物館的地形以及每條邊界的數(shù)據(jù)，利用CAD畫出西域文化博物館的建筑圖紙。

（4）對(duì)西域文化博物館進(jìn)行簡(jiǎn)單的建模，要求全方位，多角度的展現(xiàn)西域文化博物館的立體結(jié)構(gòu)。

（5）在西域文化博物館的建模里貼上處理好的圖像，利用3ds Max的uv貼圖功能，將圖像放置在與博物館相應(yīng)的位置中，產(chǎn)生全景物。

5 結(jié)語(yǔ)

全景圖通過廣角的表現(xiàn)手段以及繪畫、相片、視頻、三維模型等形式，盡可能多表現(xiàn)出周圍的環(huán)境。360全景，即通過對(duì)專業(yè)相機(jī)捕捉整個(gè)場(chǎng)景的圖像信息或者使用建模軟件渲染過后的圖片，使用軟件進(jìn)行圖片拼合，并用專門的播放器進(jìn)行播放，即將平面照片或者計(jì)算機(jī)建模圖片變?yōu)?60度全觀，用于虛擬現(xiàn)實(shí)瀏覽，把二維的平面圖模擬成真實(shí)的三維空間，呈現(xiàn)給觀賞者。

形成全景圖的方法也用很多很多如：用相機(jī)直接拍攝自動(dòng)生成全景圖、使用Photoshop軟件手動(dòng)制作全景圖、使用特殊的軟件合成、簡(jiǎn)單使用3ds Max進(jìn)行貼圖制作、使用3ds Max建模到處全景圖，等等。

在本次項(xiàng)目中，我們研究了每個(gè)方法以及嘗試，最終選定為利用3ds Max進(jìn)行簡(jiǎn)單的建模然后把圖片貼入相應(yīng)的位置最后生成全景圖。

使用相機(jī)直接拍攝全景圖簡(jiǎn)單方便當(dāng)場(chǎng)就可以生成全景圖，但是它也存在著一些硬性的條件；使用相機(jī)拍攝時(shí)必須要足夠的空間可以使相機(jī)進(jìn)行旋轉(zhuǎn)拍攝，拍攝空間也要足夠大才可以否則無(wú)法生成全景圖。因此拍攝環(huán)境有著很大的局限性。例如：①在山地環(huán)境，找不到平整的地面，那么久無(wú)法架設(shè)相機(jī)；②在長(zhǎng)、寬比例不好的環(huán)境；胡同、狹長(zhǎng)的房間等都不可以使用相機(jī)直接拍攝。

使用特殊的軟件合成全景圖使用起來(lái)也非常的方便快捷，將要合成的全景圖分散的圖片全部導(dǎo)入軟件，軟件會(huì)自動(dòng)識(shí)別拍攝的照片的重疊點(diǎn)以及重疊部分。對(duì)重疊部分進(jìn)行刪除修改并利用多張圖片確定拍攝位置進(jìn)行合成全景圖，這樣省去的很多人力物力。但是軟件合成的全景圖會(huì)存在一些瑕疵。軟件本身并不會(huì)去掉照片中的不足之處，如果拍攝時(shí)有光線的影響生成的全景圖也會(huì)出現(xiàn)明顯的光線差別，使全景圖看起來(lái)不太協(xié)調(diào)。軟件對(duì)照片也存在著很大的要求，拍攝的照片必須是在一個(gè)點(diǎn)上，因此在采集照片時(shí)也對(duì)空間有著要求，雖然沒有相機(jī)直接生成的局限性大，但是還是存在。

利用Photoshop軟件生成全景圖有兩種方法。方法一，Photoshop自動(dòng)合成全景圖，這和特殊軟件合成是一個(gè)原理局限性也差不多。方法二，純手動(dòng)制作全景圖，對(duì)所有圖片進(jìn)行優(yōu)化處理然后一點(diǎn)點(diǎn)合成最終合成全景圖，但是，要有高深的PS技術(shù)才能實(shí)現(xiàn)并對(duì)地理環(huán)境要非常的熟悉。

簡(jiǎn)單的利用3ds Max建模進(jìn)行貼圖并使用VR相機(jī)進(jìn)行拍攝，最終渲染出全景圖。這個(gè)學(xué)起來(lái)方便快捷，但是使用的技術(shù)方面比較廣，很多技術(shù)都要涉及但都不要太高深的學(xué)習(xí)。要用到Photoshop、CAD等軟件進(jìn)行幫助才能夠進(jìn)行。全景圖渲染出來(lái)的效果也不是非常的好，因?yàn)樗械膱D片都是經(jīng)過二次處理效果看上去就不會(huì)很好了。首先是使用真實(shí)的相機(jī)進(jìn)行拍攝，然后對(duì)圖片進(jìn)行修改，在進(jìn)行貼圖，最后在利用VR虛擬相機(jī)進(jìn)行拍攝，這樣全景圖的真實(shí)感就會(huì)降低。

利用3ds Max建模生成全景圖，會(huì)給人特別真實(shí)的感覺就好像你肉眼看到的一模一樣，但是3ds Max建模對(duì)3ds Max技術(shù)有很大的要求。首先要高深的建模技術(shù)，因?yàn)槊總€(gè)物體都有自己的特點(diǎn)。對(duì)建模就有這很高的要求例如：西域文化博物館中有一個(gè)小閣樓的模型，要對(duì)它進(jìn)行建模就要了解它的比例材質(zhì)等要素，這就要有很深的美術(shù)功底作為支撐。因此，3ds Max建模對(duì)技術(shù)有這很大的需求。

本次項(xiàng)目通過對(duì)以上的方法進(jìn)行試驗(yàn)和研究最終采取的是3ds Max簡(jiǎn)單建模進(jìn)行貼圖生成全景圖。以為西域文化博物館的每個(gè)展廳的建造不同，房間的比例不同，有空間很大的展廳，也有空間很小的展廳，有四四方方很適合直接拍攝成全景圖的房間，也有狹長(zhǎng)的房間，這樣對(duì)全景圖的制作帶來(lái)了很大的困難。技術(shù)上也存在著很高要求的限制等。本次項(xiàng)目嘗試了以上所有的方法，最終確定利用3ds Max簡(jiǎn)單建模進(jìn)行貼圖這個(gè)方法完成本次項(xiàng)目西域文化博物館全景圖像拼接。

6 展望

在此次大學(xué)生創(chuàng)新創(chuàng)業(yè)中，對(duì)于全景圖像也有了一定的理解和成果，在全景圖像的拼接與實(shí)現(xiàn)中所運(yùn)用的知識(shí)幾乎涵蓋了圖像領(lǐng)域和虛擬現(xiàn)實(shí)中的各個(gè)方法。但對(duì)于整個(gè)圖像和虛擬現(xiàn)實(shí)領(lǐng)域中，此次項(xiàng)目所運(yùn)用到的方法以及算法只能算是皮毛而已，我們站在巨人的肩膀上，目前，作為一名大學(xué)生，所接觸到的，都是前人總結(jié)并提出的設(shè)想與理論，隨著，科技的發(fā)展，一些看似遙不可及的東西，正在被逐步的實(shí)現(xiàn)。

在此次項(xiàng)目中，由于個(gè)人能力的不足，以及學(xué)業(yè)上壓力，對(duì)于許多問題還沒有徹底的理解與消化。

但筆者認(rèn)為，在科技如此飛速發(fā)展的當(dāng)今時(shí)代，全景圖像已被廣泛運(yùn)用于虛擬現(xiàn)實(shí)，計(jì)算機(jī)視覺等領(lǐng)域，不久的將來(lái)，全景圖像會(huì)被更加廣泛地運(yùn)用。