多相機(jī)圖像拼接勻色算法

呂　楠，茍永剛，龍　川，張　婕

（1.重慶市地理信息云服務(wù)企業(yè)工程技術(shù)研究中心，重慶400020；2.重慶數(shù)字城市科技有限公司，重慶400020；3.重慶市勘測院，重慶400020）

多相機(jī)圖像拼接勻色算法

呂楠1，茍永剛2，龍川2，張婕3

（1.重慶市地理信息云服務(wù)企業(yè)工程技術(shù)研究中心，重慶400020；2.重慶數(shù)字城市科技有限公司，重慶400020；3.重慶市勘測院，重慶400020）

多相機(jī)圖像拼接中存在的亮度和色彩不均勻的現(xiàn)象嚴(yán)重影響著拼接圖像的視覺效果。本文針對全景圖像拼接過程中多幅圖像之間的亮度和色彩差異問題，提出了一種多相機(jī)圖像拼接勻色算法，該算法先從局部出發(fā)對單幅圖像進(jìn)行亮度調(diào)整，再從全局角度對待拼接圖像進(jìn)行顏色校正，最終獲得亮度和色彩一致的全景圖像。試驗結(jié)果表明，該方法能較好地減少甚至消除拼接圖像間的亮度和色彩差異，較好地改善全景圖像的視覺效果。

勻色算法；全景圖像；顏色空間

隨著計算機(jī)技術(shù)和圖像處理技術(shù)的不斷發(fā)展，多相機(jī)圖像拼接技術(shù)得到了越來越廣泛的應(yīng)用，如測繪遙感、軍事安防、虛擬現(xiàn)實、全景地圖等［1-3］。多相機(jī)圖像拼接一般需要多部攝像機(jī)同步獲取圖像，尤其在獲取全景圖像時，需要多部相機(jī)在同一時刻從不同角度進(jìn)行拍攝，而且相鄰圖像之間要有重疊區(qū)域，通過重疊區(qū)域同名控制點點對，利用圖像匹配方法計算圖像變換矩陣，從而拼接成一幅全景圖像。然而，由于相機(jī)自身硬件（如相機(jī)型號、成像性能、感光元件尺寸等）及拍攝環(huán)境（如光照、大氣條件、太陽高度等）等因素的影響，同一區(qū)域內(nèi)來自不同相機(jī)的圖像在亮度、色彩等方面會存在差異，如果對這些圖像直接進(jìn)行拼接，拼接的全景圖像在圖像重疊區(qū)域會存在明顯的接縫線，從而影響全景圖像的視覺和美觀效果。因此，非常有必要進(jìn)行多相機(jī)圖像拼接亮度和色彩分布不均問題的處理方法（即勻色方法）的研究。

目前國內(nèi)外對圖像勻色算法的研究較多，主要集中在兩個方面:一是從硬件角度的圖像校正［4］，二是從軟件角度的圖像校正［5-8］。從軟件角度的圖像校正算法主要有直方圖匹配［9］、直方圖規(guī)定化［10］、Wallis勻色算法［6］、Mask色光算法［8］及基于均值和標(biāo)準(zhǔn)差統(tǒng)計的方法等。如張靜等基于直方圖匹配理論，在目標(biāo)圖像和源圖像的直方圖之間建立映射關(guān)系，使目標(biāo)圖像的直方圖與源圖像相同或相似，從而使兩幅圖像具有相同的亮度和色彩，最終實現(xiàn)對圖像顏色的校正，該方法在圖像直方圖差異較大時，直方圖匹配會改變原有灰度級之間的相對距離［11］。曹彬才等將用于保持兩幅或多幅圖像間的亮度和色彩一致性的Wallis濾波器用于單幅圖像，并且取得了較好的勻色效果，但是此方法在處理顏色變化較大的圖像時，會出現(xiàn)顏色突變的現(xiàn)象［12］。李德仁等提出的基于Mask原理的勻色方法采用高斯濾波器模擬圖像的亮度分布作為背景圖像，通過從原始圖像中減去不均勻背景圖像，達(dá)到圖像勻色的目的［13］。張振等指出現(xiàn)有Mask勻色方法能夠在一定程度上解決不均勻光照的現(xiàn)象，但是經(jīng)過Mask勻色處理后的圖像存在反差不均勻的現(xiàn)象，即原始的圖像中較暗的區(qū)域經(jīng)過勻色后明顯地表現(xiàn)出反差較低，而亮的區(qū)域則反差較大，針對這一問題，對Mask勻色算法進(jìn)行了改進(jìn)，得到了反差一致的圖像［14］。然而，這些方法大部分是針對灰度圖像的勻色處理，對彩色圖像的勻色效果并不理想。

本文針對目前多相機(jī)圖像拼接勻色算法存在的問題，提出了基于顏色空間變換理論的多相機(jī)拼接勻色算法。試驗證明，本算法可以很好地對多相機(jī)圖像拼接亮度和色彩不均勻問題進(jìn)行處理，使最終全景圖像色彩和亮度具有一致性，勻色效果較好。

一、算法理論基礎(chǔ)

1.Gamma校正

多相機(jī)獲取的圖像由于成像角度和成像環(huán)境等條件的影響，圖像存在照度不均勻的現(xiàn)象，導(dǎo)致圖像不同區(qū)域存在不同的光照效果，對圖像進(jìn)行Gamma校正，能夠使圖像光照分布均勻。本文使用的Gamma校正公式為式中，Iin表示輸入圖像的原始灰度值；Iout表示校正后的圖像灰度值；graymax表示輸入最大灰度值；γ即Gamma值，為一個經(jīng)驗值。

2.信息熵

信息熵表示圖像包含信息量的多少。對于單幅圖像，可以認(rèn)為圖像各個灰度值是相互獨立的樣本，則認(rèn)為這幅圖像的灰度分布為p=｛p0，p1，…，pi，…，pn-1｝，i表示灰度級；pi表示第i灰度級出現(xiàn)的概率；n表示灰度級個數(shù)。信息熵定義為式中，H表示圖像信息熵。圖像的信息熵值越大，說明圖像信息量越大。

3.RGB顏色空間與YCbCr顏色空間變換

顏色空間是按照某種定義或規(guī)則描述顏色的模型。常見的顏色空間有:RGB顏色空間、HSV顏色空間、CMY顏色空間、CMYK顏色空間、YCbCr顏色空間等。根據(jù)應(yīng)用場合的不同，選擇的顏色空間也不同，如RGB顏色空間用于計算機(jī)的顯示，HSV顏色空間用于視覺系統(tǒng)的處理，CMY顏色空間用于印刷行業(yè)，YCbCr顏色空間用于表示彩色電視數(shù)字信號等。不同顏色空間對顏色特征的表現(xiàn)不同，經(jīng)過試驗發(fā)現(xiàn)，在YCbCr顏色空間對圖像進(jìn)行勻色處理，試驗效果最佳。多相機(jī)獲取的圖像屬于RGB顏色空間，RGB顏色空間轉(zhuǎn)化到Y(jié)CbCr顏色空間的計算公式為［15］

YCbCr顏色空間轉(zhuǎn)換到RGB顏色空間的轉(zhuǎn)換公式為［15］

4.對比度增強(qiáng)

多相機(jī)圖像拼接成全景圖之后，為了更好地改善全景圖像效果，對全景圖進(jìn)行了對比度增強(qiáng)。本文采用直方圖增強(qiáng)法［16］，首先計算全景圖像直方圖，然后分別從最大灰度值255和最小灰度值0開始，計算累積直方圖，確定目標(biāo)灰度級數(shù)，如目標(biāo)最大灰度級數(shù)為Newmax，最小灰度級數(shù)為Newmin，修正歸一化灰度值為實際灰度，建立灰度映射表，生成目標(biāo)全景圖像。原始全景圖像灰度值Iold和目標(biāo)全景圖像灰度值Inew之間的映射關(guān)系為

二、多相機(jī)拼接勻色算法

本文針對多相機(jī)圖像拼接過程中存在的亮度和色彩不一致的現(xiàn)象，提出了一種多相機(jī)拼接勻色算法，通過該方法能夠有效處理全景圖像拼接中存在的亮度和顏色差異，該算法的處理流程如圖1所示。

圖1　多相機(jī)圖像拼接勻色算法流程

如圖1所示，由于拍攝環(huán)境等因素的影響，圖像存在光照不均勻的現(xiàn)象，首先需要對多幅圖像進(jìn)行Gamma校正，使各幅圖像光照分布均勻；其次計算各幅圖像信息熵，根據(jù)圖像信息熵，選擇參考圖像；然后將所有圖像進(jìn)行顏色空間轉(zhuǎn)換，以參考圖像為基礎(chǔ)，對圖像進(jìn)行亮度和色彩校正；最后拼接多幅圖像并進(jìn)行對比度增強(qiáng)，得到最終全景圖。

1.Gamma校正

對多相機(jī)圖像進(jìn)行Gamma校正，使單幅圖像光照分布均勻，消除單幅圖像內(nèi)部光照不均現(xiàn)象，Gamma校正公式如式（1）所示。

2.選取參考圖像

計算各幅圖像信息熵，選取信息熵最大的圖像作為參考圖像，信息熵計算方法如式（2）所示。

3.圖像亮度與色彩校正

圖像亮度和色彩的校正包括顏色空間的轉(zhuǎn)換、圖像區(qū)域劃分及圖像顏色校正。首先需要將參考圖像和目標(biāo)圖像從RGB顏色空間轉(zhuǎn)換到Y(jié)CbCr顏色空間；然后將每幅圖像按照重疊區(qū)域和非重疊區(qū)域進(jìn)行劃分，按照不同的權(quán)值計算Y、Cb、Cr的平均值；最后計算各個分量的自動調(diào)節(jié)因子，根據(jù)自動調(diào)節(jié)因子，重新計算Y、Cb、Cr各分量，對目標(biāo)圖像顏色進(jìn)行校正。如圖2所示。

圖2　圖像亮度、色彩校正流程

（1）顏色空間轉(zhuǎn)換

將參考圖像和目標(biāo)圖像進(jìn)行顏色空間轉(zhuǎn)換，即將圖像從RGB顏色空間轉(zhuǎn)換到Y(jié)CbCr顏色空間，轉(zhuǎn)換公式如式（3）所示。

（2）重疊區(qū)與非重疊區(qū)劃分

多相機(jī)圖像拼接中，圖像重疊區(qū)域是最有參考價值的一部分。本文根據(jù)全景圖像的特點，將每幅圖像劃分為重疊區(qū)域與非重疊區(qū)域，賦予重疊區(qū)域較大的權(quán)值。假設(shè)將圖像劃分后，重疊區(qū)域記為I0，非重疊區(qū)域記為I1，重疊區(qū)域權(quán)值用λ（本文取值0.7～0.9）表示，則非重疊區(qū)域權(quán)值用1-λ表示，Y、Cb、Cr各分量的均值可以按照下式計算

（3）顏色校正

顏色校正的關(guān)鍵是計算目標(biāo)圖像和參考圖像之間的顏色調(diào)節(jié)因子，本文顏色調(diào)節(jié)因子的計算方法為

式中，IS_Avg表示參考圖像的平均亮度值；ID_Avg表示目標(biāo)圖像的平均亮度值；IDiff表示目標(biāo)圖像與參考圖像平均亮度差值；Icurr表示目標(biāo)圖像中某一像素點的當(dāng)前亮度值；Ifactor表示目標(biāo)圖像的亮度調(diào)節(jié)因子；Inew表示目標(biāo)圖像中某一像素點校正后的亮度值。式中的I表示Y、Cb或Cr分量。

顏色校正完成后，將圖像從YCbCr顏色空間轉(zhuǎn)換到RGB顏色空間，轉(zhuǎn)換公式如式（4）所示。

4.圖像拼接

單幅圖像勻色處理結(jié)束后，拼接所有圖像即可獲得亮度、顏色分布均勻的全景圖像。本文采用基于特征的匹配算法實現(xiàn)同名點提取與匹配，該方法對同名點的識別效率較高［17-18］。

5.對比度增強(qiáng)

為了更好地改善全景圖像效果，本文根據(jù)對比度增強(qiáng)理論對全景圖像進(jìn)行對比度增強(qiáng)。

三、試驗結(jié)果與分析

本文對多相機(jī)圖像拼接勻色算法進(jìn)行了驗證。用于試驗的計算機(jī)硬件為Inter（R）Core（TM）i5-4590 CPU@3.30 GHz，內(nèi)存為8 GB，操作系統(tǒng)為Window7，開發(fā)環(huán)境為Visual Studio 2010，使用開源庫OpenCV2.0。圖3為多相機(jī)在同一時刻拍攝的待拼接圖像，圖像分辨率均為4000×3000像素，從圖中可以看出，部分圖像亮度較亮，而部分圖像較暗，且存在較大的顏色差異，如果不對圖像進(jìn)行顏色校正直接拼接為全景圖，那么拼接圖會存在明顯的亮度和色彩差異。

圖3　多相機(jī)待拼接圖像

圖4為未經(jīng)本文算法處理直接對全景圖像拼接所得的結(jié)果，從圖中可以看出，全景圖像存在亮度和色彩不均一的現(xiàn)象。圖5為經(jīng)過本文算法處理后得到的全景圖像，經(jīng)過本文算法處理后，圖像中亮度和色彩不均一現(xiàn)象基本消除，全景圖的效果較好。

圖4　未經(jīng)本文算法處理的全景圖像

圖5　本文算法處理后的全景圖像

四、結(jié)束語

本文針對多相機(jī)圖像拼接中存在的亮度和色彩差異現(xiàn)象，提出了一種多相機(jī)圖像拼接勻色算法，詳細(xì)論述了該算法的理論基礎(chǔ)與處理流程，并且通過試驗驗證了本文算法的有效性。本文算法能夠消除圖像之間的亮度和色彩差異，非常有效地改善了圖像的整體視覺效果，為圖像拼接中存在的顏色不一致問題提供了新的解決思路和方法。

［1］ CHEN S E.QuickTime VR-An Image-based Approach to Virtual Environment Navigation［C］∥Proceedings Siggraph’95.Los Angeles:［s.n.］，1995.

［2］ 王曉麗，戴華陽，余濤，等.基于多分辨率融合的無人機(jī)圖像拼接勻色研究［J］.測繪通報，2013（6）:27-30. ［3］ 李海亭，彭清山，王閃，等.數(shù)字城市中的全景地圖系統(tǒng)建設(shè)方法研究［J］.測繪通報，2011（4）:71-73.

［4］ SASAKI M，MASE M，KAWAHITO S，et al.A Wide Dynamic Range CMOS Image Sensor with Multiple Shoretime Exposures［C］∥Proceedings of IEEE Sensors. ［S.l.］:IEEE，2004.

［5］ 張力，張祖勛，張劍清.Waills濾波在影像匹配中的應(yīng)用［J］.武漢測繪科技大學(xué)學(xué)報，1999，24（1）:24-35.

［6］ 林景亮，陳岳林.多攝像機(jī)圖像拼接自動色彩均衡算法［J］.計算機(jī)應(yīng)用，2010（12）:3236-3237.

［7］ 周麗雅，秦志遠(yuǎn)，尚煒，等.反差一致性保持的影像勻光算法［J］.測繪科學(xué)技術(shù)學(xué)報，2011（1）:46-49.

［8］ 姚芳，萬幼川，胡晗.基于Mask原理的改進(jìn)勻光算法研究［J］.遙感信息，2013（3）:8-13.

［9］ 李勇.圖像無縫拼接及勻色技術(shù)的研究［D］.西安:西安電子科技大學(xué)，2013.

［10］ 趙通，王國胤，肖斌.基于多峰高斯函數(shù)的直方圖規(guī)定化算法［J］.計算機(jī)科學(xué)，2014（12）:245-250.

［11］ 張靜，陳廣學(xué).基于直方圖匹配的圖像顏色校正算法研究［C］∥2013中國食品包裝學(xué)術(shù)會議論文摘要集.北京:［s.n.］，2013.

［12］ 曹彬才，朱寶山，李潤生，等.用于單幅影像勻光的Wallis算法［J］.測繪科學(xué)技術(shù)學(xué)報，2012（5）:373-377.

［13］ 李德仁，王密，潘俊.光學(xué)遙感影像的自動勻光處理及應(yīng)用［J］.武漢大學(xué)學(xué)報（信息科學(xué)版），2006，31（9）: 753-756.

［14］ 張振，朱寶山，朱述龍.反差一致性改進(jìn)的MASK勻光算法［J］.測繪科學(xué)技術(shù)學(xué)報，2010（1）:54-56.

［15］ 張懿，劉旭，李海峰.數(shù)字RGB與YCbCr顏色空間轉(zhuǎn)換的精度［J］.江南大學(xué)學(xué)報（自然科學(xué)版），2007 （2）:200-202.

［16］ 李開端，李樹軍.基于直方圖統(tǒng)計學(xué)的圖像增強(qiáng)算法研究［J］.科學(xué)技術(shù)與工程，2011，11（23）:5572-5575.

［17］ 羅如為，陳孝威.360°圖像序列的柱面全景拼接算法［C］∥第二屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會議（HHME2006）——第 15屆中國多媒體學(xué)術(shù)會議（NCMT'06）論文集.杭州:［s.n.］，2006.

［18］ 楊一曼，牟伶俐，劉建軍，等.基于嫦娥二號數(shù)據(jù)的高分辨率影像拼接方法研究［J］.測繪通報，2015（1）: 115-120.

An Image Dodging Algorithm Based on Multiple Cameras

LV Nan，GOU Yonggang，LONG Chuan，ZHANG Jie

10.13474/j.cnki.11-2246.2016.0221.

P237

B

0494-0911（2016）07-0044-04

2015-08-10

重慶市科技人才培養(yǎng)計劃（cstc2013kjrc-tdsj40001）；智慧重慶空間信息服務(wù)云計算平臺開發(fā)（cstc2014yykfB40004）

呂 楠（1979—），男，高級工程師，主要研究地理信息系統(tǒng)與地面移動測量系統(tǒng)。E-mail:lvn@dcqtech.com

引文格式：呂楠，茍永剛，龍川，等.多相機(jī)圖像拼接勻色算法［J］.測繪通報，2016（7）:44-47.