基于B樣條曲線的投影圖像顏色校正方法

宋 濤 祁繼輝 侯培國 趙明宇 李 坤

1(燕山大學(xué)電氣工程學(xué)院 河北 秦皇島 066004) 2(秦皇島視聽機(jī)械研究所 河北 秦皇島 066004) 3(沈陽儀表科學(xué)研究院 遼寧 沈陽 110000)

0 引 言

虛擬現(xiàn)實(shí)技術(shù)是20世紀(jì)末興起的一門計(jì)算機(jī)技術(shù)，能夠讓用戶實(shí)時(shí)、沒有限制地觀察三維空間內(nèi)的場景與事物，沉浸在模擬環(huán)境中。隨著時(shí)代的發(fā)展，人們對(duì)虛擬世界要求越來越高，佩戴VR眼鏡會(huì)影響真實(shí)體驗(yàn)感，因此，裸眼虛擬現(xiàn)實(shí)技術(shù)能夠?yàn)槿藗兲峁┮粋€(gè)更好的VR體驗(yàn)，多通道投影拼接技術(shù)把虛擬畫面投影到周圍的墻壁上，用戶在體驗(yàn)該技術(shù)應(yīng)用時(shí)，不需要佩戴任何輔助裝置，就能夠沉浸到畫面中并有身臨其境的觀感。但是，在實(shí)際應(yīng)用中，由于投影幕顏色不均勻或者投影儀彼此型號(hào)不同等一系列因素，投影幕上的投影畫面難免會(huì)發(fā)生顏色扭曲，以至于投影畫面存在色差[1]。

文獻(xiàn)[2]與文獻(xiàn)[3]分別利用最小二乘法非線性優(yōu)化與迭代顏色分布轉(zhuǎn)換進(jìn)行顏色校正，但對(duì)于復(fù)雜的投影環(huán)境，函數(shù)擬合時(shí)間過長，并且不能保證復(fù)雜響應(yīng)函數(shù)的校正精度。文獻(xiàn)[4]與文獻(xiàn)[5]分別利用亮度融合響應(yīng)函數(shù)以及Alpha融合與Gamma校正來保證投影畫面彼此的拼接處亮度與顏色的連續(xù)性，但不能保證整體畫面顏色強(qiáng)度沒有發(fā)生畸變。文獻(xiàn)[6]提出了一種快速、可靠的系統(tǒng)，用于修正由相互反射、投影黑度和環(huán)境光引起的動(dòng)態(tài)場景中的投影映射偽影，為了滿足低延遲投影映射系統(tǒng)的時(shí)間限制，對(duì)一些數(shù)據(jù)進(jìn)行了預(yù)計(jì)算，與了解每個(gè)曲面點(diǎn)的精確顏色這一重要假設(shè)相結(jié)合，在運(yùn)行時(shí)有效地執(zhí)行來自不需要的照明的校正偽影，通過這些擴(kuò)展，任何投影映射系統(tǒng)的感知質(zhì)量都可以顯著提高。文獻(xiàn)[7]根據(jù)投影儀的特性、顯示器的表面光學(xué)特性等因素，建立了投影儀的通用顏色模型，再建立傳輸矩陣和顏色模型，生成顏色查找表，最后將顏色查找表與相應(yīng)的亮度混合表相結(jié)合。文獻(xiàn)[8]提出了彩色編碼結(jié)構(gòu)光的高精度解碼方法和多源層次化時(shí)序投影彩色物體三維重建方法，減少復(fù)雜因素對(duì)結(jié)構(gòu)光解碼過程中產(chǎn)生的影響，同時(shí)進(jìn)一步提高結(jié)構(gòu)光解碼的精度和效率。這三種方法克服了復(fù)雜投影環(huán)境導(dǎo)致的困難，有效提高了顏色校正的精度，但針對(duì)顏色傳遞函數(shù)中響應(yīng)關(guān)系相差較大的相鄰階段并沒有理想的控制。文獻(xiàn)[9]利用二次準(zhǔn)均勻B樣條進(jìn)行全局粗校正，再引入了帶多形參二次準(zhǔn)均勻B樣條對(duì)投影曲面進(jìn)行了融合帶局部細(xì)校正，但是由于顏色校正后投影畫面融合區(qū)域的顏色不連續(xù)性依然存在，顏色校正的誤差顯而易見，通過對(duì)顏色傳遞函數(shù)的整體檢驗(yàn)，便可發(fā)現(xiàn)每個(gè)投影畫面經(jīng)顏色校正后難免跟理想顏色強(qiáng)度存在偏移。

本文采用B樣條曲線構(gòu)建投影圖像與原圖像之間的顏色傳遞函數(shù)，再通過分段貝塞爾曲線對(duì)校正不精確的色域進(jìn)行補(bǔ)償。

1 基于B樣條曲線的顏色校正

1.1 B樣條曲線

1.1.1B樣條曲線概述

一條B樣條曲線由m條曲線段組成，每條曲線段的兩個(gè)端點(diǎn)被稱為節(jié)點(diǎn)，因此，m段的B樣條曲線存在m+1個(gè)節(jié)點(diǎn)。

對(duì)于n次m段的B樣條曲線，其數(shù)學(xué)模型表達(dá)式如下 ：

(1)

式中：Pi,n(t)表示第i段經(jīng)n次B樣條曲線變換后的值，i=1,2,…,m；t表示B樣條曲線變換前的值，對(duì)于每個(gè)曲線段的點(diǎn)，均滿足0≤t≤1，t=0表示第i段的首端節(jié)點(diǎn)，t=1表示第i段的末端節(jié)點(diǎn)；pi+k-1表示第i段B樣條曲線的控制點(diǎn)，每段均由n+1個(gè)控制點(diǎn)來控制；Fk,n(t)表示n次B樣條曲線的分段混合函數(shù)。Fk,n(t)數(shù)學(xué)表達(dá)式如式(2)所示。

(2)

式中：0≤t≤1；k=0,1,2,…,n。

對(duì)于B樣條曲線的第i段，滿足第i段的首端節(jié)點(diǎn)與第i-1段的末端節(jié)點(diǎn)重合，第i段的末端節(jié)點(diǎn)與第i+1段的首端節(jié)點(diǎn)重合，其中，i=2,3,…,m-1。如果第1段的首端節(jié)點(diǎn)與第m段的末端節(jié)點(diǎn)重合，則該B樣條曲線為閉曲線，否則為開曲線。

1.1.2三次B樣條曲線

對(duì)于三次m段的B樣條曲線，其數(shù)學(xué)模型表達(dá)式如式(3)所示。

(3)

由此可知，第i段的變換結(jié)果由pi-1、pi、pi+1、pi+2四個(gè)控制點(diǎn)決定，如圖1所示。

圖1 三次B樣條曲線示意圖

Pi,3(0)表示第i段首端節(jié)點(diǎn)(即整條曲線第i個(gè)節(jié)點(diǎn))的變換結(jié)果Bi，通過式(3)可推導(dǎo)出Bi由pi-1、pi、pi+1三個(gè)控制點(diǎn)決定，如式(4)所示。

(4)

由于三次m段B樣條曲線有m+1個(gè)節(jié)點(diǎn)，因此，式(4)中，i=1,2,…,m,m+1，并且需要m+3個(gè)控制點(diǎn)，即p0,p1,p2,…,pm,pm+1,pm+2。

對(duì)于三次m段B樣條開曲線，擬定p0=p1，pm+1=pm+2；對(duì)于三次m段B樣條閉曲線，擬定p0=pm+1，p1=pm+2。

1.2 顏色校正

1.2.1RGB顏色空間

RGB色彩就是常說的三原色，R代表紅色，G代表綠色，B代表藍(lán)色。自然界中肉眼所能看到的任何色彩都可以由這三種色彩混合疊加而成，因此也稱為加色模式。

計(jì)算機(jī)定義顏色時(shí)R、G、B三種成分的取值范圍是0～255，0表示沒有刺激量，255表示刺激量達(dá)最大值。R、G、B均為255時(shí)就合成了白光，R、G、B均為0時(shí)就形成了黑色，當(dāng)兩色分別疊加時(shí)將得到不同的“C、M、Y”顏色，其中：C代表青色，M代表品紅，Y代表黃色。

1.2.2投影圖像與原圖像之間的顏色傳遞函數(shù)

將R、G、B三個(gè)顏色通道單獨(dú)提取分別求取各自的顏色傳遞函數(shù)，以R通道為例，依次生成所有像素點(diǎn)R通道的顏色強(qiáng)度分別為0、15、30、40、50、…、220、230、240、255的25幅圖像，另外G、B兩通道的顏色強(qiáng)度始終為0。

攝像機(jī)依次采集這25幅圖像的投影畫面，計(jì)算機(jī)提取這25幅投影圖像并分別計(jì)算各自R通道的顏色強(qiáng)度均值。

三次24段B樣條開曲線可表示顏色傳遞函數(shù)，原圖像25個(gè)顏色強(qiáng)度值可記為B1,B2,…,B25，代入式(4)便可求得p0,p1,p2,…,p26，再代入式(3)，以照片中投影圖像的顏色強(qiáng)度均值作為25個(gè)節(jié)點(diǎn)，記為T1,T2,…,T25，由此求得R通道的顏色傳遞函數(shù)，其余兩個(gè)通道的顏色傳遞函數(shù)同理，不再贅述。

1.2.3原圖像的顏色預(yù)扭曲變換

對(duì)原圖像的像素點(diǎn)進(jìn)行顏色預(yù)扭曲變換才能使其投影畫面顏色強(qiáng)度達(dá)到理想值，對(duì)(R+1)×(S+1)大小的原圖像像素點(diǎn)的顏色預(yù)扭曲變換如式(5)所示。

(5)

式中：Cr,s,c表示原圖像(r,s)坐標(biāo)像素點(diǎn)第c顏色通道變換后的強(qiáng)度值，其中，r=0,1,2,…,R，s=0,1,2,…,S，c=1,2,3；Ti,c表示第c顏色通道傳遞函數(shù)第i個(gè)節(jié)點(diǎn)，其中，i=1,2,…,24；Ir,s,c表示原圖像(r,s)坐標(biāo)像素點(diǎn)第c顏色通道變換前的強(qiáng)度值；F(Ir,s,c)表示Ir,s,c對(duì)應(yīng)的理想值，Ti,c≤F(Ir,s,c)≤Ti+1,c。

由于投影儀的自身性質(zhì)及外界因素，必然存在式(5)中T1,c>0且T25,c<255。因此，Ir,s,c對(duì)應(yīng)的理想值如式(6)所示。

(6)

對(duì)于多通道投影系統(tǒng)，投影儀彼此會(huì)存在色域差異，D通道投影系統(tǒng)的第d臺(tái)投影儀第c顏色通道的色域?yàn)閇Ldc,Hdc]。為了統(tǒng)一色域，擬定每臺(tái)投影儀的色域均為[Lc,Hc]，其中Lc=max{L1c,L2c,…,LDc}，Hc=min{H1c,H2c,…,HDc}。因此，每臺(tái)投影儀對(duì)應(yīng)原圖像像素點(diǎn)Ir,s,c的理想值如式(7)所示。

(7)

2 顏色誤差補(bǔ)償

2.1 顏色誤差

投影儀顏色響應(yīng)曲線的復(fù)雜以及樣本數(shù)量的局限會(huì)導(dǎo)致三次B樣條曲線的4個(gè)控制點(diǎn)無法精確校正局部色域，因此，需要對(duì)顏色傳遞函數(shù)進(jìn)行檢驗(yàn)。

通過顏色傳遞函數(shù)分別對(duì)這25幅圖像進(jìn)行顏色預(yù)扭曲并投影至投影幕，攝像機(jī)依次采集，計(jì)算機(jī)再進(jìn)行提取并計(jì)算投影畫面該通道的顏色強(qiáng)度均值，根據(jù)原圖像顏色強(qiáng)度對(duì)應(yīng)的理想值進(jìn)行比較，對(duì)相差較大的區(qū)域通過貝塞爾曲線進(jìn)行進(jìn)一步校正。

2.2 貝塞爾曲線

n次貝塞爾曲線由n+1個(gè)控制點(diǎn)定義，其數(shù)學(xué)模型表達(dá)式如式(8)所示。

(8)

式中：pi為控制點(diǎn)；P(t)為貝塞爾曲線變換后的值，其中，0≤t≤1。

(9)

2.3 基于分段貝塞爾曲線的誤差補(bǔ)償

顏色傳遞函數(shù)曲線中顏色強(qiáng)度偏移量較大的區(qū)域如圖2所示，其中：T代表投影畫面顯示的顏色強(qiáng)度；Y代表對(duì)應(yīng)圖像的顏色強(qiáng)度；實(shí)線代表B樣條響應(yīng)曲線，虛線代表真實(shí)響應(yīng)曲線。

圖2 顏色強(qiáng)度偏移區(qū)域的響應(yīng)曲線

可以看出，若想使投影畫面顯示的顏色強(qiáng)度為t1，經(jīng)B樣條響應(yīng)函數(shù)將原圖像的顏色強(qiáng)度校正為y，將其投影至投影幕上的顏色強(qiáng)度卻為t2。

本文通過三次貝塞爾曲線的4個(gè)控制點(diǎn)對(duì)偏移區(qū)域B樣條響應(yīng)曲線進(jìn)行進(jìn)一步扭曲，使其與真實(shí)響應(yīng)曲線重合。

以校正偏差較大的樣本兩邊相鄰的節(jié)點(diǎn)作為端點(diǎn)，在二者之間選取R-1個(gè)顏色強(qiáng)度值生成圖像并進(jìn)行B樣條響應(yīng)校正后對(duì)其投影，攝像機(jī)記錄投影畫面的顏色強(qiáng)度值，貝塞爾曲線模型表達(dá)式如式(10)所示。

P=C·p

(10)

式中：C為(R+1)×4的矩陣，表示選取的R-1個(gè)顏色強(qiáng)度與兩個(gè)節(jié)點(diǎn)顏色強(qiáng)度的貝塞爾基函數(shù)；p為4×1的矩陣，表示4個(gè)控制點(diǎn)；P為(R+1)×1的矩陣，表示R+1個(gè)顏色強(qiáng)度經(jīng)4個(gè)控制點(diǎn)變換的顏色強(qiáng)度值。

(11)

(12)

(13)

2.4 原圖像顏色預(yù)扭曲的校正與補(bǔ)償

若B樣條響應(yīng)函數(shù)存在K處偏移區(qū)域，則原圖像對(duì)應(yīng)區(qū)域的顏色預(yù)扭曲校正補(bǔ)償變換如式(14)所示。

PTk=Bk(B(F(Pk)))

(14)

式中：Pk為原圖像第k處偏移區(qū)域顏色預(yù)扭曲前的所有顏色強(qiáng)度集合，1≤k≤K；B()為B樣條曲線響應(yīng)函數(shù)；Bk()為第k處偏移區(qū)域的貝塞爾曲線響應(yīng)函數(shù)；PTk為原圖像第k處偏移區(qū)域顏色預(yù)扭曲后的所有顏色強(qiáng)度集合。

對(duì)于原圖像K處偏移區(qū)域以外的顏色強(qiáng)度，其顏色預(yù)扭曲校正補(bǔ)償變換如式(15)所示。

PT0=B(F(P0))

(15)

式中：P0為原圖像K處偏移區(qū)域以外顏色預(yù)扭曲前的所有顏色強(qiáng)度集合；PT0為原圖像K處偏移區(qū)域顏色預(yù)扭曲后的所有顏色強(qiáng)度集合。

因此，必然存在式(16)與式(17)。

(16)

(17)

式中：PB為原圖像顏色預(yù)扭曲前所有顏色強(qiáng)度集合；PT為原圖像顏色預(yù)扭曲后所有顏色強(qiáng)度集合。

由此可推導(dǎo)出式(18)。

(18)

式(18)為原圖像所有顏色強(qiáng)度值的顏色預(yù)扭曲校正補(bǔ)償變換。

3 實(shí)驗(yàn)結(jié)果

原始圖像如圖3所示。

圖3 原始圖像

原始圖像的像素為1 240×404，長寬比例過大，若要將其投影至墻壁，需要雙通道投影系統(tǒng)。如果兩個(gè)不同型號(hào)的投影儀構(gòu)成1×2陣列，那么未顏色校正的雙通道投影顯示圖像必然存在顏色畸變，而且兩個(gè)投影畫面的銜接處不會(huì)有完美的匹配，如圖4所示。

圖4 未顏色校正的雙通道投影顯示圖像

以R通道為例，兩個(gè)投影儀分別依次投影所有像素點(diǎn)R通道的顏色強(qiáng)度分別為25、30、35、…、235、240、245的45幅圖像，另外G、B兩通道的顏色強(qiáng)度始終為0。攝像機(jī)依次采集，計(jì)算機(jī)再進(jìn)行提取并計(jì)算投影畫面R通道的顏色強(qiáng)度均值，再對(duì)同一個(gè)顏色強(qiáng)度的兩個(gè)投影畫面顏色強(qiáng)度進(jìn)行比較，二者有明顯差異，其中顏色強(qiáng)度的最大差異高達(dá)35。

對(duì)兩個(gè)投影畫面對(duì)應(yīng)的原圖像進(jìn)行B樣條曲線顏色預(yù)扭曲，大部分顏色強(qiáng)度范圍已經(jīng)得到良好的校正，顏色差異顯著減少，最大的顏色差異為11，減低至原來的31.4%。經(jīng)B樣條曲線顏色校正的雙通道投影顯示圖像如圖5所示。

圖5 B樣條曲線顏色校正后的雙通道投影顯示圖像

經(jīng)分段貝塞爾曲線顏色補(bǔ)償后，顏色校正不精確的區(qū)域得到良好校正，最大的顏色差異為5，減低至未補(bǔ)償時(shí)的45.5%。經(jīng)貝塞爾曲線顏色補(bǔ)償?shù)碾p通道投影顯示圖像如圖6所示。

圖6 貝塞爾曲線顏色補(bǔ)償后的雙通道投影顯示圖像

實(shí)驗(yàn)結(jié)果表明，顏色校正補(bǔ)償后的雙通道投影顯示圖像無明顯顏色差異，投影圖像之間銜接處顏色內(nèi)容完全匹配，證明了該顏色校正補(bǔ)償方法在雙通道投影拼接的可行性。

此顏色校正方案不僅適用于半沉浸式的平面多投影系統(tǒng)，還適用于完全沉浸式的CAVE系統(tǒng)，如圖7所示。

圖7 CAVE沉浸式系統(tǒng)的顏色校正結(jié)果

4 結(jié) 語

本文提出一套投影圖像顏色校正補(bǔ)償方案。在對(duì)原始圖像進(jìn)行基于B樣條曲線的顏色預(yù)扭曲之后，再對(duì)校正不精確的色域進(jìn)行基于分段貝塞爾曲線的顏色補(bǔ)償。實(shí)驗(yàn)結(jié)果表明，該顏色校正補(bǔ)償方案有效減少了多通道投影系統(tǒng)的顏色差異。在接下來的工作中，需要對(duì)投影圖像的重疊區(qū)域進(jìn)行亮度調(diào)節(jié)。