基于分層聚類(lèi)二維視點(diǎn)合成的集成成像系統(tǒng)

邢毓華, 胡曉龍, 楊琛

(西安理工大學(xué)自動(dòng)化與信息工程學(xué)院, 陜西 西安 710048)

0 引 言

隨著人們生活水平的提高,對(duì)顯示的要求也越來(lái)越高,普通的二維顯示已經(jīng)無(wú)法滿(mǎn)足人類(lèi)的需求。集成成像3D 顯示技術(shù)具有全視差、真彩色、無(wú)觀(guān)看視覺(jué)疲勞和結(jié)構(gòu)簡(jiǎn)單等優(yōu)點(diǎn),是目前最有發(fā)展前景的裸眼真3D 顯示技術(shù)之一[1-4]。集成成像系統(tǒng)由采集和顯示兩部分組成,采集過(guò)程得到包含物體三維信息的微單元圖像陣列,顯示過(guò)程再現(xiàn)三維立體圖像[1-4]。目前,采集方法主要包括透鏡陣列采集[5-9]和相機(jī)陣列采集[10-13]。

透鏡陣列采集能夠一次性同時(shí)采集所有單元圖像,無(wú)需機(jī)械移動(dòng)、分時(shí)復(fù)用等,但視角小和分辨率低的問(wèn)題限制了透鏡陣列采集法的發(fā)展。為解決此問(wèn)題,2003 年,Jang 等[5]利用移動(dòng)陣列小透鏡技術(shù)實(shí)現(xiàn)了集成成像的觀(guān)看分辨率和視角的同時(shí)提高。2015 年,Zhang 等[6]使用光纖耦合單中心透鏡陣列實(shí)現(xiàn)了廣角集成成像,進(jìn)一步提高了可視角度,同年,Yang 等[7]將超分辨率技術(shù)應(yīng)用于集成成像系統(tǒng)中,提高了集成成像顯示分辨率。2016 年,Kwon 等[8]提出雙視頻通道和微透鏡陣列組成空間復(fù)用結(jié)構(gòu)的集成成像系統(tǒng),與傳統(tǒng)的集成成像系統(tǒng)相比,該方法大幅度提高了重建像的景深。2019 年Chen 等[9]提出利用曲面拾取方法建立集成成像系統(tǒng)的數(shù)學(xué)模型,提高了集成成像的觀(guān)看角度和角度分辨率,并消除了因曲面拾取過(guò)程形成的畸變。這些方法在一定程度上解決了透鏡采集視角小、分辨率差的問(wèn)題,但透鏡陣列采集始終受限于視點(diǎn)采樣和空間采樣之間的相互權(quán)衡。

相機(jī)陣列采集可以提高采集分辨率、擴(kuò)大觀(guān)看視角。2015 年,Okaichi 等[10]提出一種三維場(chǎng)景采集系統(tǒng),通過(guò)增加相機(jī)數(shù)量提升了觀(guān)看視角。2018 年,Xing 等[11]利用8×8 相機(jī)陣列搭建了集成成像采集系統(tǒng),并通過(guò)重映射的方法得到微單元圖像陣列,通過(guò)GPU 加速實(shí)現(xiàn)高質(zhì)量渲染過(guò)程。隨著顯示規(guī)模的提高,相機(jī)陣列的規(guī)模也在擴(kuò)大,造成成本的增加。為了減少采集成本,并保證觀(guān)看視角和視點(diǎn)采集的質(zhì)量,2014 年,LYU 等[12]利用稀疏相機(jī)陣列采集三維光場(chǎng),并利用立體視覺(jué)與三維重構(gòu)得到拍攝到的圖像序列中所有像素點(diǎn)的空間位置,通過(guò)映射得到立體元圖像陣列。2019 年,Wang 等[13]通過(guò)采集稀疏視點(diǎn)圖像,然后映射成低分辨率微單元圖像陣列,利用超分辨率的方法得到了高分辨率的微單元圖像陣列,實(shí)現(xiàn)了高質(zhì)量顯示過(guò)程。

以上對(duì)集成成像采集系統(tǒng)的研究大都基于透鏡陣列、相機(jī)陣列或者單個(gè)相機(jī)結(jié)合平移臺(tái)模擬相機(jī)陣列。透鏡陣列采集系統(tǒng)裝置簡(jiǎn)單,只需一次拍攝就可以實(shí)現(xiàn)采集過(guò)程,但是采集分辨差、視角小;相機(jī)陣列采集系統(tǒng)可以實(shí)現(xiàn)高分辨率、大視角的采集過(guò)程,但是隨著視點(diǎn)的增加采集成本也在增加;單個(gè)相機(jī)結(jié)合平移臺(tái)模擬相機(jī)陣列采集方法保證了大視角、高分辨的采集過(guò)程,但是采集效率較低。虛擬視點(diǎn)合成方法雖然可以提高集成成像信息采集過(guò)程的效率,但是由于視點(diǎn)合成過(guò)程中的遮擋問(wèn)題會(huì)使視點(diǎn)合成的質(zhì)量下降,導(dǎo)致集成成像顯示過(guò)程分辨率降低。為解決這些問(wèn)題,本文將二維視點(diǎn)合成方法和分層聚類(lèi)去遮擋技術(shù)相結(jié)合應(yīng)用到集成成像系統(tǒng)中,既實(shí)現(xiàn)了高分辨率大視角的采集過(guò)程,又解決了集成成像采集成本高、采集時(shí)間長(zhǎng)的問(wèn)題。

1 基本原理

集成成像系統(tǒng)主要由記錄和顯示兩部分組成,原理如Fig.1 所示,記錄過(guò)程利用透鏡陣列或者相機(jī)陣列,通過(guò)一次或多次的采集過(guò)程得到包含物體所有三維信息的微單元圖像陣列。顯示過(guò)程中將微單元圖像陣列通過(guò)顯示面板進(jìn)行顯示,通過(guò)與記錄參數(shù)相同的透鏡陣列觀(guān)察顯示面板,基于光路可逆原理,就可以再現(xiàn)三維立體圖像。

電動(dòng)平移臺(tái)搭載單個(gè)相機(jī)集成成像記錄系統(tǒng),可以實(shí)現(xiàn)大視角、高分辨率三維信息采集過(guò)程,以及大規(guī)模立體顯示。該采集系統(tǒng)在采集較多視點(diǎn)時(shí)效率較低,使用二維視點(diǎn)合成的方法可以在保證圖像質(zhì)量的同時(shí)提高信息采集的效率。根據(jù)視點(diǎn)合成的原理,可以將集成成像系統(tǒng)設(shè)計(jì)成Fig.2 的形式。

圖1 集成成像原理示意圖Fig.1 Schematic diagram of integral imaging principle

圖2 基于視點(diǎn)合成的集成成像系統(tǒng)流程圖Fig.2 Flow chart of integral imaging based on viewpoint synthesis

二維虛擬視點(diǎn)合成的過(guò)程如Fig.3(a)所示,以2×2 稀疏視點(diǎn)圖像陣列生成3×3 多視點(diǎn)圖像陣列為例。其中I 為實(shí)際采集圖像,II 和III 由I 經(jīng)水平方向和垂直方向視點(diǎn)合成得到,IV 由II 和III 視點(diǎn)合成得到。Fig.3(b)是水平方向視點(diǎn)合成流程圖,以左右視點(diǎn)為參考圖像,經(jīng)3D 變換[14]將二維圖像點(diǎn)投影到三維空間點(diǎn),然后平移、旋轉(zhuǎn),再重投影到新的二維圖像點(diǎn),得到兩個(gè)初始虛擬視點(diǎn)圖像,可分別表示為

式中α ∈(0,1), 表示虛擬視點(diǎn)到右視點(diǎn)或左視點(diǎn)的距離與左、右視點(diǎn)間距的比值。I0、I1和d0、d1分別為左右參考視圖和視差圖,像素大小為為初始虛擬視點(diǎn)圖像。i= 0, 1, ··· ,C-1,j=0, 1, ··· ,R-1 分別為像素點(diǎn)和視差值在參考視圖和視差圖中的位置坐標(biāo)。通過(guò)控制α 的值可以實(shí)現(xiàn)兩視點(diǎn)之間任意位置的視點(diǎn)合成。

圖3 二維視點(diǎn)合成原理圖。 (a)橫向和縱向視點(diǎn)合成;(b)橫向視點(diǎn)合成流程圖Fig.3 Principle diagram of 2D viewpoint synthesis.(a)Horizontal and vertical viewpoint synthesis;(b)Flow chart of horizontal viewpoint synthesis

生成的視點(diǎn)圖像由于前景的遮擋會(huì)造成重影失真,結(jié)合右參考相機(jī)合成同樣位置的虛擬視點(diǎn),然后將兩個(gè)視點(diǎn)融合以減少重影失真的情況。利用線(xiàn)性融合的方式得It× Dt,融合過(guò)程可表示為

由于區(qū)域遮擋和圖像采樣率不足的問(wèn)題,融合后的圖像依然存在空洞,使用層次聚類(lèi)去遮擋填充技術(shù)[15]對(duì)融合后的深度圖進(jìn)行處理,并協(xié)助彩色圖像的修復(fù)。通過(guò)探索每個(gè)孔周?chē)噜徬袼氐纳疃确植?確定周?chē)疃绕矫娴臄?shù)量。對(duì)于每個(gè)孔洞,根據(jù)其深度值將分層聚類(lèi)應(yīng)用于其三階相鄰像素,每個(gè)像素以集群的形式開(kāi)始。每個(gè)像素均以聚類(lèi)開(kāi)始,如果兩個(gè)集群A、B 滿(mǎn)足

則進(jìn)行合并。這意味著最接近的集群首先合并,每個(gè)集群都被視為一個(gè)深度平面,當(dāng)其余集群之間的所有成對(duì)距離都超過(guò)τd時(shí),融合過(guò)程將停止。剩余最遠(yuǎn)的像素C(H)i將有助于恢復(fù)孔洞Hi,包含空洞的像素x 的填充過(guò)程可表示為

式中y ∈N3(x)∩C(Hi), N3表示三階鄰域,median 是取像素的中值。

得到多視點(diǎn)圖像陣列后,利用像素映射得到微單元圖像陣列,用于集成成像顯示過(guò)程。像素映射關(guān)系[16,17]可以表示為

式中f1、 f2是映射前、后的圖片, x、y 表示f1中的像素位置。% 是取余,是向下取整, x =(0,1,2,··· ,mi-1), y = (0,1,2,··· ,nj-1), 映射后圖片由i× j 個(gè)映射單元圖片組成, 每個(gè)映射單元圖片的像素是m×n。Fig.4 為映射的過(guò)程,映射前的圖像由2×2 個(gè)圖像組成,每個(gè)圖像的像素為3×3,映射后的圖像由3×3 個(gè)映射單元組成,每個(gè)映射單元的像素是2×2。

圖4 像素映射關(guān)系示意圖Fig.4 Schematic diagram of pixel mapping relationship

2 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證基于分層聚類(lèi)的二維視點(diǎn)合成技術(shù),可以在保證合成視點(diǎn)質(zhì)量的同時(shí)提高視點(diǎn)采集效率,使用采集平臺(tái)對(duì)三維目標(biāo)進(jìn)行成像,將所得圖像作為實(shí)際采集結(jié)果,抽取其中一部分進(jìn)行視點(diǎn)合成實(shí)驗(yàn)。Fig.5(a)為實(shí)驗(yàn)場(chǎng)景的示意圖。三維場(chǎng)景由樂(lè)高玩具組成,樂(lè)高玩具與鏡頭間距離z= 45 cm,相機(jī)焦距為50 mm,分辨率為5184 pixel×3456 pixel。樂(lè)高玩具的長(zhǎng)、寬、高大小分別約為4、5、15 cm。Fig.5(b)是相機(jī)移動(dòng)過(guò)程的示意圖,視點(diǎn)采集過(guò)程中將相機(jī)安裝在電動(dòng)平移臺(tái)上,通過(guò)電腦編程控制電動(dòng)平移臺(tái)的移動(dòng)和停止。電腦控制平移臺(tái)的水平軸和垂直軸等間隔地移動(dòng),每次移動(dòng)的距離為5 mm,以獲得相機(jī)在不同位置下拍攝到的圖像信息。在同一水平方向拍攝完成后回到初始位置,然后向垂直方向移動(dòng)一定距離,再次進(jìn)行水平方向拍攝。在相機(jī)的移動(dòng)過(guò)程中,使用遙控器控制相機(jī)對(duì)三維目標(biāo)進(jìn)行成像。

圖5 三維場(chǎng)景視點(diǎn)采集。(a)實(shí)驗(yàn)場(chǎng)景示意圖;(b)視點(diǎn)采集路徑Fig.5 3D scene viewpoint collection.(a)Schematic diagram of the experimental scene;(b)Viewpoint collection path

利用采集平臺(tái)得到9×9 多視點(diǎn)圖像陣列,記錄得到的圖像如Fig.6(a)所示。在視點(diǎn)合成實(shí)驗(yàn)過(guò)程中,抽取奇數(shù)行和列作為參考圖像,在此基礎(chǔ)上合成偶數(shù)行和列,生成一組9×9 的圖像陣列。Fig.6(b)為參考圖像,其余視點(diǎn)采用視點(diǎn)合成方法得到(α=0.5)。進(jìn)行兩組對(duì)比實(shí)驗(yàn),分別利用文獻(xiàn)[18]、[19]的方法和所提出方法進(jìn)行二維視點(diǎn)合成,用客觀(guān)評(píng)價(jià)標(biāo)準(zhǔn)峰值信噪比(PSNR)和圖像結(jié)構(gòu)相似度指標(biāo)(SSIM)對(duì)部分合成圖像與原圖像進(jìn)行計(jì)算,來(lái)衡量合成視點(diǎn)圖像的質(zhì)量,進(jìn)一步證明基于分層聚類(lèi)的二維視點(diǎn)合成技術(shù)的可靠性。計(jì)算結(jié)果如Table 1 所示,其給出了部分合成虛擬視點(diǎn)的PSNR 和SSIM 值。結(jié)果表明,文獻(xiàn)[18]方法的PSNR、SSIM 值平均為30.27 dB、0.90。文獻(xiàn)[19]方法的PSNR、SSIM 值平均為31.08 dB、0.92。所提出方法的PSNR、SSIM 值平均為34.08 dB、0.94。由計(jì)算結(jié)果可知,所提出方法的視點(diǎn)合成質(zhì)量有一定的提高;但由Table 1 的標(biāo)準(zhǔn)差可看出,所提出方法相比于另外兩種方法不夠穩(wěn)定。

圖6 稀疏視點(diǎn)圖像陣列。 (a)9×9;(b)5×5Fig.6 Sparse viewpoint image array.(a)9×9;(b)5×5

表1 部分虛擬視點(diǎn)合成圖像的PSNR(dB)和SSIMTable 1 PSNR(dB)and SSIM of partial virtual viewpoint composite image

將合成得到的虛擬視點(diǎn)和參考視點(diǎn)進(jìn)行拼接,按照Fig.4 的方法映射得到微單元圖像陣列,如Fig.7所示。由(7)式的映射關(guān)系可知,采集視點(diǎn)的數(shù)量等于每個(gè)微單元圖像的像素?cái)?shù)。每個(gè)微單元圖像包含的像素?cái)?shù)決定了顯示的質(zhì)量,因此增加采集視點(diǎn)的數(shù)量可以提升顯示的分辨率。若要提高微單元像素?cái)?shù),則需要增加視點(diǎn)采集的數(shù)量,所以隨著顯示分辨率的提高,采集視點(diǎn)數(shù)量也會(huì)大幅度增加。利用視點(diǎn)合成,可以通過(guò)控制α 的值實(shí)現(xiàn)兩視點(diǎn)之間任意位置的視點(diǎn)合成。例如,利用5×5 多視點(diǎn)圖像陣列,通過(guò)設(shè)置不同的α 值(α = 0.25, 0.5, 075),可以得到17×17 多視點(diǎn)圖像陣列,所以該方法可以提高集成成像視點(diǎn)的采集效率。

為驗(yàn)證合成的微單元圖像的可用性,用計(jì)算集成成像算法[20]實(shí)現(xiàn)對(duì)三維場(chǎng)景的重建,得到如Fig.8所示的具有不同深度值的圖像序列。Fig.8(a)、(b)分別是在47 cm、49 cm 處的重建結(jié)果?？梢钥闯?隨著重建距離的改變,物體聚焦在不同的位置,可以實(shí)現(xiàn)集成成像計(jì)算重建過(guò)程。

圖7 微單元圖像陣列Fig.7 Elemental image array

圖8 在(a)47 cm 和(b)49 cm 處的集成成像重建結(jié)果Fig.8 Integral imaging reconstruction results at(a)47 cm and(b)49 cm

3 結(jié) 論

將分層聚類(lèi)的二維視點(diǎn)合成技術(shù)應(yīng)用在集成成像系統(tǒng)中。采用編程控制采集平臺(tái)的方式獲取稀疏視點(diǎn)圖像陣列;利用部分圖像序列,合成得到多視點(diǎn)圖像序列,提高了視點(diǎn)采集效率,減少了集成成像視點(diǎn)采集過(guò)程中的拍攝成本和工作量。實(shí)驗(yàn)結(jié)果表明,該系統(tǒng)以及分層聚類(lèi)二維視點(diǎn)合成技術(shù)可以在保證合成視點(diǎn)質(zhì)量的同時(shí),有效解決視點(diǎn)采集效率較低的問(wèn)題,并且視點(diǎn)數(shù)量可以自由地控制,系統(tǒng)更加靈活,對(duì)集成成像的實(shí)際應(yīng)用有一定的理論指導(dǎo)作用。