基于圖像評(píng)價(jià)的周視成像參數(shù)優(yōu)化設(shè)計(jì)

宋 亞，邢 剛，蔡 榮

(華北光電技術(shù)研究所，北京100015)

1 引言

可見(jiàn)光周視成像是把360°視場(chǎng)的景物實(shí)時(shí)顯示出來(lái)，這在監(jiān)控、搜索等多種系統(tǒng)中都有應(yīng)用，目前成熟的解決方案有全景功能相機(jī)、球面攝像機(jī)等。全景功能相機(jī)是通過(guò)緩慢移動(dòng)相機(jī)采集圖像，再通過(guò)圖像的配準(zhǔn)和融合實(shí)現(xiàn)功能，完成一幅全景圖像用時(shí)較長(zhǎng)且二次處理不方便;球面攝像機(jī)可以同時(shí)對(duì)安裝點(diǎn)位中心的半球空間取景，但是圖像質(zhì)量不佳［1－2］。對(duì)于監(jiān)控、搜索等系統(tǒng)來(lái)說(shuō)，目標(biāo)移動(dòng)速度快慢不定，應(yīng)用環(huán)境復(fù)雜，要求系統(tǒng)有足夠的反應(yīng)時(shí)間和環(huán)境適應(yīng)性，因此需要可見(jiàn)光周視成像系統(tǒng)在高成像質(zhì)量的前提下，圖像刷新速率足夠高且可調(diào)，現(xiàn)有成熟的方案滿足不了這個(gè)要求。

基于上述分析，本文采用在高速運(yùn)動(dòng)中采集360°全景圖像的思路，提出了一種基于圖像評(píng)價(jià)的可見(jiàn)光周視成像參數(shù)優(yōu)化設(shè)計(jì)方法:將相機(jī)固定在高速旋轉(zhuǎn)的轉(zhuǎn)臺(tái)上采集不同方位圖像，并對(duì)不同方位的圖像進(jìn)行拼接得到360°全景圖像。系統(tǒng)可以通過(guò)調(diào)整轉(zhuǎn)臺(tái)轉(zhuǎn)速控制全景圖像刷新速率，并基于圖像質(zhì)量評(píng)價(jià)系統(tǒng)選擇相機(jī)最優(yōu)參數(shù)，進(jìn)而得到優(yōu)質(zhì)圖像。本文依據(jù)應(yīng)用場(chǎng)景的特點(diǎn)選取了多種評(píng)價(jià)函數(shù)并對(duì)其進(jìn)行綜合加權(quán)，以求結(jié)果能夠更切合實(shí)際。

2 原理及分析

2．1 系統(tǒng)工作原理

系統(tǒng)的工作原理是將可見(jiàn)光相機(jī)固定在轉(zhuǎn)臺(tái)之上，通過(guò)轉(zhuǎn)臺(tái)的高速轉(zhuǎn)動(dòng)，對(duì)不同的方位場(chǎng)景進(jìn)行成像，通過(guò)圖像拼接實(shí)現(xiàn)周視全景實(shí)時(shí)成像。在轉(zhuǎn)臺(tái)高速運(yùn)動(dòng)的過(guò)程中，相機(jī)隨著轉(zhuǎn)臺(tái)一起轉(zhuǎn)動(dòng)，并對(duì)不同方位的場(chǎng)景進(jìn)行成像;圖像數(shù)據(jù)通過(guò)轉(zhuǎn)臺(tái)滑環(huán)傳輸?shù)焦た貦C(jī)進(jìn)行存儲(chǔ);對(duì)單幀的可見(jiàn)光圖像進(jìn)行評(píng)價(jià)，根據(jù)評(píng)價(jià)結(jié)果調(diào)整成像參數(shù)，反饋到系統(tǒng)中;最后將最優(yōu)的圖像進(jìn)行拼接，實(shí)現(xiàn)清晰的周視圖像。系統(tǒng)的架構(gòu)如圖1所示。

圖1 系統(tǒng)架構(gòu)

可見(jiàn)光相機(jī)在運(yùn)動(dòng)的情況下成像，會(huì)造成圖像的模糊，而且圖像質(zhì)量會(huì)隨著模糊程度的增加變差。之所以會(huì)產(chǎn)生模糊是由于相機(jī)在曝光的時(shí)候與景物有相對(duì)運(yùn)動(dòng)，所以說(shuō)轉(zhuǎn)臺(tái)轉(zhuǎn)速和曝光時(shí)間共同決定了模糊的程度，了解兩者之間的關(guān)系能夠解決這個(gè)問(wèn)題。

2．2 運(yùn)動(dòng)模糊分析

當(dāng)相機(jī)和景物產(chǎn)生相對(duì)運(yùn)動(dòng)時(shí)，由于相機(jī)曝光需要時(shí)間，景物在成像上會(huì)產(chǎn)生位移，也就是拖影。結(jié)合本文實(shí)際模型，運(yùn)動(dòng)模糊產(chǎn)生的拖影大小可按下式計(jì)算:

其中，σ為拖影像素大小;ν為轉(zhuǎn)臺(tái)轉(zhuǎn)速;t為曝光時(shí)間;n為運(yùn)動(dòng)方向像元數(shù);θ為運(yùn)動(dòng)方向視場(chǎng)角。因?yàn)槿祟愐曈X(jué)對(duì)50個(gè)像素以內(nèi)的區(qū)域模糊可以接受，取轉(zhuǎn)臺(tái)轉(zhuǎn)速360°/s時(shí)，曝光時(shí)間應(yīng)在1～0．1 ms區(qū)域內(nèi)調(diào)整。一般成像質(zhì)量主要體現(xiàn)在圖像清晰度和亮度等方面，而曝光時(shí)間是影響圖像的亮度和清晰度的主要因素之一，所以如何在短曝光時(shí)間和高清晰度之間找到平衡點(diǎn)是問(wèn)題所在。本文提出了一種綜合多個(gè)質(zhì)量評(píng)價(jià)函數(shù)的方法尋找合適的曝光時(shí)間，并通過(guò)圖像評(píng)價(jià)結(jié)果修正相機(jī)參數(shù)，最終得到了最優(yōu)圖像。

3 基于圖像評(píng)價(jià)的系統(tǒng)參數(shù)最優(yōu)化設(shè)計(jì)

3．1 圖像分類

一般情況可把圖像分為兩大類:天空背景和地面背景。天空背景較為單純，主要觀測(cè)飛機(jī)、鳥(niǎo)類等小目標(biāo)。由于背景單一，目標(biāo)少且多為云等邊界模糊的物體，所以主要考慮的問(wèn)題是不同曝光時(shí)間所帶來(lái)的彩色度的變化。相比于天空背景，地面背景更為復(fù)雜，目標(biāo)多樣且大小不一，主要分為樹(shù)木和建筑。樹(shù)木的輪廓和細(xì)節(jié)明顯，而建筑的紋理更為突出，這些特點(diǎn)都屬于清晰度范疇。所以本文中影響圖像質(zhì)量的因素主要有兩個(gè):清晰度和彩色度，圖像質(zhì)量的評(píng)價(jià)應(yīng)為清晰度評(píng)價(jià)和彩色度評(píng)價(jià)的綜合加權(quán)。同時(shí)對(duì)于不同的目標(biāo)，評(píng)價(jià)的側(cè)重點(diǎn)也會(huì)有所區(qū)別，以保證結(jié)果更真實(shí)。

3．2 圖像評(píng)價(jià)函數(shù)

圖像清晰度評(píng)價(jià)有多種不同的方法［3］，本文選取的是梯度函數(shù)和能量譜函數(shù)。梯度函數(shù)對(duì)于邊緣和紋理的信息表現(xiàn)好，適合建筑物的評(píng)價(jià);能量譜函數(shù)的抗噪聲能力好，靈敏度較高，對(duì)細(xì)節(jié)繁雜的樹(shù)木評(píng)價(jià)有優(yōu)勢(shì)［4］。最終把梯度函數(shù)和能量譜函數(shù)綜合加權(quán)作為對(duì)清晰度的評(píng)價(jià)。而對(duì)于如何評(píng)價(jià)一幅自然圖像的總體色彩程度目前還沒(méi)有一個(gè)統(tǒng)一的標(biāo)準(zhǔn)，本文依據(jù)Hasler等人提出了一個(gè)衡量彩色程度的算法來(lái)對(duì)圖像彩色度進(jìn)行評(píng)價(jià)［5］。

(1)拉普拉斯梯度:用拉普拉斯八鄰域模板得到每個(gè)像素的拉普拉斯梯度，然后用所有像素的拉普拉斯梯度平均值做清晰度評(píng)價(jià)值，清晰度度量為式(2):

(2)能量譜:根據(jù)傅里葉光學(xué)理論，圖像的清晰程度主要由光強(qiáng)分布中高頻分量的多少?zèng)Q定，因此可以用圖像光強(qiáng)分布的高頻分量的含量多少作為圖像聚焦評(píng)價(jià)函數(shù)的主要依據(jù):

(3)彩色度算法:算法首先是通過(guò)主觀評(píng)價(jià)實(shí)驗(yàn)對(duì)大量圖像分級(jí)，然后從12個(gè)圖像特征參數(shù)中選出各個(gè)子集的線性組合來(lái)表示彩色程度，最終由和實(shí)驗(yàn)結(jié)果相關(guān)性最大這個(gè)評(píng)判標(biāo)準(zhǔn)決定了參數(shù)。結(jié)果如下:

其中，rg=r－g，yb=0．5(r+g)－b，σ，μ 代表像素在顏色空間內(nèi)的標(biāo)準(zhǔn)方差和均值。

綜合上述評(píng)價(jià)函數(shù)，本文所采用的圖像質(zhì)量評(píng)價(jià)函數(shù)為:

其中，a1，a2，a3為權(quán)系數(shù)。當(dāng)應(yīng)用場(chǎng)景為地面且多為建筑物時(shí)，a1較大;地面樹(shù)木較多時(shí)，a2較大;當(dāng)應(yīng)用場(chǎng)景為天空時(shí)，a3較大。總之根據(jù)圖像內(nèi)容的不同權(quán)系數(shù)會(huì)有所區(qū)別。

3．3 基于圖像評(píng)價(jià)的系統(tǒng)參數(shù)最優(yōu)設(shè)計(jì)方法

本文選擇最優(yōu)化參數(shù)的流程如下:首先確定轉(zhuǎn)臺(tái)轉(zhuǎn)速，根據(jù)轉(zhuǎn)速可以粗定相機(jī)曝光時(shí)間在大區(qū)間［a，b］內(nèi)調(diào)整，并根據(jù)不同的應(yīng)用場(chǎng)景，確定評(píng)價(jià)函數(shù)的權(quán)系數(shù);然后選擇區(qū)間［a，b］內(nèi)等距離的n=1，2，…，N個(gè)點(diǎn)做粗定位，從這個(gè)區(qū)間內(nèi)根據(jù)評(píng)價(jià)結(jié)果選出最優(yōu)值所在小區(qū)間［c，d］;再?gòu)男^(qū)間［c，d］內(nèi)選擇等距離的m=1，2，…，M個(gè)點(diǎn)做精定位，根據(jù)評(píng)價(jià)結(jié)果所得出的曝光時(shí)間即為此應(yīng)用情景下的最優(yōu)參數(shù)。方法流程如圖2所示。

圖2 流程圖

4 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)相機(jī)選擇的是PhotonFocus公司的MVD640c，分辨率為640×480，相機(jī)鏡頭焦距75 mm。采集數(shù)據(jù)時(shí)轉(zhuǎn)臺(tái)轉(zhuǎn)速固定為360°/s，相機(jī)幀頻定為100 Hz保持不變。此時(shí)曝光時(shí)間從100～1000μs，粗定位時(shí)曝光步長(zhǎng)定為200μs。

4．1 采集結(jié)果

(1)房屋:圖3為轉(zhuǎn)臺(tái)轉(zhuǎn)速360°/s時(shí)的房屋圖像(注:曝光時(shí)間低于200μs時(shí)由于采光不足開(kāi)啟相機(jī)增益×2功能)。

圖3 粗定位的房屋圖像

嘗試不同的參數(shù)選擇，根據(jù)圖像評(píng)價(jià)的與主觀一致性、尖銳性、單峰性等標(biāo)準(zhǔn)，最終選擇a1=0．4，a2=0．3，a3=0．3。根據(jù)粗定位的結(jié)果，可以確定最優(yōu)化參數(shù)范圍是100～200μs之間。精定位時(shí)步長(zhǎng)定為20μs，圖像如圖4所示。房屋圖像質(zhì)量評(píng)價(jià)結(jié)果如表1所示。由綜合評(píng)價(jià)函數(shù)算出的圖像質(zhì)量，從評(píng)價(jià)數(shù)據(jù)中可以看出160μs為理想曝光時(shí)間，并且符合主觀評(píng)價(jià)。

圖4 精定位的房屋圖像

表1 房屋圖像質(zhì)量評(píng)價(jià)結(jié)果

(2)樹(shù)木:應(yīng)用場(chǎng)景為樹(shù)木和天空時(shí)流程基本不變。精定位區(qū)間大致相同，所以直接給出。圖5為轉(zhuǎn)臺(tái)轉(zhuǎn)速360°/s時(shí)的樹(shù)木圖像。

圖5 不同曝光時(shí)間下的樹(shù)木

根據(jù)圖像評(píng)價(jià)的與主觀一致性、尖銳性、單峰性等標(biāo)準(zhǔn)，最終選擇a1=0．3，a2=0．4，a3=0．3。由綜合評(píng)價(jià)函數(shù)算出各圖像的質(zhì)量，從評(píng)價(jià)數(shù)據(jù)中可以看出160μs為理想曝光時(shí)間，符合主觀評(píng)價(jià)。

(3)天空:圖6為轉(zhuǎn)臺(tái)轉(zhuǎn)360°/s時(shí)的天空?qǐng)D像。根據(jù)圖像評(píng)價(jià)的與主觀一致性、尖銳性等標(biāo)準(zhǔn)，最終選擇a1=0．2，a2=0．2，a3=0．6。由綜合評(píng)價(jià)函數(shù)算出各圖像的質(zhì)量，從評(píng)價(jià)數(shù)據(jù)中可以看出180μs為理想曝光時(shí)間，符合主觀評(píng)價(jià)。

圖6 不同曝光時(shí)間下的天空

天空?qǐng)D像質(zhì)量評(píng)價(jià)結(jié)果如表2所示。

表2 天空?qǐng)D像質(zhì)量評(píng)價(jià)結(jié)果

綜合以上結(jié)果:當(dāng)轉(zhuǎn)臺(tái)轉(zhuǎn)速為1圈/秒、圖像為地面目標(biāo)時(shí)，曝光時(shí)間以160μs為最佳，圖像為天空目標(biāo)時(shí)，曝光時(shí)間以180μs為最佳。

4．2 圖像拼接結(jié)果

由于在室內(nèi)進(jìn)行實(shí)驗(yàn)，窗內(nèi)外光照差別很大，不能保證對(duì)360°景物的同時(shí)清晰成像，以下圖像均為窗外景物的成像，但足以作為結(jié)果說(shuō)明情況。

轉(zhuǎn)臺(tái)轉(zhuǎn)速1圈/秒時(shí)的拼接結(jié)果如圖7所示。

從拼接結(jié)果可以看出圖像細(xì)節(jié)清晰，拼接效果良好，全景圖像刷新速率可調(diào)，并且能夠適應(yīng)不同的應(yīng)用場(chǎng)景，根據(jù)設(shè)備擺放位置、俯仰角度變化等所帶來(lái)的應(yīng)用場(chǎng)景變化相應(yīng)的改變相機(jī)參數(shù)，保證每一場(chǎng)景系統(tǒng)都有高質(zhì)量的圖像。

5 結(jié)束語(yǔ)

本文提供了一種基于圖像評(píng)價(jià)的實(shí)時(shí)顯示360°周視圖像的方法，通過(guò)將可見(jiàn)光相機(jī)固定在轉(zhuǎn)臺(tái)之上隨之高速轉(zhuǎn)動(dòng)，對(duì)不同的方位場(chǎng)景進(jìn)行成像實(shí)現(xiàn)了功能，并對(duì)不同應(yīng)用場(chǎng)景圖像的清晰度和彩色度綜合評(píng)價(jià)做出了最優(yōu)化圖像的選擇。最終圖像細(xì)節(jié)清晰，具有實(shí)時(shí)顯示功能，能夠根據(jù)應(yīng)用要求改變相機(jī)、鏡頭焦距、圖像刷新速率等，適用于各個(gè)領(lǐng)域。

本方法還存在很多不足之處需要改進(jìn):本文只對(duì)三種背景做了參數(shù)選擇，但實(shí)際應(yīng)用環(huán)境會(huì)復(fù)雜的多，應(yīng)引入自動(dòng)評(píng)價(jià)和自動(dòng)調(diào)整曝光時(shí)間、光圈等功能來(lái)適應(yīng)不同環(huán)境;圖像預(yù)處理時(shí)缺少圖像復(fù)原步驟，這對(duì)于改善圖像質(zhì)量有很大幫助，是系統(tǒng)下一步的研究方向。

［1］ Song L，Lin Y C，Liu Q H，et al．Novel evaluation model for different-source image fusion quality［J］．Laser＆ Infrared，2010，40(1):99 －102．(in Chinese)

宋樂(lè)，林玉池，劉啟海，等．一種新型異源圖像融合質(zhì)量評(píng)價(jià)模型［J］．激光與紅外，2010，40(1):99 －102．

［2］ He SH，Shao X F，Yang CQ，etal．Analysis for the cylinder image quality of hyperbolic-catadioptric panorama image system ［J］．Laser ＆ Infrared，2012，42(2):187:191．(in Chinese)

何四華，邵曉方，楊紹清，等．雙曲面折反射全景成像柱面展開(kāi)圖像質(zhì)量分析［J］．激光與紅外，2012，42(2):187:191．

［3］ Jiang G Y，Huang D J，Wang X，et al．Overview on image quality assessmentmethods［J］．Journal of Electronics ＆Information Technology，2011，32(1):219 － 224．(in Chinese)

蔣剛毅，黃大江，王旭，等．圖像質(zhì)量評(píng)價(jià)方法研究進(jìn)展［J］．電子與信息學(xué)報(bào)，2010，32(1):219－224．

［4］ Pang SL．Image ambiguity evaluation studies［D］．Xi'an:Xidian University，2010．(in Chinese)

龐勝利．圖像模糊度評(píng)價(jià)研究［D］．西安:西安電子科技大學(xué)，2010．

［5］ D Hasler．Measuring colorfulness in natural images［J］．IS ＆ T/SID Electronic Imaging，2003．