激光水下成像系統(tǒng)輻射標定算法

肖易寒, 龐永杰, 趙藍飛

(1. 哈爾濱工程大學 信息與通信工程學院, 黑龍江 哈爾濱 150001; 2. 哈爾濱工程大學 水下機器人技術重點實驗室, 黑龍江哈爾濱 150001)

激光水下成像系統(tǒng)輻射標定算法

肖易寒1, 龐永杰2, 趙藍飛1

(1. 哈爾濱工程大學 信息與通信工程學院, 黑龍江 哈爾濱 150001; 2. 哈爾濱工程大學 水下機器人技術重點實驗室, 黑龍江哈爾濱 150001)

摘要：由于像增強器的非線性響應破壞了散斑噪聲的統(tǒng)計規(guī)律，因此直接對激光水下圖像進行散斑噪聲抑制得到的圖像復原結果受到非線性響應的約束。為了恢復散斑噪聲的固有特性，本文提出一種對光暈具有魯棒性的輻射標定算法。這種輻射標定算法通過灰階映射函數(shù)以及積分時間增量，將非線性響應曲線的非線性部分轉化為線性部分，再通過線性插值標定出像增強器對于激光信號的非線性響應關系，從而達到恢復散斑噪聲的分布規(guī)律，提高噪聲抑制效果的目的。通過實驗對比了輻射標定前、后激光水下圖像的噪聲抑制效果，驗證了本文算法能夠有效地提高散斑噪聲的抑制效果。

關鍵詞：輻射標定；像增強器；激光水下圖像；散斑噪聲；相機響應函數(shù)；光暈

網(wǎng)絡出版地址：http://www.cnki.net/kcms/detail/23.1390.U.20160411.0845.020.html

隨著人類日益增多的海洋活動，水下成像技術已經(jīng)成為人類了解海洋的一種重要手段。水下成像技術面臨的主要挑戰(zhàn)是如何克服水體對于光線的吸收、散射等作用產(chǎn)生的獨特的噪聲對于圖像質量的影響。常用的水下成像技術包括普通光源成像，水下激光成像。由于水中介質對自然光的衰減作用較強，普通光源成像的距離較短，形成的水下圖像的質量較差。采用具有較好的通透性的激光光源能夠在一定程度上抑制介質對于光線的衰減以及后向散射的作用，水下圖像的傳輸距離、成像精度、噪聲抑制能力均優(yōu)于普通光源成像。

雖然激光水下成像系統(tǒng)能夠在一定程度上降低了水下介質對于散射作用，但是圖像仍然受到由于后向散射所引起的散斑噪聲的影響[1]。又由于像增強器的非線性特征在一定程度上改變了散斑噪聲的統(tǒng)計特性，因此激光水下圖像的噪聲效果受到了像增強器非線性響應的限制。本文研究了像增強器的非線性響應函數(shù)(camera response function, CRF)以及逆響應函數(shù)(inverse camera response function, ICRF)[2]對于去噪算法的影響；在此基礎上提出了一種對于光暈具有魯棒性的輻射標定算法用于提高水下激光圖像的噪聲抑制效果。

1研究背景

1.1像增強器的非線性特性

像增強器是光路接收器的核心器件，主要由光陰極、微通道板(microchannel plate, MCP)、熒光屏、光纖、CCD組成。理想的像增強器是線性器件，然而在實際環(huán)境中，MCP、光纖都會對輸入信號產(chǎn)生一定程度的非線性影響，從而導致像增強器的ICRF具有非線性特性。實際情況和理想狀態(tài)下，像增強器的響應如圖1所示。

圖1　線性ICRF以及非線性ICRFFig.1　Linear ICRF and nonlinear ICRF

1.2非線性響應對于抑制散斑噪聲的影響

(1)

對式(1)兩邊同時取期望，由于散斑噪聲與有用信號統(tǒng)計獨立，則xi的局部均值為

(2)

對式(1)兩邊同時乘方再取期望，根據(jù)xi的局部均值表達式得到xi的局部方差：

(3)

(4)

通過式(4)可知，如果直接對輸出的灰度圖像進行Kalman濾波，則圖像復原結果與理論值存在一定的理論誤差。

1.3輻射度標定

傳統(tǒng)的輻射標定方法通過查表以及不斷改變?nèi)肷涔庠摧椛涠龋瑯硕ǔ鋈肷涔庾右约跋到y(tǒng)響應之間的對應關系[4-5]。由于制造工藝以及水下物質的衰減作用導致真實的輻照度與查表得到的理論值存在誤差。另一種常用的輻射度標定方法是基于多曝光圖像的輻射標定方法。這類方法的前提條件是相機位置需要保持絕對靜止，如果相機出現(xiàn)微小的移位則會出現(xiàn)光暈現(xiàn)象。

2標定算法原理

2.1灰階映射

設函數(shù)f是g的反函數(shù)，輻射標定的目標是求解g(0),g(1),...,g(255)。令li是灰階i的輻射度，tj是積分時間，yi.j是灰階i在j次積分的灰階值：

(5)

這里將li在積分時間tj、tj+1對應的灰階yi,j、yi,j+1定義為灰階映射。根據(jù)式(5)可知yi,j、yi.j+1滿足以下約束關系：

(6)

設函數(shù)H(·)表示概率分布函數(shù)，C(·)表示累積概率分布函數(shù)，則存在以下引理和定理。

證明因為h具有嚴格的單調性，則li與f(li)存在一一映射的關系。因此li與對應的f(li)出現(xiàn)的概率相等。證畢。

定理1 同一光照輻射度在相鄰兩個曝光圖像中對應灰階的累積概率分布相等，即C(yi,j)=C(yi,j+1)。

證明在灰度序列中對yi,j進行累積分布運算得到以下表達式：

(7)

根據(jù)累積分布函數(shù)的定義，式(7)可以變換為以下形式：

(8)

由于f是嚴格單調增加的函數(shù)，根據(jù)引理1，式(8)可以變換為以下形式：

(9)

設h(k)=t·k，顯然h是一個嚴格單調增加的函數(shù)，根據(jù)引理1，式(9)可以轉化為

(10)

(11)

同理可得yi,j+1的累積分布如式(12)所示：

(12)

根據(jù)約束條件(6)可知式(11)與(12)的累加范圍相等，因此C(yi,j)=C(yi,j+1)。證畢。

根據(jù)定理1可知，只要在j+1幅圖像中找到對應的yi,j+1，使yi,j+1的累積分布與yi,j相等，則yi,j+1是yi,j的灰階映射。

2.2遞推表達式

假設積分時間的初始條件是yi.1=i，根據(jù)灰階映射滿足等式(6)的約束關系，則初次積分與二次積分的灰階映射如式(13)所示：

(13)

同理g(yi,2)如式(14)所示：

(14)

將fCRF函數(shù)作用于式(14)的等號兩側

(15)

將式(15)代入式(13)得到經(jīng)過三次曝光之后灰階i對應的輻射度如式(16)所示：

(16)

以此類推可以得到N次曝光后灰階i對應的灰階映射的通項公式：

(17)

根據(jù)式(17)可知只要g(yi,N)的表達式已知，則能夠得到g(i)的標定結果。

2.3積分時間增量

將多曝光圖像按照積分時間從大到小的順序進行排列，當積分時間足夠大時存在以下關系yi,1>yi,2>…>yi,j≈0。根據(jù)圖1可知當灰階yi,j足夠小時，可以將ICRF近似為線性函數(shù)，所以這里將ICRF分解為非線性曲線和線性曲線兩部分，利用遞推的思想將響應強度較高的非線性部分轉化為響應強度較低的線性部分。

(18)

將等式(18)在(tj+△ti,j)·li=tj·li進行一階泰勒級數(shù)展開：

(19)

同理j+1時刻的表達式：

(20)

聯(lián)立式(19)、(20)得到△ti,j的表達式：

(21)

通過式(21)可以得到灰階i對應的積分時間增量序列，即△ti,1,△ti,2,...,△ti,N。根據(jù)式(17)得到引入時間增量后ICRF表達式：

(22)

2.4線性部分標定

因為ICRF曲線端點的灰階值分別是0和1，所以采用0和255作為參考點，通過線性插值對ICRF的線性部分進行估計。設灰階i與0距離最近的灰度映射是yi,mi，mi是yi,mi的曝光次數(shù)，則ICRF為

(23)

(24)

(25)

將式(25)代入式(23)中，將ICRF的遞推關系重新寫為以下形式：

(26)

3實驗結果與數(shù)據(jù)分析

實驗部分通過脈寬為50 ns的激光器和最小門寬為15 ns的增強型CCD構成距離選通激光水下成像系統(tǒng)。

3.1輻射標定噪聲抑制效果的影響

實驗部分首先對圖像Lena進行散斑噪聲進行污染；通過如圖1所示的ICRF進行非線性變換；通過對比輻射標定前、后，恢復圖像的主觀效果以及峰值信噪比(peak signal noise ratio, PSNR)、結構相似度(structural similarity index measurement, SSIM)[6]，驗證了本文算法的有效性。圖2～4分別是通過Sarode算法[3]、Kaur算法[7]、Hoque算法[8]獲得的圖像恢復結果。

圖2　Sarode算法復原結果Fig.2　Sarode algorithm restoration results

圖3　Kaur算法復原結果Fig.3　Kaur algorithm restoration results

圖4　Hoque算法復原結果Fig.4　Hoque algorithm restoration results

算法名稱SSIM標定前標定后PSNR標定前標定后Sarode0.8240.87536.245.7Kaur0.7980.85733.441.8Hoque0.7740.84432.140.8

從圖2～4可以看出同種噪聲抑制算法對于輻射標定后的散斑噪聲抑制效果好于未加入輻射標定的對應的恢復圖像。相比于未加入輻射標定的圖像復原結果，輻射標定后對應的恢復圖像局部的顆粒效果以及灰度的起伏得到明顯的抑制，圖像整體的噪聲抑制能力得到顯著的提高。表1是圖2～4對應的SSIM以及PSNR，從表1可知經(jīng)過輻射標定后，SSIM以及PSNR均高于標定前，說明輻射標定有助于改善散斑噪聲的抑制效果，加入輻射標定后圖像的復原結果與原始圖像的相似度較高。

3.2輻射標定對于噪聲抑制算法的影響

由于多曝光圖像對應同一場景，因此線性圖像亮度分布規(guī)律需要盡可能的保持一致。本文采用線性多曝光圖像的亮度方差來測量輻射標定方法對于光暈的抑制程度，線性多曝光圖像的方差為

(27)

式中：φ是線性多曝光圖像的均值；γ描述了圖像的亮度分布與亮度均值的偏移程度，如果γ的值越小，說明輻射標定后圖像的亮度分布距離亮度均值較近，標定函數(shù)抑制光暈的效果越好，反之亦然。圖5是通過調整像增強器的積分時間得到的多曝光圖像。

圖5　立方體對應的多曝光圖像Fig.5　Multi exposure image of a cube

圖6　立方體的噪聲圖像復原結果Fig.6　Noise image restoration results of a cube

圖7　橢圓形的噪聲圖像復原結果Fig.7　Noise image restoration results of a ellipse

圖8　不同算法的輻射標定結果Fig.8　Radiation calibration results of different algorithms

圖6、7分別是通過Sarode[3]算法得到的立方體、橢圓形的恢復圖像。圖8是通過線性方法、Debevec算法[9]、Granados算法[10]、本文算法標定的ICRF。

表2是4種ICRF標定方法對應的γ值，可以看出經(jīng)過輻射標定后，本文算法對應的亮度的方差小于其他輻射標定法，說明輻射標定后圖像序列能夠最大程度地保證同一場景的亮度分布規(guī)律，因此本文算法對于光暈具有較高的魯棒性。

表2　不同算法對應的γ值

4結束語

本文研究了像增強器的非線性響應對于散斑噪聲抑制算法的影響，提出一種對于光暈具有魯棒性的輻射標定算法。通過實驗，驗證了在噪聲抑制算法之前先對增強器進行輻射標定有助于提高激光水下圖像的散斑噪聲抑制效果。

參考文獻：

[1]SAVAGE L. Underwater imaging gets clearer[J]. Optics and photonics news, 2013, 24(7): 30-37.

[2]KIM S, TAI Y W, KIM S J, et al. Nonlinear camera response functions and image deblurring[C]//Proceedings of computer vision and pattern recognition, IEEE, 2012: 25-32.

[3]SARODE M V, DESHMUKH P R. Reduction of speckle noise and image enhancement of images using filtering technique[J]. International journal of advancements in technology, 2011, 2(1): 30-38.

[4]ZHAO Y, ZHANG L, YAN F, et al. Linearity measurement for image-intensified CCD[C]//Proceeding of international symposium on advanced optical manufacturing and testing technologies, 2010: 765637-765637-5.

[6]WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE transactions on image processing, 2004, 13(4): 600-612.

[7]KAUR A, SINGH K. Speckle noise reduction by using wavelets[C]//Proceeding of national conference on computational instrumentation,Chandigarh,India, 2010: 198-203.

[8]HOQUE M R, RASHED-AL-MAHFUZ M. A new approach in spatial filtering to reduce speckle noise[J]. International journal of soft computing and engineering, 2011,6(1): 2231-2307.

[9]DEBEVEC P E, MALIK J. Recovering high dynamic range radiance maps from photographs[C]//Proceeding of ACM SIGGRAPH 2008 classes. New York: ACM Press, 2008: 31.

[10]GRANADOS M, AJDIN B. WAND M, et al. Optimal HDR reconstruction with linear digital cameras[C]//Proceeding of IEEE conference on computer vision and pattern recognition. San Francisco: IEEE, 2010: 215-222.

本文引用格式：

肖易寒, 龐永杰, 趙藍飛. 激光水下成像系統(tǒng)輻射標定算法[J]. 哈爾濱工程大學學報， 2016, 37(5): 738-742.

XIAO Yihan, PANG Yongjie, ZHAO Lanfei. A radiometric calibration algorithm for an underwater laser-imaging system[J]. Journal of Harbin Engineering University, 2016, 37(5): 738-742.

A radiometric calibration algorithm for an underwater laser-imaging system

XIAO Yihan1, PANG Yongjie2, ZHAO Lanfei1

(1. College of Information and Communication Engineering, Harbin Engineering University, Harbin 150001, China; 2. Science and Technology on Underwater Vehicle Laboratory, Harbin Engineering University, Harbin 150001, China)

Abstract：Because the nonlinear response of an image intensifier influences the distribution of inherent noise, the effect of speckle noise reduction is limited through the laser's underwater low light level images. In order to recover the distribution of the inherent noise, this paper proposes a radiometric calibration algorithm that is robust to halos; the algorithm is used to calibrate the nonlinear response function of the image intensifier. This algorithm employs a gray-scale mapping function and an integral time increment to transform the nonlinear response into a linear response. Subsequently, the linear interpolation is employed to calibrate the nonlinear response of the image intensifier with regard to laser radiance. The distribution of inherent noise is thereby restored, which contributes to improving the effect of speckle noise reduction. In the experimental section, we compare the restoration with a radiometric calibration and with a conventional speckle-reduction algorithm. The comparison illustrates that this algorithm effectively improves the performance of speckle noise reduction.

Keywords：radiometric calibration; image intensifier; laser underwater low light level image; speckle noise; camera response function; halo

收稿日期：2014-11-01.

基金項目：國家自然科學基金資助項目(51179035/51279221)；中央高?；究蒲袠I(yè)務費專項資金資助(HEUCF160802).

作者簡介：肖易寒(1980-), 女, 講師,博士; 通信作者：肖易寒, E-mail：yihan9999@sohu.com.

DOI:10.11990/jheu.201411061

中圖分類號：TP391.41

文獻標志碼：A

文章編號：1006-7043(2016)05-0738-05

網(wǎng)絡出版時間：2016-04-11.

龐永杰(1955-), 男, 教授,博士生導師.