基于最小二乘法B樣條曲線的視頻去霧研究

劉佳佳，易淑鈴，姚佳俊，林 春，謝從華

（常熟理工學(xué)院 計(jì)算機(jī)科學(xué)與工程學(xué)院，江蘇 常熟 215500）

基于最小二乘法B樣條曲線的視頻去霧研究

劉佳佳，易淑鈴，姚佳俊，林 春，謝從華

（常熟理工學(xué)院 計(jì)算機(jī)科學(xué)與工程學(xué)院，江蘇 常熟 215500）

針對現(xiàn)有視頻圖像去霧存在信息丟失導(dǎo)致視頻抖動的問題，提出了基于最小二乘法的B樣條曲線的視頻去霧方法. 首先，利用快速Harris角點(diǎn)檢測提取視頻關(guān)鍵幀的特征點(diǎn)；其次，對視頻序列圖像幀的特征點(diǎn)進(jìn)行匹配；再次，基于最小二乘法利用關(guān)鍵幀像素點(diǎn)的估計(jì)非關(guān)鍵幀對應(yīng)像素點(diǎn)的值點(diǎn)；最后，輸出穩(wěn)定完整的視頻序列. 實(shí)驗(yàn)結(jié)果表明，該算法利用曲線構(gòu)建對特征點(diǎn)的處理能夠有效地消除視頻抖動現(xiàn)象.

最小二乘法；B樣條；視頻去霧

1 引言

戶外視頻監(jiān)控系統(tǒng)廣泛應(yīng)用于道路監(jiān)控、車輛自動駕駛系統(tǒng)、智慧城市和交通、軍事和刑偵應(yīng)用、氣象及天文學(xué)等領(lǐng)域. 霧霾天氣下，視頻監(jiān)控成像系統(tǒng)所捕獲的圖像色彩暗淡、對比度變低，圖像質(zhì)量的嚴(yán)重退化，嚴(yán)重影響它們的應(yīng)用范圍. 視頻實(shí)時去霧可以恢復(fù)戶外視頻系統(tǒng)的可視性，具有巨大的應(yīng)用價(jià)值.

在視頻去霧過程中，雖然可以通過增強(qiáng)有霧圖像的對比度得到清晰的圖像，但對比度的過度增強(qiáng)可能會截?cái)嘞袼刂?，造成信息丟失而引起視頻在局部出現(xiàn)閃爍、抖動現(xiàn)象. 目前，主要的視頻穩(wěn)像方法有灰度投影法［1］、相位相關(guān)法［2］、光流法［3］和特征點(diǎn)法［4-5］等.

灰度投影法，先將圖像進(jìn)行行、列方向的灰度投影，計(jì)算出行、列的運(yùn)動矢量，最后對其進(jìn)行運(yùn)動補(bǔ)償. 但當(dāng)場景比較簡單時，像素具有較高的空間相似性，此時估算出的全局運(yùn)動矢量，很容易引起誤差. 相位相關(guān)法對光照變化不明顯，對只存在較大平移因子的場景具有較好的穩(wěn)像效果，但該方法需要較大的計(jì)算量，并且難以對旋轉(zhuǎn)因子和縮放因子進(jìn)行運(yùn)動補(bǔ)償. 光流法主要是利用圖像序列中的像素強(qiáng)度數(shù)據(jù)的時域變化和相關(guān)性來確定各自像素位置的“運(yùn)動”. 傳統(tǒng)的稠密型光流計(jì)算量比較大，在大位移運(yùn)動的情況下，光流誤差較大，但是光流法的優(yōu)點(diǎn)在于光流法不僅攜帶了運(yùn)動物體的運(yùn)動信息，而且還攜帶了相關(guān)景物三維結(jié)構(gòu)豐富信息，能夠比較好地刻畫目標(biāo)運(yùn)動的過程. 特征點(diǎn)法首先用相鄰兩幀匹配的特征點(diǎn)作為匹配基元，提取有效特征集進(jìn)行幀間運(yùn)動估計(jì)，算出全局運(yùn)動參數(shù). 特征點(diǎn)具有一定的代表性，對于不同場景有較好的適應(yīng)性，因此這類方法得到廣泛的關(guān)注和應(yīng)用. 但是現(xiàn)有方法缺乏利用有效關(guān)鍵幀的信息和保持空間一致性，導(dǎo)致視頻去霧存在抖動現(xiàn)象. 為此，本文提出一種基于B樣條曲線擬合的視頻去霧方法，對視頻幀中的關(guān)鍵幀進(jìn)行特征點(diǎn)提取并進(jìn)行數(shù)據(jù)參數(shù)化后，利用最小二乘法的B樣條曲線估計(jì)非關(guān)鍵楨的像素點(diǎn)值，平滑視頻對應(yīng)像素點(diǎn)的值.

2 理論基礎(chǔ)

n次B樣條曲線的定義為

最小二乘法擬合是使得偏差平方和最小來選取擬合曲線［6］，即對于一組數(shù)據(jù)點(diǎn)假設(shè)其擬合曲線模型為y=f( x)，那么其第i個數(shù)據(jù)點(diǎn)的誤差距離為，則所有數(shù)據(jù)點(diǎn)的距離平方和為 ，求出目標(biāo)函數(shù) 最小值對應(yīng)的參數(shù)值，就可以確定擬合曲線y=f( x).

3 基于最小二乘B樣條的霧霾圖像去霧

實(shí)驗(yàn)前期采用基于最優(yōu)對比度的圖像視頻去霧方法［7］，對霧霾視頻序列利用差值法分解成關(guān)鍵幀和非關(guān)鍵幀，并分別對關(guān)鍵幀和非關(guān)鍵幀進(jìn)行去霧處理，但在視頻處理過程中，由于圖像去霧后信息的缺損，導(dǎo)致視頻播放存在抖動現(xiàn)象，為此，本文在關(guān)鍵幀和非關(guān)鍵幀分別進(jìn)行去霧的基礎(chǔ)上，提出一種基于最小二乘的B樣條圖像視頻去霧方法，整個視頻去霧流程如圖1所示.

3.1 特征點(diǎn)選取

根據(jù)Harris角點(diǎn)檢測［8］，以一個像素點(diǎn)為中心的小窗口，如果在各個方向上移動這個小窗口，窗口內(nèi)區(qū)域的灰度值發(fā)生了較大的變化，則我們就認(rèn)為在窗口內(nèi)遇到了角點(diǎn). 因此，本文假設(shè)以一個像素點(diǎn)p( x, y)為中心的小窗口在x方向上移動u，y方向上移動v，灰度變化度量為：

其中Ex,y為窗口內(nèi)的灰度變化度量，Wx,y為窗口函數(shù)，Ix+u,y+v為平移后的圖像灰度，Ix,y為圖像灰度.

對（3）式中Ix+u,y+v進(jìn)行泰勒展開如下：

則（3）式改寫為：

圖1 基于B樣條曲線的視頻去霧光滑處理流程圖

又有：

因此，（4）式改寫成：

其中

利用Harris的角點(diǎn)響應(yīng)函數(shù)（CRF）表達(dá)式：

其中，det( M)表示矩陣M的行列式，trace( M)表示矩陣的跡，λ1和λ2為矩陣M的特征值，k為經(jīng)驗(yàn)常數(shù)，一般取值0.04~0.06.

當(dāng)目標(biāo)像素點(diǎn)的CRF值大于給定的閾值時，該像素點(diǎn)p即為角點(diǎn). 我們從視頻序列中隨機(jī)選取一幀進(jìn)行Harris角點(diǎn)檢測，結(jié)果如圖2所示，特征點(diǎn)用叉叉作為標(biāo)記.

3.2 特征點(diǎn)匹配

根據(jù)上述的Harris角點(diǎn)檢測，得到視頻幀圖像的特征點(diǎn)后，接下來就要對提取出來的特征點(diǎn)進(jìn)行相鄰兩幀的特征點(diǎn)匹配. 不同于傳統(tǒng)基于灰度的圖像匹配技術(shù)［9］，本文采用基于特征點(diǎn)的快速匹配算法，選取較為有規(guī)律的點(diǎn)作為匹配的特征點(diǎn)，這樣可以排除個別雜波對匹配的特征點(diǎn)選取的干擾. 以待匹配的圖像作為模板T，待匹配圖像的前一幀圖像作為參考圖像P，首先，在模板T中找出階數(shù)最高的特征點(diǎn)，選取T中灰度值最大的點(diǎn)作為該幀圖像的匹配的特征點(diǎn)M. 然后，在參考圖像P中找出與匹配特征點(diǎn)M的階數(shù)相等的所有階數(shù)的特征點(diǎn). 最后，用模板T匹配的特征點(diǎn)依次匹配參考圖像P上找到的同階特征點(diǎn)，并計(jì)算兩幅圖像的對應(yīng)的特征點(diǎn)之間的相關(guān)性即相似性度量，通過找出相似性度量最優(yōu)的位置作為匹配位置，從而找到兩幅圖像中像素點(diǎn)的對應(yīng)關(guān)系.

本文在匹配過程中相似性度量參數(shù)采用相似測度歸一化相關(guān)NCC［10］，歸一化相關(guān)系數(shù)定義為：

圖2 Harris角點(diǎn)檢測結(jié)果

3.3 基于最小二乘的B樣條曲線擬合

在曲線擬合的過程中，如果采用近似描述特征點(diǎn)的趨勢，常常需要事先計(jì)算每個特征點(diǎn)是否在允許的誤差范圍內(nèi)，然后才能完成曲線擬合，而其需要花費(fèi)的時間比較長，時間代價(jià)為ο(np)，其中np為匹配的特征點(diǎn)的個數(shù)，由此可見，擬合花費(fèi)的時間隨著匹配的特征點(diǎn)數(shù)量的增多而更長，并且擬合后曲線精度也不能滿足建立精細(xì)曲線模型的要求；插值法擬合曲線雖然精度比較高，但是需要通過所有的特征點(diǎn)，容易受到噪聲的影響，因此，本文提出一種基于最小二乘法的B樣條擬合，彌補(bǔ)傳統(tǒng)近似擬合和插值法的不足，提高曲線擬合的精確度. 基于最小二乘的B樣條曲線擬合流程圖如圖4所示.

最小二乘B樣條曲線擬合步驟如下：

第一步：指定允許誤差，假定上述匹配的關(guān)鍵幀特征點(diǎn)pk（ k=0，1，...，np）參數(shù)化對應(yīng)的參數(shù)值為1，...，np）.

第二步：對每個特征點(diǎn)附加相應(yīng)的權(quán)值hk（k=0，1，...，np），利用逼近曲線上的點(diǎn)與原始數(shù)據(jù)點(diǎn)間距離平方和W作為目標(biāo)函數(shù)：

圖4 基于最小二乘的B樣條曲線擬合流程圖

其中

第三步：要使得目標(biāo)函數(shù)W最小，則必須滿足Wx和Wy都最小，這里可以利用偏導(dǎo)數(shù)的方法求解，即其中矩陣A為所求的曲線控制點(diǎn)的估計(jì)值，P為特征點(diǎn)坐標(biāo)矩陣.

由于B樣條曲線函數(shù)中的基函數(shù)Ni,p(u)（k=0，1，...，np）線性無關(guān)，則HN是滿秩的，又因?yàn)?HN)T(HN)是對稱可逆的，所以法方程存在唯一解.

第四步：判斷是否為噪聲，若有噪聲則去除，并反復(fù)進(jìn)行以上步驟直到滿足允許誤差值，由此得出擬合后的控制點(diǎn).

在實(shí)際應(yīng)用中，本文利用3次B樣條曲線來構(gòu)造曲線，即n=3，匹配的特征點(diǎn)分布結(jié)果如圖5所示，對匹配的特征點(diǎn)進(jìn)行去噪平滑處理后，曲線擬合生成圖6.

由以上推導(dǎo)過程可以得出目標(biāo)函數(shù)W的法方程為：

4 實(shí)驗(yàn)與結(jié)果分析

項(xiàng)目的實(shí)驗(yàn)環(huán)境為：Intel（R）Core（TM）i7-2600 CPU@3.40GHz，4.00 GB內(nèi)存，Windows7操作系統(tǒng)，基于OpenCV的C++編程語言. 我們的方法與基于暗通道的去霧方法［11］進(jìn)行了比較，如圖7第1列所示的霧霾圖像，第2列為基于暗通道方法的結(jié)果，第3列為我們方法的結(jié)果. 對比去霧結(jié)果可知：我們的方法具有更好的對比度效果，具有更好的顏色和紋理細(xì)節(jié)效果.

為了驗(yàn)證本算法的擬合效果，在前期視頻去霧處理的數(shù)據(jù)分析基礎(chǔ)上，本文將采用信息熵和平均梯度這兩個作為圖像質(zhì)量的度量指標(biāo)來進(jìn)行比較，如表1所示. 由于平均梯度又稱為清晰度，它可以反映一個影像的清晰程度，主要描述圖像細(xì)節(jié)反差程度和紋理變化特征，一般來說，平均梯度值越大，表明圖像越清晰. 而圖像的信息熵則反映了圖像中平均信息量的多少，信息熵越大表明圖像自身信息就越豐富. 因此，選用這兩個度量指標(biāo)能夠有效直接的表明算法處理的結(jié)果. 可以從表1中看出，本文算法的各項(xiàng)度量指標(biāo)均高于He算法，這從客觀上表明了本文算法的有效性.

圖5 匹配的特征點(diǎn)分布

圖6 擬合后的B樣條曲線

5 結(jié)束語

本文的主要創(chuàng)新點(diǎn)在于針對視頻去霧處理過程導(dǎo)致的信息丟失而引起的去霧后的視頻不光滑的問題，提出一種基于B樣條曲線擬合的視頻去霧光滑處理，并采用加權(quán)最小二乘法的方法來根據(jù)關(guān)鍵幀特征點(diǎn)估計(jì)非關(guān)鍵幀像素點(diǎn)值.實(shí)驗(yàn)表明，本文算法較傳統(tǒng)的最小二乘法算法，誤差更小一點(diǎn)，能有效處理視頻去霧后的抖動閃爍問題.

圖7 部分實(shí)驗(yàn)結(jié)果：第1列為霧霾圖像，第2列為基于暗通道方法He的結(jié)果，第3列為本文方法的結(jié)果

?

［1］歐陽偉. 基于圖像分析的監(jiān)控視頻圖像異常診斷系統(tǒng)的研究與實(shí)現(xiàn)［D］. 武漢：華中師范大學(xué)，2012.

［2］ 王志民，徐曉剛. 基于單象限Fourier-Mellin域相位相關(guān)的快速穩(wěn)像算法［J］. 中國圖象圖形學(xué)報(bào)，2009，14（9）：1790-1795.

［3］彭藝，葉齊祥，黃鈞，等. 一種內(nèi)容完整的視頻穩(wěn)定算法［J］. 中國圖象圖形學(xué)報(bào)，2010，15（9）：1384-1390.

［4］ BATTIATO S，PUGLISI G. SIFT Features Tracking for Video Stabilization［C］//Proc. of Image Analysis and Processing Conference. Modena，Catania：IEEE Press，2007：825-830.

［5］ TANG J，HAN XW，YUAN ZH. An Approach of Electronic Image Stabilization Based on the Representative Point Matching［C］//Proc. of Genetic and Evolutionary Computing Conference. Guilin，China：［s.n］，2009：347-350.

［6］劉冬秋，景鳳宜. 謝曉堯.基于特征點(diǎn)改進(jìn)的ICP算法［J］. 貴州師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2013，31（6）：106-111.

［7］ KIM JH，JANG WD， SIM JY，et al. Optimized contrast enhancement for real-time image and video dehazing［C］. Commun Image R，2013，24：410-425.

［8］HARRIS C，STEPHENS M. A combined corner and edge detector［C］. Alvey Vision Conference. 1988：147-151.

［9］劉松濤，楊紹清. 圖像配準(zhǔn)技術(shù)性能評估及實(shí)現(xiàn)概況［J］. 電光與控制，2007，14（3）：73-78.

［10］李冬梅，王延杰. 一種基于特征點(diǎn)匹配的圖像拼接技術(shù)［J］. 微計(jì)算機(jī)信息，2008，24（15）：296-298.

［11］ HE KM，SUN J，TANG XO. Single image haze removal using dark channel prior［C］. IEEE Conference on Computer Vision and Pattern Recognition，2009：1956-1963.

Abstract:In order to solve the problem of video jitter caused by the loss of information in video image, this paper proposed a video dehazing method based on least square B-spline curve. Firstly, feature points of the key frames of the video can be extracted by Harris corner detection. Secondly, these feature points are matched in the series of video frames. Thirdly, the pixel value is estimated in non-key frame according to the corresponding pixels in key frame with least square B-spline. Finally, the stable and complete video sequences are outputted. The experimental results show that our algorithm can effectively eliminate the phenomenon of video jitter.

Key words:least square method; B spline; video dehazing

A Research into Video Dehazing Based on Least Square B-spline Curve

LIU Jiajia，YI Shuling，YAO Jiajun，LIN Chun，XIE Conghua
(School of Computer Science and Engineering, Changshu Institute of Technology, Changshu 215500, China)

TP391.4

A

1008-2794（2017）04-0050-06

2017-05-21

2016年江蘇省高校大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目“基于最優(yōu)對比度的圖像視頻去霧研究”（201610333030y）

謝從華，副教授，博士，研究方向：圖像處理和模式識別， E-mail：Xiech@aliyun.com.