基于尺度時(shí)間均衡的高速風(fēng)洞視頻測量圖像閃爍修正方法

范金磊, 張征宇, 黃敘輝

(中國空氣動(dòng)力研究與發(fā)展中心 高速空氣動(dòng)力研究所, 四川 綿陽 621000)

0 引 言

圖像閃爍是指圖像序列的亮度(灰度值)在空間上和時(shí)間上非自然的快速變化，這種變化并不是場景中的原始亮度變化的反映。圖像閃爍的現(xiàn)象廣泛存在，在舊膠片電影修復(fù)、視頻監(jiān)控、全景圖像拼接和延時(shí)攝影等領(lǐng)域都會(huì)遇到。尤其是在醫(yī)學(xué)/生物學(xué)圖像分析、視頻/攝影測量和機(jī)器視覺等領(lǐng)域，許多分析算法都對(duì)亮度敏感，圖像閃爍問題會(huì)影響結(jié)果的精準(zhǔn)度。

針對(duì)不同的圖像，導(dǎo)致其閃爍的主要原因也不同，舊電影中的閃爍是由于早期的電影技術(shù)造成的，如膠片成分的退化、曝光不穩(wěn)定等；而現(xiàn)代視頻或影像的閃爍則主要是受攝像機(jī)的性能和光照條件變化的影響，如在日光燈照明下采用較短的曝光時(shí)間拍攝圖像時(shí)，日光燈的頻閃特性會(huì)使圖像序列產(chǎn)生明顯的周期性閃爍。

圖像亮度變化的原因，除照明或設(shè)備原因?qū)е碌姆亲匀婚W爍外，還包括因場景變化(如場景角度變化、目標(biāo)運(yùn)動(dòng)和變形)導(dǎo)致的亮度自然變化，多種因素耦合在一起，實(shí)現(xiàn)閃爍修正并不容易。在該領(lǐng)域的研究中，閃爍修正多是應(yīng)用在舊電影修復(fù)或監(jiān)控圖像亮度穩(wěn)定上，其目的一方面是盡量減少畫面的明暗變化，避免人眼疲勞，提升觀看體驗(yàn)；另一方面，亮度均勻的視頻在編碼時(shí)具有更高的壓縮率，可以節(jié)省存儲(chǔ)空間，易于傳輸和存檔。

在高速風(fēng)洞視頻測量試驗(yàn)中，通常會(huì)安裝專用照明設(shè)備，但由于試驗(yàn)段周圍環(huán)境光照條件復(fù)雜(干擾源有用于環(huán)境照明的日光燈或LED燈，以及監(jiān)控設(shè)備的照明燈等)。由于照明燈的頻閃特性，在相機(jī)設(shè)定的曝光時(shí)間較短時(shí)，成像很容易出現(xiàn)不同程度的閃爍，造成圖像的灰度均值出現(xiàn)周期性變化，如圖1(a)～(f)所示，其中圖1(a)和(b)分別為標(biāo)定板圖像及其灰度均值變化曲線;圖1(c)和(d)為模型變形測量圖像及其灰度均值變化曲線；圖1(e)和(f)分別為油流試驗(yàn)圖像及其灰度均值變化曲線。開展試驗(yàn)時(shí)，可采取增強(qiáng)測量專用照明光源的功率、降低干擾光源功率和延長曝光時(shí)間這些措施，在一定程度上能夠抑制干擾源導(dǎo)致的閃爍,但是前2種方法受硬件條件及測試環(huán)境的限制，而延長曝光時(shí)間會(huì)引入運(yùn)動(dòng)模糊，在高速攝影測量中不適用。

(c) (d)

(e) (f)

文獻(xiàn)中圖像閃爍修正的方法主要分成2類：一類是基于線性或非線性模型的修正方法[1-8]。其原理是通過參數(shù)辨識(shí)，在基準(zhǔn)圖像和閃爍圖像之間建立仿射模型，利用模型對(duì)閃爍圖像進(jìn)行反變換，可得到修正的圖像；或者將圖像分割成小塊，在不同圖像的對(duì)應(yīng)塊之間建立仿射模型。對(duì)于不含運(yùn)動(dòng)的圖像，其優(yōu)點(diǎn)是算法簡單，處理速度快，主要缺點(diǎn)是基準(zhǔn)圖像的特性會(huì)擴(kuò)散到整個(gè)修復(fù)后的圖像序列，因此修復(fù)效果對(duì)基準(zhǔn)圖像的選擇很敏感；對(duì)于包含全局運(yùn)動(dòng)的圖像，需要先全局消抖；對(duì)于包含局部運(yùn)動(dòng)的圖像，需要對(duì)運(yùn)動(dòng)區(qū)域進(jìn)行識(shí)別、分割和運(yùn)動(dòng)估計(jì)，算法復(fù)雜度較高。

在風(fēng)洞試驗(yàn)中，風(fēng)洞模型一般為不銹鋼材料，表面光滑，缺少可用于圖像分塊匹配的紋理特征。對(duì)于不同幀圖像的同一區(qū)域，圖像之間閃爍導(dǎo)致的亮度變化、模型運(yùn)動(dòng)以及相機(jī)抖動(dòng)導(dǎo)致的亮度變化耦合，使得運(yùn)動(dòng)檢測精度有限，嚴(yán)重限制了模型精度和修正效果，也限制了運(yùn)動(dòng)檢測的效果。另外，在風(fēng)洞高噪聲振動(dòng)環(huán)境下，需要根據(jù)圖像中風(fēng)洞剛性壁板上的標(biāo)記點(diǎn)坐標(biāo)解算相機(jī)的實(shí)際位置和姿態(tài)，進(jìn)而確定模型上標(biāo)記點(diǎn)的坐標(biāo)以提高測量精度。因此，視頻測量圖像是不可以進(jìn)行全局消抖處理的，這也限制了基于模型方法的應(yīng)用。

另一類是基于直方圖的方法[9-13]，這類方法假定閃爍對(duì)整幅圖像產(chǎn)生相同或相似的影響，屬于全局性的變換方法，因此對(duì)圖像抖動(dòng)和局部運(yùn)動(dòng)魯棒性很高。傳統(tǒng)的直方圖匹配法將閃爍圖像的直方圖變換成基準(zhǔn)圖像的直方圖來修正閃爍，同樣對(duì)基準(zhǔn)的選擇很敏感；直方圖平均法將圖像的直方圖匹配到鄰域內(nèi)多幀圖像直方圖的平均值，在圖像序列亮度存在跳變的情況下不適用[11-12]。假設(shè)直方圖平均法的鄰域?qū)挾葹?，如圖2所示，從上至下前3幅依次為序列中第n-1、n和n+1幀圖像的灰度分布(橫軸為灰度值)，可見，圖像之間亮度存在跳變。第4幅中紅色為平均法得到的第n幅修正圖像的灰度分布，明顯與期望的修正結(jié)果(綠色)不符，損害了圖像中的信號(hào)。由圖1可知，在風(fēng)洞試驗(yàn)中，存在亮度閃爍的序列相鄰幀的亮度在不斷跳變，直方圖平均法不適用。

圖2 直方圖平均法的局限

Delon提出了一種尺度時(shí)間的直方圖均衡方法(Scale-Time Equalization, STE),通過將圖像序列的直方圖在時(shí)間維度上進(jìn)行高斯卷積變換來修正閃爍，其適應(yīng)性比直方圖平均法強(qiáng)，且修正結(jié)果與基準(zhǔn)圖像無關(guān)。通過指定不同的高斯核參數(shù)，可以調(diào)節(jié)修正量，在閃爍和亮度自然變化之間權(quán)衡，具有很高的穩(wěn)定性[11-12]。在視頻測量試驗(yàn)中，試驗(yàn)段的背景相對(duì)固定，模型在相機(jī)視野內(nèi)運(yùn)動(dòng)，其圖像全局特征變化很小，因此基于STE的方法比較適用。

本文針對(duì)高速風(fēng)洞視頻測量試驗(yàn)圖像序列的特點(diǎn)，基于STE方法開展圖像閃爍修正技術(shù)的研究與應(yīng)用。

1 STE方法

1.1 直方圖匹配

設(shè)r和z分別表示變換前的圖像f和變化后的目標(biāo)圖像g的灰度級(jí)隨機(jī)變量，其概率密度分別為Pr(r)和Pz(z)。直方圖匹配[14]是指將圖像f變換到g,并使g具有指定的概率密度Pz(z)。

變換公式為：

(1)

生成了有均衡化概率密度函數(shù)Pq(q)的灰度級(jí)隨機(jī)變量q。T(r)是r所在區(qū)間[0,L-1]的嚴(yán)格單調(diào)遞增函數(shù)，且當(dāng)r∈[0,L-1]時(shí)，有T(r)∈[0,L]。

假設(shè)z滿足：

(2)

可得：

z=G-1(q)=G-1[T(r)]

(3)

Pr(r)可通過圖像f的直方圖統(tǒng)計(jì)得到，T(r)可通過式(1)得到，利用式(2)計(jì)算G(z)。對(duì)于離散圖像，可通過統(tǒng)計(jì)數(shù)據(jù)表查詢得到其反變換G-1(q)，期間需要對(duì)浮點(diǎn)數(shù)圓整到[0,L-1]，會(huì)對(duì)直方圖匹配精度造成一定的損失，因此直方圖匹配操作得到的是近似具有概率密度Pz(z)的圖像g。

1.2 STE

STE利用尺度空間(Scale-Space)理論，針對(duì)圖像序列中的每一幀實(shí)施直方圖變換，將其直方圖匹配到其目標(biāo)直方圖。每一幀圖像的目標(biāo)直方圖由相鄰圖像的原始直方圖進(jìn)行加權(quán)平均得到，其權(quán)重就是具有不同尺度參數(shù)的高斯核。經(jīng)過卷積處理，直方圖隨時(shí)間快速變化的細(xì)微結(jié)構(gòu)被平滑反映到圖像上，就是亮度閃爍被抑制；而目標(biāo)場景的慢速自然變化，根據(jù)尺度參數(shù)的選擇，可以在一定程度上被保留。

針對(duì)圖像序列ft，其直方圖的STE變換的公式為：

(4)

基于尺度空間理論的STE變換具有如下特性：(1) 前景/背景獨(dú)立性，即對(duì)前景的變換和對(duì)背景部分的變換是獨(dú)立的；(2) 時(shí)移不變性，即變換結(jié)果與時(shí)間起點(diǎn)的選擇無關(guān)，因此無需預(yù)先指定基準(zhǔn)圖像；(3) 常量不變性，即圖像序列沒有任何變化，變換結(jié)果和原始圖像相同。

1.3 圖像處理流程

對(duì)于試驗(yàn)采集到的離散圖像序列fk,k∈[1,N],其中N為序列長度。

處理流程為:

(1) 設(shè)定尺度因子s和卷積核的長度l生成高斯卷積核Gs。

圖3給出了s取不同值時(shí)Gs的形態(tài)，可見，參數(shù)l確定了參與平滑的鄰域幀的數(shù)量，增大l時(shí)可強(qiáng)化對(duì)低頻閃爍的抑制；s則決定了在圖像之間進(jìn)行平滑處理時(shí)各鄰域幀的權(quán)重，值越大，去閃爍效果越強(qiáng)，但是也會(huì)將圖像中的亮度自然變化抑制；反之，則會(huì)保留更多的幀間自然變化。

圖3 s不同取值時(shí)Gs數(shù)的形態(tài)

(2) 計(jì)算圖像序列的累積直方圖H(k,λ),k∈[1,N],λ∈[0,L-1]，對(duì)于8位灰度圖像，L=256。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 校準(zhǔn)板圖像修正

相機(jī)校準(zhǔn)板圖像的拍攝條件為室內(nèi)環(huán)境光加日光燈照明，曝光時(shí)間為2000μs，相機(jī)成像出現(xiàn)了較強(qiáng)烈的閃爍，如圖1(a)和(b)所示。由于照明燈閃爍頻率為50Hz，而圖像采集頻率為80Hz，采樣頻率較低，因此圖1(b)中灰度均值出現(xiàn)了混疊失真。由于標(biāo)定板位置和姿態(tài)固定，整體在日光燈直射和周圍墻壁反光的照射下成像，且圖像中不存在高光反射點(diǎn)，所以圖像的閃爍是全局性閃爍，不存在局部變化的耦合。圖4(a)顯示了300幀連續(xù)圖像的灰度直方圖，可見，圖像各個(gè)灰度值的統(tǒng)計(jì)值在時(shí)間維度上存在劇烈的波動(dòng)。卷積核參數(shù)取l=21,s=8，在執(zhí)行STE之后，直方圖在時(shí)間維度上被平滑，如圖4(b)所示。

2.2 風(fēng)洞模型變形試驗(yàn)圖像修正

風(fēng)洞模型變形試驗(yàn)過程中，模型在風(fēng)洞控制系統(tǒng)的驅(qū)動(dòng)下，其迎角或側(cè)滑角做連續(xù)式或階梯式的變化，在試驗(yàn)采集的圖像序列中，試驗(yàn)?zāi)Ｐ驮趫D像中的位置或姿態(tài)在不斷改變。因此，即使不存在照明導(dǎo)致的閃爍問題，圖像序列中局部區(qū)域的統(tǒng)計(jì)特征也會(huì)隨時(shí)間出現(xiàn)自然的變化。在試驗(yàn)過程中，通常試驗(yàn)?zāi)Ｐ椭粫?huì)在相機(jī)視野內(nèi)運(yùn)動(dòng)。因此，在不存在閃爍時(shí)，整幅圖像的統(tǒng)計(jì)特征(如灰度直方圖)并不會(huì)隨著模型運(yùn)動(dòng)而出現(xiàn)大的變化，故基于STE的閃爍修正方法仍具有適應(yīng)性。

(a) (b) (c)

(d) (e) (f)

(a) (b) (c)

(d) (e) (f)

由于試驗(yàn)?zāi)Ｐ驮诓粩噙\(yùn)動(dòng)，無法像2.1節(jié)那樣通過相鄰幀的差值直觀地查看閃爍修正的效果。圖5(d)顯示了原始圖像第21和22幀的差量(為了更清楚地看到差異，差值均被放大了2倍)，模型邊緣部分出現(xiàn)了較大的差量帶，其寬度即為模型運(yùn)動(dòng)導(dǎo)致其成像位置變化的幅度。圖像中的模型區(qū)是后續(xù)分析處理的關(guān)鍵區(qū)域，為了避免背景像素的干擾，可以將圖像分割成試驗(yàn)?zāi)Ｐ秃捅尘霸龠M(jìn)行統(tǒng)計(jì)。

對(duì)原始圖像進(jìn)行二值化和膨脹、腐蝕、填充等形態(tài)學(xué)處理，獲取試驗(yàn)?zāi)Ｐ偷恼谡謭D像，如圖5(e)所示。將序列中的每一幀圖像，利用其遮罩分割為模型和背景區(qū)域。分別對(duì)原始圖像和修正圖像的模型區(qū)域進(jìn)行統(tǒng)計(jì)，得到圖5(f)的灰度均值對(duì)比曲線，從圖中可以看出，模型區(qū)域平均亮度的閃爍幅值被有效抑制。

2.3 風(fēng)洞動(dòng)態(tài)油流試驗(yàn)圖像修正

在動(dòng)態(tài)油流試驗(yàn)中，相機(jī)曝光時(shí)間設(shè)置較短，在環(huán)境光的干擾下，試驗(yàn)采集的圖像序列出現(xiàn)了閃爍，如圖1(e)、(f)和6(a)所示。由于用來分析試驗(yàn)圖像的光流法是以運(yùn)動(dòng)目標(biāo)亮度不變?yōu)榍疤?，所以閃爍會(huì)導(dǎo)致目標(biāo)對(duì)應(yīng)像素在幀間亮度突變，影響到幀間目標(biāo)像素的匹配，降低了光流法分析結(jié)果的可信度。

在試驗(yàn)過程中，油流圖像的油膜區(qū)域在模型表面氣流的作用下不斷地?cái)U(kuò)散，與2.2節(jié)的剛性模型運(yùn)動(dòng)不同，其分布形態(tài)、厚度和面積都在隨時(shí)間動(dòng)態(tài)變化。因此，模型區(qū)域統(tǒng)計(jì)特性的慢速自然變化和閃爍引起的快速變化耦合在一起，在這種情況下，通過采用較小的尺度參數(shù)，STE方法可以在抑制閃爍的同時(shí)保留油流區(qū)域的動(dòng)態(tài)變化特征。

由于油流試驗(yàn)過程中油膜分布形態(tài)隨動(dòng)態(tài)變化，因此也無法通過相鄰幀的差值直觀地查看閃爍修正的效果，可以采用2.2節(jié)類似的方式，單獨(dú)對(duì)修正前后的圖像的模型區(qū)域進(jìn)行統(tǒng)計(jì)分析。

和模型變形測量試驗(yàn)不同，空腔油流試驗(yàn)過程中，模型保持靜止，因此可以利用固定的遮罩圖像(見圖6(e))對(duì)STE變換前后的圖像序列進(jìn)行分割，然后針對(duì)模型區(qū)域進(jìn)行統(tǒng)計(jì)。圖6(f)給出了針對(duì)模型區(qū)的灰度均值對(duì)比曲線，可以看出，STE處理后，模型區(qū)域的亮度閃爍抑制效果良好。

(a) (b) (c)

(d) (e) (f)

本實(shí)驗(yàn)結(jié)果也證明了對(duì)于被攝目標(biāo)存在形態(tài)變化的圖像序列閃爍修復(fù)問題，STE方法仍具有較好的適應(yīng)性。

2.4 閃爍修正對(duì)標(biāo)記點(diǎn)定位精度的影響

對(duì)于圖1(a)中存在強(qiáng)烈閃爍的標(biāo)定板圖像，由于相機(jī)和標(biāo)定板均固定，因此可以用來分析閃爍對(duì)定位精度的影響。采用灰度質(zhì)心法(二值化閾值取50)分別在修正前后計(jì)算第96和97幀圖像中前100個(gè)標(biāo)記的質(zhì)心坐標(biāo)差量，如圖7所示。其中修正前差量的均值為0.264pixel，修正后差量的均值為0.173pixel(圖像尺寸：5120pixel×5120pixel，標(biāo)定板長度500mm且成像占滿畫幅，換算成空間坐標(biāo)差量分別約為0.026和0.017mm)，減小了34.5%。

圖7 閃爍修正前后標(biāo)記坐標(biāo)的差量對(duì)比

3 結(jié) 論

在高速風(fēng)洞視頻測量試驗(yàn)中的應(yīng)用結(jié)果表明，基于STE的圖像序列閃爍修正方法對(duì)包含閃爍的圖像序列修正效果良好，證明了該方法對(duì)于圖像抖動(dòng)、模型局部運(yùn)動(dòng)和變形等干擾因素具有較強(qiáng)的魯棒性。通過調(diào)整卷積核參數(shù)，可以在抑制圖像亮度閃爍的基礎(chǔ)上保留場景的自然變化，有利于保留更多圖像信息。得益于STE的時(shí)移不變性，在修正圖像序列前無需指定基準(zhǔn)圖像、無需運(yùn)動(dòng)檢測和全局消抖，較基于仿射模型的修正方法，在高速風(fēng)洞視頻測量中更具工程實(shí)用性，在攝影測量和機(jī)器視覺等領(lǐng)域具有推廣應(yīng)用價(jià)值。

參考文獻(xiàn):

[1]孟鳳曉. 圖像序列中亮度閃爍實(shí)時(shí)修復(fù)[D]. 青島: 中國石油大學(xué)(華東), 2014.

Meng F X. Real-time flicker correction in image sequence[D]. Qingdao: China University of Petroleum (East China), 2014.

[2]黃書錦, 沈一帆. 基于動(dòng)態(tài)范圍調(diào)整的圖像亮度修正方法[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2014,31(12):265-267.

Huang S J, Shen Y F. Image brightness enhancement based on adjusting dynamic range[J]. Computer Applications and Software, 2014, 31(12): 265-267.

[3]曾敏. 基于非線性模型的閃爍去除技術(shù)研究[D]. 大連: 大連理工大學(xué), 2011.

Zeng M. Research on flicker removal technology based on nonlinear model[D]. Dalian: Dalian University of Technology, 2011.

[4]Forbin G, Vlachos T, Tredwell S. Flicker compensation for archived film using a spatially-adaptive nonlinear model[C]. International Conference on Acoustics, Speech and Signal Processing-Proceedings. IEEE, 2006.

[5]Forbin G, Vlachos T. Nonlinear flicker compensation for archived film sequences using motion-compensated graylevel tracing[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2008, 18(6): 803-816.

[6]Zhang R, Wu J, Ding Y, et al. The correction of intensity flicker in archived film[C]. International Conference on Information Technology and Computer Science. IEEE Xplore, 2009: 402-405.

[7]Forbin G, Vlachos T, Tredwell S. Flicker compensation for archived film using a mixed segmentation/block-based nonlinear model[C]. Signal Processing Conference, 2007, European. IEEE, 2015: 135-139.

[8]黃曦, 丁友東, 吳兵. 老電影全局閃爍修復(fù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 電視技術(shù), 2016, 40(12):125-129.

Huang X, Ding Y D, Wu B. Implementation and design of old film global flicker restoration system[J]. Video Engineering, 2016, 40(12):125-129.

[10]盧前前. 基于統(tǒng)計(jì)分析的視頻干擾辨識(shí)應(yīng)用研究[D]. 武漢: 武漢科技大學(xué), 2014.

Lu Q Q. Application research of video interference identification based on statistical analysis[D]. Wuhan: Wuhan University of Science and Technology, 2014.

[11]Delon J. Movie and video scale-time equalization application to flicker reduction[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2006, 15(1):241-248.

[12]Delon J, Desolneux A. Stabilization of flicker-like effects in image sequences through local contrast correction[J]. Siam Journal on Imaging Sciences, 2010, 3(4):703-734.[

13]Papadakis N, Bugeau A, Caselles V. Image editing with spatiograms transfer[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2012, 21(5):2513-2522.

[14]拉斐爾 C 岡薩雷斯, 理查德 E 伍茲. 數(shù)字圖像處理(第三版)[M]. 阮秋琦, 阮宇智等, 譯. 北京: 電子工業(yè)出版社, 2007.

Gonzalez R C, Woods R E. Digital image processing[M]. 3rd ed. Beijing: Publishing House of Electronics Industry, 2017.