一種基于灰度投影的電子穩(wěn)像改進方法*

齊 紅,任洪娥，田少卿,胡 鴻

(1.東北林業(yè)大學信息與計算機工程學院,黑龍江 哈爾濱 150040 2.國家林業(yè)局調查規(guī)劃設計院，北京 100714)

穩(wěn)像技術從早期的機械穩(wěn)像到光學穩(wěn)像，再到電子穩(wěn)像，是一個漫長的發(fā)展過程。隨著計算機軟硬件的飛速發(fā)展，電子穩(wěn)像技術逐漸的取代了機械穩(wěn)像和光學穩(wěn)像成為目前運用最廣泛的穩(wěn)像技術[1]。而在電子穩(wěn)像技術的發(fā)展過程中又根據(jù)算法的不同分為多種穩(wěn)像法，主要包括：代表點匹配算法(RPM)，投影算法(PRA)，位平面匹配算法(BPM)，特征量跟蹤算法(FTA)[2]，代表點比較算法(BERP)，塊匹配算法(BMA)，邊沿檢測匹配算法(EDA)[3-4]，頻域估計算法(FDE)和光流算法(OF)等[5-7]。其中，灰度投影算法由于其運算速度快[8-9]、性能穩(wěn)定而被廣泛應用。而灰度投影算法在處理存在運動物體的圖像時，會產(chǎn)生不盡如人意的結果——偏移量跳變，這種跳變的表現(xiàn)是偏移量突然大幅度增加或減少。本文提出了一種對灰度投影改進的方法，可以有效的消除灰度投影算法在處理有運動物體存在的圖像時所產(chǎn)生的錯誤運動估計現(xiàn)象。同時設計了一套針對圖像序列是否需要穩(wěn)像，以及穩(wěn)像后是否達到穩(wěn)像效果的檢驗策略，這樣可以達到電子穩(wěn)像系統(tǒng)自動檢測并決定何時對圖像進行穩(wěn)像處理的效果。

1 電子穩(wěn)像算法及灰度投影

電子穩(wěn)像算法是通過電子設備采集圖像序列，同時運用數(shù)字圖像處理的方法直接處理所得圖像序列，確定圖像偏移量并進行相應補償來達到圖像穩(wěn)定的一種方法，如圖1所示為電子穩(wěn)像處理過程。

圖1 電子穩(wěn)像處理過程

運用灰度投影算法主要包括4個步驟：

1)先將采集來的圖像轉化成灰度圖。

2)進行灰度投影運算，即將圖像的每一行或列的灰度值相加，投影公式如下：

(1)

上式中row(i)是第i行的投影值，column(j)是圖像第j列的投影值，pic(i,j)是圖像點(i,j)處的灰度值。

3)進行相關運算，得到抖動偏移量，列相關運算公式如下：

1≤w≤2M+1

(2)

其中C(w)是相關運算值，M是檢測圖像抖動的范圍。Wmin是C(w)最小時W的值，可得圖像在縱向上的位移量motionc。行相關運算亦如此。

motionc=M+1-Wmin

(3)

4)將發(fā)生抖動的圖像反向移動motionr，motionc后得到的圖像為穩(wěn)定圖像。

2 改進的灰度投影算法

由設備獲取視頻圖像時，難免有運動物體出現(xiàn)在圖像中，因此可能導致兩種情況：

1)圖像沒有發(fā)生抖動，而灰度投影算法可能會誤判為圖像發(fā)生抖動而對圖像進行處理。

2)圖像正好發(fā)生抖動，而物體的運動會對灰度投影算法造成一定的影響，出現(xiàn)錯誤穩(wěn)像。

如何使運動物體不影響到算法是解決問題的關鍵。

2.1 檢測運動物體的運動趨勢及范圍

在視頻捕獲過程中，運動物體穿越拍攝區(qū)域時其走向是不確定的，物體或是橫向運動，或是縱向運動，還有可能是斜向運動。而斜向運動在連續(xù)單幅圖像中可以被看做是橫向運動和縱向運動的組合，因此總的來說可以把物體運動方向分為：橫向與縱向。下面以橫向為例說明(后面沒有特殊說明，均為橫向)，縱向亦然。

1)情況一：未發(fā)生抖動的運動物體檢測方法。

在物體開始出現(xiàn)在圖像中的幾幀圖像中，讀取連續(xù)兩幀圖像，一幀為參考圖像A，另一幀為待檢測圖像B。將A ,B兩圖分別做灰度投影，然后將兩圖像的投影值相減，得到投影差值[10-12]。下列為行的相關算式：

rowsub(i)=|rowA(i)-rowB(i)|

(4)

(5)

其中rowsub(i)是行投影差值，Rsum是行投影差值的平均值。用投影差值減去平均值后取大于零的部分，行這部分的個數(shù)多于列的相對應的個數(shù)，說明物體是做橫向運動的；反之，為縱向運動。因為一般物體進入圖像的一剎那，必然有一邊的變化是寬的而另一邊是窄的。同時根據(jù)大于零的灰度變化區(qū)域可以估計出物體的大概運動范圍。通過對連續(xù)圖像的運動范圍值的記錄，取其平均值可以得到比較準確的物體運動范圍，如圖2可知物體運動范圍大概在(110,360)之間。

圖2 無抖動時物體運動的區(qū)域與投影差值

2)情況二：發(fā)生抖動的運動物體檢測方法。

情況二與情況一基本一致，只是情況二讀取的圖像B是穩(wěn)像后的圖像，如圖3所示。這里說明一下，在運動物體進入圖像的初期，由于其灰度變化面積較小而不影響灰度投影算法，這一說法在隨后的實驗驗證中有詳細證明。

圖3 抖動時物體運動區(qū)域與投影差值

2.2 圖像裁剪修補處理

在得到運動范圍之后，便可對圖像進行裁剪修補處理。這里的裁剪修補是將圖像的有變化的部分用變化前的相應部分替代，使圖像盡量不要包含有運動物體的灰度信息。假設運動物體的運動范圍是(a，b)，且a，b滿足0

1)情況一：如圖4所示，直接把(m×n)的圖像B的第a行的灰度信息由A的第a行的灰度信息取代，以此類推，圖像B的第b行的灰度信息由A的第b行的灰度信息取代，得到新的圖像D。

圖4 情況一時的裁剪修補效果

2)情況二：如圖5所示，圖像B的第a行的灰度信息由A的第(a-dx)行的灰度信息取代，以此類推，圖像B的第b行的灰度信息由A的第(b-dx)行的灰度信息取代，dx為上一幅圖的橫向偏移量，得到新的圖像D。

圖5 情況二時的裁剪修補效果

裁剪修補完成后，圖像受到運動物體的影響將會有很大程度的減少，此時再次通過灰度投影算法進行穩(wěn)像可以達到很好的效果。

2.3 實驗分析

結合灰度投影的知識解釋上述問題，因為灰度投影值是將每一行或每一列的灰度值加起來所得到的。對于像素比較高的圖像來說，比如640×480的圖像，每一行的投影值可能是0～122 400之間。一般情況下，投影值都會有幾萬。而一些所占面積小且運動范圍窄的物體，其灰度信息不會影響整幅圖投影值的趨勢。

如圖6可以看到行、列投影都沒有明顯的變化，而這些不明顯的變化對投影穩(wěn)像算法來說，是不會改變相關運算中最小值的位置的，也就不會影響穩(wěn)像的性能。而當物體的運動達到一定寬度時，同時物體的所占面積也達到一定范圍的時候，就必然會影響到相關運算中的最小值。

圖6 不影響時兩幅圖的行、列投影值對比圖

圖7中的兩行、列投影值圖具有明顯的不同之處，尤其是行投影。經(jīng)過試驗證明這兩副圖做穩(wěn)像處理時就會發(fā)生錯穩(wěn)現(xiàn)象，如圖9中的C圖。

圖7 有影響時兩幅圖的行、列投影值對比圖

此時就需要裁剪修補方法對圖像進行處理。在經(jīng)過裁剪修補處理后的對比圖中，行、列的投影值變化不是很明顯了，這樣就減小了運動物體在圖像中的影響信息量，改善了在這種情況下灰度投影算法的可靠性，如圖8所示。

圖8 裁剪修補處理后圖像行、列投影值對比圖

2.4 實驗及對比結果

圖9中A為參考幀，B、C為灰度投影穩(wěn)像算法處理的連續(xù)兩幀圖像；D為參考幀，E、F為用改進方法處理的連續(xù)兩幀圖像。從圖中可以清楚的看出，當運動物體通過拍攝區(qū)域時，會引起穩(wěn)像系統(tǒng)的錯誤判斷，從而導致圖像更加不穩(wěn)定，因此很大程度降低了穩(wěn)像的效果。而經(jīng)過改進方法處理過的圖像可以很好的避開干擾因素，使灰度投影穩(wěn)像算法保持很高的穩(wěn)定性。

圖9 用灰度投影穩(wěn)像算法與改進方法處理的圖像

同時，在實驗過程中還發(fā)現(xiàn)不是所有穿越圖像的物體都能影響到灰度投影算法。于是這里根據(jù)物體的大小、顏色、形狀以及物體進入圖像的位置，做了詳細的實驗分析。分析得出運動寬度占圖像寬度的35%以下時，不論物體形狀和背景的變化，經(jīng)過灰度投影穩(wěn)像算法處理后出錯的圖像基本沒有。而當運動寬度增加到35%以上時，經(jīng)過處理的圖像都不同程度的出現(xiàn)錯穩(wěn)現(xiàn)象，且有隨著運動寬度增大，運動物體所占面積的增大，錯穩(wěn)幀數(shù)也出現(xiàn)逐漸增加的趨勢。

3 穩(wěn)像結果檢測策略

攝像機或其他視頻采集工具拍攝視頻是一個連續(xù)不間斷的過程，而其中設備發(fā)生抖動只是一個短暫的，甚至不連續(xù)的過程。如果穩(wěn)像系統(tǒng)對每幅圖都做穩(wěn)像處理的話，會做很多無用功，這樣就造成對硬件資源的浪費。

針對圖像大部分是穩(wěn)定的這一事實，本文提出在穩(wěn)像過程中首先做簡單的投影差值判斷，判斷圖像是否發(fā)生抖動，如果不是，直接跳到下一幀圖像再做投影差值判斷；反之，對圖像進行穩(wěn)像處理，處理后的圖像再做投影差值判斷，進一步確定穩(wěn)像是否成功。當穩(wěn)像成功時，直接跳到下一幀，否則，可能有物體進入攝像區(qū)域，這時再采用改進方法處理，處理完后跳到下一幀。

這一檢測過程，不僅可以節(jié)省硬件資源，同時還對穩(wěn)像效果做出檢測，使整個系統(tǒng)達到一個高效的、穩(wěn)定的穩(wěn)像平臺。流程圖如圖10所示。

圖10 結果檢測策略流程圖

4 結 論

充分利用灰度信息，并通過對運動物體的形狀、顏色、大小及在圖像中的位置等條件進行分析，驗證了對圖像的裁剪修補措施可以很好的消除圖像中出現(xiàn)的運動物體對灰度投影算法所造成的影響。同時結合運動物體檢測的方法，對投影算法做出了改進，并對穩(wěn)像系統(tǒng)也提出了不盲目穩(wěn)像的策略，使系統(tǒng)以更高效的方式工作。

參考文獻：

[1]韓紹坤，趙躍進，劉明奇.電子穩(wěn)像技術及其發(fā)展[J].光學技術，2001,1(1):71-73.

[2]趙紅穎，金宏，熊經(jīng)武.電子穩(wěn)像技術概述[J].光學與精密工程，2001,8(4): 353-359.

[3]石佼，李晉惠.電子穩(wěn)像技術算法研究[J].方法與理論，2007,3(3):18-24.

[4]張德豐,張葡青.基于小波的圖像邊緣檢測算法研究[J].中山大學學報:自然科學版,2007,46(3):39-42.

[5]POURREZA H R，RAHMATT M，BEHAZIN F.An electronic digital image stabilizer based on stationary wavelet transforms (SWT)[J].ICIP，2003，2:383-386.

[6]ERTURK S， DENNIS T J.Image sequence stabilization based on DFT filtering[J].IEEE Proc on Image Vision and Signal Processing,2000,127:95-102.

[7]CHANG Jyhyeong,HU Wenfeng,CHENG Muhuo,et al.Digital image translational and rotational motion stabilization using optical flow technique[J].IEEE Transactions on Consumer Electronics,2002,48(1):108-115.

[8]余博,郭雷,趙天云.基于對數(shù)極坐標變換的灰度投影穩(wěn)像算法[J].計算機應用,2008,28(12):3127 -3128.

[9]張國棟,王明泉,郭棟.基于灰度投影算法的實時電子穩(wěn)像研究[J].微電子學與計算機,2010,27 (10) :53-56.

[10]張朝陽，潘保昌，鄭勝林.基于幀差的灰度投影的快速運動物體檢測[J].廣東工業(yè)大學學報,2008,9(3):76-80.

[11]趙有婷,李熙瑩,羅東華.基于視頻車輛軌跡模型的交通事件自動檢測方法研究[J].中山大學學報:自然科學版,2011,50(4):56-60.

[12]肖敬文,余志,聶佩林,等.基于幾何與顏色特征的公交車輛視頻檢測算法[J].中山大學學報:自然科學版,2005,44(2):152-155.