改進的CLG變分光流場估計方法

譚 君，賈松敏，李秀智，趙冠榮

（北京工業(yè)大學 電子信息與控制工程學院，北京　100124）

改進的CLG變分光流場估計方法

譚 君，賈松敏，李秀智，趙冠榮

（北京工業(yè)大學 電子信息與控制工程學院，北京100124）

光流運動估計是計算機視覺領域的一個重要的研究領域，為了抑制噪聲對光流場估計的影響，并實現大位移光流場求解，建立了基于全局與局部相結合的CLG-TV變分光流估計模型，并提出求解方法。將LK局部光流算法融合到TV-L1模型中，并利用各項異性擴散和雙邊濾波技術，擴展后模型在保持TV-L1模型優(yōu)勢的基礎上，具有更加魯棒的抗噪性能，且能有效解決大位移問題；在求解過程中，利用結構紋理分解方法和由粗到精金字塔方法，提高光流計算的精度。實驗結果表明：本算法誤差AAE和AEPE均有所減小，該算法在精度提高的同時加快了收斂速度；進一步，通過對實際大位移圖像序列求解，驗證了算法能有效區(qū)分動態(tài)目標和靜態(tài)背景的能力，并且能較好反映物體的運動信息。本文提出的CLG-TV模型能夠提高光流估計精度，并能有效解決光流計算的大位移問題。

光流；TV-L1模型；CLG方法；雙邊濾波；大位移光流

所謂光流（Optical Flow）是指空間運動物體在被觀測表面上的像素點運動的瞬時速度，包含了物體與成像傳感器系統(tǒng)之間相對運動的關系。在計算機視覺領域，光流算法執(zhí)行著諸如目標分割、識別與跟蹤、機器人導航等極其重要的任務。此外，光流可以在醫(yī)學上實現非剛性醫(yī)學圖像配準，在氣象中實現云圖分析和解析、風速測量和預測等[1]。

光流計算技術的研究真正開始于80年代Horn&Schunck等人奠基性的工作，隨后，各種新方法、新思路不斷涌現。BRUHN等人[2]將光流算法中的局部方法LK算法嵌入到全局方法HS算法中，該方法具有局部方法對噪聲具有高魯棒性以及全局方法的可以獲取稠密光流的特點；付瓊瑩等人[3]提出一種基于特征匹配的變分光流方法，該方法在目標位移過大時，利用特征點信息解決光流的不連續(xù)問題，準確獲得大位移光流。綜上所述，光流場估計算法目前還有許多問題有待解決，因此，準確可靠的光流估計方法仍是具有挑戰(zhàn)性的任務。

本文利用CLG（Combined Local and Global）方法將局部方法LK算法和TV-L1模型融合，保持光流場的分段平滑，且提高算法對噪聲的魯棒性，對數據項進行雙邊濾波可以在去除噪聲的同時保持邊緣信息，并且利用結構紋理方法和金字塔的分層結構求解光流模型。

1　CLG-TV光流估計模型

針對光流估計模型中L2范數對噪聲敏感，過平滑等影響計算精度的問題，引入一階數據項（L1范數），可以很好保持分段平滑，提高光流計算精度。為了抑制噪聲對光流場估計的影響，本文計算模型利用CLG方法，將局部方法LK算法融入到全局方法TV-L1光流估計模型[4]中，得到新的能量泛函模型，如下：

上式中ρ（u1，u2）為數據項，即兩幅圖像之間的灰度差值余量，其定義如下：

式（1）中，region代表以p點為中心的一個小的區(qū)域，w為各點的權重系數，離p點越近，權重值越高。CLG-TV模型的局部窗口能夠很好的跨越弱紋理區(qū)域并且將其與強紋理區(qū)域相聯系，因此能夠有效解決大位移問題。

為了增強圖像的擴散效果，對于CLG-TV模型的平滑項提出各向異性擴散[5]的平滑策略，該方法在圖像邊緣處的不同的方向施加不同的影響，即在垂直圖像邊緣的地方減小擴散，在平行圖像邊緣的地方增加擴散。其中擴散系數稱為擴散張量，是由圖像驅動的，即只與圖像梯度相關。對于TV-CLG模型引入以下的擴散張量：

針對高斯濾波在減小噪聲的同時使圖像的邊緣變得模糊不清問題，引入雙邊濾波[6]（Bilateral Filter）的方法達到保邊去噪的目的。雙邊濾波一般由兩種濾波組成：空域濾波，對空間上臨近的點進行加權平均，加權系數隨著距離的增加而減??；值域濾波，對像素值相近的點進行加權平均，加權系數隨著像素灰度值差的增大而減小。其表達式如下：

對CLG-TV模型的數據項加入雙邊濾波模型進行濾波，平滑項使用各向異性擴散，得到如下能量泛函：

上式為非凸的能量泛函，直接求解困難，因此加入一個輔助變量，使該能量泛函變?yōu)橥购瘮担罱K模型如下：

2　CLG-TV光流估計模型求解策略

CLG-TV光流估計模型的具體求解流程圖如圖1所示。

圖1　CLG-TV光流估計模型的具體求解流程圖Fig.1　The specific solving flowchart of optical flow estimation of CLG-TV model

2.1結構紋理分解方法

在實際應用中，影響光流計算精度的因素包括運動物體的大位移變化、弱紋理區(qū)域、遮擋問題、光照強度變化等等。而光照強度變化一直是影響光流計算的關鍵問題，傳統(tǒng)的亮度一致性假設在光照變化強烈時往往得不到準確的光流場。因此，提出結構紋理分解[7]的方法來解決光照強度變化產生的陰影等問題。對一幅圖像進行結構紋理分解之后，光照強度變化產生的陰影僅僅只出現在結構圖中，而紋理圖中則沒有這些陰影。

結構紋理分解運用的是基于總變分的ROF去噪模型。對于圖像的灰度值，結構部分的計算方法如下：

紋理部分IT（x）即為原始圖與結構圖的差值，即IT（x）= I（x）-IS（x）。利用分解后得到的紋理圖來進行光流計算，可以減少光照變化對計算結果的影響。

2.2光流方程數值求解方法

在線性化過程中，由于數據項的一階泰勒展開僅適用于小位移的投影坐標，因此光流場的求取過程受到限制。為了克服這個困難，引入由粗到精的金字塔算法，通過這種多尺度方法，不僅可以直接采用線性化方法迭代，而且還可以避免迭代收斂到局部最小值。

為了方便對光流估計方程求解，利用交替迭代的方法求解CLG-TV光流估計模型[8]：

1）固定u1和u2，求解：

令該函數的偏導為零，利用以下線性方程組求解和：

其中ρ0=It-u0·Ix1w-Iy1w。

式（10）求解方法如下：

其中對偶變量利用定點迭代的方法求解：

3　實驗結果及分析

本實驗硬件配置為配備i3-3220CPU和GT630GPU的PC機，運行環(huán)境為Windows 7操作系統(tǒng)和Matlab R2012b軟件平臺。

實驗一：為了驗證算法的有效性，選取Middlebury標準光流數據庫中的圖像序列，對比不同算法誤差[9]。光流誤差評價函數采用平均角度誤差AAE（Average Angular Error）和平均端點誤差AEPE（Average Endpoint Error）的誤差估計方式來評價計算的精度。

選取Middlebury標準光流數據庫中的4組圖像序列進行驗證，選取其中兩幅圖（Dimetrodon和Grove2）結果如圖2和圖3所示，（a）、（b）分別是圖像序列的連續(xù)兩幀圖像，（c）、（d）分別是利用TV-L1算法計算的光流編碼圖和光流矢量圖[10]，（e）、（f）分別是利用CLG-TV算法計算的光流編碼圖和光流矢量圖。光流編碼圖中的紅色方框可以明顯看出本文所提的CLG-TV模型計算的光流場更加平滑，且減小了圖像噪聲對光流估計的影響。

圖2　Dimetrodon圖像序列和光流對比圖Fig.2　Dimetrodon images and optical flow comparison figure of Experiment 1

圖3　Grove2圖像序列和光流對比圖Fig.3　Grove2 images and optical flow comparison figure of experiment 1

其中誤差AAE和AEPE的對比如表1、表2所示，通過實驗結果的對比，表明本文提出的CLG-TV算法所得光流的[11]誤差明顯減小，提高了光流計算的精度；表3為不同算法計算光流場的運行時間，結果表明，本文算法在有效提高計算精度的同時，由于利用局部和全局算法優(yōu)勢，加快了算法收斂的速度，因此縮短了計算時間。

表1　兩種算法所得光流的誤差AAETab.1　AAE of two kinds of optical flow methods

表2　兩種算法所得光流的誤差AEPETab.2　AEPE of two kinds of optical flow methods

表3　兩種算法計算光流的時間（s）Tab.1　Running time of two kinds of optical flow methods（s）

實驗二：為了驗證算法處理實際問題的能力，選取一組真實場景圖像序列進行光流驗證，該圖像序列包含了大位移、光照變換等各種對光流計算的不利影響。圖4為不同算法對應的光流結果圖（a）、（b）分別是圖像序列的連續(xù)兩幀圖像，（c）、（d）分別是利用TV-L1算法計算的光流編碼圖和光流矢量圖，（e）、（f）分別是利用CLG-TV算法計算的光流編碼圖和光流矢量圖），由圖可知，本文算法能有效反映物體的運動信息，能有效區(qū)分動態(tài)目標和靜態(tài)背景，特別是對于大位移圖像，可以看出目標的運動方向和計算光流的方向基本一致，并且對于其他靜止的物體并沒有檢測出運動信息。

圖4　實驗二圖像序列和光流對比圖Fig.4　Group images and optical flow comparison figure of Experiment 2

4　結　論

文中提出的CLG（Combined Local and Global）算法提高了光流計算的魯棒性，特別針對大位移場景，CLG-TV模型的局部窗口能夠很好的跨越弱紋理區(qū)域并且將其與強紋理區(qū)域相聯系。為了提高光流估計的精度，CLG-TV模型結合了TV-L1模型優(yōu)點，此外，對于平滑項的平滑策略利用各項異性擴散，并且對數據項加入雙邊濾波技術。通過實驗對比可知，其計算精度相對于TV-L1模型均有所提高，并且提高了光流計算時間，對于大位移場景的計算，能夠較好的反映運動物體的信息，有效的區(qū)分運動目標和靜態(tài)背景。

[1]盧宗慶.運動圖像分析中的光流計算方法研究 [D].西安：西安電子科技大學，2007.

[2]BruhnAndrés，Weickert Joachim，Schn觟rrChristoph.Lucas/ kanade meets horn/schunck:combining local and global optic flow methods[J].International Journal of Computer Vision，2005，61（3）:1-21.

[3]付瓊瑩，余旭初，胡聞達，等.一種基于特征匹配的大位移變分光流方法[J].測繪科學技術學報，2013，30（1）:54-57.

[4]Zach C，Pock T，Bischof H.A Duality Based Approach for Realtime TV-L1 Optical Flow[C]//Proceedings of the 29th DAGM Symposium on Pattern Recognition，Heidelberg，Germany:DAGM，2007:214-223.

[5]袁猛.基于變分理論的光流計算技術研究[D].南昌：南昌航空大學，2010.

[6]Shreyamsha Kumar，B.K.Image denoising based on gaussian/ bilateral filter and its method noise thresholding[J].Signal，Image and Video Processing，2013，7（6）:1159-1172.

[7]李秀智，譚君，賈松敏，等.基于結構紋理分解和多重網格的光流估計算法[J].上海交通大學學報，2014，48（7）:959-964.

[8]Marius Drulea，Sergiu Nedevschi.Total variation regularization of local-global optical flow[C]//IEEE Conference on Intelligent Transportation Systems，Washington，DC:Institute of Electrical and Electronics Engineers Inc.，2011:318-323.

[9]陳思宇，劉銳鵬.采樣法交流電參量測量的誤差分析[J].電子設計工程，2015（20）:120-122，126.

[10]穆新亮.基于混合核函數的快速KPCA人臉識別算法[J].電子科技，2015（2）:46-50.

[11]黃志良，張利勛.運動目標光流場算法研究進展[J].激光雜志，2013（1）:1-3.

Improved method for variational optical flow field estimation based on CLG

TAN Jun，JIA Song-min，LI Xiu-zhi，ZHAO Guan-rong （College of Electronic Information and Control Engineering，Beijing University of Technology，Beijing 100124，China）

Optical flow motion estimation is an important area of computer vision research.To suppress the impact on optical flow estimation caused by noise and solve the large displacement optical flow，a CLG-TV variational optical flow estimation model based on CLG（Combined Local and Global）method is established.CLG method is utilized to integrate TV-L1 model with LK algorithm，which is the local optical flow estimation method，and anisotropic diffusion and bilateral filtering technology are adopted in CLG-TV model.On the basis of the TV-L1 model advantages，this model has high robustness to noise and ability to solve large displacement problem.And structure and texture decomposition method is integrated with coarse-to-fine approach during the solution process to improve the accuracy of optical flow computation.The experimental results show that the AAE error and the AEPE error are decreased with this proposed algorithm.It is proved that the accuracy is improved and the convergence rate is accelerated.Meanwhile，through practical large displacement image sequence verification，dynamic objects and static background can be effectively distinguished and objects movement information can better reflected.The proposed CLG-TV model can improve the optical flow estimation accuracy and solve the large displacement problem of optical flow calculation effectively.

optical flow；TV-L1 model；CLG method；bilateral filtering；large displacement optical flow

TN 919.8

A

1674－6236（2016）01-0005-04

2015-05-09稿件編號：201505079

國家自然科學基金（61175087；61105033）

譚 君（1989—），男，湖北武漢人，碩士研究生。研究方向：計算機視覺，智能系統(tǒng)與模式識別。