結(jié)合RANSAC的SIFT算法在交通視頻檢測中的穩(wěn)像技術(shù)研究

吳承隆

（1.同濟(jì)大學(xué) 電子與信息工程學(xué)院，上海 201804；2.寧波市杭州灣大橋發(fā)展有限公司 浙江 寧波 315327）

利用視頻事件檢測設(shè)備對公路突發(fā)事件進(jìn)行檢測的應(yīng)用目前已極為普遍，多數(shù)高速公路的隧道、橋梁、岔路口等區(qū)域均基本安裝了視頻交通事件檢測器，其有著24小時(shí)不間斷實(shí)時(shí)檢測的優(yōu)勢，對及時(shí)發(fā)現(xiàn)交通異常事件、降低事故發(fā)生有著重要作用。此外，其作為智能交通領(lǐng)域發(fā)展的一項(xiàng)重要內(nèi)容，近年來也始終被作為領(lǐng)域內(nèi)研究的熱點(diǎn)[1]。

但由于視頻檢測設(shè)備需依靠監(jiān)控視頻作為分析基礎(chǔ)，因此視頻源的穩(wěn)定與成像質(zhì)量是保證檢測準(zhǔn)確率的重要條件，對于一些氣候環(huán)境較為惡劣的區(qū)域，如跨海長橋、山區(qū)、沿海公路等，大風(fēng)、雨、霧天氣眾多，由于攝像機(jī)安裝位置普遍較高，受風(fēng)后易抖動，從而造成采集的視頻圖像不穩(wěn)定，給視頻分析造成干擾，因此，需對視頻作進(jìn)一步的穩(wěn)像處理，以便得到穩(wěn)定的視頻來提高目標(biāo)匹配的準(zhǔn)確性。

電子穩(wěn)像技術(shù)是一種新型的圖像穩(wěn)定技術(shù)，與傳統(tǒng)的機(jī)械和光學(xué)穩(wěn)像系統(tǒng)相比具有易操作、穩(wěn)像精度高、靈活性強(qiáng)、高智能化等優(yōu)點(diǎn)，且在圖像拼接、圖像增強(qiáng)、信息融合、目標(biāo)識別、目標(biāo)更正方面能較好地得以運(yùn)用。目前，視頻圖像穩(wěn)定的方法眾多，在特制提取匹配中有塊匹配法、光流法、角點(diǎn)檢測法、像素遞歸法等[2-4]。

現(xiàn)有交通事件的智能檢測普遍是基于監(jiān)控視頻，但對于一些氣候環(huán)境較為惡劣的區(qū)域，如大風(fēng)、雨、霧天氣，給視頻的動態(tài)檢測帶來了困難，尤其是在大風(fēng)天氣，攝像機(jī)自身的抖動導(dǎo)致圖像的不穩(wěn)定，且對視頻分析造成干擾的特征明顯。

針對大風(fēng)惡劣環(huán)境下，攝像機(jī)存在抖動、偏移使圖像序列存在復(fù)雜抖動噪聲的問題，本文提出了一種結(jié)合RANSAC[5]和SIFT[6]算法的視頻穩(wěn)像技術(shù)：首先用SIFT算法找到相鄰兩幀的匹配點(diǎn)，然后用RANSAC算法去除一些無效點(diǎn)，并最終利用最小二乘法估計(jì)兩幀之間的旋轉(zhuǎn)角θ和位移Δx、Δy。

1 SIFT算法

1999年David G.LoweSIFT在總結(jié)基于不變量技術(shù)的特征提取方法上，提出了一種對圖像旋轉(zhuǎn)、縮放或仿射變換保持不變性的、基于尺度空間的圖像局部描述特征算子，并在2004年對其進(jìn)行了進(jìn)一步的發(fā)展與完善。SIFT算子具有旋轉(zhuǎn)、平移、尺度的不變性，且對仿射變換、3維投影變換和光照變化具有一定的魯棒性。Mikolajczyk對10種包括SIFT算子在內(nèi)的局部描述特征做了不變性對比實(shí)驗(yàn)，證實(shí)SIFT與其擴(kuò)展算法在同類描述特征中具有最強(qiáng)魯棒性。

其的特下如點(diǎn)：1）唯一性。SIFT算法對于每個(gè)特征點(diǎn)均有相應(yīng)的特征描述子，適于在大量特征數(shù)據(jù)庫中準(zhǔn)確、快速地進(jìn)行匹配。2）多量性。即使少數(shù)幾個(gè)物體也可產(chǎn)生大量SIFT特征向量組，完全可反映出圖像中的信息。3）適應(yīng)性。對于縮放、旋轉(zhuǎn)及光照等情景的視頻，SIFT算法具有良好的適應(yīng)性，且經(jīng)過優(yōu)化可滿足一定的實(shí)時(shí)性要求。4）可擴(kuò)展性。能方便地與其他類型的特征點(diǎn)和特征向量相結(jié)合，具有良好的相容性。SIFT應(yīng)用范圍廣泛，其中包括目標(biāo)識別、機(jī)器人視覺、圖像檢索、3D建模、圖像拼接、動態(tài)匹配、視頻跟蹤和手勢識別。

SIFT算法實(shí)現(xiàn)步驟實(shí)現(xiàn)如下：

1）檢測得到極值點(diǎn)尺度空間。

圖1 DoG尺度空間局部極值點(diǎn)檢測Fig.1 DoG scale space local extreme point detection

圖1 所示3個(gè)相鄰的DoG空間尺度。在尺度空間極值檢測時(shí)，標(biāo)記點(diǎn)有必要和穿過周圍同等規(guī)模附近的89×2像素與相鄰像素周圍的刻度對應(yīng)位置的鄰域在整個(gè)26個(gè)像素相比較，以確保在尺度空間和二維圖像空間中均可檢測到局部最小值。

2）通過擬合的二次函數(shù)來準(zhǔn)確判定關(guān)鍵點(diǎn)的三維位置及尺度，同時(shí)除去關(guān)鍵點(diǎn)與不穩(wěn)定點(diǎn)的低對比度邊緣 （因DoG算子會產(chǎn)生強(qiáng)烈的邊緣響應(yīng)）響應(yīng)，以增強(qiáng)匹配的穩(wěn)定性，從而提高抗噪聲能力。

3）梯度方向使用關(guān)鍵點(diǎn)的鄰近像素分布特征為在指定方向參數(shù)，每一關(guān)鍵點(diǎn)，使算子有旋轉(zhuǎn)不變性

式（1）為（x，y）的梯度方向和模量。 其中，L 的尺度是用于每個(gè)關(guān)鍵點(diǎn)所在的尺度。在實(shí)際計(jì)算中，利用以關(guān)鍵點(diǎn)為中心的窗口采樣，鄰近像素的梯度方向用直方圖統(tǒng)計(jì)。0°～360°為梯度直方圖的范圍。其中，每列隔10°，總共36列。直方圖的峰代表關(guān)鍵點(diǎn)的梯度主方向，其可作為關(guān)鍵點(diǎn)的方向。圖2為利用梯度確定主方向的示例。

圖2 由梯度方向直方圖的主梯度方向確定Fig.2 Main gradient direction is determined by the gradient direction histogram

梯度方向直方圖中，當(dāng)存在另外80%對應(yīng)于該峰的主峰能量時(shí)，則該方向是輔助關(guān)鍵點(diǎn)的方向。一鍵可與多個(gè)方向（一個(gè)主方向，一個(gè)以上的輔助方向），增強(qiáng)匹配的魯棒性來指定。在這一點(diǎn)上，圖像的關(guān)鍵點(diǎn)已完成檢測，每個(gè)關(guān)鍵點(diǎn)有3條信息：位置、方向和尺度。其可決定一個(gè)SIFT的特征區(qū)域。

4）SIFT特征向量生成。首先，對關(guān)鍵點(diǎn)的方向旋轉(zhuǎn)軸線，以確保旋轉(zhuǎn)的不變性。

圖3 由關(guān)鍵點(diǎn)鄰域梯度信息生成特征向量Fig.3 Feature vectors generated by the critical point neighborhood gradient information

在該窗口中心的下一個(gè)關(guān)鍵點(diǎn)取8×8中部的黑點(diǎn)，在圖3中為當(dāng)前關(guān)鍵點(diǎn)的左側(cè)部分，代表各小鄰域內(nèi)的關(guān)鍵點(diǎn)像素網(wǎng)格的位置。其中尺度空間中，箭頭表示其像素值的梯度方向漸變模式的長度，藍(lán)色圖形高斯彩色圓圈代表加權(quán)范圍（像素梯度方向接近的信息貢獻(xiàn)的關(guān)鍵點(diǎn)更大）。隨后直方圖計(jì)算8個(gè)方向中繪制每個(gè)梯度的累積值方向上每4×4塊的梯度方向，并可將種子點(diǎn)右側(cè)部，如圖3中的一個(gè)關(guān)鍵點(diǎn)來形成圖中的4個(gè)2×2種子之和，每個(gè)種子點(diǎn)的矢量信息有8個(gè)方向。鄰域的共同方向信息的概念提高了抗噪算法的能力，其包括定位誤差匹配功能，且還提供了一個(gè)更好的容錯(cuò)能力。

在實(shí)際的計(jì)算過程中，為了增強(qiáng)匹配的魯棒性，Lowe建議使用4×4得16的每個(gè)關(guān)鍵點(diǎn)來描述種子點(diǎn)。因此，對于一個(gè)關(guān)鍵點(diǎn)數(shù)據(jù)，可產(chǎn)生128個(gè)數(shù)據(jù)，該最終維的SIFT特征向量。此時(shí)，SIFT特征向量已被移除幾何畸變因子尺度變化，旋轉(zhuǎn)效果，然后繼續(xù)該特征矢量歸一化的長度，則可進(jìn)一步去除光照變化所帶來的影響。

當(dāng)兩個(gè)圖像SIFT特征向量生成，文中使用歐幾里德距離的關(guān)鍵特征矢量下一個(gè)步驟，以確定兩個(gè)圖像測量一個(gè)關(guān)鍵點(diǎn)的相似性。關(guān)鍵點(diǎn)取一個(gè)的圖像，并發(fā)現(xiàn)這兩個(gè)關(guān)鍵點(diǎn)的歐幾里德距離與圖像中的兩個(gè)最近的前兩個(gè)關(guān)鍵點(diǎn)中，若最近的距離除以小于該比率閾值，則由時(shí)間接近的距離驗(yàn)收這對匹配點(diǎn)。由此，降低了該閾值比率，雖SIFT匹配點(diǎn)的數(shù)量減少，但卻更加穩(wěn)定。

2 RANSAC算法

基本假設(shè)RANSAC算法是將樣品中包含正確的數(shù)據(jù)（inliers可由數(shù)據(jù)模型來描述）和異常數(shù)據(jù)（Outliers從正常范圍偏離較遠(yuǎn)，無法適應(yīng)數(shù)據(jù)的數(shù)學(xué)模型），該數(shù)據(jù)集包含的噪聲。這些異?？赡苁怯捎阱e(cuò)誤的數(shù)據(jù)測量和錯(cuò)誤的假設(shè)在誤差的計(jì)算中產(chǎn)生。同時(shí)，RANSAC還假定，給定一組正確的數(shù)據(jù)，有一種方法來計(jì)算模型參數(shù)與這些數(shù)據(jù)相一致。

RANSAC基本思想如下所述：1）慮n最小可能的模型樣本組 （n為初始化模型參數(shù)所需的最小采樣數(shù)）和P的樣本集，樣本的數(shù)量設(shè)定在P＃（P）＞N，在P中所含的隨機(jī)NP樣本初始化模式子集SM；2）在錯(cuò)誤的模型M設(shè)定SC=P/S小于一組閾值t與樣本集S構(gòu)成S*。S*認(rèn)為是點(diǎn)的集合，其構(gòu)成了一個(gè)集合 S（Consensus Set）一致；3）如 ＃（S*）≥N，認(rèn)為要得到正確的模型參數(shù)，并利用集合S*（內(nèi)點(diǎn)inliers）采用最小二乘法重新計(jì)算新模型M*，再隨機(jī)選擇新的S，重復(fù)上述過程。由此確定最大一致性組的內(nèi)部和外部點(diǎn)；4）完成一定數(shù)目的樣本后，若該算法找到一致集失敗，反之被抽選時(shí)，算法結(jié)束。

綜上所述，有兩種可能的算法優(yōu)化策略。 1）若可嘗試到一些具體方案的選擇使用已知的特性或具有約束選擇的S隨機(jī)選擇的子集，以取代完全隨機(jī)選擇的原件；2）當(dāng)一致集為S*M*計(jì)算模型后，可成為模型誤差的所有PM*小于樣本 t加入S*，再重新計(jì)算 M*。

RANSAC算法包括3個(gè)輸入?yún)?shù)：1）確定樣品是否滿足誤差容忍度t。t可被看作是噪聲方差的一個(gè)內(nèi)部點(diǎn)被假定為不同的輸入數(shù)據(jù)，需通過預(yù)先設(shè)定閾值的方式進(jìn)行人工干預(yù)，且參數(shù)對RANSAC性能有較大影響；2）隨機(jī)選取的樣本集合S倍。該參數(shù)直接影響所涉及的SC模型參數(shù)，進(jìn)而也會影響該算法的效率；3）鑒定，一致集大小S*N。為了保證獲得數(shù)據(jù)集P模式的正確表征，與設(shè)置足夠大的總體要求相一致。此外，樣本一致較多，使重新估計(jì)模型參數(shù)更為精確。RANSAC算法通常用于在計(jì)算機(jī)視覺。例如，在立體視覺攝像機(jī)的視場，同時(shí)解決的匹配點(diǎn)問題的計(jì)算和基本矩陣。

3 最小二乘法

3.1 線性模型

在等權(quán)、獨(dú)立、無系統(tǒng)誤差的n個(gè)測量條件下，通常可寫成如下線性模型

式中 l（n×1）是決定于直接測量值的已知向量，A（n×t）是決定于測量方案和程序的已知設(shè)計(jì)矩陣，測量值l1，…，ln的方差σ2和參數(shù)x（t×1）待求，若在最小方差意義下求得的x估計(jì)值為x^，則 E（l）=Ax，也可寫為 v=l－Ax^。 此處，v（n×1）為殘差向量，求解時(shí)約定 n≥t，rkA=t。

3.2 最小方差意義下線性無偏估計(jì)及其協(xié)差陣

由前知方差與殘差平方和成正比，欲使解得的量具有最小方差，則可使v′v=min，即最小二乘法，現(xiàn)令

注意到式（2）、（3）則有

所以

上式通常稱為法方程或正規(guī)方程，因 rk（A′A）=t，故 A′A的逆存在，可得到唯一解

3.3 偽逆矩陣

1）右偽逆矩陣。定義 1設(shè)A是m×n階矩陣，規(guī)定ARM=A′（AA′）－1叫右偽逆矩陣。由此，定義的右偽逆矩陣確實(shí)具有逆矩陣的性質(zhì)

2）左偽逆矩陣。定義2設(shè)A是m×n階矩陣 ，規(guī)定ALM=（AA′）－1A′叫左偽逆矩陣。由此，定義的左偽逆矩陣確實(shí)具有逆矩陣的性質(zhì)

則式（6）可寫為

4 穩(wěn)像技術(shù)步驟及實(shí)驗(yàn)結(jié)果

1）利用SIFT算法計(jì)算前后兩幀的關(guān)鍵點(diǎn)，并找出兩幀之間的匹配點(diǎn)對；

2）采用RANSAC算法去除無效的匹配點(diǎn)對；

3）利用最小二乘法估算兩幀之間的旋轉(zhuǎn)角θ和位移Δx、Δy參數(shù)。

4）根據(jù)計(jì)算得到的旋轉(zhuǎn)角和位移參數(shù)[7]旋轉(zhuǎn)并平移后一幀。

實(shí)驗(yàn)將相鄰的三幀合成RGB圖，其結(jié)果如圖4、圖5所示。

圖4 穩(wěn)像前的三幀RGB合成圖Fig.4 Three frames RGB composite image stabilization before

圖5 穩(wěn)像后的三幀RGB合成圖Fig.5 Three frames RGB composite image after image stabilization

由上圖可知，穩(wěn)像前的圖片較為模糊且有重影，因相機(jī)存在抖動，而穩(wěn)像后的圖片則較清晰。

5 結(jié)束語

本文提出了一種結(jié)合RANSAC和SIFT算法的視頻穩(wěn)像技術(shù)，并將其應(yīng)用于實(shí)際的項(xiàng)目中。實(shí)踐結(jié)果表明，在大風(fēng)惡劣的實(shí)際情況下，導(dǎo)致攝像機(jī)抖動、偏移，并使圖像序列存在復(fù)雜抖動噪聲等問題，均可通過該方法得到了有效解決。

[1]趙菲.視頻穩(wěn)像技術(shù)研究[D].長沙:國防科學(xué)技術(shù)大學(xué)，2007.

[2]張國棟.基于電子穩(wěn)像技術(shù)的視頻穩(wěn)像技術(shù)研究 [D].太原:中北大學(xué)，2010.

[3]張翠，吳誠，鄭晟，等.基于TMS320C642電子穩(wěn)像算法的實(shí)現(xiàn)[J].電子科技，2011，24（4）:57-58.ZHANG Cui，WU Cheng，ZHENG Sheng，et al.Based on TMS320C642 electronic image stabilization algorithm implementation[J].Electronic Technology，2011，24（4）:57-58.

[4]劉玉紅，涂丹.數(shù)字圖像穩(wěn)像算法研究 [J].計(jì)算機(jī)仿真，2008，25（27）:200-204.LIU Yu-hong，TU Dan.Digital image stabilization algorithm research as[J].Computer Simulation，2008，25（27）:200-204.

[5]曾雪蓮.一種新的快速智能電子穩(wěn)像算法[J].兵工學(xué)報(bào)，2008，29（11）:1384-1388.ZENG Xue-lian.A new fast algorithm for intelligent electronic imagestabilization[J].Ordnance，2008，29 （11）:1384-1388.

[6]劉明，趙躍進(jìn)，周渝斌.電子穩(wěn)像中的運(yùn)動補(bǔ)償矢量處理方法的研究[J].光學(xué)技術(shù)，2005，31（3）:457-462.LIU Ming，ZHAO Yue-jin，ZHOU Yu-bin.Research on electronic image stabilization motion compensation vector processing method[J].Optical Technology，2005，31（3）:457-462.

[7]何志勇，宋少偉，鄧長華，等.瞬態(tài)時(shí)域數(shù)據(jù)合成沖擊響應(yīng)譜算法研究[J].火箭推進(jìn)，2013（5）：55-59.HE Zhi-yong，SONG Shao-wei，DENG Chang-hua，et al.Research on transient time-domain data synthesis of shock response spectrum[J].Journal of Rocket Propulsion，2013（5）：55-59.