分框統(tǒng)計(jì)特征匹配的SOC中電子穩(wěn)像技術(shù)研究

沙宗也，尹治平

(合肥工業(yè)大學(xué) 光電技術(shù)研究所，安徽 合肥 230000)

分框統(tǒng)計(jì)特征匹配的SOC中電子穩(wěn)像技術(shù)研究

沙宗也，尹治平

(合肥工業(yè)大學(xué) 光電技術(shù)研究所，安徽 合肥 230000)

在通過特征點(diǎn)做運(yùn)動(dòng)估計(jì)時(shí),經(jīng)常會(huì)出現(xiàn)特征點(diǎn)集中于圖像部分區(qū)域的問題。通過分框統(tǒng)計(jì)MORAVEC特征點(diǎn)來計(jì)算各分塊內(nèi)的特征點(diǎn)的方法,對視頻圖像進(jìn)行幀與幀間匹配,再結(jié)合RANSAC誤匹配剔除的方法能有效解決該問題。通過對計(jì)算原始SENSOR圖像中中間區(qū)域部分分塊并預(yù)留原始圖像的邊緣部分，統(tǒng)計(jì)正確的匹配運(yùn)動(dòng)矢量，對運(yùn)動(dòng)矢量值加總并用慣性濾波的方法進(jìn)行平滑擬合進(jìn)而得到每幀圖像的運(yùn)動(dòng)補(bǔ)償值。通過該方法得到的特征點(diǎn)匹配對分布的區(qū)域明顯比不采用該方法分布的區(qū)域廣，而且該方法在SOC上能快速運(yùn)算。

SURF;RANSAC;電子穩(wěn)像;慣性濾波;運(yùn)動(dòng)估計(jì)

隨著集成電路技術(shù)的發(fā)展，使得電子穩(wěn)像技術(shù)能夠得以在一個(gè)集成的SOC內(nèi)實(shí)現(xiàn)，從而使得該技術(shù)得以廣泛應(yīng)用成為了可能。SOC方案是各種方案中最高效最經(jīng)濟(jì)的方式，通過外圍設(shè)計(jì)的專用集成電路能夠做大量的并行處理，所以計(jì)算速度快，而且和CPU的交互處理能夠?qū)崿F(xiàn)，既能夠高效地并行處理多媒體視頻圖像文件，又能夠通過CPU運(yùn)算復(fù)雜的指令計(jì)算，比如乘法運(yùn)算。并且其將所有的功能單元均集成于一個(gè)芯片內(nèi)部，具有體積小、價(jià)格便等諸多優(yōu)點(diǎn)，是目前國內(nèi)外研究的主流。但與目前主流的電子穩(wěn)像研究不同的是，在芯片上設(shè)計(jì)電子穩(wěn)相系統(tǒng)時(shí)，必須考慮一些現(xiàn)實(shí)的約束條件，電子穩(wěn)相的圖像數(shù)據(jù)源來自于感光Sensor傳輸過來的Frame Buffer數(shù)據(jù)為一條一條的線，并持續(xù)不斷的更新。由于在芯片上設(shè)計(jì)大量的緩存代價(jià)很高，因此結(jié)合實(shí)際應(yīng)用中的成本問題，性能效果各方面的綜合考慮，在盡量少的存儲和計(jì)算單元的消耗下，完成最佳的功能，一直都是相關(guān)領(lǐng)域的研究人員追求的目標(biāo)。許多在該領(lǐng)域的研究人員做的研究都難以直接在SOC上實(shí)現(xiàn)，如文獻(xiàn)[1～11]等研究資料中提到的像塊匹配法，文獻(xiàn)[12]中提到的匹配方法在該技術(shù)中也難以直接運(yùn)用。SURF特征匹配方法，Harris特征匹配方法等，都有各種局限性，存在諸如計(jì)算量過大，在實(shí)際實(shí)現(xiàn)中將占用更多的存儲與帶寬，以及計(jì)算資源。

在特征點(diǎn)運(yùn)動(dòng)估計(jì)時(shí)，經(jīng)常會(huì)出現(xiàn)圖像中部分區(qū)域細(xì)節(jié)遠(yuǎn)多于其余區(qū)域，這造成了MVE判定的對象僅是圖像中某處近景或者遠(yuǎn)景，相鄰兩幀圖像的遠(yuǎn)景和近景其運(yùn)動(dòng)矢量值經(jīng)常會(huì)有較大的差別。因此特征點(diǎn)匹配對集中到部分區(qū)域得到的運(yùn)動(dòng)矢量，作為該相鄰兩幀的運(yùn)動(dòng)矢量值的判定方法，對于全幅圖像的運(yùn)動(dòng)估計(jì)是不能正確反映實(shí)際運(yùn)動(dòng)狀況的。

1 電子穩(wěn)像技術(shù)的特點(diǎn)與流程

本文的SOC上商用電子穩(wěn)像，其實(shí)現(xiàn)流程可分為以下步驟：

圖1 本文方案的實(shí)現(xiàn)流程

Frame Buffer傳輸過來的圖像數(shù)據(jù)是從感光Sensor獲取的，傳輸?shù)紻IS模塊時(shí)已經(jīng)過了大量的包括AE，AWB等技術(shù)處理。這個(gè)數(shù)據(jù)在DIS的緩存中僅儲存整張圖像的幾行，行數(shù)根據(jù)SOC中分配給該模塊的緩存大小有關(guān)，行數(shù)越少，占用的緩存越小，越節(jié)約成本。傳輸過來的每行數(shù)據(jù)的點(diǎn)數(shù)大于經(jīng)過最終輸出的點(diǎn)的數(shù)量，因?yàn)樽罱K要對穩(wěn)像圖像做補(bǔ)償，必須對原來的Sensor傳過來的圖像做裁剪。在某些文獻(xiàn)中提到的，對邊緣超出的部分做平滑拼接之類的處理方法并不能夠?qū)崿F(xiàn)，因?yàn)榭紤]到幀間的差異和未知的未出現(xiàn)過的場景的存在，最終的穩(wěn)像補(bǔ)償只能通過圖像裁剪來實(shí)現(xiàn)。

第1步計(jì)算當(dāng)前緩存中的圖像數(shù)據(jù)線得到的特征響應(yīng)值，與上一幀圖像保存下來的特征實(shí)時(shí)地計(jì)算分析比較，來做匹配；

第2步對得到的大量的匹配對采用RANSAC規(guī)律剔除誤匹配。在圖像分框后，可能會(huì)出現(xiàn)部分分框特征細(xì)節(jié)少的問題，某些分框的對應(yīng)特征點(diǎn)的匹配對可能會(huì)有錯(cuò)誤，RANSAC方法是一種經(jīng)典的誤匹配剔除方法，能夠有效剔除誤匹配對；

第3步曲線擬合與補(bǔ)償。計(jì)算出幀與幀間的運(yùn)動(dòng)規(guī)律之后，需要將各幀之間的運(yùn)動(dòng)矢量加起來得到一個(gè)曲線，通過追蹤擬合的方法得到較為平滑的曲線。由于運(yùn)動(dòng)方式的不確定性，不規(guī)律性，所以使用固定運(yùn)動(dòng)模型的Kalman濾波等方式并不能解決該問題，這里采用慣性濾波，結(jié)合自適應(yīng)補(bǔ)償校正的方式來得到平滑的補(bǔ)償曲線，然后計(jì)算各幀需要補(bǔ)償?shù)倪\(yùn)動(dòng)量值，將圖像在橫縱方向上做移動(dòng)，最后輸出剪切掉邊緣部分的圖像。

2 具體的實(shí)現(xiàn)過程

先對圖像分塊處理，然后計(jì)算出當(dāng)前分塊的最優(yōu)匹配特征，再通過對下幀圖像的相鄰及格分塊分析匹配，驗(yàn)算最優(yōu)匹配，得出該分塊與下一幀圖像的匹配，然后使用RANSAC原則做統(tǒng)計(jì)分析，對于不符合統(tǒng)計(jì)規(guī)律的匹配做誤匹配的剔除再通過慣性濾波進(jìn)行曲線擬合，并作出補(bǔ)償。

2.1 圖像分塊

上述分析得到，電子穩(wěn)像的穩(wěn)像能力都會(huì)有一個(gè)界限值，超出界限將會(huì)失去穩(wěn)像的能力，限定補(bǔ)償?shù)男袛?shù)是因?yàn)镾ensor的數(shù)據(jù)大小有限，不可能無限的補(bǔ)償。為了大幅降低比對搜索的范圍，在這里先對圖像分塊處理，圖像分塊分析避免了搜索整幀圖像，也就是避免了搜索整幀圖來與當(dāng)前幀的匹配，從而大幅節(jié)省了計(jì)算量，分塊的方法如圖2所示。

另外，分塊分析確保了匹配能保證在整張圖像中的均勻分布，如果不做分塊來做特征點(diǎn)匹配的話，就會(huì)導(dǎo)致可能出現(xiàn)特征匹配對大量出現(xiàn)在圖像的某一部分區(qū)域，這在出現(xiàn)運(yùn)動(dòng)前景的情況下將會(huì)導(dǎo)致非常嚴(yán)重場景判斷的錯(cuò)誤，如圖6所示。對于分塊并找出最優(yōu)特征點(diǎn)并進(jìn)行匹配的特征點(diǎn)匹配如圖7所示。

圖2 圖像分塊，邊緣部分為預(yù)留的補(bǔ)償區(qū)域

2.2 網(wǎng)格內(nèi)優(yōu)選特征點(diǎn)及其匹配

傳統(tǒng)的SURF特診是通過幾組高斯金字塔來做特診點(diǎn)判斷，特征信息中包含了特征點(diǎn)的不同尺度特征上的描述，還包括了特征點(diǎn)的主要方向，這樣在圖像縮放和旋轉(zhuǎn)上有良好的魯棒性。相對于SIFT特征來講，SURF特征通過積分圖像的轉(zhuǎn)換，使用簡單的代數(shù)運(yùn)算代替了積分運(yùn)算，更為實(shí)用，但是SURF特征的幾個(gè)尺度的計(jì)算其實(shí)在連續(xù)圖像中沒有太大價(jià)值?，F(xiàn)在的視頻拍攝設(shè)備，圖像更新速度快，這樣在相鄰幀間考慮尺度性意義不大，而且還會(huì)帶來重大的計(jì)算開銷。結(jié)合MORAVEC特征的求取具有一定的方向性，而且簡單有效的特點(diǎn)，本文提出一種改進(jìn)的經(jīng)典MORAVEC算法。因?yàn)镸ORAVEC算法通過簡單的梯度計(jì)算特征點(diǎn)信息，這樣大幅降低計(jì)算量，幾個(gè)方向的梯度計(jì)算在IC設(shè)計(jì)中可以使用幾個(gè)并行器同時(shí)計(jì)算，提高了計(jì)算速度，也高效利用了計(jì)算資源，降低了成本。對于每個(gè)當(dāng)幀圖像，先計(jì)算其最大MORAVEC響應(yīng)值，方法是通過不斷比較當(dāng)前計(jì)算的MORAVEC響應(yīng)值是否大于當(dāng)前最大值，如果大于則替換掉當(dāng)前存儲的特征向量。通過計(jì)算每相隔一定距離點(diǎn)的橫縱向和對角方向的灰度差值的絕對值和作為特征點(diǎn)的描述子，本質(zhì)是特征點(diǎn)結(jié)合了塊匹配的匹配方式。為了在計(jì)算量和描述信息之間做一個(gè)折衷，采取相間點(diǎn)的方法，計(jì)算每相鄰九點(diǎn)的最大MORAVEC值，這樣做的目的是減少了不斷的寫入特征點(diǎn)描述子占用的帶寬，在SOC中單獨(dú)設(shè)計(jì)該模塊時(shí)，這樣的方法能夠重復(fù)利用計(jì)算單元，節(jié)省了計(jì)算單元模塊。相鄰9點(diǎn)僅計(jì)算出一個(gè)最大的MORAVEC響應(yīng)值，然后再提取其描述信息，用于和上幀相鄰上下左右最遠(yuǎn)2個(gè)網(wǎng)格的特征點(diǎn)所在位置的特征塊進(jìn)行比較，這樣能大幅降低計(jì)算量。圖8(a)和圖8(b)分別是采用相鄰9點(diǎn)計(jì)算的點(diǎn)數(shù)和相鄰3點(diǎn)計(jì)算的點(diǎn)數(shù)，由對比可見，采用相鄰9點(diǎn)來做分析能大幅降低計(jì)算量和傳輸帶寬。

圖3 計(jì)算比較單元示意圖

表1 不同算法所需要占用的存儲帶寬資源對比

圖4 當(dāng)前響應(yīng)點(diǎn)需要匹配的相鄰框最優(yōu)特征點(diǎn)

本文的方法看似需要比較的點(diǎn)數(shù)很多，但是根據(jù)ISP中數(shù)據(jù)流的特點(diǎn)，數(shù)據(jù)不斷地往下傳輸處理，本功能模塊卻直接并行計(jì)算MORAVEC特征點(diǎn)以及進(jìn)行匹配，這樣需要占用的計(jì)算單元并不是很多，而且能夠及時(shí)處理。關(guān)于MORAVEC響應(yīng)值的計(jì)算根據(jù)計(jì)算資源的多少，設(shè)定兩種計(jì)算方式。文中的實(shí)驗(yàn)圖像僅采用了第一種方式計(jì)算得到，第1種方式采用式(2)，第2種方式區(qū)別采用式(3)，兩公式中k取-3～3之間7個(gè)整數(shù)。公式中Mora是該點(diǎn)的最終響應(yīng)值，Mo是幾個(gè)方向上的響應(yīng)值在特征匹配后，使用RANSAC方法進(jìn)行誤匹配剔除，就能得到正確的匹配，并計(jì)算當(dāng)幀x，y方向運(yùn)動(dòng)矢量值

Mora=max(Mo)

(1)

(2)

(3)

2.3 曲線的擬合

如何有效正確地?cái)M合運(yùn)動(dòng)平滑曲線，這對正確的補(bǔ)償是一個(gè)重要的問題。相關(guān)文獻(xiàn)資料中提到的方法有很多，本文通過實(shí)驗(yàn)分析，最為可行的方法是將各相鄰幀的運(yùn)動(dòng)矢量累積加起來，然后用一個(gè)平滑擬合的方法來做擬合。

在一些資料中提到的直接使用回歸曲線來做曲線擬合。事實(shí)上在SOC中難以實(shí)現(xiàn)該方法，因?yàn)樵赟OC中緩存能力有限，不能對多幀圖像進(jìn)行儲存，因此當(dāng)幀過來的圖像必須立刻進(jìn)行處理，如果繼續(xù)直接使用回歸的方法來做，邊緣會(huì)有較大的畸變，效果很差。由于緩存的存儲空間大小的限定，這個(gè)曲線擬合的問題變成了一個(gè)實(shí)時(shí)追蹤平滑濾波的問題。另外，有許多文獻(xiàn)資料提到的使用Kalman濾波方法來做，但在運(yùn)動(dòng)方式不確定的情況下，根本不能完成運(yùn)動(dòng)平滑擬合，Kalman濾波需要有一個(gè)參考的模型，而實(shí)際中的運(yùn)動(dòng)是沒有確定的模型可供參考，拍攝設(shè)備的運(yùn)動(dòng)規(guī)律可以講是任意情況，Kalman濾波的方法僅適用固定的像監(jiān)控?cái)z像設(shè)備之類的電子穩(wěn)像運(yùn)動(dòng)曲線濾波。通過實(shí)驗(yàn)和分析，在場景平移的時(shí)候，比如拍攝設(shè)備想前方移動(dòng)或左右移動(dòng)，那么累加的相鄰幀間運(yùn)動(dòng)矢量就會(huì)呈現(xiàn)上升或下坡狀曲線，在這種情況下，無論是使用慣性濾波還是其他的像回歸多項(xiàng)式曲線的方法擬合出來的平滑曲線都會(huì)出現(xiàn)一個(gè)延滯現(xiàn)象，如果直接通過前面的運(yùn)動(dòng)規(guī)律做補(bǔ)償又會(huì)出現(xiàn)在運(yùn)動(dòng)突然消失的時(shí)候的過補(bǔ)償。本文采用了先通過慣性濾波的辦法，然后根據(jù)時(shí)間相距遠(yuǎn)近做一個(gè)折中的權(quán)值補(bǔ)償擬合平滑曲線如式(4)所示，其中∑δi=1。

C(i)=R(i)×δ1+R(i-1)×δ2+…+R(i-15)×
δ15+(R(i)-R(i-15))×θ

(4)

2.4 補(bǔ)償

在上一步完成了曲線擬合的基礎(chǔ)上，計(jì)算當(dāng)前實(shí)際的疊加值曲線與擬合曲線運(yùn)動(dòng)量的差值，然后對圖像位置進(jìn)行調(diào)整，剪切掉圖像邊緣部分，得到穩(wěn)像后的圖像。這里有些文獻(xiàn)提到的通過腐蝕的方法實(shí)現(xiàn)邊緣部分的校正，由于可能會(huì)面臨著上幀中完全沒出現(xiàn)的物體的部分需要你做補(bǔ)償出現(xiàn)。特別是一些高速運(yùn)動(dòng)的物體像車輛之類，即使僅相隔一幀圖像，也會(huì)有較大的位置改變，無論是文獻(xiàn)[14]中提到的通過小波的辦法，以及文獻(xiàn)[13]中提到的圖像復(fù)原的方法，還是經(jīng)典的腐蝕膨脹，都不能達(dá)到一個(gè)能夠視覺上讓人接受的效果。唯一能在實(shí)際應(yīng)用中可行的方案只有通過用一個(gè)較大的Sensor來做，設(shè)定預(yù)留的行數(shù)，這樣在最后的計(jì)算結(jié)果中自動(dòng)剪切掉邊緣部分，得到的就是處理后的穩(wěn)定圖像。

3 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)設(shè)備:攝像設(shè)備如圖5所示,采用的成像控制單元是自主研發(fā)的ISP。

通過圖6和圖7的對比，可以看出與相關(guān)文獻(xiàn)中提到的方法對比，本文方法尋找到的特征點(diǎn)匹配對在全圖中分布均衡，避免了僅追蹤局部區(qū)域的問題。

本文采用一個(gè)熵值來判定匹配對在圖像中分布的均衡性，具體方法是將每個(gè)匹配對對應(yīng)當(dāng)幀中的特征點(diǎn)截取其周圍10×10的面積，如果與其他特征點(diǎn)疊加，疊加部分則合并不重復(fù)計(jì)算，再將這個(gè)面積值除以計(jì)算的圖像區(qū)域的總面積，公式為

H= (5)

通過圖8可以看出，本文采用的相隔9點(diǎn)取最優(yōu)響應(yīng)值再做比較的方法需要比較的點(diǎn)數(shù)遠(yuǎn)小于僅作3點(diǎn)的處理，更遠(yuǎn)勝過沒做該處理的方法，圖9可以看出本文的方法能夠平滑的擬合實(shí)時(shí)運(yùn)動(dòng)曲線。

圖5 自主研發(fā)的攝像控制單元

圖6 沒有進(jìn)行分塊的特診點(diǎn)匹配

圖7 使用分塊的特診點(diǎn)匹配

圖8 采用相隔3點(diǎn)和相隔9點(diǎn)的計(jì)算點(diǎn)數(shù)的對比

4 結(jié)束語

本文提出的對圖像分塊特征匹配的方法，相較于傳統(tǒng)的直接使用特征匹配的方法來說，在整張圖的正確分析，場景的判定方面有較大的優(yōu)勢。但是本文的方法在場景切換時(shí)，特征點(diǎn)極少的情況下，該方法效果并不完美，當(dāng)然這也是該項(xiàng)技術(shù)的一個(gè)瓶頸。如何能對極少特征點(diǎn)的圖像進(jìn)行準(zhǔn)確分析，還需要進(jìn)一步研究和探討。

[1] 蔣建國,劉杰杰,齊美彬. 基于SURF和軌跡濾波的旋轉(zhuǎn)視頻穩(wěn)像算法[J].儀器儀表學(xué)報(bào),2014,35(3)：550-557.

[2] 余家林,孫季豐,宋治國. 基于優(yōu)選特征軌跡的全分辨率視頻穩(wěn)定[J].電子與信息學(xué)報(bào),2015,37(5)：1141-1148.

[3] Wang Y S,Liu F,Hsu P S,et al. Spatially and temporally optimized video stabilization[J]. IEEE Transactions on Visualization & Computer Graphics,2013,19(8):1354-1361.

[4] 陳麗莉. 基于SUSAN算法的角點(diǎn)檢測[J]. 現(xiàn)代計(jì)算機(jī):專業(yè)版,2009(5):75-77.

[5] 王碩. 基于運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)分離等技術(shù)的電子穩(wěn)像算法研究[D]. 哈爾濱：哈爾濱工業(yè)大學(xué),2014.

[6] 吳國楠,周超超,尹文波,等. 基于Harris角點(diǎn)與改進(jìn)Hu矩的電子穩(wěn)像算法[J]. 計(jì)算機(jī)工程,2013,39(3):300-305.

[7] 孫平,鄒麗新. 基于改進(jìn)特征點(diǎn)的電子穩(wěn)像穩(wěn)像算法研究[D].蘭州:蘭州大學(xué),2008.

[8] Yin B,Duan H Ch. Image stabilizati-on by combining grayscal projection and block matching algorithm [C].Guangzhou:Proceedings of IEEE International Symposium on IT in Medicine & Education,2009.

[9] Herbert Bay,Tinne Tuytelaa-Rs,Luc Van Cool,et al. SURF: speed up robust features [C]. London:9th European Conference on Computer Vision,2006.

[10] 吳威,許廷發(fā),王亞偉,等.高精度全景補(bǔ)償電子穩(wěn)像[J].中國光學(xué),2013,6(3):378-385.

[11] 葛川,郭寶龍.基于自適應(yīng)運(yùn)動(dòng)濾波的電子穩(wěn)像技術(shù)研究[D].西安:西安電子科技大學(xué),2011.

[12] 段煉,耿慶常.風(fēng)云衛(wèi)星云圖自動(dòng)識別追蹤MCS的方法[J].電子科技,2016,29(4):116-126

[13] 郭姝言,劉橋,盧進(jìn).一種改進(jìn)的醫(yī)學(xué)圖像深度信息恢復(fù)算法[J].電子科技,2016,29(1):48-55.

[14] 董佳鵬,何建忠. 基于冗余小波變換的灰度多聚焦圖像融合方法[J].電子科技,2015,28(12):100-103.

[15] 李慶揚(yáng),易大義,王能超. 現(xiàn)代數(shù)值分析[M]. 北京：高等教育出版社,1995.

Research on Electronic Image Stabilization Technology in SOC based on Feature Matching with Multiple Boxes Statistics

SHA Zongye，YIN Zhiping

(Optoelectronic Technology Research Institute,Hefei University of Technology,Hefei 230000,China)

When the feature points are used to estimate the motion,the problem that the feature points will be concentrated in the region of the image often occurs. The method of calculating the feature points in each block by dividing the MORAVEC feature points to match the adjacent two frames of the video images,and then use the method of RANSAC mismatch elimination can effectively solve the problem. Based on the calculation of the middle area of the original SENSOR image grid and edge part reserved for the original image matching,statistics the right motion vector,the value of motion vector method and the total inertia filtering smoothing fitting and motion compensation values of each image. The distribution area of feature points matched by this method is obviously wider than that without the method. Moreover,this method used in SOC can be calculate fastly.

SURF; RANSAC; EIS; inertial filter; MVE

TN911.73;TP391.41

A

1007-7820(2017)11-048-05

2016- 12- 25

國家自然科學(xué)基金(61401140)

沙宗也(1986-),男，碩士研究生。研究方向：圖像處理。尹治平(1980-),男，博士，副研究員。研究方向：微波圖像。

10.16180/j.cnki.issn1007-7820.2017.11.014