基于特征點(diǎn)匹配的視頻監(jiān)控圖像校正方法

馮清枝茍益博楊洪臣

（1 中國(guó)刑警學(xué)院 遼寧 沈陽 110035；2 慶陽市公安局刑事科學(xué)技術(shù)研究所 甘肅 慶陽 745000）

基于特征點(diǎn)匹配的視頻監(jiān)控圖像校正方法

馮清枝1茍益博2楊洪臣1

（1 中國(guó)刑警學(xué)院 遼寧 沈陽 110035；2 慶陽市公安局刑事科學(xué)技術(shù)研究所 甘肅 慶陽 745000）

針對(duì)視頻監(jiān)控圖像普遍存在的非線性幾何畸變，以實(shí)際應(yīng)用為出發(fā)點(diǎn)，結(jié)合圖像畸變校正原理，提出一種基于特征點(diǎn)匹配的視頻監(jiān)控圖像校正方法。與MATLAB軟件的圖像校正功能相結(jié)合，該方法更加實(shí)用、高效，適于推廣應(yīng)用。

視頻監(jiān)控 圖像校正 特征點(diǎn)匹配 MATLAB

1 引言

鑒于犯罪問題的復(fù)雜化與警力資源的有限性，利用視頻監(jiān)控技術(shù)處置突發(fā)事件、預(yù)防和打擊犯罪、維護(hù)社會(huì)穩(wěn)定成為當(dāng)前許多國(guó)家競(jìng)相采取的安全防范策略。視頻監(jiān)控技術(shù)不僅能夠有效地預(yù)防和遏制犯罪行為，輔助警方開展案件偵查工作，提供破案線索和訴訟證據(jù)，而且能夠匯集犯罪活動(dòng)信息，為社情分析和科學(xué)決策提供重要依據(jù)。多年的警務(wù)工作實(shí)踐表明，在倡導(dǎo)信息技術(shù)的新時(shí)期，視頻監(jiān)控技術(shù)與其它偵查技術(shù)相互整合，必將在犯罪偵防領(lǐng)域中發(fā)揮更大的作用。正因如此，建全視頻監(jiān)控技術(shù)的應(yīng)用機(jī)制，克服視頻監(jiān)控技術(shù)的瓶頸制約，提高視頻監(jiān)控信息的應(yīng)用價(jià)值是各地公安機(jī)關(guān)亟需解決的研究課題。從技術(shù)層面上分析，受到監(jiān)控系統(tǒng)的自身性能、安裝位置、監(jiān)控對(duì)象的位移等因素的影響，視頻監(jiān)控圖像存在著嚴(yán)重的幾何畸變，增加了圖像判斷、內(nèi)容識(shí)別、事件分析等工作的難度，制約著視頻監(jiān)控技術(shù)在犯罪偵防領(lǐng)域中效能的發(fā)揮。針對(duì)視頻監(jiān)控圖像存在的鏡頭畸變、透視畸變和傾斜投影畸變等，利用MATLAB軟件的圖像校正功能，通過合理地選取特征點(diǎn)的數(shù)量、分布，建立畸變圖像與參考圖像之間的空間坐標(biāo)變換關(guān)系，實(shí)現(xiàn)畸變圖像與參考圖像之間的像素配準(zhǔn)，并對(duì)校正圖像的像素灰度進(jìn)行插值運(yùn)算，達(dá)到消除監(jiān)控圖像幾何畸變的目的。視頻監(jiān)控圖像校正的意義在于不僅可以提高監(jiān)控圖像分析的準(zhǔn)確性，還原監(jiān)控現(xiàn)場(chǎng)的真實(shí)場(chǎng)景，而且可以與同一場(chǎng)景的不同時(shí)空的其它監(jiān)控圖像進(jìn)行幾何配準(zhǔn)和復(fù)合分析，為事件調(diào)查、案件偵查和審理工作提供更準(zhǔn)確、更全面的依據(jù)。

2 視頻監(jiān)控圖像的幾何畸變

視頻監(jiān)控系統(tǒng)通過攝像機(jī)對(duì)特定時(shí)空范圍內(nèi)的景物進(jìn)行拍攝記錄，以視頻圖像形式客觀反映景物的特征、狀態(tài)以及活動(dòng)軌跡等信息。當(dāng)攝像光學(xué)系統(tǒng)將三維空間的景物映射到二維平面上時(shí)，不可避免地造成視頻監(jiān)控圖像的幾何畸變。幾何畸變也稱為幾何失真、圖像變形等，是指攝像光學(xué)系統(tǒng)形成的圖像像素的幾何位置相對(duì)于參照系統(tǒng)（地面景物實(shí)際位置）發(fā)生的伸縮、扭曲和偏移等變形，致使圖像景物的幾何尺寸、形狀和方位等發(fā)生變化。

為了獲得更大的監(jiān)控范圍，多數(shù)視頻監(jiān)控系統(tǒng)采用具有大視場(chǎng)角的短焦距鏡頭。對(duì)于短焦距鏡頭的幾何畸變，主要表現(xiàn)為三種類型的畸變：一是光學(xué)透鏡加工誤差造成的徑向畸變；二是光學(xué)透鏡的不正確組合引起的離心畸變；三是攝像光學(xué)系統(tǒng)裝配不完善造成的薄透鏡畸變。離心畸變和薄透鏡畸變都包含有徑向畸變與切向畸變。徑向畸變是由于透鏡的遠(yuǎn)光軸區(qū)域的放大率與近光軸區(qū)域的放大率不同，使得圖像像素沿著徑線方向發(fā)生偏移，這種偏移是圓對(duì)稱的。如果沿著徑線向內(nèi)偏移稱為桶形畸變，反之則稱為枕形畸變。切向畸變是由于各個(gè)透鏡的光學(xué)中心不能嚴(yán)格共面，使得圖像像素沿著切線方向發(fā)生偏移。對(duì)于短焦距鏡頭而言，徑向畸變對(duì)圖像幾何畸變的影響程度遠(yuǎn)高于離心畸變和薄透鏡畸變。

在理想狀態(tài)下，光學(xué)透鏡的物像映射關(guān)系符合近似線性的比例規(guī)律。然而，視頻監(jiān)控系統(tǒng)的安裝位置使得光學(xué)鏡頭的成像平面與景物平面之間存在著一定的傾斜角度和旋轉(zhuǎn)角度，此時(shí)，光學(xué)透鏡的物像比例關(guān)系則是非線性的，從而引發(fā)透視畸變和傾斜投影畸變。特別是，當(dāng)監(jiān)控對(duì)象偏離光軸較遠(yuǎn)時(shí)，透視畸變更加明顯。究其成因，視頻監(jiān)控圖像的幾何畸變是鏡頭畸變、透視畸變和傾斜投影畸變等非線性光學(xué)畸變綜合作用的結(jié)果。

3 圖像畸變校正原理

從廣義上講，圖像畸變是一種圖像退化形式，而圖像校正可以認(rèn)為是圖像畸變的復(fù)原過程。圖像校正包括兩個(gè)環(huán)節(jié)：一是空間坐標(biāo)變換，目的是將畸變圖像中發(fā)生偏移的像素坐標(biāo)恢復(fù)到正確的位置上；二是像素灰度插值，目的是利用畸變圖像上已知的圖像數(shù)據(jù)，推算出更多的圖像數(shù)據(jù)，補(bǔ)償坐標(biāo)變換對(duì)像素分布的影響，準(zhǔn)確地再現(xiàn)真實(shí)場(chǎng)景。

3.1 空間坐標(biāo)變換

空間坐標(biāo)變換的關(guān)鍵是建立畸變圖像與參考圖像之間的像素坐標(biāo)變換關(guān)系。參考圖像是一幅與畸變圖像相對(duì)應(yīng)，用于圖像校正時(shí)參照比對(duì)的基準(zhǔn)圖像。事實(shí)上，參考圖像與畸變圖像對(duì)應(yīng)的像素坐標(biāo)是不同的，參考圖像的像素分布是等距均勻的，而畸變圖像的像素分布是不等距非均勻的。

在數(shù)學(xué)方法上，對(duì)于不同的二維笛卡爾坐標(biāo)系之間的坐標(biāo)變換，通常采用二元n次多項(xiàng)式來近似表達(dá)：

式中，x，y為參考圖像坐標(biāo)；u，v為畸變圖像坐標(biāo)；aij、bij為多項(xiàng)式系數(shù)；n為多項(xiàng)式次數(shù)。

二元n次多項(xiàng)式將不同坐標(biāo)系下的像素坐標(biāo)聯(lián)系起來，一旦確定了這個(gè)多項(xiàng)式，就可以將畸變圖像中的任意像素坐標(biāo)換算出參考圖像中的對(duì)應(yīng)像素坐標(biāo)，而二元n次多項(xiàng)式的推導(dǎo)則體現(xiàn)在多項(xiàng)式系數(shù)的計(jì)算方法上。通過在畸變圖像和參考圖像上對(duì)應(yīng)選取若干個(gè)特征點(diǎn)，分別測(cè)定這些特征點(diǎn)的像素坐標(biāo)，建立求解多項(xiàng)式系數(shù)的方程組，采用最小二乘法擬合出多項(xiàng)式系數(shù)。

在二元n次多項(xiàng)式推導(dǎo)過程中，從提高圖像校正精度的角度考慮，需要兼顧如下三方面因素：

一是多項(xiàng)式次數(shù)n值的選擇，n值與幾何畸變的復(fù)雜程度密切相關(guān)。當(dāng)n=1時(shí)，空間坐標(biāo)變換為二元一次多項(xiàng)式，可以進(jìn)行線性坐標(biāo)變換，用于校正等比例的透視畸變；當(dāng)n≥2時(shí)，空間坐標(biāo)變換為二元高次多項(xiàng)式，可以進(jìn)行非線性坐標(biāo)變換，用于校正非線性的鏡頭畸變。從理論上講，n值越大，越適宜校正復(fù)雜的幾何畸變，但是計(jì)算量也相對(duì)較大。一般情況下，n值的選擇不大于3。

二是特征點(diǎn)的選擇，特征點(diǎn)的幾何精度直接影響多項(xiàng)式系數(shù)的計(jì)算誤差。通過細(xì)致觀察，精確比對(duì)，在參考圖像和畸變圖像上對(duì)應(yīng)選取那些易于識(shí)別、精準(zhǔn)匹配的特征點(diǎn)（如建筑物邊緣、線條的交叉點(diǎn)、地面標(biāo)志物等），并且特征點(diǎn)分布盡量均勻，特征變化顯著的部位適當(dāng)增加一些，使多項(xiàng)式系數(shù)的計(jì)算盡可能準(zhǔn)確。

三是特征點(diǎn)數(shù)目的確定。從數(shù)學(xué)運(yùn)算上講，二元一次多項(xiàng)式變換，需要計(jì)算6個(gè)多項(xiàng)式系數(shù)，此時(shí)至少需要3個(gè)特征點(diǎn)；而二元二次多項(xiàng)式變換，需要計(jì)算12個(gè)多項(xiàng)式系數(shù)，此時(shí)至少需要6個(gè)特征點(diǎn)。但是在實(shí)際應(yīng)用中，采用最小特征點(diǎn)數(shù)目，幾何校正效果往往不好，因此在條件允許的情況下，特征點(diǎn)數(shù)目要大于最小數(shù)目。

3.2 像素灰度插值

經(jīng)過空間坐標(biāo)變換之后，畸變圖像上每個(gè)像素坐標(biāo)分別置換到參考圖像上對(duì)應(yīng)的像素坐標(biāo)，不再與原來的畸變圖像像素坐標(biāo)完全重合，因此需要對(duì)經(jīng)過坐標(biāo)變換的像素重新賦予灰度值。因?yàn)橐阎膱D像數(shù)據(jù)是畸變圖像的像素灰度值，所以需要利用像素灰度插值方法，由畸變圖像的像素灰度值計(jì)算出校正圖像的像素灰度值。常用的灰度插值方法有最近鄰域插值、雙線性插值、雙三次插值、多項(xiàng)式插值和樣條插值等，這些插值方法各有優(yōu)缺點(diǎn)，適用范圍也不同。在實(shí)際應(yīng)用中，可以根據(jù)校正精度和校正速度的要求選擇適宜的插值方法，對(duì)畸變圖像進(jìn)行灰度校正。

4 視頻監(jiān)控圖像的校正操作

4.1 MATLAB軟件的圖像校正功能

MATLAB是Mathworks公司于1984年推出的數(shù)學(xué)軟件，是一種用于科學(xué)計(jì)算的高級(jí)語言。MATLAB最初主要向用戶提供一套完善的矩陣運(yùn)算命令，隨著數(shù)值運(yùn)算的演變，它逐漸發(fā)展成為數(shù)學(xué)計(jì)算與數(shù)據(jù)分析、系統(tǒng)建模與仿真、信號(hào)處理與分析、科學(xué)可視化等研究領(lǐng)域的通用語言。MATLAB提供的圖像處理函數(shù)，幾乎涵蓋了包括近期研究成果在內(nèi)的圖像處理的所有技術(shù)方法，是從事圖像處理和圖像分析的技術(shù)人員難得的寶貴資料和加工工具。用戶可以借助MATLAB強(qiáng)大的數(shù)值運(yùn)算功能，直接調(diào)用圖像處理函數(shù)，編寫圖像校正程序。

4.1.1 調(diào)用cpselect函數(shù)手動(dòng)選擇特征點(diǎn)

在交互環(huán)境下，用戶在畸變圖像和參考圖像上分別選擇一定數(shù)目的匹配特征點(diǎn)，cpselect函數(shù)依次測(cè)定特征點(diǎn)的坐標(biāo)數(shù)值，并保存到MATLAB工作空間中備用。

4.1.2 調(diào)用cp2tform函數(shù)建立坐標(biāo)變換關(guān)系

用戶根據(jù)圖像幾何畸變特征，選擇空間坐標(biāo)變換形式，如仿射變換、投影變換、多項(xiàng)式變換等，cp2tform函數(shù)利用工作空間中保存的匹配特征點(diǎn)坐標(biāo)數(shù)組，計(jì)算出畸變圖像和參考圖像之間的空間坐標(biāo)變換矩陣。

4.1.3 調(diào)用imtransform函數(shù)完成圖像校正

以cp2tform函數(shù)提供的坐標(biāo)變換矩陣為模板，imtransform函數(shù)將畸變圖像上每個(gè)像素坐標(biāo)分別置換到參考圖像上對(duì)應(yīng)的像素坐標(biāo)，并采用雙三次插值方法對(duì)經(jīng)過坐標(biāo)變換的像素重新賦予灰度值，輸出校正圖像。

4.2 應(yīng)用實(shí)例

圖1為某單位入口上方懸掛的監(jiān)控?cái)z像機(jī)記錄的畫面。如前所述，在多種因素的綜合作用下，圖1存在著明顯的幾何畸變，是一幅典型的畸變圖像，畫面分辨率為700×525像素。圖2為從地面觀察者的角度，采用數(shù)碼相機(jī)標(biāo)準(zhǔn)鏡頭拍攝的監(jiān)控現(xiàn)場(chǎng)畫面，以此作為圖像校正時(shí)的參考圖像，畫面分辨率為1530×1150像素。

由于畸變圖像和參考圖像是在不同時(shí)間、不同位置、使用不同設(shè)備采集的兩幅圖像，且二者的分辨率不同，因此兩幅圖像的畫面內(nèi)容差異顯著，這樣就需要細(xì)致地識(shí)別和選擇兩幅圖像上匹配的特征點(diǎn)。特征點(diǎn)數(shù)目選定為12，并且均勻地分布在畸變圖像和參考圖像上，如圖3所示。圖4為經(jīng)過校正處理的監(jiān)控圖像。

圖2 參考圖像

圖3 兩幅圖像匹配特征點(diǎn)的選擇

圖4 經(jīng)過校正處理的監(jiān)控圖像

5 結(jié)論

本文提出的圖像校正方法只是將視頻監(jiān)控圖像的幾何畸變視為復(fù)雜的非線性畸變，而無需考慮視頻監(jiān)控系統(tǒng)的結(jié)構(gòu)和參數(shù)等，通過在畸變圖像和參考圖像之間選定匹配的特征點(diǎn)，利用數(shù)學(xué)最優(yōu)化方法擬合出空間坐標(biāo)變換關(guān)系，以像素坐標(biāo)置換方式達(dá)到校正幾何畸變的目的。研究表明，該方法校正精度高，有效地校正了視頻監(jiān)控圖像普遍存在的鏡頭畸變、透視畸變和傾斜投影畸變等，能夠滿足監(jiān)控圖像定量分析的需要，適合在犯罪偵防工作中推廣應(yīng)用。需要指出的是，選定特征點(diǎn)的匹配程度和精確程度是影響校正精度的關(guān)鍵因素，此外，隨著選定特征點(diǎn)的增多，矩陣運(yùn)算較為復(fù)雜，計(jì)算量大。

[1]Y.No mura，M.Sagara，H.Naruse，etal.Simple calibration algorithm for high-distortion lens camera[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1992，14(11).

[2]楊必武，郭曉松.攝像機(jī)鏡頭非線性畸變校正方法綜述[J].中國(guó)圖像圖形學(xué)報(bào)，2005，10(3).

[3]王學(xué)平.遙感圖像幾何校正原理及效果分析[J].計(jì)算機(jī)應(yīng)用與軟件，2008，（9）.

[4]常學(xué)義，孫秋冬，等.基于MATLAB的圖像配準(zhǔn)方法[J].上海第二工業(yè)大學(xué)學(xué)報(bào)，2006，23（4）.

（責(zé)任編輯：孟凡騫）

TP391.4

A

2013-11-18

馮清枝（1969-），男，遼寧沈陽人，中國(guó)刑警學(xué)院聲像資料檢驗(yàn)技術(shù)系副教授，碩士，主要從事刑事影像技術(shù)、數(shù)字圖像處理等方面的研究。