基于改進(jìn)SIFT 和互信息法的單色和彩色視頻高精度配準(zhǔn)

謝萬鵬， 劉 歡， 吳銀花， 陳 雷， 張 巖， 王文娜， 胡 佳， 韓 軍*

（1. 西安工業(yè)大學(xué) 光電工程學(xué)院， 陜西 西安 710021；2. 西安工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院， 陜西 西安 710021）

1 引言

本文主要探討了對(duì)具有時(shí)間差波動(dòng)的單色視頻和彩色視頻進(jìn)行高精度配準(zhǔn)的優(yōu)化方法。近年來在監(jiān)控安防中越來越多地使用雙目相機(jī)作為視頻采集設(shè)備，但雙目相機(jī)之間存在微小且時(shí)而變化的時(shí)間差，并且攝像頭時(shí)常進(jìn)行擺頭運(yùn)動(dòng)，若采用相同的配準(zhǔn)矩陣對(duì)視頻進(jìn)行配準(zhǔn)則所采集的視頻會(huì)出現(xiàn)不可控的配準(zhǔn)差異。這種配準(zhǔn)差異雖然在人為觀測(cè)時(shí)產(chǎn)生的影響較小但在使用機(jī)器學(xué)習(xí)等算法進(jìn)行后續(xù)處理時(shí)則會(huì)產(chǎn)生較大影響。因此，需要針對(duì)這種不確定性時(shí)差波動(dòng)進(jìn)行進(jìn)一步優(yōu)化，以提高視頻配準(zhǔn)的準(zhǔn)確性。

有許多學(xué)者在圖像配準(zhǔn)領(lǐng)域中做出了貢獻(xiàn)。

其中，按照配準(zhǔn)圖像和待配準(zhǔn)圖像之間的關(guān)系，圖像配準(zhǔn)可分為同源圖像和異源圖像配準(zhǔn)；按照配準(zhǔn)所使用的方式，圖像配準(zhǔn)可分為傳統(tǒng)方式和深度學(xué)習(xí)方式。近年來關(guān)于配準(zhǔn)的研究有些采用了傳統(tǒng)方法，如粒子群算法、蟻群算法和蜂群算法等［1］。另外，研究者也通過特征點(diǎn)的提取來進(jìn)行圖像配準(zhǔn)。紅外圖像和可見光圖像的配準(zhǔn)方式被分為了互信息、特征提取和深度學(xué)習(xí)等3種大類［2-5］。一些方法使用圖像位置信息和仿射中心不變性來提高無人機(jī)視頻配準(zhǔn)效果［6］，而其他方法使用注意力機(jī)制［7］、軌跡預(yù)測(cè)［8］、特征點(diǎn)優(yōu)化［9-12］、關(guān)鍵部位定位［13-15］等方式對(duì)配準(zhǔn)進(jìn)行優(yōu)化。一些研究者還使用了監(jiān)督［15-17］和無監(jiān)督［18］深度學(xué)習(xí)模型直接生成變換矩陣的方式簡(jiǎn)化配準(zhǔn)過程，使用多尺度的方式提高配準(zhǔn)速度［19］，使用歸一化的方式提高配準(zhǔn)準(zhǔn)確度［20］，或在簡(jiǎn)單場(chǎng)景中簡(jiǎn)化配準(zhǔn)過程以大幅提高配準(zhǔn)速度［20-21］。有些研究者使用Moravec 角點(diǎn)檢測(cè)和SIFT 特征提取相結(jié)合的方式［22］，或?qū)D像分為高頻子帶和低頻子帶來提高配準(zhǔn)精度［23］，也有通過提取共性特征配準(zhǔn)電站圖像［24］，還有一些研究者采用了人臉識(shí)別框的方式來加強(qiáng)鼻子位置的匹配準(zhǔn)確率［25］。Zuo C 綜述了各種圖像計(jì)量方法，為圖像質(zhì)量整理了各種評(píng)價(jià)指標(biāo)［26］。

包含可見光波段和近紅外波段的單色視頻和彩色視頻具有相似但不完全相同的特征屬性，僅使用互相關(guān)信息進(jìn)行模板配準(zhǔn)無法完成空間角度的變換，而使用特征尺度不變性進(jìn)行配準(zhǔn)則無法達(dá)到高精度配準(zhǔn)的目的和要求，因而包含可見光波段和近紅外波段的單色視頻和彩色視頻的高精度配準(zhǔn)工作仍然需要進(jìn)行進(jìn)一步的探討。由于視頻流同時(shí)具有時(shí)序信息和空間信息，時(shí)序信息也可以作為視頻配準(zhǔn)的一大助力，但視頻時(shí)序信息存在不確定性波動(dòng)。目前常采用的同步觸發(fā)機(jī)制可有效消除雙目相機(jī)之間跨時(shí)間戳的時(shí)序誤差，因此無需進(jìn)行基于時(shí)間同步方法的時(shí)序修正，但仍存在小于幀間時(shí)間差的時(shí)間誤差。對(duì)于小于幀間時(shí)間差的時(shí)序誤差，使用現(xiàn)有時(shí)間同步方法不能有效進(jìn)行修正，因而需要針對(duì)這種不確定性時(shí)差波動(dòng)進(jìn)行進(jìn)一步優(yōu)化。

本文的主要工作是針對(duì)這種具有時(shí)間差波動(dòng)的單色視頻和彩色視頻提出高精度配準(zhǔn)優(yōu)化方法。首先使用尺度不變特征變換的方式對(duì)視頻進(jìn)行粗匹配，隨后使用縮小互相關(guān)信息和通過金字塔模式修正配準(zhǔn)矩陣的方式對(duì)視頻進(jìn)行配準(zhǔn)再修正，并且基于視頻幀的前后相似性對(duì)尺度不變特征變換中的特征點(diǎn)選擇進(jìn)行篩選，提高了單色視頻和彩色視頻的配準(zhǔn)準(zhǔn)確率，最終在公開數(shù)據(jù)集MICVV 上進(jìn)行了測(cè)試，證實(shí)了算法的有效性。

2 單色視頻和彩色視頻的配準(zhǔn)工作原理與改進(jìn)

2.1 SIFT 算法配準(zhǔn)原理

尺度不變特征變換（Scale-invariant feature transform，SIFT）算法分為4 個(gè)步驟：尺度空間特征點(diǎn)檢測(cè)、定位特征點(diǎn)、確定特征點(diǎn)方向和特征點(diǎn)描述。

SIFT 算法首先需要在圖像中尋找特征點(diǎn)，在SIFT 中采用高斯核計(jì)算的方式對(duì)圖像描述不同的尺度。通過尺度因子建立尺度空間，在其尺度空間內(nèi)檢測(cè)極值點(diǎn)，也就是特征點(diǎn)。

SIFT 算法需要對(duì)特征點(diǎn)進(jìn)行定位。為了還原這些特征點(diǎn)原有的大小和方向，需要對(duì)這些離散的特征點(diǎn)進(jìn)行平滑擬合，最終得到真正的特征點(diǎn)屬性。

SIFT 算法需要確定特征點(diǎn)方向。SIFT 在確定特征點(diǎn)方向時(shí)采用了梯度直方圖的統(tǒng)計(jì)方法，統(tǒng)計(jì)了特征點(diǎn)附近一塊區(qū)域的梯度方向，并采用最大方向?yàn)楫?dāng)前特征點(diǎn)的主方向。

SIFT 算法需要對(duì)特征點(diǎn)進(jìn)行描述，通過建立矢量矩陣的方式描述特征點(diǎn)的各區(qū)域方向?qū)傩?。首先將所有特征點(diǎn)的鄰域像素根據(jù)特征點(diǎn)的主方向旋轉(zhuǎn)至同一方向，并將特征點(diǎn)的鄰域像素分為4塊，對(duì)4塊區(qū)域分別統(tǒng)計(jì)方向直方圖，最終得到消除亮度和特征點(diǎn)旋轉(zhuǎn)影響的特征點(diǎn)描述符。

取得特征點(diǎn)描述后，SIFT 算法一般采用RANSAC 算法進(jìn)行特征點(diǎn)的匹配，計(jì)算配準(zhǔn)矩陣。

2.2 本文算法

對(duì)于首幀配準(zhǔn)，考慮到其配準(zhǔn)精度會(huì)直接影響后續(xù)幀配準(zhǔn)精度，本文算法的首要目標(biāo)是提高首幀配準(zhǔn)精度；對(duì)于后續(xù)幀配準(zhǔn)，考慮到視頻時(shí)序長(zhǎng)帶來的時(shí)間成本，本文算法著力于在保持高配準(zhǔn)精度的情況下提高后續(xù)幀配準(zhǔn)速度。

2.2.1 基于改進(jìn)SIFT 方法的視頻首幀粗配準(zhǔn)

針對(duì)單色視頻和彩色視頻的配準(zhǔn)問題，本文在SIFT 基礎(chǔ)上進(jìn)行了改進(jìn)。由于使用雙目相機(jī)進(jìn)行視頻采集時(shí)相機(jī)相對(duì)位置固定，時(shí)間差和硬件抖動(dòng)帶來的配準(zhǔn)誤差保持在一定范圍內(nèi)，因而可利用標(biāo)記點(diǎn)對(duì)計(jì)算出的參考配準(zhǔn)矩陣對(duì)RANSAC計(jì)算出的特征點(diǎn)對(duì)進(jìn)行篩選，以增強(qiáng)算法穩(wěn)定性。

在使用雙目相機(jī)進(jìn)行監(jiān)控視頻拍攝時(shí)，由于相機(jī)的鏡頭中軸線間距較小而所拍攝景物均與相機(jī)距離較遠(yuǎn)，所產(chǎn)生的空間變化不足以影響SIFT算法對(duì)特征點(diǎn)的描述，因此可使用透射變換矩陣作為配準(zhǔn)矩陣。由于透射變換矩陣具有較高的自由度，使配準(zhǔn)算法能夠適應(yīng)微小的空間變化，但需要充分的特征點(diǎn)對(duì)才能對(duì)矩陣進(jìn)行精確推導(dǎo)。同時(shí)，為了避免誤刪有效特征點(diǎn)對(duì)，應(yīng)有足夠的備選特征點(diǎn)對(duì)以供篩選。

由于單色視頻和彩色視頻中相同位置的特征點(diǎn)對(duì)常具有完全不同的方向特征，且在雙目相機(jī)拍攝的監(jiān)控視頻配準(zhǔn)問題上方向波動(dòng)較弱，使用8 或16 個(gè)方向判斷對(duì)提高配準(zhǔn)質(zhì)量沒有明顯幫助。對(duì)于SIFT 算法來說，小于5°的方向誤差對(duì)特征點(diǎn)搜索影響較小可以忽略，因此取消方向搜索不會(huì)降低算法敏感性，反而可以通過減少約束條件，增加特征點(diǎn)對(duì)的數(shù)量，對(duì)于具有后續(xù)篩選的配準(zhǔn)算法具有很大益處。因而本文將SIFT 算法中特征點(diǎn)搜索方向數(shù)量由8 個(gè)減少到1 個(gè)，即不考慮特征點(diǎn)方向，進(jìn)而確保在每張圖像中尋找出100 個(gè)以上特征點(diǎn)對(duì)。

為了取得更為穩(wěn)定的參考配準(zhǔn)矩陣，分別在圖像的4 個(gè)象限各選取一個(gè)標(biāo)記點(diǎn)，參考配準(zhǔn)矩陣和標(biāo)記點(diǎn)對(duì)的關(guān)系如式（1）所示：

其中：x1表示在單色圖像中標(biāo)記點(diǎn)的橫坐標(biāo)，y1表示在單色圖像中標(biāo)記點(diǎn)的縱坐標(biāo)，x2表示在彩色圖像中標(biāo)記點(diǎn)的橫坐標(biāo)，y2表示在彩色圖像中標(biāo)記點(diǎn)的縱坐標(biāo)，由參數(shù)a1～a4、b1、b2、c1、c2、w（歸一化系數(shù)一般設(shè)置為1）組成的3×3 矩陣是配準(zhǔn)矩陣。利用4 個(gè)標(biāo)記點(diǎn)對(duì)聯(lián)立式（1）可求得參考配準(zhǔn)矩陣。由于相機(jī)的相對(duì)位置固定，可利用參考配準(zhǔn)矩陣粗略預(yù)測(cè)單色視頻首幀中特征點(diǎn)在彩色視頻首幀中的對(duì)應(yīng)配準(zhǔn)點(diǎn)位置，并與RANSAC 計(jì)算出的匹配特征點(diǎn)對(duì)比計(jì)算誤差，刪除誤差大于設(shè)定閾值Dmax的特征點(diǎn)對(duì)，提高配準(zhǔn)的穩(wěn)定性。本文采用式（2）計(jì)算其中特征點(diǎn)對(duì)誤差：

其中：x'1和y'1分別是特征點(diǎn)（x1，y1）通過參考配準(zhǔn)矩陣預(yù)測(cè)得到的配準(zhǔn)點(diǎn)坐標(biāo)，（x2，y2）是RANSAC計(jì)算出的匹配特征點(diǎn)坐標(biāo)。

2.2.2 視頻首幀的配準(zhǔn)優(yōu)化

經(jīng)過本文提出的改進(jìn)SIFT 方法進(jìn)行配準(zhǔn)后，仍存在一定的配準(zhǔn)誤差。由于在視頻中首幀配準(zhǔn)精度往往對(duì)后續(xù)幀配準(zhǔn)精度影響很大，因而需要對(duì)首幀粗配準(zhǔn)結(jié)果進(jìn)一步修正。本文采用互相關(guān)信息法進(jìn)行首幀配準(zhǔn)的進(jìn)一步配準(zhǔn)優(yōu)化，通過微調(diào)變換矩陣修正配準(zhǔn)點(diǎn)位置，SIFT 算法計(jì)算出的變換矩陣及其修正如式（3）所示：

其中，L1、L2、L3和L4為修正參數(shù)。

本文設(shè)計(jì)了一種步長(zhǎng)金字塔模式，即通過多輪調(diào)節(jié)、逐步減小步長(zhǎng)對(duì)修正參數(shù)進(jìn)行調(diào)節(jié)，提高配準(zhǔn)精確度。首先將修正過程分為t個(gè)調(diào)節(jié)輪次，每個(gè)輪次按照修正步長(zhǎng)dLt對(duì)修正參數(shù)L1～L4進(jìn)行修正，通過逐漸減小dLt的方式逐輪提高修正精度。其中在第t輪次中的修正方式為：對(duì)L1～L4逐個(gè)進(jìn)行加或減運(yùn)算以及包括原點(diǎn)共計(jì)算出9 個(gè)方向?qū)?yīng)的配準(zhǔn)矩陣，并根據(jù)這9 個(gè)配準(zhǔn)矩陣得到9 張配準(zhǔn)圖像，通過與參考圖像進(jìn)行均方誤差（Mean-square error，MSE）計(jì)算得到9 個(gè)數(shù)值，根據(jù)所得MSE 最小的調(diào)整方向?qū)π拚齾?shù)進(jìn)行調(diào)整，連續(xù)執(zhí)行第t輪10 次或最小方向?yàn)樵c(diǎn)時(shí)進(jìn)入下一輪次。各輪次中修正步長(zhǎng)dLt的計(jì)算公式如式（4）所示：

其中：u是縮小系數(shù)，根據(jù)經(jīng)驗(yàn)可知其數(shù)值不宜過小且應(yīng)在0.7～1 之間，若過于接近0.5 則容易陷入局部最優(yōu)解；t是調(diào)節(jié)輪次；dL0是初始修正步長(zhǎng)。為了保證初始修正步長(zhǎng)足夠大，使用式（5）計(jì)算最小步長(zhǎng)dL0：

其中：a1～a4為式（3）中的待調(diào)整參數(shù)，n是圖像長(zhǎng)邊長(zhǎng)度。

在經(jīng)過t輪修正后，若修正步長(zhǎng)小于最小修正步長(zhǎng)mindL則認(rèn)為達(dá)到配準(zhǔn)目標(biāo)。為了滿足配準(zhǔn)精度，采用式（6）確定最小修正步長(zhǎng)mindL：

2.2.3 后續(xù)視頻幀平移修正

由于視頻具有時(shí)序長(zhǎng)、運(yùn)算量大等特點(diǎn)，視頻的后續(xù)視頻幀配準(zhǔn)問題主要集中在配準(zhǔn)速度和算法穩(wěn)定性上。經(jīng)過本文提出的改進(jìn)SIFT 算法進(jìn)行配準(zhǔn)有效提高了配準(zhǔn)精度。然而，在配準(zhǔn)速度上，由于使用了SIFT 特征配準(zhǔn)耗費(fèi)了大量時(shí)間，因而需要使用新的方法對(duì)后續(xù)視頻幀的配準(zhǔn)速度進(jìn)行優(yōu)化。若使用前幀相同的配準(zhǔn)矩陣對(duì)后續(xù)的視頻幀進(jìn)行配準(zhǔn)變換，則由于單色視頻與彩色視頻中存在的時(shí)間差波動(dòng)以及相機(jī)的擺動(dòng)，隨著相機(jī)的擺動(dòng)，時(shí)間差的波動(dòng)會(huì)導(dǎo)致原本應(yīng)匹配的一對(duì)視頻幀常出現(xiàn)一定程度的平移誤差，因而需要對(duì)后續(xù)幀進(jìn)行進(jìn)一步修正。本文采用縮小互相關(guān)信息的方式進(jìn)行后續(xù)幀的平移修正，通過對(duì)待配準(zhǔn)視頻幀進(jìn)行平移變換的方式彌補(bǔ)由時(shí)間差波動(dòng)和相機(jī)擺動(dòng)帶來的平移誤差。平移變換中的坐標(biāo)換算如式（7）所示：

其中：x'2和y'2分別是（x2，y2）經(jīng)過平移修正后的橫坐標(biāo)和縱坐標(biāo)，dx為x方向上的平移距離，dy為y方向上的平移距離。

dx和dy的修正方式仍然采用本文設(shè)計(jì)的步長(zhǎng)金字塔模式。首先將修正過程分為t個(gè)調(diào)節(jié)輪次，每個(gè)輪次按照修正步長(zhǎng)dLt對(duì)修正參數(shù)dx和dy進(jìn)行修正，通過逐漸減小dLt的方式逐輪提高修正精度。其中在第t個(gè)輪次中的修正方式為：對(duì)dx和dy逐個(gè)進(jìn)行加或減運(yùn)算以及包括原點(diǎn)共計(jì)算出5 個(gè)方向?qū)?yīng)的配準(zhǔn)矩陣，并根據(jù)這5 個(gè)配準(zhǔn)矩陣得到5 張配準(zhǔn)圖像，通過與參考圖像進(jìn)行均方誤差（Mean-square error，MSE）計(jì)算得到5 個(gè)數(shù)值，根據(jù)所得MSE 最小的調(diào)整方向?qū)π拚齾?shù)進(jìn)行調(diào)整，連續(xù)執(zhí)行第t輪10次或最小方向?yàn)樵c(diǎn)時(shí)進(jìn)入下一輪次。在經(jīng)過t輪修正后，若修正步長(zhǎng)小于最小修正步長(zhǎng)mindL則認(rèn)為達(dá)到配準(zhǔn)目標(biāo)，即配準(zhǔn)過程中標(biāo)記點(diǎn)誤差小于0.01 像素。

3 配準(zhǔn)效果與結(jié)果

為了驗(yàn)證本文算法的可行性和有效性，在公開數(shù)據(jù)集MICVV 上進(jìn)行了仿真實(shí)驗(yàn)，通過定性分析和定量分析進(jìn)行了效果驗(yàn)證。

3.1 MICVV 數(shù)據(jù)集

MICVV 數(shù)據(jù)集包含多種配準(zhǔn)和未配準(zhǔn)的連續(xù)視頻幀，其中單色視頻為包含可見光波段和近紅外波段的視頻，彩色視頻為包含可見光波段的同場(chǎng)景視頻。視頻場(chǎng)景主要為校園監(jiān)控場(chǎng)景，單色和彩色視頻幀圖像尺寸均為640×480，視頻幀率均為15 fps。

3.2 視頻首幀粗配準(zhǔn)方法驗(yàn)證實(shí)驗(yàn)

為了驗(yàn)證2.2.1 節(jié)中視頻首幀粗配準(zhǔn)方法的有效性，針對(duì)單色視頻和彩色視頻的首幀分別使用傳統(tǒng)SIFT 算法和改進(jìn)SIFT 算法計(jì)算了配準(zhǔn)點(diǎn)對(duì)，配準(zhǔn)效果如圖1 所示。

圖1 配準(zhǔn)效果及改進(jìn)后的配準(zhǔn)效果。（a）單色視頻幀；（b）彩色視頻幀；（c）原始RANSAC 效果；（d）改進(jìn)后的配準(zhǔn)效果。Fig.1 Registration effect and improved registration effect.（a） Monochrome video frames； （b） Color video frames； （c） Original RANSAC effect； （d） Improved registration effect.

根據(jù)圖1 可知：（1）篩選后仍然保留了大量的配準(zhǔn)點(diǎn)對(duì)，足以根據(jù)篩選后的配準(zhǔn)點(diǎn)對(duì)計(jì)算配準(zhǔn)矩陣；（2）篩選掉了大量不正確的配準(zhǔn)點(diǎn)對(duì)，為配準(zhǔn)計(jì)算增加了穩(wěn)定性。配準(zhǔn)點(diǎn)分布情況表明了2.2.1 節(jié)中視頻首幀粗匹配方法有效，在保留大量正確配準(zhǔn)點(diǎn)對(duì)的情況下有效消減了錯(cuò)誤配準(zhǔn)點(diǎn)對(duì)的數(shù)量，提高了算法的穩(wěn)定性。

3.3 視頻首幀配準(zhǔn)改進(jìn)方法驗(yàn)證實(shí)驗(yàn)

為了驗(yàn)證本文提出的視頻首幀配準(zhǔn)方法的有效性，對(duì)經(jīng)過傳統(tǒng)SIFT 算法得到的首幀配準(zhǔn)圖像和在改進(jìn)SIFT 方法基礎(chǔ)上進(jìn)一步配準(zhǔn)優(yōu)化后得到的首幀配準(zhǔn)圖像進(jìn)行了比較，并通過對(duì)配準(zhǔn)圖像進(jìn)行棋盤化處理更精確分析配準(zhǔn)誤差，最后對(duì)能夠看出配準(zhǔn)差異的局部區(qū)域予以放大展示，結(jié)果如圖2 所示。

圖2 傳統(tǒng)SIFT 方法與本文首幀配準(zhǔn)方法效果對(duì)比。（a）單色視頻幀；（b）彩色視頻幀；（c）SIFT 配準(zhǔn)后單色圖像；（d）進(jìn)一步配準(zhǔn)優(yōu)化后的單色圖像；（e）SIFT 配準(zhǔn)后的棋盤配準(zhǔn)圖；（f）進(jìn)一步配準(zhǔn)優(yōu)化后的棋盤配準(zhǔn)圖；（g）具有1 像素誤差的局部區(qū)域；（h）修正后誤差幾乎不可見素的局部區(qū)域。經(jīng)過進(jìn)一步配準(zhǔn)優(yōu)化后，圖像兩側(cè)位置更加精確，標(biāo)記點(diǎn)誤差由1 像素縮小到不可察。Fig.2 Comparison of the effect of traditional SIFT method and the first frame alignment method in this paper. （a） Monochrome video frames； （b） Color video frames； （c） Registered monochrome images obtained by the improved method； （d） Monochrome images after further alignment optimization； （e） Board alignment chart after SIFT alignment； （f） Further alignment-optimized board alignment diagram； （g） Local area with 1 pixel error； （h） Error is barely visible in the local area of the vegetation after correction. After further alignment optimization， the position is more accurate on both sides of the image， and the marker point error is reduced from 1 pixel to almost invisible.

經(jīng)過計(jì)算得到，使用SIFT 算法進(jìn)行配準(zhǔn)的耗時(shí)為2.628 s，使用改進(jìn)SIFT 算法進(jìn)行配準(zhǔn)的耗時(shí)為2.463 s，進(jìn)一步使用高精度修正方法進(jìn)行配準(zhǔn)時(shí)間增加到了4.163 s。使用SIFT 方法所得首幀配準(zhǔn)圖像的有效區(qū)域（非黑色邊緣區(qū)域）MSE 為0.011 46，使用本文視頻首幀配準(zhǔn)（改進(jìn)SIFT 方法加高精度修正）方法所得首幀配準(zhǔn)圖像的MSE 為0.011 37，即MSE 減少了0.79%。從圖2 中的棋盤配準(zhǔn)圖可以看出，使用傳統(tǒng)SIFT 方法所得到的配準(zhǔn)圖像標(biāo)記點(diǎn)誤差約為1 像素，而使用本文首幀配準(zhǔn)方法后的標(biāo)記點(diǎn)誤差則不可察。

3.4 視頻后續(xù)幀的配準(zhǔn)實(shí)驗(yàn)

針對(duì)序列長(zhǎng)度為100 幀的單色視頻和彩色視頻進(jìn)行了配準(zhǔn)實(shí)驗(yàn)，其中視頻首幀配準(zhǔn)采用2.2.1 和2.2.2 節(jié)中所提出的方法，后續(xù)視頻幀采用了2.2.3 節(jié)中所提出的方法，并對(duì)配準(zhǔn)結(jié)果進(jìn)行了定性和定量分析。

對(duì)于定性分析，從上述視頻幀中提取了第14、28、42、56、70、84、98 共7 個(gè)視頻幀進(jìn)行了對(duì)比分析，結(jié)果如圖3 所示，其中每一幀包括了對(duì)應(yīng)的單色視頻幀、彩色視頻幀、配準(zhǔn)后的單色視頻幀以及棋盤配準(zhǔn)效果展示圖。

圖3 連續(xù)視頻幀的配準(zhǔn)效果，從上到下依次為第14、28、42、56、70、84、98 幀圖像的對(duì)比圖。（a）單色視頻幀；（b）彩色視頻幀；（c）配準(zhǔn)后的單色視頻幀；（d）棋盤配準(zhǔn)圖。Fig.3 Registration effect of continuous video frames. （a）Monochrome video frames； （b） Color video frames；（c） Monochrome video frames with registration；（d） Chess and card registration map.

根據(jù)圖3 中的棋盤配準(zhǔn)圖可以看出，使用本文算法進(jìn)行配準(zhǔn)時(shí)，后續(xù)幀的標(biāo)記點(diǎn)誤差幾乎不存在，且對(duì)不同時(shí)序幀均保持良好的配準(zhǔn)效果，說明本文算法能夠有效并高精度地完成單色視頻和彩色視頻的配準(zhǔn)工作，同時(shí)具有時(shí)間上的穩(wěn)定性。

對(duì)于定量分析，分別使用了本文算法和SIFT算法對(duì)上述的長(zhǎng)度為100 幀的單色視頻和彩色視頻的配準(zhǔn)效果進(jìn)行了數(shù)字統(tǒng)計(jì)，所使用的單色視頻和彩色視頻尺寸均為640×480，統(tǒng)計(jì)包含上述視頻7 個(gè)視頻幀的各項(xiàng)指標(biāo)和1～100 幀的各項(xiàng)指標(biāo)平均值，其中包括有效區(qū)域均方根誤差（MSE）、配準(zhǔn)平均時(shí)間、結(jié)構(gòu)相似性（SSIM）、峰值信噪比（PSNR）。MSE 計(jì)算了配準(zhǔn)圖像與待配準(zhǔn)圖像的L2 距離，SSIM 在多尺度上計(jì)算了配準(zhǔn)圖像與待配準(zhǔn)圖像的配準(zhǔn)質(zhì)量，PSNR 通過歸一化的衡量方法對(duì)配準(zhǔn)效果進(jìn)行了評(píng)價(jià)。實(shí)驗(yàn)數(shù)據(jù)如表1 所示。

從表1可以看出，本文算法和SIFT算法在MSE、SSIM 和PSNR 等配準(zhǔn)精度指標(biāo)上差異不大，但SIFT 算法在第84 幀配準(zhǔn)結(jié)果出現(xiàn)了較大的誤差，MSE 誤差、SSIM 和PSNR 分別達(dá)到了0.033 1、0.520 和14.002，算法穩(wěn)定性略低。本文算法在整個(gè)視頻序列配準(zhǔn)中一直能夠正常工作，沒有出現(xiàn)明顯的誤差起伏，算法穩(wěn)定性較好。在英特爾酷睿i5-10210U（1.60 GHz）上對(duì)100 張連續(xù)圖像配準(zhǔn)時(shí)，本文的平均配準(zhǔn)時(shí)間為0.357 s，而使用SIFT 算法的平均配準(zhǔn)時(shí)間為2.373，使用本文算法大幅縮短了配準(zhǔn)時(shí)間。綜上所述，本文算法在連續(xù)視頻幀的配準(zhǔn)工作中精度較高、速度較快且穩(wěn)定性較強(qiáng)，相比SIFT 算法更加穩(wěn)定，在大幅提高配準(zhǔn)速度的同時(shí)配準(zhǔn)精度波動(dòng)較小且具有較高的穩(wěn)定性，符合單色視頻幀和彩色視頻幀的高速和高精度配準(zhǔn)要求。

4 結(jié)論

本文根據(jù)單色和彩色視頻數(shù)據(jù)集配準(zhǔn)工作精度高、速度快的要求，提出了基于預(yù)估配準(zhǔn)矩陣進(jìn)行改進(jìn)的SIFT 算法、適用于單色視頻和彩色視頻的高精度修正方法以及針對(duì)連續(xù)視頻幀的平移修正的方法。通過定性分析實(shí)驗(yàn)證明了所提算法的有效性，并通過定量分析證明了所提算法的準(zhǔn)確性和高效性。實(shí)驗(yàn)結(jié)果表明，相比于SIFT 算法，本文算法首幀配準(zhǔn)的MSE 誤差減少了0.79%，首幀的標(biāo)記點(diǎn)誤差由1 像素減少到不可察，在連續(xù)視頻幀中平均每幀配準(zhǔn)時(shí)間為0.357 s，同時(shí)標(biāo)記點(diǎn)誤差仍然保持不可察，很好地滿足了全自動(dòng)化單色視頻與彩色視頻配準(zhǔn)的要求。