采用輪廓特征匹配的紅外-可見光視頻自動(dòng)配準(zhǔn)

孫興龍，韓廣良，郭立紅，劉培勛，許廷發(fā)

(1.中國科學(xué)院 長(zhǎng)春光學(xué)精密機(jī)械與物理研究所，吉林 長(zhǎng)春 130033； 2.中國科學(xué)院大學(xué)， 北京 100049； 3. 北京理工大學(xué) 光電學(xué)院，北京 100081)

1 引 言

作為計(jì)算機(jī)視覺領(lǐng)域的重要組成部分，圖像融合技術(shù)[1]在近年來得到了深入的研究，尤其是多源圖像融合技術(shù)[2-4]。其中，紅外圖像和可見光圖像可以為觀測(cè)場(chǎng)景提供互補(bǔ)性的光譜信息，融合兩者[2,4]可以顯著地提升場(chǎng)景表述能力，因此在人臉識(shí)別、安防監(jiān)控、軍事偵察、目標(biāo)跟蹤等領(lǐng)域得到了廣泛應(yīng)用[5-6]。作為圖像融合的關(guān)鍵預(yù)處理技術(shù)之一，圖像配準(zhǔn)技術(shù)[7]致力于確定兩幅或多幅圖像之間的時(shí)空變換關(guān)系，進(jìn)而在時(shí)間和空間上對(duì)齊待融合圖像。精確的圖像配準(zhǔn)可以保證圖像融合的有效性和可靠性，具有重要的研究意義。

圖像配準(zhǔn)的核心工作是在待配準(zhǔn)圖像間尋找一致性信息，但這對(duì)于紅外-可見光圖像而言是一個(gè)十分具有挑戰(zhàn)性的問題。紅外傳感器的成像原理是記錄場(chǎng)景的熱分布，而可見光傳感器是記錄場(chǎng)景的反射光分布。成像原理的不同導(dǎo)致兩類圖像存在強(qiáng)烈的強(qiáng)度差異和紋理差異。例如，紅外圖像往往遺漏物體的細(xì)節(jié)信息，但這在可見光圖像中卻清晰可見。在此情況下，如何有效地為圖像配準(zhǔn)提取一致性信息是一個(gè)值得探究的問題，諸多學(xué)者已經(jīng)對(duì)此展開了深入的研究和分析。

目前已經(jīng)存在的紅外-可見光圖像配準(zhǔn)算法主要基于以下三類信息：區(qū)域信息、特征信息及運(yùn)動(dòng)信息。區(qū)域信息配準(zhǔn)算法[8-10]的基本思想是直接或間接地利用圖像強(qiáng)度信息計(jì)算一種相似性度量函數(shù)，通過最優(yōu)化度量函數(shù)確定配準(zhǔn)參數(shù)。其主要包括相關(guān)類算法和互信息法。相關(guān)類算法[9]主要通過最大化各個(gè)候選圖像子窗之間的互相關(guān)函數(shù)確定匹配窗口對(duì)，進(jìn)而得到一致性信息?；バ畔⒎椒╗8,10]采用聯(lián)合信息熵(互信息函數(shù))作為損失函數(shù)，通過最優(yōu)化損失函數(shù)確定配準(zhǔn)參數(shù)。總體而言，區(qū)域信息配準(zhǔn)算法嚴(yán)重依賴于圖像強(qiáng)度信息，難以克服異源圖像之間強(qiáng)度差異的影響。

基于特征信息的配準(zhǔn)算法首先需要從圖像中提取特征，然后通過匹配特征計(jì)算兩幅圖像間的變換關(guān)系。經(jīng)常采用的特征包括點(diǎn)、邊緣等。作為最常見的特征，點(diǎn)特征已經(jīng)被普遍地應(yīng)用于配準(zhǔn)領(lǐng)域，如角點(diǎn)[11]，SIFT特征點(diǎn)[12]及SURF[13]特征點(diǎn)。但由于紅外-可見光圖像之間的強(qiáng)度差異和紋理差異，利用這些點(diǎn)特征進(jìn)行配準(zhǔn)并不可靠。紅外-可見光傳感器可以同時(shí)捕獲場(chǎng)景中的邊緣信息，因此采用邊緣信息配準(zhǔn)是一種可行的方案。Klimaszewski等人[14]通過衡量相位相關(guān)度匹配紅外-可見光邊緣，而Ma等人[6]采用復(fù)雜的高斯區(qū)域準(zhǔn)則匹配邊緣映射信息。此外，Ming等人[15]通過在邊緣上提取CSS(Curvature Scale Space)角點(diǎn)進(jìn)行圖像配準(zhǔn)。但是，邊緣分布在紅外-可見光圖像中并不完全一致，且非常容易受到噪聲的影響，直接采用邊緣信息難以保證配準(zhǔn)精度。

由于靜態(tài)特征的配準(zhǔn)精度受限，近年來逐漸出現(xiàn)了基于運(yùn)動(dòng)信息的配準(zhǔn)方法。此類方法首先采用運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)[16-17]提取目標(biāo)前景，然后根據(jù)前景特征完成配準(zhǔn)工作。其中，王洪慶等人[18-19]通過采用跟蹤目標(biāo)頂點(diǎn)的方式確定目標(biāo)運(yùn)動(dòng)軌跡，并通過軌跡匹配計(jì)算配準(zhǔn)矩陣。然而精確地檢測(cè)目標(biāo)頂點(diǎn)的難度較大，得到的特征數(shù)量也有限。另一類方法[20-22]是提取目標(biāo)前景的輪廓曲線，在進(jìn)行配準(zhǔn)時(shí)對(duì)輪廓曲線或曲線上的特征點(diǎn)進(jìn)行匹配。此類方法可以達(dá)到較高的配準(zhǔn)精度，是目前配準(zhǔn)效果比較突出的一類配準(zhǔn)算法。

然而，基于輪廓特征的配準(zhǔn)方法仍然存在著一些缺陷。首先，在特征匹配之前并沒有對(duì)特征進(jìn)行充分的描述，導(dǎo)致匹配的精確度不足；此外，在近平面場(chǎng)景中物體的深度位置并不完全固定，而這些方法僅僅根據(jù)當(dāng)前時(shí)刻的配準(zhǔn)效果確定全局配準(zhǔn)矩陣，往往導(dǎo)致矩陣陷入局部最優(yōu)解，無法精確地配準(zhǔn)整個(gè)視頻序列。

為了解決上述問題，本文提出了一種新的配準(zhǔn)方法，其根據(jù)輪廓曲線的空間分布對(duì)特征進(jìn)行描述，提升了特征匹配的可靠性；在估計(jì)全局配準(zhǔn)矩陣時(shí)，綜合考慮了配準(zhǔn)參數(shù)在多個(gè)時(shí)刻的配準(zhǔn)效果，防止其陷入局部最優(yōu)解。實(shí)驗(yàn)結(jié)果表明，本文算法在近平面場(chǎng)景中可以實(shí)現(xiàn)高精度的紅外-可見光視頻配準(zhǔn)，其精度優(yōu)于當(dāng)前先進(jìn)的其它配準(zhǔn)算法。

2 輪廓特征配準(zhǔn)方法的基本原理

基于輪廓特征的配準(zhǔn)算法[20-22]通過利用目標(biāo)的運(yùn)動(dòng)信息克服了紅外-可見光圖像間強(qiáng)度差異與紋理差異的影響，在紅外-可見光圖配準(zhǔn)領(lǐng)域具有重要的參考價(jià)值。這類算法主要包含特征提取、特征匹配及配準(zhǔn)參數(shù)計(jì)算三個(gè)步驟。

2.1 輪廓特征提取

為了捕獲運(yùn)動(dòng)目標(biāo)的輪廓特征，首先需要采用運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)檢測(cè)目標(biāo)前景。目前在配準(zhǔn)領(lǐng)域被經(jīng)常使用的運(yùn)動(dòng)目標(biāo)檢測(cè)算法是St-Charles等人提出的PAWCS算法[17]。該算法根據(jù)顏色特征信息和二值化特征信息對(duì)背景進(jìn)行統(tǒng)計(jì)建模，并對(duì)統(tǒng)計(jì)模型進(jìn)行負(fù)反饋更新，最后通過背景減除的方式提取運(yùn)動(dòng)目標(biāo)。為了抑制噪聲和光線變化等因素的干擾，濾波、腐蝕和膨脹等操作在這一過程也經(jīng)常被使用。圖1給出了利用PAWCS(Pixd-based Adaptive Word Consensus Segmenter)算法提取到的紅外-可見光前景圖像。

圖1 運(yùn)動(dòng)目標(biāo)檢測(cè)的結(jié)果Fig.1 Results of motional target detection

在提取了運(yùn)動(dòng)目標(biāo)以后，利用簡(jiǎn)單的邊緣檢測(cè)技術(shù)即可獲得目標(biāo)輪廓曲線。目前的配準(zhǔn)算法通過多種手段從曲線上提取特征。其中，Sonn等人[20]采用曲線演化理論獲取特征點(diǎn)，而Charles等人[21]直接將所有輪廓點(diǎn)作為特征。另一種方式是利用CSS角點(diǎn)檢測(cè)算法[15,22]提取特征，主要包含以下步驟：(1)在大尺度空間下計(jì)算所有輪廓點(diǎn)的曲率值，選取鄰域極大值點(diǎn)作為候選角點(diǎn)；(2)在低尺度空間下精確定位候選角點(diǎn)，將其與T型角點(diǎn)進(jìn)行比較剔除，得到最終的檢測(cè)結(jié)果。該方法具有定位準(zhǔn)確、計(jì)算量小等優(yōu)勢(shì)，且提取的特征具有尺度不變性和旋轉(zhuǎn)不變性。本文采用該算法提取配準(zhǔn)特征點(diǎn)，提取到的紅外-可見光輪廓特征如圖2所示。

圖2 CSS角點(diǎn)檢測(cè)的結(jié)果Fig.2 Results of CSS corner detection

2.2 輪廓特征匹配

特征匹配是圖像配準(zhǔn)的核心任務(wù)，精確有效的特征匹配是實(shí)現(xiàn)高質(zhì)量圖像配準(zhǔn)的前提。目前已經(jīng)出現(xiàn)了多種輪廓特征匹配策略，各種類型的特征描述子也已被采用。Sonn等人[20]在曲線演化理論的基礎(chǔ)上引入了距離描述子和方向描述子，通過計(jì)算描述子之間的距離匹配紅外-可見光特征點(diǎn)。Sun等人[22]采用歸一化位置和邊緣方向直方圖描述特征點(diǎn)，并以歸一化距離作為匹配度量函數(shù)。盡管這些描述子在輪廓特征匹配的過程中起到了一定作用，但描述方法過于簡(jiǎn)單，無法保證匹配質(zhì)量。因此本文建立新的特征描述機(jī)制，以完成精確地特征匹配。

2.3 配準(zhǔn)參數(shù)計(jì)算

在完成特征點(diǎn)匹配后，可利用匹配點(diǎn)對(duì)計(jì)算配準(zhǔn)參數(shù)。目前常用的是隨機(jī)一致性(RANSAC)算法[23]。其首先隨機(jī)選取若干點(diǎn)對(duì)計(jì)算配準(zhǔn)參數(shù)，并根據(jù)該參數(shù)計(jì)算各匹配點(diǎn)對(duì)之間的距離，方式如式(1)所示：

(1)

其中： (xi,yi)和(xj,yj)分別表示點(diǎn)對(duì)中紅外和可見光特征點(diǎn)的位置，Z表示插值變換，M表示配準(zhǔn)參數(shù)。當(dāng)點(diǎn)對(duì)之間的距離小于T(一般T=5)時(shí)，認(rèn)為其是矩陣的內(nèi)點(diǎn)，否則視為外點(diǎn)。多次循環(huán)以上步驟，選取內(nèi)點(diǎn)數(shù)量最多的配準(zhǔn)參數(shù)作為最終結(jié)果。

在視頻序列配準(zhǔn)問題上，僅根據(jù)當(dāng)前時(shí)刻的配準(zhǔn)參數(shù)難以實(shí)現(xiàn)精確配準(zhǔn)。因此，許多算法[20-22]采用迭代更新的策略確定一個(gè)全局配準(zhǔn)矩陣。采用初次得到的配準(zhǔn)矩陣初始化全局配準(zhǔn)矩陣，并計(jì)算當(dāng)前時(shí)刻配準(zhǔn)矩陣和全局配準(zhǔn)矩陣在當(dāng)前紅外-可見光前景上的重疊率誤差，計(jì)算方式如式(2)所示：

(2)

其中：SI表示紅外前景圖像，SV表示可見光前景圖像，M表示配準(zhǔn)矩陣，Z表示插值變換。此后，可以根據(jù)兩個(gè)矩陣的重疊率誤差判斷如何根據(jù)當(dāng)前配準(zhǔn)矩陣更新全局配準(zhǔn)矩陣，實(shí)現(xiàn)最終地配準(zhǔn)。

3 改進(jìn)的輪廓特征匹配式紅外-可見光視頻配準(zhǔn)

3.1 原理框架

圖3呈現(xiàn)了本文紅外-可見光視頻配準(zhǔn)方法的基本流程。對(duì)于輸入的紅外-可見光視頻序列，首先由PAWCS目標(biāo)檢測(cè)算法提取目標(biāo)前景，并采用CSS角點(diǎn)檢測(cè)算法在前景輪廓上提取配準(zhǔn)特征點(diǎn)。此后，為每個(gè)特征點(diǎn)建立兩個(gè)描述子：根據(jù)全局輪廓形狀信息建立形狀上下文描述子；根據(jù)局部輪廓方向信息建立邊緣方向直方圖描述子。接著，根據(jù)描述子之間的相似程度匹配紅外-可見光特征點(diǎn)，并用一個(gè)基于高斯距離準(zhǔn)則的特征匹配庫保存不同時(shí)刻的特征點(diǎn)對(duì)。最后，采用RANSAC(Random Sample Consensus)算法計(jì)算

圖3 本文配準(zhǔn)算法框架示意圖Fig.3 Framework of proposed registration method

當(dāng)前時(shí)刻的配準(zhǔn)矩陣。對(duì)不同時(shí)刻的前景樣本進(jìn)行隨機(jī)抽樣選取，根據(jù)在抽取樣本上的前景重疊率誤差判斷是否更新全局配準(zhǔn)矩陣，完成對(duì)紅外-可見光視頻序列的配準(zhǔn)。在后續(xù)的章節(jié)中，會(huì)對(duì)方法進(jìn)行詳細(xì)介紹。

3.2 特征描述

論文首先利用PAWCS算法檢測(cè)目標(biāo)前景，并從前景輪廓上提取CSS特征點(diǎn)。此后，為了保證特征匹配質(zhì)量，需要進(jìn)行特征描述。但輪廓特征點(diǎn)來源于二值化前景圖像，一般的描述方法并不可靠。為此，論文建立兩種新的特征描述子。

3.2.1 全局形狀上下文描述子

當(dāng)紅外-可見光相機(jī)的拍攝視角差異不是十分明顯時(shí)，在兩種圖像中目標(biāo)的輪廓形狀具有相似性。論文采用形狀上下文算法統(tǒng)計(jì)目標(biāo)輪廓形狀的空間分布，建立全局形狀上下文描述子。對(duì)于第k個(gè)CSS特征點(diǎn)，首先計(jì)算所有輪廓點(diǎn)與該點(diǎn)之間的距離值和角度值，計(jì)算公式如下：

(3)

在統(tǒng)計(jì)了所有輪廓點(diǎn)的空間分布后，需要進(jìn)行歸一化編碼處理來保證描述子的尺度不變性和旋轉(zhuǎn)不變性。選取距離當(dāng)前特征點(diǎn)最遠(yuǎn)的輪廓點(diǎn)作為歸一化編碼的參考點(diǎn)，距離歸一化編碼的公式如式(4)所示：

(4)

(5)

(6)

在量化編碼后，歸一化角度編碼值只能取1,2,…,8等8個(gè)整數(shù)值。最后，對(duì)所有輪廓點(diǎn)的距離編碼和角度編碼進(jìn)行直方圖統(tǒng)計(jì)，為當(dāng)前特征點(diǎn)建立一個(gè)40維的形狀上下文描述子，表示如下：

Hi=P(i),i=1,2,...,40,

(7)

3.2.2 局部邊緣方向直方圖描述子

運(yùn)動(dòng)目標(biāo)檢測(cè)的結(jié)果存在著一定的誤差，導(dǎo)致僅利用輪廓形狀的全局空間分布可能會(huì)誤匹配鄰近特征點(diǎn)。因此，論文同時(shí)根據(jù)特征點(diǎn)鄰域的輪廓方向分布描述特征，建立局部邊緣方向直方圖描述子。為剔除尺度縮放和旋轉(zhuǎn)變換的影響，首先對(duì)紅外特征的鄰域輪廓點(diǎn)(x,y)進(jìn)行重新定位，方式如下：

(8)

Ei=P(i),i=1,2,...,32，

(9)

其中：i表示方向索引值，P(i)表示方向索引值i出現(xiàn)的概率。

3.3 特征匹配及存儲(chǔ)

3.3.1 特征匹配

論文根據(jù)已經(jīng)建立的特征描述子匹配紅外-可見光輪廓特征點(diǎn)。首先對(duì)兩種描述子進(jìn)行拼接，為每個(gè)特征點(diǎn)建立一個(gè)72維的綜合描述子，表示如式(10)所示：

Gi=G(i),i=1,2,...,72.

(10)

該描述子的前40維表示全局形狀上下文描述子，后32維表示局部邊緣方向直方圖描述子。此后，采用χ2統(tǒng)計(jì)函數(shù)計(jì)算兩個(gè)特征點(diǎn)的匹配程度，公式如式(11)所示：

(11)

其中GI(k)和GV(k)分別表示紅外和可見光特征點(diǎn)的綜合描述子。χ2統(tǒng)計(jì)函數(shù)值越低，兩個(gè)特征點(diǎn)的匹配程度越高。在匹配過程中，論文采用雙向匹配策略。對(duì)于每個(gè)紅外特征點(diǎn)，選取匹配程度最高的可見光特征點(diǎn)作為候選匹配點(diǎn)。同時(shí)，根據(jù)相同的方式為每個(gè)可見光特征點(diǎn)確定紅外候選匹配點(diǎn)。若一對(duì)紅外-可見光特征點(diǎn)互為候選匹配，則將它們視為最終的匹配點(diǎn)對(duì)。雙向匹配策略可以有效地降低誤匹配的概率，特征匹配的結(jié)果如圖4所示。

圖4 特征匹配的結(jié)果Fig.4 Results of feature matching

3.3.2 特征存儲(chǔ)

在視頻序列的配準(zhǔn)問題上，僅采用當(dāng)前時(shí)刻的匹配點(diǎn)對(duì)難以實(shí)現(xiàn)高精度配準(zhǔn)。目前，多種特征匹配庫[20-22]已經(jīng)被用于保存來自不同時(shí)刻的特征點(diǎn)對(duì)，如先入先出(First in, First out)的匹配庫[20]。為了更有效地剔除外點(diǎn)，保留可靠的匹配點(diǎn)對(duì)，論文采用一種基于高斯距離準(zhǔn)則的特征匹配庫。首先計(jì)算每對(duì)匹配點(diǎn)之間的高斯距離，公式如式(12)所示：

λ·C(GI(i),GV(i)))，

(12)

其中：xI(i)和xv(i)分別表示匹配點(diǎn)對(duì)中紅外和可見光特征點(diǎn)的位置，Z表示已經(jīng)得到的全局配準(zhǔn)矩陣(見章節(jié)3.4)，d表示歐氏距離函數(shù)。C(GI(i),GV(i))表示該點(diǎn)對(duì)的匹配程度，計(jì)算方式如式(11)。σ表示高斯權(quán)重因子，一般取值為100。λ表示特征點(diǎn)距離和匹配度之間的平衡因子，一般取值為0.3。利用高斯距離準(zhǔn)則可以綜合衡量匹配點(diǎn)對(duì)的匹配度以及其對(duì)當(dāng)前配準(zhǔn)參數(shù)的適應(yīng)性，有利于提升匹配點(diǎn)對(duì)的質(zhì)量。此后，當(dāng)匹配庫中的點(diǎn)對(duì)數(shù)量超過上限容量時(shí)(一般設(shè)置為500)，將高斯距離最小的1/3視為外點(diǎn)點(diǎn)對(duì)。當(dāng)獲取新的匹配點(diǎn)對(duì)后，利用其隨機(jī)替代外點(diǎn)點(diǎn)對(duì)，完成匹配庫更新。

3.4 計(jì)算全局配準(zhǔn)矩陣

根據(jù)不同時(shí)刻的特征點(diǎn)對(duì)，采用RANSAC算法即可計(jì)算當(dāng)前時(shí)刻的配準(zhǔn)參數(shù)。此后，可以基于當(dāng)前時(shí)刻的前景重疊率誤差更新全局配準(zhǔn)矩陣，使全局配準(zhǔn)矩陣時(shí)刻趨向于配準(zhǔn)當(dāng)前時(shí)刻目標(biāo)。但在近平面場(chǎng)景中，運(yùn)動(dòng)目標(biāo)在不同時(shí)刻可能存在深度差異，配準(zhǔn)了當(dāng)前時(shí)刻的目標(biāo)并不意味著精確配準(zhǔn)了整個(gè)視頻序列，全局配準(zhǔn)矩陣可能陷入了局部最優(yōu)解。

為解決該問題，論文提出了前景樣本隨機(jī)抽樣策略，核心思想是結(jié)合多個(gè)時(shí)刻的目標(biāo)前景估計(jì)全局配準(zhǔn)矩陣，避免其陷入局部最優(yōu)。該策略首先建立一個(gè)前景樣本庫，保存不同時(shí)刻的紅外-可見光前景樣本對(duì)。當(dāng)庫中樣本對(duì)的數(shù)量達(dá)到上限時(shí)(一般設(shè)置為50)，根據(jù)前一時(shí)刻的全局配準(zhǔn)矩陣對(duì)所有紅外前景樣本進(jìn)行插值變換。在變換后，計(jì)算紅外-可見光前景樣本對(duì)的重疊率誤差，將誤差值最大的1/3視為外點(diǎn)樣本對(duì)。在得到新的前景樣本對(duì)后，利用其隨機(jī)替換庫中的外點(diǎn)樣本對(duì)，完成對(duì)前景樣本庫的更新。

在配準(zhǔn)矩陣的迭代更新過程，首先從樣本庫中隨機(jī)抽取部分前景樣本計(jì)算當(dāng)前時(shí)刻配準(zhǔn)矩陣和全局配準(zhǔn)矩陣的重疊率誤差，公式如下：

(13)

Mp=(1-β)·Mp+β·Mc，

(14)

其中：Mp，Mc分別表示全局配準(zhǔn)矩陣和當(dāng)前時(shí)刻配準(zhǔn)矩陣。β表示更新步長(zhǎng)，一般取值為0.25。通過引入前景樣本隨機(jī)抽樣策略，全局配準(zhǔn)矩陣可以更準(zhǔn)確地配準(zhǔn)整個(gè)視頻序列。

為了清晰地呈現(xiàn)本文方法的主要思想，算法1給出了本文方法的基本流程。

算法1 本文算法的整體配準(zhǔn)流程

Algorithm. 1 Integral registration flow of our method

算法1 配準(zhǔn)流程輸入:紅外-可見光視頻序列{IRi VISi}。輸出:全局配準(zhǔn)矩陣Mp步驟:循環(huán):for i=1:length(IRi)1. 從當(dāng)前紅外-可見光圖像IRi,VISi上提取目標(biāo)前景FIi,FVi。2. 采用CSS角點(diǎn)提取算法從前景FIi,FVi上提取輪廓特征點(diǎn){KIi KVi}。3. 為每個(gè)特征點(diǎn)建立全局形狀上下文描述子H和局部邊緣梯度方向直方圖描述子E。 4. 采用χ2統(tǒng)計(jì)函數(shù)匹配紅外-可見光輪廓特征點(diǎn)。5. 建立特征匹配庫,并基于高斯距離準(zhǔn)則(公式(10))進(jìn)行更新。6. 建立前景樣本庫,并基于重疊率誤差進(jìn)行更新。7. 對(duì)樣本庫中的前景樣本進(jìn)行隨機(jī)采樣,根據(jù)采樣結(jié)果計(jì)算當(dāng)前時(shí)刻配準(zhǔn)矩陣Mc和全局配準(zhǔn)矩陣Mp的重疊率誤差Ec和Ep,更新全局配準(zhǔn)矩陣。循環(huán)結(jié)束

4 實(shí)驗(yàn)測(cè)試與結(jié)果分析

4.1 實(shí)驗(yàn)設(shè)置

4.1.1 數(shù)據(jù)集

為了驗(yàn)證本文方法的精確度和魯棒性，實(shí)驗(yàn)在公開通用的LITIV視頻配準(zhǔn)數(shù)據(jù)集上進(jìn)行。該數(shù)據(jù)集由Torabi等人提供[19]，包含9組紅外-可見光視頻序列。視頻分辨率為240×320，視頻長(zhǎng)度在300～1 300 frame之間。由于成像傳感器與被拍攝場(chǎng)景之間的距離較遠(yuǎn)，所有的圖像均滿足近平面假設(shè)條件。此外，數(shù)據(jù)集為每組視頻序列提供了手動(dòng)標(biāo)定的Ground-Truth配準(zhǔn)矩陣。在衡量本文方法的配準(zhǔn)表現(xiàn)時(shí)，可以將該矩陣視為基準(zhǔn)參考，從而體現(xiàn)出方法的精確性。

4.1.2 對(duì)比算法

實(shí)驗(yàn)將本文算法與其他兩種先進(jìn)的配準(zhǔn)算法進(jìn)行比較，進(jìn)而突出本文算法的優(yōu)勢(shì)。第一種算法是Charles等人提出的基于輪廓特征的配準(zhǔn)算法[21]。該算法將所有目標(biāo)輪廓點(diǎn)作為配準(zhǔn)特征，并利用目標(biāo)形狀信息對(duì)特征進(jìn)行描述。第二種算法是王洪慶等人提出的基于目標(biāo)運(yùn)動(dòng)軌跡匹配的配準(zhǔn)算法[18]。該算法通過采用多目標(biāo)跟蹤技術(shù)確定每個(gè)目標(biāo)的運(yùn)動(dòng)軌跡，并為每條軌跡建立歸一化運(yùn)動(dòng)距離描述子和歸一化運(yùn)動(dòng)方向描述子。對(duì)比算法皆采用RANSAC算法確定當(dāng)前時(shí)刻的配準(zhǔn)參數(shù)，并根據(jù)當(dāng)前時(shí)刻前景上的重疊率誤差更新全局配準(zhǔn)矩陣。

4.1.3 評(píng)價(jià)指標(biāo)

為了量化本文算法和對(duì)比算法的配準(zhǔn)能力，實(shí)驗(yàn)采用多邊形重疊率誤差作為配準(zhǔn)精度的評(píng)價(jià)指標(biāo)。首先需要為每對(duì)紅外-可見光視頻序列構(gòu)建二值化多邊形圖像對(duì)，方法如Torabi等人[19]所述：從紅外和可見光圖像中人工地選取一些易于識(shí)別的關(guān)鍵點(diǎn)并進(jìn)行手動(dòng)匹配，按照相同的順序分別依次連接這些關(guān)鍵點(diǎn)，得到二值化多邊形圖像。實(shí)際上，Charles等人[21]已經(jīng)為每組視頻序列建立了二值化多邊形圖像，第一組視頻序列的多邊形圖像如圖5所示。實(shí)驗(yàn)直接采用這些多邊形圖像計(jì)算配準(zhǔn)誤差。對(duì)于二值化多邊形圖像的重疊率誤差，計(jì)算公式同前景圖像的重疊率誤差，如公式(2)所示。區(qū)別是采用二值化多邊形圖像代替了前景圖像，避免了前景檢測(cè)誤差的影響。

圖5 LITIV-1序列上的二值化多邊形Fig.5 Binary polygons on LITIV-1 sequence

4.2 結(jié)果分析

論文方法對(duì)LITIV數(shù)據(jù)庫中前3個(gè)視頻序列的配準(zhǔn)結(jié)果如圖6所示。實(shí)驗(yàn)采用全局配準(zhǔn)矩陣對(duì)紅外圖像進(jìn)行插值變換，并將其疊加在可見光圖像上，表示最終的配準(zhǔn)結(jié)果。此外，根據(jù)Ground-Truth矩陣對(duì)紅外圖像的邊界進(jìn)行重定位，并以綠色矩形框的形式疊加在可見光圖像上，表示Ground-Truth矩陣的配準(zhǔn)結(jié)果。

在每個(gè)序列的結(jié)果圖像中，第一幅圖像給出了目標(biāo)初次同時(shí)進(jìn)入紅外-可見光視場(chǎng)時(shí)的配準(zhǔn)結(jié)果?？梢钥闯觯疚姆椒ú⒉荒芰⒖叹_地配準(zhǔn)兩幅圖像。這是因?yàn)榇藭r(shí)匹配點(diǎn)對(duì)的數(shù)量較少，且紅外-可見光目標(biāo)前景存在較大的空間差異。但隨著算法的運(yùn)行，匹配點(diǎn)對(duì)的數(shù)量會(huì)急劇增多，目標(biāo)的空間分布也會(huì)逐漸趨于一致。此時(shí)，論文方法輸出的配準(zhǔn)參數(shù)能夠迅速收斂，配準(zhǔn)結(jié)果十分接近于Ground-Truth矩陣。這說明本文方法可以快速有效地配準(zhǔn)紅外-可見光視頻序列。

同時(shí)，可以看出本文方法在不同序列上的收斂速度有所差異。對(duì)于前兩個(gè)視頻序列，本文提出的方法在目標(biāo)進(jìn)入視場(chǎng)后的40幀內(nèi)即可獲得準(zhǔn)確的全局配準(zhǔn)矩陣。但對(duì)于第3個(gè)視頻序列，在目標(biāo)進(jìn)入視場(chǎng)后需要80幀左右的時(shí)間才能夠計(jì)算出可靠的配準(zhǔn)參數(shù)。引起這一差異的主要原因是目標(biāo)運(yùn)動(dòng)的速度差異和區(qū)域差異。在第三個(gè)視頻序列中，目標(biāo)的運(yùn)動(dòng)速度較慢，且運(yùn)動(dòng)區(qū)域始終局限在一個(gè)較小的空間范圍內(nèi)，導(dǎo)致得到的匹配點(diǎn)對(duì)不具有全局代表性。

圖6 LITIV數(shù)據(jù)集上的配準(zhǔn)結(jié)果(前3個(gè)視頻對(duì))Fig.6 Registration results on LITIV dataset (for the first three video pairs)

為了定量地評(píng)價(jià)本文方法在各個(gè)視頻序列上的整體表現(xiàn)，表1給出了本文方法和其他對(duì)比方法的平均重疊率誤差。分析得知，本文方法在9個(gè)視頻序列上的平均重疊率誤差僅為0.194，與對(duì)比方法相比下降了18.5%，充分表明了本文方法的精度優(yōu)勢(shì)。

表1 平均重疊率誤差Tab.1 Average overlap error

下面詳細(xì)介紹本文方法在各個(gè)序列上的配準(zhǔn)表現(xiàn)。對(duì)于序列LITIV-4，LITIV-5，LITIV-6和LITIV-7，本文方法顯著降低了配準(zhǔn)誤差，下降比例分別為 28.1%，34.9%，37.4%和35.2%。對(duì)于序列LITIV-1，LITIV-2，LITIV-3和LITIV-9，本文方法也較為明顯地提升了配準(zhǔn)精度，提升比例分別為6.8%，18.0%，10.9%和3.2%。這充分證明了本文方法的有效性：通過建立全局形狀上下文描述子和局部邊緣方向直方圖描述子，有效地提升了特征匹配質(zhì)量；通過在計(jì)算全局配準(zhǔn)矩陣的過程中引入前景樣本隨機(jī)抽樣策略，有效地避免了全局配準(zhǔn)參數(shù)陷入局部最優(yōu)解。與其他視頻序列相比，本文方法在序列LITIV-4，LITIV-5，LITIV-6和LITIV-7上對(duì)配準(zhǔn)精度的提升更為顯著。這主要是因?yàn)樵谶@些序列上運(yùn)動(dòng)目標(biāo)的深度變化更為明顯，而本文方法在計(jì)算配準(zhǔn)參數(shù)時(shí)能夠充分降低深度變化帶來的影響。

對(duì)于序列LITIV-8，本文方法的配準(zhǔn)精度不如Charles等人提出的對(duì)比方法[21]。導(dǎo)致此情況的主要原因是該序列的前景檢測(cè)結(jié)果質(zhì)量較差，嚴(yán)重影響了本文方法在特征提取和匹配時(shí)的可靠性。Charles等人的算法由于直接將所有目標(biāo)輪廓點(diǎn)視為配準(zhǔn)特征，同時(shí)僅利用目標(biāo)形狀信息對(duì)特征進(jìn)行描述，所以能夠達(dá)到更高的配準(zhǔn)精度。

本文方法和對(duì)比方法在各個(gè)視頻序列上能夠達(dá)到的最小重疊率誤差如表2所示。實(shí)際上，實(shí)驗(yàn)采用的兩種對(duì)比算法都是根據(jù)當(dāng)前時(shí)刻的前景重疊率誤差估計(jì)全局配準(zhǔn)矩陣，而計(jì)算配準(zhǔn)誤差所用的二值化多邊形同樣是建立在某一時(shí)刻的前景上。因此在理論上，對(duì)比算法應(yīng)該可以達(dá)到更低的最小重疊率誤差。但從實(shí)驗(yàn)結(jié)果可以看出，本文算法在多數(shù)視頻序列上取得了更低的最小重疊率誤差。這一現(xiàn)象充分證明了本文方法的特征匹配質(zhì)量更高，保證了配準(zhǔn)參數(shù)的精確性。

表2 最小重疊率誤差Tab.2 Minimum overlap error

根據(jù)表1和表2給出的配準(zhǔn)誤差，可以發(fā)現(xiàn)論文方法在某些序列上的精度超過了Ground-Truth矩陣。這主要是因?yàn)镚round-Truth矩陣是通過手動(dòng)挑選紅外-可見光關(guān)鍵點(diǎn)構(gòu)建的，其存在著不可避免的人為誤差。此外，Ground-Truth矩陣只能夠完美地配準(zhǔn)平面場(chǎng)景圖像，無法克服近平面場(chǎng)景中目標(biāo)深度變化的影響。以上因素也導(dǎo)致Ground-Truth矩陣在各個(gè)序列上的配準(zhǔn)誤差并不為0。同時(shí)，由于本文方法和對(duì)比方法都是根據(jù)前景重疊率誤差迭代更新全局配準(zhǔn)參數(shù)，往往能夠更好地適應(yīng)目標(biāo)的深度變化，從而比Ground-Truth矩陣取得更高的配準(zhǔn)精度。

5 結(jié) 論

為了提高近平面場(chǎng)景下紅外-可見光視頻序列配準(zhǔn)的精確度與魯棒性，本文提出了一種基于輪廓特征匹配的自動(dòng)配準(zhǔn)方法。該方法在特征描述匹配和全局配準(zhǔn)矩陣計(jì)算兩個(gè)方面對(duì)傳統(tǒng)輪廓特征配準(zhǔn)算法進(jìn)行了改進(jìn)，提升了配準(zhǔn)精度。在特征匹配階段，本文方法為每個(gè)輪廓特征點(diǎn)建立了全局形狀上下文描述子和局部邊緣方向直方圖描述子，利用全局輪廓形狀信息和局部輪廓方向信息提升特征匹配質(zhì)量。此后，在計(jì)算全局配準(zhǔn)矩陣的過程中建立了前景樣本隨機(jī)采樣策略，結(jié)合多個(gè)時(shí)刻的紅外-可見光前景樣本克服目標(biāo)深度變化的影響，避免全局配準(zhǔn)矩陣陷入局部最優(yōu)解。實(shí)驗(yàn)結(jié)果顯示，本文方法在9個(gè)測(cè)試視頻上的平均重疊率誤差僅為0.194,與其他兩種先進(jìn)的配準(zhǔn)方法相比下降了18.5%。論文提出的方法基本滿足近平面場(chǎng)景下紅外-可見光視頻序列自動(dòng)配準(zhǔn)的精度要求，且具有較高的魯棒性。