基于魯棒特征匹配的熱成像全景圖生成方法

劉 歡，谷小婧，顧幸生

?

基于魯棒特征匹配的熱成像全景圖生成方法

劉 歡，谷小婧，顧幸生

（華東理工大學(xué)化工過程先進(jìn)控制與優(yōu)化技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，上海 200237）

熱成像技術(shù)能夠探測不可見的長波紅外輻射并以圖像的形式顯示，在科學(xué)研究、安防刑偵及國防軍事中有著舉足輕重的地位。如果可以用全景圖的方式顯示所觀測場景的大視場熱成像則能夠極大地?cái)U(kuò)大觀測者的視野、提升場景感知能力。然而，由于熱輻射成像模糊、信噪比低，圖像特征提取往往存在著較大誤差，進(jìn)而導(dǎo)致特征點(diǎn)匹配不穩(wěn)定，圖像拼接失敗。針對這一問題，改進(jìn)了匹配過程，提出了一種基于魯棒特征匹配的熱成像全景圖像生成算法。在增加特征匹配魯棒性方面的改進(jìn)主要包括2方面：第一，利用PCA（主成分分析）對SIFT算子進(jìn)行降維以降低算子相關(guān)性，提高特征向量的鑒別能力；第二，利用快速搜索密度峰聚類算法預(yù)先篩選匹配點(diǎn)集以剔除錯誤匹配點(diǎn)，提高特征點(diǎn)的匹配準(zhǔn)確度。實(shí)驗(yàn)結(jié)果表明，本文提出的算法可有效且穩(wěn)定地生成熱成像全景圖，具有實(shí)用價(jià)值。

熱成像；圖像拼接；SIFT算法；PCA降維；快速搜索密度峰聚類

0 引言

隨著智能制造與國防工業(yè)的發(fā)展，紅外熱成像技術(shù)越來越受到人們的重視。熱成像的成像機(jī)制是通過探測并顯示目標(biāo)與背景的輻射等級差異來成像，它可以在完全無光線的條件下成像。由于熱成像所用波段屬于紅外長波，因此具有很強(qiáng)的穿透性，它能夠在雨、雪、霧霾等極端天氣下成像，并且不受偽裝的影響。熱成像在科學(xué)研究，安防刑偵，國防軍事、尤其是在夜間作戰(zhàn)中有著舉足輕重的地位。熱成像技術(shù)能夠在完全無光以及天氣情況惡劣的情況下為使用者提供目標(biāo)及周圍環(huán)境的可視信息，并且設(shè)備便攜性高。更重要的是熱成像設(shè)備屬于被動式紅外成像，具有極強(qiáng)地隱蔽性、不增加使用者的暴露風(fēng)險(xiǎn)，這使得其在軍事應(yīng)用中具有重要的意義。

然而，與可見光圖像相比，紅外熱成像的分辨率非常低。這一方面是由于熱成像是長波成像，采集的信息缺少細(xì)節(jié)；另一方面是由于熱輻射探測元件的靈敏度較低所致。因此，在同樣尺寸的顯示中，熱成像所呈現(xiàn)的信息容量大大少于可見光成像，不利于觀測者對場景進(jìn)行感知及判斷。這一問題可以通過擴(kuò)大成像視角的方法得到緩解。擴(kuò)大成像視角可以讓單幅圖像包含更廣闊的視野，令觀測者在同一時刻中獲得更多的場景信息，降低熱成像缺少細(xì)節(jié)的劣勢。在硬件設(shè)計(jì)上通常有兩種擴(kuò)大成像視角的訪法：一種是增加熱輻射探測元件的面積，但這會極大地增加設(shè)備成本；另一種是為設(shè)備添加廣角鏡頭、掃描鏡頭等特殊鏡頭，但在鏡頭變換時，會引起分辨率和焦距的變化，引起圖像畸形失真。

本文研究通過軟件算法，借助全景技術(shù)來擴(kuò)大單幅熱成像的視野。全景技術(shù)能夠?qū)煞蚨喾鶊D像通過數(shù)字處理的方式拼接在一起，在不改變硬件的前提下為觀察者提供更廣的觀察視角，使觀察者可以通過拼接之后的全景圖像獲取更多的信息。全景技術(shù)，這個命題的最早提出是在1965年IFIP國際會議上，當(dāng)時由計(jì)算機(jī)圖像視覺的創(chuàng)始人Ivan Sutherland提出了名為“The Ulimate Display”的研究性課題，一經(jīng)提出，引起了各國科研工作者的廣泛關(guān)注。1975年，MILGRAM[1]發(fā)表了將衛(wèi)星拍攝的圖像進(jìn)行拼接的文章并進(jìn)行了實(shí)驗(yàn)。同年，Kuglin和Hline[2]提出利用傅立葉變換的方法，實(shí)現(xiàn)頻域變換，計(jì)算相位移動，實(shí)現(xiàn)拼接。Harris在1988年提出Harris興趣點(diǎn)檢測器，使算法在對空間變換具有魯棒性的同時對噪聲以及光照影響具有更強(qiáng)的適應(yīng)性；1996年，Richard和Szeliski[3]提出利用迭代算法估計(jì)參數(shù)模型，通過幾何變換完成拼接，也被稱為基于運(yùn)動的拼接算法。2000年，Peleg、Shmuel對Richard的算法進(jìn)行了改進(jìn)，使其可以自適應(yīng)的選擇模型[4]。2004年British Columbia大學(xué)的Lowe教授，在前人的工作之上總結(jié)現(xiàn)有的基于不變量的特征提取辦法，提出了SIFT（Scale-invariant feature transform，尺度不變特征變換）算子[5]。此算子具有對縮放旋轉(zhuǎn)仿射不變的特性。使用SIFT算子的全景拼接技術(shù)是目前使用最為廣泛的標(biāo)準(zhǔn)技術(shù)[6]，在航天，軍事，醫(yī)學(xué)以及地質(zhì)勘測等領(lǐng)域以發(fā)揮重要作用。很多學(xué)者都基于文獻(xiàn)[6]提出了改進(jìn)算法。改進(jìn)思路主要分為兩類：一是提高特征提取算法的性能，二是在特征提取算法不變的前提下提高特征點(diǎn)的匹配精度。針對第一種思路：胡海清，譚建龍?zhí)岢鍪褂枚祷瘓D像代替原SIFT算法中使用的灰度圖像作為輸入，以增加提取的特征點(diǎn)數(shù)目[7]；Tang C M提出通過統(tǒng)計(jì)以極值點(diǎn)為中心的不同像素半同心圓的梯度大小和方向降低描述子的維數(shù)，提高匹配精度[8]。針對第二種思路：劉煥敏，王華提出的利用雙向匹配的方法，將待匹配圖像特征點(diǎn)集相雙向匹配，取交集，提高匹配精度[9]；劉貴喜，劉冬梅提出利用相似測度歸一化互相關(guān)，通過計(jì)算最大相關(guān)系數(shù)確定匹配關(guān)系[10]。

然而，適用于可見光圖像的拼接技術(shù)并不能很好地應(yīng)用于紅外熱像。首先，由于相對可見光的成像設(shè)備，熱成像設(shè)備的分辨率和對比度等都相對較低，使得生成的紅外圖像模糊、缺少細(xì)節(jié)，輪廓、紋理等都不明顯。其次，熱成像都是單色的，缺少色彩信息。另外，紅外熱像還有一個特點(diǎn)就是噪聲大，性噪比低。這些噪聲可能來源于成像環(huán)境，也有可能來源于熱成像系統(tǒng)本身內(nèi)部的噪聲源。以上這些特點(diǎn)就導(dǎo)致紅外熱像的特征提取結(jié)果無法避免地存在較大誤差，這使得后續(xù)的特征點(diǎn)匹配過程很不穩(wěn)定，難以正確生成全景圖。

針對熱成像拼接的難點(diǎn)，本文提出了一種基于魯棒特征匹配的熱成像全景圖像生成算法，該方法在特征提取存在較大的誤差的情況下，仍能保持特征點(diǎn)匹配的準(zhǔn)確性。首先，利用PCA（主成分分析）對SIFT算子進(jìn)行降維，提取有效信息，特別是降低從模糊圖像中提取的特征描述子相關(guān)性；然后，再使用特征匹配算法之前使用快速搜索密度峰聚類算法篩選待匹配點(diǎn)集，通過聚類的方法預(yù)先去除可能的誤匹配點(diǎn)，提高正確匹配點(diǎn)在待匹配點(diǎn)集中的概率。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的算法可有效地提高紅外熱像特征點(diǎn)匹配的準(zhǔn)確性，提升熱成像全景圖的拼接質(zhì)量。

1 基于特征點(diǎn)匹配的圖像拼接技術(shù)

本節(jié)以2006年Richard Szeliski在文獻(xiàn)[6]中提出的經(jīng)典匹配算法為基礎(chǔ)，介紹圖像拼接算法的步驟。

1.1 SIFT特征提取

首先利用高斯核函數(shù)(,,)與圖像(,)進(jìn)行卷積運(yùn)算，形成圖像尺度空間(,,)。接下來是圖像金字塔的建立：采用降采樣處理，構(gòu)建一幅圖像的不同尺度來形成高斯金字塔。為了使檢測到的特征點(diǎn)具有穩(wěn)健性，使用DOG（高斯差分算子）金字塔，它是由高斯金字塔每層圖像之間相減得到。

為了尋找DOG函數(shù)的極值點(diǎn)，在形成差分金字塔的基礎(chǔ)上檢測局部極值點(diǎn)。為確保關(guān)鍵點(diǎn)為極點(diǎn)的穩(wěn)健性，被檢測的點(diǎn)要與其相鄰的上下兩層以其為中心的3×3的正方體面上的27個點(diǎn)作比較。

每個特征點(diǎn)的描述子由4個種子點(diǎn)描述子組成，每個種子點(diǎn)統(tǒng)計(jì)了2×2×8維的向量表征，也就是2×2范圍里點(diǎn)的方向的統(tǒng)計(jì)，以45°為間隔分8個方向，然后用直方圖進(jìn)行統(tǒng)計(jì)，統(tǒng)計(jì)完的結(jié)果作為一個種子點(diǎn)的描述子，最后由4個種子點(diǎn)描述子組成特征點(diǎn)描述子。

1.2 特征點(diǎn)匹配

當(dāng)利用SIFT算法提取了特征點(diǎn)并形成描述子之后，建立關(guān)鍵點(diǎn)描述子集合。Lowe在他的算法中計(jì)算第一個描述子集中的點(diǎn)在第二個描述子集中的最近點(diǎn)的歐式距離和次最近點(diǎn)距離的比值，如果距離比值小于給定的閾值，算作匹配成功。

1.3 RANSAC精匹配

在完成利用聚類算法去除誤匹配點(diǎn)之后，再將剩余的匹配點(diǎn)作為樣本利用RANSAC進(jìn)行精匹配，具體步驟如下：

1）從原始匹配點(diǎn)中選出4對，作為局內(nèi)點(diǎn)，并估計(jì)出圖像變換矩陣；

2）將原始數(shù)據(jù)中除1）中所選之外的點(diǎn)帶入模型中進(jìn)行檢測，如果符合模型，就把這些點(diǎn)也歸入局內(nèi)點(diǎn)；

3）設(shè)定閾值，當(dāng)符合模型的局內(nèi)點(diǎn)數(shù)量大于閾值，則認(rèn)為此模型合理；

4）以上個步驟合理模型的局內(nèi)點(diǎn)作為新的原始數(shù)據(jù)，再從中重新選取局內(nèi)點(diǎn)進(jìn)行模型估計(jì)；

5）最后通過局內(nèi)點(diǎn)和模型之間的正確率對模型進(jìn)行評價(jià)，如此往復(fù)，舊的模型不斷被更合理的模型取代，迭代次數(shù)認(rèn)為設(shè)置，最后得到的模型就是本次RANSAC算法找到的最優(yōu)模型。

1.4 圖像融合

完成上步之后，圖像的拼接已經(jīng)完成，但由于拼接原圖的分辨率和亮度存在差異，導(dǎo)致拼接后接縫處存在明顯的接縫，需要通過圖像融合，消除接縫。常用的是加權(quán)平均法。算法將兩幅拼接圖像的像素乘以加權(quán)系數(shù)并相加得到的像素值作為拼接后圖像的像素值。記加權(quán)系數(shù)為，則融合后的圖像為：

(,)＝1(,)＋(1－)2(,) (1)

式中：加權(quán)系數(shù)滿足0≤≤l。若＝0.5，則融合圖像的像素為兩幅圖像像素平均值；若為定值，當(dāng)從，圖像從1到0變化，實(shí)現(xiàn)了圖像1(,)到2(,)的平滑過渡，消除了拼接留下的接縫。

2 基于魯棒特征匹配的圖像拼接方法

魯棒特征匹配的圖像拼接方法的基本流程為：計(jì)算出SIFT算子；利用PCA（主成分分析）算法對算子進(jìn)行降維處理；先對降維后的算子使用快速搜索密度峰聚類算法進(jìn)行誤匹配篩選，再利用RANSAC算法進(jìn)行精匹配；最后完成圖像拼接。下面對本文改進(jìn)的兩點(diǎn)進(jìn)行詳細(xì)論述。

2.1 PCA特征降維

由于紅外熱像的噪聲大，雖然SIFT算法在提取特征時已經(jīng)進(jìn)行了抑制，但當(dāng)圖像分辨率低、特征不明顯、描述子相關(guān)性高時，在特征點(diǎn)匹配時還是會造成較大誤差。本文利用PCA將SITF算法的128維描述子進(jìn)行降維，使降維之后的描述子更為精確，增強(qiáng)算法魯棒性，步驟如下：

1）將兩幅圖像提取好的個128維SIFT描述子作為輸入，樣本矩為[1,2, …,x]。

2）計(jì)算樣本矩陣的協(xié)方差矩陣，得到的矩陣大小為×。

3）得到協(xié)方差矩陣后計(jì)算其特征值，按大小排列，取最大的前個特征值（按照經(jīng)驗(yàn)預(yù)先給定），并計(jì)算與其對應(yīng)的特征向量，組成大小為128×的投影矩陣。

4）在得到投影矩陣和描述子矩陣之后，將兩個矩陣相乘，結(jié)果為×大小的矩陣，與初始的×128維矩陣相比，完成了降維的目的。經(jīng)實(shí)驗(yàn)驗(yàn)證，對于紅外熱像，取36可獲得較好的實(shí)驗(yàn)結(jié)果。經(jīng)過此法降維之后，可有效減少描述子中的無用信息降低噪聲干擾，提高配準(zhǔn)的準(zhǔn)確性。

2.2 基于快速搜索密度峰聚類改進(jìn)特征點(diǎn)匹配算法

Lowe的算法在利用KD-tree搜索算法進(jìn)行匹配之后利用了RANSAC算法去除誤匹配點(diǎn)，提高算法魯棒性。RANSAC算法通過從一組包含“局外點(diǎn)”的樣本數(shù)據(jù)集中，選取一些點(diǎn)作為假設(shè)局內(nèi)點(diǎn)，以這些點(diǎn)估計(jì)模型，通過不斷迭代，最后選取最優(yōu)模型。

但RANSAC算法也存在局限性，算法中的迭代次數(shù)取決于局內(nèi)點(diǎn)在初始樣本中[11]所占比例，記為。用表示從樣本中所選的點(diǎn)為局內(nèi)點(diǎn)的概率。假設(shè)估計(jì)出模型每次需要選出點(diǎn)的個數(shù)為，則w表示隨機(jī)選擇的個點(diǎn)全部是局內(nèi)點(diǎn)的概率，而1－w則表示這個點(diǎn)中至少不全是局內(nèi)點(diǎn)的概率。這種情況代表估計(jì)出的模型不是最優(yōu)模型。而(1－w)表示RANSAC無法找到最優(yōu)模型的概率，它和1－相同。因此：

1－＝(1－w)(2)

對公式(1)的兩邊取對數(shù)，得到：

即為理論推算出使得算法能估計(jì)出正確模型的最小迭代次數(shù)，當(dāng)觀測數(shù)據(jù)中的外點(diǎn)較多時，的值會變小，值會增大，當(dāng)認(rèn)為設(shè)定的閾值小于，則算法將很難找出正確的模型[12]。所以當(dāng)樣本數(shù)據(jù)中局內(nèi)點(diǎn)的比例不高時，將導(dǎo)致算法計(jì)算出正確模型所需要的迭代次數(shù)很多，使得算法效率低下[13]。本文利用快速搜索密度峰聚類算法，在RANSAC算法之前對現(xiàn)有的匹配點(diǎn)對進(jìn)行聚類篩選，去除可能的誤匹配對，提高局內(nèi)點(diǎn)在樣本中的比率，使算法在迭代次數(shù)相對少的情況下，能更準(zhǔn)確的估計(jì)出正確模型，提高算法魯棒性。

配準(zhǔn)圖像時，由于2幅圖像的空間變換矩陣是唯一的，因此兩幅圖像匹配點(diǎn)之間必然存在幾何關(guān)系。文獻(xiàn)[14]提出以匹配點(diǎn)連線的斜率作為幾何約束產(chǎn)生聚類。但是這種方法存在局限性，匹配的圖像視角變化較大時斜率變化很大，聚類閾值難以確定。本文考慮到在紅外熱像匹配時，目標(biāo)特征區(qū)域的分布相對集中，進(jìn)而粗匹配點(diǎn)連線線段中點(diǎn)集中。因此，本文利用粗匹配點(diǎn)之間連線的中點(diǎn)作為聚類樣本。

聚類方法用的是快速搜索密度峰聚類算法[15]。該方法與一般的基于距離的聚類算法相比，加入了密度指標(biāo)，避免了單一距離指標(biāo)引起的分類不準(zhǔn)確。

快速搜索密度峰聚類算法[7]不需事先給出聚類中心，此算法是基于其提出的距離指標(biāo)和密度指標(biāo)的算法。記任意數(shù)據(jù)點(diǎn)，根據(jù)其與其他數(shù)據(jù)點(diǎn)之間的距離d，計(jì)算出算法需要的核心指標(biāo)：密度指標(biāo)及距離指標(biāo)。密度指標(biāo)定義為：

距離指標(biāo)定義為：

即數(shù)據(jù)點(diǎn)的距離指標(biāo)定義為：所有密度指標(biāo)比其大的點(diǎn)中與其距離最近的元素。若點(diǎn)的密度指標(biāo)的值恰為鄰域點(diǎn)中的最大值，則以點(diǎn)與其他點(diǎn)距離的最大值作為其距離指標(biāo)，即：

當(dāng)所有距離指標(biāo)和密度指標(biāo)都計(jì)算完成，根據(jù)它們作出聚類中心抉擇圖，即可找出聚類中心，示例如圖1所示。

圖1 快速搜索密度峰算法聚類示例

圖1(a)表示兩幅待拼接的紅外熱像及其上的粗匹配點(diǎn)對，聚類中心抉擇圖1(c)反應(yīng)圖1(b)中所有點(diǎn)的密度指標(biāo)和距離指標(biāo)，橫軸表示密度、縱軸表示距離。聚類中心體現(xiàn)為：周圍的數(shù)據(jù)點(diǎn)密度指標(biāo)較大，而距離指標(biāo)值較小。而對于異常點(diǎn)，一般其密度指標(biāo)很小而距離指標(biāo)較大。綜上所述，根據(jù)聚類中心抉擇圖，可以找出這組數(shù)據(jù)的聚類中心為圖1(d)中的淺色和深色點(diǎn)。通過此聚類算法，可以有效地去除異常點(diǎn)，針對圖像處理即能去除誤匹配的點(diǎn)，為下一步利用RANSAC算法精匹配提供良好的數(shù)據(jù)樣本。

然而通過決策圖選出聚類中心需要人工干預(yù)，無法實(shí)現(xiàn)紅外全景圖的自動拼接。文獻(xiàn)[15]中還給出了一個可以自動化選擇聚類中心方法：將每個數(shù)據(jù)點(diǎn)的與指標(biāo)相乘，記為gamma，顯然，數(shù)據(jù)點(diǎn)的和越大，其乘積越大，反映到聚類中心決策圖上，即為越可能成為聚類中心。因此可以將gamma按照降序排列，選取前幾個具有最大gamma值的數(shù)據(jù)點(diǎn)作為聚類中心。在本文的試驗(yàn)中，聚類中心的個數(shù)取為2：第一大聚類將被保留為正確的粗匹配點(diǎn)，第二大聚類將被作為錯誤匹配點(diǎn)而被剔除。圖2所示為對3對不同的紅外熱像對的粗匹配點(diǎn)集進(jìn)行聚類的結(jié)果。圈外的數(shù)據(jù)點(diǎn)為將被保留為正確的粗匹配點(diǎn)，圈內(nèi)的數(shù)據(jù)點(diǎn)為將被作為錯誤匹配點(diǎn)而被剔除的粗匹配點(diǎn)。由聚類結(jié)果圖可見，不同圖像對上的粗匹配點(diǎn)集都得到了正確的分類。

另外，為了驗(yàn)證快速搜索密度峰聚類算法對c具有魯棒性，我們還測試了c分別取2%和20%處的值作為截?cái)嗑嚯x的聚類情況，如圖3所示。

從實(shí)驗(yàn)結(jié)果圖3(a)和圖3(b)可以看到，當(dāng)分別取排序后前2%和20%處的值作為截?cái)嗑嚯x時，聚類結(jié)果相同，證明其取值具有魯棒性。

圖2 聚類中心取2時的聚類示例（由此圖往下，所有綠圈內(nèi)的點(diǎn)為需要剔除的錯誤匹配點(diǎn)）

圖3 dc分別取距離2%和20%處的值作為截?cái)嗑嚯x時的聚類情況

3 實(shí)驗(yàn)仿真及數(shù)據(jù)分析

本節(jié)將首先通過對比試驗(yàn)分別給出使用PCA降維及使用快速搜索密度峰聚類剔除錯誤的粗匹配點(diǎn)這兩個關(guān)鍵技術(shù)對于提升全景熱像拼接的改進(jìn)效果，并且將把本文算法的總體效果與Autopano和Autostitch這兩款市面上非常流行的專業(yè)全景圖像制作軟件進(jìn)行比較，最后通過由若干組使用本實(shí)驗(yàn)室的熱成像儀采集的真實(shí)場景生成的全景熱像來說明本文算法的有效性及實(shí)用性。

表1 使用PCA降維的效果

3.1 PCA降維改進(jìn)效果

圖4為未使用PCA對SIFT描述子的特征向量進(jìn)行降維與使用PCA對SIFT描述子的特征向量進(jìn)行降維的粗匹配點(diǎn)集的匹配情況比較。表1統(tǒng)計(jì)了使用PCA降維前后粗匹配點(diǎn)數(shù)目及匹配正確率的變化。由此可見，使用PCA降維后，總的匹配數(shù)目減少，但是誤匹配率降低。

3.2 快速搜索密度峰聚類聚類改進(jìn)效果

接下來以上一步的粗匹配的點(diǎn)作為聚類樣本，利用快速搜索密度峰聚類算法初步去除樣本中誤匹配的點(diǎn)。

圖5(a)為使用PCA降維之后的粗匹配點(diǎn)連線中點(diǎn)的空間分布圖。利用快速搜索密度峰聚類可以找出錯誤的粗匹配點(diǎn)，即如圖5(b)所示，聚類結(jié)果中的第二大類、圈中所示的點(diǎn)。

由圖6可見，使用聚類去除異常點(diǎn)之后，基本不存在交叉，誤匹配基本被祛除，為接下來的拼接提供良好的基礎(chǔ)。表2統(tǒng)計(jì)了使用快速搜索密度峰聚類去除錯誤點(diǎn)前后粗匹配點(diǎn)數(shù)目及匹配正確率的變化，反映出使用快速搜索密度峰聚類去除錯誤點(diǎn)后圖像中的匹配組數(shù)減少，匹配準(zhǔn)確率提高。說明聚類算法對減少誤匹配點(diǎn)有效，能夠進(jìn)一步去除誤匹配點(diǎn)，為接下來的RANSAC算法提供良好的數(shù)據(jù)集。

圖4 使用PCA降維前后的匹配結(jié)果對比

圖5 利用快速搜索密度峰聚類對粗匹配點(diǎn)連線中點(diǎn)進(jìn)行聚類并剔除錯誤的匹配點(diǎn)

圖6 使用聚類算法前后的匹配結(jié)果對比

在文獻(xiàn)[16]中K-means聚類算法被用來去除誤匹配點(diǎn)。K-means算法的相似性評價(jià)指標(biāo)是對象之間的距離，距離越近，相似度越大。算法聚類形成的蔟就是由距離足夠近的對象組成，簇之間相互獨(dú)立。

算法流程如下：

1）從樣本中隨進(jìn)抽取個對象作為質(zhì)心；

2）計(jì)算剩余的對象與上一步所選質(zhì)心的距離，根據(jù)距離將對象分到與其最近質(zhì)心的類；

3）將上一步分好的類重新計(jì)算質(zhì)心；

重復(fù)以上步驟，知道上一代的質(zhì)心與下一代質(zhì)心重合或距離小于閾值。

表2 使用快速搜索密度峰聚類效果

K-means聚類算法的基本特點(diǎn)如下：各類簇自身盡可能緊湊，而類簇與類簇之間盡可能分開，K-means聚類算法是一種常見的，基于距離約束的單相似性評價(jià)指標(biāo)的聚類算法。

圖7對使用K-means聚類與使用本文的快速搜索密度峰聚類的錯誤點(diǎn)剔除效果進(jìn)行了比較。當(dāng)樣本同樣為圖7所示的數(shù)據(jù)時，利用K-means聚類的決策圖及結(jié)果為圖7(a)所示，利用快速搜索密度峰聚類的決策圖及結(jié)果圖7(b)所示。如圖7(a)所示，k-means聚類形成的兩個類簇各自包含點(diǎn)的個數(shù)相差不大，難以判斷哪一類是誤匹配點(diǎn)?？梢娨詥我痪嚯x作為相似性評價(jià)指標(biāo)的聚類算法在進(jìn)行分類時存在很大局限性。而快速搜索密度峰聚類算法除了距離判斷，更加入了密度條件，提高聚類的準(zhǔn)確性和魯棒性。

3.3與其他拼接算法的效果比較

為了測試算法實(shí)用性，本文將拼接結(jié)果與世面常用的全景拼接軟件的結(jié)果作對比，實(shí)驗(yàn)涉及的軟件有Autopano及Autostitch，這是市面上兩款比較權(quán)威的制作全景圖像的軟件，比較的結(jié)果具有較高的權(quán)威性和可信性。

圖8為對于相同的待拼接圖像對兩款軟件與本文算法的全景圖生成結(jié)果。第一列為Autostitch的全景圖生成結(jié)果，第二列為Autopano的全景圖生成結(jié)果，第三列為本文的全景圖生成結(jié)果。從實(shí)驗(yàn)結(jié)果可以看出，本文算法對于紅外熱像的拼接效果要優(yōu)于Autopano，Autostitch兩款軟件，比如第一行中Autostitch的拼接結(jié)果出現(xiàn)了嚴(yán)重的畸變；第二行中Autopano的拼接結(jié)果也出現(xiàn)較為嚴(yán)重的形變；第三行中這兩張?jiān)撇实臒嵯駜煽钴浖紵o法給出拼接結(jié)果，只有本文算法拼接成功。實(shí)驗(yàn)結(jié)果顯示，本文算法具有較高的實(shí)用價(jià)值。

圖7 兩種聚類算法聚類結(jié)果比較

Fig.7 Comparison of two clustering algorithms

3.4 全景圖拼接效果

最后通過由若干組根據(jù)真實(shí)場景而生成的全景熱像來說明本文算法的有效性。試驗(yàn)中所用到的所有熱像都由本實(shí)驗(yàn)室的FLIR T420型號的手持熱成像相機(jī)采集。FLIR T420熱像儀的分辨率為320×240，熱靈敏度＜0.045℃，溫度精度為±2℃或讀數(shù)±2%, 能夠測量高達(dá)＋1200℃的溫度。試驗(yàn)圖像采集地點(diǎn)為華東理工大學(xué)徐匯校區(qū)。利用本文算法生成的熱像全景圖結(jié)果如圖9～圖12所示。

圖8 采用相同的待拼接圖像對時兩款軟件與本文算法的全景圖生成結(jié)果

Fig.9 Thermal imaging panorama scene 1

圖10 熱成像全景圖場景2

通過實(shí)驗(yàn)結(jié)果可以看出，本文算法能夠?qū)煞蚨喾t外圖像通過數(shù)字處理的方式拼接在一起，拼接完成的全景圖像景物清晰，不失真，不形變。能夠在不改變硬件的前提下為觀察者提供更廣的觀察視角，使觀察者可以通過拼接之后的全景圖像獲取更多的信息，算法具有使用價(jià)值。

3.5 算法實(shí)時性分析

最后對本文算法的實(shí)時性進(jìn)行分析，表3和表4分別反映反應(yīng)相同圖像大小不同拼接數(shù)量和相同拼接圖像數(shù)量不同圖像大小的情況下算法生成全景圖像的耗時。

通過實(shí)驗(yàn)結(jié)果可以看出，本文算法基本能滿足紅外圖像全景拼接實(shí)時處理的要求。

圖11 熱成像全景圖場景3

Fig.11 Thermal imaging panorama scene 3

圖12 熱成像全景圖場景4

Fig.12 Thermal imaging panorama scene 4

表3 不同拼接數(shù)量情況下耗時

表4 不同拼接數(shù)量情況下耗時

4 總結(jié)

由于紅外熱像對比度低、成像模糊、缺少細(xì)節(jié)，現(xiàn)有的面向可見光成像的全景圖拼接方法無法有效處理熱像全景圖的生成。本文針對這一問題，提出了一種適用于熱成像的基于魯棒特征匹配的全景圖生成方法。首先，利用PCA對SIFT算子進(jìn)行降維以降低算子相關(guān)性，提高了圖像特征向量的鑒別能力。然后，利用快速搜索密度峰聚類算法篩選匹配點(diǎn)集以剔除錯誤匹配點(diǎn)，在篩選后的點(diǎn)集上再使用精匹配算法，從而提高紅外熱成像特征點(diǎn)的匹配準(zhǔn)確度。實(shí)驗(yàn)結(jié)果表明，本文提出的算法可有效且穩(wěn)定地生成熱成像全景圖，具有實(shí)用價(jià)值。

[1] MILGRAM, D. L. Computer methods for creating photomosaics[J]., 1975, 24(11): 1113-1119.

[2] Kuglin CD., Hines DC.. The phase correlation image alignment method[J]., 1975(9): 163-165.

[3] Szeliski Richard, Coughlan James. Hierarchical spline-based image registration[C]//, 1994: 194-201.

[4] Peleg Shmuel, Herman Joshua. Panoramicmosaics by manifold projection [C]//, 1997: 338-343.

[5] Lowe D G. Distinctive image features from scale invariant key point[J]., 2004, 62(2): 91-110.

[6] R. Szeliski. Image alignment and stitching: A tutorial[J]., 2006, 2(1): 1-104.

[7] 胡海青, 譚建龍, 朱亞濤, 等. 改進(jìn)SIFT算法在文字圖像匹配中的應(yīng)用[J]. 計(jì)算機(jī)工程, 2013, 39(1): 239-243.

HU Hai-qing, TAN Jian-long, ZHU Ya-tao. Application of improved SIFT algorithm in text image matching[J].2013, 39(1): 239-243.

[8] TANG CM, DONG Y, SU X H. Automatic registration based on improved SIFT for medical microscopic sequence images[J]., 2008, 1(1): 580-583.

[9] 劉煥敏, 王華, 段慧芬. 一種改進(jìn)的SIFT雙向匹配算法[J]. 兵工自動化, 2009, 28(6): 89-91.

LIU Huan-min, WANG Hua, DUAN Hui-fen. A bidirectional matching SIFT algorithm[J]., 2009, 28(6): 89-91.

[10] 劉貴喜, 劉冬梅, 劉鳳鵬. 一種穩(wěn)健的特征點(diǎn)配準(zhǔn)算法[J]. 光學(xué)學(xué)報(bào), 2008, 28(3): 454-461.

LIU Guixi, LIU Dongmei, LIU Fengpeng. A robust image registration algorithm based on feature points matching[J]., 2008, 28(3): 454-461.

[11] 周劍軍, 歐陽寧, 張彤. 基于RANSAC 的圖像拼接方法[J]. 計(jì)算機(jī)工程與設(shè)計(jì), 2009, 30(24):5692-5694.

ZHOU Jian-jun, OUYANG Ning, ZHANG Tong. Image mosaic method based on RANSAC[J].2009, 30(24): 5692-5694.

[12] 張曉茹, 肖珂. 基于角點(diǎn)匹配圖像拼接方法的改進(jìn)[J]. 河北農(nóng)業(yè)大學(xué)學(xué)報(bào), 2008, 31(4): 119-122.

ZHANG Xiao-ru, XIAO Ke. The improvement of a feature-based image mosaics algorithm[J]., 2008, 31(4): 119-122.

[13] 張世良. 基于改進(jìn)RANSAC算法圖像自動拼接技術(shù)[J]. 三明學(xué)院學(xué)報(bào), 2012, 29(2): 46-50.

ZHANG Shi-liang. The improvement of a RANSAC-based image mosaics algorithm[J]., 2012, 29(2): 46-50.

[14] 穆柯楠, 惠飛, 曹健明, 等. 一種基于幾何約束的RANSAC改進(jìn)算法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2015, 51(4): 205-208.

MU Kenan, HUI Fei, CAO Jianming. Improved RANSAC algorithm based on geometric constraints[J]., 2015, 51(4): 205-208.

[15] Rodriguez A., Laio A.. Clustering by fast search and find of density peaks[J]., 2014, 344(6191):1492-1496.

[16] 李衛(wèi)平. K-means聚類算法研究[J]. 中國西部科技, 2008, 7(8): 52-53.

LI Wei-ping. Research on K-means clustering algorithm[J]., 2008, 7(8): 52-53.

Thermal Image Stitching Based on Robust Feature Matching

LIU Huan，GU Xiaojing，GU Xingsheng

(,,200237,)

Thermal imaging equipment can detect invisible long-wave infrared radiation and provide visible display. It has a pivotal position in the areas of scientific research, security and criminal investigation and national defense. Instead of observing single image, it is highly possible to improve the perception of observers via observing a thermal panorama obtained by image stitching technique. However, there are usually large errors in thermal image feature extraction due to the blur details and low signal-noise ratio of thermal imaging. Therefore, the feature points matching process is not stable enough for the image stitching. Aiming at this problem, our paper improves the matching process and provides a robust feature matching based stitching method for thermal panorama. The improvements comprise two aspects: first, using PCA to reduce the dimensions of SIFT features in order to reduce correlations between features, improving the discriminative ability of feature vectors; second, using density peak clustering algorithm to eliminate the unstable matching points in order to improve the matching accuracy. Experimental results show that the proposed algorithm can efficiently and stably generate thermal panoramas with high practical values.

thermal imagery，image stitching，SIFT，PCA dimension reduction，density peak clustering

TP391.4

A

1001-8891(2016)01-0010-11

2015-10-15；

2015-12-25.

劉歡（1989-），男，江蘇人，碩士研究生，研究方向?yàn)榧t外圖像處理及分析。

谷小婧，E-mail: xjing.gu@ecust.edu.cn。

國家自然科學(xué)基金項(xiàng)目（61205017，61502293，61573144）；中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金項(xiàng)目。