一種無人機(jī)電力巡檢的影像匹配方法

靳渤文，楊耀權(quán)，張明浩

（華北電力大學(xué) 控制與計(jì)算機(jī)學(xué)院，河北 保定 071003）

0 引言

我國(guó)輸電線路的距離較長(zhǎng)，線路所經(jīng)過的地形較復(fù)雜，并且輸電塔體較高，在受到外力破壞或者自然災(zāi)害的情況下，傳統(tǒng)的電力巡檢方式不能及時(shí)針對(duì)電力線路進(jìn)行檢查，越來越難以適應(yīng)當(dāng)前電力輸送線路發(fā)展趨勢(shì)［1-2］。近年來，無人機(jī)多傳感器系統(tǒng)廣泛用于電力巡檢，利用該技術(shù)進(jìn)行電力巡檢可以減少現(xiàn)場(chǎng)工作量，大大提高工作效率，降低巡檢成本［3］。

針對(duì)無人機(jī)影像匹配過程中存在的問題，國(guó)內(nèi)外研究人員從圖像匹配和圖像拼接兩個(gè)方面進(jìn)行了研究，如盧鵬、盧奇等人將改進(jìn)的SIFT 算法與漸入漸出融合算法相結(jié)合，實(shí)現(xiàn)對(duì)時(shí)間序列圖像的拼接融合處理［4］。張立亭等提出一種基于灰度差分與模板Harris 角點(diǎn)檢測(cè)的快速算法，有效提高了角點(diǎn)檢測(cè)時(shí)間［5］。韓敏等提出了一種基于改進(jìn)KAZE 的無人機(jī)航拍圖像拼接算法，具有較好的性能，且處理效果較KAZE 算法與K 近鄰特征匹配算法有較大提升［6］。甄艷等針對(duì)RANSAC 算法估計(jì)基礎(chǔ)矩陣效率低等問題，提出一種改進(jìn)算法，提高算法的精度和效率［7］。當(dāng)所拍攝圖像視角較小時(shí)，其匹配效果更好。然而無人機(jī)所拍攝的圖像具有高分辨率，并且圖像中紋理信息豐富，因此所需要提取的特征點(diǎn)更多，匹配的正確率較低。通常，在圖像的局部區(qū)域中僅可獲取少量特征點(diǎn)，并且難以滿足對(duì)航拍圖像快速且準(zhǔn)確進(jìn)行圖像匹配的要求。

提出應(yīng)用Harris-Laplace 特征檢測(cè)算法與SIFT描述相結(jié)合的改進(jìn)圖像特征匹配方法，應(yīng)用于輸電線路巡檢。首先，應(yīng)用Harris-Laplace 特征檢測(cè)算法檢測(cè)出無人機(jī)航拍影像上的關(guān)鍵點(diǎn)，所檢測(cè)出的關(guān)鍵點(diǎn)具有對(duì)光照、圖像噪聲很好的魯棒性和尺度不變性等特點(diǎn)，然后確定關(guān)鍵點(diǎn)的主方向及大小以生成特征點(diǎn)；然后使用SIFT 算法對(duì)生成的特征點(diǎn)進(jìn)行描述；在特征點(diǎn)匹配階段，使用基于BBF 的最近鄰搜索法對(duì)特征點(diǎn)進(jìn)行初匹配，然后使用FLANN 算法進(jìn)行粗匹配，在此基礎(chǔ)上，結(jié)合K 最近鄰法剔除掉更多誤匹配點(diǎn)。最后使用多重約束的改進(jìn)RANSAC 算法，獲得最優(yōu)的匹配集，對(duì)應(yīng)高分辨率的無人機(jī)航拍影像。

1 基本原理

1.1 特征點(diǎn)檢測(cè)

Harris 角點(diǎn)檢測(cè)算子使用的是角點(diǎn)附近的區(qū)域二階矩陣，具有旋轉(zhuǎn)不變性［8］。

為了使關(guān)鍵點(diǎn)擁有尺度屬性，首先需要建立圖像的尺度空間，該尺度空間由不同尺度的尺度圖像組成［9-10］。尺度圖像是由圖像I（x）和高斯核G（σn）卷積形成的，定義為

式中：σn為n 層的尺度，σn＝s0kn，s0取1.5，k 取值1.4。

高斯核的函數(shù)表達(dá)式為

為了加快計(jì)算速度，使用高斯差分函數(shù)D（x，y，δ）來代替尺度空間，其中，高斯核函數(shù)由一個(gè)常數(shù)倍數(shù)因子k 分隔的兩個(gè)鄰近尺度的差值計(jì)算得出，然后與圖像進(jìn)行卷積計(jì)算［11］。

式中：D（x，y，δ）是高斯差分算子（DOG），這是尺度歸一化算子高斯拉普拉斯算子（LOG）的近似值。

Harris 特征檢測(cè)算子利用主曲率檢驗(yàn)?zāi)滁c(diǎn)是否是邊緣點(diǎn)，主曲率通過一個(gè)二階的Hessian 矩陣得到：［12］

式中：矩陣H 的特征值表示水平和垂直方向的梯度方向，分別標(biāo)記為α 和β，因此有

當(dāng)Hessian 矩陣的行列式值為負(fù)值時(shí)，兩個(gè)曲率異號(hào)，對(duì)應(yīng)的點(diǎn)不是極值點(diǎn)，應(yīng)該剔除。假設(shè)α＝r β，根據(jù)

由于r＞0，式（6）在r＝1 左側(cè)是單調(diào)遞減，在r＝1的右側(cè)是單調(diào)遞增。如果需要限定r＜r0，則只需令式（6）滿足

一般而言，取r0＝10 可以剔除圖像中再某一尺度下絕大部分邊緣響應(yīng)點(diǎn)。

1.2 影像特征匹配

特征匹配通常根據(jù)歐式距離來測(cè)量，選擇固定閾值、最近鄰或最近鄰距離比（NNDR）當(dāng)成匹配策 略［13］。

1.2.1 基礎(chǔ)矩陣和單應(yīng)性矩陣的解算

基礎(chǔ)矩陣F 所描述的是一個(gè)3×3 的矩陣，表達(dá)了在立體像對(duì)的同名像點(diǎn)之間存在的對(duì)應(yīng)關(guān)系。在對(duì)極幾何中，對(duì)于立體像對(duì)中的一對(duì)同名像點(diǎn)，x 與x′為二維向量坐標(biāo)，齊次化后變成三維向量坐標(biāo)?；A(chǔ)矩陣是同名像點(diǎn)的齊次化坐標(biāo)x 與x′的對(duì)應(yīng)關(guān)系，而Fx 描述的是另一幅圖像上的同名點(diǎn)x′所在的極線，因此兩圖像上所有的同名像點(diǎn)必須滿足

式中：F 是對(duì)本質(zhì)矩陣E 的拓展，其不同于本質(zhì)矩陣的是，基礎(chǔ)矩陣獨(dú)立于場(chǎng)景結(jié)構(gòu)，不需了解相機(jī)的內(nèi)外參數(shù)，只需通過同名點(diǎn)坐標(biāo)計(jì)算就可得到。

單應(yīng)性是將一個(gè)射影平面上的點(diǎn)映射到另一個(gè)平面相對(duì)應(yīng)的位置，并將該直線映射為具有保線性質(zhì)的直線。對(duì)極幾何將點(diǎn)映射到線上，單應(yīng)性矩陣是點(diǎn)對(duì)點(diǎn)的關(guān)系，單應(yīng)性矩陣的描述方程為

式中：H 為一個(gè)3×3 的非奇異矩陣，且對(duì)矩陣H 乘以非零的常量，等式依然成立。

1.2.2 RANSAC 精匹配

隨機(jī)采樣一致性（RANSAC）是利用一組包含異常數(shù)據(jù)的樣本數(shù)據(jù)集計(jì)算得到數(shù)學(xué)參數(shù)的方法。

由RANSAC 算法尋找一個(gè)最佳單應(yīng)性矩陣H，為一個(gè)3×3 的方陣，其目的是尋找最優(yōu)的參數(shù)矩陣使得需要滿足該矩陣的匹配特征點(diǎn)最多。通常令h33=1 來歸一化矩陣。由于單應(yīng)性矩陣存在8 個(gè)未知數(shù)，因此至少需要8 個(gè)線性方程求解，對(duì)應(yīng)到點(diǎn)的位置信息上，其中一組點(diǎn)對(duì)可以列出兩個(gè)方程，所以至少需要包含4 組匹配點(diǎn)對(duì)。

式中：（x，y）表示未知的目標(biāo)圖像角點(diǎn)；（x′，y′）為場(chǎng)景圖像的角點(diǎn)位置；s 為尺度參數(shù)。

RANSAC 算法從匹配數(shù)據(jù)集中隨機(jī)抽出4 個(gè)樣本并保證這4 個(gè)樣本之間不共線，計(jì)算出單應(yīng)性矩陣H，記為模型M。然后利用這個(gè)模型測(cè)試所有數(shù)據(jù)，并計(jì)算滿足這個(gè)模型數(shù)據(jù)點(diǎn)的個(gè)數(shù)與投影誤差（即代價(jià)函數(shù)），若此模型為最優(yōu)模型，則對(duì)應(yīng)的代價(jià)函數(shù)最小。

RANCAC 參數(shù)估計(jì)內(nèi)涵：已知給定N 個(gè)數(shù)據(jù)點(diǎn)來形成集合W，假設(shè)集合W 中的大多數(shù)點(diǎn)可由模型產(chǎn)生，并且至少可以用n 個(gè)點(diǎn)（n＜N）來合出模型參數(shù)。

2 實(shí)驗(yàn)結(jié)果與分析

在SIFT 算法的基礎(chǔ)上，首先提取了電力巡檢中航拍影像對(duì)的特征點(diǎn)，然后應(yīng)用多種方法對(duì)影像對(duì)進(jìn)行初匹配，最后對(duì)誤匹配點(diǎn)進(jìn)行剔除，獲得最優(yōu)匹配效果，達(dá)到電力巡檢的目的。

本次試驗(yàn)運(yùn)行環(huán)境為Intel（R）Core（TM）i7-7700HQ CPU @ 2.80GHz，運(yùn)行內(nèi)存為8GB 的計(jì)算機(jī)?；赩S2013 的OpenCV2.4.10 圖像處理視覺庫(kù)，Windows10 系統(tǒng)作為開發(fā)平臺(tái)，無人機(jī)航拍系統(tǒng)參數(shù)見表1。

表1 無人機(jī)航拍系統(tǒng)部分參數(shù)

2.1 影像匹配實(shí)驗(yàn)

為驗(yàn)證本文中所提出方法的有效性，選取有代表性的廣東省惠州市郊區(qū)2018 年2 月拍攝的輸電線路巡檢時(shí)無人機(jī)影像數(shù)據(jù)，其分辨率為500×749與749×500，如圖1 所示。提取影像上分布的Harris-Laplace 特征點(diǎn)，對(duì)后期航拍正射影像的匹配有利。其中影像對(duì)1 特征點(diǎn)數(shù)為1731、1383，影像對(duì)2 特征點(diǎn)數(shù)為3564、3443，其影像對(duì)特征點(diǎn)如圖2 所示。

圖1 數(shù)據(jù)對(duì)

圖2 兩組影像對(duì)SIFT 特征點(diǎn)檢測(cè)

基于SIFT 算法與FLANN 結(jié)合的特征匹配。兩組影像對(duì)匹配結(jié)果如圖3 所示，其中影像對(duì)1 耗時(shí)3 747 ms，匹配上581 對(duì)，影像對(duì)2 耗時(shí)4 181.31 ms，匹配上745 對(duì)。

本文應(yīng)用基礎(chǔ)矩陣的方法剔除誤匹配的特征點(diǎn)對(duì)，此方法更加嚴(yán)格，因此得到的匹配結(jié)果更加精確。試驗(yàn)在SIFT 算法的基礎(chǔ)上，使用基礎(chǔ)矩陣的RANSAC 算法剔除誤匹配的特征點(diǎn)后，獲得了更優(yōu)的匹配結(jié)果。從圖4 匹配的實(shí)驗(yàn)結(jié)果看出，本文算法影像對(duì)1 耗時(shí)1 026 ms，匹配上598 對(duì)，影像對(duì)2 耗時(shí)2 259 ms，匹配上1 191 對(duì)。因此本文算法對(duì)植被覆蓋密集區(qū)域的無人機(jī)航拍正射影像的匹配是有效的。

2.2 算法魯棒性實(shí)驗(yàn)

本次實(shí)驗(yàn)中，通過旋轉(zhuǎn)，縮放以及改變圖像的清晰度，測(cè)試本文算法的抗干擾性以及匹配的精度，檢查匹配的準(zhǔn)確性和速度，以此來測(cè)試本文算法的魯棒性。

圖3 影像對(duì)SIFT+FLANN 特征匹配結(jié)果

圖4 影像對(duì)SIFT+RANSAC 特征匹配結(jié)果

對(duì)同一組影像，對(duì)影像進(jìn)行90°旋轉(zhuǎn)，通過對(duì)比，得出本文算法對(duì)旋轉(zhuǎn)變換具有很好的適應(yīng)能力，通過旋轉(zhuǎn)，并不影響其匹配的速度以及準(zhǔn)確度，結(jié)果如圖5 所示。

圖5 影像對(duì)1 旋轉(zhuǎn)90°圖像間匹配圖

通過對(duì)匹配的影像進(jìn)行縮放，檢測(cè)縮放前后特征點(diǎn)的匹配情況，其實(shí)驗(yàn)結(jié)果如圖6 所示。

圖6 影像對(duì)1 縮放前后圖像間匹配圖

通過對(duì)匹配的影像對(duì)中一幅圖像進(jìn)行模糊處理，檢測(cè)模糊處理前后特征點(diǎn)的匹配情況，其實(shí)驗(yàn)結(jié)果如圖7 所示。

圖7 影像對(duì)1 模糊處理后圖像間匹配圖

2.2 影像匹配結(jié)果分析

為充分驗(yàn)證本文方法的優(yōu)勢(shì)，將本文算法同SIFT 算法與FLANN 快速搜索特征匹配進(jìn)行對(duì)比試驗(yàn)，其對(duì)比試驗(yàn)結(jié)果如表2 和表3 所示。在Harris-Laplace 特征提取后，通過使用SIFT 特征描述符來描述無人機(jī)航拍正射影像關(guān)鍵點(diǎn)，可以有效地表達(dá)圖像特征信息，雖然這種方法在計(jì)算特征描述符時(shí)消耗更多時(shí)間，但可以有效地表達(dá)Harris-Laplace 特征信息。通過本文算法，可以提取到較多的特征點(diǎn)信息。在匹配階段，首先使用BBF 算法對(duì)特征點(diǎn)進(jìn)行粗匹配，結(jié)果顯示其匹配效果較差，存在很多誤匹配點(diǎn)對(duì)。然后使用SIFT 特征描述算法對(duì)得到的特征點(diǎn)提取并計(jì)算特征向量，在FLANN快速搜索算法的基礎(chǔ)上結(jié)合KNN 剔除掉更多的誤匹配點(diǎn)對(duì)，然后進(jìn)行特征匹配，其匹配效果較好，但特征點(diǎn)較少。最后用改進(jìn)RANSAC 算法計(jì)算基礎(chǔ)矩陣，剔除影像匹配中的誤匹配點(diǎn)，其匹配效果有了明顯提升，并估計(jì)單應(yīng)性矩陣H。經(jīng)改進(jìn)RANSAC算法首先對(duì)匹配點(diǎn)對(duì)進(jìn)行了內(nèi)外點(diǎn)的判定，再對(duì)內(nèi)外點(diǎn)進(jìn)行有目的的篩選，最后得出最佳變換矩陣，因此最終得到的正確影像匹配點(diǎn)數(shù)量最多。在耗時(shí)上，由于FLANN 算法相對(duì)改進(jìn)RANSAC 算法復(fù)雜程度低，所涉及的參數(shù)要少，因此兩組影像在使用FLANN 算法匹配試驗(yàn)中速度較快，但本文所采取算法有效提要了匹配對(duì)數(shù)，并且在耗時(shí)上也得到了提高，獲得了較高的匹配正確率。并且本文的算法對(duì)圖像的旋轉(zhuǎn)、縮放以及模糊等各個(gè)方面都有較強(qiáng)的適應(yīng)性，可以得出本文算法對(duì)圖像匹配的魯棒性較好。

表2 SIFT+FLANN 特征匹配結(jié)果分析

表3 SIFT+RANSAC 特征匹配結(jié)果分析

3 結(jié)語

無人機(jī)巡檢輸電線路，以獲得航拍的正射影像。由于拍攝條件或輸電區(qū)域的復(fù)雜環(huán)境引起的匹配效果不好，導(dǎo)致圖像拼接效果差，這使得電力巡檢變得困難。為了避免傳統(tǒng)約束的單一缺陷，本文基于SIFT算法，比較了基于FLANN 算法結(jié)合KNN 算法和引入基礎(chǔ)矩陣的RANSAC 算法，并且本算法的魯棒性較強(qiáng)。匹配結(jié)果整體準(zhǔn)確度較高，滿足了一定的匹配要求。實(shí)驗(yàn)表明，基于SIFT 的改進(jìn)RANSAC 算法獲得了良好的匹配效果，而且獲得大量特征點(diǎn)，得到了更多的高質(zhì)量匹配集，因此該算法適合輸電線路巡檢的航拍正射影像匹配，對(duì)輸電線路走廊的電力巡檢具有一定的參考意義。