結(jié)合YOLO的ORB雙目圖像匹配方法研究

張春蕾，牛馨苑

(蘭州交通大學(xué) 電子與信息工程學(xué)院，蘭州 730070)

1 引 言

隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，自動駕駛和視頻監(jiān)控等智能化應(yīng)用愈來愈廣泛，雙目圖像匹配作為雙目視覺系統(tǒng)的重要組成部分，已經(jīng)成為國內(nèi)外研究熱點(diǎn).在雙目測距和三維立體重建[1]等一些任務(wù)中需要目標(biāo)特征點(diǎn)的位置等一些具體信息，因此圖像特征點(diǎn)提取和匹配技術(shù)在車輛視覺導(dǎo)航等圖像處理領(lǐng)域有深刻的研究意義.

隨著關(guān)注的增加，這些年來新的匹配算法不斷被提出,E Rublee等人在SIFT(Scale-invariant feature transform)[1]和SURF(Speeded Up Robust Features)[2]基礎(chǔ)上提出ORB[3]算法，該方法利用FAST和BRIEF算法對特征點(diǎn)進(jìn)行檢測和匹配，因具備較好的運(yùn)算速度和匹配精度被廣泛應(yīng)用.但傳統(tǒng)的ORB算法會因?yàn)槭艿江h(huán)境干擾進(jìn)而影響匹配精度，造成不同物體之間特征點(diǎn)錯(cuò)誤匹配.目前最熱門的改進(jìn)方法是結(jié)合深度學(xué)習(xí)目標(biāo)識別算法來對圖像特征點(diǎn)匹配進(jìn)行約束，目標(biāo)檢測方法主要分為兩種：一種是基于候選區(qū)域的方法，例如R-CNN(Regions with CNN features)[4]、Fast R-CNN[5]、Faster R-CNN[6]、R-FCN[7]等；另一種是基于回歸思想的SSD(Single Shot MultiBox Detector)[8]、YOLO[9]等方法.在基于深度學(xué)習(xí)的圖像匹配方法上，張博等人先后提出了結(jié)合Mask R-CNN[10]和Faster R-CNN兩種改進(jìn)的雙目圖像匹配方法[11,12]，但是因?yàn)檩^復(fù)雜的定位分類算法會出現(xiàn)運(yùn)行速度變慢的情況.因此本文提出基于YOLO的雙目圖像匹配改進(jìn)方法，通過目標(biāo)區(qū)域?qū)RB匹配進(jìn)行約束.用卷積網(wǎng)絡(luò)[13]對單目標(biāo)，雙目標(biāo)和多目標(biāo)圖像提取特征以進(jìn)行物體檢測，采用多尺度預(yù)測目標(biāo)區(qū)域坐標(biāo)和類別信息，使用FAST和BRIEF檢測和描述特征點(diǎn)，進(jìn)行ORB粗匹配，用去誤匹配算法比較輪廓信息后去除不同類別和位置信息目標(biāo)框以外的匹配點(diǎn)，在GPU環(huán)境中可以實(shí)現(xiàn)基于YOLO的雙目圖像匹配的實(shí)時(shí)處理并提升匹配精度.

2 YOLO V3目標(biāo)檢測

不同于其他目標(biāo)檢測算法，YOLO目標(biāo)識別算法是一種端到端的網(wǎng)絡(luò)結(jié)構(gòu)，核心是將物體檢測任務(wù)用回歸的方法來處理.使用卷積神經(jīng)網(wǎng)絡(luò)直接從整張圖像預(yù)測物體的類別和坐標(biāo)位置，還包括預(yù)測目標(biāo)框中包含物體的置信度和分類的可能性，并且使用非極大值抑制方法進(jìn)行boxes的篩選.為了改善YOLO V2[14]在小目標(biāo)檢測與識別上的不足，Redmon J等人提出了YOLO V3[15]：引入了多個(gè)殘差網(wǎng)絡(luò)模塊疊加而成的卷積網(wǎng)絡(luò)Darknet-53，共有53層卷積層，使用了具有良好表現(xiàn)的3×3和1×1的卷積層；采取多尺度預(yù)測方式，對不同的數(shù)據(jù)集都從三個(gè)不同大小尺度的預(yù)測，提取圖像更多特征信息；YOLO V3 繼續(xù)使用Faster R-CNN中anchor boxes機(jī)制作為先驗(yàn)框?qū)D像中的目標(biāo)進(jìn)行檢測，采用 K-means 聚類算法對數(shù)據(jù)集的目標(biāo)框大小進(jìn)行聚類；類別預(yù)測方面對圖像中檢測到的對象執(zhí)行多標(biāo)記分類，損失函數(shù)不再使用softmax,而是使用binary cross-entropy loss實(shí)現(xiàn)同一個(gè)目標(biāo)物體多個(gè)類別的分類.

3 ORB匹配方法

ORB算法是對FAST特征點(diǎn)檢測與BRIEF特征描述子的一種結(jié)合與改進(jìn).兼顧了SIFT方法和SURF方法的準(zhǔn)確性和魯棒性，同時(shí)又有較快的運(yùn)行速度.

3.1 FAST特征點(diǎn)提取

FAST雖然能準(zhǔn)確提取特征點(diǎn)、高效且實(shí)時(shí)性好，但不具備旋轉(zhuǎn)不變性，ORB算法便利用灰度質(zhì)心法對此進(jìn)行改進(jìn)，通過矩的方法計(jì)算質(zhì)心為[4]:

mpq=∑x,yxpyqI(x,y)

(1)

其中 (x,y)為相對特征點(diǎn)的位置，r為圓形鄰域半徑，其中 (x,y)∈[-r,r]，I為圖中坐標(biāo)(x,y)的灰度值，mpq為特征點(diǎn) (p+q)階矩，由此得到FAST特征點(diǎn)圓形鄰域的質(zhì)心:

(2)

這里特征點(diǎn)的中心為O,則從特征點(diǎn)的中心到灰度質(zhì)心C的向量OC的方向?yàn)樘卣鼽c(diǎn)的方向也就是FAST特征點(diǎn)的方向，向量角度即特征點(diǎn)方向:

θ=arctan(m10,m01)

(3)

3.2 BRIEF描述算子

ORB算法采用了BRIEF這種快速的二進(jìn)制特征描述，通過在圖像上的某一點(diǎn)P的鄰域內(nèi)隨機(jī)選取n對點(diǎn)對，將這些點(diǎn)對的像素值進(jìn)行比較，然后得到一串二進(jìn)制結(jié)果[4]:

(4)

于是BRIEF描述子可以用二進(jìn)制向量表示，也就是說可以通過漢明距離進(jìn)行匹配:

fn(p)=∑1≤i≤π2i-1τ(p;xi,yi)

(5)

4 本文匹配算法

本文提出的匹配算法首先將雙目圖像經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)處理得到矩形框標(biāo)注的感興趣區(qū)域和類別標(biāo)簽,然后用FAST和BRIEF算子進(jìn)行特征點(diǎn)檢測和描述，實(shí)現(xiàn)雙目圖像特征點(diǎn)粗匹配；最后根類別和位置信息判斷并去除錯(cuò)誤特征點(diǎn)匹配,算法實(shí)現(xiàn)過程如圖1所示.

圖1 本文算法流程圖Fig.1 Algorithm flow chart

4.1 雙目圖像YOLO v3目標(biāo)定位和分類

將左目和右目圖像都作為輸入傳給YOLO網(wǎng)絡(luò)模型，首先通過特征提取網(wǎng)絡(luò)對輸入圖像提取特征，得到一定尺寸的feature map.將輸入圖像按尺寸劃分網(wǎng)格，接著由ground truth目標(biāo)中心坐標(biāo)落的網(wǎng)格預(yù)測該目標(biāo)，每個(gè)網(wǎng)格都會預(yù)測3個(gè)目標(biāo)框，但只用和ground truth的IOU最大那個(gè)的來預(yù)測目標(biāo).輸出的特征圖提取到的二維特征分別為圖片尺寸和3×(5+c),其中c表示類別數(shù),5表示四個(gè)坐標(biāo)信息和一個(gè)置信度.tx,ty,tw,th是神經(jīng)網(wǎng)絡(luò)的預(yù)測輸出,下標(biāo)x,y,w,h表示物體的中心位置相對格子位置的偏移及寬度和高度,均被進(jìn)行歸一化處理.(cx,cy)表示網(wǎng)格坐標(biāo)，預(yù)測邊界框的寬和高為(pw,ph),網(wǎng)絡(luò)的預(yù)測值為[16]:

(6)

式中,bx,by,bw和bh是預(yù)測出的bounding box的中心坐標(biāo)和尺寸大小, 坐標(biāo)的損失采用的是平方誤差損失，置信度表述了是否包含物體以及包含物體情況下位置的準(zhǔn)確性，預(yù)測邊界框如圖2所示.

圖2 維度先驗(yàn)和位置預(yù)測的邊界框Fig.2 Boundary box for dimensional prior and position prediction

使用交叉熵?fù)p失函數(shù)binary cross-entropy loss替換softmax函數(shù)實(shí)現(xiàn)多標(biāo)簽的分類，因?yàn)閟oftmax選擇分?jǐn)?shù)最高類別作為當(dāng)前框類別，分類依賴于互斥假設(shè)，即一個(gè)對象屬于一個(gè)類，那么它就不屬于另一個(gè)類，但是一個(gè)目標(biāo)有可能屬于多個(gè)類別，比如出現(xiàn)person和women情況時(shí)上述假設(shè)就失敗了.使用邏輯回歸預(yù)測每個(gè)類別的分?jǐn)?shù)，并且用閾值來預(yù)測對象的多個(gè)標(biāo)簽.分?jǐn)?shù)高于閾值的類別分配給該框.用邏輯回歸層對每個(gè)類別做二分類，用sigmoid函數(shù)將輸入約束在0到1的范圍內(nèi)，當(dāng)一張圖像經(jīng)過特征提取后的某一類輸出經(jīng)過sigmoid函數(shù)約束后若大于閾值0.5，就表示屬于該類.這樣，在雙目圖像上進(jìn)行目標(biāo)檢測算法后得出目標(biāo)預(yù)測框和類別，在去除ORB粗匹配的不同目標(biāo)錯(cuò)誤的特征點(diǎn)匹配時(shí)，就不會直接認(rèn)為雙目圖像中同一位置person和women不是同一目標(biāo)物體.

4.2 雙目圖像多尺度預(yù)測和特征提取

為了提高雙目圖像的小目標(biāo)和多目標(biāo)識別準(zhǔn)確率，YOLO v3對分辨率大小為32×32,16×16,8×8的特征圖進(jìn)行預(yù)測，實(shí)現(xiàn)了從三種不同尺度的預(yù)測，如圖3所示.

圖3 darknet-53網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Darknet-53 network structure

在darknet-53得到的特征圖譜上，經(jīng)過七個(gè)卷積得到第一個(gè)特征圖譜，在這個(gè)特征圖譜上做第一次預(yù)測；然后從后向前獲得倒數(shù)第三個(gè)卷積層的輸出，進(jìn)行一次卷積和一次上采樣，將上采樣特征與第四十三個(gè)卷積特征連接，經(jīng)過七個(gè)卷積得到第二個(gè)特征圖譜，在這個(gè)特征上進(jìn)行第二次預(yù)測；然后從后向前獲得倒數(shù)第三個(gè)卷積層的輸出，進(jìn)行一次卷積和一次上采樣，將上采樣特征與第二十六個(gè)卷積特征連接，經(jīng)過七個(gè)卷積得到第三個(gè)特征圖譜，在這個(gè)特征上進(jìn)行第三次預(yù)測.

使用K-means聚類方法確定bounding box的初始尺寸，設(shè)置先驗(yàn)框是為了使得預(yù)測框與ground truth的IOU更好.歐氏距離會讓大的bounding boxes比小的bounding boxes 產(chǎn)生更多的錯(cuò)誤，本文使用的距離為[16]:

D(box,centroid)=1-IOU(box,centroid)

(7)

式中centroid和box表示中心框和聚類框，IOU(box,centroid)是兩者交并比，表示預(yù)測框的準(zhǔn)確程度，bbgt為真實(shí)框，bbdt為預(yù)測框，由此得到IOU的值為:

(8)

4.3 目標(biāo)去誤匹配

本文提出的方法將YOLO目標(biāo)識別算法得到的預(yù)測區(qū)域坐標(biāo)和物體類別信息用pickle庫進(jìn)行序列化處理為二進(jìn)制數(shù)據(jù)流，然后以文件形式保存，經(jīng)FAST算子檢測特征點(diǎn)和BRIEF算子描述特征點(diǎn)，進(jìn)行ORB粗匹配，且通過OpenCV提取雙目圖像中的特征點(diǎn)坐標(biāo)信息和匹配點(diǎn)數(shù)目.設(shè)雙目圖像中特征點(diǎn)的坐標(biāo)為(xin,yin)，其中n=1表示左目圖片，n=2表示右目圖像，不同i代表不同特征點(diǎn)，第n張圖中第m類輪廓區(qū)域?yàn)閟nm.遍歷左目圖像特征點(diǎn)，判斷特征點(diǎn)坐標(biāo)是否在圖像中識別出的某一類別的輪廓內(nèi)[12]:

(9)

若在則繼續(xù)對這個(gè)點(diǎn)在右目圖像中匹配點(diǎn)的坐標(biāo)進(jìn)行判定，如果滿足同一類目標(biāo)框條件，則通過 OpenCV 保留特征點(diǎn)匹配并且將匹配線畫出來；若左目圖像中的特征點(diǎn)所屬的輪廓區(qū)域，與右目圖像中特征點(diǎn)配準(zhǔn)類別的輪廓區(qū)域類別不同，則去除誤匹配特征點(diǎn):

(10)

5 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文提出的改進(jìn)方法的有效性，在基于python語言、PyCharm以及OpenCV實(shí)驗(yàn)平臺上進(jìn)行實(shí)驗(yàn).實(shí)驗(yàn)所用操作系統(tǒng)為：1)Ubuntu 16.04LTS(GPU：NVIDIA GeForce GTX 1070Ti)；2)Win10(CPU：Intel(R)Core(TM)i5-7200 CPU @ 2.50GHz 2.71GHz).實(shí)驗(yàn)用到的深度學(xué)習(xí)框架為Darknet.實(shí)驗(yàn)數(shù)據(jù)一部分來自KITTI雙目數(shù)據(jù)集，原始圖像大小為1242×375，另一部分來自海康雙目攝像頭在實(shí)驗(yàn)室中的自采集數(shù)據(jù)，原始圖像大小為1280×720，以下為多組實(shí)驗(yàn)中的三組.

圖4和圖5所示為第一組實(shí)驗(yàn)結(jié)果圖，均是KITTI雙目圖像數(shù)據(jù)集中單目標(biāo)圖像，其中圖4是采用傳統(tǒng)ORB匹配方法的實(shí)驗(yàn)結(jié)果圖，可以觀察出有明顯的錯(cuò)誤匹配，圖5采用本文改進(jìn)方法的匹配圖，去除了誤匹配，有效提升了匹配精度且汽車單目標(biāo)匹配準(zhǔn)確率較高.

圖4 單目標(biāo)ORB算法匹配圖Fig.4 Single target ORB algorithm matching graph

圖5 單目標(biāo)本文算法匹配圖Fig.5 Single target algorithm matching graph

圖6和圖7是第二組實(shí)驗(yàn)結(jié)果圖，為KITTI雙目圖像數(shù)據(jù)集中背景環(huán)境復(fù)雜的雙目標(biāo)圖像，其中圖6是傳統(tǒng)ORB匹配效果圖，存在特征點(diǎn)不同物體之間的錯(cuò)誤匹配和目標(biāo)物體以外的冗余匹配點(diǎn)，圖7是本文所提算法的效果圖，從實(shí)驗(yàn)結(jié)果可以看出，本文算法能準(zhǔn)確識別出人和自行車兩類目標(biāo)的匹配點(diǎn)，實(shí)現(xiàn)了雙目標(biāo)匹配精度提高.

圖6 雙目標(biāo)ORB算法匹配圖Fig.6 Double target ORB algorithm matching graph

圖7 雙目標(biāo)本文算法匹配圖Fig.7 Double target algorithm matching graph

圖8和圖9是第三組自采集數(shù)據(jù)中實(shí)驗(yàn)室場景下的多目標(biāo)雙目圖像，其中圖8是常見的ORB匹配效果圖，在復(fù)雜圖像中的錯(cuò)誤匹配率較高，圖9是本文所提算法的匹配效果圖，從實(shí)驗(yàn)結(jié)果可以看出，本文去除了不同物體之間的錯(cuò)誤匹配點(diǎn)，有效提高了匹配精度，實(shí)現(xiàn)了人、椅子、顯示器等多目標(biāo)類別的特征點(diǎn)匹配.

圖8 多目標(biāo)ORB算法匹配圖Fig.8 Multi-target ORB algorithm matching graph

圖9 多目標(biāo)本文算法匹配圖Fig.9 Multi-objective algorithm matching graph

通過對所有實(shí)驗(yàn)數(shù)據(jù)的匹配準(zhǔn)確率結(jié)果進(jìn)行統(tǒng)計(jì)(匹配正確率為正確匹配數(shù)除以所有匹配數(shù))，由表1可以看出本文的算法對匹配準(zhǔn)確率的提升效果.

在目標(biāo)清晰狀況下，對多目標(biāo)雙目圖像50個(gè)特征點(diǎn)的匹配準(zhǔn)確率在92.8%，100個(gè)特征點(diǎn)的匹配準(zhǔn)確率在89.9%，200個(gè)特征點(diǎn)匹配準(zhǔn)確率在87.2%以上，改進(jìn)后的算法相比原ORB匹配算法準(zhǔn)確率均有大幅提高，證明了本文所提算法的有效性，使用NVIDIA GeForce GTX 1070Ti顯卡時(shí)處理速度可達(dá)22FPS.

本文改進(jìn)方法與目前主流的結(jié)合深度學(xué)習(xí)Fast R-CNN和ORB匹配方法相比，都是類似于通過區(qū)域推薦網(wǎng)絡(luò)給出的目標(biāo)區(qū)域?qū)RB匹配進(jìn)行約束，在對匹配精度的同樣提升效果下，本文方法在算法的時(shí)間復(fù)雜度上表現(xiàn)了更大的優(yōu)勢.ORB粗匹配和去誤算法部分的運(yùn)行時(shí)間基本一致，差距體現(xiàn)在目標(biāo)區(qū)域的檢測部分，運(yùn)行速度提高了許多.這是因?yàn)閅OLO將檢測問題轉(zhuǎn)化為了回歸問題，直接通過regression同時(shí)產(chǎn)生坐標(biāo)和每種類別的概率，而Fast R-CNN是分步提取region proposal，先判斷前景還是背景后再分類.

表1 ORB算法與本文算法準(zhǔn)確率比較
Table 1 Comparison between ORB algorithm and accuracy of this algorithm

數(shù)據(jù)集ORB參數(shù)本文算法ORB匹配500.9560.842KITTI單目標(biāo)1000.9220.8032000.8930.765500.9470.836KITTI雙目標(biāo)1000.9090.7812000.8860.750500.9280.813自采集多目標(biāo)1000.8990.7782000.8720.732

6 小 結(jié)

本文根據(jù)雙目圖像應(yīng)用場景的復(fù)雜性導(dǎo)致傳統(tǒng)ORB算法匹配準(zhǔn)確率下降問題，為提高匹配精度和去除不同物體之間誤匹配，提出一種基于YOLO的改進(jìn)ORB雙目圖像匹配方法，介紹了一般ORB匹配算法和卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的目標(biāo)檢測原理和過程，采用多尺度預(yù)測方式提升小目標(biāo)與多目標(biāo)的識別準(zhǔn)確率，研究了KITTI雙目數(shù)據(jù)集和自采集雙目圖像的特征點(diǎn)匹配，并通過YOLO目標(biāo)檢測方法用Darknet深度學(xué)習(xí)框架實(shí)現(xiàn)多尺度預(yù)測以及目標(biāo)分類和定位，實(shí)現(xiàn)了去除不同類別物體之間的錯(cuò)誤匹配.

實(shí)驗(yàn)結(jié)果表明，本文方法較改進(jìn)前方法在單目標(biāo)、雙目標(biāo)和多目標(biāo)雙目圖像上的匹配精度提高了11.4%以上，匹配精度均在87%以上，在GPU環(huán)境下處理速度可達(dá)22FPS，較結(jié)合其他目標(biāo)檢測改進(jìn)匹配算法的時(shí)間復(fù)雜度大大降低且匹配精度有效提升.