非充分光照下的單目合作目標提取算法

張逸舟,許 睿,曾慶化,2,3,李一能,羅怡雪

（1.南京航空航天大學導(dǎo)航研究中心,南京 211106;2.南京航空航天大學先進飛行器導(dǎo)航、控制與健康管理工業(yè)和信息化部重點實驗室,南京 211106;3.南京航空航天大學江蘇省物聯(lián)網(wǎng)與控制技術(shù)重點實驗室,南京 211106)

0 引言

計算機視覺方案以其智能化、自主性、多場景的應(yīng)用優(yōu)勢成為了輔助自動化設(shè)備工作的重要手段。單目視覺系統(tǒng)則以其結(jié)構(gòu)簡單、獲取信息豐富、空間占用小等特點成為了研究領(lǐng)域的熱門,如使用地面合作標記獲取相對位姿信息輔助飛行器完成近地著陸引導(dǎo)[1],在飛行器空投作業(yè)過程中結(jié)合靶標實現(xiàn)重物的精準投放,或者在集裝箱搬運過程中結(jié)合箱體表面紋理獲取位姿信息以完成自動抓取操作等。合作目標能否準確識別將直接影響到求解位姿信息的精準度以及作業(yè)效率,而非充分光照條件是增加識別難度的首要因素。

目前,已有許多結(jié)合單目合作目標的視覺提取算法設(shè)計。西北工業(yè)大學的聶烜等[2]構(gòu)造了一種三層嵌套式 “回”字合作目標,避免了單層黑框結(jié)構(gòu)識別失敗導(dǎo)致解算不可用的情況,但該算法中缺少對使用時光照條件的討論。廣東電網(wǎng)有限責任公司的譚家祺等[3]設(shè)計了一種雙層式紅藍相間的箭頭形合作目標,該方案易受環(huán)境色溫的影響且需在光線充足的條件下使用。南京航空航天大學的王小洪[4]設(shè)計了二次Otsu算法,實現(xiàn)了合作目標與背景的分離,但該算法近距離時會因同色上的光照差異反而容易丟失識別目標。

以上學者的研究對光照條件均有一定要求,在諸如光照不足（陰天、昏暗室內(nèi)場景)及光照不均（陽光陰影、光線遮擋)等非充分光照條件下使用,其魯棒性亟待提高。因此,本文針對此類算法進行研究和改進,提出了一種自適應(yīng)光照變化的單目視覺合作目標提取方案。方案結(jié)合自適應(yīng)局部閾值二值化、形態(tài)學約束與Douglas-Peucker算法擬合邊緣,能實現(xiàn)在非充分光照條件下的合作目標精準跟蹤,具有一定工程應(yīng)用價值。

1 視覺小孔成像模型介紹

合作目標為已知尺寸、形狀與結(jié)構(gòu)的圖案標記。單目視覺在非合作目標條件中使用時需要進行初始化操作[5],若存在合作目標且已知圖案的結(jié)構(gòu)關(guān)系,則可使用較為成熟的多點透視（Perspective-n-Point,PnP)算法直接完成相機與目標間的位姿解算。提取合作目標特征點坐標是該算法求解位姿的關(guān)鍵所在,視覺圖像中點的坐標通常可以用像素/圖像坐標、相機坐標和世界坐標進行表示,由于相機存在畸變,故首先需要對捕獲圖像中點的坐標進行換算。小孔成像模型的表達式為

畸變矯正過程的表達式為

式（1)、 式（2)中, （u0,v0)為光心像素坐標偏置, （u,v)為像素坐標, （xc,yc,1)、 （xd,yd,1)為對應(yīng)點畸變矯正前后的相機坐標,dx、dy、f為兩軸分辨率與鏡頭焦距,M為相機內(nèi)參數(shù)矩陣,k1、k2、k3、p1、p2為徑向和切向畸變參數(shù),r為中心距常量。分辨率、鏡頭焦距、畸變參數(shù)以及光心偏置均為待標定相機參數(shù),本文參考張正友標定法使用棋盤格進行快速標定[6],標定棋盤格如圖1所示。

圖1 標定用棋盤格Fig.1 Diagram of checkerboard for calibration

2 非充分光照的合作目標提取方案設(shè)計

本文研究的單目合作目標定位算法流程框圖如圖2所示。本章節(jié)首先介紹雙層四邊形結(jié)構(gòu)合作目標的設(shè)計思路,并對自適應(yīng)局部閾值化、形態(tài)學約束、邊界擬合算法進行具體說明。

圖2 單目合作目標算法流程框圖Fig.2 Flowchart of monocular cooperative target algorithm

2.1 合作目標設(shè)計思路

合作目標的形狀特征容易影響角點的提取精度和解算結(jié)果,因此需要根據(jù)實際測量對象選擇適合的合作目標圖形[7]。在PnP問題中,三個特征點的P3P問題將產(chǎn)生四組可能解,而特征點大于等于四的P4P問題可以獲得唯一解[8]。綜合以上考慮,本文設(shè)計合作目標為雙層四邊形結(jié)構(gòu),并且定義外輪廓的四個直角頂點作為特征角點。

合作目標設(shè)計原則如下:目標圖案由具有高對比度的深淺兩色構(gòu)成（以黑白色為主)且具備內(nèi)外輪廓,內(nèi)外輪廓為邊長比例相同的同心四邊形,內(nèi)外輪廓對應(yīng)邊長比例為R,并預(yù)留寬度為L的淺色外框區(qū)域,R、L、四邊形形狀以及圖案實際尺寸的選擇應(yīng)遵循合作目標易于辨識的設(shè)計初衷。本文實驗用箱體如圖3（a)所示,則可設(shè)計如圖3（b)所示的合作目標圖案。圖案形狀采用較為通用的正方形,內(nèi)外輪廓邊長比例R為0.65,合作目標外輪廓邊長為40cm,內(nèi)輪廓邊長為26cm,預(yù)留白色外框區(qū)域?qū)挾萀為5cm。

圖3 實驗箱體與合作目標設(shè)計圖Fig.3 Experiment box and the design of cooperative target

2.2 自適應(yīng)局部閾值二值化

HSV色彩空間依據(jù)色調(diào)（Hue)、飽和度（Saturation)、明度（Value)對圖片色彩信息進行劃分,考慮到視圖明暗特征最容易被感知,本文算法依據(jù)明度通道進行圖像灰度化。當使用場景中出現(xiàn)光照不足、光照不均等非充分光照情形時,合作目標的黑色區(qū)域?qū)蚵瓷涠尸F(xiàn)出不同明度,使用諸如大津法等全局閾值進行二值化,目標將難以被識別。針對上述問題,本文提出一種改進的自適應(yīng)局部閾值二值化方案,常規(guī)局部閾值二值化首先計算像素點（i0,j0)的獨立閾值thre（i0,j0),計算方法如下

式（3)中,S為采樣窗口邊長,C為門限值常數(shù),N為處于圖像范圍內(nèi)的采樣窗口中的像素點集,V（i,j)為采樣窗口中像素點的灰度。對于每個像素點,使用獨立閾值進行二值化代替全局單一閾值方案,可有效解決光照不均時的二值化問題,但此方案仍有不足:當采樣窗口選取過小時,局部閾值二值化效果類似于Canny邊緣檢測而不能獲得可用連通域;當采樣窗口選取過大,光照不足條件下局部閾值的優(yōu)勢將被削弱,黑色標記易與背景混淆而出現(xiàn)連通域斷裂,如圖4所示。在變化光照條件下使用,或在光照條件較弱、光線存在遮擋的情況下使用時,常規(guī)局部閾值法所設(shè)置的單一采樣窗口、門限值常數(shù)無法適應(yīng)環(huán)境變更,亟待對算法作出相應(yīng)的改進,尋找一種恰當?shù)淖赃m應(yīng)調(diào)節(jié)方式。

圖4 局部閾值二值化局限性Fig.4 Limitations of conventional local threshold binarization

本文充分考慮結(jié)合環(huán)境的整體明度值,自適應(yīng)控制局部閾值采樣窗口大小,且在非充分光照條件下降低門限值常數(shù)避免低對比度條件下有效像素點過少的情況。修改采樣窗口和門限值參數(shù)如式（4)所示,Vm為環(huán)境明度均值,表示向下取整數(shù)。該算法可保證常規(guī)光照條件下連通域的完整性,在非充分光照條件下也能使得連通域保持完整且避免和背景混淆。

2.3 自適應(yīng)局部閾值二值化形態(tài)學約束方案

自適應(yīng)局部閾值二值化獲得的二值圖像中存在大量的冗余輪廓,為保證算法效率并降低合作目標的誤判率,結(jié)合合作目標形態(tài)結(jié)構(gòu),本文算法制定如下三條約束規(guī)則:

1)為了保證合作目標角點提取具有較高的精度,需要控制目標輪廓的面積達到圖像總像素數(shù)目的一定比例閾值m1,從而篩選掉圖中的小點狀噪聲輪廓,并排除合作目標距離過遠時的失效判斷。本文中,比例閾值m1選取為0.02%。

2)根據(jù)所設(shè)計的合作目標可知,內(nèi)外輪廓面積比例有一定限制,正確的目標輪廓一定具有子輪廓且子輪廓與目標輪廓的面積之比不可低于比例閾值m2,從而篩選掉單層閉合輪廓以及錯誤的雙層嵌套輪廓組。此面積之比在正視情況下的理論最小值為R2,因此比例閾值m2需要設(shè)置略微小于該值。本文中,比例閾值m2選取為0.35。

3)為包容非充分光照條件下自適應(yīng)局部閾值二值化可能產(chǎn)生的次子輪廓,需要對三層嵌套輪廓組進行判別。由算法原理產(chǎn)生的次子輪廓面積通常偏小,因此可控制次子輪廓面積不超過目標輪廓面積的一定比例閾值m3,當比值達到本閾值時則認為次子輪廓的出現(xiàn)并非由算法原理產(chǎn)生,進而排除該組嵌套輪廓,如圖5所示。本文中,比例閾值m3選取為0.25。

圖5 包容非充分光照條件下的額外連通域Fig.5 Toleration of the extra connected regions under inadequate illuminated conditions

2.4 合作目標輪廓的精細化提取方案

經(jīng)過上述步驟后,將篩選出合作目標粗輪廓。由于粗輪廓邊緣存在大量毛刺,對于角點的提取精度會有較大影響,因此需要對合作目標輪廓進行精細化提取。本文算法中使用具有較好魯棒性和精度的Douglas-Peucker算法[9]進行直線擬合,該算法原理如圖6（a)所示:對于任意一條不規(guī)則曲線,連接該曲線的端點并遍歷曲線上所有點至該弦的距離,若距離全部小于算法預(yù)設(shè)閾值,則判定該弦為曲線的擬合線段,否則取距離該弦的曲線上最遠點將曲線段分割,重復(fù)前述步驟直至擬合完畢。若該閾值設(shè)置過大,會導(dǎo)致非合作目標輪廓被擬合成四邊形而產(chǎn)生誤計算;若該閾值設(shè)置過小,算法將無法處理常規(guī)的噪聲干擾。當采集圖像分辨率為640×480時,設(shè)置該閾值為10像素左右效果良好。算法的實測效果如圖6（b)所示。

圖6 輪廓精細化提取方法示意圖Fig.6 Schematic diagram of contour refinement extraction method

3 自適應(yīng)局部閾值二值化算法實驗驗證

本章節(jié)通過Jetson TX2開發(fā)板搭建視覺平臺進行合作目標召回率（指正確提取合作目標圖片數(shù)目與測試圖片總數(shù)目之比)測試,評估算法對目標提取的魯棒性與實時性。

3.1 單目視覺實驗平臺搭建

實驗用圖像采集設(shè)備為小覓雙目相機深度版（MYNT EYE-D)右側(cè)攝像頭,算法代碼運行于配置了OpenCV 3.3.1環(huán)境的Ubuntu 16.04系統(tǒng),運行設(shè)備為使用NVIDIA Pascal GPU架構(gòu)的Jetson TX2圖形處理器,如圖7所示。

圖7 Jetson TX2搭建的實驗平臺Fig.7 Experiment platform built by Jetson TX2

3.2 合作目標提取結(jié)果與性能分析

實驗以大津法二值化、常規(guī)局部閾值二值化算法作為對照參考,在非充分光照條件下測試本文算法的效果。以合作目標表面的部分圖像為對象建立圖像直方圖,如圖8所示。

圖8 正常光照、光照不足、光照不均直方圖說明Fig.8 Histogram descriptions of normal illumination,insufficient illumination and uneven illumination

本文實驗中,對于光照條件的定義如下:設(shè)光照不足明度范圍為α1～α2,在直方圖中確定像素數(shù)目最多和次多的雙峰灰度值坐標,以該坐標為中心建立寬度為β的區(qū)域并設(shè)該區(qū)域為固有雙峰區(qū)域（圖中標紅)。

1)正常光照:全體像素點灰度均值大于α2,除固有雙峰區(qū)域外不存在最大寬度同為β的連續(xù)區(qū)域像素點數(shù)目達到或超過像素總數(shù)的15%（對應(yīng)直方圖面積不超過總面積的15%)。

2)光照不足:全體像素點灰度均值處于α1～α2范圍,除此之外的條件與正常光照情況相同。

3)光照不均:全體像素點灰度均值大于α2,除固有雙峰區(qū)域外仍存在最大寬度為β的連續(xù)區(qū)域像素點數(shù)目達到或超過像素總數(shù)的15%（圖8（c)中標藍部分)。本文中,定義α1為30灰度刻度、α2為60灰度刻度、區(qū)域?qū)挾圈聻?0灰度。

以上述非充分光照條件為前提,采集兩類場景下的各65張獨立照片進行測試,測試用部分原始圖像如圖9所示。該實驗過程中,通過調(diào)節(jié)燈光強度、使用物體遮擋等方式模擬在實際使用場景中可能遭遇的光照變化狀況。

圖9 測試用部分原始圖像Fig.9 Schematic diagram of some original images used for testing

獲得的光照不足、光照不均條件下合作目標召回率統(tǒng)計數(shù)據(jù)如表1、表2所示。

表1 光照不足條件下的召回統(tǒng)計信息Table 1 Recall statistics under insufficient illumination

表2 光照不均條件下的召回統(tǒng)計信息Table 2 Recall statistics under uneven illumination

由表1、表2可知,本文算法在這兩類情況下均有高于90%的標記召回率,偏差與誤檢測率低,且單幀的解算耗時為10-4ms數(shù)量級,可以滿足在采集圖像的同時進行位姿估計。

圖10為本文算法與其他二值化算法的效果對比示例,此處僅給出了圖9中第一張圖片（左一)的處理效果。由圖10可知,使用大津法二值化、常規(guī)局部閾值二值化均無法檢測出目標（屬于無響應(yīng)檢測),而使用本文提出的結(jié)合形態(tài)學約束、Douglas-Peucker算法的自適應(yīng)局部閾值目標提取算法則能夠準確提取目標輪廓,實用性良好。

圖10 二值化效果對比示例Fig.10 Comparison examples of binarization effect

4 結(jié)論

本文結(jié)合單目合作目標位姿解算需求,設(shè)計了具有四個特征角點的雙層四邊形（文中以雙層黑白方形為例)合作目標,提出了具有形態(tài)學約束的自適應(yīng)局部閾值目標提取算法,有效解決了在非充分光照條件下單目視覺合作目標的提取困難問題,可以很好地應(yīng)用于需要使用合作目標的視覺定位場合。本文算法在光照不足、光照不均條件下的使用效果明顯優(yōu)于大津法二值化和常規(guī)局部閾值二值化,具有高達92.3%的標記召回率,單幀解算耗時不超過2×10-4ms,兼顧了魯棒性與實時性的使用需求,具有良好的工程應(yīng)用前景。