萬磊,曾文靜,張鐵棟,徐玉如(哈爾濱工程大學(xué) 水下機(jī)器人技術(shù)國防科技重點(diǎn)實(shí)驗(yàn)室,黑龍江 哈爾濱 150001)
對(duì)于海面運(yùn)動(dòng)載體如水面艇,在一定的范圍內(nèi)需要依靠數(shù)字?jǐn)z像頭來檢測(cè)前方目標(biāo).如何快速有效地完成靜態(tài)圖像中海上目標(biāo)的正確分割是目前一大難題[1].有些學(xué)者為了分割出目標(biāo),嘗試采用分形模型描述波浪[2],通過不斷地改變窗口大小實(shí)現(xiàn)目標(biāo)定位.吳琦穎等[3]提出了一種迭代的基于倒三角小模板的線性低通濾波方法,實(shí)現(xiàn)了粗分辨率圖像上的平滑和目標(biāo)檢測(cè).Smith等[4]通過利用小窗口的波浪直方圖作為匹配模板以區(qū)分波浪和非波浪.以上方法在實(shí)時(shí)性和準(zhǔn)確性方面并不占優(yōu)勢(shì).鑒于此,針對(duì)海岸背景下的海面圖像序列,提出了一種快速的近海目標(biāo)自動(dòng)檢測(cè)方法.
之所以先檢測(cè)海岸線,是因?yàn)樽鳛楹C婺繕?biāo)的終結(jié)界限,海岸線為目標(biāo)的定位提供了重要信息,同時(shí)也為搜索近海目標(biāo)縮小了范圍.檢測(cè)出海岸線,后續(xù)就可以僅處理海面部分,簡化了目標(biāo)檢測(cè)的難度.在海岸界限內(nèi)尋找海岸線使得計(jì)算量更小并且受到的干擾更小,所以這里首先分析海岸背景的圖像特點(diǎn),然后量化該特點(diǎn),粗略定位海岸界限區(qū)域,之后在該區(qū)域內(nèi)進(jìn)行相應(yīng)的輪廓提取及直線檢測(cè).
典型的海岸背景圖像如圖1所示,有以下幾個(gè)特點(diǎn):1)在載體航行過程中,可見光攝像機(jī)得到的圖像背景雖然時(shí)刻變化,但總體來講圖像由上中下三部分組成,即天空區(qū)域、海岸界限區(qū)域和海面區(qū)域.海岸界限區(qū)域包含有貫穿整個(gè)視野的信息量,該區(qū)域相對(duì)來講具備一定的復(fù)雜度.2)整個(gè)圖像中,海岸界限區(qū)域鄰接天空的鄰域與其鄰接海面的鄰域之平均灰度差最顯著.這是由于一般情況下海面圖像中,3個(gè)區(qū)域不可變更的位置順序所決定的,天空區(qū)域的灰度均值遠(yuǎn)大于海面區(qū)域的灰度均值.3)在海岸界限區(qū)域,假如岸上的建筑物輪廓中或海面上連成片的波紋中正好出現(xiàn)了連續(xù)直線,其長度足夠大,那么它有可能被誤檢為海岸線.但是除了這種較為極端的現(xiàn)象以外,自然界中的岸與海交接的線才是橫貫圖像連接最緊的最長直線,盡管有時(shí)這條直線可能會(huì)被船只分裂開來.
圖1 原始海岸背景圖像Fig.1 Original off-shore background images
量化海面圖像各個(gè)區(qū)域的視覺感受特征有助于判斷海岸界限存在于圖像中的位置.已知原始圖像大小為M×N像素,沿著列方向?qū)⒃搱D像F(x,y)平均分割為 T(T >3)幅子圖像 f1、f2、…、ft,每幅子圖像的尺寸皆為A×N(A=M/T)像素.規(guī)定每相鄰3幅子圖像(fi-1,fi,fi+1)(1<i<t)組成一個(gè)單元區(qū)域,每個(gè)單元區(qū)域的視覺感受特征量化指標(biāo)M(fi-1,fi,fi+1)由兩部分因素構(gòu)成,中間子圖像fi的復(fù)雜度和與之相鄰的上下子圖像fi-1,fi+1間的灰度差異.將量化指標(biāo) M(fi-1,fi,fi+1)表示為
式中:G(fi-1)與G(fi+1)分別為子圖像fi-1和子圖像fi+1的平均灰度;H(fi)為子圖像fi的熵,表示復(fù)雜度,其中,0≤ps≤1(s=0,1,…,255)=1.熵值越大對(duì)應(yīng)區(qū)域的灰度種類越多,變化越劇烈,包含的信息量越大[5].計(jì)算各個(gè)單元區(qū)域的指標(biāo)M(fi-1,fi,fi+1),當(dāng)中間子圖像的熵值越大,且相鄰上下子圖像間的灰度均值之差越大時(shí),這個(gè)單元區(qū)域?qū)儆诤0毒€區(qū)域的可能性就越大.
Canny算子是一種常用且較為出色的邊緣檢測(cè)算子[6-7].針對(duì)其自身的局限性,采用周圍紋理抑制方法(surround suppression)對(duì)其改進(jìn)[8],使得邊緣信息中在包含海岸線信息同時(shí)有較少的冗余的紋理信息,實(shí)現(xiàn)在所定位的海岸界限區(qū)域內(nèi)對(duì)海岸輪廓的提取.
1.3.1 原始梯度計(jì)算
由于海岸線是沿著行方向連續(xù)的直線,所以只計(jì)算y方向的梯度,以減少非y方向的梯度影響,則原始梯度計(jì)算公式為
式中:Mag表示圖像梯度,Mag(y)表示圖像在y方向的梯度.
1.3.2 各向同性紋理抑制
紋理抑制概念是由Grigorescu等[8]提出的,主要用來消除Canny邊緣算子所帶來的輪廓內(nèi)部紋理產(chǎn)生的無意義邊緣.其原理是當(dāng)一個(gè)邊緣像素的梯度與它周圍的梯度強(qiáng)度相似時(shí),就對(duì)其予以抑制,這樣可以在一定程度上減弱內(nèi)部紋理,使得邊緣能量集中在輪廓上.定義權(quán)重函數(shù)wσ為
圖2為σ=1時(shí),wσ的變化趨勢(shì)[9].圖3為圖2對(duì)應(yīng)的具備抑制作用的環(huán)形區(qū)域.半徑為r1的圓內(nèi),DoGs(x,y)<0,權(quán)重 wσ為0,即在這個(gè)鄰域內(nèi),支持原始梯度大小.半徑為r2的圓外,DoGσ(x,y)微乎其微,工程上不考慮它的貢獻(xiàn),所以僅圓環(huán)區(qū)域?yàn)橐种茀^(qū).一般地,r1≈2σ,r2=4r1.這種紋理邊緣抑制方法符合人眼視覺感受.
圖2 權(quán)重函數(shù)Fig.2 weighted function
圖3 抑制作用的環(huán)形區(qū)域Fig.3 Suppression ring region
1.3.3 改進(jìn)梯度計(jì)算
將梯度與權(quán)重函數(shù)進(jìn)行卷積,得到每個(gè)像素點(diǎn)的周圍加權(quán)抑制因素,從原梯度中減去抑制部分,則可以得到人眼希望保留的部分Mag(ss),突出感興趣的邊緣,大多表現(xiàn)為輪廓形式,計(jì)算公式[10]為
采納這一算法,是認(rèn)為在圖像的所有輪廓中提取海岸線要比在圖像的所有梯度邊緣中提取海岸線更簡單快捷.之后,繼續(xù)原始Canny算法步驟中的非極大值抑制以及雙閾值化以得到二值圖像.
通過分析海岸線存在于圖像中的特點(diǎn),得知該直線應(yīng)該是視野中連續(xù)性最好的最長直線.而其余的非海岸線長直線,則是由輪廓上的點(diǎn)與其他隨機(jī)的點(diǎn)的集合,這些點(diǎn)組成的直線長度有可能比海界線的長度更長.這里提出對(duì)參數(shù)空間的每個(gè)投票做加權(quán)的方法來求直線的有效長度,選擇有效長度最長的直線作為海岸線.
首先對(duì)邊緣圖像做標(biāo)準(zhǔn)哈夫/Hough變換[11].對(duì)每一個(gè)像素點(diǎn)(x,y),計(jì)算經(jīng)過該點(diǎn)的所有直線對(duì)應(yīng)的參數(shù)(ρ,θ),對(duì)參數(shù)空間進(jìn)行圖像空間像素點(diǎn)個(gè)數(shù)的投票累積.實(shí)際上,累積的投票就是在圖像中支持該參數(shù)對(duì)應(yīng)直線的邊緣點(diǎn)的數(shù)量,這里稱之為表象長度S.設(shè)對(duì)應(yīng)直線在圖像中表現(xiàn)為n條分線段構(gòu)成,每條分線段的像素?cái)?shù)為Li,(1<i<n),那么有
選取參數(shù)空間中表象長度大于某個(gè)閾值的直線作為候選直線,將閾值設(shè)置為L,以減少部分干擾源.若候選直線的條數(shù)t為1,那么這條直線即為所求的海岸線;若t大于1,則在候選直線中提取出最可能成為海界線的直線,對(duì)所有S>L的候選直線進(jìn)行投票加權(quán),求其有效長度E.對(duì)于n條分線段,每條分線段上的像素賦予相同的權(quán)值wi,定義為該線段的長度Li占候選直線橫貫圖像的長度Lt的比例,即
很明顯,分線段占標(biāo)準(zhǔn)長度的比例越大,該線段對(duì)直線的投票權(quán)值越大,對(duì)有效長度的貢獻(xiàn)也就越大.而且表象長度S最大并不代表有效長度E最大.選擇有效長度最大的那條直線作為海界線,有效長度的表示方法符合人眼觀測(cè)海界線的連續(xù)性特征.
檢測(cè)出海岸線后,需對(duì)海岸線以下的區(qū)域進(jìn)行分割處理.由于海面雜波的灰度變化起伏較大,而且近距離的艦船自身的顏色特征也較為突出,所以單純的閾值分割方法顯然很難將海面雜波與艦船目標(biāo)區(qū)分開[12],因此從強(qiáng)烈的海面雜波干擾中提取艦船目標(biāo)仍然是非常困難的一件事情.考慮到在平靜海面條件下,聚類方法能夠?qū)⑶熬芭c海面有效分離,因此在這種理念下,將重點(diǎn)放在濾波處理上,提出一種非傳統(tǒng)的濾波方法來平滑海面部分.該處理方法的優(yōu)勢(shì)在于:1)濾波之后能夠減少聚類方法的計(jì)算量;2)濾波使得海面平滑,降低由偽目標(biāo)引起的虛警率.從海面序列圖像看出,雖然海面上波浪高低起伏,但它同樣具有紋理比較細(xì)膩,顏色分布比較均勻等特點(diǎn).對(duì)于海面來講,它自身區(qū)域性很強(qiáng),雖然也會(huì)出現(xiàn)不同于海面灰度的某個(gè)局部小區(qū)域,但整體上灰度基本具有區(qū)域一致性,使得人眼一看便可識(shí)別出非海面的目標(biāo)區(qū)域,所以從像素點(diǎn)出發(fā)來進(jìn)行濾波,不如從像素塊出發(fā)進(jìn)行濾波處理,用每個(gè)像素塊的主頻灰度來代替原像素值.對(duì)于像素塊主頻灰度,這里定義為像素塊中出現(xiàn)最多的灰度段的平均值,實(shí)現(xiàn)過程的偽代碼如下:
m×n為像素塊大小,δ為灰度距離度量準(zhǔn)則,這3個(gè)參數(shù)需要事先確定.t,t1為像素的索引,tmax為灰度最大值,gmin為灰度最小值,label為灰度的類別,categ[j]為像素 j對(duì)應(yīng)的類別,labels[i]為類別 i對(duì)應(yīng)的像素個(gè)數(shù).
開始:
置t的初值為0;置label的初值為-1;置categ[j]的初值為-1;置labels[i]的初值為0;
For像素塊內(nèi)的每個(gè)像素P[t],
{If categ[t]為-1,
{label++ ,labels[label]++ ,
label?categ[t]?gmax,
P[t]?gmin;
For沒有類別標(biāo)記的其余像素P[t1],
{If P[t1]≤gmax+δ而且 P[t1]≥gmin-δ,
{categ[t1]=label,
labels[label]+1?labels[label],更新
label類里的gmax和gmin}
}
求取當(dāng)前所有類別中占比例最大的類L;
If 2×labels[L]>m×n- ∑i=labellabels[i],
{類L即為主頻灰度段,段內(nèi)灰度平均值即為主
頻灰度,Break}
}
}
結(jié)束.
在海岸線以下,經(jīng)過上述濾波處理過后,海面背景達(dá)到了灰度一致性與區(qū)域一致性,從而在空間特征上與色彩特征上均具備聚類的優(yōu)勢(shì).所以文中目標(biāo)檢測(cè)將聚類方法作為實(shí)現(xiàn)目標(biāo)與海面背景分離的核心步驟.聚類之前先將圖像的灰度空間轉(zhuǎn)換到LUV空間.經(jīng)過濾波處理后,針對(duì)背景中相近的像素點(diǎn),以像素點(diǎn)為單位,按照相似準(zhǔn)則對(duì)其進(jìn)行粗分割,然后以初步聚類得到的點(diǎn)集為單位,之后根據(jù)LUV色彩空間的Euclidean距離對(duì)其進(jìn)行細(xì)分割[13],最后通過限制最小區(qū)域面積去除瑣碎的小區(qū)域.步驟如下:
1)對(duì)海岸線以下的像素點(diǎn)xi,按照8鄰域區(qū)域生長方式進(jìn)行掃描,合并滿足相似準(zhǔn)則的點(diǎn),標(biāo)記其所屬類zj.
2)比較類與類之間的相近程度,依據(jù)色彩空間的距離閾值 Eδ,將鄰近的區(qū)域融合成同一類,并更新類別.
3)每一類代表一個(gè)區(qū)域,判斷所有區(qū)域的大小,若區(qū)域面積少于M,將該區(qū)域歸入與其特征最接近的區(qū)域.
之所以進(jìn)行粗分割和細(xì)分割,是因?yàn)榇址指羁梢院芸斓貙⑾嗨频南袼攸c(diǎn)歸類,但是由于區(qū)域生長的結(jié)果使得歸類的點(diǎn)集比較分散,為了讓所有的點(diǎn)集具有區(qū)域一致性,再次使用細(xì)分割對(duì)分散的點(diǎn)集進(jìn)行聚類,這樣能達(dá)到快速精確的分割效果.按照先驗(yàn)知識(shí),面積最大的類為海面背景,所以由此來二值化圖像,將最大的區(qū)域灰度設(shè)置為黑,其余區(qū)域設(shè)置為白,即完成了目標(biāo)分割,然后按照目標(biāo)由遠(yuǎn)及近而由小到大的特征,設(shè)置與海岸線距離相應(yīng)的區(qū)域大小限制,來排除偽目標(biāo).
為了驗(yàn)證文中提出方法的有效性,對(duì)某型艇于海面采集的可見光視頻進(jìn)行圖像處理,原始圖像大小為352×288,3組序列圖像共318幀,本文算法準(zhǔn)確地檢測(cè)出目標(biāo)的概率大于90%,偽目標(biāo)出現(xiàn)的概率小于5%.由于篇幅的限制,只對(duì)圖1中的海岸圖像進(jìn)行結(jié)果展示.實(shí)驗(yàn)平臺(tái)為PentiumIV處理器,1G內(nèi)存,軟件平臺(tái)為WindowsXP操作系統(tǒng),Visual C++6.0 編輯器.
由于圖像最下面的單元區(qū)域容易受到水面艇自身首部及其運(yùn)動(dòng)產(chǎn)生強(qiáng)波浪的影響,所以將其排除不參與計(jì)算.為了減弱海岸子圖像的影響,取最大指標(biāo)M所對(duì)應(yīng)的單元區(qū)域和其下相鄰子圖像一起組成海岸線區(qū)域.檢測(cè)海岸線時(shí)所選取的參數(shù)分別為:T=12,σ =1,Thigh=0.05 Tlow=0.01,L=width/5.對(duì)海岸線以下進(jìn)行主頻灰度濾波,參數(shù)為:δ=15,濾波模板為3 ×3.聚類的參數(shù)為:Eδ=0.25,M=10.岸線檢測(cè)結(jié)果、濾波結(jié)果與聚類結(jié)果分別如圖4~6所示.
圖4表明對(duì)于4幅圖像,本文方法均能準(zhǔn)確地定位海岸線.由圖5可以看出,相比3×3中值濾波結(jié)果,文中所提出的濾波方法取得了更加理想的效果,海面波浪基本成為等灰度的整體區(qū)域.圖6(a)為圖像沒有經(jīng)過濾波的聚類結(jié)果,可見對(duì)于有浪的海面狀況,很難成功地分離出目標(biāo).中值濾波后的聚類結(jié)果中也存在很多偽目標(biāo).而主頻灰度濾波后的聚類結(jié)果不僅能夠精確檢測(cè)到目標(biāo)的位置,而且受到偽目標(biāo)的干擾極小,即使存在,也不是區(qū)域性的,可以利用后處理輕易排除.為了明顯展示圖像分別經(jīng)過2種濾波方法后的聚類結(jié)果,圖6均未經(jīng)過后處理來剔除偽目標(biāo).
從計(jì)算量來看,中值濾波與主頻灰度濾波的計(jì)算量是一致的,然而沒有經(jīng)過濾波與中值濾波和主頻灰度濾波的結(jié)果對(duì)于聚類的計(jì)算量影響極大,灰度越平滑,聚類的計(jì)算量越小,反之越大.從處理時(shí)間上來看,沒有經(jīng)過濾波的聚類過程平均耗時(shí)1 000 ms左右,經(jīng)由3×3中值濾波的聚類過程平均耗時(shí)600 ms左右,而經(jīng)由主頻灰度濾波的聚類過程平均耗時(shí)200 ms左右,時(shí)間優(yōu)勢(shì)顯而易見,為后續(xù)的識(shí)別等任務(wù)奠定了可靠的基礎(chǔ).
圖4 海岸線檢測(cè)結(jié)果Fig.4 Offshore line detection result
圖5 濾波結(jié)果比較Fig.5 Comparison of filtering results
圖6 濾波處理后的聚類結(jié)果比較Fig.6 Comparison of clustering results
針對(duì)海面運(yùn)動(dòng)載體可見光序列圖像,緊密結(jié)合海岸背景圖像的特點(diǎn),提出了一種以檢測(cè)海岸線為前提的近海目標(biāo)自動(dòng)檢測(cè)方法.該方法首先利用海面圖像的分塊復(fù)雜度和相鄰塊間灰度的差異來定位海岸線區(qū)域,再提取海岸線區(qū)域的主要輪廓,之后對(duì)哈夫/Hough變換進(jìn)行投票加權(quán)處理,得出海岸線的精確位置.實(shí)驗(yàn)證明該方法既能夠檢測(cè)傾斜海岸線也可以檢測(cè)水平海岸線.然后對(duì)海岸線以下的海面部分,作主頻灰度濾波處理,以消除雜波效應(yīng),接著憑借海面背景的聚類優(yōu)勢(shì),對(duì)濾波的部分進(jìn)行聚類,將最大面積的區(qū)域與其他區(qū)域分離開來二值化圖像,最后依照目標(biāo)物由遠(yuǎn)及近的大小變化制定最小區(qū)域面積以剔除偽目標(biāo),即完成了目標(biāo)檢測(cè),整個(gè)過程在0.2 s以內(nèi),能夠準(zhǔn)確快速的給出目標(biāo)的形狀結(jié)果,為海面目標(biāo)識(shí)別提供了可靠的參考作用.然而對(duì)于運(yùn)動(dòng)的海面載體來說,其攝像頭獲取的圖像不僅有海岸背景,也有海天背景,如何在2種背景下均適用是下一步值得研究的問題.
[1]齊永鋒,火元蓮,張家樹.基于簡化的PCNN與類內(nèi)最小離散度的圖像自動(dòng)分割方法[J].光電子·激光,2008,19(9):1259-1264.QIYongfeng,HUO Yuanlian,ZHANG Jiashu.An automatic image segmentation method based on simplified PCNN and minimumscatter within clusters[J].Journal of Optoelectronics·Laser,2008,19(9):1259-1264.
[2]趙亦工,朱紅.自然背景中人造目標(biāo)的自適應(yīng)檢測(cè)[J].電子學(xué)報(bào),1996,24(4):17-20.ZHAO Yigong,ZHU Hong.Adaptive detection of artificial objects in natural background[J].Acta Electronica Sinica,1996,24(4):17-20.
[3]吳琦穎,李翠華.用于海上感興趣區(qū)域?qū)崟r(shí)分割的近似算法[J].廈門大學(xué)學(xué)報(bào):自然科學(xué)版,2007,46(1):33-37.WU Qiying,LI Cuihua.The approximation algorithms applied tomaritime region of interest segmentation[J].Journal of Xiamen University,2007,46(1):33-37.
[4]SMITH A,TEALmK.Identification and tracking ofmaritime objects in near-infrared image sequences for collision avoidance[C]//7th International Conference on Image Processing and Its Applications.Manchester,UK,1999:250-254.
[5]祝世平,夏曦,張慶榮.一種基于逐點(diǎn)閩值分割的圖像邊緣檢測(cè)方法[J].光電子·激光,2008,19(10):1383-1387.ZHU Shiping,XIA Xi,ZHANG Qingrong.An edge detection algorithmin image processing based on point-by-point threshold segmentation[J].Journal of Optoelectronics·Laser,2008,19(10):1383-1387.
[6]劉媛媛,劉文波,甄子洋.灰色關(guān)聯(lián)度和模糊熵相結(jié)合的圖像分割算法[J].光電子·激光,2008,19(9):1250-1253.LIU Yuanyuan,LIUWenbo,ZHEN Ziyang.Image segmentationmethod based on fuzzy entropy and grey relational analysis[J].Journal of Optoelectronics·Laser,2008,19(9):1250-1253.
[7]白婷婷,鄧彩霞,耿英.基于小波變換與Canny算子融合的圖像邊緣檢測(cè)方法[J].哈爾濱理工大學(xué)學(xué)報(bào),2010,15(1):44-47.BAITingting,DENGCaixia,GENGYing.Image edge detection based on wavelet transformand Canny operator[J].Journal of Harbin University of Science and Technology,2010,15(1):44-47.
[8]GRIGORESCU C,PETKOV N,MICHEL A.Westenberg contour and boundary detection improved by surround suppression of texture edges[J].Image and Vision Computing,2004,22(8):609-622.
[9]GUO Siyu,PRIDMORE T,KONG Yaguang,et al.An improved Hough transformvoting scheme utilizing surround suppression[J].Pattern Recognition Letters,2009,30:1241-1252.
[10]HIDAYAT R.Texture-boundary detection in real-time[D].Christchurch:University of Canterbury,2010:75-76.
[11]郭斯羽,孔亞廣,張煦芳.基于局部連通性和PCA的直線檢測(cè)Hough算法[J].電子測(cè)量與儀器學(xué)報(bào),2008,22(6):70-74.GUO Siyu,KONG Yaguang,ZHANG Xufang.Hough transformfor straight line detection based on local connectivity[J].Journal of Electronic Measurement and Instrument,2008,22(6):70-74.
[12]董宇星,劉偉寧.基于灰度特性的海天背景小目標(biāo)檢測(cè)[J].中國光學(xué)與應(yīng)用光學(xué),2010,3(3):253-256.DONG Yuxing,LIUWeining.Detection of sea sky line in complicated background based on grey characteristic[J].Chinese Journal of Optics and Applied Optics,2010,3(3):253-256.
[13]XU Tao,IKER G.An objective evaluation of the mean shift-based image segmentation algorithm[C]//Proceedings of IPCV.Las Vegas,USA,2008:205-211.