代少升,李東陽(yáng),聶合文,姚 俐
基于自適應(yīng)分?jǐn)?shù)階微分的紅外目標(biāo)增強(qiáng)算法
代少升,李東陽(yáng),聶合文,姚 俐
(重慶郵電大學(xué) 通信與信息工程學(xué)院,重慶 400065)
針對(duì)紅外圖像存在灰度范圍窄、圖像細(xì)節(jié)不清晰、目標(biāo)邊緣模糊的問(wèn)題,提出了一種基于自適應(yīng)分?jǐn)?shù)階微分的紅外目標(biāo)增強(qiáng)方法。該方法首先利用圖像的梯度、信息熵進(jìn)行有效融合,并且自適應(yīng)調(diào)整分?jǐn)?shù)階微分以增強(qiáng)圖像中的目標(biāo)邊緣;然后采用圖像像素灰度的標(biāo)準(zhǔn)差和均值進(jìn)行融合去確定目標(biāo)的分割閾值,以區(qū)分出圖像中的背景和目標(biāo)部分;通過(guò)對(duì)圖像中的目標(biāo)區(qū)域進(jìn)行線性增強(qiáng),以進(jìn)一步突顯目標(biāo)。經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證:本文提出的方法能夠有效地區(qū)分紅外圖像中的目標(biāo)和背景,局部目標(biāo)背景比(Target-to-Background Ratio,TBR)平均提高了0.5,視覺(jué)效果比較理想。
紅外圖像;目標(biāo)增強(qiáng);自適應(yīng)分?jǐn)?shù)階微分;線性變換;局部目標(biāo)背景比
近些年來(lái),隨著紅外技術(shù)不斷發(fā)展,紅外熱成像在軍事和民用上得到廣泛應(yīng)用[1]。由于紅外圖像多呈現(xiàn)昏暗、模糊,信噪比一般較低[2],并且紅外目標(biāo)經(jīng)常被淹沒(méi)在背景之中,所以紅外目標(biāo)的增強(qiáng)作為紅外目標(biāo)檢測(cè)的前期工作尤為重要,影響后續(xù)的紅外目標(biāo)的檢測(cè)以及跟蹤[3]。紅外目標(biāo)增強(qiáng)主要有點(diǎn)增強(qiáng)、空域增強(qiáng)、頻域增強(qiáng)3種類(lèi)型。最早采用的點(diǎn)增強(qiáng)法主要利用了圖像的灰度變換和幾何變換,通過(guò)對(duì)比度增強(qiáng)和對(duì)比度拉伸等方法達(dá)到增強(qiáng)圖像目標(biāo)的目的。比如Zhang等人[4]提出了一種對(duì)比度受限自適應(yīng)直方圖均衡(Contrast Limited Adaptive Histogram Equalization,CLAHE)算法,對(duì)局部直方圖的高度進(jìn)行限制,以限制局部對(duì)比度的增強(qiáng)幅度;雖然增強(qiáng)了圖像目標(biāo)的對(duì)比度和限制了背景噪聲的增加;但是也造成了目標(biāo)增強(qiáng)程度的下降。另一方面,紅外目標(biāo)空域增強(qiáng)利用了圖像的空間信息;通過(guò)目標(biāo)的位置、形狀、大小等特征區(qū)分目標(biāo)和背景,從而有效地增強(qiáng)圖像目標(biāo)。在這方面,Luan等人[5]提出了一種多分辨多尺度的紅外圖像增強(qiáng)算法,利用目標(biāo)的邊緣輪廓特征進(jìn)行模糊融合聚類(lèi)和多分辨小波分解;雖然提高了圖像信噪比并使得目標(biāo)更為突出,但是目標(biāo)細(xì)節(jié)信息的增強(qiáng)效果不好。除了點(diǎn)增強(qiáng)和空域增強(qiáng),人們也從頻域的角度研究了圖像目標(biāo)的增強(qiáng)。Qi等人[6]提出一種基于四元傅里葉相位譜(Phase Spectrum ofQuaternion Fourier Transform,PQFT)的紅外目標(biāo)增強(qiáng)方法,利用四元傅里葉變換的相位譜和導(dǎo)數(shù)濾波器區(qū)分目標(biāo)和背景;雖然增強(qiáng)了紅外目標(biāo),但是只適應(yīng)于小目標(biāo)。
本文提出了一種基于自適應(yīng)分?jǐn)?shù)階微分的紅外目標(biāo)增強(qiáng)方法。為了解決紅外目標(biāo)整體對(duì)比度不高和邊緣不清晰的問(wèn)題,首先對(duì)紅外圖像進(jìn)行自適應(yīng)分?jǐn)?shù)階微分濾波處理,然后對(duì)紅外圖像進(jìn)行局部目標(biāo)線性增強(qiáng),最后將兩種目標(biāo)增強(qiáng)效果融合。該算法不僅增強(qiáng)了目標(biāo)的邊緣細(xì)節(jié),而且增加了目標(biāo)的對(duì)比度和避免了背景噪聲的增加,具有很好的紅外目標(biāo)增強(qiáng)視覺(jué)效果。
為了更好地獲得紅外目標(biāo)局部特征信息,利用圖像的梯度和局部信息熵聯(lián)合得到目標(biāo)特征,從而獲得整幅圖像的動(dòng)態(tài)參數(shù)。如圖1,圖像統(tǒng)一采用3×3的模板進(jìn)行矩形局部區(qū)域特征計(jì)算。目標(biāo)區(qū)域梯度采用圖像的水平梯度、垂直梯度、主對(duì)角線梯度和副對(duì)角線梯度聯(lián)合獲得,所以目標(biāo)包含8個(gè)方向的梯度特征。圖像的梯度()計(jì)算如下:
式中:h()是圖像第點(diǎn)像素的水平梯度;v()是圖像第點(diǎn)像素的垂直梯度;p()是圖像第點(diǎn)像素的主對(duì)角線梯度;c()是圖像第點(diǎn)像素的副對(duì)角線梯度。圖像的局部熵()計(jì)算如下:
式中:1≤≤256,是像素值;是模板大??;Hist是以第點(diǎn)像素為中心的模板圖像經(jīng)過(guò)局部直方圖統(tǒng)計(jì)所得的大小像素值的個(gè)數(shù)。圖像的自適應(yīng)特征參數(shù)值大小對(duì)應(yīng)于圖像每個(gè)像素點(diǎn)的增強(qiáng)程度,主要用0~1范圍的數(shù)值表示,值越大,增強(qiáng)程度越強(qiáng)。為了使特征參數(shù)值映射到0~1之內(nèi),對(duì)以上兩個(gè)特征參數(shù)分別進(jìn)行歸一化處理:
式中:()是圖像第個(gè)像素點(diǎn)的一個(gè)特征參數(shù);Max(())是特征參數(shù)()的最大值;Min(())是特征參數(shù)()的最小值。最后進(jìn)行兩個(gè)特征參數(shù)的融合。由于兩個(gè)特征所占權(quán)重大小差別不大,所以采用求和平均法融合,計(jì)算公式如下:
分?jǐn)?shù)階微分是數(shù)學(xué)一個(gè)重要分支,是由整數(shù)階微積分演化而來(lái)。為了準(zhǔn)確地使用分?jǐn)?shù)階微分對(duì)圖像處理的計(jì)算,采用Grumwald-Letnikov[7]定義的分?jǐn)?shù)階微分以増強(qiáng)圖像細(xì)節(jié)。分?jǐn)?shù)階微分優(yōu)于整數(shù)階微分,更加有利于突出目標(biāo)邊界細(xì)節(jié)。分?jǐn)?shù)階微分使用由G-L推廣得到的階分?jǐn)?shù)階微分一元函數(shù)表達(dá)式:
進(jìn)行分?jǐn)?shù)階微分主要目的是增強(qiáng)圖像高頻部分,保留圖像的中低頻部分。圖像的高頻部分具體指圖像的紋理和邊緣部分,其中也包括目標(biāo)的邊緣部分;中低頻主要對(duì)應(yīng)于圖像背景平滑區(qū)域。當(dāng)階數(shù)增大,圖像的高頻部分被增強(qiáng);然而當(dāng)過(guò)大,則過(guò)量増強(qiáng)目標(biāo)部分和過(guò)少保留中低頻部分,所以利用圖像特征參數(shù)自適應(yīng)調(diào)節(jié)微分階數(shù)的大小,并且的取值范圍在0~1范圍之間。圖像每個(gè)像素的分?jǐn)?shù)階微分増強(qiáng)階數(shù)()賦值如下:
()=SIG() (7)
式中:SIG()是圖像每個(gè)像素點(diǎn)的局部融合特征值。最后對(duì)整個(gè)圖像所有像素點(diǎn)進(jìn)行自適應(yīng)地模版卷積濾波處理,圖像目標(biāo)區(qū)域?qū)?yīng)的像素點(diǎn)的SIG()較大,對(duì)應(yīng)的()也就較大,增強(qiáng)效果較明顯;并且圖像背景區(qū)域?qū)?yīng)的像素點(diǎn)的SIG()較小,()也就較小,較好地保留背景信息。紅外圖像經(jīng)過(guò)自適應(yīng)分?jǐn)?shù)階微分增強(qiáng)后的效果如圖4。在圖4(b)中,目標(biāo)邊緣清晰和很好地被增強(qiáng)。
線性拉伸可以增強(qiáng)圖像的對(duì)比度,但是如果對(duì)整幅圖像拉伸會(huì)導(dǎo)致目標(biāo)與背景同時(shí)增強(qiáng),目標(biāo)增強(qiáng)效果不好;因此采用局部目標(biāo)線性拉伸處理紅外圖像。局部目標(biāo)線性拉伸首先采用圖1中的局部模板對(duì)紅外圖像進(jìn)行目標(biāo)提取,然后對(duì)所提取的目標(biāo)區(qū)域再進(jìn)行線性變換處理。本文采用閥值判斷法區(qū)別目標(biāo)和背景區(qū)域。根據(jù)圖像的局部均值和局部標(biāo)準(zhǔn)差融合得到目標(biāo)特征值CTR(),圖像的局部均值()和局部標(biāo)準(zhǔn)差()計(jì)算如下:
CTR()=1()+2() (10)
圖2 圖像像素點(diǎn)的8個(gè)方向
圖3 5×5分?jǐn)?shù)階微分模板
圖4 自適應(yīng)分?jǐn)?shù)階微分增強(qiáng)
式中:1和2是融合系數(shù)。由于目標(biāo)的局部均值的權(quán)重大于局部標(biāo)準(zhǔn)差,所以目標(biāo)大小分別選取為0.7和0.3。當(dāng)CTR()高于一定閥值Th時(shí),如果圖像第點(diǎn)像素屬于目標(biāo)區(qū)域,進(jìn)行線性變換處理,反之不進(jìn)行處理。圖像的分割閥值Th是由目標(biāo)特征值CTR()采用迭代法求得最佳數(shù)值,適應(yīng)于各種不同模糊程度的圖像。閥值Th主要計(jì)算方法是: 首先取出紅外圖像目標(biāo)特征值CTR()的最大值和最小值,進(jìn)行求均值得到初步閥值Tn;然后將紅外圖像中目標(biāo)特征值CTR()大于閥值Tn的區(qū)域分割為一部分,小于閥值Tn的區(qū)域分割為另一部分;分別求出兩部分的圖像區(qū)域像素的目標(biāo)特征值CTR()的均值,再進(jìn)行平均得到閥值Th;如果Th和Tn的差值大于0.005,將Th賦值給Tn繼續(xù)重復(fù)以上步驟,迭代優(yōu)化直到取得目標(biāo)和背景的分割閥值Th的最佳值。最后對(duì)圖像閥值分割后的目標(biāo)區(qū)域進(jìn)行局部線性變換處理,主要過(guò)程是首先對(duì)閥值分割后的圖像目標(biāo)區(qū)域計(jì)算局部模板最大值max()和局部模板最小值min(),計(jì)算如下:
max()=max(m()) (11)
min()=min(m()) (12)
式中:m()是以圖像目標(biāo)區(qū)域中第個(gè)像素點(diǎn)中心的模板區(qū)域。然后進(jìn)行像素線性區(qū)間變換,目標(biāo)區(qū)域的像素值區(qū)間拉伸到局部模板最小值到1之間,計(jì)算如下:
式中:S()是圖像目標(biāo)區(qū)域中第個(gè)像素點(diǎn)經(jīng)過(guò)拉伸后的像素值;()是圖像目標(biāo)區(qū)域中第個(gè)像素點(diǎn)的像素值。目標(biāo)區(qū)域得到合適增強(qiáng),背景區(qū)域很好地被保留,所以只有目標(biāo)區(qū)域被拉伸和呈現(xiàn)高亮。局部目標(biāo)線性增強(qiáng)效果如圖5。
紅外圖像在經(jīng)過(guò)分?jǐn)?shù)階微分增強(qiáng)目標(biāo)后,雖然目標(biāo)邊緣清晰,但是目標(biāo)內(nèi)部對(duì)比度過(guò)低;然而經(jīng)過(guò)局部目標(biāo)線性增強(qiáng)后,雖然目標(biāo)內(nèi)部得到拉伸,但是目標(biāo)邊緣不清晰。所以將兩種方法處理后的結(jié)果進(jìn)行疊加融合,為了更好地突出目標(biāo)內(nèi)部像素,局部目標(biāo)線性增強(qiáng)后的結(jié)果占較大比重。對(duì)紅外圖像進(jìn)行算法處理后的對(duì)比圖以及像素分布圖如圖6。在圖6(b)中,目標(biāo)物體被明顯增強(qiáng),亮度明顯提升。分?jǐn)?shù)階微分增強(qiáng)使邊緣明顯更加清晰,局部線性目標(biāo)拉伸使目標(biāo)明亮較完整。通過(guò)對(duì)比圖6(c)和(d),更能觀察到目標(biāo)整體的像素值得到提高,而目標(biāo)周?chē)尘皫缀鯖](méi)有被增強(qiáng),避免了大部分的背景干擾。
圖5 局部目標(biāo)線性增強(qiáng)
為了分析本文算法的性能且突出在紅外目標(biāo)增強(qiáng)的效果,首先將自適應(yīng)直方圖均衡化[8](Adaptive Histogram Equalization,AHE)、CLAHE、小波變換[9](Wavelet Transform,WT)和PQFT 4種不同的目標(biāo)增強(qiáng)算法和本文算法處理相同的紅外圖像進(jìn)行對(duì)比;然后通過(guò)局部TBR指標(biāo)評(píng)價(jià)各種目標(biāo)增強(qiáng)方法的優(yōu)劣。本文采用以森林和大地為背景的紅外圖像數(shù)據(jù)集。圖像的尺寸大小為240×320。圖像包含兩種目標(biāo),分別是4個(gè)人體目標(biāo)和少量汽車(chē)目標(biāo),如圖7(a)。本文所有算法仿真實(shí)驗(yàn)都使用同一臺(tái)個(gè)人筆記本電腦,電腦硬件性能為Intel i3-3110M 2.3GHz CPU核心、12G運(yùn)行內(nèi)存,使用的系統(tǒng)為windows7 64位,仿真軟件為Matlab。
在圖7中,圖7(a)是原始圖像。圖像昏暗,目標(biāo)模糊且邊界不清晰,特別右側(cè)人體目標(biāo)和背景相近。如圖7(b),原圖經(jīng)過(guò)AHE算法處理后,人和車(chē)兩種目標(biāo)都得到增強(qiáng),但是背景同樣也得到增強(qiáng);圖像整體亮度提高,但是模糊不清晰。如圖7(c),CLAHE算法相比于AHE算法,背景區(qū)域噪聲沒(méi)有被增強(qiáng);雖然目標(biāo)區(qū)域得到增強(qiáng),但是目標(biāo)增強(qiáng)程度過(guò)小。如圖7(d),WT算法處理后的圖像目標(biāo)明顯被增強(qiáng),人和車(chē)的一部分明亮突出,但是圖像背景過(guò)度增強(qiáng)導(dǎo)致亮度過(guò)高且明顯失真。圖7(e)是PQFT算法,雖然圖像背景噪聲得到很好地抑制并且背景保留完整和不失真;但是目標(biāo)的邊緣和整體增強(qiáng)效果不好。圖7(f)是本文算法處理后的結(jié)果,相比于以上4種算法,圖像目標(biāo)不僅明亮,而且目標(biāo)邊緣清晰,人體輪廓和肢體部分明顯區(qū)分,車(chē)的部分細(xì)節(jié)十分清晰,很好地保留目標(biāo)的特征;圖像背景也十分清晰,噪聲抑制效果良好,并且得到很好地保留,沒(méi)有出現(xiàn)失真。由以上分析得出:本文算法在一定程度上優(yōu)于以上4種目標(biāo)增強(qiáng)算法。
為了全面地從數(shù)值上分析本文算法性能的優(yōu)劣性能,使用局部TBR對(duì)比分析本文算法和其它4種算法。局部TBR是目標(biāo)區(qū)域和目標(biāo)周?chē)木植勘尘皡^(qū)域的像素均值之比,從目標(biāo)和目標(biāo)周?chē)尘暗膶?duì)比程度反映紅外圖像目標(biāo)增強(qiáng)的程度,局部TBR計(jì)算公式如下:
式中:T是圖像目標(biāo)區(qū)域像素點(diǎn)灰度的均值;B是圖像目標(biāo)周?chē)尘皡^(qū)域像素點(diǎn)灰度的均值。局部TBR的值越高,說(shuō)明該算法對(duì)紅外圖像目標(biāo)增強(qiáng)的程度越大。本文算法與4種目標(biāo)增強(qiáng)算法分別在人和車(chē)的部分兩種目標(biāo)的局部TBR值進(jìn)行對(duì)比,如表1。在人體目標(biāo)的增強(qiáng)方面,可以明顯地得出本文算法局部TBR的值最大,相比于其它4種算法,平均提高0.5,計(jì)算公式如下:
式中:TBRAHE、TBRCLAHE、TBRWT、TBRPQFT、TBROUR分別是AHE、CLAHE、WT、PQFT和本文算法的局部TBR值,avg是本文算法相比其它4種算法局部TBR提高的平均值。所以本文算法對(duì)圖像中的人體目標(biāo)增強(qiáng)程度最大。同樣在車(chē)的部分增強(qiáng)方面,除了AHE算法TBR的值優(yōu)于PQFT算法外,與圖像人體目標(biāo)增強(qiáng)一樣,本文算法的TBR的值最大。最終說(shuō)明本文算法在紅外圖像目標(biāo)增強(qiáng)程度效果最佳。綜合以上所有實(shí)驗(yàn)結(jié)果得出,本文算法有效地增強(qiáng)了紅外圖像目標(biāo),優(yōu)于其它4種目標(biāo)增強(qiáng)算法。
表1 不同算法對(duì)于不同目標(biāo)的局部TBR
本文提出了一種新的紅外目標(biāo)增強(qiáng)方法,主要解決紅外圖像的目標(biāo)邊緣細(xì)節(jié)不清晰和對(duì)比度低的問(wèn)題。首先利用了圖像的梯度和局部信息熵聯(lián)合得到新的目標(biāo)邊緣特征,作為階數(shù)調(diào)整分?jǐn)?shù)階微分,實(shí)現(xiàn)了分?jǐn)?shù)階微分自適應(yīng)增強(qiáng)圖像目標(biāo);目標(biāo)的邊緣細(xì)節(jié)得到很好地增強(qiáng),并且目標(biāo)本身和圖像背景更加清晰。然后實(shí)現(xiàn)了一種局部線性目標(biāo)增強(qiáng),由圖像的局部均值和局部標(biāo)準(zhǔn)差融合得到的目標(biāo)整體特征再進(jìn)行自適應(yīng)迭代化處理;分割出圖像中的目標(biāo)區(qū)域后,采用線性變換增強(qiáng)目標(biāo)內(nèi)部,得到的圖像目標(biāo)整體增強(qiáng)效果較好。經(jīng)過(guò)實(shí)驗(yàn)結(jié)果表明,本文算法能夠有效地區(qū)分紅外圖像中的目標(biāo)和背景,適用于紅外目標(biāo)的增強(qiáng)。
[1] 吳旭景, 杜斌. 紅外熱成像無(wú)損檢測(cè)技術(shù)現(xiàn)狀及發(fā)展的相關(guān)研究[J]. 化工管理, 2018(29): 183.
WU X J, DU B. Research on the status and development of Infrared Thermal Imaging Nondestructive Testing Technology[J]., 2018(29): 183.
[2] 王好賢, 董衡, 周志權(quán). 紅外單幀圖像弱小目標(biāo)檢測(cè)技術(shù)綜述[J]. 激光與光電子學(xué)進(jìn)展, 2019, 56(8): 9-22.
WANG H X, DONG H, ZHOU Z Q. Review on dim small target detection technologies in infrared single frame image[J]., 2019, 56(8): 9-22.
[3] 易詩(shī), 張洋溢, 聶焱, 等. 紅外圖像中快速運(yùn)動(dòng)目標(biāo)的檢測(cè)與跟蹤方法[J].紅外技術(shù), 2019, 41(3): 268-272.
YI Shi, ZHANG Yangyi, NIE Yan, et al. Fast moving target detection and tracking method in infrared image[J]., 2019, 41(3): 268-272.
[4] 張麗. 對(duì)比度受限自適應(yīng)直方圖均衡方法[J]. 電腦知識(shí)與技術(shù), 2010, 6(9): 2238-2241.
ZHANG L. Contrast limited adaptive histogram equalization[J]., 2010, 6(9): 2238-2241.
[5] 欒孟杰. 一種多分辨多尺度的紅外圖像增強(qiáng)算法[J]. 激光雜志, 2019, 40(8): 81-84.
LUAN M J. A multiresolution and multiscale infrared image enhancement algorithm[J]., 2019, 40(8): 81-84.
[6] QI S X, MA J, LI H, et al. Infrared small target enhancement via phase spectrum of Quaternion Fourier Transform[J]., 2014, 62: 50-58.
[7] 牛為華, 孟建良, 崔克彬, 等. 利用Grümwald-Letnikov分?jǐn)?shù)階方向?qū)?shù)的圖像增強(qiáng)方法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2016, 28(1): 129-137.
NIU W H, MENG J L, CUI K B, et al. Image enhancement method using Grümwald-Letnikov fractional directional derivative[J]., 2016, 28(1): 129-137.
[8] 劉德全, 崔濤, 楊雅寧. 局部對(duì)比度自適應(yīng)直方圖均衡化圖像增強(qiáng)的算法研究[J]. 信息與電腦(理論版), 2016(7): 79-80.
LIU D Q, CUI T, YANG Y N. Algorithm Research on local contrast adaptive histogram equalization image enhancement[J].(), 2016(7): 79-80.
[9] 王瑞. 小波變換在紅外圖像處理中的應(yīng)用研究[D]. 淮南: 安徽理工大學(xué), 2016.
WANG R. The application of wavelet transform in infrared image processing[D]. Huainan: Anhui University of technology, 2016.
Linear Enhancement Algorithm of Infrared Target Based on Adaptive Fractional Differentiation
DAI Shaosheng,LI Dongyang,NIE Hewen,YAO Li
(,Chongqing University of Posts and Telecommunications, Chongqing 400065, China)
To solve the problems associated with infrared images, such as narrow gray range, unclear image details and fuzzy target edge, an infrared target enhancement method based on adaptive fractional differentiation is proposed. In this method, first, the gradient and information entropy of image are used for effective fusion, and the fractional differentiation is adaptively adjusted to enhance the edge of the target in the image. Subsequently, the standard deviation and mean value of the image pixel gray are fused to determine the segmentation threshold of the target, to distinguish the background and target in the image. The target area of the image is linearly enhanced to better highlight the target. Experimental results show that the proposed method can effectively distinguish the target and background in the infrared image. The average local target-to-background ratio (TBR) increased by 0.5, and the visual effect was ideal.
infrared image, target enhancement, adaptive fractional differentiation, linear transformation, local target-to-background ratio
TP391
A
1001-8891(2020)05-0257-07
2019-10-31;
2020-03-06.
代少升(1974-),男,河南潢川人,教授,主要從事紅外圖像處理方向的研究。E-mail: daiss@cqupt.edu.com。
國(guó)家自然科學(xué)基金(61671094);重慶市科學(xué)技術(shù)委員會(huì)國(guó)家科學(xué)基金(CSTC2015JCYJA40032)。