基于塊匹配和迭代反投影的車牌圖像超分辨率重建

宋海英，王 艷

(成都工業(yè)學(xué)院 通信工程學(xué)院，成都 611730)

基于塊匹配和迭代反投影的車牌圖像超分辨率重建

宋海英*，王 艷

(成都工業(yè)學(xué)院 通信工程學(xué)院，成都 611730)

利用超分辨率重建技術(shù)提高車牌圖像的質(zhì)量，以獲取更好的識(shí)別效果。首先采用基于小波變換的塊匹配方法對(duì)車牌圖像進(jìn)行配準(zhǔn)，然后利用迭代反投影算法對(duì)配準(zhǔn)后的圖像進(jìn)行重建獲得高分辨率的圖像。對(duì)模擬生成的多幀圖像和標(biāo)準(zhǔn)測(cè)試視頻序列進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明：該算法能有效提高車牌圖像的質(zhì)量。

超分辨率；圖像重建；塊匹配；迭代反投影

車牌的識(shí)別率很大程度上取決于車牌圖像質(zhì)量的好壞。通常從拍攝的視頻序列中截取的圖像難以滿足直接進(jìn)行車牌識(shí)別的要求，所以在進(jìn)行車牌識(shí)別之前首先要提高圖像質(zhì)量，以獲得更好的識(shí)別效果。超分辨率重建技術(shù)是提高圖像分辨率的重要技術(shù)，有利于對(duì)場(chǎng)景中的車牌進(jìn)行辨識(shí)。它利用低分辨率圖像間的相似性、冗余性以及圖像的一些先驗(yàn)知識(shí)進(jìn)行數(shù)據(jù)融合，得到高分辨率的圖像或視頻序列。目前常用的方法有凸集投影法(POCS)[1]、統(tǒng)計(jì)復(fù)原法[2]和迭代反投影法(IBP)[3]等，這些算法充分利用多幅圖像之間相似的信息，其超分辨率重建能力通常高于單幅圖像復(fù)原算法。其中IBP算法具有計(jì)算量小、算法簡(jiǎn)潔、收斂速度快等優(yōu)點(diǎn)[3]。

超分辨率重建成功的關(guān)鍵除了需要高效的重建算法外，還在于精準(zhǔn)的運(yùn)動(dòng)估計(jì)。運(yùn)動(dòng)估計(jì)算法即配準(zhǔn)算法的精度將直接影響到超分辨率重建的質(zhì)量?；趬K匹配的圖像配準(zhǔn)最直觀，也是最常用的一種運(yùn)動(dòng)估計(jì)方法，能夠?qū)Υ嬖诰植窟\(yùn)動(dòng)的情況進(jìn)行較好的估計(jì)。在塊匹配算法中，全搜索(ES)算法精度最高，算法簡(jiǎn)單，但運(yùn)算量很大，不適合實(shí)際應(yīng)用。為此，國(guó)內(nèi)外學(xué)者們相繼提出了許多快速搜索算法，如新三步搜索法(NTSS)[4]，簡(jiǎn)單有效搜索法(SES)[5]，邊形算法(HEXBS)[6]，定向菱形法(DDS)[7]，自適應(yīng)十字搜索(ARPS)[8]等。文獻(xiàn)[9]提出了一種改進(jìn)的基于小波變換的自適應(yīng)十字模式搜索算法(W-IARPS)，這種方法在小波變換域中完成匹配宏塊的搜索，可以有效減少匹配點(diǎn)的搜索個(gè)數(shù)。

本文采用基于小波變換的塊匹配算法[9]和迭代反投影重建算法[3]對(duì)車牌圖像進(jìn)行超分辨率重建。為了驗(yàn)證算法的有效性，實(shí)驗(yàn)中分別對(duì)模擬圖像序列和標(biāo)準(zhǔn)測(cè)試視頻序列進(jìn)行了分析。

1 基于小波變換的塊匹配圖像配準(zhǔn)

塊匹配方法的基本思想是：將各圖像分割為大小一樣的子圖像塊，在參考圖像內(nèi)中找出搜索圖像中每一個(gè)子塊的最佳匹配塊。搜索圖像的子塊與參考圖像中與之對(duì)應(yīng)的最佳匹配塊之間的相對(duì)位移即為該子塊中心像素點(diǎn)的運(yùn)動(dòng)向量。

設(shè)視頻序列中的當(dāng)前幀為第K幀，將圖像劃分為M×N的子塊圖像，對(duì)于當(dāng)前幀中的每一個(gè)子塊在第K-1幀內(nèi)尋找一個(gè)大小相同的最佳匹配塊，搜索窗口大小為(M+2dx,N+2dy)，從而得到該子塊的運(yùn)動(dòng)向量(x,y)。塊匹配模型如圖1所示。

圖1 塊匹配運(yùn)動(dòng)估計(jì)

比較當(dāng)前塊與其他幀中相同大小塊的像素差異，從而找到像素差異最小的塊，即為最佳匹配塊。

對(duì)圖像進(jìn)行小波變換，可以得到不同頻帶的子圖像。由于圖像的低頻分量保留了原始圖像的重要特性，因此通過(guò)對(duì)低頻子帶圖像進(jìn)行分析能夠獲得上一級(jí)圖像的平均統(tǒng)計(jì)特性。所以經(jīng)過(guò)小波變換后，只需要在圖像的低頻分量上進(jìn)行最佳匹配塊的搜索，有效減少了匹配點(diǎn)的搜索個(gè)數(shù)。設(shè)原始圖像為I，經(jīng)過(guò)小波分解后得到：

[IL,IH,IV,ID]=dwt2(I)

(1)

其中：IL為圖像的低頻信息；IH、IV和ID分別為圖像的水平、垂直、對(duì)角線方向上的高頻細(xì)節(jié)；dwt2為二維離散小波變換。將當(dāng)前幀I和參考幀P進(jìn)行二維離散小波變換后得到各自的低頻圖像IL和PL，將低頻圖像IL和PL按照IARPS方法[9]進(jìn)行塊匹配得到配準(zhǔn)后的低頻分量IL＊，再與參考幀P的3個(gè)高頻細(xì)節(jié)PH、PV和PD進(jìn)行小波逆變換，得到配準(zhǔn)后的圖像I＊。算法的實(shí)現(xiàn)框圖如圖2所示[9]。

圖2 配準(zhǔn)算法的實(shí)現(xiàn)框圖

這樣，在低頻子圖像M×M的搜索范圍內(nèi)進(jìn)行搜索，就等效于在原圖像2nM×2nM的范圍內(nèi)進(jìn)行搜索，其中n為小波分解的層數(shù)。宏塊的大小M×M視目標(biāo)的運(yùn)動(dòng)程度和小波變換級(jí)數(shù)而定。

2 車牌圖像超分辨率重建

超分辨率重建最早是在頻域進(jìn)行的，雖然頻域方法運(yùn)算簡(jiǎn)單快速，且容易實(shí)現(xiàn)并行處理，但是其運(yùn)動(dòng)模型只限于全局的平移運(yùn)動(dòng)和線性空間不變的降質(zhì)模型，同時(shí)，包含的先驗(yàn)信息很少，也缺少很好的正則化處理?；诖?，現(xiàn)在主流的重建方法都在空域進(jìn)行?？沼蚍椒ㄖ械腎BP算法克服了頻域方法無(wú)法引入先驗(yàn)信息的缺點(diǎn)，自身具有計(jì)算復(fù)雜度低、收斂速度快、重建質(zhì)量好等優(yōu)點(diǎn)[10]。

IBP重建算法的基本思想是：如果超分辨率重建圖像接近于原始高分辨率圖像，則超分辨率重建得到的圖像在低分辨率觀察模型下仿真得到的圖像應(yīng)該與輸入的(即實(shí)際觀測(cè)的)低分辨率圖像一致；將仿真得到的低分辨率圖像與實(shí)際觀測(cè)的低分辨率圖像之間的差值投影到對(duì)應(yīng)的高分辨率圖像柵格上，對(duì)本次迭代所估計(jì)的高分辨率圖像進(jìn)行更新；隨著迭代誤差的收斂，最終可得到估計(jì)的高分辨率圖像，即超分辨率重建圖像。IBP超分辨率重建算法的數(shù)學(xué)描述可表述為[10]：

(2)

圖3 IBP的重建框圖

3 實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證算法的有效性，分別對(duì)合成圖像及真實(shí)車牌視頻序列進(jìn)行了仿真實(shí)驗(yàn)。

3.1 合成圖像實(shí)驗(yàn)

實(shí)驗(yàn)利用模擬產(chǎn)生5幅低分辨率圖像重建出1幅高分辨率圖像，如圖4所示。通過(guò)對(duì)原始高分辨率圖像做不同大小的水平平移、垂直平移和旋轉(zhuǎn)操作得到運(yùn)動(dòng)后的圖像；然后選擇高斯模板對(duì)其進(jìn)行模擬光學(xué)系統(tǒng)的降質(zhì)過(guò)程，模板大小選為5×5，方差為1；最后將模糊后的圖像進(jìn)行2倍下采樣，生成5幅模擬的低分辨率圖像序列。這樣得到的圖像序列之間的運(yùn)動(dòng)是全局運(yùn)動(dòng)，四參數(shù)配準(zhǔn)法是一種有效的全局運(yùn)動(dòng)配準(zhǔn)算法[10]，因此實(shí)驗(yàn)將分別采用四參數(shù)配準(zhǔn)與本文基于小波的塊匹配算法進(jìn)行對(duì)比實(shí)驗(yàn)。

(a) 原始高分辨率圖像

(b) 模擬生成的5幅低分辨率圖像

(c) 各配準(zhǔn)圖像

圖4 合成實(shí)驗(yàn)圖像

實(shí)驗(yàn)以第1幅圖像作為參考圖像，利用小波塊匹配算法進(jìn)行運(yùn)動(dòng)配準(zhǔn)的結(jié)果如圖4(c)所示。

重建效果如圖5所示，圖5(a)是雙三次插值結(jié)果，圖5(b)是文獻(xiàn)[10]四參數(shù)配準(zhǔn)算法的重建結(jié)果，圖5(c)是本文算法的重建結(jié)果，對(duì)圖5(a)、5(b)和圖5(c)采用相同的二值化算法進(jìn)行二值化處理，其結(jié)果分別見(jiàn)圖5(d)、5(e)及圖5(f)。從圖5可知，雙三次插值圖像比較模糊，采用四參數(shù)配準(zhǔn)和塊匹配算法后重建得到的圖像都較為清晰，圖5(b)圖像中的邊緣部分有很多毛刺，雖然本文算法得到的圖像二值化后的邊緣有少部分?jǐn)嗔?，但是車牌?shù)字邊緣更清晰(例如數(shù)字8)，這將更有利于后續(xù)的車牌識(shí)別。

(a)雙三次插值結(jié)果

(b) 四參數(shù)配準(zhǔn)重建結(jié)果

(c)本文算法重建結(jié)果

(d)圖(a)的二值化圖像

(e)圖(b)的二值化圖像

(f)圖(c)的二值化圖像

圖5 重建效果

3.2 真實(shí)圖像實(shí)驗(yàn)

對(duì)“car”視頻序列[11]進(jìn)行實(shí)驗(yàn)的結(jié)果如圖6所示，圖6(a)是視頻序列中第3幀的雙三次插值結(jié)果及其二值化圖像，圖6(b)是視頻序列中第14幀的雙三次插值結(jié)果及其二值化圖像，圖6(c)是視頻序列中第3幀的文獻(xiàn)[9]算法重建結(jié)果及其二值化圖像，圖6(d)是視頻序列中第14幀的文獻(xiàn)[9]算法重建結(jié)果及其二值化圖像。圖6(e)是視頻序列中第3幀的本文算法重建結(jié)果及其二值化圖像，圖6(f)是視頻序列中第14幀的本文算法重建結(jié)果及其二值化圖像。由圖6可知，經(jīng)過(guò)超分辨率重建后的圖像跟雙三次插值圖像相比，車牌和車身更清晰，整體視覺(jué)效果更好。

(a)雙三次插值結(jié)果及其二值圖像(第3幀)

(b)雙三次插值結(jié)果及其二值圖像(第14幀)

(c)文獻(xiàn)[9]算法結(jié)果及其二值圖像(第3幀)

(d)文獻(xiàn)[9]算法結(jié)果及其二值圖像(第14幀)

(e)本文算法結(jié)果及其二值圖像(第3幀)

(f)本文算法結(jié)果及其二值圖像(第14幀)

圖6 “car”視頻實(shí)驗(yàn)結(jié)果

圖6(c)、6(d)、6(e)、6(f)中的局部放大圖像如圖7(a)、7(b)、7(c)、7(d)所示?？梢钥闯觯墨I(xiàn)[9]POC重建算法得到的圖像具有更明顯的振鈴效應(yīng)，本文算法的重建結(jié)果保持了較好的清晰度和視覺(jué)效果。

(a)文獻(xiàn)[9]算法結(jié)果局部放大圖(第3幀)

(b)文獻(xiàn)[9]算法結(jié)果局部放大圖(第14幀)

(c)本文算法結(jié)果局部放大圖(第3幀)

(d)本文算法結(jié)果局部放大圖(第14幀)

圖7 局部放大圖像

4 結(jié)語(yǔ)

為提高車牌圖像的質(zhì)量，本文對(duì)車牌圖像的超分辨率重建進(jìn)行了研究。實(shí)驗(yàn)結(jié)果表明：使用基于小波的塊配準(zhǔn)方法進(jìn)行迭代反投影重建得到的超分辨率重建圖像具有較好的分辨能力和視覺(jué)效果。

[1] STARK H,OSKOUI P.High-resolution image recovery from image-plane arrays, using convex projections[J].Journal of the Optical Society of America A,1989,6(11):1715-1726.

[2] SCHULTZ R R,STEVENSON R L.Extraction of high-resolution frames from video sequences[J].Image Processing IEEE Transactions on,1996,5(6):996-1011.

[3] IRANI M,PELEG S.Improving resolution by image registration[J].Cvgip Graphical Models & Image Processing,1991,53(91):231-239.

[4] LI R,ZENG B,LIOU M L.A new three-step search algorithm for block motion estimation[J]. Circuits & Systems for Video Technology IEEE Transactions on,1994,4(4):438-442.

[5] LU J,LIOU M L.A simple and efficient search algorithm for block-matching motion estimation[J].Circuits & Systems for Video Technology IEEE Transactions on,1997,7(2):429-433.

[6] ZHU C,LIN X,CHAU L P.Hexagon-based search pattern for fast block motion estimation[J]. Circuits & Systems for Video Technology IEEE Transactions on,2002,12(5):349-355.

[7] JIA H,ZHANG L.Directional diamond search pattern for fast block motion estimation[J].Electronics Letters,2003,39(22):1581-1583.

[8] WANG X Y,ZHENG J H.Adaptive rood pattern search for fast block-matching motion estimation[J].Journal of Electronics & Information Technology,2005,27(1):104-107.

[9] 孫琰玥,何小海,宋海英,等.一種用于視頻超分辨率重建的塊匹配圖像配準(zhǔn)方法[J].自動(dòng)化學(xué)報(bào),2011,37(1):37-43.

[10] 覃鳳清,何小海,陳為龍,等．一種基于子像素配準(zhǔn)的視頻超分辨率重建方法[J].光電子:激光,2009,20(7):972-976.

[11] MDSP Super-Resolution And Demosaicing Datasets[DB/OL].[2015-08-10].http://users.soe.ucsc.edu/～milanfar/software/sr-datasets.html.

Super-resolution Reconstruction for Vehicle License Plate Image based on Block Matching and Iterative Back Projection

SONGHaiying*，WANGYan

(School of Communication Engineering, Chengdu Technological University, Chengdu 611730, China)

In order to improve the quality of a vehicle license plate image, the super-resolution reconstruction technology is used. Firstly, block matching method based on wavelet transform is applied to obtain the registration of the image. And then, iterative back projection algorithm is used to reconstruct a super-resolution image from the registered image. Reconstruction is performed on simulated image and standard test video respectively. Experimental results show that the algorithm can effectively improve the quality of a vehicle license plate image.

super-resolution; image reconstruction; block matching; iterative back projection

10.13542/j.cnki.51-1747/tn.2015.04.006

2015-11-24

四川省教育廳科研項(xiàng)目“基于目標(biāo)分割的超分辨率重建研究”(14ZA0283)

宋海英(1974— )，女(土家族)，湖北恩施人，副教授，博士，研究方向：圖像處理，通信作者郵箱：286024871@qq.com。 王艷(1986— )，女(漢族)，重慶人，講師，碩士，研究方向：信號(hào)與信息處理。

TP391.4

A

2095-5383(2015)04-0018-04