基于運(yùn)動(dòng)估計(jì)法的圖像分辨率分析

馬小萍

摘 要：根據(jù)多幀圖像序列的相鄰塊運(yùn)動(dòng)相位的高度相關(guān)性，結(jié)合多幀圖像運(yùn)動(dòng)方向?qū)崿F(xiàn)靜態(tài)圖像細(xì)節(jié)還原，提出了基于恢復(fù)殘差圖像進(jìn)行非冗余信息分辨率重建的算法。這種算法基于序列圖像各幀之間差異信息的信息認(rèn)知，通過分離出非冗余信息，采用分辨率重建算法，分別得到冗余高分辨率圖像和非冗余高分辨率圖像，對兩者進(jìn)行圖像融合，實(shí)現(xiàn)從粗到精分辨，最終得到高于成像系統(tǒng)的分辨率圖像。另外借助一種基于運(yùn)動(dòng)搜索的亞像素快速運(yùn)動(dòng)估計(jì)算法，對運(yùn)動(dòng)進(jìn)行估計(jì)和優(yōu)化。

關(guān)鍵詞：分辨率；多幀圖像；運(yùn)動(dòng)

0引言

隨著信息技術(shù)的不斷發(fā)展和社會(huì)的不斷進(jìn)步，人類對信息的追求越來越豐富。其中數(shù)碼攝像技術(shù)被廣泛用于多種場合，同時(shí)如何在低分辨率下看世界也受到廣泛的關(guān)注。圖像是人們記錄視覺信息的主要載體，因此人們對靜態(tài)圖像的要求也高了，通過靜態(tài)圖像可以給人們提供較為直觀，生動(dòng)的視覺信息。在得到的靜態(tài)圖像序列中，由于相鄰幀之間存在很強(qiáng)的相位相關(guān)性[1]，即存在很高的像素模糊。在單色成像的情況下對單個(gè)格子視野中的靜態(tài)像素借助多幀圖像序列采用亞像素快速運(yùn)動(dòng)估計(jì)和恢復(fù)殘差獲得還原靜態(tài)圖像細(xì)節(jié)估計(jì)的算法，利用多幀圖像視頻序列中相鄰幀之間存在的相位相關(guān)性，建立它們表達(dá)上的相互關(guān)系，從而減少模糊程度，使其盡可能的還原靜態(tài)圖像中已無法還原的細(xì)節(jié)。

1總體思路

序列圖像各幀之間由于存在差異信息的認(rèn)知，因此當(dāng)需要恢復(fù)靜態(tài)視野格子中靜態(tài)圖像內(nèi)部的細(xì)節(jié)時(shí)需要通過分離出非冗余信息，對于拍攝得到的序列靜態(tài)圖像采用分辨率重建算法，分別得到冗余分辨率圖像和非冗余分辨率圖像，對兩者進(jìn)行圖像融合，最終得到高于成像系統(tǒng)分辨率的圖像，這樣可以大幅度提高靜態(tài)圖像的還原質(zhì)量。解決這一問題的有效的方法就是采用基于快速亞像素法運(yùn)動(dòng)估計(jì)算法和恢復(fù)殘差獲得還原靜態(tài)圖像細(xì)節(jié)估計(jì)的算法。其基本思想是通過多幀圖像序列的宏塊來尋找靜態(tài)圖像中的最優(yōu)匹配點(diǎn)。圖像配準(zhǔn)是通過多幀圖像來還原靜態(tài)圖像中無法體現(xiàn)的細(xì)節(jié)利用初始的配準(zhǔn)參數(shù)構(gòu)建出一個(gè)低分辨率圖像，然后將這個(gè)低分辨率圖像作為輸入圖像配準(zhǔn)的參考幀。

2亞像素快速運(yùn)動(dòng)估計(jì)原理

快速運(yùn)動(dòng)估計(jì)算法利用預(yù)測的方法，通過相鄰幀之間的運(yùn)動(dòng)矢量來預(yù)測當(dāng)前幀運(yùn)動(dòng)起點(diǎn)的搜索，減少圖像幀之間的搜索點(diǎn)數(shù)并且避免陷入局部極小值點(diǎn)。預(yù)測運(yùn)動(dòng)矢量包含整像素與亞像素兩部分信息，如果預(yù)測運(yùn)動(dòng)矢量的整像素部分等于整像素運(yùn)動(dòng)搜索得到的最優(yōu)矢量，那么預(yù)測矢量的亞像素部分很可能接近全局最優(yōu)點(diǎn)，可以將預(yù)測的亞像素運(yùn)動(dòng)矢量作為搜索起點(diǎn)開始搜索。否則，不夠準(zhǔn)確的預(yù)測亞像素運(yùn)動(dòng)矢量會(huì)使匹配效果急劇下降。針對這種情況采用基于亞像素快速運(yùn)動(dòng)估計(jì)算法進(jìn)行圖像分辨率尋找，在保證圖像質(zhì)量的同時(shí)，可有效地減少圖像搜索的點(diǎn)數(shù)。

首先，采用傳統(tǒng)的塊匹配算法進(jìn)行初始運(yùn)動(dòng)估計(jì)。塊匹配運(yùn)動(dòng)估計(jì)的思想是將序列圖像的每一幀都劃分成大小相同互相相鄰的子塊，假設(shè)子塊內(nèi)所有像素具有運(yùn)動(dòng)一致性，并且只做平移運(yùn)動(dòng)，不包含旋轉(zhuǎn)，伸縮；在參考幀的一定范圍內(nèi)（稱為匹配窗）按照一定的匹配準(zhǔn)則搜索與之最接近的塊（稱為預(yù)測塊），該預(yù)測塊與當(dāng)前塊的相對位移就是運(yùn)動(dòng)矢量。

結(jié)合多幀圖像運(yùn)動(dòng)方向?qū)崿F(xiàn)快速運(yùn)動(dòng)預(yù)測，由于拍攝所得到的靜態(tài)圖像在相位上具有較強(qiáng)的相關(guān)性，通過采用對多幀圖像運(yùn)動(dòng)進(jìn)行估計(jì)和分析可以有效的還原靜態(tài)圖像中的細(xì)節(jié)，從而減少相位上的相關(guān)性，提高靜態(tài)圖像中對細(xì)節(jié)的還原能力。采用快速亞像素運(yùn)動(dòng)估計(jì)算法來分析靜態(tài)圖像中的匹配誤差關(guān)系，保證搜索的準(zhǔn)確性。通過對多幀圖像不同運(yùn)動(dòng)特征序列進(jìn)行分析盡可能還原靜態(tài)圖像中的細(xì)節(jié)。采用快速亞像素運(yùn)動(dòng)估計(jì)算法可以在很大程度上提高預(yù)測的有效性。

3基于梯度的最優(yōu)圖像配準(zhǔn)法

圖像配準(zhǔn)是對來自不同場景、不同視點(diǎn)、不同傳感器或不同時(shí)間的兩幅或多幅圖像進(jìn)行對準(zhǔn)的過程。近年來，隨著視頻技術(shù)、數(shù)字圖像技術(shù)的廣泛應(yīng)用。圖像配準(zhǔn)是低分辨率下算法的一個(gè)重要環(huán)節(jié)，配準(zhǔn)精確對最終還原圖像質(zhì)量起到至關(guān)重要的作用。圖像配準(zhǔn)是通過多幀圖像來還原單幀圖像中無法體現(xiàn)的細(xì)節(jié)。

配準(zhǔn)算法最優(yōu)是指該方法估計(jì)的參數(shù)精度可以達(dá)到邊界，絕大多數(shù)現(xiàn)有的配準(zhǔn)估計(jì)方法或多或少是有偏差的，因此它們并不是最優(yōu)的。然而，通過迭代過程，可以去除基于梯度配準(zhǔn)算法偏差。并且，隱藏在混疊輸入圖像的額外信息也可以用來提高多幀圖像配準(zhǔn)精度。首先利用初始的配準(zhǔn)參數(shù)構(gòu)建出一個(gè)低分辨率圖像，然后將這個(gè)低分辨率圖像作為輸入圖像配準(zhǔn)的參考幀。這樣會(huì)提高強(qiáng)度和梯度效果，反過來也會(huì)提升基于梯度配準(zhǔn)的精度。如下圖像配準(zhǔn)迭代流程圖所示。

4恢復(fù)殘差

采用恢復(fù)殘差獲得還原靜態(tài)圖像細(xì)節(jié)估計(jì)的算法，是根據(jù)得到的靜態(tài)圖像的運(yùn)動(dòng)矢量，對前一幀中由于運(yùn)動(dòng)而產(chǎn)生的位移進(jìn)行調(diào)整，從而得到盡可能接近本幀的預(yù)測幀。運(yùn)用凸集投影法將靜態(tài)圖像的初始估計(jì)值在凸集的交集里求到最優(yōu)解即盡可能的還原位于一個(gè)格子里的靜態(tài)像素[3]。

利用恢復(fù)插值圖像與實(shí)際多幀圖像之間的殘差，從而得到更真實(shí)更清晰的靜態(tài)圖像估計(jì)。如下圖分別采用原圖、最鄰近法、雙線性插值法、三次內(nèi)插法進(jìn)行殘差恢復(fù)。

從上面圖像分析結(jié)果可知，采用最鄰近法觀察圖像的分辨率結(jié)果最模糊，采用三次內(nèi)插法觀察圖像分辨率的質(zhì)量最好，其次是雙線性插值法。

5結(jié)論

本文闡述了在低分辨率下基于最優(yōu)配準(zhǔn)法的靜態(tài)序列圖像的像素還原。根據(jù)靜態(tài)圖像細(xì)節(jié)檢測問題，通過利用整像素運(yùn)動(dòng)估計(jì)的中間結(jié)果直接計(jì)算出最優(yōu)亞像素位置，運(yùn)用亞像素快速運(yùn)動(dòng)矢量估計(jì)算法和恢復(fù)殘差算法獲得還原靜態(tài)圖像的細(xì)節(jié)?？梢缘弥?dāng)多幀序列圖像運(yùn)動(dòng)估計(jì)算法越完善，估計(jì)出的運(yùn)動(dòng)矢量就會(huì)越準(zhǔn)確，對靜態(tài)圖像恢復(fù)程度優(yōu)化的性能也就越好，從而還原的靜態(tài)像素的質(zhì)量就會(huì)越高。很好的避免了傳統(tǒng)方法的逐點(diǎn)搜索比較，提高了在低分辨率下像素的還原。

參考文獻(xiàn)：

[1]蘇衡，周杰，張志浩.分辨率圖像重建方法綜述.自動(dòng)化學(xué)報(bào).2013，39（8）：1202-1213.

[2]周俐俐，蔡國權(quán).塊運(yùn)動(dòng)估計(jì)的快速搜索算法探討.數(shù)字視頻.1999年.第12卷第4期.2224

[3]姚屏，薛家祥，戴光智.圖像的分辨率處理方法研究現(xiàn)狀[F].半導(dǎo)體光電，2009，30（4）：492-497.

[4]楊杰，黃朝兵.數(shù)字圖像處理及MATLAB實(shí)現(xiàn).北京：電子工業(yè)出版社，2010.