Dtw算法在無(wú)參考圖像序列像素重構(gòu)中的應(yīng)用

朱興宇，時(shí)慶濤

(1. 長(zhǎng)春工業(yè)大學(xué)應(yīng)用技術(shù)學(xué)院，吉林 長(zhǎng)春 130012；2. 長(zhǎng)春工業(yè)大學(xué)人文信息學(xué)院，吉林 長(zhǎng)春 130012)

1 引言

近年來(lái)隨著科技的不斷發(fā)展，圖像與視頻的分辨率也越來(lái)越高。老舊的圖像及視頻由于分辨率太低而無(wú)法提取有效的信息，因此需使用必要的手段重構(gòu)圖像或視頻的像素。DTW算法作為經(jīng)典的動(dòng)態(tài)時(shí)間規(guī)整算法，可以通過(guò)對(duì)像素之間最優(yōu)路徑的計(jì)算，完成人們對(duì)原始圖像或視頻中的無(wú)參考圖像序列像素的重構(gòu)。從而滿足人們對(duì)圖像的高分辨率需求。

針對(duì)此問(wèn)題，相關(guān)領(lǐng)域?qū)＜乙呀?jīng)得到了一些研究成果。劉迪等人提出基于核密度估計(jì)的無(wú)參考圖像序列像素重構(gòu)方法。該方法首先基于像素的系統(tǒng)原理分析像素距離，再通過(guò)直方圖與鄰域核密度算評(píng)價(jià)分析結(jié)果。最后利用GM-APD激光雷達(dá)對(duì)無(wú)參考圖像序列像素之間的距離進(jìn)行測(cè)量，從而實(shí)現(xiàn)無(wú)參考圖像序列像素的重構(gòu)。該方法未能提取無(wú)參考圖像序列像素進(jìn)行特征屬性，因此該方法無(wú)法有效檢測(cè)出像素的路徑衰減曲線。吳磊等人提出基于多尺度遞歸網(wǎng)絡(luò)的無(wú)參考圖像序列像素重構(gòu)方法。該方法首先計(jì)算獲取像素的多尺度特征映射單元；再基于獲取的像素映射單元構(gòu)建多尺度遞歸網(wǎng)絡(luò)的圖像像素分辨模型；最后通過(guò)亞像素卷積重構(gòu)方法重構(gòu)無(wú)參考圖像序列像素。但是，該方法由于未能利用基尼指數(shù)劃分無(wú)參考圖像序列像素?cái)?shù)據(jù)集的節(jié)點(diǎn)數(shù)據(jù)，因此該方法的像素覆蓋性能差。楊春玲等人提出基于多維度參考幀的無(wú)參考圖像序列像素重構(gòu)方法。該方法首先構(gòu)建一個(gè)雙稀疏像素重構(gòu)模型，采用互頻信號(hào)與拉普拉斯加權(quán)法來(lái)刻畫(huà)像素幀的稀疏特性；引入多維度參考幀，對(duì)時(shí)間與縮放維度的像素幀進(jìn)行匹配；最后利用搜索算法實(shí)現(xiàn)對(duì)無(wú)參考圖像序列像素的重構(gòu)。該方法由于未能訓(xùn)練采集的數(shù)據(jù)，因此該方法的重構(gòu)誤差高。

為解決上述傳統(tǒng)方法存在的問(wèn)題，提出基于DTW算法的無(wú)參考圖像序列像素重構(gòu)方法。

2 像素去噪

2.1 噪聲模型

設(shè)定無(wú)參考圖像序列像素中的脈沖噪聲為

Y

，表達(dá)方式如下式所示

Y

=

X

+

v

(1)

式中，

X

為無(wú)參考圖像序列像素，

v

為像素中的噪聲。假定原始圖像為一個(gè)8×8的無(wú)參考圖像序列像素塊，將其進(jìn)行擴(kuò)展使其成為一個(gè)1×64的一維信號(hào)。

2.2 稀疏濾波

利用K-SVD字典訓(xùn)練算法，通過(guò)像素奇異值的分解對(duì)無(wú)參考圖像進(jìn)行稀疏濾波表示。

設(shè)定

X

為原始圖像的序列像素，圖像中的加性高斯噪聲為

Y

，無(wú)參考圖像的噪聲標(biāo)準(zhǔn)差用

σ

表示，通過(guò)計(jì)算獲取的加性高斯噪聲的概率如下式所示

(2)

式中，

P

表示獲取的加性高斯噪聲的概率，依據(jù)圖像的局部相關(guān)性獲取無(wú)參考圖像的像素噪聲分布，過(guò)程如下式所示

(3)

式中，

Ω

為無(wú)參考圖像中噪聲的變換處理過(guò)程，

C

為變換過(guò)程中的常數(shù)。此時(shí)若

D

為

Ω

的逆矩陣，且

D

=

Ω

，那么

D

為完備字典。若

D

為

Ω

的廣義逆矩陣，那么

D

=

Ω

，

D

為過(guò)完備字典。由此可知，

DΩX

=

X

，且

ΩX

=

α

，

Dα

=

X

，

α

為系數(shù)。設(shè)定逆矩陣

D

中有

n

個(gè)原子，表示為

D

={

d

，

d

，…，

d

}。

X

則為

n

個(gè)原子的線性組合。這時(shí)若

D

為固定值時(shí)，通過(guò)追蹤算法可獲取

α

。

(4)

(5)

(6)

式中，

C

為轉(zhuǎn)化常數(shù)。通過(guò)上式完成對(duì)圖像的稀疏性目標(biāo)優(yōu)化。

2.3 去噪

由于無(wú)參考圖像中含有未知的脈沖噪聲，因此圖像中的部分像素點(diǎn)會(huì)被噪聲取代，導(dǎo)致無(wú)參考圖像中的像素點(diǎn)無(wú)法正常提取信息。因此脈沖噪聲在進(jìn)行濾波檢測(cè)時(shí)主要分為噪聲檢測(cè)、圖像濾波兩個(gè)部分，經(jīng)過(guò)噪聲檢測(cè)的圖像，獲取的噪聲標(biāo)識(shí)矩陣如下式所示

(7)

式中，

x

為圖像的噪聲標(biāo)識(shí)矩陣。

基于MK-SVD法對(duì)圖像進(jìn)行噪聲檢測(cè)，并將檢測(cè)結(jié)果應(yīng)用于脈沖噪聲濾波，將式(5)改為下式

(8)

3 像素重構(gòu)

基于隨機(jī)森林原理對(duì)去噪后的無(wú)參考圖像序列像素進(jìn)行特征屬性的提取，最后依據(jù)動(dòng)態(tài)時(shí)間規(guī)整(DTW)算法對(duì)無(wú)參考圖像序列像素進(jìn)行重構(gòu)。

3.1 提取像素特征屬性

首先采集去噪后的無(wú)參考圖像序列像素中的數(shù)據(jù)信息，運(yùn)用bootstrapping方法有放回地抽取采集數(shù)據(jù)，構(gòu)建數(shù)據(jù)集

D

，過(guò)程如下式所示

(9)

式中，

m

表示數(shù)據(jù)的采樣次數(shù)，通過(guò)決策樹(shù)原理對(duì)采集的數(shù)據(jù)進(jìn)行訓(xùn)練，獲取不剪枝的CART樹(shù)。這時(shí)設(shè)定無(wú)參考圖像序列像素中有

n

個(gè)特征，在每棵樹(shù)的節(jié)點(diǎn)抽取

n

′(

n

′≤

n

)個(gè)特征，引入隨機(jī)屬性，利用基尼指數(shù)對(duì)數(shù)據(jù)集的每一個(gè)節(jié)點(diǎn)數(shù)據(jù)進(jìn)行劃分。過(guò)程如下式所示

(10)

式中，

p

為樣本數(shù)據(jù)集

D

中的第

k

類(lèi)樣本數(shù)據(jù)所占比例，且

p

(

k

=1，2，…，|

K

|)。無(wú)參考圖像序列像素的特征屬性

a

的基尼指數(shù)表現(xiàn)形式如下式所示

(11)

式中，

a

為無(wú)參考圖像序列像素的特征屬性，且屬性中具有

V

個(gè)可能的取值為{

a

，

a

， …，

a

}，像素特征屬性

a

所劃分的數(shù)據(jù)子集為

D

。獲取的最優(yōu)劃分屬性如下式所示

a

=arg min

Gini

-

index

(

D

，

a

)

(12)

通過(guò)上述的計(jì)算結(jié)果完成對(duì)無(wú)參考圖像序列像素特征屬性的提取。

3.2 基于DTW算法完成像素重構(gòu)

基于動(dòng)態(tài)時(shí)間規(guī)整(DTW)算法對(duì)提取的無(wú)參考圖像序列像素特征屬性進(jìn)行規(guī)整，獲取無(wú)參考圖像序列像素的最佳路徑，以此完成無(wú)參考圖像序列像素的重構(gòu)。

DTW算法作為最常用的非線性規(guī)整技術(shù)，是計(jì)算無(wú)參考序列間相似度的常用計(jì)算方法之一。該算法是運(yùn)用動(dòng)態(tài)規(guī)劃思想，依據(jù)即時(shí)彎折函數(shù)在無(wú)參考圖像的序列像素范圍內(nèi)自動(dòng)尋找一條最佳的路徑。無(wú)參考圖像序列像素的重構(gòu)分為計(jì)算像素對(duì)應(yīng)幀之間的距離與尋找最佳路徑兩個(gè)部分，具體過(guò)程如下：

1)假定無(wú)參考圖像序列像素的測(cè)量序列為

T

={

T

(1)，

T

(2)，…，

T

(

N

)}，像素的參考序列為

R

={

R

(1)，

R

(2)，…，

R

(

M

)}，

m

，

n

分別為

R

，

T

中的任意幀號(hào)，

R

(

n

)，

T

(

m

)分別為像素對(duì)應(yīng)序列中第

n

，

m

幀特征矢量，且

n

的取值范圍在1至

N

之間，

m

的取值范圍在1至

M

之間。設(shè)

d

[

T

(

n

)，

R

(

m

)]為像素時(shí)間序列中兩個(gè)數(shù)據(jù)點(diǎn)之間的距離，并將其看作

n

與

m

之間的異性量化表示。當(dāng)像素的特征矢量越相似，獲取的值就越接近于0，

n

，

m

之間的差距越大，獲取的值就越大。無(wú)參考圖像序列像素的距離函數(shù)要依據(jù)實(shí)際采集的距離度量來(lái)設(shè)定，在計(jì)算無(wú)參考圖像序列像素中不同數(shù)據(jù)之間的差異時(shí)，要利用常用的二階距離函數(shù)(歐氏距離)對(duì)其進(jìn)行計(jì)算，首先設(shè)定需要計(jì)算的兩組數(shù)據(jù)分別為

x

(

n

)與

y

(

n

)，且

n

=1，2，…，

N

，具體計(jì)算過(guò)程如下式所示

(13)

式中，

d

(

x

，

y

)為兩組數(shù)據(jù)之間的距離。由于無(wú)參考圖像序列像素中不同時(shí)間序列之間的歐式距離并不相同，因此要依據(jù)上述計(jì)算結(jié)果構(gòu)建歐氏距離的

N

×

M

距離矩陣，過(guò)程如下式所示

(14)

由此可計(jì)算出無(wú)參考圖像序列像素中各數(shù)據(jù)點(diǎn)之間的距離。

2)構(gòu)建一個(gè)二維直角坐標(biāo)系，將測(cè)試模板中像素的各個(gè)幀號(hào)放入坐標(biāo)的中，并對(duì)像素幀號(hào)的位置進(jìn)行相互連接獲取坐標(biāo)的橫縱向網(wǎng)格。將尋找最佳路徑時(shí)所經(jīng)過(guò)的網(wǎng)格點(diǎn)設(shè)定為像素計(jì)算距離所需要的幀號(hào)，當(dāng)

T

的第

n

個(gè)樣本數(shù)據(jù)與

R

的第

m

個(gè)樣本數(shù)據(jù)一致時(shí)，獲取的斜率

k

是一條為1的直線，但當(dāng)二者不一致時(shí)，二者之間的對(duì)應(yīng)點(diǎn)不存在一條直線上，而是在一條規(guī)整的曲線上。在搜索無(wú)參考圖像序列像素的最佳路徑時(shí)，為了使獲取的路徑不過(guò)分傾斜，因此要將

k

的取值設(shè)定在0

.

5到2的范圍內(nèi)。假定計(jì)算每條路徑達(dá)到的總累計(jì)距離為(

n

，

m

)，其中的最小累計(jì)距離為該無(wú)參考圖像序列像素的最佳路徑。若限定范圍內(nèi)的任意網(wǎng)格點(diǎn)(

n

，

m

)有且僅有一條路徑可通過(guò)該數(shù)據(jù)點(diǎn)，但該網(wǎng)格點(diǎn)的前一格點(diǎn)可能為(

n

-1，

m

)、(

n

-1，

m

-1)或(

n

-1，

m

-2)中的任意一個(gè)，這時(shí)獲取的路徑累積距離如下式所示

D

(

n

，

m

)=

d

[

T

(

n

)，

R

(

m

)]+min[

D

(

n

-1，

m

)，

D

(

n

-1，

m

-1)，

D

(

n

-1，

m

-2)]

(15)

式中，獲取的路徑累積距離為

D

(

n

，

m

)。由此可知，從(

n

，

m

)出發(fā)搜索(

n

，

m

)，…，(

n

，

m

)，將搜索的結(jié)果儲(chǔ)存到相應(yīng)的像素幀匹配距離

d

[

T

(

n

)，

R

(

m

)]中，最后將網(wǎng)格點(diǎn)中數(shù)據(jù)搜索到(

n

，

m

)時(shí)，將其進(jìn)行保留并作為該無(wú)參考圖像序列像素的最佳路徑，完成對(duì)無(wú)參考圖像序列像素的重構(gòu)。最佳路徑的約束示意圖如圖1所示。

圖1 無(wú)參考圖像序列像素最佳路徑約束示意圖

4 實(shí)驗(yàn)

為了驗(yàn)證上述方法的整體有效性，需要對(duì)此方法進(jìn)行測(cè)試。

4.1 實(shí)驗(yàn)結(jié)果及分析

分別采用DTW算法在無(wú)參考圖像序列像素重構(gòu)中的應(yīng)用(方法1)、基于像素鄰域核密度估計(jì)的無(wú)參考圖像序列像素重構(gòu)方法(方法2)、基于多尺度遞歸網(wǎng)絡(luò)的無(wú)參考圖像序列像素重構(gòu)方法(方法3)進(jìn)行測(cè)試；

1)在無(wú)參考圖像序列像素中添加一組雜亂數(shù)據(jù)，對(duì)方法1、方法2以及方法3的重構(gòu)圖像的像素路徑衰減曲線進(jìn)行檢測(cè)，檢測(cè)結(jié)果如圖2所示。

圖2 不同方法重構(gòu)圖像的像素路徑衰減曲線檢測(cè)結(jié)果

依據(jù)圖2可知，方法1能夠有效檢測(cè)出重構(gòu)圖像像素的路徑衰減曲線，并且能夠?qū)z測(cè)出的曲線與標(biāo)準(zhǔn)的路徑衰減曲線相接近，這主要是因?yàn)榉椒?利用了隨機(jī)森林原理對(duì)無(wú)參考圖像序列像素進(jìn)行了特征屬性的提取，因此該方法在像素中有雜亂數(shù)據(jù)的情況下，依然能夠精確地檢測(cè)出重構(gòu)圖像像素的路徑衰減曲線。

2)依據(jù)計(jì)算機(jī)仿真技術(shù)模擬一個(gè)無(wú)參考圖像序列像素，利用方法1、方法2以及方法3對(duì)無(wú)參考圖像序列像素進(jìn)行重構(gòu)，測(cè)試三種方法在不同網(wǎng)絡(luò)峰值下的像素覆蓋性能，測(cè)試結(jié)果如表1所示。

表1 不同像素重構(gòu)方法的像素覆蓋性能測(cè)試結(jié)果

依據(jù)表1可知，方法1的像素覆蓋性能要高于方法2以及方法3，雖然方法2在網(wǎng)絡(luò)峰值低于120bit/s時(shí)的像素覆蓋率能夠與方法1持平，但隨著網(wǎng)絡(luò)峰值的增加方法2的像素覆蓋率呈急速下降趨勢(shì)。這主要是因?yàn)榉椒?利用基尼指數(shù)對(duì)無(wú)參考圖像序列像素?cái)?shù)據(jù)集中的節(jié)點(diǎn)數(shù)據(jù)進(jìn)行劃分，因此該方法在網(wǎng)絡(luò)峰值較高的情況下依然能夠準(zhǔn)確地對(duì)無(wú)參考圖像序列像素進(jìn)行全面覆蓋。

3)依據(jù)上述測(cè)試結(jié)果，對(duì)三種像素重構(gòu)方法的平均峰值信噪比與結(jié)構(gòu)相似度進(jìn)行測(cè)試，以此檢測(cè)三種方法的平均重構(gòu)誤差，檢測(cè)結(jié)果如表2所示。

表2 不同方法的平均重構(gòu)誤差測(cè)試結(jié)果

依據(jù)表2可知，方法1的平均峰值信噪比和結(jié)構(gòu)相似度要優(yōu)于方法2和方法3，這主要是因?yàn)榉椒?運(yùn)用了bootstrapping方法對(duì)無(wú)參考圖像序列像素進(jìn)行了有放回地的數(shù)據(jù)采集，并基于決策樹(shù)原理對(duì)采集的數(shù)據(jù)進(jìn)行訓(xùn)練，獲取不剪枝的CART樹(shù)。因此方法1檢測(cè)出的平均峰值信噪比與結(jié)構(gòu)相似度都要高于其它方法，從而降低該方法的平均重構(gòu)誤差。

5 結(jié)束語(yǔ)

針對(duì)傳統(tǒng)像素重構(gòu)方法中出現(xiàn)的問(wèn)題，提出DTW算法在無(wú)參考圖像序列像素重構(gòu)中的應(yīng)用。該方法首先利用MK-SVD法對(duì)像素中的噪聲進(jìn)行去噪處理；再利用隨機(jī)森林原理提取像素的特征屬性；最后基于動(dòng)態(tài)時(shí)間規(guī)整(DTW)算法獲取像素的最佳路徑，從而完成無(wú)參考圖像序列像素的重構(gòu)。該方法由于在像素去噪時(shí)還存在一定問(wèn)題，因此今后會(huì)針對(duì)這一缺陷繼續(xù)完善該方法。