雙層優(yōu)化估計圖像去噪問題的退火參數(shù)

馮象初，衛(wèi)麗麗

(西安電子科技大學(xué) 數(shù)學(xué)與統(tǒng)計學(xué)院，陜西 西安 710126)

由于圖像成像過程中會受到各種因素的影響，得到的初始圖像往往含有不同性質(zhì)的噪聲，干擾了人們對圖像信息的理解，因此需對圖像進(jìn)行去噪處理。圖像去噪技術(shù)目前已經(jīng)有很豐碩的成果[1-4]，其中基于變分理論的方法在圖像去噪問題中取得了巨大成功。變分方法的基本原理是設(shè)計一個極小化能量泛函，當(dāng)達(dá)到最小化能量狀態(tài)時即得到了最優(yōu)的圖像估計。

在使用變分方法進(jìn)行圖像去噪時，值得注意的是正則化參數(shù)的選取問題。在變分圖像去噪模型中，數(shù)據(jù)項(xiàng)用于保持原有信息，正則項(xiàng)用于光滑化，合理選取二者之間的正則化參數(shù)尤為重要。實(shí)際上，學(xué)界已經(jīng)提出了很多種正則化參數(shù)選取方法以提升去噪效果，如基于先驗(yàn)策略選取參數(shù)的方法，以及基于后驗(yàn)選取策略，如Morazov偏差原理[5]，廣義交叉檢驗(yàn)準(zhǔn)則[6]等方法。最近，由于優(yōu)化學(xué)習(xí)方法的廣泛使用，KUNISH等[7]將雙層優(yōu)化問題引入變分模型中，提出了半光滑牛頓算法來求解變分模型中的參數(shù)，REYES等在文獻(xiàn)[8-10]中，通過建立雙層優(yōu)化模型，設(shè)計了半光滑的牛頓方法與BFGS迭代算法相結(jié)合的求解算法，有效地學(xué)習(xí)了變分方法去除混合噪聲的兩個標(biāo)量參數(shù)。模擬退火算法[11]則從另一個方面對正則化參數(shù)加以改進(jìn)，其目的是提升計算效率。它選取一組單調(diào)增加的參數(shù)(稱為退火參數(shù))用于迭代計算，每一步迭代以上一步計算結(jié)果作為初值。然而模擬退火選取的退火參數(shù)往往是基于先驗(yàn)知識的，如何利用訓(xùn)練數(shù)據(jù)給出最優(yōu)退火參數(shù)的估計是個值得研究的問題。

筆者提出一個新的雙層優(yōu)化模型用于確定退火參數(shù)，在下層問題中增加了新的正則化項(xiàng)以保證解的存在性，同時利用反向傳播(Back-Propagation，BP)算法[12]，提出了優(yōu)化退火參數(shù)的有效算法，最后還給出了一種泛化方式。文中在優(yōu)化過程中，并沒有強(qiáng)加單調(diào)性的要求，而學(xué)到的退火參數(shù)卻具有單調(diào)增加的特性，這表明從數(shù)據(jù)中學(xué)到的算法是符合模擬退火方法假定的。據(jù)了解，這是第一次通過訓(xùn)練數(shù)據(jù)明確觀測到這種現(xiàn)象。

1 正則化參數(shù)的選取

1.1 全變差模型正則化參數(shù)

圖像在獲取、傳輸、存儲等過程中時常會受到各種因素的干擾而導(dǎo)致退化現(xiàn)象的產(chǎn)生。圖像退化的數(shù)學(xué)模型可表示為

f=Ru+n，

(1)

其中，u為原始圖像，f為觀測圖像，R為線性模糊算子(例如卷積算子)，n為噪聲。通常用概率分布描述信號傳輸或處理造成的失真情況，文中噪聲模型均以高斯白噪聲來考慮，即n～N(0，σ2)。

基于變分的圖像恢復(fù)模型以圖像退化模型為基礎(chǔ)，將原始圖像的先驗(yàn)信息引入目標(biāo)函數(shù)作為約束，使得恢復(fù)后圖像更接近真實(shí)圖像。其中受到廣泛關(guān)注的即為Rudin、Osher和Fatemi在1992年提出的全變差模型，也稱ROF模型[13]。他們認(rèn)為圖像是分片光滑的，可以存在不連續(xù)信息。利用此先驗(yàn)信息和最大后驗(yàn)估計(Maximum A Posteriori estimation，MAP)給出原始圖像的恢復(fù)模型為

(2)

其中，BV為有界變差函數(shù)空間，Ω是有界開區(qū)域，具有Lipschitz邊界，λ為正則化參數(shù)，?為梯度算子。式中第1項(xiàng)稱為保真項(xiàng)，用來保證恢復(fù)圖像與觀測圖像之間距離足夠??；第2項(xiàng)稱為正則項(xiàng)，用來懲罰圖像的不連續(xù)點(diǎn)，在去除噪聲的同時能夠很好地保持邊緣結(jié)構(gòu)。

當(dāng)模糊算子R=I時，式(2)即為經(jīng)典的去噪模型：

(3)

式(3)的數(shù)值求解方法如下：根據(jù)變分原理，其相應(yīng)的Euler-Lagrange方程為

(4)

結(jié)合梯度下降法將式(4)轉(zhuǎn)化為偏微分方程：

(5)

使用合適差分形式求解式(5)式，得

(6)

當(dāng)取0<λ?1時，恢復(fù)圖像u≈f。當(dāng)取λ?1時，恢復(fù)圖像u≈c(常數(shù))，如圖1所示。從結(jié)果可看出參數(shù)λ起著平衡兩項(xiàng)的關(guān)鍵性作用，參數(shù)λ越小，恢復(fù)圖像越接近噪聲圖像；參數(shù)λ越大，恢復(fù)圖像就越光滑。因此可看出正則化參數(shù)的選取十分重要。

(a) 噪聲圖(σ2=202)

1.2 雙層優(yōu)化估計最優(yōu)正則參數(shù)

(7)

其中，u*表示原始圖像，ε是附加正則項(xiàng)對應(yīng)系數(shù)。文獻(xiàn)[10]給出了解的存在性定理。

定理1[10]對于u，f∈BV(Ω)∩L2(Ω)，ε>0，問題(7)存在最優(yōu)解λ，且滿足λ>0。

1.3 模擬退火方法

模擬退火方法則從另一個角度考慮正則化參數(shù)的作用。在式(6)的迭代中，初始值u0是從f出發(fā)，迭代直到收斂。為了提高計算效率，借用模擬退火方法的思想，取λk單調(diào)遞增，使得λk→λ，每次迭代以上一次迭代的結(jié)果作為初始值，從而有

(8)

2 最優(yōu)退火參數(shù)的估計

2.1 最優(yōu)退火參數(shù)估計模型的建立

受到雙層優(yōu)化估計最優(yōu)正則化參數(shù)方法的啟發(fā)，文中希望可利用訓(xùn)練數(shù)據(jù)估計最優(yōu)退火參數(shù)，故此建立雙層優(yōu)化模型如下：

(9-1)

(9-2)

(9-3)

2.2 模型的求解

對于式(7)的求解，文獻(xiàn)[9]中利用對偶形式和半光滑牛頓法求解上述雙層優(yōu)化問題。由于式(9)下層問題每次迭代過程參數(shù)都是不同的，因此為了求解最優(yōu)的退火參數(shù)，利用反向傳播算法，提出了一種新的求解方法。

圖2 迭代展開網(wǎng)絡(luò)

對于上述N層網(wǎng)絡(luò)優(yōu)化問題，可根據(jù)BP方法進(jìn)行求解。BP方法是由信號的正向傳播與誤差的反向傳播兩個過程組成，經(jīng)過信號正向傳播與誤差反向傳播，不斷地調(diào)整每層網(wǎng)絡(luò)中的參數(shù)，直至達(dá)到最優(yōu)。具體的推導(dǎo)過程如下所示：

對于式(9)，存在一個拉格朗日乘子B(k)，使得

(10)

根據(jù)拉格朗日乘子法，可知式(10)解需要滿足下列條件：

(11-1)

(11-2)

(11-3)

對于式(11-1)求解：

對于式(11-2)，通過計算求解可得

由于該問題為一個固定點(diǎn)問題，式(11)即為駐點(diǎn)條件。為了尋找極小值在此運(yùn)用了最速下降的方法，即

(12)

綜上分析，雙層優(yōu)化估計退火參數(shù)求解算法，具體步驟如下：

步驟1 輸入噪聲圖f1，…fP，初始退火參數(shù)λ1，…λN，時間步長Δt，參數(shù)η，迭代次數(shù)iter。

沙三下砂礫巖體儲集物性與含油性密切相關(guān)，因此含油性預(yù)測即為儲集物性預(yù)測。而儲集物性與沉積特征、地層壓力和構(gòu)造應(yīng)力特征密切相關(guān)。

步驟3 循環(huán)迭代：

由式(11-2)計算Bp(k)；

由(12)式更新λk；

步驟4 判斷：如果迭代次數(shù)大于iter，則停止迭代；否則，繼續(xù)迭代；

步驟5 輸出：恢復(fù)圖u1，…up，最優(yōu)退火參數(shù)λ。

3 數(shù)值仿真

3.1 參數(shù)確定以及模型去噪效果

文中算法均在HP-Z230(4核3.30 GHz CPU和16 G RAM)平臺上實(shí)現(xiàn)，Matlab R2018b編程環(huán)境在Windows 7操作系統(tǒng)中運(yùn)行。選取圖像恢復(fù)數(shù)據(jù)集(USC SIPI-Misc)以及一些常用的圖像(如lena、house、cameraman、peppers等)進(jìn)行實(shí)驗(yàn)。

由于文中模型是基于統(tǒng)計學(xué)的最大后驗(yàn)估計提出的，在保證泛化能力的同時，模型中每層僅有一個參數(shù)需要修正，少量樣本的訓(xùn)練即可得到收斂的結(jié)果，增加訓(xùn)練樣本，退火參數(shù)值變化微小。實(shí)際上，筆者利用了20對圖像進(jìn)行訓(xùn)練，圖3給出了噪聲標(biāo)準(zhǔn)差為20時，其中8對訓(xùn)練樣本圖像。對于所提算法中其它超參數(shù)的選取，根據(jù)實(shí)驗(yàn)研究，深度N=16時已經(jīng)得到了很好的效果，隨著N的增加，PSNR值的變化僅在0.005左右，差別微小，故在此選取超參數(shù)值N=16，Δt=0.002，η=0.04，ε=0.01，iter=400。退火參數(shù)初值λk選為0.5，對其進(jìn)行一定范圍的波動，與最終確定的參數(shù)得到的實(shí)驗(yàn)效果相差很小，說明算法對初值具有一定的穩(wěn)定性。

(a) 干凈圖 (b) σ2=202帶噪圖

噪聲標(biāo)準(zhǔn)差為20時，實(shí)驗(yàn)所得最優(yōu)退火參數(shù)[λ1，…，λ16]=[0.887 6，0.990 5，1.049 8，1.149 0，1.282 9，1.413 6，1.573 6，1.742 4，1.942 0，2.194 2，2.461 4，2.801 6，3.239 1，3.698 0，4.592 3，5.577 9]利用所得最優(yōu)退火參數(shù)，從常用恢復(fù)圖像數(shù)據(jù)集中隨機(jī)選取更多的與訓(xùn)練集不同的圖像進(jìn)行測試，結(jié)果表明雙層優(yōu)化估計退火參數(shù)算法有著很好的去噪效果，表1(左3列)隨機(jī)給出了其中6幅測試圖像的結(jié)果。同樣地，算法也可以直接應(yīng)用于彩色圖像去噪問題，相同的實(shí)驗(yàn)過程，表1(右3列)隨機(jī)給出了6幅彩色圖像測試結(jié)果。

對上述20幅圖像加上其他方差的噪聲構(gòu)成訓(xùn)練樣本對，利用式(9)估計對應(yīng)的最優(yōu)退火參數(shù)。表2給出了噪聲標(biāo)準(zhǔn)差為1，5，8，10，15，25訓(xùn)練樣本對實(shí)驗(yàn)所得相應(yīng)最優(yōu)退火參數(shù)值，表中每一列為對應(yīng)于同一個噪聲方差的16個最優(yōu)退火參數(shù)值，每一行為給定的退火參數(shù)在7個不同噪聲條件下的最優(yōu)值。隨后，利用不同噪聲方差最優(yōu)退火參數(shù)分別對同樣噪聲下的測試集進(jìn)行測試，結(jié)果表明雙層優(yōu)化估計退火參數(shù)算法均有著很好的去噪效果，表3給出了其中部分實(shí)驗(yàn)結(jié)果。

表1 標(biāo)準(zhǔn)差為20的測試圖像去噪的結(jié)果(PSNR)) dB

表2 不同噪聲方差下最優(yōu)退火參數(shù)的估計值

表3 不同方差噪聲下測試圖像的去噪結(jié)果(PSNR) dB

3.2 和其他模型去噪效果對比

為了進(jìn)一步評價文中基于雙層優(yōu)化學(xué)習(xí)的退火參數(shù)方法的有效性，選用常用的基于先驗(yàn)的參數(shù)選取方法模擬退火方法和基于后驗(yàn)的選取方法廣義交叉驗(yàn)證準(zhǔn)則方法，與文中算法進(jìn)行了大量的對比實(shí)驗(yàn)，新方法均取得了較好的結(jié)果。實(shí)際上，將雙層優(yōu)化應(yīng)用于模擬退火算法中后，提升了參數(shù)的估計精度，去噪結(jié)果也平均提升了0.1 dB。計算效率方面，當(dāng)參數(shù)確定后，任一測試圖像僅需有限次迭代即可完成，計算復(fù)雜度為O(N)，表4給出了3個比較結(jié)果的例子。

表4 利用不同的參數(shù)選取模型去噪的結(jié)果對比(PSNR) dB

3.3 基于學(xué)習(xí)的退火參數(shù)分析

對雙層優(yōu)化估計所得退火參數(shù)進(jìn)行具體分析，從表2每一列可以看出，固定噪聲方差，隨著k的增加參數(shù)均呈單調(diào)遞增趨勢，和模擬退火算法增長趨勢是一致的，說明隨著k的增加，正則化項(xiàng)也在相應(yīng)地加強(qiáng)。模擬退火方法是基于先驗(yàn)知識的算法，λk的單調(diào)遞增方式也是先驗(yàn)設(shè)定的。利用數(shù)據(jù)學(xué)習(xí)的方法，可以從數(shù)據(jù)中自適應(yīng)地學(xué)習(xí)到一組最優(yōu)的參數(shù)增長方式，如圖4所示。注意到在優(yōu)化過程中，并沒有強(qiáng)加單調(diào)性的要求，因而從數(shù)據(jù)學(xué)習(xí)的角度表明了迭代過程中正則化參數(shù)單調(diào)增加的合理性。據(jù)檢索所知，這是第一次通過訓(xùn)練數(shù)據(jù)明確觀測到這種現(xiàn)象。

(a) σ2=102

從表2每一行可以看出，隨著噪聲方差的增加，退火參數(shù)也是增加的，表明正則項(xiàng)的作用在加強(qiáng)；而在另一個方向上，當(dāng)噪聲方差減小趨于0時，退火參數(shù)收斂到0，這和正則化參數(shù)的收斂性要求是一致的。圖5給出了3個參數(shù)的圖示。

3.4 算法自適應(yīng)性分析

通過對自然圖像的訓(xùn)練樣本學(xué)習(xí)，得到了相應(yīng)的最優(yōu)退火參數(shù)及單調(diào)遞增的變化趨勢。為了研究最優(yōu)參數(shù)對訓(xùn)練數(shù)據(jù)的自適應(yīng)性，我們選取一類紋理圖像數(shù)據(jù)作為訓(xùn)練樣本，分別對噪聲標(biāo)準(zhǔn)差為10，15，20的情形進(jìn)行類似的實(shí)驗(yàn)。學(xué)習(xí)得到相應(yīng)的最優(yōu)退火參數(shù)如圖6所示。結(jié)果表明，迭代過程中正則化參數(shù)數(shù)值和單調(diào)增加模式是根據(jù)不同的訓(xùn)練數(shù)據(jù)自適應(yīng)調(diào)整的。

(a) 參數(shù)λ2

(a) σ2=102

4 插值泛化

式(9)是針對給定的噪聲方差，估計對應(yīng)的最優(yōu)退火參數(shù)。利用這個模型，給出了7種不同方差噪聲對應(yīng)的最優(yōu)退火參數(shù)(表2，圖5)。為了處理其它方差噪聲圖像的恢復(fù)問題，可用文中算法得到的最優(yōu)退火參數(shù)去估計其他方差的最優(yōu)退火參數(shù)。從4.3節(jié)分析可看出對每層的退火參數(shù)，隨著噪聲方差的增加，退火參數(shù)也在不斷地連續(xù)增加，表明退火參數(shù)也是依賴于噪聲方差的連續(xù)的單調(diào)遞增函數(shù)(圖5)。因此可根據(jù)已知所得數(shù)據(jù)，通過插值的方法估計出其他噪聲方差下的最優(yōu)退火參數(shù)。

通過上述分析，利用表2數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，選用3次拉格朗日插值方法[18]估計其他噪聲方差圖像的退火參數(shù)。3次插值樣本點(diǎn)取估計方差左右最近的4個點(diǎn)。利用插值估計的退火參數(shù)，分別對其相對應(yīng)噪聲測試集圖像進(jìn)行實(shí)驗(yàn)，結(jié)果表明插值估計所得退火參數(shù)同樣有著較好的去噪效果，這也說明了文中算法有著較好的泛化能力。表5給出了插值泛化方法對4個不同噪聲方差測試圖像Lena去噪結(jié)果。

表5 插值泛化測試圖像的去噪效果(PSNR) dB

5 結(jié)束語

結(jié)合雙層優(yōu)化方法，筆者提出了退火參數(shù)估計的學(xué)習(xí)模型，設(shè)計了退火參數(shù)估計的有效算法。值得指出的是，優(yōu)化問題中未加任何單調(diào)性約束條件，學(xué)習(xí)得到的退火參數(shù)卻表現(xiàn)出單調(diào)遞增趨勢，因而從數(shù)據(jù)學(xué)習(xí)的角度表明了迭代過程中正則化參數(shù)單調(diào)增加的合理性。相較現(xiàn)有常用的基于經(jīng)驗(yàn)的參數(shù)選取方法，新方法從訓(xùn)練樣本中自適應(yīng)學(xué)習(xí)到數(shù)值最優(yōu)的退火參數(shù)和變化模式，從而使退火模型既保證了計算效率，也擁有了較好的去噪效果。最后，文中提出了一種簡單的插值泛化方法，表明了所提算法有著很好的泛化能力，使提出的模型可以適應(yīng)不同強(qiáng)度的噪聲去除問題。仿真實(shí)驗(yàn)表明了方法的可行性和有效性。

文中主要討論了加性高斯噪聲下的圖像去噪問題，研究了利用雙層優(yōu)化選取最優(yōu)退火參數(shù)的模型和數(shù)值解法。在今后研究中將進(jìn)一步地把所提方法推廣到混合噪聲去噪等問題中。