一種改進的奇異值降噪階次選取方法用于紫外光譜信號去噪的研究

代蕩蕩，王先培*，趙 宇，田 猛，龍嘉川，朱國威，張龍飛

1. 武漢大學電子信息學院，湖北 武漢 430072

2. 廣西電力科學研究院，廣西 南寧 530015

一種改進的奇異值降噪階次選取方法用于紫外光譜信號去噪的研究

代蕩蕩1，王先培1*，趙 宇1，田 猛1，龍嘉川1，朱國威1，張龍飛2

1. 武漢大學電子信息學院，湖北 武漢 430072

2. 廣西電力科學研究院，廣西 南寧 530015

光譜去噪是光譜檢測的重要環(huán)節(jié)。針對光譜信號易受光譜儀熱噪聲、現場機械振動以及隨機噪聲等因素影響，而在線監(jiān)測系統要求減少人為參數選擇對去噪效果的影響，提出利用奇異值分解(SVD)理論對光譜信號去噪。提出一種改進的降噪階次選取方法： 指定奇異值差分譜最大峰值點θ1為所選階次下界； 利用奇異值、奇異值差分譜綜合信息選取階次上界θ2； 將區(qū)間θ1～θ2定義為模糊區(qū)域，通過模糊C均值聚類求取隸屬度，賦予模糊區(qū)域內奇異值相應的權重系數。用所提方法對不同信噪比下SO2紫外光譜信號去噪，將信噪比、均方根誤差、波形相似系數、平滑度指標用于去噪效果的評價。去噪結果表明： 所提方法完全基于數據驅動，具有較好的去噪效果，能夠真實的恢復原始信號。

光譜去噪； 奇異值分解； 模糊C均值聚類

引 言

光譜技術常用于痕量氣體的定性、定量檢測[1]。然而在現場運用中，光譜信號不可避免的被某些噪聲所干擾。為提高定性、定量精度，光譜降噪顯得彌足關鍵。工程實踐中已有許多光譜信號降噪技術出現，如Savitzky-Golay濾波，小波變換(wavelet transform，WT)、小波包變換(wavelet packet transform，WPT)、經驗模態(tài)分解(empirical mode decomposition，EMD)等時-頻分析方法。Savitzky-Golay濾波是一種方便快捷的濾波方法，對高頻噪聲具有較好的抑制效果，但仍需人工選擇濾波器參數(窗口寬度、擬合次數)，否則可能造成失真、影響定量精度[2]。小波變換和小波包變換的去噪性能則與最佳小波基、最佳分解層數以及小波閾值的選取密切相關[3]。經驗模態(tài)分解在模態(tài)函數篩選、端點效應和冗余模態(tài)處理等問題上還有待深入研究[4]。

作為一種自適應的，數據驅動式信號處理技術，奇異值分解理論(singular value decomposition, SVD)對信號的識別和描述采用時域性的頻域分析方式，具有強化周期信號的能力。它無需對信號和噪聲特性做出先驗假設，對非線性、非平穩(wěn)信號也具有較好的去噪效果，已成功運用于振動信號的降噪處理[5-6]。筆者曾利用紫外光譜檢測系統監(jiān)測氣體絕緣組合電器設備(GIS)內SO2氣體含量，達到了對設備局部放電故障的預警，相關研究見文獻[7]。針對紫外光譜信號會受光譜儀熱噪聲、現場機械振動以及隨機噪聲等因素影響，提出利用Savitzky-Golay濾波對光譜信號降噪，取得了不錯的去噪效果。然而，文獻[7]所述紫外光譜檢測系統將用于GIS局部放電故障的在線監(jiān)測，期望減少人工參數選擇對信號去噪效果的影響，因此，一種自適應的、數據驅動式去噪方法更符合要求。據此，本文提出將SVD運用于紫外光譜信號的去噪。

SVD降噪階次(有效奇異值)的選擇是影響去噪效果的關鍵因素，文獻[8]提出選取奇異值差分譜最大峰值點作為降噪階次，文獻[9]從信息熵的角度出發(fā)，提出了奇異熵的概念，文獻[10]則從函數的凹凸性考慮，提出了奇異值曲率譜的想法。這些階次選取方法在某些情況下都具有不錯的去噪效果，本質上不同的階次選擇方法均是基于信號和噪聲奇異值的差異性。階次選取的難點在于，低信噪比下，信號和噪聲的邊界很難區(qū)分，上述方法均嚴格地將信號和噪聲分成兩類。本文從模糊數學的角度[11]，將階次選取分為四個步驟： 第一步，選取信號和噪聲的嚴格分界點，即階次的下界θ1； 第二步，選取信號和噪聲的寬松分界點，即階次的上界θ2； 第三步，給定θ1～θ2之間的奇異值一定的權重系數； 第四步，保留區(qū)間1～θ1之間的奇異值和加權后θ1～θ2之間的奇異值，其他奇異值置0，進行信號重構。

因此，在已有的研究基礎上，本文提出將奇異值差分譜、奇異熵增量以及奇異值曲率譜組成一個三維奇異信息，通過模糊C均值(Fuzzy C-Mean，FCM)聚類[12]，并依據聚類結果(隸屬度)給定模糊區(qū)域奇異值相應的權重系數。

本文將首先介紹SVD去噪和FCM聚類的一般步驟，然后將FCM聚類用于θ1～θ2區(qū)域奇異值權重系數的分配。最后以紫外光譜信號為例，通過混入不同信噪比高斯白噪聲，用所提方法去噪。信噪比(signal to noise ratio，SNR)、均方根誤差(root mean square error，RMSE)、波形相似系數(normalied correlation coefficient，NCC)、平滑度指標(smoothness radio，SR)將用于去噪效果的評價。

1 奇異值分解去噪

假設存在矩陣A∈Rm×n，可以找到正交矩陣U∈Rm×m和正交矩陣V∈Rn×n，使得

A=USVT

(1)

式(1)中，矩陣U稱為左奇異矩陣，矩陣V稱為右奇異矩陣，矩陣S是奇異值矩陣，形式如下

若原始信號為s(n)，噪聲信號為ε(n)，含噪信號為

(2)

式(2)中，n為采樣數據長度。

構造含噪信號的Hankel矩陣

其中1

(1)對含噪信號的Hankel矩陣Am×n進行SVD處理。

(2)保留矩陣S中的有效奇異值，將其他奇異值置0，得到新的矩陣S′。

(3)利用新的矩陣S′、原始左奇異矩陣V和右奇異矩陣重構新的Hankel矩陣A′。

(4)利用A′恢復信號。

2 模糊C均值聚類

傳統的聚類算法是一種硬閥值聚類方法，每個樣本嚴格的屬于某一類。實際上，很多情況下樣本并沒有嚴格的類別區(qū)分，特別在邊界區(qū)域。模糊C均值聚類算法是用隸屬度確定每個元素屬于某個類別程度的一種聚類算法。本文中，在低信噪比條件下，很難區(qū)分邊界處某奇異值是信號還是噪聲所產生，因此通過隸屬度給定該區(qū)域奇異值一個權重系數符合奇異值分析的物理意義。模糊C均值聚類是一種非監(jiān)督模式的聚類算法，需要預先確定類別個數。很明顯，本文需要區(qū)分兩類，即信號奇異值和噪聲奇異值。模糊C均值聚類的一般描述如下：

假設x是一個d維向量，樣本集X={x1，x2，…，xl}，其中l(wèi)為樣本個數。xi=(xi1，xi2，…，xid)，其中i為樣本序列號，1≤i≤l，d為樣本維度。FCM算法把l個數據向量xi分為c個模糊類，并求每類的聚類中心，從而使模糊目標函數最小，模糊目標函數為

(3)

式(3)中，uij為樣本個體xi屬于第j類的模糊隸屬度，uij∈[0，1]；r為模糊權重指數，r∈[1，∞]，經驗范圍[13]為[1.5，2.5]；vj為第j類的聚類中心；uij和vj的計算公式為

3 FCM用于奇異值權重系數分配

舍棄較小的奇異值來逼近原Hankel矩陣Am×n是信號去噪的基礎。從信號和噪聲奇異值變化、變化率的差異性以及信息增益的角度考慮，將奇異值差分譜、奇異熵增量和奇異值曲率譜表示為一個三維數據，作為FCM的輸入。需要指出的是，FCM聚類是一種非監(jiān)督的聚類算法，聚類效果與所選數據特征密切相關，所選三個特征均對SNR表現敏感，測試結果表明這三個特征能夠合理的對樣本數據聚類。算法具體步驟如下：

(1) 構造混合信號的Hankel矩陣，計算其奇異差分譜、奇異熵增量、奇異值曲率譜。

(2) 將每個奇異差分譜、奇異熵增量和奇異值曲率譜組成一個三維數據作為一個樣本數據，樣本總個數等于非零奇異值個數。

(3) 設定聚類個數c=2，權重系數r=2。

(4) 隨機給定uij，組成隸屬度矩陣U=[uij]。

(5) 計算聚類中心vj。

(6) 計算新的uij。

(7) 計算兩次連續(xù)迭代的隸屬度矩陣差值D=‖Us-Us-1‖，若終止D≤10-4，否則返回(5)。

4 降噪階次的寬松選取

奇異值差分譜的最大峰值點表明此位置前后奇異值存在最大的性質差異[8]，但是選取該點作為降噪階次太過苛刻。因此，選定最大峰值點為降噪階次的下界θ1，提出一種寬松的階次選取方法為降噪階次的上界θ2。步驟如下：

(1)計算奇異值譜{δi}和奇異值差分譜{d(δi)}，采用前向差分。

(2)找出{d(δi)}中所有的峰值點，并構建集合R。隨后，找出R中大于{d(δave)}的點所對應的奇異值，并構建閾值候選集Φ，{d(δave)}指{d(δi)}的平均值。

(3)找出奇異值譜中大于δave的點所對應的奇異值，并構建集合Ω。隨后，選取集合Ω中的最小元素δmin作為信號、噪聲的近似邊界。這里δave指δi的平均值。

(4)若δmin∈Φ，則可直接將δmin確定為最終的去噪閾值δfinal； 否則，找出集合Φ中最接近δmin的元素并將其作為δfinal。

5 去噪流程

具體去噪流程如下：

(1)指定奇異值差分譜最大峰值點為θ1。

(2)選取θ2。

(3)通過FCM給出θ1～θ2之間奇異值權重系數。

(4)保留1～θ1之間的奇異值和θ1～θ2之間加權后的奇異值，對其它奇異值置0，進行信號重構。

6 SO2紫外光譜信號去噪

選取5 μL·L-1SO2在290～310 nm波段的差分吸收譜為無噪信號，混入高斯白噪聲, 信噪比為5 dB。光譜采樣間隔為0.13 nm，信號長度為151。無噪信號譜圖、加噪信號譜圖分別如圖1和圖2所示。

圖1 無噪信號譜圖

構造該含噪信號的Hankel矩陣，矩陣大小為77行75列，進行SVD, 奇異值和奇異值差分譜如圖3所示。

圖3中，奇異值差分譜最大峰值出現在第二階次。采用前2個奇異值進行去噪，去噪結果如圖4所示。

降噪后，譜圖得到了較好的平滑，在低波段出現輕微的峰谷偏移，整體信號略有丟失。結果表明，SVD理論可以用于紫外光譜信號的去噪，但是在階次選取時需要慎重。

指定第2階次為降噪階次下界，根據所提階次寬松選取方法，得到階次上界為5。根據FCM聚類得到隸屬度U，通過隸屬度U給出θ1～θ2之間奇異值權重系數。

圖2 加噪信號譜圖

圖3 5 dB信噪比含噪信號奇異值及奇異值差分譜

圖4 采用前2個奇異值重構信號結果

上述結果可以理解為： 前2個奇異值完全由信號產生，第2到第5個奇異值是一個模糊區(qū)域，通過U給定這3個奇異值相應的權重系數，權重可以理解為這3個點屬于信號成分的比例，加權后與前2個奇異值一起重構信號，去噪結果如圖5所示。

圖5 采用所提方法重構信號結果

降噪后，譜圖得到了較好的平滑，也基本保持了原信號的特征信息。相比于選擇奇異值差分譜最大峰值所在階次，本方法的去噪效果更好，這種完全依賴數據分布的階次選擇方法很好地區(qū)分了信號和噪聲奇異信息的差異。

為驗證在其他信噪比下所提聚類方法有效，在原信號中混入15 dB高斯白噪聲。構建新的Hankel矩陣，并進行SVD，奇異值和奇異值差分譜如圖6所示。

圖6 15 dB信噪比含噪信號奇異值及奇異值差分譜

可以看到奇異值差分譜最大峰值點仍為第2階次。選取階次上界，仍為第5階次。FCM聚類給定權重系數。去噪結果如圖7所示。

分別計算兩次去噪后，SNR，RMSE，NCC和SR。這里，SNR大小與去噪效果成正比，RMSE大小與去噪效果成反比。NCC反映去噪光譜與原始標準光譜的波形差異, 取值范圍為[-1, 1], -1表示去噪前后波形完全反向，0表示兩波形正交，1表示完全相同。SR的值越接近1, 去噪光譜平滑度越接近標準光譜的平滑度。結果如表1所示。

圖7 采用所提方法重構信號結果

表1 去噪結果 Tabel 1 Results after denoising

去噪前SNR/dB去噪后SNR/dBRMSENCCSR512 72543 0967×10-50 97340 99851515 95702 134×10-50 98721 0325

結果顯示，無論在低信噪比還是高信噪比下，本文所提方法都有較好的去噪效果，能夠準確的恢復原始光譜信號。特別指出的是，波形相似系數接近1對于定性分析具有重要意義。

7 結 論

SO2是GIS局部放電下穩(wěn)定的特征衍生物[14]，通過光譜檢測系統監(jiān)測其含量意義重大。本文引入奇異值分解理論對紫外光譜信號去噪，提出了一種改進的去噪階次選取方法。指定奇異值差分譜最大峰值點為所選階次下界，利用奇異值、奇異值差分譜綜合信息選取階次上界，定義上界下界之間為模糊區(qū)域。將奇異值差分譜、奇異熵增量以及奇異值曲率譜組成一個三維奇異信息，利用FCM聚類給定模糊區(qū)域奇異值權重系數，對模糊區(qū)域奇異值加權處理。仿真結果表明，本方法具有較好的去噪效果，特別是在低信噪比下，能夠較好的恢復原始光譜波形。與傳統的去噪方法相比，本方法具有較好的去噪效果[7]，且完全基于數據驅動，不需要人工選擇參數，對于要求減少人工干預的在線測量系統具有重要意義。需要指出是，此處所給權重系數，完全依賴數據分布特性，是通過機器學習的方式給出。因此在特征選取時需要慎重。

[1] Xu C, Chen H, Yan Y, et al. Fuel, 2015，151(7): 73.

[2] Czarnecki M A. Applied Spectroscopy, 2015, 69(1): 67.

[3] LIU Zhi-gang, WANG Xiao-ru, QIAN Qing-quan(劉志剛, 王曉茹，錢清泉). Automation of Electric Power Systems(電力系統自動化), 2003, 27(6): 73.

[4] DAI Wu-jiao, DING Xiao-li, ZHU Jian-jun, et al(戴吾蛟, 丁曉利，朱建軍，等). Acta Geodaetica et Cartographica Sinica(測繪學報), 2006, (4): 321.

[5] Elsner J B, Tsonic A A. Springer Berlin, 1996, 1283(4): 932.

[6] Oropeza V, Sacchi M. Geophysics, 2011, 76(3): 25.

[7] DAI Dang-dang, WANG Xian-pei, HU Hong-hong, et al(代蕩蕩, 王先培，胡紅紅，等). Spectroscopy and Spectral Analysis(光譜學與光譜分析), 2014, 34(12): 3312.

[8] ZHAO Xue-zhi, YE Bang-yan, CHEN Tong-jian(趙學智, 葉邦彥, 陳統堅). Journal of Mechnical Engineering(機械工程學報), 2010, 46(1): 100.

[9] Yang W，Tse P W. NDT & E International, 2003, 36(6): 419.

[10] ZHAO Xue-zhi, YE Bang-yan, CHEN Tong-jian(趙學智, 葉邦彥, 陳統堅). Journal of South China University of Technology(華南理工大學學報·自然科學版), 2010，38(6): 11.

[11] FU Yang, JIANG Yu-rong, CUI Chun-hong, et al(符 楊，江玉蓉，崔春洪，等). High Voltage Engineering(高電壓技術), 2008, 34(5): 1040.

[12] Tang J, Liu F, Meng Q H, et al. IEEE Transactions on Dielectrics and Electrical Insulation, 2012，12(1): 37.

[13] GAO Xin-bo, PEI Ji-hong, XIE Wei-xin(高新波, 裴繼紅，謝維信). Acta Electronic Sinica(電子學報), 2000, 28(4): 80.

[14] Tang J, Tang Ju, Zhang Xiaoxing, et al. IEEE Transactions on Dielectrics and Electrical Insulation, 2012，19(1): 29.

(Received Apr. 27, 2015; accepted Aug. 8, 2015)

*Corresponding author

Research on Denoising Ultraviolet Spectrum Signal with An Improved Effective Singular Value Selection Method

DAI Dang-dang1，WANG Xian-pei1*，ZHAO Yu1，TIAN Meng1，LONG Jia-chuan1，ZHU Guo-wei1，ZHANG Long-fei2

1. School of Electronic Information, Wuhan University, Wuhan 430072, China

2. Guangxi Grid Electric Power Research Institute, Nanning 530015, China

Spectrum denoising is an important part of spectrum detection. As we know, spectral signal is susceptible to thermal noise, mechanical vibration on site and random noise, etc. However, online monitoring systems require to reduce the impact of parameter selection caused by human operation on denoising, so a method based on singular value decomposition is proposed to denoise spectrum signal. An improved effective singular value selection method is also proposed. First, the author specify the maximum peak of the difference spectrum of singular value for the lower bound which namedθ1, using the integrated information of singular value and its difference spectrum to select the upper bound, which is calledθ2. The intervalθ1～θ2is defined as a fuzzy area. Then, the membership is obtained with Fuzzy C-means clusting and corresponding weight coefficients to the singular values in the fuzzy area are given. Finally, the proposed method is used to denoise UV spectrum signal with different signal to noise ratio. The signal to noise ratio, root mean square error, normalied correlation coefficient and smoothness radio are used to evaluate the result of denoising. The result shows that: based on data-driven, the proposed method has a good denoising effect, which can effectively restore the original signal.

Spectra denoising; Singular value decomposition; Fuzzy C-means clusting

2015-04-27，

2015-08-08

國家自然科學基金項目(50677047)，中國南方電網科技項目(K-GX2011-019)和湖北省科學條件專項基金項目(2013BEC010)資助

代蕩蕩，1991年生，武漢大學電子信息學院博士研究生 e-mail: daidangdang@whu.edu.cn *通訊聯系人 e-mail: xpwang@whu.edu.cn

O657.3

A

10.3964/j.issn.1000-0593(2016)07-2139-05