基于改進(jìn)增廣拉格朗日乘子法的魯棒性主成分分析

楊劍哲，孫巧榆，王 君，程丹松，金 野，石大明

（1.哈爾濱工業(yè)大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院，150001哈爾濱；2.淮海工學(xué)院電子工程學(xué)院，222005江蘇連云港）

基于改進(jìn)增廣拉格朗日乘子法的魯棒性主成分分析

楊劍哲1，孫巧榆2，王 君1，程丹松1，金 野1，石大明1

（1.哈爾濱工業(yè)大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院，150001哈爾濱；2.淮海工學(xué)院電子工程學(xué)院，222005江蘇連云港）

針對增廣的拉格朗日乘子法在求解魯棒性主成分分析，特別是當(dāng)數(shù)據(jù)同時受到稀疏噪聲和高斯噪聲的干擾時，計算精度會降低，數(shù)據(jù)降維去噪任務(wù)不能很好完成的情況，提出改進(jìn)的增廣拉格朗日乘子法來解決上述問題.一是用基于最優(yōu)乘子初始化的改進(jìn)增廣拉格朗日乘子法來提高算法的計算精度，二是針對魯棒性主成分分析，提出一個帶高斯噪聲的凸優(yōu)化模型.實(shí)驗結(jié)果表明，本文提出的最優(yōu)乘子初始化改進(jìn)算法賦予增廣的拉格朗日乘子法一個最優(yōu)的拉格朗日乘子，從而提高算法的計算精度，而凸優(yōu)化模型能夠清晰地將高斯噪聲和稀疏噪聲從數(shù)據(jù)矩陣中分離出去，進(jìn)而提高數(shù)據(jù)對高斯噪聲的魯棒性.

魯棒性主成分分析；拉格朗日乘子的最優(yōu)初始化；增廣的拉格朗日乘子法；凸優(yōu)化；高斯噪聲

現(xiàn)實(shí)中存在的高維數(shù)據(jù)諸如圖像、視頻、生物信息、文檔等大都分布在一個低維的數(shù)據(jù)空間上.隨著科學(xué)技術(shù)和社會的發(fā)展，這些數(shù)據(jù)的維數(shù)也在快速增長.數(shù)據(jù)維數(shù)越高，對數(shù)據(jù)進(jìn)行處理的難度和復(fù)雜度也就越高.所以在數(shù)據(jù)處理之前進(jìn)行有效的數(shù)據(jù)降維就顯得尤為重要［1-4］.

主成分分析［1］PCA（principal componentanalysis）作為對高維數(shù)據(jù)進(jìn)行數(shù)據(jù)降維的有效方法之一，是一種無監(jiān)督的降維方法，它使用奇異值分解SVD（singular value decomposition）對數(shù)據(jù)進(jìn)行降維.當(dāng)高維數(shù)據(jù)受到的干擾足夠小時，主成分分析可表現(xiàn)出良好的性能.然而當(dāng)高維數(shù)據(jù)受到的噪聲干擾很大時，主成分分析并不能很好地完成降維任務(wù)，有時還會給出一個與全局最優(yōu)解相違背的值.所以為提高主成分分析的魯棒性，文獻(xiàn)［2］提出了魯棒性主成分分析RPCA（robust principal component analysis）.魯棒性主成分分析定義原始數(shù)據(jù)矩陣O由兩個部分組成：低秩部分P和稀疏噪聲部分Q，即原始數(shù)據(jù)矩陣可以表示為O=P+Q，而稀疏噪聲矩陣Q中非零元素大都具有較大的值．實(shí)踐證明即使在高維數(shù)據(jù)受到很大的噪聲時，魯棒性主成分分析仍能很好的完成降維任務(wù).在所有求解魯棒性主成分分析的算法中，增廣的拉格朗日乘子法是現(xiàn)有方法中運(yùn)算速度最快、求解精度最高的算法，但是也發(fā)現(xiàn)增廣的拉格朗日乘子法還有一些方面需要進(jìn)一步提升，例如當(dāng)乘子的初始值不夠接近最優(yōu)值，算法的運(yùn)算精度將會減小，并且內(nèi)外層循環(huán)的次數(shù)也將變多，進(jìn)而導(dǎo)致增廣的拉格朗日乘子法的計算精度減小，這意味著通過賦予乘子一個足夠優(yōu)化的初始值，算法的計算精度會隨之提高，而算法中運(yùn)行奇異值分解的次數(shù)也會隨之減少.本文提出一種迭代求解的方法來獲得足夠優(yōu)化的拉格朗日乘子，進(jìn)而提高增廣拉格朗日乘子法的運(yùn)算精度.

同時根據(jù)文獻(xiàn)［5］介紹可知，除了貝葉斯魯棒性主成分分析之外，其它用于求解魯棒性主成分分析的方法都基于這樣一個假設(shè)——原始數(shù)據(jù)矩陣由低秩數(shù)據(jù)矩陣和稀疏噪聲兩部分組成.但是現(xiàn)實(shí)中的數(shù)據(jù)矩陣常常同時受到高斯噪聲和稀疏噪聲的干擾，現(xiàn)有算法都會因受到高斯噪聲的干擾而變得不準(zhǔn)確.因此本文為魯棒性主成分分析提出一個新的凸優(yōu)化模型，把原始數(shù)據(jù)分為低秩數(shù)據(jù)、稀疏噪聲和高斯噪聲3個部分，并使用一個改進(jìn)增廣的拉格朗日乘子算法來求解這個新的凸優(yōu)化模型.通過實(shí)驗結(jié)果的對比可知，當(dāng)原始數(shù)據(jù)同時受到高斯噪聲和稀疏噪聲的干擾時，本文方法在求解魯棒性主成分分析的過程中表現(xiàn)出很好的效果.

1 魯棒性主成分分析求解方法

魯棒性主成分分析因其在數(shù)據(jù)受到稀疏噪聲擾動時也能表現(xiàn)出很好的魯棒性，所以越來越受到人們的關(guān)注，并提出了很多用于解決魯棒性主成分分析的方法［2，5-8，10-13］，這些方法一般可被分為3類：基于凸優(yōu)化模型的方法、基于貝葉斯理論的方法和基于M估計的方法.

1.1 基于貝葉斯理論的方法

貝葉斯魯棒性主成分分析（bayesian robust principal component analysis，BRPCA）［6］是基于一個分層貝葉斯框架的方法.它將原始數(shù)據(jù)矩陣看作由3個部分構(gòu)成：低秩數(shù)據(jù)部分P，稀疏部分Q和高斯噪聲部分R，即在貝葉斯魯棒性主成分分析中，原始數(shù)據(jù)矩陣為O=P+Q+R．其對應(yīng)的貝葉斯模型為O= U（MΛ）V+N。L+R，其中，U∈Rn×k，V∈Rk×m，Λ∈Rk×k是一個對角矩陣，L∈Rn×m，而。表示哈達(dá)馬積．此外，對角矩陣Λ對角線上的元素取值為0或1，矩陣N的元素取值為0或1且分布稀疏．文獻(xiàn)［6］中，使用蒙特卡羅馬爾可夫鏈和變分貝葉斯兩種方法來求解該貝葉斯模型．

1.2 基于M估計的方法

考慮到現(xiàn)實(shí)數(shù)據(jù)受到的干擾噪聲并不是稀疏的，為了從受到非稀疏噪聲干擾的數(shù)據(jù)中恢復(fù)原始數(shù)據(jù)，文獻(xiàn)［7-8］提出一種針對低秩矩陣恢復(fù)的魯棒性框架，該類方法使用魯棒性的M估計來求解魯棒性的主成分分析，然后通過求解這個帶有正則項的線性逆問題來得到初始M估計問題的解［9］.

1.3 基于凸優(yōu)化模型的方法

基于凸優(yōu)化模型的方法旨在解決具有以下形式的凸優(yōu)化問題：

式中：‖P‖?為矩陣P的核范數(shù)，核范數(shù)通過計算矩陣奇異值和得到可代表矩陣秩的特性；‖Q‖1為矩陣Q的l1范數(shù)；l1范數(shù)通過計算矩陣中所有元素的絕對值之和得到可代表矩陣稀疏的特性；λ是一個大于零的權(quán)重參數(shù)．求解該模型的常用方法有迭代閾值法IT（iterative thresholding approach）［11］、近端梯度法PG（proximal gradientapproach）［11］和加速的近端梯度法APG（accelerate proximal gradient approach）［10，14］.

2 基于最優(yōu)乘子初始化的改進(jìn)增廣拉格朗日乘子法

增廣的拉格朗日乘子法ALM（augmented lagrangemultiplier approach）在文獻(xiàn)［5］中提出，它幾乎是現(xiàn)有基于凸優(yōu)化模型方法中運(yùn)算速度最快、精度最高的方法，在每次更新完Y值之后只更新一次Pk，Qk值就足以求出一個收斂解.但是該方法賦予乘子Y的初始值不是乘子的最優(yōu)值，這將導(dǎo)致算法的運(yùn)算精度無法達(dá)到最優(yōu)，因此本文提出一種基于最優(yōu)乘子初始化的改進(jìn)增廣拉格朗日乘子法MEALM（multiplier estimation based augmented lagrange multiplier approach），該方法能夠賦予乘子一個最優(yōu)的初始值并以此提高算法的運(yùn)算精度.

根據(jù)凸優(yōu)化的對偶理論，可通過求解拉格朗日函數(shù)的下確界得到式（1）的拉格朗日對偶函數(shù)為

對于乘子Y的每一個值，拉格朗日對偶函數(shù)都給出式（1）目標(biāo)函數(shù)‖P‖?+λ‖Q‖1的最優(yōu)值的下界．可將式（2）的形式簡化成式（3）．

由于只有在‖Y‖?≤1的情況下，拉格朗日對偶函數(shù)d（Y）有界，所以將乘子Y的定義域定義為‖Y‖?≤1，據(jù)此定義式（1）的拉格朗日對偶函數(shù)為

即可通過最大化d（Y）的值來得到拉格朗日函數(shù)L（P，Q，Y，α）的最優(yōu)下界．它對應(yīng)的拉格朗日對偶問題為

式（5）在文獻(xiàn)［10］中被用來直接求解魯棒性主成分分析，而在本文則主要用來對拉格朗日乘子提供一個最優(yōu)值.由于式（5）的目標(biāo)函數(shù)是凸函數(shù)，且該問題的限制條件也是凸的，所以式（5）是一個凸優(yōu)化問題.可通過文獻(xiàn)［10］描述的方法來求解式（5），從而得到乘子Y的最優(yōu)值.此外，由于式（4）滿足強(qiáng)對偶性，而且式（5）的最優(yōu)解確實(shí)存在，所以式（1）的任意一個最優(yōu)解都對應(yīng)著拉格朗日對偶函數(shù)的一個最優(yōu)下界.可通過求解拉格拉日對偶問題的解來得到魯棒性主成分分析問題的最優(yōu)解.

將這個改進(jìn)算法定義為基于乘子估計的增廣拉格朗日乘子法（ME-ALM），詳細(xì)描述見算法1.

算法1 基于乘子估計的增廣拉格朗日乘子法

輸入：原始矩陣O，正值參數(shù)λ

輸出：（P?，Q?）

初始化 α0＞0；ρ＞0；k=0

乘子估計

通過增廣拉格朗日乘子法求解魯棒性主成分分析

3 帶高斯噪聲的魯棒性主成分分析模型及其增廣拉格朗日乘子法

考慮到數(shù)據(jù)常常同時受到稀疏噪聲和高斯噪聲的共同干擾，迫切希望將稀疏噪聲和高斯噪聲分別從原始數(shù)據(jù)中清晰地分離出來，而現(xiàn)有的凸優(yōu)化方法不能很好地完成這一任務(wù)，所以本文提出一個新的凸優(yōu)化模型，并在此基礎(chǔ)上提出一種改進(jìn)的增廣拉格朗日乘子法來對該模型進(jìn)行求解.

新的魯棒性主成分分析的凸優(yōu)化模型把現(xiàn)實(shí)數(shù)據(jù)分為低秩數(shù)據(jù)、稀疏噪聲數(shù)據(jù)和高斯噪聲3個部分.該凸優(yōu)化模型為

式中：‖P‖?為矩陣P的核范數(shù)，‖Q‖1為矩陣Q的l1范數(shù)，l1范數(shù)在很寬泛的條件下是與矩陣的l0范數(shù)‖Q‖0等價的，而‖Q‖0指示了矩陣Q中非零元素的個數(shù)．‖G‖F(xiàn)為矩陣G的Frobenius范數(shù)，它通過計算所有矩陣元素平方和的開方得到．使用‖G‖F(xiàn)以保證矩陣G中所有元素的值足夠小以滿足高斯噪聲的特性．

為更好地描述這個新的魯棒性主成分分析模型并且高效地求解該凸優(yōu)化模型，提出一個改進(jìn)的增廣拉格朗日乘子算法，將這個算法稱為用于求解帶高斯噪聲的魯棒性主成分分析的改進(jìn)的增廣拉格朗日乘子法G-ALM（augmented lagrange multiplier approach for RPCA with gaussian noise）.

對于一個可表示為min f（x），s.t.h（x）=0的約束凸優(yōu)化問題，它的拉格朗日函數(shù)為

式中：y是拉格朗日乘子.為將增廣拉格朗日乘子法用于求解新的魯棒性主成分分析的凸優(yōu)化模型為

據(jù)此可得式（6）的增廣拉格朗日函數(shù)：

根據(jù)增廣拉格朗日函數(shù)表達(dá)式（9），將式（6）的解描述為

式中：（P?，Q?，G?）為矩陣P，Q，G的最優(yōu)解，假設(shè)（Pk，Qk，Gk）代表（P，Q，G）在第k次迭代中的值，那么可通過迭代求解下面提到的3個子問題，進(jìn)而求解式（10）的最優(yōu)解，這3個子問題表述為：

式（11）、（12）的解可通過奇異值分解和閾值運(yùn)算符［5，7］得到，若假設(shè)［U，S，V］為矩陣TPk的奇異值分解，那么式（11）、（12）的解可表示為

式中β是一個為閾值運(yùn)算符設(shè)定的正值參數(shù)．可根據(jù)式（14）、（15）迭代解式（11）、（12）和（13）的最優(yōu)解．在運(yùn)算過程中，當(dāng)計算矩陣P值時，另外兩個矩陣Q和G的值是固定的，同樣當(dāng)計算矩陣Q或者矩陣G的值時，另外兩個矩陣的值都是固定不變的.通過改進(jìn)的增廣拉格朗日乘子法求解帶高斯噪聲的魯棒性主成分分析模型（G-ALM）的過程見算法.

算法2 用于求解帶高斯噪聲的魯棒性主成分分析的改進(jìn)的增廣拉格朗日乘子法

輸入：原始矩陣O，正值參數(shù)λ，α，β

輸出：（P?，Q?，G?）

初始化：Y0=sgn（O）／J（sgn（O）），k=0

While not converged Do

4 實(shí) 驗

本文的實(shí)驗是在配置為3.40GHz Intel（R）Core（TM）i7-2600 CPU、4GB RAM的主機(jī)上使用MATLAB R2014a進(jìn)行的.

4.1 數(shù)據(jù)擬合實(shí)驗

兩組數(shù)值實(shí)驗來比較ME-ALM，ALM和Dual算法在求解魯棒性主成分分析時的運(yùn)算精確度和奇異值分解的運(yùn)行次數(shù).

在本次試驗中，設(shè)定準(zhǔn)確解為矩陣（P0，Q0），其中，P0∈Rm×m，Q0∈Rm×m．通過計算矩陣U，VT的乘積UVT得到矩陣P0，而矩陣U和V都是m×r的實(shí)數(shù)矩陣，它們的元素值都滿足均值為0．方差為1的高斯分布．接著可通過隨機(jī)地從區(qū)間［-500，500］中取值作為矩陣Q0的非零元素值，從而產(chǎn)生稀疏矩陣Q0，最后求得矩陣P0與Q0的和矩陣O，并將O作為這兩個算法的輸入初始矩陣，同時記算法的輸出為矩陣（＾P，＾Q）．

本方法共做了兩組對照實(shí)驗，在其中一組實(shí)驗中設(shè)定矩陣P0的秩rank（P0）=0.05m，而稀疏矩陣Q0的非零元素個數(shù)是0.05 m2，在另一組的實(shí)驗中設(shè)定矩陣P0的秩rank（P0）=0.1m，稀疏矩陣Q0的非零元素個數(shù)是0.1 m2．此外在每一組實(shí)驗中都使用維數(shù)為m的方陣（P0，Q0），而矩陣的維數(shù)m在每一組實(shí)驗中都分別被設(shè)置為100、200、400和500，在每一種情況下都比較了ME-ALM，ALM和Dual算法的表現(xiàn)情況.使用來表征算法的運(yùn)算精度并用算法的迭代次數(shù)代表奇異值分解的運(yùn)行次數(shù)．?dāng)?shù)值擬合實(shí)驗結(jié)果見表1中，可以看到，與ALM和Dual這兩個算法相比，ME-ALM總是能經(jīng)過較少次數(shù)的奇異值分解達(dá)到一個更小的值．這也就是說，與其它兩個算法相比，ME-ALM總是能取得更好的運(yùn)算精度.

4.2 人臉陰影的去除

在這個實(shí)驗中使用魯棒性主成分分析從受到不同光照影響的人臉圖像中移除遮擋和陰影，這些人臉圖像都是從人臉數(shù)據(jù)集YaleB中選取的.實(shí)驗中分別使用本文方法（ME-ALM），ALM和Dual算法對相同的人臉圖像矩陣進(jìn)行處理，進(jìn)而比較這3個算法剔除遮擋和陰影的效果.將每一幅人臉圖像重新排列成為一個列向量，并將同一子集中的64幅圖像重組為一個圖像矩陣O，亦即O∈R32256×64，然后將矩陣O作為魯棒性主成分分析的輸入矩陣，分別使用上述3個算法進(jìn)行處理，最后可得到兩個輸出矩陣，其中一個是人臉圖像的低秩數(shù)據(jù)矩陣，另外一個則是稀疏噪聲矩陣，分別將這兩個矩陣記為P，Q．

表1 數(shù)值擬合實(shí)驗

此外通過一組對照實(shí)驗來比較G-ALM和ALM這兩種算法在初始數(shù)據(jù)矩陣同時受到稀疏噪聲和高斯噪聲干擾時魯棒性主成分分析模型的表現(xiàn).在這組實(shí)驗中將同一人臉圖像集中的64幅圖像重組為一個圖像數(shù)據(jù)矩陣O′，即O′∈R32256×64．在此基礎(chǔ)之上，將一個高斯噪聲矩陣G∈R32256×64與圖像矩陣O′相加得到矩陣O，O∈R32256×64，其中高斯噪聲矩陣G的每一列都滿足獨(dú)立同分布的高斯分布N（0，10-6）．然后將矩陣O作為上述兩個算法的輸入，最后可得到3個輸出矩陣．一個是低秩數(shù)據(jù)矩陣P，一個是稀疏噪聲矩陣Q（人臉中存在的陰影、遮擋），另一個是高斯噪聲矩陣G．

在圖1中展示了ME-ALM，ALM和Dual3個算法對同一幅人臉圖像（在鼻子、眼睛和臉頰出受到陰影干擾）進(jìn)行處理后的結(jié)果.圖2展示G-ALM和ALM算法在去除人臉圖像陰影的效果.

根據(jù)圖1展示的實(shí)驗結(jié)果，可發(fā)現(xiàn)ME-ALM算法可有效地完成去除人臉陰影的功能，可將人臉圖像中的陰影遮擋等稀疏噪聲去除.與ALM和Dual算法相比，在去除人臉陰影的過程中，ME-ALM算法具有更好的運(yùn)算精度.而從圖2的實(shí)驗結(jié)果可看出G-ALM算法在人臉圖像受到稀疏噪聲和高斯噪聲共同干擾時，也能很好地完成去除人臉陰影的任務(wù)，并將高斯噪聲和稀疏噪聲分別分離出去，進(jìn)而避免低秩人臉圖像和稀疏噪聲圖像受到高斯噪聲的影響.而在相同的情況下ALM算法則不能很好地完成該任務(wù).

圖1 ME-ALM，ALM，Dual在人臉陰影去除效果上的對比

圖2 G-ALM，ALM去除受高斯噪聲干擾的人臉陰影的對比

4.3 動態(tài)前景的提取

運(yùn)用ME-ALM和G-ALM算法實(shí)現(xiàn)從固定攝像頭的視頻序列中［15］，把動態(tài)前景從靜態(tài)背景中提取出來.將視頻序列中幾乎靜止的背景當(dāng)作魯棒性主成分分析中的低秩部分，而將動態(tài)的前景看作稀疏噪聲部分.

視頻序列數(shù)據(jù)集Walk1拍攝于一個大廳，在視頻序列中有一個人來回地走動.在實(shí)驗中這個來回走動的人被看作是前景，而幾乎靜止不動的大廳則被看作是背景.這個視頻序列總共由611幀視頻圖像構(gòu)成，每一幀圖像有384?288個像素點(diǎn).實(shí)驗中隨機(jī)選取180幀連續(xù)的視頻圖像并將每一幅圖像重排為一個110 592?1的列向量，然后將這180個列向量排列為一個視頻數(shù)據(jù)矩陣O，即O∈R110592×180，將矩陣O作為ME-ALM算法的輸入矩陣．經(jīng)過ME-ALM算法處理后，可得到兩個輸出矩陣，其中一個代表低秩的靜態(tài)背景，另一個代表稀疏的動態(tài)前景.

視頻序列數(shù)據(jù)集EnterExitCrossingPaths2cor拍攝于一個走廊，在視頻中有兩個人在走廊中走動、相遇、然后離開.和Walk1數(shù)據(jù)集一樣，從數(shù)據(jù)集中隨機(jī)選取140幀連續(xù)的視頻圖像組成一個視頻數(shù)據(jù)矩陣O．此外，為評估G-ALM算法在視頻序列同時受到高斯噪聲和稀疏噪聲干擾時提取動態(tài)前景的性能，在視頻數(shù)據(jù)矩陣O中加入一個滿足高斯分布N（0，10-3）的高斯噪聲矩陣G，得到一個新的視頻數(shù)據(jù)矩陣O′，亦即O′∈R110592×180．將這個視頻數(shù)據(jù)矩陣O′作為G-ALM算法的輸入矩陣.經(jīng)過GALM算法的處理之后，可得到3個輸出矩陣，其中之一是代表背景的低秩矩陣，一個是代表前景的稀疏矩陣，另外一個是高斯噪聲矩陣．

圖3、4則分別展示了ME-ALM，ALM和Dual這3個算法在這兩個數(shù)據(jù)集上的運(yùn)行結(jié)果，第一列中的圖像是隨機(jī)取自視頻中的一幀原始圖像，此后從左到右的每一列分別是上述3個算法對該視頻幀圖像的處理結(jié)果，在每一列中從上至下依次是低秩視頻幀（背景）、稀疏視頻幀（前景）和稀疏視頻幀的歸一化結(jié)果.根據(jù)圖3、4展示的實(shí)驗結(jié)果可看出，圖3中由一個走動的人代表的前景和圖4中由兩個走動的人代表的前景都被成功地從背景中提取出來.與ALM和Dual算法相比，ME-ALM算法表現(xiàn)出了更好的運(yùn)算精度，可很好地實(shí)現(xiàn)從靜態(tài)背景中提取動態(tài)前景.

圖3 提取Walk1前景時的結(jié)果

有關(guān)G-ALM算法的實(shí)驗結(jié)果將在圖5、6中顯示，其中圖5展示了G-ALM算法的運(yùn)行結(jié)果，每一列展示了G-ALM算法對一幀視頻圖像的處理結(jié)果，每一列中從上至下分別是原始視頻幀、低秩視頻幀（背景）、稀疏視頻幀（前景）、稀疏視頻幀的歸一化結(jié)果和高斯噪聲圖像.圖6展示了G-ALM和ALM這兩個算法在相關(guān)數(shù)據(jù)集上的運(yùn)行結(jié)果，第一列中的圖像是隨機(jī)取自視頻中的一幀原始圖像，此后每一列分別是上述兩個算法對該視頻幀的處理結(jié)果，在每一列中從上至下依次是低秩視頻幀（背景）、稀疏視頻幀（前景）、稀疏視頻幀的歸一化結(jié)果和高斯噪聲圖像.

圖4 提取EnterExitCrossingPaths2cor前景時的處理結(jié)果

圖5 G-ALM提取受高斯噪聲干擾的前景

圖6 提取受高斯噪聲干擾圖像前景時的結(jié)果

根據(jù)圖5、6的實(shí)驗結(jié)果可知，當(dāng)視頻序列同時受到高斯噪聲和稀疏噪聲干擾時，G-ALM算法可很好地實(shí)現(xiàn)從靜態(tài)背景中提取動態(tài)前景，并清晰地將靜態(tài)背景、動態(tài)前景和高斯噪聲分別分離開來.與ALM算法相比，G-ALM算法可避免分離出的靜態(tài)背景和動態(tài)前景受到高斯噪聲的干擾.這也表明當(dāng)數(shù)據(jù)同時受到稀疏噪聲和高斯噪聲的干擾，且低秩數(shù)據(jù)和稀疏噪聲對圖像處理都很重要時，G-ALM能夠起到非常有效的作用.

5 結(jié) 語

本文提出兩個改進(jìn)的用于求解魯棒性主成分分析問題的方法.其中ME-ALM方法通過求解魯棒性主成分分析的對偶問題，賦予增廣的拉格朗日乘子法一個最優(yōu)的拉格朗日乘子，從而提高算法的運(yùn)算精度.另一個改進(jìn)是用來求解新的魯棒性主成分分析的凸優(yōu)化模型，本模型認(rèn)為數(shù)據(jù)矩陣由低秩數(shù)據(jù)部分、稀疏噪聲部分和高斯噪聲部分3個部分構(gòu)成.提出的G-ALM方法能夠很好地求解這個新的優(yōu)化模型，清晰地將高斯噪聲和稀疏噪聲分別從低秩數(shù)據(jù)中分離出來，進(jìn)而提高數(shù)據(jù)對高斯噪聲的魯棒性.

通過去除人臉陰影和提取動態(tài)前景的實(shí)驗對比，本文提出ME-ALM和G-ALM算法都取得了很好的效果，特別是在提取動態(tài)前景的應(yīng)用中，當(dāng)視頻序列受到高斯噪聲干擾時，G-ALM表現(xiàn)出其它凸優(yōu)化算法所不具備的性能，可避免低秩數(shù)據(jù)和稀疏部分受到高斯噪聲的干擾，而降低處理精度.

［1］MORRE B.Principal componentanalysis in linear systems：Controllability，observability，and model reduction［J］. Automatic Control，IEEE Transactions on，1981，26（1）：17-32.

［2］CANDèS E J，LI X，MA Y，et al.Robust principal component analysis？［J］.Journal of the ACM（JACM），2011，58（3）：1-32.

［3］TIPPING M E，BISHOP C M.Probabilistic principal component analysis［J］.Journal of the Royal Statistical Society：Series B（Statistical Methodology），1999，61（3）：611-622.

［4］DUONG T D X，NGUYEN H V.Some extension of sparse principal component analysis［J］.International Journal of Machine Learning and Computing，2012（2）：701-705.

［5］LIN Z，CHEN M，MA Y.The augmented lagrange multipliermethod for exact recovery of corrupted low-rank matrices［J］.arXiv preprint arXiv：1009.5055，2010.

［6］DING X，HE L，CARIN L.Bayesian robust principal component analysis［J］.Image Processing，IEEE Transactions on，2011，20（12）：3419-3430.

［7］HE R，TAN T，WANG L.Robust recovery of corrupted low-rank matrix by implicit regularizers［J］.Submitted to IEEE Trans on Pattern Analysis and Machine Intelligence（TPAMI），2014，36（4）：770-783.

［8］ZHANG T，LERMAN G.A novel m-estimator for robust pca［J］.The Journal ofMachine Learning Research，2014，15（1）：749-808.

［9］BECK A，TEBOULLE M.A fast iterative shrinkagethresholding algorithm for linear inverse problems［J］. SIAM Journal on Imaging Sciences，2009，2（1）：183-202.

［10］CHEN M，GANESH A，LIN Z，et al.Fast convex optimization algorithms for exact recovery of a corrupted low-rank matrix［J］.In Intl.Workshop on Comp.Adv.in Multi-Sensor Adapt.Processing（CAMSAP），Aruba，Dutch Antilles，2009，61.

［11］WRIGHT J，GANESH A，PENG Y G，et al.Robust principal component analysis：exact recovery of Corrupted Low-Rank Matrices via Convex Optimization［J］.Advances in Neural Information Processing Systems，2009，87（4）：2080-2088.

［12］BAO B K，LIU G，XU C，etal.Inductive robust principal component analysis［J］.Image Processing，IEEE Transactions on，2012，21（8）：3794-3800.

［13］HE R，HU B G，ZHENG W S，et al.Robust principal component analysis based onmaximum correntropy criterion［J］.Image Processing，IEEE Transactions on，2011，20（6）：1485-1494.

［14］TOH K C，YUN S.An accelerated proximal gradient algorithm for nuclear norm regularized linear least squares problems［J］.Pacific Journal of Optimization，2010，15（6）：615-640.

［15］Bob Fisner.popular Image Analysis Datasers／Databases［DB／OL］.20110512http：／／homepages.inf.ed.ac.uk／rbf／CAVIARDATA.

（編輯苗秀芝）

Robust principal com ponent analysis based on advanced augmented lagrangemultiplier method

YANG Jianzhe1，SUN Qiaoyu2，WANG Jun1，CHENG Dansong1，JIN Ye1，SHIDaming1
（1.School of Computer Science and Technology，Harbin Institute of Technology，150001 Harbin，China；2.School of Electronic Engineering，Huaihai Institute of Technology，222005 Lianyungang，Jiangsu，China）

To solve the problem that the calculation accuracy of the robust principal component analysis is reduced when the high dimensional data is disturbed by the sparse large noise and Gaussian noise at the same time，this paper proposes the advanced augmented Lagrangemultipliermethod for the robust principal component analysis.On one hand，we enhance the calculation accuracy by the advanced method which is based on the optimal initialization of the Lagrange multiplier.On the other hand we propose a dual noise convex optimization model for the robust principal component analysis.As the experimental results shown，the proposed advanced method provides an optimalmultiplier for the augmented Lagrange multiplier method and enhances the calculation accuracy of the method.Besides，the proposed dual noise model can separate the Gaussian noise and sparse noise from the data clearly and reinforces the robustness of the robust principal component analysis facing with dual noise.

robust principal component analysis，optimal initialization of Lagrangemultiplier，augmented Lagrange multipliermethod，novel convex optimization model，Gaussian component

TP391

：A

：0367-6234（2015）11-0027-07

10.11918／j.issn.0367-6234.2015.11.005

2014-12-11.

國家自然科學(xué)基金科學(xué)（61440025，61402133）；國家博士后科學(xué)基金（20100480998）；哈爾濱市科技創(chuàng)新人才專項資金（2013RFQXJ110）.

楊劍哲（1991—），男，碩士研究生；石大明（1971—），男，教授，博士生導(dǎo)師.

程丹松，cdsinhit＠hit.edu.cn.