一種基于K-means 的神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)集回歸預(yù)測算法

孫夢覺，田 園，湯 呂，李 珗

（1.云南電網(wǎng)有限責(zé)任公司信息中心，昆明 650000；2.昆明云電同方有限責(zé)任公司，昆明 650000）

電網(wǎng)智能化處理用戶數(shù)據(jù)的相關(guān)應(yīng)用正在國內(nèi)快速發(fā)展，基于電網(wǎng)數(shù)據(jù)的回歸分析和分類模型的相關(guān)研究已趨于成熟化。但常用的電網(wǎng)數(shù)據(jù)分類算法是基于經(jīng)典統(tǒng)計學(xué)算法，導(dǎo)致分類模型中，模型結(jié)果更多的是偏向電網(wǎng)用戶中的數(shù)據(jù)離群樣本，因此影響了整體預(yù)測分析的精確度。同時，常見的統(tǒng)計學(xué)算法在面對不止含有單一維度數(shù)據(jù)的多維數(shù)據(jù)時，不能有效提取并處理多維數(shù)據(jù)集的樣本特征，因此，為了解決上述此類問題，國內(nèi)外的研究者們提出了許多基于機器學(xué)習(xí)的回歸和分類算法[1]。例如，Xiao 等[2]提出了非均衡數(shù)據(jù)集分類算法，通過評估參數(shù)篩選出數(shù)據(jù)集中少數(shù)類樣本的特征屬性，從而實現(xiàn)優(yōu)化分類器精確度的目的。而張明等[3]提出了采用混合采樣的分類算法，通過對少數(shù)類在稀疏域使用過采樣方法，多數(shù)類在密集域使用欠采樣方法，然后對二者平衡后的數(shù)據(jù)集使用由決策樹組成的分類器進行分類，從而得出更加精確的分類結(jié)果。陶新民等[4]則是將逐級優(yōu)化遞減欠采樣和邊界人工少數(shù)類過采樣算法進行有效結(jié)合。首先，對樣本類進行降采樣，然后選擇邊界樣本進行升采樣，該步驟的目的在于去除噪聲的干擾，從而保留有效的數(shù)據(jù)。Moayedikia 等[5]則提出了高維數(shù)據(jù)特征選擇分類算法，在高維非均衡數(shù)據(jù)集中衡量分類標(biāo)簽相關(guān)特征下，通過選取相關(guān)度最高的一組使分類效果達到最佳。接著，Ando 等[6]提出一種深度過采樣框架下非均衡數(shù)據(jù)分類算法，通過深度特征模型對少數(shù)類進行重采樣，從而有效地改善數(shù)據(jù)類別之間的不平衡性。但是，分類模型并不適應(yīng)于一些極端不平衡的數(shù)據(jù)樣本，因此，如何對數(shù)據(jù)集中最具有特征的樣本進行挖掘，成為了特征工程中一個代表性問題，對此研究者們提出了一些更優(yōu)異的算法。例如，Chung 等[7]將代價敏感策略引入深度學(xué)習(xí)的分類算法中，通過在深度學(xué)習(xí)模型的損失函數(shù)中加入代價因子，從而減少了對樣本的錯誤分類。Ng 等[8]則提出了雙重自動編碼器的非均衡數(shù)據(jù)分類算法，由2 種激活函數(shù)分別計算得到對應(yīng)的自編碼網(wǎng)絡(luò)，實現(xiàn)數(shù)據(jù)集中多數(shù)類和少數(shù)類樣本的學(xué)習(xí)訓(xùn)練，提取分類特征。隨后，Khan 等[9]提出了基于數(shù)據(jù)特征學(xué)習(xí)的分類算法，通過優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）模型中的特征學(xué)習(xí)過程，使數(shù)據(jù)特征對數(shù)據(jù)集分類具有了更高的判別性。Douzas 等[10]提出了基于生成對抗網(wǎng)絡(luò)的非均衡數(shù)據(jù)分類算法，生成對抗網(wǎng)絡(luò)訓(xùn)練出少數(shù)類樣本，通過這樣的少數(shù)類樣本讓深度學(xué)習(xí)分類器模型得到分類的特征表達，從而去改善數(shù)據(jù)集中少數(shù)類樣本的識別率。張文東等[11]提出了基于改進反向傳播（Back Propagation，BP）神經(jīng)網(wǎng)絡(luò)的非均衡分類算法，通過在模型隱含層之間加入一種特征損失層，即可去除冗余的數(shù)據(jù)特征，降低數(shù)據(jù)集的非均衡性。

上述列舉的研究成果對于電網(wǎng)小樣本數(shù)據(jù)集的分類結(jié)果有明顯改善，但對于大數(shù)樣本則效果一般。文獻[12]中指出，在數(shù)據(jù)分類處理過程中多維數(shù)據(jù)特征選擇存在信息丟失，類別之間錯分代價不同，導(dǎo)致分類結(jié)果魯棒性較差。而文獻[13]研究說明神經(jīng)網(wǎng)絡(luò)能夠不斷地訓(xùn)練特征響應(yīng)，從而得到表達能力強的抽象特征，在抽象特征中提取數(shù)據(jù)特征后保留有效信息，上述二者研究證明了神經(jīng)網(wǎng)絡(luò)相關(guān)方法在多維數(shù)據(jù)特征工程領(lǐng)域的優(yōu)越性。

而本文對多維度樣本數(shù)據(jù)集回歸分析是結(jié)合文獻[14]中提出的分類和回歸相融合的方法，首先將數(shù)據(jù)集樣本采用K-means 分類器算法進行特征維度抽象并聚類，得到數(shù)據(jù)特征集合，在數(shù)據(jù)集合中，遴選聚類中心進行迭代劃分，之后按照劃分結(jié)果計算RNN 神經(jīng)網(wǎng)絡(luò)模型中隱含層的權(quán)重系數(shù)，根據(jù)訓(xùn)練好的分類器通過樣本數(shù)據(jù)輸出相應(yīng)分區(qū)的聚類結(jié)果，從而獲取分區(qū)后的樣本特征點。通過K-means 方法將多維數(shù)據(jù)降維到二維數(shù)據(jù)并求取其聚類超參數(shù)，從而構(gòu)建RNN 神經(jīng)網(wǎng)絡(luò)迭代特征學(xué)習(xí)模型。本文在一定程度上平滑多維數(shù)據(jù)樣本中少數(shù)樣本離群點對整體模型精確度的影響，提高整體回歸分析模型的準(zhǔn)確性，以求改善大數(shù)據(jù)集的分類結(jié)果。

1 RNN 神經(jīng)網(wǎng)絡(luò)算法

RNN 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練由網(wǎng)絡(luò)輸入層和前向輸入層序列數(shù)據(jù)的記憶網(wǎng)絡(luò)共同組成[15-16]。首先在輸入層中，假設(shè)在N個數(shù)據(jù)樣本的集合中，數(shù)據(jù)集合序列{（xi，yi）|x∈Rm，y∈Rn，i=1，2，…，N} 為離散時間序列，Rm表示輸入層有m個神經(jīng)元，Rn表示輸出層有n個神經(jīng)元。RNN 神經(jīng)網(wǎng)絡(luò)完成了訓(xùn)練樣本從輸入到輸出的高維非線性映射f：Rm→Rn，再由檢測樣本來檢驗網(wǎng)絡(luò)的泛化能力。該過程的映射關(guān)系表示為

式中：wij表示記憶網(wǎng)絡(luò)的權(quán)重系數(shù)；ηj表示在輸入層中，此刻輸入層網(wǎng)絡(luò)神經(jīng)元的權(quán)重數(shù)據(jù)；zjt表示在隱含層中，隱含層網(wǎng)絡(luò)的權(quán)重系數(shù)；rt表示在隱含層中，加入的偏置參量；xi（t-1）表示t-1 時刻的網(wǎng)絡(luò)數(shù)據(jù)；xi（t）表示t時刻的網(wǎng)絡(luò)數(shù)據(jù)。在第t=1 個時刻會進行網(wǎng)絡(luò)的初始化。其中f[*]和xi（t）中包含了激活函數(shù)，文章中f[*]激活函數(shù)采用了sigmoid 函數(shù)，xi（t）則采用了softmax函數(shù)。

鑒于網(wǎng)絡(luò)在一次迭代過程中，無法得到準(zhǔn)確的輸出結(jié)果。因此，需要依靠時間反向傳播（Back-propagation Through Time，BPTT）的過程，將誤差信號從輸出層流入各中間層，逐層不斷修改隱含層的神經(jīng)元權(quán)重值。在網(wǎng)絡(luò)的迭代過程中，網(wǎng)絡(luò)本身的全局誤差會不斷向最優(yōu)值趨近，以此優(yōu)化算法分類的有效性。其中隱含層權(quán)值的變化為

通過累計誤差方法去不斷調(diào)整RNN 算法網(wǎng)絡(luò)中記憶網(wǎng)絡(luò)的權(quán)值wij，使全局誤差E進一步優(yōu)化，即

式中：λ 為網(wǎng)絡(luò)的學(xué)習(xí)率，對于p個輸入的數(shù)據(jù)樣本，采用x1，x2，…，xp來表示，第p個樣本輸入到RNN 神經(jīng)網(wǎng)絡(luò)后得到輸出ypk，通過平方型誤差函數(shù)或者交叉熵損失函數(shù)得到第p個樣本的誤差Ep

式中：tpk為p數(shù)據(jù)樣本在第k個輸出層的期望輸出。神經(jīng)網(wǎng)絡(luò)算法結(jié)構(gòu)圖如圖1 所示。

圖1 神經(jīng)網(wǎng)絡(luò)算法結(jié)構(gòu)圖

2 K-means 的RNN 神經(jīng)網(wǎng)絡(luò)趨勢預(yù)測模型

當(dāng)前，常見的回歸算法是通過特征選擇、降維[17-18]等數(shù)據(jù)預(yù)處理過程減少迭代過程中產(chǎn)生的經(jīng)驗誤差，但該過程降低了數(shù)據(jù)內(nèi)部的有效特征信息量，影響了后續(xù)組合模型的性能。

本文算法首先根據(jù)訓(xùn)練樣本建立RNN 多層神經(jīng)網(wǎng)絡(luò)初始化模型，再使用K-means 方法管理RNN 神經(jīng)網(wǎng)絡(luò)的輸入層，計算多個輸入層數(shù)據(jù)的維度屬性價值量用來調(diào)整權(quán)重參數(shù)，使輸出層得到隱含層中迭代加權(quán)后的最佳響應(yīng)值。然后，以最佳響應(yīng)值對應(yīng)的樣本聚類特征點計算同類樣本中最大信息維度，在輸出層神經(jīng)元構(gòu)建含有數(shù)據(jù)特征信息的預(yù)測模型。最后，在組合模型的輸出層調(diào)整樣本集遍歷后的數(shù)據(jù)測試結(jié)果，對照測試集并通過MSE和MAE函數(shù)來驗證準(zhǔn)確率。

2.1 K-means 聚類模型的構(gòu)建

本文首先通過聚類方法對輸入層的多維數(shù)據(jù)進行權(quán)重融合，在數(shù)據(jù)維度信息價值分布不平衡時，有效地處理多維度數(shù)據(jù)。從而避免了類間信息價值差異大的部分樣本出現(xiàn)影響預(yù)測結(jié)果的問題。然后，使用K-means聚類方法中平滑更新的方式來保持模型可靠性。由于神經(jīng)網(wǎng)絡(luò)共享了多個隱含層中的所有參數(shù)，因此節(jié)省了存儲空間并避免了網(wǎng)絡(luò)冗余。最后通過判斷最大響應(yīng)值來對少數(shù)類樣本分類，避免了數(shù)據(jù)的過擬合[19-20]。

根據(jù)K-means 分類器方法把二維數(shù)據(jù)的結(jié)構(gòu)抽象為T={V，S}，T集合中S和V 參數(shù)表示維度特征，νi，Sk之間的距離表示2 個特征之間的關(guān)系，則T集合中的特征關(guān)系通過歐拉公式的長度定義為

式中：T集合中用來訓(xùn)練數(shù)據(jù)點樣本集合，k表示數(shù)據(jù)集合中的聚類個數(shù)，分類的特征結(jié)果由模型分類器輸入，φu（*）表示特征數(shù)據(jù)在二維空間上的分布，根據(jù)數(shù)據(jù)中的不同聚類中心劃分聚類邊界，計算聚類模型的分布函數(shù)H（νi，sk）

式中：zjt為特征數(shù)據(jù)在第t次迭代上的權(quán)重系數(shù)，本文通過少數(shù)類的可靠度自適應(yīng)函數(shù)得到權(quán)重值，公式（2）修改為

式中：ανt表示數(shù)據(jù)點中隱含層分數(shù)的最大值，但忽略了可靠性問題，如果分類區(qū)間劃分不佳，則會對后續(xù)預(yù)測結(jié)果造成很大的影響，所以需要沿著迭代過程更新超參數(shù)，計算各聚類結(jié)果的可靠度，其中每次迭代的可靠度用βν表示，公式如下

2.2 改進的RNN 神經(jīng)網(wǎng)絡(luò)模型

本文改進的神經(jīng)網(wǎng)絡(luò)算法將2.1 節(jié)得到訓(xùn)練樣本集合中的最大響應(yīng)值對應(yīng)的數(shù)據(jù)點，作為代表性較強的樣本特征點，然后在輸出層構(gòu)建回歸預(yù)測模型。本文提取序列特征再進行K-means 聚類計算，得到了數(shù)據(jù)樣本特征集合。該過程是算法中區(qū)分特征顯著性的關(guān)鍵步驟[21-23]。

假設(shè)訓(xùn)練樣本響應(yīng)后集合為：Φ={（xi，yi），1≤i≤c}，其中c為訓(xùn)練后數(shù)據(jù)樣本的類別數(shù)，xi為第i類的訓(xùn)練樣本特征點，yi為其輸出的參數(shù)，τi為第i類樣本的特征點總數(shù)。

其中正數(shù)ri為樣本特征點xi到異類樣本的歐式距離，然后定義一個以xi為中心ri為半徑的區(qū)域，顯然在半徑以外的數(shù)據(jù)點對RNN 網(wǎng)絡(luò)迭代幾乎沒有影響，而半徑內(nèi)有較多相同類別的樣本特征點。此外依照數(shù)據(jù)樣本中特征最顯著的樣本，以此構(gòu)建網(wǎng)絡(luò)中神經(jīng)元的數(shù)量，如式（9）

式中：Φ（x1，x2，…，xn）為輸入的數(shù)據(jù)集合，θ 為網(wǎng)絡(luò)中用于數(shù)據(jù)平滑的閾值，f（*）為神經(jīng)元中的激勵函數(shù)，通過RNN網(wǎng)絡(luò)中神經(jīng)元的運算規(guī)則可以得到對應(yīng)的低維數(shù)據(jù)超平面方程

式中：wi為輸出層神經(jīng)元的權(quán)值，而表示為數(shù)據(jù)樣本集中第i個數(shù)據(jù)點離超平面的距離，當(dāng)該點位于此超平面內(nèi)，則數(shù)據(jù)輸出為0，否則為1。因此，對于高維數(shù)據(jù)的處理神經(jīng)網(wǎng)絡(luò)神經(jīng)元的數(shù)學(xué)模型可以表示為

該神經(jīng)元相當(dāng)于在樣本集中以核心W=（w1，w2，…，wn）為球心，以θ 為半徑作一個超球面，當(dāng)數(shù)據(jù)點在此球面內(nèi)則輸出為0，否則為1。

根據(jù)最優(yōu)化K-means 聚類值構(gòu)建的RNN 網(wǎng)絡(luò)的數(shù)據(jù)回歸分析模型，避免了模型向少數(shù)特異類樣本的傾斜。然而RNN 神經(jīng)網(wǎng)絡(luò)輸出層的分析結(jié)果，是經(jīng)過相對多數(shù)遴選生成，沒有考慮樣本上的泛化誤差。因此本文對RNN網(wǎng)絡(luò)輸出層進行必要的調(diào)整，來提高整體模型的性能。

數(shù)據(jù)分類任務(wù)是利用N個神經(jīng)網(wǎng)絡(luò)組成的集合，對參數(shù)f：Rm→Rn進行近似，其中參數(shù)Rn為網(wǎng)絡(luò)輸出，假設(shè)N個樣本的期望輸出為D＝[d1，d2，…，dN]，其中dj為第j個樣本的期望輸出，第i個神經(jīng)網(wǎng)絡(luò)的實際輸出為fi=[fi1，fi2，…，fiN]，其中fiN表示第i個神經(jīng)網(wǎng)絡(luò)在第N個樣本上的實際輸出。于是通過D和fi可知，第i個神經(jīng)網(wǎng)絡(luò)在這N個樣本上泛化誤差為

式中，對于誤差公式定義為

若集成在第j個樣本上的實際輸出為，則集成在N個樣本上的泛化誤差為

根據(jù)泛化誤差調(diào)整輸出層的預(yù)測結(jié)果，能有效提高預(yù)測模型的準(zhǔn)確性。

2.3 算法流程

Step1：根據(jù)公式（5）構(gòu)建K-means 聚類的輸入層邊界。

Step2：計算數(shù)據(jù)樣本的迭代模式，自適應(yīng)各次迭代的權(quán)重值，建立訓(xùn)練迭代后的聚類應(yīng)的特征點xi，確定其分類，得到最優(yōu)化聚類的輸出結(jié)果。

Step4：直到對剩余數(shù)據(jù)點尋找到同類的聚類區(qū)間，最后聚類結(jié)果的聚類中心對應(yīng)于本文算法分類器中輸入層的神經(jīng)元權(quán)重結(jié)果。

Step5：對輸出層計算樣本的泛化誤差，調(diào)整回歸分析結(jié)果輸出。算法流程圖如圖2 所示。

圖2 算法流程圖

3 實驗結(jié)果

3.1 評價指標(biāo)

損失函數(shù)定義為評價預(yù)測結(jié)果與測量值的誤差指標(biāo)，本文指標(biāo)依照文獻[24-25]，取MSE和MAE為模型預(yù)測和測量值偏差的指標(biāo)，準(zhǔn)確率評價指標(biāo)MSE和MAE表示為

式中：MSE當(dāng)測試集和比較集的預(yù)測準(zhǔn)確率都很高時，MSE的評價值較小。MAE的值較低時表示回歸預(yù)測模型的精確值比較高，算法的可靠性較好。

3.2 UCI 回歸分析數(shù)據(jù)集

表1 列舉了本文在UCI 數(shù)據(jù)集上選取的3 個摩洛哥得土安市（Tetuan，Morocco）耗電量部分數(shù)據(jù)集，將數(shù)據(jù)劃分為80%訓(xùn)練集和20%測試集，本文算法以神經(jīng)網(wǎng)絡(luò)模型作為組合模型，根據(jù)MSE值與MAE值2 種不同的Loss 函數(shù)評價指標(biāo)進行比較，實驗表明本文算法對電網(wǎng)用戶數(shù)據(jù)集進行短期預(yù)測具有良好的可靠性。本文設(shè)置的實驗配置處理器為IntelRi7-6700 2.60 GHz，內(nèi)存為16 GB。采用TensorFlow2.1 框架實現(xiàn)。接下來通過實驗結(jié)果對4 種不同的算法進行實驗分析。

表1 實驗數(shù)據(jù)集

3.3 實驗分析

本文提出的基于聚類方法改進的神經(jīng)網(wǎng)絡(luò)回歸算法與SVM 算法、基于統(tǒng)計學(xué)算法的AR 算法、基于BP改進的RNN 算法、基于時間序列的LSTM 和GRU 算法進行歸一化實驗對比分析。實驗結(jié)果表明，本文提出的模型回歸分析預(yù)測結(jié)果表現(xiàn)最佳，表2 和表3 為各算法的MSE值和MAE值對比結(jié)果，此外在圖3 和圖4 中展現(xiàn)了本文提出算法與真值的預(yù)測對比圖。

表2 不同算法的MSE 值對比結(jié)果

表3 不同算法的MAE 值對比結(jié)果

圖3 部分預(yù)測結(jié)果圖

從表2 和表3 的摩洛哥得土安電網(wǎng)（Tetuan，Morocco）數(shù)據(jù)集對比中，可以看出本文算法的MSE和MAE值相比其他算法得到明顯優(yōu)化，主要是因為其他算法，在多維數(shù)據(jù)計算中因離群類的混雜過擬合，導(dǎo)致查準(zhǔn)率較低，而本文通過K-means 方法改進的RNN神經(jīng)網(wǎng)絡(luò)模型輸出，由聚類特征來對樣本分類進行訓(xùn)練歸并后得出更合理的預(yù)測結(jié)果，避免了數(shù)據(jù)的過擬合，提高了預(yù)測的準(zhǔn)確率。多維數(shù)據(jù)中存在的稀疏樣本數(shù)據(jù)點會影響整體模型的預(yù)測性能，導(dǎo)致其他算法預(yù)測結(jié)果較差，而本文是針對樣本維度特征點去計算同類樣本中的聚類區(qū)間，并依照各自聚類區(qū)間訓(xùn)練，構(gòu)建出合理的神經(jīng)網(wǎng)絡(luò)預(yù)測模型。從不同區(qū)域的樣本數(shù)據(jù)集上，可以得出本文提出的改進算法在不同數(shù)據(jù)集中的數(shù)據(jù)分析效果同樣較優(yōu)的結(jié)論。

4 結(jié)束語

由于傳統(tǒng)回歸模型對非單一維度數(shù)據(jù)集進行回歸分析時，少數(shù)奇異樣本具有較高的影響代價，導(dǎo)致回歸分析預(yù)測的準(zhǔn)確率較低，因此，本文提出了一種基于K-means 的神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)集的回歸預(yù)測算法，即通過K-means 聚類算法結(jié)構(gòu)優(yōu)化RNN 神經(jīng)網(wǎng)絡(luò)的輸入層，依照該聚類模型對應(yīng)的樣本特征點計算出同類樣本中的最優(yōu)化響應(yīng)后，構(gòu)建含有數(shù)據(jù)特征信息的聚類邊界，再對高維數(shù)據(jù)類別進行劃分從而平滑多維數(shù)據(jù)類別間因奇異值誤差造成的擬合代價，提高數(shù)據(jù)集樣本的預(yù)測可靠性。最后通過對比驗證結(jié)果表明，在回歸分析數(shù)據(jù)集中本文算法性能更優(yōu)秀，超過了常見的回歸預(yù)測算法，具有一定的現(xiàn)實意義和實操性。但本文算法并沒有考慮到動態(tài)環(huán)境下，數(shù)據(jù)集中少數(shù)類樣本的分布變化，下一步的研究方向是在半監(jiān)督學(xué)習(xí)框架下學(xué)習(xí)訓(xùn)練有價值的標(biāo)簽數(shù)據(jù)，提高聚類算法的魯棒性。