基于改進(jìn)大趨勢(shì)擴(kuò)散和隱含層插值的虛擬樣本生成方法及應(yīng)用

喬俊飛，郭子豪，3，湯健

（1 北京工業(yè)大學(xué)信息學(xué)部，北京100124； 2 計(jì)算智能與智能系統(tǒng)北京市重點(diǎn)實(shí)驗(yàn)室，北京100124；3 北京軌道交通技術(shù)裝備集團(tuán)，北京100071）

引 言

復(fù)雜工業(yè)過(guò)程采集和存儲(chǔ)的樣本數(shù)量隨著自動(dòng)化和信息化程度的提高而日漸增大，但建模及控制算法所需要的覆蓋多種工況的特定樣本或極端樣本往往比較稀缺。同時(shí)，這些工業(yè)過(guò)程的部分難以檢測(cè)質(zhì)量或環(huán)境污染指標(biāo)的檢測(cè)時(shí)間和經(jīng)濟(jì)成本極高，這使得用于構(gòu)建相應(yīng)的預(yù)測(cè)模型的建模數(shù)據(jù)呈現(xiàn)出小樣本特性[1]。研究表明，如果數(shù)據(jù)分布呈現(xiàn)離散或松散結(jié)構(gòu)，即在采樣點(diǎn)之間存在較大間隙，或者并沒(méi)有根據(jù)基礎(chǔ)數(shù)據(jù)變化規(guī)律進(jìn)行有效采集，也將導(dǎo)致建模數(shù)據(jù)具有“小樣本”特性[2]，即特征容量小、數(shù)據(jù)不連續(xù)、樣本多樣性差等[3]。以在生活垃圾的無(wú)害化、減量化和資源化處理等方面具有顯著優(yōu)勢(shì)的城市固廢焚燒（MSWI）過(guò)程為例[4]，MSWI過(guò)程會(huì)產(chǎn)生對(duì)人類健康和生態(tài)環(huán)境造成巨大潛在危害的劇毒持久性有機(jī)污染物，即二英（DXN）[5]。此外，DXN 也是造成MSWI 建廠存在“鄰避效應(yīng)”的主要原因。面對(duì)世界范圍內(nèi)限制排放的污染物DXN，目前MSWI 企業(yè)的主要關(guān)注點(diǎn)是如何通過(guò)優(yōu)化控制焚燒運(yùn)行參數(shù)實(shí)現(xiàn)其排放的最小化[6]。顯然，實(shí)現(xiàn)DXN的優(yōu)化減排的關(guān)鍵點(diǎn)之一是實(shí)現(xiàn)DXN的在線檢測(cè)。針對(duì)MSWI 過(guò)程的DXN，主要檢測(cè)方法包括離線直接檢測(cè)法、指示物/關(guān)聯(lián)物在線間接檢測(cè)法和軟測(cè)量方法[1]。目前，實(shí)際工業(yè)現(xiàn)場(chǎng)多以月或季為周期采用離線直接檢測(cè)法獲得DXN 排放濃度，進(jìn)而導(dǎo)致DXN 的有標(biāo)記建模樣本數(shù)量極其稀缺。顯然，具有類似上述特征的小樣本數(shù)據(jù)構(gòu)建的模型難以有效地表征事物或過(guò)程的本質(zhì)[7]。高質(zhì)量建模數(shù)據(jù)是進(jìn)行復(fù)雜工業(yè)過(guò)程優(yōu)化控制與智能決策的基礎(chǔ)，目前需要一種針對(duì)小樣本建模問(wèn)題的解決技術(shù)。因此，小樣本數(shù)據(jù)驅(qū)動(dòng)建模首先要克服的是稀缺樣本不完備問(wèn)題。

關(guān)于小樣本建模難問(wèn)題，文獻(xiàn)[8]提出基于灰色系統(tǒng)理論，通過(guò)累加原始樣本降低隨機(jī)性和提高序列間規(guī)律性，進(jìn)而提高建模精度，但針對(duì)分布不平衡數(shù)據(jù)的預(yù)測(cè)性能有限；文獻(xiàn)[9]提出基于箱圖的改進(jìn)灰色預(yù)測(cè)模型，提升時(shí)間序列小樣本模型的預(yù)測(cè)精度；文獻(xiàn)[10]闡述樣本數(shù)量與模型精度與復(fù)雜度之間的關(guān)系，并給出建模樣本數(shù)量與建模精度間映射關(guān)系的證明。

文獻(xiàn)[11]提出了虛擬樣本生成（VSG）的概念，其利用數(shù)學(xué)變換從多個(gè)角度生成虛擬樣本，以提高模式識(shí)別的能力。文獻(xiàn)[12]指出VSG能夠提高小樣本模型泛化能力的原因是其在數(shù)學(xué)上等價(jià)于將先驗(yàn)知識(shí)合并為正則化矩陣，并證明了利用原始數(shù)據(jù)映射關(guān)系生成虛擬樣本的可行性。針對(duì)樣本分布稀疏和分布不平衡的問(wèn)題，文獻(xiàn)[13]提出一種通過(guò)構(gòu)造離散點(diǎn)之間的近似函數(shù)求解未知空間函數(shù)值的插值法。文獻(xiàn)[14]提出了一種基于多項(xiàng)式插值的技術(shù)擴(kuò)展樣本?，F(xiàn)有VSG 研究大多面向分類問(wèn)題[15-16]。針對(duì)本文所重點(diǎn)研究的小樣本回歸建模問(wèn)題[17]，文獻(xiàn)[18-20]提出了基于多種優(yōu)化算法的VSG 策略，文獻(xiàn)[21]提出了生成通用結(jié)構(gòu)數(shù)據(jù)的抽樣策略，文獻(xiàn)[22]對(duì)小樣本VSG 方法的有效擴(kuò)展策略進(jìn)行了論述，文獻(xiàn)[23]說(shuō)明了VSG 方法在擴(kuò)展小樣本方面的有效性，文獻(xiàn)[24]提出基于距離準(zhǔn)則確定數(shù)據(jù)稀疏區(qū)域。最近，湯健等提出了針對(duì)高維數(shù)據(jù)的VSG[25]，并基于VSG 提出了面向多組分機(jī)械振動(dòng)信號(hào)的建模策略[26]；但這兩種技術(shù)僅利用實(shí)驗(yàn)數(shù)據(jù)所蘊(yùn)含的先驗(yàn)知識(shí)進(jìn)行插值，未能解決建模樣本稀缺的根本問(wèn)題。從本質(zhì)上講，VSG 主要通過(guò)填充樣本空間中不完整或不平衡信息進(jìn)行擴(kuò)充。上述基于插值法的VSG 策略大多采用傳統(tǒng)單模型生成虛擬樣本，這對(duì)具有復(fù)雜工況分布的工業(yè)建模對(duì)象而言是很難有效的。此外，上述方法未考慮極端樣本或樣本分布不均勻等問(wèn)題，在本質(zhì)上并未有效解決小樣本擴(kuò)容問(wèn)題。

文獻(xiàn)[27]提出根據(jù)實(shí)際樣本的輸入分布擴(kuò)展虛擬樣本區(qū)域的大趨勢(shì)擴(kuò)散（MTD）技術(shù)；但方法僅在隸屬度空間進(jìn)行擴(kuò)展，并且由于選取均值作為虛擬樣本空間的擴(kuò)展中心導(dǎo)致無(wú)法保證其在實(shí)域空間內(nèi)擴(kuò)展樣本邊界的完整性。此外，該MTD 方法未考慮樣本總體分布的差異性和極端樣本的存在，很難有效填補(bǔ)多工況特定樣本或極端樣本的分布范圍。因此，需要一種更為有效的真實(shí)樣本邊界區(qū)域擴(kuò)展算法。隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)(RWNN)是基于前饋神經(jīng)元網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)算法，其特點(diǎn)是隱含層節(jié)點(diǎn)權(quán)值隨機(jī)生成且無(wú)須更新，輸出權(quán)值采用最小廣義逆計(jì)算獲得[28]。針對(duì)真實(shí)樣本中可能存在的噪聲，文獻(xiàn)[22,29]提出了基于RWNN 和自聯(lián)想神經(jīng)網(wǎng)絡(luò)的隱含層插值相結(jié)合的VSG 方法，但在虛擬樣本生成的穩(wěn)定性等方面還有待完善。此外，上述不同類型的虛擬樣本之間還存在著互補(bǔ)特性。

基于此，本文提出了一種基于改進(jìn)MTD 和RWNN 隱含層多層插值法的VSG 方法。在采用改進(jìn)MTD 進(jìn)行虛擬樣本輸入/輸出區(qū)域進(jìn)行擴(kuò)展的基礎(chǔ)上，采用基于RWNN 的等間隔插值和正則化隱含層插值相結(jié)合策略增強(qiáng)虛擬樣本生成的穩(wěn)定性及相互之間的互補(bǔ)性。采用基準(zhǔn)數(shù)據(jù)集以及MSWI過(guò)程的DXN 數(shù)據(jù)驗(yàn)證了該VSG 方法的合理性和有效性。

1 相關(guān)工作

1.1 基于VSG方法的樣本生成

圖像識(shí)別領(lǐng)域首先給出的虛擬樣本定義為：基于先驗(yàn)知識(shí)通過(guò)數(shù)學(xué)變換產(chǎn)生的新圖像[11]。進(jìn)一步，文獻(xiàn)[30]給出了較為通用的VSG的定義，即基于先驗(yàn)知識(shí)和較少數(shù)量的真實(shí)樣本通過(guò)某種變換產(chǎn)生新樣本的過(guò)程。具體而言，VSG 是以原始小樣本數(shù)據(jù)集為基礎(chǔ)，利用先驗(yàn)知識(shí)或樣本分布等潛在信息生成虛擬樣本，解決樣本數(shù)據(jù)稀缺、不平衡等問(wèn)題，進(jìn)而提高小樣本數(shù)據(jù)模型的泛化能力。目前，VSG面臨的挑戰(zhàn)包括：如何確定虛擬樣本輸入/輸出、如何確定虛擬樣本數(shù)量和如何評(píng)估虛擬樣本質(zhì)量等。文獻(xiàn)[22]給出了如圖1 所示的真實(shí)樣本與期望樣本空間的示意圖。

圖1表明VSG的本質(zhì)是通過(guò)“填充”期望分布樣本空間中的不完整或不平衡信息以實(shí)現(xiàn)樣本擴(kuò)充，主要涉及：（1）對(duì)真實(shí)樣本空間的信息間隔進(jìn)行填充；（2）對(duì)真實(shí)樣本空間邊界進(jìn)行擴(kuò)展并填充；（3）對(duì)不符合期望樣本空間的虛擬樣本進(jìn)行刪減。

1.2 基于MTD方法的區(qū)域擴(kuò)展

圖1 真實(shí)樣本與期望樣本空間的關(guān)系Fig.1 Relationship between expected sample space and real sample space

3.1 基準(zhǔn)數(shù)據(jù)集驗(yàn)證

3.1.1 數(shù)據(jù)集的描述 本驗(yàn)證實(shí)驗(yàn)采用UCI平臺(tái)的“水泥抗壓強(qiáng)度”基準(zhǔn)數(shù)據(jù)集，可訪問(wèn)http://www.ucl.ac.be 獲取。數(shù)據(jù)集共有數(shù)據(jù)1030 組，包含8 個(gè)輸入變量（水泥、高爐渣、粉煤灰、水、超塑化劑、粗骨料、細(xì)骨料、齡期,分別用數(shù)字1～8表示）和1個(gè)輸出變量（混凝土抗壓強(qiáng)度）。為驗(yàn)證所提VSG 方法的合理性和有效性，針對(duì)1030 組原始數(shù)據(jù)集的前1000 組數(shù)據(jù)每25組數(shù)據(jù)抽取1組數(shù)據(jù)，總共抽取40組作為本驗(yàn)證實(shí)驗(yàn)所使用的真實(shí)小樣本數(shù)據(jù)集。

3.1.2 仿真結(jié)果 采用所提方法對(duì)虛擬樣本進(jìn)行區(qū)域擴(kuò)展，原始數(shù)據(jù)的xmax和xmin以及擴(kuò)展后的xvsg-max和xvsg-min如圖3 所示。數(shù)據(jù)集的ymax和ymin以及擴(kuò)展后的yvsg-max和yvsg-min值，如表1所示。

從圖3 和表1 可知，虛擬樣本的輸入/輸出空間均被有效擴(kuò)展，其中：樣本輸入空間的上限和下限分別平均擴(kuò)展了28.81%和12.77%，樣本輸出空間的上限和下限分別平均擴(kuò)展了25.61%和100%。

基于等間隔方法生成虛擬樣本輸入/輸出的結(jié)果如表2所示。

表1 基準(zhǔn)數(shù)據(jù)擴(kuò)展輸出空間與原始輸出空間的對(duì)比Table 1 Comparison of extended output space and original output space for Benchmark data

由表2 可知，在考慮到極端樣本的前提下，基于等間隔法在擴(kuò)展區(qū)域和原始區(qū)域生成的虛擬樣本有效擴(kuò)充了小樣本數(shù)據(jù)。虛擬樣本輸出的未刪減數(shù)量（合格樣本）與生成數(shù)量的關(guān)系如圖4所示。

由圖4 可知，上述方法所生成虛擬樣本的穩(wěn)定性具有隨機(jī)性，其平均刪減比率為30.41%。隨機(jī)性可能與映射模型的構(gòu)建、神經(jīng)網(wǎng)絡(luò)本身的隨機(jī)性以及小樣本自身建模的局限性等因素有關(guān)。

圖3 基準(zhǔn)數(shù)據(jù)原始小樣本空間與擴(kuò)展空間的對(duì)比Fig.3 Comparison between original small sample space and extended space

表2 基準(zhǔn)數(shù)據(jù)等間隔策略生成虛擬樣本的輸入/輸出（以n=3時(shí)第1和2組樣本為例）Table 2 Input and output of virtual samples generated based on equal interval method for Benchmark data（taking the first and second samples with n=3 as example）

圖4 基準(zhǔn)數(shù)據(jù)樣本輸出的刪減數(shù)量與生成數(shù)量的關(guān)系Fig.4 Relationship between the deleted number and the generated number of the virtual sample output for Benchmark data

未加入正則化項(xiàng)基于多組隱含層插值法的虛擬樣本輸入和輸出（反歸一化處理后）結(jié)果如表3所示。

由表3 可知，未加正則化項(xiàng)時(shí)在高維非線性空間插值進(jìn)行虛擬樣本的生成，經(jīng)由高維空間的線性變換得到的虛擬樣本輸出較為穩(wěn)定；但從高維空間反映射到低維線性空間獲取虛擬樣本輸入時(shí)，因映射參數(shù)有一定的隨機(jī)性導(dǎo)致其所生成虛擬樣輸入的穩(wěn)定性具有較大的波動(dòng)性。以前5 組為例，虛擬樣本輸入平均符合上下限設(shè)定值的比率為67.5%，但最優(yōu)情況可達(dá)100%，最差情況也會(huì)低至0。

表3 基準(zhǔn)數(shù)據(jù)未加入正則化項(xiàng)基于多組隱含層插值法的虛擬樣本輸入/輸出結(jié)果（以前5組為例）Table 3 Virtual sample input and output results based on multiple sets of hidden layer interpolation method without regularization term for Benchmark data（taking the former five samples as example）

表4 基準(zhǔn)數(shù)據(jù)加入正則化項(xiàng)基于多組隱含層插值法的虛擬輸入/輸出結(jié)果（以前5組樣本為例）Table 4 Virtual sample input and output results based on multiple sets of hidden layer interpolation method with adding regularization term for Benchmark data（taking the former five samples as example）

因此，在未加入正則化項(xiàng)時(shí)，每對(duì)虛擬樣本輸入/輸出總會(huì)因其中一項(xiàng)不合格而導(dǎo)致該組虛擬樣本因不合格而被舍棄，進(jìn)而導(dǎo)致合格虛擬樣本生成率低。加入正則化項(xiàng)（懲罰參數(shù)取值為0.1）后隱含層插值法的虛擬輸入/輸出結(jié)果如表4所示。

由表4 可知，加入正則化項(xiàng)所生成的虛擬樣本輸入/輸出均符合樣本的規(guī)定區(qū)域。因此，基于RWNN 的隱含層插值法的隨機(jī)性是影響其樣本生成穩(wěn)定性的主要因素之一。正則化項(xiàng)加入前后的虛擬樣本合格率的對(duì)比如圖5所示。

圖5 基準(zhǔn)數(shù)據(jù)正則化項(xiàng)對(duì)虛擬樣本合格率的影響Fig.5 Effect of regularization term on sample qualification rate

表5 基準(zhǔn)數(shù)據(jù)刪減后的基于多組隱含層插值法的虛擬樣本輸入/輸出結(jié)果（以前5組樣本為例）Table 5 Virtual sample input and output results based on multiple sets of hidden layer interpolation method with deletion operation for Benchmark data（taking the former five samples as example）

表6 基準(zhǔn)數(shù)據(jù)實(shí)驗(yàn)結(jié)果比較Table 6 Comparison of experimental results for Benchmark data

由圖5 可知，未加入正則化項(xiàng)時(shí)的虛擬樣本合格率無(wú)法得到有效保障，加入后合格率顯著提高。刪減后的基于多組隱含層插值的虛擬樣本輸入/輸出如表5所示。

由上可知，基于本文所提策略，可對(duì)抽樣獲得的小樣本水泥抗壓強(qiáng)度數(shù)據(jù)集進(jìn)行合理擴(kuò)容，驗(yàn)證本文所提VSG方法的合理性。

3.1.3 方法比較 基于本文所設(shè)計(jì)實(shí)驗(yàn)，基準(zhǔn)數(shù)據(jù)的對(duì)比結(jié)果如表6所示。

由表6 可知，對(duì)于本實(shí)驗(yàn)所采用的水泥抗壓強(qiáng)度數(shù)據(jù)集，小樣本數(shù)據(jù)集（無(wú)VSG 方法）的RMSE 為23.599，使用VSG 方法后的最佳RMSE 為13.383。結(jié)果表明，本文所提VSG 方法可提高小樣本建模精度43.290%，驗(yàn)證了所提方法的有效性，但如何確定合理的虛擬樣本數(shù)量方面的研究仍然有待深入。不同方法的預(yù)測(cè)輸出曲線如圖6所示。

由上述結(jié)果可知：所提方法能夠擴(kuò)展和填補(bǔ)真實(shí)樣本邊界和間隔，提高虛擬樣本的有效性、平衡性和數(shù)據(jù)完整性。但所用建模方法所固有隨機(jī)性導(dǎo)致混合樣本的建模精度具有一定的波動(dòng)性。

3.2 工業(yè)過(guò)程數(shù)據(jù)驗(yàn)證

3.2.1 數(shù)據(jù)描述 典型的基于爐排爐的MSWI的工藝流程如圖7所示。

圖6 基準(zhǔn)數(shù)據(jù)不同方法的測(cè)試樣本預(yù)測(cè)曲線Fig.6 Prediction curves of test samples with different methods of Benchmark data

由圖7 可知，城市固廢焚燒（MSWI）過(guò)程主要分為以下步驟：首先將城市固廢（MSW）運(yùn)輸至卸料大廳，然后倒入存放池中，靜置發(fā)酵后通過(guò)抓斗抓入爐排內(nèi)；在爐排中經(jīng)過(guò)多組爐排聯(lián)動(dòng)燃燒后，所產(chǎn)生的廢渣進(jìn)入爐渣池，經(jīng)收集后進(jìn)行填埋處理；燃燒生成的混合氣體經(jīng)余熱鍋爐和水冷壁降溫后，產(chǎn)生高壓蒸氣推動(dòng)汽輪機(jī)進(jìn)行發(fā)電；冷卻后的混合氣體進(jìn)入反應(yīng)器和除塵器進(jìn)行吸附物理反應(yīng)和脫硫脫硝化學(xué)反應(yīng)后由煙囪排出；排放至大氣的混合氣體含有二英（DXN）等有害物質(zhì)。

圖7 典型基于爐排爐的MSWI工藝流程圖Fig.7 Typical MSWI process flow chart based on grate furnace

MSWI 的過(guò)程變量以秒為單位采集和存儲(chǔ)。因DXN 檢測(cè)的高成本性和難測(cè)量性使得工業(yè)現(xiàn)場(chǎng)多以月或季為周期對(duì)其進(jìn)行離線直接檢測(cè)，這導(dǎo)致有標(biāo)記建模樣本的數(shù)量極其稀缺?；陉P(guān)聯(lián)物/指示物的DXN 在線檢測(cè)在本質(zhì)上仍然需要基于離線化驗(yàn)DXN 數(shù)據(jù)構(gòu)建映射模型[31-32]，軟測(cè)量直接采用MSWI 的過(guò)程變量和易檢測(cè)氣體濃度構(gòu)建映射模型[33-34]。不同于文獻(xiàn)[35]采用的是20 年前國(guó)外相關(guān)機(jī)構(gòu)收集的DXN 數(shù)據(jù)[36]建模，本驗(yàn)證實(shí)驗(yàn)建模數(shù)據(jù)源于北京某基于爐排爐的MSWI 企業(yè)，涵蓋了近6 年所記錄的有效DXN 排放濃度檢測(cè)樣本，樣本數(shù)量為34個(gè)，特征選擇后的變量維數(shù)為18。

3.2.2 仿真結(jié)果 對(duì)于虛擬樣本區(qū)域的擴(kuò)展，原始數(shù)據(jù)集的xmax和xmin以及擴(kuò)展后的xvsg-max和xvsg-min如圖8所示。

原始數(shù)據(jù)集的ymax和ymin以及擴(kuò)展后的yvsg-max和yvsg-min如表7所示。

從圖8 和表7 可知，虛擬樣本的輸入/輸出空間均被擴(kuò)展，其中：樣本輸入空間的上限和下限分別平均擴(kuò)展了37.29%和49.47%，樣本輸出空間的上限和下限分別平均擴(kuò)展了60.24%和100%。基于等間隔法所生成虛擬樣本輸入/輸出的結(jié)果如表8所示。

虛擬樣本輸出的刪減數(shù)量與生成數(shù)量的關(guān)系如圖9所示。

圖8 DXN數(shù)據(jù)原始小樣本空間與擴(kuò)展空間對(duì)比（以前5組特征變量為例）Fig.8 Comparison between original small sample space and extended space(taking the former 5 input features as example)for DXN data

表7 DXN數(shù)據(jù)擴(kuò)展輸出空間與原始輸出空間的對(duì)比Table 7 Comparison between extended output space and original output space for DXN data

圖9 DXN數(shù)據(jù)樣本輸出的刪減數(shù)量與生成數(shù)量的關(guān)系Fig.9 Relationship between the number of deletion and generation of virtual sample output for DXN data

由圖9 可知，虛擬生成樣本的成功率具有隨機(jī)性，其平均刪減比率為17.65%。該隨機(jī)性與映射模型的構(gòu)建精度、神經(jīng)網(wǎng)絡(luò)固有隨機(jī)性以及小樣本數(shù)據(jù)自身建模的局限性等多種因素有關(guān)。

未加入正則化項(xiàng)時(shí)基于多組隱含層插值法的虛擬輸入/輸出（反歸一化后）結(jié)果如表9所示。

由表9可知，在未加正則化項(xiàng)情況下，在高維非線性空間插值生成的虛擬樣本輸出較為穩(wěn)定；但虛擬樣本輸入需從高維空間反映射到低維線性空間，因映射參數(shù)所固有的隨機(jī)性導(dǎo)致所生成的虛擬樣本輸入的成功率具有隨機(jī)性。此處以前5 組為例，其中：虛擬樣本輸入平均值符合上下限設(shè)定值的比率為80%，最優(yōu)100%，最差0。因此，在未加入正則化項(xiàng)時(shí)，隱含層插值所生成的虛擬樣本輸入/輸出中總會(huì)存在一定數(shù)量的不合格樣本，這導(dǎo)致難以獲得期望數(shù)量的合格虛擬樣本。

表8 DXN數(shù)據(jù)基于等間隔法生成的虛擬樣本輸入/輸出結(jié)果（以n=3時(shí)第1和2組樣本為例）Table 8 Virtual samples input and output based on generated at equal interval method（taking the first and second samples with n=3 as example）for DXN data

表9 DXN數(shù)據(jù)未加入正則化項(xiàng)基于多組隱含層插值法的輸入/輸出結(jié)果（以前5組樣本為例）Table 9 Input and output results based on multiple groups of hidden layer interpolation method without regularization term for DXN data（taking the former five samples as example）

加入正則化（懲罰參數(shù)取值為0.1）項(xiàng)后，基于多組隱含層插值法的虛擬輸入/輸出結(jié)果如表10所示。

由表10 可知，在加入正則化項(xiàng)情況下，所生成的虛擬樣本輸入/輸出符合樣本規(guī)定區(qū)域的比例達(dá)到100%。因此，基于RWNN 的隱含層插值法的隨機(jī)性是影響其樣本生成優(yōu)劣的主要因素。

針對(duì)同一輸入特征，加入正則化項(xiàng)前后的虛擬樣本合格率的對(duì)比如圖10所示。

由圖10 可知，未加入正則化時(shí)的合格率波動(dòng)較大，范圍從0～100%；加入正則化項(xiàng)后可確保其合格率達(dá)到100%。采用所提方法，刪減后基于多組隱含層插值法的虛擬樣本輸入/輸出如表11所示。

表10 DXN數(shù)據(jù)加入正則化項(xiàng)基于多組隱含層插值法的輸入/輸出結(jié)果（以前5組樣本為例）Table 10 Virtual sample input and output results based on multiple sets of hidden layer interpolation method with adding regularization term for DXN data（taking the former five samples as example）

圖10 DXN數(shù)據(jù)正則化項(xiàng)對(duì)樣本合格率的影響Fig.10 Effect of regularization term on sample qualification rate for DXN data

由上可知，本文所提策略能夠?qū)XN 數(shù)據(jù)進(jìn)行合理擴(kuò)充，驗(yàn)證了所提VSG方法的合理性。

3.2.3 方法比較 基于本文所設(shè)計(jì)實(shí)驗(yàn)，基準(zhǔn)數(shù)據(jù)對(duì)比結(jié)果如表12所示。

從表12 可知，基于真實(shí)小樣本數(shù)據(jù)集（無(wú)VSG）的RMSE 為0.0383，基 于VSG 的 最 佳RMSE 為0.0254。結(jié)果表明，采用所提VSG 方法后可提高DXN 小樣本數(shù)據(jù)建模精度30.29%，驗(yàn)證了有效性，但如何確定合理的虛擬樣本數(shù)量方面的研究仍然有待深入。因此，所提方法有效地?cái)U(kuò)展了樣本空間，有效填補(bǔ)了樣本間隔，提高混合建模樣本的有效性、平衡性和完整性。但所用建模方法所固有的隨機(jī)性也導(dǎo)致混合建模樣本的預(yù)測(cè)性能存在一定波動(dòng)性。

表11 DXN數(shù)據(jù)刪減后的基于多組隱含層插值法的虛擬樣本輸入/輸出結(jié)果（以前5組樣本為例）Table 11 Virtual sample input and output results based on multiple sets of hidden layer interpolation method with deletion operation for DXN data（taking the former five samples as example）

4 結(jié) 論

本文針對(duì)復(fù)雜工業(yè)過(guò)程難以檢測(cè)質(zhì)量或環(huán)境污染指標(biāo)數(shù)據(jù)的時(shí)間和經(jīng)濟(jì)成本高，進(jìn)而導(dǎo)致有標(biāo)記建模數(shù)據(jù)樣本稀缺的問(wèn)題，提出了基于改進(jìn)大趨勢(shì)擴(kuò)散和隱含層插值的虛擬樣本生成(VSG)方法，用于提升小樣本數(shù)據(jù)的建模性能。主要?jiǎng)?chuàng)新為：（1）提出了改進(jìn)MTD 算法，確保了虛擬樣本輸入/輸出的有效擴(kuò)展區(qū)域；（2）提出了基于正則化改進(jìn)的隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)隱含層插值算法，提高了VSG 的成功率和穩(wěn)定性；（3）提出了融合等間隔插值和神經(jīng)網(wǎng)絡(luò)隱含層插值的策略及虛擬樣本刪減機(jī)制。實(shí)驗(yàn)結(jié)果表明，本文所提方法能夠有效擴(kuò)展樣本邊界區(qū)域和填補(bǔ)樣本間隔，提高了建模樣本的有效性、平衡性和完整性?？紤]到影響混合建模樣本的效果包括數(shù)據(jù)集類型、MTD 擴(kuò)展倍數(shù)、映射模型構(gòu)建算法與參數(shù)等多個(gè)因素，下一步研究工作是如何深化VSG 理論基礎(chǔ)、如何優(yōu)化虛擬樣本生成質(zhì)量與數(shù)量以及降低映射模型隨機(jī)性。

表12 DXN數(shù)據(jù)實(shí)驗(yàn)結(jié)果比較Table 12 Comparison of experimental results for DXN data