基于Scikit-learn的支持向量回歸分析

潘興廣 牛志忠 張明貴

關(guān)鍵詞：Scikit-learn;支持向量;回歸分析

中圖分類號(hào)：TP18 ? ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2019）06-0009-03

Keywords：Scikit-learn;support vector;regression analysis

0 ?引 ?言

支持向量回歸（Support Vector Regression，SVR）是AT&T BELL實(shí)驗(yàn)室的Vapanik提出的基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理的統(tǒng)計(jì)學(xué)習(xí)理論。它的基本思想是讓維數(shù)（泛化誤差）的上限最小化，從而使經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化，最終使訓(xùn)練數(shù)據(jù)的誤差最小化[1]。支持向量回歸是一種新的機(jī)器學(xué)習(xí)方法，它是基于統(tǒng)計(jì)學(xué)習(xí)理論和優(yōu)化理論發(fā)展起來的，它利用結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，把問題表述為一個(gè)二次凸規(guī)劃及其對(duì)偶問題來簡(jiǎn)化問題，并且這個(gè)凸規(guī)劃問題的解是全局最優(yōu)解。通過構(gòu)造損失函數(shù)和選取適當(dāng)?shù)恼齽t參數(shù)來處理回歸問題，利用核函數(shù)把非線性問題轉(zhuǎn)化為在高維特征空間求解線性問題。

支持向量回歸（SVR）是一種廣泛使用的回歸技術(shù)。與SVC類似，SVR也使用核函數(shù)將數(shù)據(jù)映射到高維空間，它將數(shù)據(jù)映射到更高維空間[2，3]。SVR引入核函數(shù)后，使其具有處理非線性問題的能力。但使用核函數(shù)帶來了時(shí)間復(fù)雜度高的問題，雖然Joachims和Plattet等提出了有效的訓(xùn)練方法，但在大規(guī)模數(shù)據(jù)集上使用核函數(shù)做回歸仍是個(gè)懸而未決的問題。

目前已經(jīng)有很多研究領(lǐng)域證明了SVR具有十分可觀的應(yīng)用前景，但是基于SVR的回歸預(yù)測(cè)結(jié)果仍然有很大的提升空間，還可以對(duì)SVR進(jìn)行改進(jìn)，使算法的性能有較大的提升。國外對(duì)SVR算法的改進(jìn)已經(jīng)做了很多工作，提出了一新改時(shí)算法。但國內(nèi)對(duì)于SVR的研究還是局限于應(yīng)用創(chuàng)新，缺乏理論創(chuàng)新。因此，SVR在國內(nèi)外還有很大的研究空間，以后的工作中應(yīng)加快理論方面的研究。

1 ?支持向量回歸技術(shù)

三個(gè)模型在Boston數(shù)據(jù)集的擬合性能如表3所示，可以發(fā)現(xiàn)，在SVR中使用不同的核函數(shù)，它們?cè)贐oston、breast cancer和iris三個(gè)數(shù)據(jù)集上的擬合性能是不一樣的。RBF核的SVR擬合性能最好，多項(xiàng)式核的SVR的性能次之，線性核的性能較差。

因此，在實(shí)際應(yīng)用中，應(yīng)該考慮選擇RBF核的SVR，把數(shù)據(jù)映射到高維的特征空間，然后再做回歸分析，這樣可以得到較好的擬合效果。

5 ?結(jié) ?論

支持向量回歸機(jī)（Support Vector Regression，SVR）是一種非常有效的回歸學(xué)習(xí)方法，具有很好的數(shù)據(jù)擬合性能，可以針對(duì)不同的應(yīng)用場(chǎng)景，選擇不同的核函數(shù)，可以得到較理想的擬合效果。隨著數(shù)據(jù)挖掘和數(shù)據(jù)分析技術(shù)的發(fā)展，SVR在未來一定有很好的應(yīng)用前景。

參考文獻(xiàn)：

[1] 吳煒編.基于學(xué)習(xí)的圖像增強(qiáng)技術(shù) [M].西安：西安電子科技大學(xué)出版社，2013.

[2] 王方成.混合型參數(shù)的支持向量回歸機(jī)建模及優(yōu)化研究 [D].河南：鄭州大學(xué)，2018.

[3] （美）Nello Cristianini，John Shawe-Taylor.支持向量機(jī)導(dǎo)論（第1版） [M].北京：電子工業(yè)出版社，2004.

[4] http：//archive.ics.uci.edu/ml/index.php，UCI data set.

作者簡(jiǎn)介：潘興廣（1979.11-），男，苗族，貴州黃平人，實(shí)

驗(yàn)師，碩士，研究方向：機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘;牛志忠（1897.11-），

男，漢族，江蘇淮安人，助教，碩士，研究方向：模式識(shí)別、人工智

能;張明貴（1986.11-），男，穿青人，貴州織金人，講師，碩士，研究方向：圖像處理，數(shù)據(jù)挖掘。