淺析稀疏優(yōu)化在機(jī)器學(xué)習(xí)中的應(yīng)用

李董東

摘要：Machine Learning翻譯過來即是機(jī)器學(xué)習(xí)簡稱ML，其是一門復(fù)雜的學(xué)科涉及的領(lǐng)域很廣泛且其算法理論也是相對復(fù)雜。什么叫作機(jī)器學(xué)習(xí)呢，從字面就可以看出是有計(jì)算機(jī)的參與，通過模擬學(xué)習(xí)人類的行為來達(dá)到實(shí)現(xiàn)人類行為的目的。稀疏優(yōu)化主要的目的就是將問題得到優(yōu)化，那么這一過程則是會有優(yōu)化模型的參與以及運(yùn)用到一些相對應(yīng)的算法。但是當(dāng)前其過程涉及的一些理論知識以及算法一類的其實(shí)還是不那么成熟是需要繼續(xù)發(fā)展的。在近幾年中，稀疏優(yōu)化在很多的領(lǐng)域方面得到了應(yīng)用，例如對信號，圖像的處理方面或者一些工程，金融中都有涉及，目前已經(jīng)晉升到其領(lǐng)域中的一個很重要的分支。

關(guān)鍵詞：機(jī)器學(xué)習(xí);模型;稀疏優(yōu)化

中圖分類號：TP3? ? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2019）19-0194-02

1 引言

機(jī)器學(xué)習(xí)帶有很重要的任務(wù)，為了確定其內(nèi)在的一些特定規(guī)律，例如對數(shù)據(jù)進(jìn)行觀測;目前機(jī)器學(xué)習(xí)的設(shè)計(jì)的方法很多同時也是相當(dāng)?shù)年P(guān)鍵，其重點(diǎn)涉及了稀疏優(yōu)化模型。那么本文通過對其模型進(jìn)行了優(yōu)化且將其運(yùn)用到了機(jī)器學(xué)習(xí)的過程中，對其結(jié)構(gòu)進(jìn)行改建;同時也針對這種模型創(chuàng)新了新型算法來進(jìn)行建立。

目前在機(jī)器學(xué)習(xí)的創(chuàng)建過程中有很多的問題需要關(guān)注，不僅僅是涉及算法的一些問題，同時也有些工程領(lǐng)域的東西涉及信號，圖像的處理，統(tǒng)計(jì)以及數(shù)據(jù)挖掘等。那么為了尋找針對稀疏解所涉及的優(yōu)化模型，算法等，我們有了稀疏優(yōu)化這種方式。稀疏是具備一種簡單結(jié)構(gòu)不是單指很少的非零分量，通過其特性-稀疏性，一些專家能夠通過這種特性設(shè)計(jì)出更好的優(yōu)化算法來解決很多問題。

對于針對機(jī)器學(xué)習(xí)的重點(diǎn)問題是要有一個特定規(guī)律，這種規(guī)律是要有數(shù)據(jù)為依據(jù)，這種規(guī)律往往是比較簡單的，所以為了對這種模型有更深入的了解，目前算法中涉及的稀疏解結(jié)構(gòu)也是相當(dāng)重要的。

2 用于機(jī)器學(xué)習(xí)的稀疏優(yōu)化模型及算法

文中涉及的疏優(yōu)化模型是非常抽象的結(jié)構(gòu)。最近幾年來做過了很多這方面模型的研究且發(fā)現(xiàn)其中的典型模型都具備這種抽象結(jié)構(gòu)，為了進(jìn)一步了解，文章在后面會進(jìn)一步讓我們了解多鐘類型的稀疏優(yōu)化模型，且其都是針對解決不同問題的情況創(chuàng)建出的，而且都是在原有的經(jīng)典模型基礎(chǔ)上的演變或優(yōu)化得來的。目前經(jīng)典款的也得到了很多的算法和軟件包，但是在某些問題中在某些模塊上還存在一些問題不能滿足要求;這篇文章中提到了一種新型的算法Splitting，這種算法是專門針對求解這一模型特別是PCA模型的通用軟件包。

2.1 用于機(jī)器學(xué)習(xí)的稀疏優(yōu)化模型的抽象結(jié)構(gòu)

機(jī)器學(xué)習(xí)并不只是建立在計(jì)算機(jī)的基礎(chǔ)上的簡單行為操作其實(shí)更重要的是用來觀測數(shù)據(jù)，這些數(shù)據(jù)是建立在用戶的基礎(chǔ)之上的，目的是找出一些規(guī)律，對用來說比較有興趣的規(guī)律，一般情況下使用某一函數(shù)或映射關(guān)系來表示出這一種規(guī)律，目前我們用字母f來表示這一種關(guān)系，那么在一定的數(shù)據(jù)的基礎(chǔ)下，這之間的關(guān)系可以以函數(shù)表示，如下：

[min V（f;Θ），]

其中。表示觀測數(shù)據(jù)，[V（?）]是給定的極小化準(zhǔn)則.本文所涉及的稀疏優(yōu)化模型中，[V（?）]均為某個損失泛函，表示映射f在觀測數(shù)據(jù)上的偏差.用戶觀測到的數(shù)據(jù)（稱之為樣本），其容量是有限的.在有限樣本上學(xué)習(xí)建立近似映射f的任務(wù)往往是一個不適定問題.因此，映射了應(yīng)當(dāng)限制在某一函數(shù)集合[Mt]上：

[min V（f;Θ），s.t.? f∈Mt]

其中參數(shù)[t≥0]控制集合[Mt]的大小.在稀疏優(yōu)化模型中，通常選取從使其具有某種簡單或特定的結(jié)構(gòu).

本節(jié)指出，近年來廣泛研究的幾種典型的稀疏優(yōu)化模型均具有如上面的模型所示的抽象結(jié)構(gòu)，且極小準(zhǔn)則[M（?）]均為某個度量下的經(jīng)驗(yàn)損失。

1）Lasso模型

在Lasso模型（（1.1）中，[f∈Mt]，[Mt]是由[Rn]上的線性函數(shù)[f（?）=x，?]構(gòu)成的空間，其中系數(shù)向量x的所有分量絕對值加和不超過t.經(jīng)驗(yàn)損失[V?]是觀測點(diǎn)上的平方損失之和：[V（f;xi，yi）=12=i=1m（f（xi）-yi）2]。

對于Lasso模型的變形Group Lasso模型（它的函數(shù)空間[Mt]是由[Rn]上的線性函數(shù)[f（?）=x，?]構(gòu)成的空間，使得線性系數(shù)x的[·1，2]范數(shù)不超過t。

2）矩陣秩極小化

在矩陣秩極小化模型中，函數(shù)[f∈Mt] ，[Mt]是由矩陣空間[Rp×q]上的線性函[f（?）=x，?]構(gòu)成的空間，其中系數(shù)矩陣X的奇異值的加和不超過t.經(jīng)驗(yàn)損失V（.）是觀測點(diǎn)上的平方損失之和。

2.2 收斂性分析

這一節(jié)提到的對收斂性分析是建立在如下的假設(shè)中，具體如下：

假設(shè)1（唯一指標(biāo)假設(shè)）。在任意迭代步k，僅有一個指標(biāo)導(dǎo)致了步長條件，即[γk+，γk-，γk--]和[γk++]中僅有一個量達(dá)到了式確定的步長[γk]，僅有[Ik1，Ik2]或[Ik3]中的一個指標(biāo)使得步長條件成立.

假設(shè)2（非退化指標(biāo)假設(shè)）.在任意迭代步k，不存在中的指標(biāo)滿足下列條件：

2.3 協(xié)同過濾數(shù)據(jù)的可預(yù)測性評估

目前在電子商務(wù)這個領(lǐng)域協(xié)同過濾這種方法是運(yùn)用得最多的，其目的是為了協(xié)助客戶找到自己喜歡的產(chǎn)品，而且對于協(xié)同過濾來說，它帶有基本的任務(wù)，即是能夠參與到涉及用戶一商品矩陣中來且針對其未知的部分進(jìn)行評分。對于大部分針對協(xié)同過濾這一塊的工作來說，很多的時候只是在研究改善其算法，但是由于受到一些限制，所以導(dǎo)致整個評分矩陣中存在一部分沒有辦法被預(yù)測。這篇文章中涉及的相關(guān)性是能夠改善這一問題的，且相關(guān)性的計(jì)算不是那么容易的，是建立在不同的社區(qū)之間，切涉及Lasso模型才能夠得到的。目前存在兩個概率，一是能夠精確預(yù)測以及二是難以預(yù)測這兩個點(diǎn)，其兩點(diǎn)都是相關(guān)性度量在進(jìn)行評分時候的參考依據(jù)。

評估一個用戶一商品評分對的可預(yù)測程度涉及兩塊，第一參考先驗(yàn)信息，其是跟這一好壞程度掛鉤的，當(dāng)用戶能夠有好的算法推薦，且是好的數(shù)據(jù)點(diǎn)上，那么可以依靠協(xié)同過濾算法，且用戶一商品可以被準(zhǔn)確預(yù)測的程度是可以通過這一“好的程度”來實(shí)現(xiàn)的。一個“好”的用戶一商品對含有足夠的相關(guān)的評分信息，因此預(yù)測的評分是可信的。一個“壞”的用戶一商品對缺少有關(guān)聯(lián)性的評分信息，這個是可以做出可靠預(yù)測的關(guān)鍵憑證，所以協(xié)同過濾算法得出的預(yù)測值是有待考察的尤其是針對這些用戶一商品對上面。其次，針對戶一商品對的信息不論其好壞程度其實(shí)對于協(xié)同過濾算法的設(shè)計(jì)或者是優(yōu)化都是有好處的。目前參考很多的實(shí)驗(yàn)結(jié)果且是關(guān)于協(xié)同過濾算法，可以看出好的評分精度是更高的，遠(yuǎn)勝于壞的評分的精度。這樣的研究考察是有益于設(shè)計(jì)出新的算法，針對評分?jǐn)?shù)據(jù)的質(zhì)量好換之分都是可以運(yùn)用于不同的情況，可以運(yùn)用不同的方法處理。

最近幾年，在協(xié)同過濾這個系統(tǒng)中也有引進(jìn)雙聚類和圖模型，是用來刻畫研究偏相似性，是介于商品和用戶之間的這種關(guān)系，然而雙聚類方法確是具備一定的限制，緊緊適用于商品子集合和某些特定的用戶，對于某一個用戶一商品對可預(yù)測程度的度量確實(shí)不適用的。同時一些用戶商品也可能不適應(yīng)于任何的一個分類的當(dāng)中，即使是他們具備評分信息的充足性也是不被包含的。為了解決這一種的問題，我們需要利用圖模型來解決將其都包含到不同的類別中去。但是由于在同一個類別中用戶—商品都是應(yīng)該對應(yīng)同一個類，所以當(dāng)涉及評分波動時，無論其幅度的大小，其可預(yù)測程度依舊是不太直觀的。

這篇文章中涉及了相關(guān)性這一詞，是用來闡述上文中提到的可被準(zhǔn)確預(yù)測的程度，專門針對用戶一商品對之間的。相關(guān)性的值是會被某些因素所影響的，例如其過程中涉及的用戶以及社區(qū)。那么為了計(jì)算其之間的相關(guān)性需要涉及兩個部分，其一是用戶的性關(guān)系以及商品之間的。針對用戶之間的相關(guān)性，為了解決其問題建立了Lasso模型。為了計(jì)算商品的相關(guān)性可以通過[l1-]一范數(shù)的參與能夠了解到相關(guān)的信息，我們都知道用戶一商品和社區(qū)之間的關(guān)系是一對多，因此其高質(zhì)量社區(qū)的確定是通過得到的極大化相關(guān)性的值來判斷出的。

2.4 從時間序列基因表達(dá)數(shù)據(jù)中推斷基因正則化網(wǎng)絡(luò)

GRN對于基因功能的研究是非常關(guān)鍵的方法之一，那么GRN到底是什么呢？GNR中文名即從時間序列基因表達(dá)數(shù)據(jù)中推斷基因正則化網(wǎng)絡(luò)。依據(jù)目前的手段方式只能從其數(shù)據(jù)中推斷出單個網(wǎng)絡(luò)，但是其網(wǎng)絡(luò)一般來說都是具備結(jié)構(gòu)的，一般都是有很多個子網(wǎng)絡(luò)，而且各個子網(wǎng)絡(luò)之間都是具備關(guān)聯(lián)性的，在基因功能上都是層層關(guān)聯(lián)。目前本文中提到的方式即NCI也就是網(wǎng)絡(luò)和社區(qū)識別，我們這種方式是將社區(qū)結(jié)構(gòu)信息結(jié)合在一起，通過基因表達(dá)出的數(shù)據(jù)來進(jìn)行推理的。這種NCI方法中涉及的模型其實(shí)也是具備前面提到的稀疏結(jié)構(gòu)，通過對此的運(yùn)用使得其發(fā)展得到了推廣，目前正積極運(yùn)用到基因正則化網(wǎng)絡(luò)之中。

目前DNA微陣列技術(shù)發(fā)展得相當(dāng)迅猛，因此很容易產(chǎn)生出大量的針對事件序列基因的表達(dá)數(shù)據(jù)，這能夠快速且有效的解決一些問題以及解出一些復(fù)雜的關(guān)系網(wǎng)絡(luò)。當(dāng)前世界上已經(jīng)有多重可以推斷出GRN的方式方法。例如布爾網(wǎng)絡(luò)是其中的一種，其存在兩種狀態(tài)，on或者off，但是布爾邏輯規(guī)則才能判斷出基金的下一個時間狀態(tài)。貝葉斯網(wǎng)絡(luò)對于兩個基金之間關(guān)系的判斷是不一樣的，則是利用條件概率函數(shù)來進(jìn)行推理的。這些不同的特性是有關(guān)鍵的作用的，尤其是當(dāng)涉及有大規(guī)模的GRN的動態(tài)以及非線性性質(zhì)的參與建模的情況時，結(jié)果就能受到影響更加的準(zhǔn)確了。然而很多的也存在一些不能解決的問題，就例如貝葉斯網(wǎng)絡(luò)由于不能含有圈所以導(dǎo)致處理的時候效率大打折扣。但是目前也出現(xiàn)了解決方法，現(xiàn)有的COES即常微分模型就能解決這一問題。

其實(shí)當(dāng)前很多的涉及大規(guī)模網(wǎng)絡(luò)中的一些基因關(guān)系的研究方法卻沒有很多，大部分其實(shí)都是針對小規(guī)模情況的研究。同時現(xiàn)有的一些傳統(tǒng)方法也是針對一些小規(guī)模網(wǎng)絡(luò)，并且現(xiàn)在針對大型的GRN也存在很多的挑戰(zhàn)，尤其是現(xiàn)有的計(jì)算問題，其過程相當(dāng)?shù)膹?fù)雜而且整個過程也是相當(dāng)?shù)暮馁M(fèi)時間，因此一般情況下都會事先預(yù)設(shè)其具有稀疏性這一特性再來進(jìn)行GRN建模，這樣做的目的是使其計(jì)算的復(fù)雜程度能夠有所降低。

參考文獻(xiàn)：

[1] 潘麗麗.稀疏約束優(yōu)化的最優(yōu)性理論與算法[D].北京交通大學(xué)，2017.

[2] 滕躍.稀疏離散優(yōu)化問題的數(shù)值解法[D].大連理工大學(xué)，2017.

[3] 閆曉斐.基于PET/CT的肺結(jié)節(jié)分割與良惡性診斷方法的研究[D].太原理工大學(xué)，2017.

[4] 黃金洪.基于稀疏優(yōu)化的超限學(xué)習(xí)機(jī)及應(yīng)用研究[J].華南理工大學(xué)，2018（5）.

【通聯(lián)編輯：代影】