• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于深度LightGBM集成學習模型的谷歌商店顧客購買力預測

    2019-01-06 07:27葉志宇馮愛民高航
    計算機應用 2019年12期
    關鍵詞:機器學習數(shù)據(jù)挖掘

    葉志宇 馮愛民 高航

    摘要:針對輕量化梯度促進機(LightGBM)等集成學習模型只對數(shù)據(jù)信息進行一次挖掘,無法自動地細化數(shù)據(jù)挖掘粒度或通過深入挖掘得到更多的數(shù)據(jù)中潛在內(nèi)部關聯(lián)信息的問題,提出了深度LightGBM集成學習模型,該模型由滑動窗口和加深兩部分組成。首先,通過滑動窗口使得集成學習模型能夠自動地細化數(shù)據(jù)挖掘粒度,從而更加深入地挖掘數(shù)據(jù)中潛在的內(nèi)部關聯(lián)信息,同時賦予模型一定的表示學習能力。然后,基于滑動窗口,用加深步驟進一步地提升模型的表示學習能力。最后,結合特征工程對數(shù)據(jù)集進行處理。在谷歌商店數(shù)據(jù)集上進行的實驗結果表明,所提深度集成學習模型相較原始集成學習模型的預測精度高出6.16個百分點。所提方法能夠自動地細化數(shù)據(jù)挖掘粒度,從而獲取更多數(shù)據(jù)集中的潛在信息,并且深度LightGBM集成學習模型與傳統(tǒng)深度神經(jīng)網(wǎng)絡相比是非神經(jīng)網(wǎng)絡的深度模型,參數(shù)更少,可解釋性更強。

    關鍵詞:機器學習;輕量化梯度促進機;數(shù)據(jù)挖掘;深度模型;集成學習;特征工程

    中圖分類號: TP391.4文獻標志碼:A

    Customer purchasing power prediction of Google store based on deep LightGBM

    ensemble learning model

    YE Zhiyu, FENG Aimin*, GAO Hang

    (College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics, Nanjing Jiangsu 211100, China)

    Abstract: The ensemble learning models such as Light Gradient Boosting Machine (LightGBM) only mine data information once, and cannot automatically refine the granularity of data mining or obtain more potential internal correlation information in the data by deep digging. In order to solve the problems, a deep LightGBM ensemble learning model was proposed, which was composed of sliding window and deepening. Firstly, the ensemble learning model was able to automatically refine the granularity of data mining through the sliding window, so as to further mine the potential internal correlation information in the data and a certain expressive learning ability was given to the model. Secondly, based on the sliding window, the deepening step was used to further improve the representation learning ability of the model. Finally, the dataset was processed with feature engineering. The experimental results on the dataset of Google store show that, the prediction accuracy of the proposed deep ensemble learning model is 6.16 percentage points higher than that of original ensemble learning model. The proposed method can automatically refine the granularity of data mining, so as to obtain more potential information in the dataset. Moreover, compared with the traditional deep neural network, the deep LightGBM ensemble learning model has fewer parameters and better interpretability as a non-neural network.

    Key words: machine learning; Light Gradient Boosting Machine (LightGBM); data mining; deep model; ensemble learning; feature engineering

    0引言

    今廣泛應用于數(shù)據(jù)挖掘任務的集成學習[1]模型主要有隨機森林(Random Forest, RF)[2]、輕量化梯度促進機(Light Gradient Boosting Machine, LightGBM)[3]、Catboost(gradient boosting with Categorical features support)[4]。隨機森林屬于集成學習中的bagging[5],而LightGBM、Catboost屬于集成學習中的boosting[6],都是基于梯度促進決策樹(Gradient Boosting Decision Tree, GBDT)[7]的集成學習模型,且具有預測精度高、訓練速度快、占用內(nèi)存少等優(yōu)點,成為解決數(shù)據(jù)挖掘問題的主流方案;但目前對于集成學習模型的應用,大都只是將所得到的特征集整塊地放入模型中進行訓練學習,其對數(shù)據(jù)關聯(lián)關系只進行一次挖掘,挖掘粒度較為粗糙,不具備深度挖掘的能力,因而亦無法自動挖掘出數(shù)據(jù)間更為深入的關聯(lián)關系。

    為了獲取更多的數(shù)據(jù)關聯(lián)信息,目前主流方法都是依靠人工設計的特征工程對原始特征集進行處理,將處理后的數(shù)據(jù)再整體放入集成學習模型中進行訓練。人工設計的特征工程非常依賴設計人員的經(jīng)驗積累以及大量的數(shù)據(jù)分析工作,因而,如何能夠使得LightGBM等模型自動地獲取深度信息成為關鍵。

    對于如何自動地獲取數(shù)據(jù)中的深度信息,深度網(wǎng)絡在圖像處理以及自然語言處理任務上都獲得了很出色的成績。例如:長短期記憶(Long Short Term Memory, LSTM)模型[8]及其變型[9-11]被廣泛地應用于自然語言處理等任務上;深度卷積神經(jīng)網(wǎng)絡(Deep Convolutional Neural Network, DeepCNN)[12]則被廣泛地應用于圖像處理任務中。其中,表示學習能力[13]被公認為是深度網(wǎng)絡中不可或缺的一部分。若能夠賦予集成學習模型一定的表示學習能力,將使其能夠自動地挖掘數(shù)據(jù)中更為深入的關聯(lián)關系。

    深度森林[14]的提出給深度模型帶來了新的思考方向——能夠做成深度形式的模型不只有神經(jīng)網(wǎng)絡。借鑒深度森林的思想,本文通過將LightGBM、Catboost模型做成深度的形式,從而使其具有挖掘數(shù)據(jù)中深度信息的能力。首先,通過加入滑動窗口對特征集進行劃分,細化數(shù)據(jù)挖掘粒度,從而使得模型能夠潛在地具有情境意識或結構意識;然后,在滑動窗口的基礎上,通過加深操作進一步地提升模型的表示學習能力。與原始集成學習模型相比,本文所提的深度集成學習模型能夠自動地發(fā)掘更多特征之間的潛在關系,對數(shù)據(jù)潛在信息進行深入挖掘,而不是僅停留在已有的特征層面上;并且,所使用的基礎模型是集成樹模型,樹模型與其他模型相比具有更好的可解釋性,其樹節(jié)點的劃分思想與人類的思考過程是非常相似的,有助于對模型的分析和研究。

    除此之外,本文還提出了半自動化特征工程來進一步強化模型的挖掘信息能力。在數(shù)據(jù)挖掘領域,特征工程往往起著很重要的作用,不同特征工程得到的特征集不同,一個好的特征工程可以揭示數(shù)據(jù)集中更多的關聯(lián)信息,從而使得機器學習模型得到更加精準的預測;而特征工程[15]的設計又非常依賴人工分析,一旦涉及到人工的方式就非常耗時耗力,特別是當數(shù)據(jù)量非常龐大的時候,因而如果能通過自動化生成特征和人工分析相結合的方式來獲取更多潛藏信息將會大幅減少人工操作量,同時還能提高預測的精確度。最后,將本文所提的方法應用在谷歌商店顧客數(shù)據(jù)集上,驗證了本文方法的可行性、有效性。

    1.1LightGBM

    LightGBM是對GBDT的高效實現(xiàn),盡管已經(jīng)有了一些關于GBDT實現(xiàn)的算法,例如XGBoost(eXtreme Gradient Boosting)[16]、pGBRT(parallel Gradient Boosted Regression Trees)[17]、scikit-learn(machine learning in Python)[18]等;但是當數(shù)據(jù)的特征維度高、樣本個數(shù)多時,它們的表現(xiàn)就不盡如人意了。其中,最主要的原因在于以上的實現(xiàn)算法都需要對所有數(shù)據(jù)樣本遍歷,然后估計所有可能劃分點的信息增益,這項操作是非常耗時的。因而,LightGBM提出了GOSS(Gradient-based One-Side Sampling)和EFB(Exclusive Feature Building)兩種解決方法。

    GOSS算法(算法1)排除了大部分具有小梯度的樣本,只使用剩余的樣本來進行信息增益估計,LightGBM[3]研究表明:具有較大梯度的樣本在計算信息增益的時候扮演著更加重要的角色,GOSS可以通過更加小規(guī)模的數(shù)據(jù)來獲得非常精準的信息增益計算。

    EFB算法(算法2和算法3)通過將互斥的特征捆綁在一起,來減少特征數(shù)目?;コ馓卣饕馕吨鼈儙缀鹾苌偻瑫r出現(xiàn)非零值,并且LightGBM也表明:找到最優(yōu)互斥特征捆綁是NP(Non-deterministic Polynomial)難問題,但是貪心算法能夠獲得非常好的近似概率。

    算法1GOSS。

    輸入訓練數(shù)據(jù)I, 迭代次數(shù)d,大梯度數(shù)據(jù)采樣率a,小梯度數(shù)據(jù)采樣率b,損失函數(shù)loss,弱學習器L。程序前

    models←{}, fact←(1-a)/b

    1)topN←a×len(I),randN← b×len(I)

    2)for i=1 to d do

    3)preds←models.predict(I)

    4)g← loss(I,preds),w←{1,1,…}

    5)sorted← GetSortedIndices(abs(g))

    6)topSet← sorted[1: topN]

    7)randSet← RandomPick(sorted[topN:len(I)],randN)

    8)usedSet← topSet+randSet

    9)w[randSet]×=fact∥給小梯度數(shù)據(jù)分配權重參數(shù)

    10)newModel←L(I[usedSet],-g[usedSet],w[usedSet])

    11)models.append(newModel)程序后

    算法2Greedy Bundling。

    輸入特征集F,最大沖突計數(shù)K;

    輸出捆綁集bundles。程序前

    構造圖G

    1)searchOrder←G.sortByDegree()

    2)bundles←{},bundlesConflict←{}

    3)for i in searchOrder do

    4)needNew← True

    5)for j=1 to len(bundles) do

    6)cnt←ConflictCnt(bundles[j],F(xiàn)[i])

    7)if cnt+bundlesConflict[i]≤K then

    8)bundles[j].add(F[i]),needNew← False

    9)break

    10)if needNew then

    11)將F[i]作為新的捆綁束bundle加入到捆綁集bundles中程序后算法3Merge Exclusive Features。

    輸入數(shù)據(jù)的數(shù)目numData,一束關于互斥特征的捆綁特征F;

    輸出新的直方圖newBin,直方圖區(qū)間binRanges。程序前

    1)binRanges←{0},totalBin←0

    2)for? f? in F do

    3)totalBin+=f.numBin

    4)binRanges.append(totalBin)

    5)newBin←new Bin(numData)

    6)for i=1 to numData do

    7)newBin[i]←0

    8)for j=1 to len(F) do

    9)if F[j].bin[i]≠0 then

    10)newBin[i]←F[j].bin[i]+binRanges[j]程序后

    1.2Catboost

    首先,該模型通過在訓練的過程中處理和利用類屬特征,而不是在預處理階段進行此操作。其次,該模型使用了新的模式來計算葉節(jié)點的值,從而減少了過擬合現(xiàn)象。對于某個樣本的某個類屬特征的替換式如下:

    ∑p-1j=1[xσj,k=xσp,k]Yσj+a·P∑p-1j=1[xσj,k=xσp,k]+a

    2本文模型

    本文提出的深度集成學習模型主要由兩部分組成:

    1)滑動窗口。在原始特征向量上進行滑動,自動地將原始特征集分割成多個不同的窗口,從而實現(xiàn)進行深度特征抽取,滑動窗口的大小自主選擇,步長固定為1;假設,全特征向量用full_cols表示,滑動窗口大小為window_size,總的滑動窗口數(shù)目為len(full_cols)-window_size+1。

    2)加深。將第一塊中每個窗口所產(chǎn)生的預測結果串聯(lián)成一個全新的特征向量,再將新的特征向量放入所選基礎模型中進行訓練,這樣會產(chǎn)生預測結果,將預測結果與輸入的特征向量串聯(lián)作為下一層的輸入;可以不斷迭代來加深模型深度。

    2.1滑動窗口

    為了使得集成學習模型能夠自動地細化數(shù)據(jù)挖掘粒度并且在數(shù)據(jù)集上潛在地具有情境意識或結構意識,本文提出將滑動窗口(對應圖1中內(nèi)部和外圍虛線框)預測結果以及原始特征向量串聯(lián)作為新的特征向量,具體算法流程見算法4。并且,在進行訓練的時候都采用K折交叉驗證方式進行訓練,避免出現(xiàn)過擬合現(xiàn)象。

    算法4滑動窗口產(chǎn)生新特征。

    輸入原始數(shù)據(jù)集為D,window size為w;

    輸出將full_cols與each_time_cols預測結果串聯(lián)。程序前

    1)full_cols=D.columns

    2)window_size=len(full_cols)

    3)LightGBM/Catboost對window_size數(shù)據(jù)進行訓練,產(chǎn)生預測結果

    4)window_size=w

    5)for i in range(len(full_cols)-window_size+1)

    6)each_time_cols=full_cols[i:i+window_size]

    7)LightGBM/Catboost對each_time_cols數(shù)據(jù)進行訓練,并產(chǎn)

    生預測結果程序后

    從圖1和算法4可以清晰地看到,圖1中最外圍虛線框?qū)惴?中第2)步:全特征訓練及其預測結果,圖1中內(nèi)部虛線框?qū)惴?中第4)步:滑動窗口訓練及其預測結果,圖1的最右輸出向量對應著算法4的輸出;無論是全特征還是滑動窗口都可看作滑動窗口,只是window_size不同。

    根據(jù)最終評判指標的變化來對window_size進行調(diào)整,例如:window_size從小到大進行變化,當window_size偏小時,所產(chǎn)生的新特征向量維數(shù)就更大;若在增大window_size時預測誤差越來越小,則繼續(xù)增大window_size,直到預測誤差增加時停止增加window_size。

    2.2加深

    為了使本文所提的算法也能具有一定的深度網(wǎng)絡中的表示學習能力[13],因而在滑動窗口的基礎上,對于模型層次進行加深,通過加深模型層次的方式來進一步提升算法表示學習能力,具體算法步驟見算法5。

    算法5深度LightGBM/Catboost集成學習模型。

    輸入滑動窗口輸出的特征向量,深度參數(shù)Depth;

    輸出學習模型預測值。程序前

    1)for i in range(Depth)

    2)輸入向量放入LightGBM/Catboost模型進行訓練

    3)if i==0

    4)預測結果作為新特征與輸入向量串聯(lián)

    5)else

    6)預測結果覆蓋輸入向量中對應位置特征值

    7)更新過的輸入向量作為下一層輸入向量程序后

    在該部分,本文首先將滑動窗口部分的輸出特征向量作為輸入。對于LightGBM/Catboost+滑動窗口模型進行加深的算法5,其算法流程為:首先,將輸入特征向量放入學習模型進行訓練,同樣也將采用K折交叉驗證進行訓練。其次,如若當前所處深度等于1,則將學習模型的預測結果和輸入特征向量串聯(lián);如若當前所處深度大于1,則將學習模型的預測結果覆蓋到輸入特征向量中存儲上一層預測結果的位置。圖2中每層輸出特征向量的第一個虛線框代表著每層學習模型的預測結果。最后,達到指定深度時,將學習模型的預測結果輸出。圖2所展示的是Depth=2時模型結構,通過控制Depth參數(shù)來調(diào)整模型的深度。

    深度的確定依據(jù)最終預測結果的精度,若層次過深、精度下降,則減少加深層次、調(diào)整深度以達到最優(yōu)精度輸出。

    除了將LightGBM和Catboost做成深度形式以外,還將LightGBM+Catboost集合做成深度形式。在對LightGBM+Catboost進行加深之前,首先,按照算法4分別生成對應于LightGBM和Catboost的全特征預測值以及滑動窗口預測值,假設:len(full_cols)=100,window_size=25,那么滑動窗口階段所輸出的特征向量維數(shù)d=len(full_cols)+2+2(len(full_cols)-window_size+1)=254;接下來,關于深度模型的具體操作見算法6。算法6中i==0的情況對應著圖3中Depth=1的過程,在圖3中可以清楚地看到,Depth=1時,輸入向量和輸出向量之間的差異。

    算法6深度LightGBM+Catboost集成學習模型。

    輸入滑動窗口輸出的特征向量,深度參數(shù)Depth;

    輸出加權求和的預測結果。程序前

    1)for i in range(Depth)

    2)輸入向量分別放入LightGBM和Catboost學習模型進行訓練

    3)if i==0

    4)LightGBM和Catboost預測結果分別作為新特征與輸入向量串聯(lián)

    5)else

    6)LightGBM和Catboost預測結果分別覆蓋輸入向量中對應位置特征值

    7)更新過的輸入向量作為下一層輸入向量

    8)LightGBM和Catboost預測結果分別乘上wlgb、wcat,相加得到最終預測結果程序后

    2.3特征工程

    將通過分析谷歌商店顧客數(shù)據(jù)集中的各個特征在LightGBM中重要性表現(xiàn)來進行特征工程操作。對原始特征集中幾個較重要的特征進行解釋說明,如表1所示。

    首先,將原始谷歌商店顧客數(shù)據(jù)集放入LightGBM訓練的結果如表2所示。

    從表2可以發(fā)現(xiàn),關于pageviews(每次會話中頁面瀏覽次數(shù))的特征權值最大,而在原始數(shù)據(jù)集中對于pageviews的操作有sum、count、mean。通過分析可知,進行上述操作的特征都是屬于數(shù)值型特征,對于數(shù)值計算的指標不僅僅是以上3種。

    于是,本文的特征工程自動地對數(shù)值型特征進行處理,對其進行sum、count、mean、median、std統(tǒng)計分析,最終獲得基于數(shù)值型特征的額外統(tǒng)計分析特征。而原始數(shù)據(jù)集中對于totals_newVisits(每次會話中新訪問次數(shù)總和)卻沒有進行處理,通過分析pageviews產(chǎn)生衍生特征的過程,對totals_newVisits按照network_domain(網(wǎng)絡管區(qū))、region(地理區(qū)域)分組進行count、sum、mean、median、std操作來獲取額外的新特征。在進行上述兩個操作后,再將獲得的新數(shù)據(jù)集放入LightGBM中進行訓練,可以得到表3所示的特征權值排序。

    如果只是一直不停地增加特征,不但增加運行時間,還使得預測精度下降。從表2和表3中可以觀察到,后半部分特征的權值遠遠大于前半部分特征,并且有一些特征的權值幾乎為零。

    而這些對于學習模型沒有幫助的特征是多余的,本文通過刪除Date_Hour(會話發(fā)生在幾時)、Date_Is_year_start(會話是否發(fā)生在一年的開端)、Date_Is_year_end(會話是否發(fā)生在一年的末尾)、Date_Is_quarter_start(會話是否發(fā)生在季度的開端)、Date_Is_quarter_end(會話是否發(fā)生在季度的末尾)等權值偏低的特征,最終所得數(shù)據(jù)集再放入LightGBM中訓練,便可得到表4中所示的特征權值排序。

    從表4中可以觀察到,在刪除了一些特征之后,整體特征的權值分布更加均勻了,而且在圖中的最后幾名特征也有了一定的貢獻,雖然也很低,但不像表2和表3中貢獻幾乎為0。

    通過上述兩種操作來實現(xiàn)半自動化特征工程,其中對于數(shù)值型特征的操作屬于自動化處理,而刪除特征操作屬于人工分析的方式。

    3實驗與結果分析

    3.1數(shù)據(jù)集

    本文所使用的數(shù)據(jù)集是來自Kaggle網(wǎng)站上2018年9月份左右舉辦的Google Analytics Custmer Revenue Prediction比賽數(shù)據(jù)集,通過分析Google Merchandise Store(also known as GStore swag is sold)的顧客數(shù)據(jù)集來預測將來每位顧客的購買力,可以確保數(shù)據(jù)來源的真實性和有效性,同時也能驗證本文所提方法的實際性。本文所述的原始數(shù)據(jù)集,指的是在進行過數(shù)據(jù)清洗和一定的特征工程操作后所得到的數(shù)據(jù)集,數(shù)據(jù)集及其評測指標如表5所示。表5中,訓練集之所以比測試集多了一列特征的原因是:多出的一列是預測目標,也就是客戶購買力。其中均方根誤差(Root Mean Squard Error, RMSE)的計算式為:

    RMSE=1n∑ni=1(yi-y^i)2

    其中,y^i是預測某客戶購買力的自然對數(shù),并且yi是實際某客戶購買力總和加1的自然對數(shù)。RMSE越小表明預測結果越準確。

    在關于客戶購買力預測問題上,往往存在著80/20定律,該定律證明了在許多商業(yè)貿(mào)易中,大部分的利潤來源于一小部分的顧客。

    通過對數(shù)據(jù)進行簡單的分析可以發(fā)現(xiàn),比賽所給出的數(shù)據(jù)的確符合80/20準則,圖4顯示了有進行商品購買的用戶大多集中在編號700000以上,而在此之前的用戶幾乎都不產(chǎn)生任何利潤。

    3.2結果分析

    [10]BAO W, YUE J, RAO Y. A deep learning framework for financial time series using stacked autoencoders and long-short term memory [J]. PloS One, 2017, 12(7):? Article No. e0180944.

    [11]SHAO X, MA D, LIU Y, et al. Short-term forecast of stock price of multi-branch LSTM based on K-means [C]// Proceedings of the 2018 International Conference on Systems and Informatics. Piscataway: IEEE, 2018: 1546-1551.

    [12]SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition [EB/OL]. [2019-03-20]. https://arxiv.org/pdf/1409.1556.pdf.

    [13]BENGIO Y, COURVILLE A, VINCENT P. Representation learning: a review and new perspectives [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(8): 1798-1828.

    [14]ZHOU Z-H, FENG J. Deep forest: towards an alternative to deep neural networks [C]// Proceedings of the 26th International Joint Conference on Artificial Intelligence. Menlo Park: AAAI Press, 2017: 3553-3559.

    [15]SCOTT S, MATWIN S. Feature engineering for text classification [C]// Proceedings of the 1999 International Machine Learning Conference. San Francisco: Morgan Kaufmann Publishers Inc., 1999: 379-388.

    [16]CHEN T, GUESTRIN C. XGBoost: a scalable tree boosting system [C]// Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York: ACM, 2016: 785-794.

    [17]TYREE S, WEINBERGER K Q, AGRAWAL K, et al. Parallel boosted regression trees for Web search ranking [C]// Proceedings of the 2011 International Conference on World Wide Web. New York: ACM, 2011: 387-396.

    [18]PEDREGOSA F, VAROQUAUX G, GRAMFORT A, et al. Scikit-learn: machine learning in python [J]. Journal of Machine Learning Research, 2011, 12: 2825-2830.

    YE Zhiyu, born in 1994, M. S. candidate. His research interests include machine learning, data mining, tree model, deep model.

    FENG Aimin, born in 1971, Ph. D., associate professor. Her research interests include machine learning, data mining.

    GAO Hang, born in 1964, Ph. D., associate professor. His research interests include multimedia technology, embedded system.

    收稿日期:2019-04-29;修回日期:2019-07-25;錄用日期:2019-07-26。

    作者簡介:葉志宇(1994—),男,福建三明人,碩士研究生,主要研究方向:機器學習、數(shù)據(jù)挖掘、樹模型、深度模型;馮愛民(1971—),女,江蘇南京人,副教授,博士,主要研究方向:機器學習、數(shù)據(jù)挖掘;高航(1964—),男,江蘇南京人,副教授,博士,主要研究方向:多媒體技術、嵌入式系統(tǒng)。

    文章編號:1001-9081(2019)12-3434-06DOI:10.11772/j.issn.1001-9081.2019071305

    猜你喜歡
    機器學習數(shù)據(jù)挖掘
    數(shù)據(jù)挖掘技術在內(nèi)河航道維護管理中的應用研究
    數(shù)據(jù)挖掘綜述
    軟件工程領域中的異常數(shù)據(jù)挖掘算法
    基于詞典與機器學習的中文微博情感分析
    基于網(wǎng)絡搜索數(shù)據(jù)的平遙旅游客流量預測分析
    前綴字母為特征在維吾爾語文本情感分類中的研究
    基于支持向量機的金融數(shù)據(jù)分析研究
    基于R的醫(yī)學大數(shù)據(jù)挖掘系統(tǒng)研究
    機器學習理論在高中自主學習中的應用
    一本面向中高級讀者的數(shù)據(jù)挖掘好書
    国产精品伦人一区二区| 日本猛色少妇xxxxx猛交久久| 日本黄大片高清| 天堂中文最新版在线下载| av天堂中文字幕网| 伦理电影大哥的女人| 久久精品国产亚洲av涩爱| 日日摸夜夜添夜夜添av毛片| 久久久欧美国产精品| 欧美97在线视频| 亚洲av在线观看美女高潮| 曰老女人黄片| 午夜福利影视在线免费观看| 国产视频首页在线观看| 亚洲欧美一区二区三区黑人 | 亚洲av免费高清在线观看| av.在线天堂| 午夜免费观看性视频| 中文字幕久久专区| 欧美一级a爱片免费观看看| 高清在线视频一区二区三区| 伊人久久国产一区二区| 国产日韩欧美在线精品| 国产色婷婷99| 亚洲av成人精品一区久久| 国产亚洲av片在线观看秒播厂| 亚洲国产精品国产精品| 久久久国产欧美日韩av| 亚洲国产毛片av蜜桃av| 亚洲国产毛片av蜜桃av| 国产欧美日韩精品一区二区| 高清视频免费观看一区二区| 亚洲国产日韩一区二区| h日本视频在线播放| 国产欧美亚洲国产| 亚洲av二区三区四区| 三级经典国产精品| 精品人妻熟女毛片av久久网站| 十八禁网站网址无遮挡 | 激情五月婷婷亚洲| 久久久久人妻精品一区果冻| 免费大片18禁| 毛片一级片免费看久久久久| 亚洲,一卡二卡三卡| 91精品伊人久久大香线蕉| 一级毛片我不卡| 男人和女人高潮做爰伦理| 亚洲av免费高清在线观看| 国模一区二区三区四区视频| 美女cb高潮喷水在线观看| 女性被躁到高潮视频| a 毛片基地| 丰满少妇做爰视频| 精品久久久精品久久久| 99久国产av精品国产电影| 插阴视频在线观看视频| 国产精品嫩草影院av在线观看| 国产高清不卡午夜福利| 精品人妻熟女av久视频| 日韩亚洲欧美综合| 丝袜脚勾引网站| 曰老女人黄片| 欧美 日韩 精品 国产| 亚洲图色成人| 国产色爽女视频免费观看| a级一级毛片免费在线观看| 亚洲性久久影院| 伦理电影大哥的女人| 日韩欧美 国产精品| 22中文网久久字幕| 汤姆久久久久久久影院中文字幕| 日本色播在线视频| 国产国拍精品亚洲av在线观看| 一边亲一边摸免费视频| 久久综合国产亚洲精品| 卡戴珊不雅视频在线播放| 国语对白做爰xxxⅹ性视频网站| 女性被躁到高潮视频| 亚洲人与动物交配视频| 建设人人有责人人尽责人人享有的| 国产欧美日韩一区二区三区在线 | 精品99又大又爽又粗少妇毛片| 91成人精品电影| 午夜影院在线不卡| 尾随美女入室| 黄色日韩在线| 九九在线视频观看精品| 午夜福利在线观看免费完整高清在| 男女啪啪激烈高潮av片| 欧美日韩视频精品一区| 中国三级夫妇交换| 日本猛色少妇xxxxx猛交久久| 青青草视频在线视频观看| 国产免费视频播放在线视频| 午夜老司机福利剧场| 下体分泌物呈黄色| 欧美3d第一页| 国产乱人偷精品视频| 一级毛片aaaaaa免费看小| 久久精品国产亚洲av涩爱| 精品国产露脸久久av麻豆| 久久热精品热| 日本wwww免费看| 国产精品欧美亚洲77777| 久久97久久精品| 午夜老司机福利剧场| 久久久久精品性色| 久久99热6这里只有精品| 亚洲av不卡在线观看| tube8黄色片| 日韩成人伦理影院| 国产熟女欧美一区二区| 欧美三级亚洲精品| 亚洲av国产av综合av卡| 哪个播放器可以免费观看大片| 亚洲av男天堂| 欧美另类一区| 天堂8中文在线网| 久久午夜福利片| 春色校园在线视频观看| 人妻少妇偷人精品九色| 久久精品国产亚洲网站| 国产一级毛片在线| 一级爰片在线观看| 内射极品少妇av片p| 国产在线免费精品| 成人亚洲欧美一区二区av| 国产免费福利视频在线观看| 国产女主播在线喷水免费视频网站| av免费观看日本| 国产极品粉嫩免费观看在线 | 亚洲国产毛片av蜜桃av| 中文字幕免费在线视频6| 另类精品久久| 一个人免费看片子| 色5月婷婷丁香| 中文字幕人妻丝袜制服| 亚洲欧美精品专区久久| 日日撸夜夜添| 久久人人爽人人爽人人片va| 国产精品一区二区在线不卡| 久久国产亚洲av麻豆专区| 成年人午夜在线观看视频| 韩国av在线不卡| 精品99又大又爽又粗少妇毛片| 新久久久久国产一级毛片| av在线老鸭窝| 久久久欧美国产精品| 性高湖久久久久久久久免费观看| 欧美三级亚洲精品| 成人黄色视频免费在线看| 成人特级av手机在线观看| 18禁在线无遮挡免费观看视频| 下体分泌物呈黄色| 国产91av在线免费观看| 免费少妇av软件| 高清视频免费观看一区二区| 在线天堂最新版资源| 久久久久久久久久久久大奶| 精品人妻偷拍中文字幕| 亚洲熟女精品中文字幕| 久久人人爽人人爽人人片va| 久久 成人 亚洲| 一本大道久久a久久精品| a级毛色黄片| 涩涩av久久男人的天堂| 久久鲁丝午夜福利片| 国产成人精品久久久久久| av播播在线观看一区| 搡女人真爽免费视频火全软件| 少妇的逼好多水| 国产黄片视频在线免费观看| 水蜜桃什么品种好| videos熟女内射| 久久精品国产亚洲av涩爱| 三级国产精品欧美在线观看| 亚洲欧洲国产日韩| 久久久久人妻精品一区果冻| 2021少妇久久久久久久久久久| 久久精品国产亚洲网站| 久久狼人影院| 不卡视频在线观看欧美| 久久99一区二区三区| 精品国产乱码久久久久久小说| √禁漫天堂资源中文www| 热re99久久国产66热| 丰满饥渴人妻一区二区三| 精品视频人人做人人爽| 99视频精品全部免费 在线| 亚洲天堂av无毛| 精品久久久久久久久av| 亚洲婷婷狠狠爱综合网| 免费看av在线观看网站| 日本欧美视频一区| av有码第一页| 久久久午夜欧美精品| 国产精品国产三级国产av玫瑰| 精品少妇久久久久久888优播| 久久久久网色| videos熟女内射| 精品人妻熟女毛片av久久网站| 国产免费一级a男人的天堂| 成人国产麻豆网| 成人特级av手机在线观看| 成人无遮挡网站| 丝袜在线中文字幕| 国产欧美日韩精品一区二区| 国产在线免费精品| 日本与韩国留学比较| av一本久久久久| 五月天丁香电影| 久久精品国产a三级三级三级| 欧美激情国产日韩精品一区| 一级,二级,三级黄色视频| 日韩大片免费观看网站| 日日摸夜夜添夜夜爱| 国产视频内射| 精品亚洲乱码少妇综合久久| 久久亚洲国产成人精品v| 大话2 男鬼变身卡| 哪个播放器可以免费观看大片| 色吧在线观看| 国精品久久久久久国模美| 亚洲人与动物交配视频| 久久久a久久爽久久v久久| 国产伦理片在线播放av一区| 91久久精品电影网| 99热网站在线观看| 国产黄片视频在线免费观看| 日韩一区二区三区影片| 久久久久久久亚洲中文字幕| 免费看光身美女| 日韩一本色道免费dvd| 亚洲精品乱久久久久久| 日日爽夜夜爽网站| 97精品久久久久久久久久精品| 久久久国产欧美日韩av| 成人免费观看视频高清| 国产极品天堂在线| 免费av中文字幕在线| 国产精品久久久久久精品电影小说| 久久久久久久久久久丰满| 亚洲欧美成人精品一区二区| 午夜福利网站1000一区二区三区| 一区二区av电影网| 免费av中文字幕在线| 亚洲四区av| 欧美成人精品欧美一级黄| av视频免费观看在线观看| 免费观看在线日韩| 日韩伦理黄色片| 18禁在线播放成人免费| 狂野欧美激情性bbbbbb| 乱码一卡2卡4卡精品| 人人妻人人澡人人爽人人夜夜| 日本与韩国留学比较| 国产亚洲最大av| 中文乱码字字幕精品一区二区三区| 伊人久久国产一区二区| 少妇高潮的动态图| 日产精品乱码卡一卡2卡三| 一本色道久久久久久精品综合| 精品少妇内射三级| 免费看日本二区| 午夜视频国产福利| 欧美xxⅹ黑人| 国产成人免费观看mmmm| 91精品伊人久久大香线蕉| 另类精品久久| 午夜免费男女啪啪视频观看| 久久久久久久久久久久大奶| 在线观看三级黄色| 中文字幕精品免费在线观看视频 | 国内少妇人妻偷人精品xxx网站| 免费看不卡的av| 国产国拍精品亚洲av在线观看| 国产av国产精品国产| 天堂俺去俺来也www色官网| 亚洲精华国产精华液的使用体验| 精品国产露脸久久av麻豆| 国产伦在线观看视频一区| av网站免费在线观看视频| 免费不卡的大黄色大毛片视频在线观看| 一区二区三区免费毛片| 精品亚洲成国产av| 熟女电影av网| 日韩伦理黄色片| 久久韩国三级中文字幕| 99热这里只有精品一区| 黄色一级大片看看| 99热国产这里只有精品6| 少妇裸体淫交视频免费看高清| 久久99热6这里只有精品| 99国产精品免费福利视频| 3wmmmm亚洲av在线观看| 在线观看免费高清a一片| 三上悠亚av全集在线观看 | 久久人人爽人人爽人人片va| 黄色视频在线播放观看不卡| 国产在线男女| 男人舔奶头视频| 我要看日韩黄色一级片| 人妻系列 视频| 日日摸夜夜添夜夜添av毛片| 精华霜和精华液先用哪个| 国产av国产精品国产| 国产爽快片一区二区三区| 国产白丝娇喘喷水9色精品| 久久久久精品久久久久真实原创| 好男人视频免费观看在线| 国产色爽女视频免费观看| 日本-黄色视频高清免费观看| 国产一区二区在线观看av| 精品久久久精品久久久| 又黄又爽又刺激的免费视频.| 插逼视频在线观看| 国产亚洲91精品色在线| 一本久久精品| 夜夜爽夜夜爽视频| 男的添女的下面高潮视频| 一级毛片电影观看| 国产乱来视频区| 欧美人与善性xxx| 人人妻人人澡人人看| 美女福利国产在线| 亚洲av在线观看美女高潮| 免费观看在线日韩| 一级片'在线观看视频| 51国产日韩欧美| 麻豆成人av视频| 草草在线视频免费看| 一本大道久久a久久精品| 亚洲第一av免费看| 国产成人精品久久久久久| 777米奇影视久久| 欧美日韩av久久| 日韩在线高清观看一区二区三区| 亚洲真实伦在线观看| 色视频在线一区二区三区| 另类精品久久| 久久鲁丝午夜福利片| 九九久久精品国产亚洲av麻豆| 亚洲婷婷狠狠爱综合网| av在线老鸭窝| 午夜福利在线观看免费完整高清在| 亚洲欧洲日产国产| 亚洲av综合色区一区| 国产精品一区二区三区四区免费观看| 成人国产麻豆网| 久久国内精品自在自线图片| 夜夜爽夜夜爽视频| 午夜日本视频在线| 国产综合精华液| 黑人巨大精品欧美一区二区蜜桃 | 五月天丁香电影| 秋霞伦理黄片| 男人舔奶头视频| 一二三四中文在线观看免费高清| 十八禁高潮呻吟视频 | 2021少妇久久久久久久久久久| 成人午夜精彩视频在线观看| 自拍偷自拍亚洲精品老妇| 日本爱情动作片www.在线观看| 久久久久久久久久久丰满| 高清黄色对白视频在线免费看 | 免费看不卡的av| av免费观看日本| 我要看黄色一级片免费的| 久久国产精品男人的天堂亚洲 | 丝瓜视频免费看黄片| 国产av码专区亚洲av| 九色成人免费人妻av| 国产乱来视频区| 国产高清不卡午夜福利| 男女边吃奶边做爰视频| 亚洲国产欧美日韩在线播放 | 天美传媒精品一区二区| 国产爽快片一区二区三区| 精品熟女少妇av免费看| 搡老乐熟女国产| 中文字幕亚洲精品专区| 亚洲第一区二区三区不卡| 97在线视频观看| 中文字幕免费在线视频6| 成年美女黄网站色视频大全免费 | 偷拍熟女少妇极品色| 九九爱精品视频在线观看| 日韩欧美 国产精品| 亚洲av电影在线观看一区二区三区| 中文字幕制服av| 肉色欧美久久久久久久蜜桃| 午夜激情久久久久久久| 少妇熟女欧美另类| 人人妻人人爽人人添夜夜欢视频 | av国产精品久久久久影院| 自线自在国产av| 亚洲国产精品一区二区三区在线| 成人18禁高潮啪啪吃奶动态图 | 精品卡一卡二卡四卡免费| 男女无遮挡免费网站观看| 久久99蜜桃精品久久| 午夜91福利影院| 久久久精品免费免费高清| 欧美成人精品欧美一级黄| 欧美激情极品国产一区二区三区 | 国产欧美日韩一区二区三区在线 | 韩国高清视频一区二区三区| 色94色欧美一区二区| 国产成人精品婷婷| 国产无遮挡羞羞视频在线观看| 老司机影院毛片| 国产男女内射视频| 亚洲精品国产av蜜桃| 精品少妇黑人巨大在线播放| 最近最新中文字幕免费大全7| 一级黄片播放器| 国产黄片美女视频| 国产国拍精品亚洲av在线观看| 婷婷色av中文字幕| 亚洲欧美一区二区三区黑人 | 人人妻人人添人人爽欧美一区卜| 亚洲国产精品国产精品| 亚洲精品视频女| 日日摸夜夜添夜夜爱| 精品视频人人做人人爽| 国产真实伦视频高清在线观看| 一区二区三区乱码不卡18| 午夜免费男女啪啪视频观看| 桃花免费在线播放| 51国产日韩欧美| 一级毛片黄色毛片免费观看视频| 亚洲av电影在线观看一区二区三区| 久久精品国产亚洲av天美| 日韩一本色道免费dvd| 美女福利国产在线| 色5月婷婷丁香| 大码成人一级视频| 欧美日韩亚洲高清精品| 午夜福利网站1000一区二区三区| 亚洲精品久久午夜乱码| 国产淫语在线视频| 久久久久精品久久久久真实原创| 水蜜桃什么品种好| 99精国产麻豆久久婷婷| 亚洲情色 制服丝袜| 黄色欧美视频在线观看| 看非洲黑人一级黄片| 精品一区二区三区视频在线| 日本黄色日本黄色录像| 丰满乱子伦码专区| 丁香六月天网| 深夜a级毛片| 亚洲四区av| 欧美激情极品国产一区二区三区 | 欧美激情国产日韩精品一区| 国产欧美日韩一区二区三区在线 | 国产日韩欧美在线精品| 免费人妻精品一区二区三区视频| 一级毛片我不卡| 国产伦理片在线播放av一区| 黑人高潮一二区| 精品99又大又爽又粗少妇毛片| 日韩一本色道免费dvd| 欧美日韩国产mv在线观看视频| 97超碰精品成人国产| 午夜激情久久久久久久| 91精品国产九色| 久久热精品热| 精品卡一卡二卡四卡免费| 91精品一卡2卡3卡4卡| 亚洲精品乱久久久久久| 欧美日韩亚洲高清精品| 亚洲精品乱码久久久久久按摩| 婷婷色综合www| 国产一区二区三区综合在线观看 | 国产一区有黄有色的免费视频| 国产 一区精品| 曰老女人黄片| 黑丝袜美女国产一区| 99九九线精品视频在线观看视频| 国产色爽女视频免费观看| av在线观看视频网站免费| 男人和女人高潮做爰伦理| 三级经典国产精品| 男女国产视频网站| 97在线人人人人妻| 如日韩欧美国产精品一区二区三区 | 免费看日本二区| 人妻夜夜爽99麻豆av| 美女福利国产在线| 精品人妻熟女毛片av久久网站| 亚洲av福利一区| 蜜桃久久精品国产亚洲av| 国产真实伦视频高清在线观看| 热99国产精品久久久久久7| www.av在线官网国产| 九色成人免费人妻av| 在线观看人妻少妇| 91aial.com中文字幕在线观看| 曰老女人黄片| 黄色配什么色好看| 丰满迷人的少妇在线观看| 免费人成在线观看视频色| 3wmmmm亚洲av在线观看| 麻豆精品久久久久久蜜桃| 两个人的视频大全免费| 黄色毛片三级朝国网站 | 大码成人一级视频| 中文在线观看免费www的网站| 少妇丰满av| 99热全是精品| 国产成人精品久久久久久| 国模一区二区三区四区视频| 看免费成人av毛片| 国产精品一区二区在线不卡| 男人添女人高潮全过程视频| 日韩大片免费观看网站| 纯流量卡能插随身wifi吗| 久久国产乱子免费精品| 99热6这里只有精品| 国产免费一级a男人的天堂| 男男h啪啪无遮挡| 亚洲欧美日韩东京热| 人人澡人人妻人| 国产又色又爽无遮挡免| 免费久久久久久久精品成人欧美视频 | 国产黄色免费在线视频| 有码 亚洲区| 精品人妻熟女av久视频| 性高湖久久久久久久久免费观看| 国产熟女午夜一区二区三区 | 亚洲国产欧美在线一区| 国产69精品久久久久777片| 成年美女黄网站色视频大全免费 | 中国三级夫妇交换| 国产精品99久久99久久久不卡 | 各种免费的搞黄视频| 久久久久久久国产电影| 国产成人精品无人区| 日本欧美国产在线视频| 亚洲成人av在线免费| 久久久精品94久久精品| 中文字幕人妻熟人妻熟丝袜美| 又大又黄又爽视频免费| 美女视频免费永久观看网站| h日本视频在线播放| 亚洲色图综合在线观看| 伦精品一区二区三区| 欧美精品国产亚洲| 国产精品麻豆人妻色哟哟久久| 女人精品久久久久毛片| 极品少妇高潮喷水抽搐| 精品一区二区免费观看| 久久久国产欧美日韩av| 成人国产av品久久久| 成人综合一区亚洲| 十分钟在线观看高清视频www | 中文字幕人妻丝袜制服| 人妻人人澡人人爽人人| 久久国产精品大桥未久av | av天堂中文字幕网| 国产免费一区二区三区四区乱码| 五月开心婷婷网| 嫩草影院新地址| 人人妻人人爽人人添夜夜欢视频 | 妹子高潮喷水视频| 亚洲熟女精品中文字幕| 在线观看www视频免费| 少妇人妻一区二区三区视频| 国产精品久久久久久精品古装| 哪个播放器可以免费观看大片| 极品教师在线视频| 日本色播在线视频| 欧美成人精品欧美一级黄| 最黄视频免费看| 国产爽快片一区二区三区| 最黄视频免费看| 中文字幕制服av| 亚洲欧洲国产日韩| 久久精品国产鲁丝片午夜精品| 亚洲国产av新网站| 伊人久久国产一区二区| 97超视频在线观看视频| 日本91视频免费播放| 国产成人精品婷婷| 国产在线男女| 国产亚洲午夜精品一区二区久久| 国产伦精品一区二区三区四那| 免费久久久久久久精品成人欧美视频 | 久久毛片免费看一区二区三区| 精品久久国产蜜桃| 人妻一区二区av| 人人澡人人妻人| 人妻制服诱惑在线中文字幕| 精品卡一卡二卡四卡免费| 午夜福利在线观看免费完整高清在| 老司机影院成人| a级毛片在线看网站| 日本黄色片子视频| 又大又黄又爽视频免费| 精品亚洲成a人片在线观看| 国产国拍精品亚洲av在线观看| 午夜免费男女啪啪视频观看| 视频中文字幕在线观看| .国产精品久久| 国产精品熟女久久久久浪| 男女边摸边吃奶| 免费看av在线观看网站| 亚洲美女视频黄频| 又黄又爽又刺激的免费视频.| 免费久久久久久久精品成人欧美视频 | 五月开心婷婷网| 日韩免费高清中文字幕av| 美女大奶头黄色视频| 妹子高潮喷水视频|