探究數(shù)據(jù)挖掘取樣方法

鄧雍嫻

（珠海容閎學(xué)校湖南大學(xué) 519000）

探究數(shù)據(jù)挖掘取樣方法

鄧雍嫻

（珠海容閎學(xué)校湖南大學(xué) 519000）

所謂取樣就是從目標(biāo)物品或數(shù)據(jù)中選擇具有典型代表性的樣本，并且該樣本具備通用的特點(diǎn)。取樣方法可有效減小需要進(jìn)行處理的數(shù)據(jù)集的規(guī)模，為在大規(guī)模的數(shù)據(jù)處理過程中使用數(shù)據(jù)挖掘計(jì)算方式提供了基礎(chǔ)條件。本文主要對(duì)數(shù)據(jù)挖掘的取樣方式進(jìn)行了研究，并探索了取樣在實(shí)際生活和研究中的應(yīng)用。

數(shù)據(jù)挖掘 數(shù)據(jù)取樣 方法

近年來，數(shù)據(jù)庫技術(shù)取得了長足的發(fā)展，數(shù)據(jù)庫中存儲(chǔ)的數(shù)據(jù)量日漸增加，這就導(dǎo)致傳統(tǒng)的數(shù)據(jù)挖掘方式已經(jīng)無法滿足現(xiàn)代化數(shù)據(jù)庫發(fā)展的要求。在數(shù)據(jù)挖掘的過程中，只有保證挖掘方法具有科學(xué)性和創(chuàng)新性，才能有效減少數(shù)據(jù)挖掘計(jì)算的時(shí)間，提升數(shù)據(jù)挖掘效率。［1］

一、數(shù)據(jù)挖掘取樣方法

取樣技術(shù)是當(dāng)前世界范圍內(nèi)最通用的一種近似技術(shù)，在處理大規(guī)模數(shù)據(jù)工作中應(yīng)用非常廣泛?，F(xiàn)階段數(shù)據(jù)挖掘研究的核心內(nèi)容是概要結(jié)構(gòu)的設(shè)計(jì)，而取樣技術(shù)本身具備的伸縮性以及靈活性，與其他技術(shù)相比是獨(dú)特的，這就使取樣技術(shù)成為能夠構(gòu)建數(shù)據(jù)流概要結(jié)構(gòu)的重要技術(shù)之一。［2］

以各個(gè)數(shù)據(jù)項(xiàng)被選擇的概率為依據(jù)，可將取樣方法分成均勻取樣，即各個(gè)數(shù)據(jù)項(xiàng)被選擇的概率一致；和偏倚取樣，即各個(gè)數(shù)據(jù)項(xiàng)被選擇的概率不一致。

1.具有代表性的取樣方法

（1）A/R Sampling

A/R Sampling進(jìn)行的首要步驟是通過某一種計(jì)算方式在數(shù)據(jù)集中隨機(jī)抽選一個(gè)備選的元素，其次是將被選中的備選元素與選擇條件進(jìn)行對(duì)比，若備選元素與選擇條件相符合，則需將其放置于樣本集中，即acceptance；若與選擇條件不相符，則需拒絕，即rejection；然后從第一個(gè)步驟開始重新來過。

（2）精確取樣

在樣本集中出現(xiàn)僅有一次的元素應(yīng)該使用元素代碼進(jìn)行表示，出現(xiàn)多次的元素應(yīng)該使用value，counto表示，value代表元素代碼，counto代表數(shù)量。在樣本集中添加元素時(shí)，若該元素已存在于樣本集中時(shí)，應(yīng)該在目錄的相應(yīng)元素后加1，若該元素尚未被收集到樣本集內(nèi)，則可進(jìn)行直接收取。樣本集中存儲(chǔ)的元素已經(jīng)超過標(biāo)準(zhǔn)值時(shí)，需要對(duì)各個(gè)元素的原有參數(shù)與現(xiàn)有參數(shù)進(jìn)行對(duì)比，并選擇其中一個(gè)將其刪除，保證新數(shù)據(jù)有存放的空間。

（3）計(jì)數(shù)取樣

該種取樣方式是通過精確取樣演變而來的，變化主要體現(xiàn)在樣本集中元素?cái)?shù)量已滿時(shí)，對(duì)溢出元素的處理方式。計(jì)數(shù)取樣在處理溢出元素情況時(shí)，不僅需要將元素的原有參數(shù)與現(xiàn)有參數(shù)進(jìn)行對(duì)比，計(jì)算原、現(xiàn)參數(shù)之間的比率，利用現(xiàn)參數(shù)分之一對(duì)是否將元素刪除進(jìn)行判斷，若其中的一個(gè)數(shù)據(jù)的計(jì)數(shù)值為0時(shí)，無需進(jìn)行該數(shù)據(jù)的操作。

二、數(shù)據(jù)挖掘取樣方法的應(yīng)用與發(fā)展

1.應(yīng)用成功案例

數(shù)據(jù)挖掘取樣技術(shù)在現(xiàn)實(shí)生活中應(yīng)用的成功案例有很多，其中包括：第一，常用于商業(yè)數(shù)據(jù)統(tǒng)計(jì)的SAS、SPSS數(shù)據(jù)處理軟件等，可使用均勻取樣方式對(duì)大規(guī)模的數(shù)據(jù)集進(jìn)行有效處理；第二，數(shù)據(jù)概要結(jié)構(gòu)構(gòu)建過程中使用的基礎(chǔ)取樣技術(shù)，如Backing Sample計(jì)算技術(shù)；第三，在數(shù)據(jù)挖掘計(jì)算方式中可以利用均勻取樣方式完成CURE和CLARANS的數(shù)據(jù)預(yù)處理，實(shí)現(xiàn)數(shù)據(jù)挖掘計(jì)算技術(shù)的擴(kuò)展。

2.數(shù)據(jù)挖掘取樣技術(shù)的發(fā)展

（1）傳統(tǒng)取樣技術(shù)的發(fā)展

有窮非負(fù)數(shù)數(shù)列的評(píng)估方法中就包括自適應(yīng)取樣，該取樣方式在數(shù)據(jù)挖掘中選取的樣本大小可調(diào)節(jié)，有效減小取樣大小對(duì)數(shù)據(jù)結(jié)果造成的誤差。

兩階段取樣方式可有效降低取樣的成本。比如，在對(duì)象集X中進(jìn)行Y取樣的代價(jià)過高，就可以利用選取一些取樣輔助變量P的方式降低取樣代價(jià)。兩階段取樣方式的具體應(yīng)用流程為，首先完成對(duì)象集X中的大尺寸W的取樣工作，從樣本W(wǎng)中提取出輔助變量P；其次，通過已掌握的P的數(shù)據(jù)信息在W中提出數(shù)據(jù)；最后通過以上步驟中的取值保證指定的取樣值Y的取樣，并且能夠提升Y的準(zhǔn)確性，以此完成取樣工作。［3］

（2）數(shù)據(jù)流中取樣技術(shù)的發(fā)展

數(shù)據(jù)流中的數(shù)據(jù)流管理和挖掘兩方面會(huì)涉及到取樣技術(shù)。第一，數(shù)據(jù)流的模型處理工作中，數(shù)據(jù)概要結(jié)構(gòu)的生成會(huì)使用到計(jì)數(shù)取樣和水庫取樣等取樣技術(shù)；第二，在數(shù)據(jù)流中查詢近似聚集數(shù)據(jù)時(shí)會(huì)使用到國會(huì)取樣以及Distinct Sampling等取樣技術(shù)；第三，數(shù)據(jù)流的查詢、分類、評(píng)價(jià)以及在線分析等多項(xiàng)工作中都會(huì)使用到偏倚取樣技術(shù)。

（3）取樣技術(shù)面臨的挑戰(zhàn)

現(xiàn)行的取樣技術(shù)存在的不足主要體現(xiàn)在數(shù)據(jù)流管理中，在小規(guī)模樣本集中提取的數(shù)據(jù)準(zhǔn)確性不足，在空間條件以及準(zhǔn)確性的有限制的情況下，樣本尺寸具有不確定性；與標(biāo)模界的取樣技術(shù)相比，數(shù)據(jù)流管理中使用的取樣技術(shù)略不成熟，存在附加成本較高、滑動(dòng)窗口的面積過小等缺陷。

結(jié)語

計(jì)算機(jī)技術(shù)的發(fā)展推動(dòng)了數(shù)據(jù)挖掘計(jì)算方法的創(chuàng)新，數(shù)據(jù)挖掘離不開取樣技術(shù)。多項(xiàng)研究證明取樣技術(shù)在當(dāng)前的大規(guī)模數(shù)據(jù)庫查詢、優(yōu)化以及近似處理中發(fā)揮了重要作用，廣泛應(yīng)用于數(shù)據(jù)挖掘計(jì)算的數(shù)據(jù)信息預(yù)處理中，但是取樣技術(shù)成就存在一些不足，這就需要我們對(duì)其進(jìn)行更深層次的研究，改善或消除其中的缺陷，促進(jìn)取樣技術(shù)的發(fā)展。

［1］張成叔.關(guān)于數(shù)據(jù)挖掘取樣方式的若干分析［J］.赤峰學(xué)院學(xué)報(bào)（自然科學(xué)版），2014（09）.

［2］陳陽.數(shù)據(jù)挖掘取樣方法研究［J］.城市建設(shè)理論研究（電子版），2013（22）.

［3］胡文瑜，蔡文培.數(shù)據(jù)挖掘取樣方法的衡量與選用研究［J］.福建工程學(xué)院學(xué)報(bào)，2011（04）.