大數(shù)據(jù)與集群智能分析

陳凌子

摘 要：群體智能（Swarm Intelligence）是一種在自然界生物群體所表現(xiàn)出的智能現(xiàn)象啟發(fā)下提出的智能模式?；诋?dāng)前大數(shù)據(jù)蓬勃發(fā)展的現(xiàn)實(shí)環(huán)境，本文在介紹群體智能模型的基礎(chǔ)上，對(duì)大數(shù)據(jù)和集群智能兩者間關(guān)系進(jìn)行了進(jìn)一步梳理，即集群智能是進(jìn)行大數(shù)據(jù)分析的一個(gè)重要技術(shù)手段。

關(guān)鍵詞：大數(shù)據(jù)；群體智能

1引言

人們?cè)诤茉绲臅r(shí)候就對(duì)自然界中存在的群集行為感興趣， 如大雁在飛行時(shí)自動(dòng)排成人字形， 蝙蝠在洞穴中快速飛行卻可以互不碰撞等。對(duì)于這些現(xiàn)象的一種解釋是， 群體中的每個(gè)個(gè)體都遵守一定的行為準(zhǔn)則， 當(dāng)它們按照這些準(zhǔn)則相互作用時(shí)就會(huì)表現(xiàn)出上述的復(fù)雜行為?；谶@一思想，Craig Reynolds 在1986 年提出一個(gè)仿真生物群體行為的模型BOID[1]。一個(gè)顯著的標(biāo)志是1999 年由牛津大學(xué)出版社出版的E Bonabeau 和M Dorigo 等人編寫的一本專著《群體智能：從自然到人工系統(tǒng)》（“Swarm Intelligence ：From Natural to Artificial System”），他認(rèn)為簡(jiǎn)單智能體（agent）涌現(xiàn)出來(lái)的集體智能[ 2]。

2群體智能遵循的原則

Millonas M M 在1994 年提出群體智能應(yīng)該遵循五條基本原則[3]，一是鄰近原則（Proximity Principle）， 群體能夠進(jìn)行簡(jiǎn)單的空間和時(shí)間計(jì)算。計(jì)算可以理解為群體根據(jù)環(huán)境刺激所作出的行為反應(yīng)，通常是為了最大化群體行為的效用。二是品質(zhì)原則（Quality Principle）， 群體能夠響應(yīng)環(huán)境中的品質(zhì)因子，例如食物質(zhì)量和居所安全性。三是多樣性反應(yīng)原則（Principle of Diverse Response），群體不應(yīng)將自身資源限制在很小的范圍內(nèi)，而是應(yīng)該廣泛分布以應(yīng)對(duì)環(huán)境的劇烈變化。四是穩(wěn)定性原則（Stability Principle）， 群體不應(yīng)在每次環(huán)境變化時(shí)都改變自身的行為，因?yàn)楦淖冃枰哪芰浚椅幢赜姓找?。五是適應(yīng)性原則（Adaptability Principle）， 在值得投入能量改變行為時(shí)，群體能夠在適當(dāng)?shù)臅r(shí)候改變自身的行為。

3大數(shù)據(jù)與群體智能

3.1傳統(tǒng)數(shù)據(jù)分析中存在的問(wèn)題

傳統(tǒng)算法存在局限性。一是大規(guī)模問(wèn)題，在日常的工作和生活中，人們對(duì)數(shù)據(jù)的收集越來(lái)越多，數(shù)據(jù)被儲(chǔ)存在不同領(lǐng)域的管理系統(tǒng)中，成爆炸式增長(zhǎng)。 二是高維問(wèn)題，在高維空間中，數(shù)據(jù)集存在數(shù)據(jù)分布稀疏、噪聲水平提高、屬性維度高等特點(diǎn)，當(dāng)維數(shù)達(dá)到一定高度時(shí)，傳統(tǒng)意義上的數(shù)據(jù)距離和區(qū)域密度將會(huì)變得沒(méi)有意義，數(shù)據(jù)集上的距離差將會(huì)逐漸縮小，甚至出現(xiàn)“距離趨零現(xiàn)象”。三是多目標(biāo)問(wèn)題，在應(yīng)用于金融、工業(yè)、生產(chǎn)管理等相關(guān)領(lǐng)域時(shí)，往往有多個(gè)需要優(yōu)化的目標(biāo)。對(duì)于多目標(biāo)優(yōu)化問(wèn)題，各個(gè)優(yōu)化目標(biāo)之間可能存在矛盾和制約，因此要尋找一組優(yōu)先級(jí)別最高的解集來(lái)達(dá)到各目標(biāo)之間的平衡。 四是動(dòng)態(tài)問(wèn)題。傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)只是針對(duì)靜態(tài)的數(shù)據(jù)進(jìn)行分析處理，而不能很好的動(dòng)態(tài)的掌握信息的發(fā)展，動(dòng)態(tài)數(shù)據(jù)挖掘是綜合現(xiàn)在和未來(lái)于一體的知識(shí)提取過(guò)程。

3.2大數(shù)據(jù)挖掘的瓶頸

數(shù)據(jù)挖掘技術(shù)的發(fā)展存在一定的瓶頸。一是數(shù)據(jù)產(chǎn)生的速度和數(shù)量、應(yīng)用的規(guī)模和范圍在不斷地?cái)U(kuò)大，因此產(chǎn)生了龐大的大規(guī)模數(shù)據(jù)集，原來(lái)的一些數(shù)據(jù)挖掘方法不能在短時(shí)間內(nèi)挖掘到有用的信息、挖掘信息的質(zhì)量下降甚至無(wú)法執(zhí)行；二是數(shù)據(jù)挖掘研究對(duì)象的特征維數(shù)越來(lái)越高，產(chǎn)生了大量的具有冗余特征和噪聲特征的高維小樣本數(shù)據(jù)，直接進(jìn)行數(shù)據(jù)挖掘容易造成維數(shù)災(zāi)難；三是在數(shù)據(jù)挖掘的過(guò)程中，現(xiàn)有的挖掘方法大多缺乏指導(dǎo)和控制的交互性；四是對(duì)各類算法和模型還沒(méi)有形成正確的評(píng)估體系，難以對(duì)數(shù)據(jù)挖掘的實(shí)際項(xiàng)目起到指導(dǎo)作用。五是數(shù)據(jù)的復(fù)雜性。這種復(fù)雜性并不止源于數(shù)據(jù)的本身，更多體現(xiàn)在多源異構(gòu)、多空間和多實(shí)體的交互動(dòng)態(tài)性，難以用傳統(tǒng)的方法從大量動(dòng)態(tài)甚至無(wú)法辨識(shí)的數(shù)據(jù)中提取出有用的信息。

3.3集群智能在大數(shù)據(jù)挖掘瓶頸技術(shù)的突破

一是數(shù)據(jù)的某一個(gè)維度是對(duì)樣本點(diǎn)某一方面特性的描述，在高維數(shù)據(jù)情況下，許多算法（比如聚類模型）失效。但局部敏感散列算法的應(yīng)用能幫助尋找到高緯度空間的最近臨界點(diǎn)。二是在大數(shù)據(jù)涉及的數(shù)據(jù)挖掘多目標(biāo)優(yōu)化問(wèn)題中，粒子群算法和螞蟻算法使用較多。比如利用小生境技術(shù)，同時(shí)在算法的運(yùn)行過(guò)程中加入了精英集策略，提出了一種改進(jìn)的多目標(biāo)優(yōu)化粒子群算法，這種改進(jìn)方法有效地提高了算法的運(yùn)行效率。三是數(shù)據(jù)的動(dòng)態(tài)變化問(wèn)題。大數(shù)據(jù)使用中，Web使用數(shù)據(jù)、實(shí)時(shí)交通信息。而集群智能方法已經(jīng)被廣泛應(yīng)用于靜態(tài)和動(dòng)態(tài)優(yōu)化問(wèn)題中迭代策略的改進(jìn)蟻群算法，從而改善了基本蟻群算法在動(dòng)態(tài)優(yōu)化中的性能。

3.4大數(shù)據(jù)與集群智能之間關(guān)系

經(jīng)過(guò)我們查閱資料和小組成員之間進(jìn)行討論，我們得出了大數(shù)據(jù)和集群智能之間的關(guān)系： 大數(shù)據(jù)是柴，獲取數(shù)據(jù)背后的價(jià)值是砍柴，而數(shù)據(jù)挖掘中對(duì)集群智能的使用則是砍柴刀。因此，兩者間本質(zhì)上上是目標(biāo)和工具的關(guān)系。

參考文獻(xiàn)：

[1] Eberhart， Russell C. Swarm intelligence =[M]. 人民郵電出版社，2009.

[2] Dorigo M， Stützle T. The Ant Colony Optimization Metaheuristic： Algorithms， Applications， and Advances[M]// Handbook of Metaheuristics. Springer US， 2003：250-285.

[3]Millonas M M， Dykman M I. Transport and current reversal in stochastically driven ratchets[J]. Physics Letters A， 1994， 185（1）： 65-69.

（作者單位：長(zhǎng)沙民政職業(yè)技術(shù)學(xué)院）