矢量大數(shù)據(jù)高性能計(jì)算模型及關(guān)鍵技術(shù)

羅釗航 車宇

摘要

目前，我國已正式進(jìn)入信息時代，人們的工作和生活方式在大數(shù)據(jù)技術(shù)的影響下有了較大改變。本文首先圍繞數(shù)據(jù)活化理論展開分析，然后研究了矢量數(shù)據(jù)多態(tài)存儲模型，最后提出了相關(guān)的關(guān)鍵技術(shù)，旨在加快大數(shù)據(jù)檢索與處理效率和質(zhì)量。

【關(guān)鍵詞】矢量大數(shù)據(jù) 高性能計(jì)算模型 大數(shù)據(jù)檢索

所謂大數(shù)據(jù)，具體是指在有限時間里，處理數(shù)據(jù)集合時使用新興形式代替一般軟件，這樣能得到更有觀察捕捉力、決定能力以及改善流程能力的大量多元化信息資產(chǎn)。大數(shù)據(jù)其具備多樣、海量、真實(shí)、低價值密度以及快速這五個特征，但通過有效的大數(shù)據(jù)高性能計(jì)算模型能夠極大地發(fā)揮數(shù)據(jù)的價值。

1 數(shù)據(jù)活化理論

數(shù)據(jù)活化可為數(shù)據(jù)增添生命活力，是指一種新興的數(shù)據(jù)監(jiān)管和運(yùn)用形式，主要是為完成海量數(shù)據(jù)集高靈活度的繁雜索引剖析。其基礎(chǔ)數(shù)據(jù)構(gòu)成單元以數(shù)據(jù)儲存能力和運(yùn)算能力為主，呈現(xiàn)物理層內(nèi)不同數(shù)據(jù)間的互相關(guān)聯(lián)和互相影響，面對運(yùn)算環(huán)境時可主動進(jìn)化，從而提升大數(shù)據(jù)運(yùn)算速率。

活化，具體表現(xiàn)為賦予細(xì)胞生命的智能行為：

（1）自發(fā)認(rèn)知所在環(huán)境，例如查找剖析任務(wù)、資源現(xiàn)狀與其余活化細(xì)胞等數(shù)據(jù)信息;

（2）在信息認(rèn)知基礎(chǔ)上推測與體會運(yùn)算環(huán)境形勢與運(yùn)算要求;

（3）溝通促進(jìn)各個細(xì)胞間的信息傳遞;

（4）根據(jù)運(yùn)算環(huán)境的改變更新信息;基于這些智能行為，完成數(shù)據(jù)有效儲存，按需運(yùn)算。

數(shù)據(jù)活化理論以細(xì)胞為概念，以類似細(xì)胞的高性能計(jì)算模型對數(shù)據(jù)進(jìn)行感知與處理，在大數(shù)據(jù)環(huán)境下的高性能計(jì)算重要模型。

2 矢量數(shù)據(jù)多態(tài)儲存模型分析

為處理異構(gòu)、多元的矢量數(shù)據(jù)，對象模型與矢量數(shù)據(jù)感知模型站在不同角度對其進(jìn)行論述，也就是多種形態(tài)與狀態(tài)問題。但就數(shù)據(jù)儲存而言，Geo tuple（矢量地理元組）依然成多態(tài)狀態(tài)，在上層通常展現(xiàn)在軟件方面的多態(tài)儲存方式，在下層展現(xiàn)在硬件方面的多態(tài)儲存載體。

在儲存方式上，空間數(shù)據(jù)集由代表空間或時間的、基礎(chǔ)屬性的、初始數(shù)據(jù)實(shí)例的矢量地理元組構(gòu)成，所以相應(yīng)儲存方式也有所差別。比如：基礎(chǔ)屬性數(shù)據(jù)的矢量地理元組用NoSQL數(shù)據(jù)庫表示，分布式文件系統(tǒng)則是初始信息的代表。

矢量地理元組主要有提下特征：首先，擁有數(shù)據(jù)儲存能力，矢量數(shù)據(jù)目標(biāo)模型界定為延伸Key-Value，以此儲存矢量數(shù)據(jù)。其次，內(nèi)存儲存。數(shù)據(jù)被活化之后，有針對性的將其放在不通過物理節(jié)點(diǎn)內(nèi)。最后，擁有運(yùn)算能力，在高性能運(yùn)算環(huán)境中，完成地理元組的各種轉(zhuǎn)變，和活化細(xì)胞的汲取、硝化、溝通、演變等行為相似。

3 矢量大數(shù)據(jù)高性能計(jì)算模型關(guān)鍵技術(shù)探究

3.1 關(guān)于分布式內(nèi)存運(yùn)算的并行二路空間街接算法

這是計(jì)算模型中利用率極高的一種算法，由艾伯哈特和肯尼迪等人提出。其優(yōu)勢主要體現(xiàn)在銜接速率快、自組織能力強(qiáng)等。然而由于此種算法是一種以隨機(jī)方式算出通過迭代的形式來確定目標(biāo)的形式。雖然其在挑選參數(shù)、收斂效率等方面占據(jù)較大優(yōu)勢，但卻非常易于被局部的查找最優(yōu)解所限制，導(dǎo)致其全方位檢索水平較低。所以，此算法被劃分成預(yù)休眠、休眠、活躍三種狀態(tài)，通過這三種狀態(tài)間的互相轉(zhuǎn)變，能良好的落實(shí)調(diào)度對策，最大化的搜索檢測范圍，以此增加基于矢量大數(shù)據(jù)高性能計(jì)算模型的生命周期。這一算法能高效確保數(shù)據(jù)在檢索模塊完成信息搜索，進(jìn)而為提高模型的穩(wěn)定性，杜絕死角或是搜索信息冗余等不良狀況出現(xiàn)在計(jì)算模型中。

從此算法的實(shí)質(zhì)來講，其是對數(shù)據(jù)檢索與處置模式展開同步的檢索與處置形式，檢索經(jīng)過模式檢索后得到的信息必須要等同于檢索前的初始模式。縱然能有效減少信息檢索冗余問題，而且可以避免不必要的檢索目標(biāo)能量損耗，從而提升其使用率。但此算法把每一差別化的數(shù)據(jù)，都視為相應(yīng)維度檢索范疇中的一個數(shù)據(jù)，同時在此范疇中通過相應(yīng)速度完成檢索，這便導(dǎo)致在解決一些優(yōu)化問題過程中，發(fā)生過早收斂狀況。因此，此算法在諸多方面依然有待改善。

3.2 關(guān)于分布式內(nèi)存運(yùn)算的并行多路空間銜接算法

此算法利用并行多路的空間銜接形式，所以在大量大數(shù)據(jù)環(huán)境中，較上一算法更具優(yōu)勢。但就能量損耗方面而言，此算法表現(xiàn)卻更加嚴(yán)重，怎樣減少能量損耗，進(jìn)而將矢量大數(shù)據(jù)高性能運(yùn)算模型的生命周期大大增加，成為現(xiàn)階段急需處理的首要問題。通常來講，這一算法鑒于全部數(shù)據(jù)信息范疇中有幾率發(fā)生能量損耗的平均性，根據(jù)數(shù)據(jù)所在位置實(shí)施的一種拓?fù)淇刂菩问?，進(jìn)而按照數(shù)據(jù)對象的認(rèn)知半徑，把目標(biāo)范疇區(qū)分成若干個相同大小的網(wǎng)格，并開啟數(shù)據(jù)檢索模塊讓其迅速進(jìn)入休眠狀態(tài)，確保所有網(wǎng)格內(nèi)簇頭信息具有靈活性和活躍性。

處于檢索環(huán)境時，此算法會采用一個數(shù)據(jù)頂替某一數(shù)據(jù)完成頂替的形式，進(jìn)而獲得所需數(shù)據(jù)位置，包括剩下的數(shù)據(jù)位置，以此完成鄰近網(wǎng)格中的數(shù)據(jù)信息，或是全部網(wǎng)格中的數(shù)據(jù)信息數(shù)據(jù)檢索與處置的形式。在此狀況下，網(wǎng)格中的任何數(shù)據(jù)同時一種等價狀態(tài)，在明確等價數(shù)據(jù)后，可提升單簇搜索范圍與單跳的搜索范圍，從不同角度來看，高效杜絕了某些簇頭信息因?yàn)轭l頻參加到信息的頂替流程中而損耗能量狀況的發(fā)生。毫不夸張的說，這是現(xiàn)階段此算法解決大量損耗能量問題，增加模型壽命的最佳途徑。

3.3 并行多路空間街接算法改進(jìn)型

雖然分布式內(nèi)存運(yùn)算的并行多路空間銜接算法理論上能夠解決矢量大數(shù)據(jù)的分析問題，但結(jié)果往往由于數(shù)據(jù)量的增大，數(shù)據(jù)的可用性大打折扣。因而改進(jìn)并行多路空間銜接算法的分析結(jié)果，引入搜索引擎的關(guān)鍵字相關(guān)排序技術(shù)，從而提高其結(jié)果的可用性。

4 結(jié)論

綜上所述，矢量大數(shù)據(jù)環(huán)境下，對高性能運(yùn)算模型和其主要技術(shù)展開分析和探究，能改善大量數(shù)據(jù)搜集、處置、傳遞以及儲存的形式及辦法，在檢索與處置環(huán)節(jié)能高效的確保數(shù)據(jù)的有效性和時效性，減少數(shù)據(jù)缺失或者溢出等問題。所以，相關(guān)人員必須要充分了解各種算法，在實(shí)踐中有針對性的選用關(guān)鍵技術(shù)，以此確保所需數(shù)據(jù)的質(zhì)量。

參考文獻(xiàn)

[1]李國杰，程學(xué)旗.大數(shù)據(jù)研究：未來科技及經(jīng)濟(jì)社會發(fā)展的重大戰(zhàn)略領(lǐng)域一大數(shù)據(jù)的研究現(xiàn)狀與科學(xué)思考機(jī)[J].中國科學(xué)院院刊，2015，27（06）：647-657.

[2]李建中，李英妹.大數(shù)據(jù)計(jì)算的復(fù)雜性理論與算法研究進(jìn)展[J].中國科學(xué)：信息科學(xué)，2016，46（09）：1255-1275.

[3]施巍松，孫輝，曹杰.邊緣計(jì)算：萬物互聯(lián)時代新型計(jì)算模型[J].計(jì)算機(jī)研究與發(fā)展，2017，54（05）：907-924.