基于并行計(jì)算的分布式數(shù)據(jù)庫(kù)樹(shù)查詢?nèi)s減計(jì)算方法

劉云萍

摘要：傳統(tǒng)查詢?nèi)s減計(jì)算方法存在計(jì)算速度較慢的缺陷，以此開(kāi)展了基于并行計(jì)算的分布式數(shù)據(jù)庫(kù)樹(shù)查詢?nèi)s減計(jì)算方法的設(shè)計(jì)。計(jì)算種群中整體數(shù)量與樣本之間的正向射向關(guān)系，設(shè)計(jì)采樣流程圖，查詢采樣條件;設(shè)計(jì)分布式數(shù)據(jù)庫(kù)樹(shù)查詢函數(shù)，計(jì)算查詢數(shù)據(jù)值，提供計(jì)算適應(yīng)度數(shù)值;計(jì)算參數(shù)數(shù)值，完成分布式數(shù)據(jù)庫(kù)樹(shù)查詢?nèi)s減計(jì)算。經(jīng)過(guò)對(duì)比實(shí)驗(yàn)，證明所提出的分布式數(shù)據(jù)庫(kù)樹(shù)查詢?nèi)s減計(jì)算方法可降低查詢計(jì)算時(shí)間，提高計(jì)算效率，因此更具有實(shí)際應(yīng)用價(jià)值。

關(guān)鍵詞：并行計(jì)算;分布式;數(shù)據(jù)庫(kù)樹(shù);查詢?nèi)s減計(jì)算

中圖分類號(hào)：TP311.133.1? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2020）16-0050-03

并行計(jì)算又稱平行計(jì)算，基于市場(chǎng)內(nèi)涌現(xiàn)的大量的數(shù)據(jù)集合，并行計(jì)算已經(jīng)廣泛應(yīng)用于大數(shù)據(jù)查詢中，作為以此計(jì)算可同時(shí)執(zhí)行多種計(jì)算指令的查詢算法，具有提升計(jì)算效率、縮短計(jì)算時(shí)間的特點(diǎn)，可將問(wèn)題延伸解決，延展計(jì)算規(guī)模。解決實(shí)際中大型且復(fù)雜的問(wèn)題，并在實(shí)踐中擺脫時(shí)間或空間上的約束[1]。時(shí)間層面是指大量數(shù)據(jù)的流水線技術(shù)可同時(shí)實(shí)施，空間層面是指計(jì)算中出現(xiàn)的多個(gè)數(shù)據(jù)處理器可并發(fā)運(yùn)行。使用并行計(jì)算方法通常將較復(fù)雜的計(jì)算流程或計(jì)算步驟進(jìn)行分散處理，有助于問(wèn)題的同步解決，結(jié)合計(jì)算設(shè)備提出的多個(gè)計(jì)算指令，為后續(xù)計(jì)算提供實(shí)時(shí)幫助，大內(nèi)存資源包下載的速度將明顯低于逐個(gè)資源包下載的速度[2]。分布式數(shù)據(jù)庫(kù)是數(shù)據(jù)在系統(tǒng)中以離散式方式存在，每臺(tái)計(jì)算設(shè)備中均包含一份相對(duì)完整的文件拷貝副本，或副本的部分文件具備自身獨(dú)立的數(shù)據(jù)庫(kù)，且每個(gè)離散數(shù)據(jù)庫(kù)之間由網(wǎng)絡(luò)進(jìn)行互連，共同構(gòu)成一個(gè)相對(duì)完善且全局分布緊密的數(shù)據(jù)庫(kù)數(shù)。為了更好地應(yīng)用數(shù)據(jù)庫(kù)樹(shù)，數(shù)據(jù)庫(kù)樹(shù)查詢?nèi)珳p縮計(jì)算方法成了有關(guān)部門(mén)的研究重點(diǎn)，檢索查詢指令中一個(gè)相對(duì)優(yōu)化的策略成為數(shù)據(jù)庫(kù)樹(shù)在系統(tǒng)中可持續(xù)運(yùn)行的基礎(chǔ)。由于自身計(jì)算方法存在的計(jì)算速度慢的缺陷，導(dǎo)致查詢計(jì)算結(jié)果通常為局部最優(yōu)解而非全過(guò)程最優(yōu)解[3]。以此有關(guān)研究人員將并行計(jì)算方法與數(shù)據(jù)庫(kù)樹(shù)查詢?nèi)珳p縮計(jì)算兩者實(shí)施動(dòng)態(tài)化連接，提出一種新的函數(shù)計(jì)算方式，在計(jì)算中保持參數(shù)運(yùn)行數(shù)值的穩(wěn)定，使用提取的查詢條件，完成數(shù)據(jù)庫(kù)樹(shù)查詢?nèi)珳p縮計(jì)算方法的設(shè)計(jì)。

1基于并行計(jì)算的分布式數(shù)據(jù)庫(kù)樹(shù)查詢?nèi)s減計(jì)算方法

1.1基于并行計(jì)算采樣查詢條件

查詢數(shù)據(jù)種群?jiǎn)栴}規(guī)模指數(shù)呈現(xiàn)正極增長(zhǎng)趨勢(shì)，瀏覽整體數(shù)據(jù)庫(kù)數(shù)據(jù)集合歷時(shí)較長(zhǎng)，基于并行算法將收斂局部最優(yōu)解，保持?jǐn)?shù)據(jù)集合多樣性的同時(shí)對(duì)查詢數(shù)據(jù)有針對(duì)采樣[4]。假定查詢時(shí)間內(nèi)數(shù)據(jù)個(gè)體最佳舒適程度未得到提升，數(shù)據(jù)種群樣本中的函數(shù)比例數(shù)值高于原始數(shù)據(jù)種群數(shù)值。自定義[st]表示當(dāng)前需檢索的數(shù)據(jù)查詢次數(shù)，[W]表示為查詢數(shù)據(jù)庫(kù)數(shù)樣本值大小。基于并行計(jì)算理論依據(jù)，設(shè)計(jì)如下數(shù)據(jù)采樣流程。如下圖1：

根據(jù)上圖可知，賦予數(shù)據(jù)庫(kù)數(shù)查詢樣本數(shù)值空值，使用并行計(jì)算提供的優(yōu)化查詢方式，評(píng)估樣本數(shù)據(jù)中最右束支，判斷查詢數(shù)據(jù)種群是否為初次采樣，若分析結(jié)果表示為“[Y]”，持續(xù)向數(shù)據(jù)庫(kù)數(shù)中插入[n]個(gè)隨機(jī)種群定向向量;若輸出結(jié)果為“[N]”，保留原始樣本中最優(yōu)查詢數(shù)值，插入[x]個(gè)定向查詢向量。計(jì)算種群中整體數(shù)量與樣本之間的正向射向關(guān)系。制定操作區(qū)域中3個(gè)預(yù)設(shè)值，利用有圖理論建立操作區(qū)域基礎(chǔ)查詢模型，依照查詢不同定向標(biāo)準(zhǔn)劃分正向度量標(biāo)準(zhǔn)數(shù)值。分析數(shù)據(jù)種群中是否包含交叉變異數(shù)據(jù)值[5]。判斷查詢數(shù)據(jù)種群中的差異變化數(shù)值，保持?jǐn)?shù)據(jù)查詢檢索值不變，在提取的新數(shù)據(jù)值樣本中保留最優(yōu)種群。降低樣本收斂速度，數(shù)據(jù)庫(kù)數(shù)值種群隨著攝入向量數(shù)量的增多，進(jìn)化次數(shù)減小。自定義全減縮集合為[u=λu]，當(dāng)[λ]數(shù)值為0～1之間任意一個(gè)常數(shù)時(shí)。采樣條件中每次進(jìn)化次數(shù)[t]會(huì)隨著[λ]的降低而降低。當(dāng)條件保持在一個(gè)相對(duì)穩(wěn)定的數(shù)據(jù)采樣范圍內(nèi)時(shí)，維持減縮集合的數(shù)據(jù)值，判斷是否輸出條件，識(shí)別采樣數(shù)據(jù)集合。通過(guò)上述采樣方式，可在保持原始數(shù)據(jù)集合的基礎(chǔ)上，向分析樣本中調(diào)入新的數(shù)據(jù)向量，基于并行計(jì)算對(duì)所有數(shù)據(jù)集合統(tǒng)一查詢，維持?jǐn)?shù)據(jù)集的穩(wěn)定，避免出現(xiàn)數(shù)據(jù)庫(kù)樹(shù)過(guò)早收斂[6]。

1.2設(shè)計(jì)分布式數(shù)據(jù)庫(kù)樹(shù)查詢函數(shù)

數(shù)據(jù)庫(kù)在不同運(yùn)行狀態(tài)下的動(dòng)態(tài)化表現(xiàn)形式是不同的，隨機(jī)狀態(tài)下某一概率將由其中一個(gè)概率轉(zhuǎn)移至另一個(gè)概率值，下一時(shí)期查詢計(jì)算狀態(tài)僅取決于數(shù)據(jù)庫(kù)當(dāng)期的運(yùn)行狀態(tài)及數(shù)據(jù)計(jì)算出現(xiàn)轉(zhuǎn)移的概率，不存在后期效率性[7]。全減縮計(jì)算是在數(shù)據(jù)不斷轉(zhuǎn)移、交叉、變異過(guò)程中，分析數(shù)據(jù)集合之間存在的某種動(dòng)態(tài)化鏈接。以此基于并行計(jì)算實(shí)際操作依據(jù)，設(shè)計(jì)分布式數(shù)據(jù)庫(kù)樹(shù)查詢函數(shù)，如下所示：

上述公式為分布式數(shù)據(jù)庫(kù)查詢函數(shù)，公式中：[p]表示為數(shù)據(jù)庫(kù)查詢種群;[p]表示為查詢種群的權(quán)值數(shù)值;[F]表示為數(shù)據(jù)庫(kù)樹(shù)中的字符串;[F]表示為字符串的權(quán)值數(shù)值;[γ]表示為查詢函數(shù)的短期變異參數(shù)，即可能出現(xiàn)數(shù)據(jù)交叉或重組等現(xiàn)象;[x]表示查詢的數(shù)據(jù)組別;[i]表示組別的查詢基礎(chǔ)個(gè)數(shù);[xi]表示查詢組別表現(xiàn)出的數(shù)值特征;[j]表示為主句轉(zhuǎn)移概率，計(jì)算單位為%。采用上述查詢函數(shù)，將全減縮計(jì)算流程近似看作馬爾科夫決策流程，將最有計(jì)算方法按照5元組的方式描述[8]?？杀硎緸椋?/p>

公式中：[S]表示為數(shù)據(jù)集合的特征有限數(shù)據(jù)集合，集合中數(shù)據(jù)值為1～k中任意自然整數(shù)，表示為[S=（S1，S2，S3…Sk）];[A]表示為查詢數(shù)據(jù)庫(kù)樹(shù)中數(shù)值存在的交叉率，變異參數(shù)記為[η];P表示為在時(shí)間t的種群狀態(tài)下，[s]的原始數(shù)值及其獎(jiǎng)勵(lì)數(shù)值，按照并行計(jì)算原理，數(shù)值個(gè)體適應(yīng)程度越高，數(shù)值獎(jiǎng)勵(lì)程度越大;[R（s）]表示為特殊種群中數(shù)值個(gè)體的最近適應(yīng)程度，定義[s']表示查詢數(shù)值與計(jì)算數(shù)值兩者之間的匹配程度，匹配程度越高，可為函數(shù)計(jì)算提供下一步適應(yīng)度數(shù)值，為計(jì)算提供正確決策;[π]表示為數(shù)據(jù)庫(kù)樹(shù)第二次計(jì)算的決策函數(shù)，可表達(dá)其期望數(shù)值與查詢減縮方向。根據(jù)上述查詢函數(shù)及計(jì)算公式，結(jié)合數(shù)據(jù)進(jìn)化值與數(shù)據(jù)期望值，求解Q值，提供后續(xù)計(jì)算方向[9]。

1.3查詢?nèi)珳p縮計(jì)算

基于上述建立的數(shù)據(jù)庫(kù)樹(shù)查詢函數(shù)及最優(yōu)采樣條件，定義計(jì)算中多個(gè)計(jì)算參數(shù)數(shù)值，評(píng)價(jià)初始化數(shù)據(jù)種群，記錄最優(yōu)查詢計(jì)算方式，實(shí)施較差變異操作，計(jì)算查詢參數(shù)數(shù)值[10]。如下公式：

公式中，[P]表示為查詢?nèi)珳p縮計(jì)算的適應(yīng)程度;[m]、[n]表示多種計(jì)算參數(shù)的變異概率，計(jì)算單位為%;[f]表示為最有計(jì)算算法;[λ]表示可調(diào)節(jié)誤差。通過(guò)上述公式，計(jì)算最佳數(shù)值實(shí)用度，適應(yīng)程度越高，計(jì)算結(jié)果精準(zhǔn)化程度越高，標(biāo)記計(jì)算數(shù)值種群，判斷群體之間的參數(shù)關(guān)系，完成計(jì)算。

2對(duì)比實(shí)驗(yàn)

2.1實(shí)驗(yàn)準(zhǔn)備

提出對(duì)比實(shí)驗(yàn)，選定某實(shí)驗(yàn)研究室為此次實(shí)驗(yàn)的實(shí)驗(yàn)對(duì)象，隨機(jī)選取實(shí)驗(yàn)室某計(jì)算機(jī)，模擬此次實(shí)驗(yàn)的實(shí)驗(yàn)環(huán)境。為了提高實(shí)驗(yàn)結(jié)果的準(zhǔn)確性，整體實(shí)驗(yàn)均在[Matlab]上進(jìn)行，安裝雙端口萬(wàn)兆位的路由協(xié)調(diào)控制器，選型計(jì)算機(jī)運(yùn)行系統(tǒng)及相關(guān)配置。遵循標(biāo)準(zhǔn)安裝流程將互聯(lián)網(wǎng)與PC設(shè)備連接，并允許地方區(qū)域互聯(lián)網(wǎng)資源共享，在確保網(wǎng)絡(luò)格局相同的條件下，搭建計(jì)算節(jié)點(diǎn)緩沖區(qū)域。相關(guān)準(zhǔn)備設(shè)備參數(shù)如表1所示。

結(jié)合上述表中設(shè)定的參數(shù)數(shù)值，先用傳統(tǒng)的數(shù)據(jù)庫(kù)樹(shù)查詢?nèi)珳p縮計(jì)算方法對(duì)指定PC機(jī)上數(shù)據(jù)庫(kù)樹(shù)中數(shù)據(jù)，實(shí)施查詢?nèi)珳p縮計(jì)算，收集10組實(shí)驗(yàn)數(shù)據(jù)，采用云平臺(tái)處理數(shù)據(jù)的方式計(jì)算輸出數(shù)據(jù)與輸入數(shù)據(jù)之間的時(shí)間差，記該組為對(duì)照組。再用本文設(shè)計(jì)的基于并行計(jì)算的分布式數(shù)據(jù)庫(kù)樹(shù)查詢?nèi)s減計(jì)算方法，進(jìn)行相同步驟的操作，記該組為實(shí)驗(yàn)組。

2.2實(shí)驗(yàn)結(jié)果分析

根據(jù)上述提出的實(shí)驗(yàn)環(huán)境及實(shí)驗(yàn)步驟，將數(shù)據(jù)查詢?nèi)珯z索計(jì)算時(shí)間作為此次實(shí)驗(yàn)的關(guān)鍵對(duì)比指標(biāo)，整理收集的數(shù)據(jù)，并將其繪制表格，如下表2所示。

根據(jù)上述表2及實(shí)驗(yàn)過(guò)程中產(chǎn)生的數(shù)據(jù)，可得出如下結(jié)論：本文設(shè)計(jì)的基于并行計(jì)算的分布式數(shù)據(jù)庫(kù)樹(shù)查詢?nèi)s減計(jì)算方法，在實(shí)際計(jì)算中，可縮短輸入數(shù)據(jù)與輸出數(shù)據(jù)之間的時(shí)間差，進(jìn)而提升計(jì)算速度，起到提高查詢?nèi)珳p縮計(jì)算效率的作用。

3結(jié)束語(yǔ)

基于并行計(jì)算的理論依據(jù)，本文提出了基于并行計(jì)算的分布式數(shù)據(jù)庫(kù)樹(shù)查詢?nèi)珳p縮計(jì)算方法的研究。并通過(guò)設(shè)計(jì)仿真實(shí)驗(yàn)進(jìn)一步證明，本文設(shè)計(jì)的計(jì)算方法在實(shí)際應(yīng)用中，可起到縮短計(jì)算時(shí)間，縮短計(jì)算效率的作用。盡管本文研究已經(jīng)趨近于完善，但在后期的發(fā)展中，仍需針對(duì)提高數(shù)據(jù)分辨率等問(wèn)題，實(shí)施更加深化的研究，推動(dòng)分布式數(shù)據(jù)庫(kù)的發(fā)展。

參考文獻(xiàn)：

[1]黃天恩，郭慶來(lái)，孫宏斌，等. 模型-數(shù)據(jù)混合驅(qū)動(dòng)的電網(wǎng)安全特征選擇和知識(shí)發(fā)現(xiàn)關(guān)鍵技術(shù)與工程應(yīng)用[J]. 電力系統(tǒng)自動(dòng)化，2019，43（1）：95-101，208，102-104.

[2]劉春成，顧漢明，陳寶書(shū)，等. 基于GPU和CPU協(xié)同并行的三維各向異性介質(zhì)地震波場(chǎng)正演模擬[J]. 地質(zhì)科技情報(bào)，2019，38（5）：240-246.

[3]閆華，汪貽生，王銳淇，等. 基于GPU的大規(guī)模多階段任務(wù)系統(tǒng)可靠性并行計(jì)算方法[J]. 系統(tǒng)工程與電子技術(shù)，2019，41（1）：215-222.

[4]宋佩濤，張志儉，梁亮，等. 基于CPU-GPU異構(gòu)并行的MOC中子輸運(yùn)計(jì)算并行效率優(yōu)化研究[J]. 原子能科學(xué)技術(shù)，2019，53（11）：2209-2217.

[5]易俊，秦曉萌，岑穎珊，等. GPU并行計(jì)算在FD-OCT成像中加速插值計(jì)算的應(yīng)用[J]. 儀器儀表用戶，2019，26（9）：40-44.

[6]方睿，董樹(shù)鋒，唐坤杰，等. 基于最大測(cè)點(diǎn)正常率與GPU并行加速的不良數(shù)據(jù)辨識(shí)方法[J]. 電力系統(tǒng)自動(dòng)化，2019，43（16）：86-094，115.

[7]李楊，李朝奎，方軍，等. 基于數(shù)據(jù)級(jí)任務(wù)分解的大范圍地質(zhì)災(zāi)害預(yù)警并行計(jì)算架構(gòu)設(shè)計(jì)與應(yīng)用[J]. 地理信息世界，2018，25（2）：97-101.

[8]章立宗，張鋒明，蔣正威，等. 基于并行概率潮流計(jì)算的含光伏配電網(wǎng)電壓風(fēng)險(xiǎn)評(píng)估[J]. 浙江電力，2018，37（8）：7-14.

[9]張子興，吳斌，吳心宇，等. 路徑-維度GraphOLAP大規(guī)模多維網(wǎng)絡(luò)并行分析框架[J]. 軟件學(xué)報(bào)，2018，29（3）：545-568.

[10]曹禮群，陳志明，許志強(qiáng)，等. 科學(xué)與工程計(jì)算的方法和應(yīng)用——基于國(guó)家自然科學(xué)基金創(chuàng)新研究群體項(xiàng)目研究成果的綜述[J]. 中國(guó)科學(xué)基金，2018，32（2）：141-149.

【通聯(lián)編輯：張薇】