大數(shù)據(jù)時(shí)代背景下內(nèi)存計(jì)算技術(shù)

周鵬程

（湖南工業(yè)職業(yè)技術(shù)學(xué)院信息工程學(xué)院 湖南省長(zhǎng)沙市 410000）

隨著現(xiàn)代社會(huì)經(jīng)濟(jì)與科學(xué)技術(shù)水平的不斷發(fā)展，物聯(lián)網(wǎng)、云計(jì)算、AI 等新技術(shù)在許多行業(yè)領(lǐng)域中發(fā)揮了重大的作用，然而這些新技術(shù)的實(shí)現(xiàn)都是建立在大數(shù)據(jù)基礎(chǔ)上的，由此可見(jiàn)大數(shù)據(jù)技術(shù)是各種新技術(shù)賴以生存的前提。大數(shù)據(jù)技術(shù)在現(xiàn)代社會(huì)發(fā)展中具有重要的地位，本身具有數(shù)據(jù)信息量龐大、數(shù)據(jù)種類形式不一、高價(jià)值信息占比少、數(shù)據(jù)增長(zhǎng)快速與高時(shí)效性等特點(diǎn)，根據(jù)大數(shù)據(jù)本身的特征，需要建立大數(shù)據(jù)處理系統(tǒng)，涵蓋數(shù)據(jù)收集、數(shù)據(jù)分析與提取、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)整合以及數(shù)據(jù)顯現(xiàn)等各個(gè)環(huán)節(jié)，要求處理后的大數(shù)據(jù)具有良好的拓展性、可靠性、適用性以及實(shí)用性。大數(shù)據(jù)是基于數(shù)據(jù)的密集型技術(shù)，傳統(tǒng)計(jì)算機(jī)體系中主要以計(jì)算為中心，已經(jīng)無(wú)法達(dá)到大數(shù)據(jù)的使用標(biāo)準(zhǔn)。隨著現(xiàn)代科學(xué)技術(shù)的創(chuàng)新與進(jìn)步，新型非易失性存儲(chǔ)設(shè)備獲得了較快的發(fā)展，生產(chǎn)成本也越來(lái)越低，為大數(shù)據(jù)發(fā)展提供了新的途徑。內(nèi)存技術(shù)也就是在這種背景下產(chǎn)生的，具有非常高的信息處理效率以及很好的時(shí)效性。本文重點(diǎn)闡述了內(nèi)存技術(shù)的含義與特征，指出了內(nèi)存技術(shù)的應(yīng)用現(xiàn)狀，提出了內(nèi)存技術(shù)面臨的困境與挑戰(zhàn)，為內(nèi)存計(jì)算技術(shù)的進(jìn)一步發(fā)展提供支持。

1 內(nèi)存計(jì)算技術(shù)概述

1.1 內(nèi)存計(jì)算技術(shù)含義

內(nèi)存計(jì)算和傳統(tǒng)計(jì)算方式具有較大區(qū)別，突出表現(xiàn)在讀取數(shù)據(jù)方式上的差別，傳統(tǒng)計(jì)算中CPU 是從硬盤上讀取數(shù)據(jù)，而內(nèi)存計(jì)算中CPU 是直接從內(nèi)存上完成數(shù)據(jù)讀取，并對(duì)數(shù)據(jù)進(jìn)行計(jì)算以及整合，能夠顯著提升數(shù)據(jù)處理速度[1]。內(nèi)存計(jì)算以大數(shù)據(jù)技術(shù)為載體，基于計(jì)算機(jī)內(nèi)存元件的創(chuàng)新與進(jìn)步，通過(guò)現(xiàn)代先進(jìn)的軟件系統(tǒng)結(jié)構(gòu)，在內(nèi)存中實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)與分析，最大程度防止開(kāi)展I/O 操作的全新的以數(shù)據(jù)為主導(dǎo)的并行計(jì)算體系。內(nèi)存計(jì)算通常應(yīng)用在數(shù)據(jù)龐大且復(fù)雜的計(jì)算環(huán)境中，特別是計(jì)算量非常巨大同時(shí)要同步進(jìn)行分析的計(jì)算場(chǎng)合。

內(nèi)存計(jì)算技術(shù)通常是基于計(jì)算機(jī)軟件與硬件融合的背景下，通過(guò)計(jì)算機(jī)內(nèi)存完成原本屬于數(shù)據(jù)庫(kù)的計(jì)算工作。將數(shù)據(jù)計(jì)算轉(zhuǎn)移到計(jì)算機(jī)內(nèi)存中，能夠很好的避免I/O 架構(gòu)對(duì)其的限制，同時(shí)還可以融合并行處理技術(shù)，顯著改善數(shù)據(jù)處理計(jì)算的速度[2]。

1.2 內(nèi)存計(jì)算技術(shù)特征

內(nèi)存計(jì)算技術(shù)在提高數(shù)據(jù)處理速度上發(fā)揮了重要的作用，從現(xiàn)階段內(nèi)存計(jì)算技術(shù)的應(yīng)用現(xiàn)狀來(lái)看，主要表現(xiàn)出了如下特征：

（1）在計(jì)算機(jī)內(nèi)存上可以完成全部操作。依托于內(nèi)存的快速數(shù)據(jù)讀取以及計(jì)算機(jī)硬件擁有非常龐大的內(nèi)存量，將等待處理的數(shù)據(jù)統(tǒng)一儲(chǔ)存到內(nèi)存中，內(nèi)存不僅能夠?qū)崿F(xiàn)單向內(nèi)存，同時(shí)能夠視為分布式內(nèi)存；將重要數(shù)據(jù)信息存儲(chǔ)在內(nèi)存上，既可以顯著提升數(shù)據(jù)處理的速度，也有利于開(kāi)展更加高效的數(shù)據(jù)處理途徑。

（2）行存儲(chǔ)與列存儲(chǔ)交叉應(yīng)用。因?yàn)閷?shù)據(jù)庫(kù)存放在計(jì)算機(jī)內(nèi)存中，原本對(duì)列存儲(chǔ)與行存儲(chǔ)的限制就不復(fù)存在，在這種情況下就可以實(shí)現(xiàn)行存儲(chǔ)與列存儲(chǔ)的交叉應(yīng)用。

（3）快速并行處理體系。可以兼容不同類型的服務(wù)器以及處理器，在處理較為復(fù)雜與繁瑣的數(shù)據(jù)模型時(shí)，能夠?qū)⑵洳鸱譃槿舾蓚€(gè)部分進(jìn)行逐個(gè)處理，也能夠?qū)⒏鱾€(gè)小部分劃分到多個(gè)服務(wù)器中，然后再開(kāi)始數(shù)據(jù)處理工作[3]。

（4）數(shù)據(jù)高效壓縮。數(shù)據(jù)庫(kù)包含了各式各樣的龐大的數(shù)據(jù)信息，必須要將這些數(shù)據(jù)進(jìn)行整合與壓縮，進(jìn)一步完善內(nèi)存構(gòu)造，這樣才能夠顯著提升內(nèi)存運(yùn)行速度，從而在有限的時(shí)間內(nèi)完成更多數(shù)據(jù)信息的處理。

（5）服務(wù)于數(shù)據(jù)密集型應(yīng)用。內(nèi)存計(jì)算技術(shù)要處理的數(shù)據(jù)類型通常是信息量龐大且復(fù)雜、時(shí)效性非常高的先進(jìn)大數(shù)據(jù)應(yīng)用。

（6）擁有優(yōu)異的編程模型以及端口。內(nèi)存計(jì)算技術(shù)的實(shí)現(xiàn)要建立在計(jì)算機(jī)軟件與硬件良好配合的基礎(chǔ)上，所以，編程的難度與復(fù)雜程度較高[4]。

2 內(nèi)存計(jì)算技術(shù)的主要應(yīng)用

2.1 內(nèi)存數(shù)據(jù)庫(kù)

伴隨著現(xiàn)代科學(xué)技術(shù)水平的不斷發(fā)展，計(jì)算機(jī)硬件技術(shù)獲得了較大的突破與進(jìn)步，內(nèi)存容量逐步增大，制造成本越來(lái)越低，并且對(duì)數(shù)據(jù)庫(kù)實(shí)時(shí)響應(yīng)速度需要的標(biāo)準(zhǔn)更高，加強(qiáng)內(nèi)存技術(shù)在數(shù)據(jù)庫(kù)中的應(yīng)用，以此來(lái)提高數(shù)據(jù)庫(kù)系統(tǒng)的運(yùn)行效率成為了現(xiàn)代計(jì)算機(jī)領(lǐng)域研究的重點(diǎn)。

實(shí)際上內(nèi)存技術(shù)不能夠算真正意義上的新型技術(shù)，在上世紀(jì)60年代就已經(jīng)被發(fā)現(xiàn)，并且在社會(huì)經(jīng)濟(jì)水平不斷增長(zhǎng)的背景下，在90年代時(shí)期得到了大范圍的應(yīng)用。內(nèi)存計(jì)算技術(shù)不需要將數(shù)據(jù)存儲(chǔ)到硬盤中，在內(nèi)存中就可以實(shí)現(xiàn)數(shù)據(jù)性信息的操作。和傳統(tǒng)的磁盤等存儲(chǔ)方式相比較，采取內(nèi)存存儲(chǔ)方式能夠獲得更快的數(shù)據(jù)處理速度，同時(shí)系統(tǒng)從內(nèi)存上讀取數(shù)據(jù)信息也能夠明顯的改善系統(tǒng)應(yīng)用效果。此外，采用內(nèi)存計(jì)算技術(shù)構(gòu)建的數(shù)據(jù)庫(kù)系統(tǒng)除了在數(shù)據(jù)處理速度上得到明顯提升外，同時(shí)還彌補(bǔ)了傳統(tǒng)磁盤管理中存在的諸多問(wèn)題，以內(nèi)存為數(shù)據(jù)存儲(chǔ)的載體構(gòu)建新型的系統(tǒng)架構(gòu)，同時(shí)對(duì)數(shù)據(jù)緩存、高效算法以及并行運(yùn)算等部分開(kāi)展優(yōu)化工作，進(jìn)而在數(shù)據(jù)處理速度上要明顯優(yōu)于常規(guī)數(shù)據(jù)庫(kù)效率，通常情況下都可以實(shí)現(xiàn)10 倍的增長(zhǎng)，在理論狀況下則能夠達(dá)到上千倍增長(zhǎng)[5]。

內(nèi)存數(shù)據(jù)庫(kù)還有一個(gè)非常關(guān)鍵的特征是能夠?qū)崿F(xiàn)對(duì)存儲(chǔ)在內(nèi)存中的數(shù)據(jù)開(kāi)展全事務(wù)處理工作，和以往通過(guò)數(shù)組的模式將數(shù)據(jù)存儲(chǔ)到內(nèi)存中具有天壤之別。內(nèi)存數(shù)據(jù)庫(kù)和應(yīng)用之間沒(méi)有直接的聯(lián)系，從內(nèi)存數(shù)據(jù)庫(kù)的本質(zhì)來(lái)看，是將數(shù)據(jù)存儲(chǔ)到內(nèi)存中并進(jìn)行管理，并不單單是定義為緩存數(shù)據(jù)。一些數(shù)據(jù)庫(kù)僅僅是將系統(tǒng)中的緩存數(shù)據(jù)放置到內(nèi)存中，但是內(nèi)存數(shù)據(jù)庫(kù)中的內(nèi)存引擎能夠?qū)崿F(xiàn)任意數(shù)據(jù)訪問(wèn)，因此和一般的內(nèi)存數(shù)據(jù)庫(kù)具有不同的數(shù)據(jù)架構(gòu)以及算法，通過(guò)這種方法能夠有效的防范由于反復(fù)行使排序命令降低緩存數(shù)據(jù)庫(kù)性能的現(xiàn)象。利用內(nèi)存數(shù)據(jù)庫(kù)，可以最大可能的降低I/O 磁盤處理，而傳統(tǒng)數(shù)據(jù)庫(kù)主要以磁盤I/O 處理為主，因此可以獲得比傳統(tǒng)數(shù)據(jù)庫(kù)更高的數(shù)據(jù)處理效率。

2.2 圖數(shù)據(jù)處理

圖計(jì)算分析本質(zhì)上是I/O 聚集性計(jì)算，絕大多數(shù)的應(yīng)用計(jì)算都要通過(guò)多次迭代來(lái)實(shí)現(xiàn)，同時(shí)計(jì)算過(guò)程中狀態(tài)信息也要在相鄰計(jì)算節(jié)點(diǎn)之間進(jìn)行信息傳遞以及不斷更新，特別是面對(duì)體積龐大的圖數(shù)據(jù)，信息的傳遞更需要在不同計(jì)算節(jié)點(diǎn)之間往復(fù)進(jìn)行，并對(duì)階段結(jié)果進(jìn)行存入[6]。假如能夠?qū)⑺械臄?shù)據(jù)信息都移植到內(nèi)存中開(kāi)展計(jì)算活動(dòng)，必然能夠顯著提升數(shù)據(jù)處理速度。

常規(guī)的獨(dú)立工作的圖數(shù)據(jù)計(jì)算法庫(kù)，比如說(shuō)LEDA，延伸性較差，同時(shí)不能夠很好的滿足龐大圖數(shù)據(jù)信息的處理要求；Map Reduce 具有良好的兼容性以及延伸性，然而在進(jìn)行數(shù)據(jù)處理工作時(shí)無(wú)法獲得較高的效率；當(dāng)下已有的圖并行工作系統(tǒng)，面臨著兼容性較差的困境。

將數(shù)據(jù)資源存儲(chǔ)到內(nèi)存中再進(jìn)行計(jì)算工作，可以極大的提升數(shù)據(jù)處理的速度，圖的內(nèi)存計(jì)算系統(tǒng)主要涵蓋了以下幾個(gè)方面：首先是以內(nèi)存分布模式為載體的集群系統(tǒng)，比較常見(jiàn)的有Trinity 系統(tǒng)；其次是依托于共享內(nèi)存的分布式系統(tǒng)；最后是基于多核單機(jī)的非單一線程的共享內(nèi)存體系，常見(jiàn)的有GRACE。

2.3 實(shí)時(shí)大數(shù)據(jù)處理

內(nèi)存計(jì)算技術(shù)是結(jié)合計(jì)算儲(chǔ)存的系統(tǒng)架構(gòu)，在計(jì)算機(jī)內(nèi)存中構(gòu)建專用數(shù)據(jù)庫(kù)。每隔一段時(shí)間就將存在時(shí)間較長(zhǎng)的數(shù)據(jù)文件共享到磁盤中；在進(jìn)行數(shù)據(jù)計(jì)算與處理過(guò)程中，全面的工作流程都依托于計(jì)算機(jī)內(nèi)存，文件讀寫工作也只需要和內(nèi)存交互系統(tǒng)建立聯(lián)系，不再進(jìn)行磁盤讀寫操作，很好的彌補(bǔ)了傳統(tǒng)數(shù)據(jù)處理中互聯(lián)網(wǎng)信息傳輸速度慢、內(nèi)部存儲(chǔ)與外部存儲(chǔ)兼容性差、I/O 配合不佳等弊端。

以內(nèi)存數(shù)據(jù)庫(kù)為載體，布置各種類型的內(nèi)存接口與存儲(chǔ)端口，從而實(shí)現(xiàn)內(nèi)存數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)與傳輸工作，同時(shí)還可以利用資源管理模塊對(duì)內(nèi)存數(shù)據(jù)庫(kù)中的數(shù)據(jù)資源實(shí)施分配與管理。依托于內(nèi)存計(jì)算技術(shù)構(gòu)建的內(nèi)存數(shù)據(jù)庫(kù)可以通過(guò)內(nèi)存接口模塊實(shí)現(xiàn)虛擬內(nèi)存管理系統(tǒng)以及數(shù)據(jù)庫(kù)資源關(guān)聯(lián)到一起，也可以通過(guò)數(shù)據(jù)存儲(chǔ)接口模式來(lái)完成分布式數(shù)據(jù)管理系統(tǒng)和硬盤內(nèi)存之間的聯(lián)系，以此為基礎(chǔ)完成對(duì)內(nèi)存數(shù)據(jù)庫(kù)各個(gè)節(jié)點(diǎn)數(shù)據(jù)的訪問(wèn)。

當(dāng)下內(nèi)存計(jì)算技術(shù)主要是基于列存儲(chǔ)途徑對(duì)數(shù)據(jù)信息進(jìn)行壓縮處理，之后在采取多核處理，一方面能夠更好的發(fā)揮出內(nèi)存使用性能，另一方面也能夠顯著提升應(yīng)用程序的執(zhí)行效率。

（1）以列存儲(chǔ)模式完成對(duì)數(shù)據(jù)庫(kù)數(shù)據(jù)的存儲(chǔ)工作，能夠降低數(shù)據(jù)壓縮難度，極大的減小數(shù)據(jù)庫(kù)服務(wù)器和終端設(shè)備之間的數(shù)據(jù)輸送大小。

（2）以數(shù)據(jù)庫(kù)內(nèi)存為載體實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)，能夠在云端完成對(duì)相關(guān)數(shù)據(jù)的分析與查詢，而不再需要將數(shù)據(jù)庫(kù)中的數(shù)據(jù)資源下載下來(lái)，縮減了信息分析與查詢流程，提升了數(shù)據(jù)查詢的效率。

3 內(nèi)存計(jì)算技術(shù)面臨的困境和挑戰(zhàn)

隨著內(nèi)存計(jì)算技術(shù)的不斷發(fā)展，面臨的困境和挑戰(zhàn)也越來(lái)越突出，重點(diǎn)表現(xiàn)在異構(gòu)協(xié)同、能耗管理以及高效并行[7]。其中，異構(gòu)協(xié)同主要表示為體系架構(gòu)以及操作系統(tǒng)分別屬于不同的類型，怎樣將兩者進(jìn)行相互結(jié)合構(gòu)建數(shù)據(jù)庫(kù)內(nèi)存的協(xié)同管控、公開(kāi)透明的工作環(huán)境；能耗管理主要表示為怎樣將內(nèi)存計(jì)算技術(shù)很好融入到系統(tǒng)架構(gòu)以及編程模型中，實(shí)現(xiàn)大數(shù)據(jù)處理過(guò)程中的能耗可控，從而盡可能的降低數(shù)據(jù)處理與分析的能耗量；高效并行表示為依托于編程模型以及并行處理兩部分，怎樣將內(nèi)存計(jì)算技術(shù)應(yīng)用到其中，確保大數(shù)據(jù)可以高效率并行工作。

對(duì)上述問(wèn)題進(jìn)行深入研究，可以得出導(dǎo)致出現(xiàn)這三個(gè)問(wèn)題的根本原因是由于以下四個(gè)方面引起的：系統(tǒng)架構(gòu)以及軟件、編程模型與并行處理[8]。為了促進(jìn)基于大數(shù)據(jù)的內(nèi)存計(jì)算技術(shù)進(jìn)一步發(fā)展，必須要對(duì)這四個(gè)難題進(jìn)行處理。首先，在系統(tǒng)架構(gòu)環(huán)節(jié)中，必須要規(guī)劃專用的CPU 信息輸送線路，從而能夠滿足異構(gòu)混合層次內(nèi)存的應(yīng)用需求。其次，在系統(tǒng)軟件環(huán)節(jié)中，一方面要重新規(guī)劃異構(gòu)層次內(nèi)存系統(tǒng)的相同性數(shù)據(jù)形式，另一方面也要構(gòu)建高效、透明以及穩(wěn)定的新型內(nèi)存數(shù)據(jù)查詢與管理模式。再次，在編程模型環(huán)節(jié)中，必須要基于新型內(nèi)存的層次性特點(diǎn)來(lái)開(kāi)發(fā)融合數(shù)據(jù)和計(jì)算的編程模型，與此同時(shí)還需要建立各種粒度劃分方法。最后，在并行處理環(huán)節(jié)，該環(huán)節(jié)要解決的問(wèn)題重點(diǎn)體現(xiàn)在三個(gè)方面，分別是如何在并行環(huán)節(jié)中完成各個(gè)節(jié)點(diǎn)之間的互聯(lián)工作、如何科學(xué)合理的開(kāi)展任務(wù)調(diào)度工作、如何解決分布式場(chǎng)所下的一致性問(wèn)題。

內(nèi)存數(shù)據(jù)庫(kù)是以內(nèi)存為載體構(gòu)建數(shù)據(jù)庫(kù)，有效防止了常規(guī)數(shù)據(jù)庫(kù)I/O 操作產(chǎn)生的開(kāi)銷。在這種背景下內(nèi)存數(shù)據(jù)庫(kù)的發(fā)展困境也就從I/O 操作問(wèn)題轉(zhuǎn)變?yōu)樵鯓涌s減計(jì)算時(shí)間與降低訪問(wèn)與存放時(shí)間，一般采取構(gòu)建檢索目錄、采取并發(fā)控制方法等，進(jìn)而最大程度的提高內(nèi)存數(shù)據(jù)庫(kù)的處理速度，科學(xué)管理數(shù)據(jù)內(nèi)存以及緩存，確保內(nèi)存數(shù)據(jù)庫(kù)能夠獲得更高的應(yīng)用性能。與此同時(shí)，硬件設(shè)施的創(chuàng)新與進(jìn)步逐步優(yōu)化了商用處理器的使用方式，常見(jiàn)的有SIMD 指令、RDMA 網(wǎng)絡(luò)等，可以基于較低的生產(chǎn)成本獲得較高的性能。由此可以看出，內(nèi)存數(shù)據(jù)庫(kù)要想取得進(jìn)一步發(fā)展，受到了來(lái)自系統(tǒng)軟件以及硬件兩方面的壓力與挑戰(zhàn)。

4 結(jié)語(yǔ)

綜上所述，將數(shù)據(jù)庫(kù)信息放置到內(nèi)存中，能夠很好的避免傳統(tǒng)I/O 操作帶來(lái)的弊端與限制，有助于提升數(shù)據(jù)庫(kù)的運(yùn)算效率，改善數(shù)據(jù)庫(kù)的運(yùn)行性能。在大數(shù)據(jù)背景下，數(shù)據(jù)種類多樣、體積龐大，必須要加強(qiáng)內(nèi)存計(jì)算技術(shù)的發(fā)展，為大數(shù)據(jù)進(jìn)一步發(fā)展提供支持。