存儲器中易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)

(1.青海警官職業(yè)學(xué)院，西寧 青海 810000; 2.河海大學(xué),常州 江蘇 213000)

0 引言

隨著科學(xué)技術(shù)的發(fā)展，互聯(lián)網(wǎng)技術(shù)得到了迅速發(fā)展，“大數(shù)據(jù)”這個詞匯逐漸流行起來，大數(shù)據(jù)技術(shù)逐漸滲透到經(jīng)濟(jì)、社會、交通等各個方面，為人們的生產(chǎn)生活掀起了一場數(shù)據(jù)革命，大數(shù)據(jù)技術(shù)已經(jīng)成為評價一個國家綜合國力的重要組成部分[1]。隨著各行業(yè)領(lǐng)域科學(xué)技術(shù)的不斷提升，互聯(lián)網(wǎng)上升和累計的用戶大數(shù)據(jù)規(guī)模日益龐大，網(wǎng)絡(luò)數(shù)據(jù)爆炸式的增長，大數(shù)據(jù)時代已經(jīng)來臨[2]。然而現(xiàn)有一般技術(shù)難以對大數(shù)據(jù)進(jìn)行處理，海量非結(jié)構(gòu)化數(shù)據(jù)在存儲、傳輸、分析及快速處理都存在一些問題。

并行處理是一種計算機(jī)處理的關(guān)鍵技術(shù)，是計算機(jī)在進(jìn)行大量數(shù)據(jù)的實時采集、控制和處理時，為縮短延遲時間，提高計算機(jī)速度，實現(xiàn)高速處理的一種手段，即利用時間上的重疊或資源上的重疊來提高并行度[3]。計算機(jī)對數(shù)據(jù)的處理是以二進(jìn)制代碼形式進(jìn)行的，這就使得人們不能直觀的感知數(shù)據(jù)的傳輸與存儲，使數(shù)據(jù)具有很強的隱蔽性。計算機(jī)數(shù)據(jù)若未被故意篡改，很少受影響而發(fā)生變化，數(shù)據(jù)具有很強的客觀性[4]。但是計算機(jī)數(shù)據(jù)是動態(tài)存在的，很容易被外界竊取、修改、銷毀，可能會隨著時間的推移而改變，導(dǎo)致數(shù)據(jù)具有很強的脆弱易失性[5]。

本文在存儲器中易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)的硬件和軟件框架進(jìn)行設(shè)計，根據(jù)所設(shè)計框架闡述了易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)的工作流程，通過實驗驗證了存儲器中易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)的可行性。

1 易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)硬件設(shè)計

儲存器中數(shù)據(jù)一般有易失性數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)、硬盤數(shù)據(jù)3種，如同用戶登入、網(wǎng)絡(luò)連接、運行進(jìn)程等具有強時態(tài)性的數(shù)據(jù)信息，就屬于易失性數(shù)據(jù)的范疇[6]。易失性數(shù)據(jù)具有隱蔽性、客觀性、脆弱易失性的特點。易失性用戶數(shù)據(jù)包含用戶所用計算機(jī)基本配置信息、當(dāng)前系統(tǒng)的時間記錄、當(dāng)前系統(tǒng)運行進(jìn)程列表、登錄用戶近期活動記錄、啟動文件和剪貼板中的數(shù)據(jù)[7]。

并行處理是以同時采用多個處理單元處理輸入信息的方式來達(dá)到縮短執(zhí)行任務(wù)所花費時間的目的，是一種提高處理速度的最有效的技術(shù)，具有很大的提升空間。加速比與處理單元個數(shù)和任務(wù)并行度關(guān)系密切，任務(wù)并行度會制約并行處理系統(tǒng)的性能，在任務(wù)并行度為確定值時，增加處理單元個數(shù)而獲得的加速比會達(dá)到一個極限值。

傳統(tǒng)上的并行處理控制系統(tǒng)是通過單機(jī)操作系統(tǒng)設(shè)定分時模式從而實現(xiàn)多任務(wù)管理的。并行處理控制系統(tǒng)一旦進(jìn)入運行模式，任意節(jié)點都能夠?qū)蚕頂?shù)據(jù)進(jìn)行更新。系統(tǒng)會將原有數(shù)據(jù)局部或全部作廢，同時，數(shù)據(jù)更新采用消息點播的方式通知其它參與該操作的節(jié)點[8]。在并行處理控制系統(tǒng)的整個操作過程中，數(shù)據(jù)更新工作要確保在系統(tǒng)更新過程中不會出現(xiàn)資源活鎖。并行處理控制技術(shù)包括多處理器緊耦合技術(shù)、共享存貯器技術(shù)、直接存貯器技術(shù)、高速緩沖存貯器技術(shù)、流水線處理器等[9]。

圖1 易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)結(jié)構(gòu)關(guān)系

如圖1所示，易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)結(jié)構(gòu)的中心是運算器，輸入設(shè)備和輸出設(shè)備要經(jīng)過運算器與存儲器進(jìn)行數(shù)據(jù)傳送，不同硬件設(shè)施之間是串行工作的。當(dāng)系統(tǒng)中的指令和數(shù)據(jù)通過運算器進(jìn)行運算后，存儲器再按地址訪問的順序?qū)?shù)據(jù)依次進(jìn)行線性編址，也就是每當(dāng)執(zhí)行完指令后，進(jìn)行下一條指令的執(zhí)行。虛擬存儲技術(shù)能夠大幅度提高存儲空間容量。數(shù)據(jù)并行處理控制系統(tǒng)的使用能夠節(jié)省大量解決問題的時間，存儲器中的易失性用戶大數(shù)據(jù)可以隨時進(jìn)行讀寫，當(dāng)電源關(guān)閉時，易失性用戶大數(shù)據(jù)不能被保留，若想被保留，則需要將它們寫入長久存儲器中。

存儲器中易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)硬件設(shè)計具有兩大特性：1)計算機(jī)內(nèi)部信息流動的方式是以指令作為驅(qū)動；2)計算機(jī)主要有數(shù)值計算和數(shù)據(jù)處理兩個方面的應(yīng)用。圖2為存儲器中易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)硬件設(shè)計，它的硬件結(jié)構(gòu)較為復(fù)雜，具體情況如下：

圖2 易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)硬件設(shè)計

如圖2所示，存儲器中易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)硬件設(shè)計中，S-BUS為系統(tǒng)總線，帶寬為64 MB/s，是各個系統(tǒng)組件訪問主存的高速數(shù)據(jù)通道，用于多個處理器之間的通信服務(wù)。S-BUS為整個系統(tǒng)提供控制功能，并且把優(yōu)先權(quán)分為支援高、循環(huán)、簡單三級別，優(yōu)先權(quán)越高越能被優(yōu)先執(zhí)行，這樣就保證了越關(guān)鍵的信息越被首先處理，提高系統(tǒng)效率。并且當(dāng)沒有高優(yōu)先權(quán)任務(wù)時，系統(tǒng)總線S-BUS允許其他任務(wù)占用，這樣也就保證了所有任務(wù)共享S-BUS，增加系統(tǒng)的吞吐量。

CPU為中央處理器，APU為輔助處理器，CMM為組合存貯器，DMI為直接存貯器，SELCH為通道選擇器。CPU、APU、CMM、DMI都接在系統(tǒng)總線S-BUS上，其中，設(shè)定一個處理器為CPU，其他處理器為APU，最多設(shè)定8個APU，不同處理器完成不同的功能。CPU負(fù)責(zé)系統(tǒng)控制和執(zhí)行計算工作，APU專門負(fù)責(zé)執(zhí)行計算工作。系統(tǒng)每個處理器都有權(quán)訪問執(zhí)行隊伍，能執(zhí)行自己任務(wù)的調(diào)度能力，CPU負(fù)責(zé)維護(hù)執(zhí)行隊伍，能有效增加系統(tǒng)的處理效率。當(dāng)某個APU出現(xiàn)故障時，其他APU會自動承擔(dān)它的工作，是整個系統(tǒng)正常運行。當(dāng)CPU出現(xiàn)故障時，系統(tǒng)會停機(jī)并發(fā)出報警信息，隨即通過控制診斷系統(tǒng)進(jìn)行診斷，有管理員決定重新設(shè)定一臺APU臨時執(zhí)行CPU職能，維持系統(tǒng)正常運行。這樣保證了系統(tǒng)的安全性和可靠性。

CMM支持多道交叉存取，其內(nèi)存為16 MB，最高可以達(dá)到1024 MB系統(tǒng)內(nèi)存，每個CMM都可進(jìn)行線路的錯誤檢測并進(jìn)行糾正電路操作。當(dāng)控制器進(jìn)行診斷、記錄和地址分配時，糾正電路會自動進(jìn)行，以保證系統(tǒng)安全穩(wěn)定運行。

DMI直接連接在系統(tǒng)總線S-BUS上，以適配器的角色運行于輸入設(shè)備、輸出設(shè)備和S-BUS之間。DMI為S-BUS進(jìn)行識別和服務(wù)，對外部設(shè)備發(fā)出DMA請求，并收集和放置I/O命令。DMI會生成MUX-BUS和DMA-BUS兩條互相獨立的子總線，其中，MUX-BUS為多路轉(zhuǎn)換總線，用于處理器控制下的編程傳輸；DMA-BUS為直接存貯器存取總線，允許I/O控制器對存貯器進(jìn)行存取。整個系統(tǒng)最多可支持5個DMI，使多個數(shù)據(jù)模塊并行傳遞。

SELCH負(fù)責(zé)MUX-BUS和DMA-BUS兩條子總線間的選擇轉(zhuǎn)換。SELCH具有閑置和活動兩種狀態(tài)。當(dāng)SELCH處于活動狀態(tài)時，I/O控制器與內(nèi)存直接通過DMA-BUS交換數(shù)據(jù)，最高傳輸率為10 MB/s。當(dāng)SELCH處于閑置狀態(tài)時，MUX-BUS進(jìn)行數(shù)據(jù)傳送。PMUX-BUS為私有多路傳輸總路，是SELCH生成的最下面一級的總線。各類I/O控制器都連接在PMUX-BUS上。各個子總線和系統(tǒng)總線以及各個設(shè)備在存儲器內(nèi)形成直接通道，使數(shù)據(jù)交換可以獨立于處理器進(jìn)行并行操作的。

2 易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)軟件設(shè)計

易失性數(shù)據(jù)指的是當(dāng)計算機(jī)系統(tǒng)斷電后不再存在的數(shù)據(jù)，通常保存在內(nèi)存或硬盤臨時文件中。收集易失性數(shù)據(jù)需要堅持以下幾個原則：首先，要保證數(shù)據(jù)在采集過程中的原始性；其次，要保證數(shù)據(jù)在分析和傳遞過程中的完整性；再次，數(shù)據(jù)從最初獲取到被提取，要保證數(shù)據(jù)的連續(xù)性。易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)最大的優(yōu)勢在于性能，系統(tǒng)具有高度可擴(kuò)展性、高度容錯性、高性能、較低分析延遲、易用且開放接口的特征。系統(tǒng)橫向大規(guī)模可擴(kuò)展，能滿足數(shù)據(jù)量爆炸式增長，當(dāng)查詢失敗時，只需重做部分工作，能夠更好地維系系統(tǒng)的運行，具有很強的適應(yīng)能力。

在數(shù)據(jù)存儲器的并行查詢和處理中，數(shù)據(jù)分布策略是關(guān)鍵問題之一，直接影響系統(tǒng)運行效率。大數(shù)據(jù)進(jìn)行存儲與并行處理時，需要在不同節(jié)點上對同一組數(shù)據(jù)進(jìn)行同時處理，形成多個作業(yè)，這就使得系統(tǒng)產(chǎn)生明顯的熱點區(qū)域，從而造成嚴(yán)重的資源損耗量過大的問題[10]。大數(shù)據(jù)并行處理控制系統(tǒng)中各個位置產(chǎn)生的概率均等，因此，大數(shù)據(jù)并行處理可以被均衡分布在每一個節(jié)點中。數(shù)據(jù)在系統(tǒng)中的處理不是以文件為單位，而是以道集為單位進(jìn)行的，能夠有效地提高易失性用戶大數(shù)據(jù)的讀寫速度，存儲器中易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)軟件設(shè)計如圖3所示。

圖3 易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)軟件設(shè)計

文件描述表對一個進(jìn)程中所有打開的文件列表進(jìn)行實時記錄，還可以對文件進(jìn)行超時狀態(tài)查詢。頻繁對文件進(jìn)行操作會增加存儲器負(fù)載，使系統(tǒng)程序運行效率降低，因此，維護(hù)文件描述符表運行尤為重要。如圖3所示，系統(tǒng)開始后，首先遍歷打開文件，查閱正要打開的文件是否已經(jīng)被打開。若文件沒有打開，則需要調(diào)用系統(tǒng)，打開磁盤文件，然后更新描述符表。若文件已經(jīng)打開，則進(jìn)行超時時間設(shè)置。

超時時間設(shè)置可以避免并行處理控制進(jìn)程之間產(chǎn)生競爭條件。系統(tǒng)檢查運行是否并行處理，若未進(jìn)行并行處理，則進(jìn)行超時設(shè)定，設(shè)定超時時間為串行時間t的2倍，若系統(tǒng)并行處理，則設(shè)定超時時間為0，結(jié)束超時時間設(shè)置。運用超時機(jī)制的設(shè)定，有效地阻止多個進(jìn)程同時占用要打開的同一文件，造成存儲器長時間阻塞現(xiàn)象的發(fā)生，能夠有效維護(hù)系統(tǒng)其他進(jìn)程的正常運行。在系統(tǒng)運行時，并行狀態(tài)的競爭幾率出現(xiàn)較低，因此，并行設(shè)定優(yōu)于串行設(shè)定。

大數(shù)據(jù)時代的數(shù)據(jù)量遠(yuǎn)超過單機(jī)數(shù)據(jù)量容量，數(shù)據(jù)分析是大數(shù)據(jù)處理的核心，大數(shù)據(jù)價值的完整體現(xiàn)需要多種技術(shù)的協(xié)同。為了便于對存儲器中易失性用戶大數(shù)據(jù)進(jìn)行管理，需要在文件系統(tǒng)之上建立數(shù)據(jù)庫。在程序運行時，傳統(tǒng)操作中連接數(shù)據(jù)庫過程需要花費很大一部分時間，這很容易造成服務(wù)器的過載。數(shù)據(jù)庫連接池是指將可用數(shù)據(jù)庫連接存儲于一個緩沖池中，數(shù)據(jù)庫連接池的使用，可以有效提高多用戶訪問數(shù)據(jù)庫的效率。完成超時設(shè)定后，將進(jìn)行數(shù)據(jù)庫連接池進(jìn)行數(shù)據(jù)處理。當(dāng)用戶程序需要連接數(shù)據(jù)庫前，首先要查看數(shù)據(jù)庫連接池中是否有可用的連接，如果有，則直接取一個可用連接，如果沒有，系統(tǒng)將連接數(shù)據(jù)庫，返回數(shù)據(jù)庫連接對象，放入連接池。用戶在選擇數(shù)據(jù)庫時，首先驗證客戶端數(shù)據(jù)庫連接池，這樣程序可以節(jié)省網(wǎng)絡(luò)資源和運行時間，最大程度上提高網(wǎng)絡(luò)利用效率。

3 實驗研究

為了檢測本文在存儲器中的易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)的實際工作效果，與傳統(tǒng)的大數(shù)據(jù)并行處理控制系統(tǒng)進(jìn)行對比，設(shè)定實驗參數(shù)，將傳統(tǒng)的大數(shù)據(jù)并行處理控制系統(tǒng)和本文在存儲器中的易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)進(jìn)行比較，分別記錄系統(tǒng)的運行狀態(tài)和系統(tǒng)精密度測試，根據(jù)兩個實驗結(jié)果分析兩種大數(shù)據(jù)并行處理控制系統(tǒng)的工作效果。

3.1 實驗參數(shù)設(shè)置

在實驗中，電源類型為高效節(jié)能電源；顯示器分辨率像素數(shù)為1600*1280，平均掃描速率為64 KHz；系統(tǒng)CPU主頻為2.7 GHz，CPU硬盤容量為1T，轉(zhuǎn)速為7200 rpm；存儲器內(nèi)存容量為16 GB；系統(tǒng)工作電壓為220 V，工作電流為50 A，工作功率為200 W；設(shè)備接口類型為I/O型，工作環(huán)境溫度為-20～70 ℃。

3.2 實驗結(jié)果與分析

得到的實驗結(jié)果如下所示。

(1)系統(tǒng)的運行狀態(tài)結(jié)果。

圖4 系統(tǒng)運行狀態(tài)結(jié)果

觀察圖4，將在存儲器中的傳統(tǒng)的大數(shù)據(jù)并行處理控制系統(tǒng)和本文的易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)的運行狀態(tài)，從系統(tǒng)的運行速度、CPU利用率、內(nèi)存使用率、網(wǎng)絡(luò)流量和I/O讀寫率幾個方面進(jìn)行比較。傳統(tǒng)的大數(shù)據(jù)并行處理控制系統(tǒng)運行速度為11 300條/秒，本文中的易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)運行速度為14 000條/秒。傳統(tǒng)的大數(shù)據(jù)并行處理控制系統(tǒng)的CPU利用率為45%，本文中的易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)的CPU利用率為71%。傳統(tǒng)的大數(shù)據(jù)并行處理控制系統(tǒng)的內(nèi)存使用率為51%，本文中的易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)的內(nèi)存使用率為62%。傳統(tǒng)的大數(shù)據(jù)并行處理控制系統(tǒng)的網(wǎng)絡(luò)流量為3000 KB/s，本文中的易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)的網(wǎng)絡(luò)流量為4000 KB/s。傳統(tǒng)的大數(shù)據(jù)并行處理控制系統(tǒng)的I/O讀寫率為38%，本文中的易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)的I/O讀寫率為47%。本文存儲器中的易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)的運行速度、CPU利用率、內(nèi)存使用率、網(wǎng)絡(luò)流量和I/O讀寫率都高于傳統(tǒng)的大數(shù)據(jù)并行處理控制系統(tǒng)，也就是說，本文存儲器中的易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)性能優(yōu)于傳統(tǒng)的大數(shù)據(jù)并行處理控制系統(tǒng)。

(2)系統(tǒng)精密度測試結(jié)果。

圖5 系統(tǒng)精密度測試結(jié)果

由圖5可知，隨著易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)數(shù)據(jù)并行處理檢測周期的增加，系統(tǒng)檢測精密度會有所增加。傳統(tǒng)的大數(shù)據(jù)并行處理控制系統(tǒng)大約經(jīng)過400 ms，系統(tǒng)檢測精密度達(dá)到一個比較穩(wěn)定的值，值約為0.96。本文中的易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)大約要經(jīng)過250 ms，系統(tǒng)檢測精密度就能達(dá)到一個較為平穩(wěn)的值，值約為0.99。與傳統(tǒng)的大數(shù)據(jù)并行處理控制系統(tǒng)相比，本文中建立的易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)，大大縮短了系統(tǒng)檢測所需的時間，提高了系統(tǒng)的工作效率，與此同時，系統(tǒng)數(shù)據(jù)處理的精密度也得到了一定的提高。

傳統(tǒng)的大數(shù)據(jù)并行處理控制系統(tǒng)和本文在存儲器中的易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)在一定程度上都能夠縮短延遲時間，提高計算機(jī)數(shù)據(jù)處理的速度。但是本文中的在存儲器的易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)性能明顯優(yōu)于傳統(tǒng)的大數(shù)據(jù)并行處理控制系統(tǒng)。并且，該易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)數(shù)據(jù)處理精密度更高，工作效率更高。

綜上所述，本文在存儲器中的易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)性能好、工作效率高、結(jié)果穩(wěn)定性強、精密度高，能夠有效降低人工勞動強度，具有很好的發(fā)展?jié)摿Α?/p>

4 結(jié)束語

隨著物聯(lián)網(wǎng)、云計算、社交網(wǎng)絡(luò)等新興服務(wù)的發(fā)展，人類社會數(shù)據(jù)的規(guī)模和種類正高速增長，數(shù)據(jù)開始從作為簡單的處理對象轉(zhuǎn)變?yōu)橐环N基礎(chǔ)資源。大數(shù)據(jù)的規(guī)模效應(yīng)給數(shù)據(jù)管理、分析、存儲帶來巨大的挑戰(zhàn)。大數(shù)據(jù)是一個較為抽象的概念，表示數(shù)據(jù)規(guī)模的龐大。大數(shù)據(jù)具有規(guī)模性、高速性、價值性和多樣性的特點。大數(shù)據(jù)的數(shù)據(jù)來源廣泛，但最基礎(chǔ)的處理流程一致，將大數(shù)據(jù)進(jìn)行并行處理，采用批量處理的方式，最大限度的利用系統(tǒng)存儲器的內(nèi)存，使大數(shù)據(jù)處理的工作效率得到有效提高。

本文研究的在存儲器中的易失性用戶大數(shù)據(jù)并行處理控制系統(tǒng)雖然具備一系列優(yōu)點，缺少一定的實際操作基礎(chǔ)，在未來的使用中可能存在一些潛在問題，并且系統(tǒng)對異構(gòu)硬件的支持有限，會影響其擴(kuò)展性，系統(tǒng)日常運維成本較高，仍具有較大的發(fā)展空間，需要進(jìn)一步研究和探討。