• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    面向電子數(shù)字文獻(xiàn)保存的元數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)

    2022-04-20 07:23:40張騫
    電子設(shè)計(jì)工程 2022年7期
    關(guān)鍵詞:存儲(chǔ)系統(tǒng)哈希分級(jí)

    張騫

    (陜西職業(yè)技術(shù)學(xué)院圖書館,陜西西安 710038)

    隨著社會(huì)信息化進(jìn)程的加快,每天都會(huì)產(chǎn)生大量的數(shù)據(jù),海量存儲(chǔ)系統(tǒng)將這些復(fù)雜的數(shù)據(jù)進(jìn)行存儲(chǔ),滿足了人們對(duì)數(shù)據(jù)的需求[1]。但是在很多情況下,用戶并不需要訪問(wèn)存儲(chǔ)在大容量存儲(chǔ)系統(tǒng)中的數(shù)據(jù)本身,而只需要使用元數(shù)據(jù)就可以[2]。在企業(yè)中,元數(shù)據(jù)存儲(chǔ)方案是實(shí)現(xiàn)電子文件管理的重要環(huán)節(jié),元數(shù)據(jù)存儲(chǔ)系統(tǒng)中一般都采用樹(shù)結(jié)構(gòu)和基于哈希的元數(shù)據(jù)存儲(chǔ)方式[3]。樹(shù)結(jié)構(gòu)中存在大量的分支,因此,每次訪問(wèn)元數(shù)據(jù)時(shí)需要經(jīng)過(guò)不同的分支,這不僅會(huì)消耗大量的時(shí)間,而且會(huì)消耗大量的內(nèi)存;使用基于哈希的元數(shù)據(jù)存儲(chǔ)方法,會(huì)受到非活躍元數(shù)據(jù)影響,很難選擇合適的哈希函數(shù)來(lái)進(jìn)行存儲(chǔ),且哈希函數(shù)被修改后,調(diào)整元數(shù)據(jù)所需要的時(shí)間和空間都很大。針對(duì)以上問(wèn)題,提出了面向電子數(shù)字文獻(xiàn)保存的元數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)。

    1 系統(tǒng)硬件結(jié)構(gòu)設(shè)計(jì)

    系統(tǒng)硬件結(jié)構(gòu)如圖1 所示。

    圖1 系統(tǒng)硬件結(jié)構(gòu)

    由圖1 可知,該系統(tǒng)主要是由DSP、SATA 硬盤、FPGA 主控單元組成的。

    1.1 SATA電子硬盤

    SATA 電子硬盤是一種高效率、高穩(wěn)定性、高速度的存儲(chǔ)介質(zhì)組件,該硬盤具有操作簡(jiǎn)單、功能靈活可靠、無(wú)需修改設(shè)置等優(yōu)點(diǎn),是目前最好、最經(jīng)濟(jì)的存儲(chǔ)介質(zhì)之一[4-6]。另外,電子硬盤不易受溫度、沖擊、振動(dòng)等外部環(huán)境的干擾,工作條件惡劣時(shí),也不會(huì)對(duì)數(shù)據(jù)造成威脅,為系統(tǒng)提供了高性能、高可靠性的原始數(shù)據(jù)存儲(chǔ)容器[7-9]。

    1.2 FPGA主控單元

    FPGA 作為主要控制核心部分,結(jié)合VHDL 語(yǔ)言方便系統(tǒng)移植[10]。該結(jié)構(gòu)主要是由串行調(diào)試接口、SRAM 緩存管理結(jié)構(gòu)、文件系統(tǒng)管理模塊、IDE 時(shí)序模塊、主控單元和串行調(diào)試接口組成的。串口調(diào)試接口負(fù)責(zé)控制寄存器的狀態(tài)和寄存器的配置,用DART作為系統(tǒng)的讀寫接口,能夠完成對(duì)芯片的調(diào)試。采用橋接芯片,IDE 時(shí)序產(chǎn)生模塊可以實(shí)現(xiàn)ATA 信號(hào)的串行轉(zhuǎn)換,實(shí)現(xiàn)硬盤數(shù)據(jù)的存取與控制[11]。SRAM 緩存管理結(jié)構(gòu)負(fù)責(zé)讀寫離散信號(hào),并控制數(shù)據(jù)的讀取與寫入,并保證兩個(gè)高速緩存間的正確切換[12]。

    SRAM 緩存管理結(jié)構(gòu)如圖2 所示。

    圖2 SRAM緩存管理結(jié)構(gòu)

    由圖2 可知,SRAM 緩存管理結(jié)構(gòu)中包含了大量的存儲(chǔ)模塊,因?yàn)榇鎯?chǔ)器數(shù)組是按行和列組織的,所以解碼器還可以分為行解碼器和列解碼器,必須先緩存地址才能解碼[13-14]。內(nèi)存陣列與外部數(shù)據(jù)開(kāi)關(guān)接口連接,負(fù)責(zé)讀取信號(hào),并將讀取結(jié)果寫入內(nèi)存陣列;時(shí)序控制模塊負(fù)責(zé)控制信號(hào)讀取與寫入時(shí)間;電源控制模塊是一種可以自由選擇的電路單元,該單元無(wú)需對(duì)整個(gè)存儲(chǔ)器進(jìn)行讀寫操作,直接通過(guò)電源內(nèi)部就可實(shí)現(xiàn)各個(gè)模塊的無(wú)效操作,從而達(dá)到節(jié)能的目的[15]。

    1.3 數(shù)字信號(hào)處理器DSP

    數(shù)字信號(hào)處理器DSP 體系小,不僅方便存儲(chǔ),還能快速實(shí)時(shí)地處理信號(hào)。其結(jié)構(gòu)如圖3 所示。

    圖3 數(shù)字信號(hào)處理器DSP結(jié)構(gòu)

    由圖3 可知,DSP 將多種硬件地址生成器封裝在一個(gè)循環(huán)結(jié)構(gòu)中,命令緩沖和獲取機(jī)制獨(dú)立于其他中央的處理器,大大減少處理時(shí)間[16]。

    2 系統(tǒng)軟件部分設(shè)計(jì)

    2.1 元數(shù)據(jù)讀寫流程設(shè)計(jì)

    2.1.1 元數(shù)據(jù)寫流程

    在對(duì)元數(shù)據(jù)項(xiàng)目進(jìn)行寫操作時(shí),寫入的元數(shù)據(jù)項(xiàng)目將附加到當(dāng)前使用的元數(shù)據(jù)緩沖區(qū),并更新元數(shù)據(jù)緩沖區(qū)頭結(jié)構(gòu)的散列表和記錄作者的元數(shù)據(jù)項(xiàng)目索引信息的相應(yīng)過(guò)濾器。通過(guò)構(gòu)建元數(shù)據(jù)緩沖池,以避免寫入請(qǐng)求的元數(shù)據(jù)緩沖對(duì)寫入請(qǐng)求的影響。

    2.1.2 元數(shù)據(jù)讀流程

    通過(guò)對(duì)包含目標(biāo)元數(shù)據(jù)項(xiàng)的元數(shù)據(jù)存儲(chǔ)單元進(jìn)行篩選和讀取,將存儲(chǔ)器中的元數(shù)據(jù)讀取操作分為兩個(gè)階段:第一階段在元數(shù)據(jù)緩沖池中搜索;第二階段直接在元數(shù)據(jù)緩沖池中讀取。根據(jù)元數(shù)據(jù)索引單元中的散列列表,讀取元數(shù)據(jù)項(xiàng),并按寫入元數(shù)據(jù)的順序從新到舊搜索。

    2.2 元數(shù)據(jù)分級(jí)算法

    針對(duì)電子數(shù)字文獻(xiàn)保存的元數(shù)據(jù)存在的生命周期問(wèn)題,提出了元數(shù)據(jù)分級(jí)算法,依據(jù)該算法區(qū)分元數(shù)據(jù)的活動(dòng)和非活動(dòng)類別,為縮短元數(shù)據(jù)的存儲(chǔ)時(shí)間提供了依據(jù)。時(shí)間和訪問(wèn)頻率是影響元數(shù)據(jù)活躍度的主要因素,因此,將元數(shù)據(jù)活動(dòng)P定義為活動(dòng)計(jì)量依據(jù),P值的計(jì)算公式如下:

    式(1)中,tc表示元數(shù)據(jù)構(gòu)建時(shí)間;t表示當(dāng)前時(shí)間;nt表示元數(shù)據(jù)被訪問(wèn)次數(shù)。

    設(shè)元數(shù)據(jù)活躍度閾值為Pd,如果f(P,Pd)=1,表示元數(shù)據(jù)為活躍元數(shù)據(jù),如果f(P,Pd)=-1,表示元數(shù)據(jù)為非活躍元數(shù)據(jù),由此區(qū)分活躍和非活躍元數(shù)據(jù)。其中,f表示元數(shù)據(jù)等級(jí)評(píng)價(jià)函數(shù),公式為:

    依據(jù)該公式區(qū)分活動(dòng)和非活動(dòng)元數(shù)據(jù)。

    2.3 元數(shù)據(jù)存儲(chǔ)過(guò)程

    依據(jù)上述對(duì)元數(shù)據(jù)讀寫操作,需先選擇寄存器,通過(guò)數(shù)據(jù)總線將命令寫入存儲(chǔ)器中。依據(jù)元數(shù)據(jù)分級(jí)結(jié)果,確定兩種數(shù)據(jù)類型,分別是活躍元數(shù)據(jù)和非活躍元數(shù)據(jù),這兩種數(shù)據(jù)存儲(chǔ)的具體流程如圖4所示。

    圖4 元數(shù)據(jù)存儲(chǔ)流程

    由圖4 可知,讀主狀態(tài)存儲(chǔ)器,如果該存儲(chǔ)器空閑,就需設(shè)置數(shù)據(jù)存儲(chǔ)模式,并在相應(yīng)寄存器內(nèi)寫入所需參數(shù),完成數(shù)據(jù)存儲(chǔ)。

    3 實(shí) 驗(yàn)

    3.1 實(shí)驗(yàn)環(huán)境

    利用Java 實(shí)現(xiàn)了一個(gè)原型系統(tǒng),對(duì)服務(wù)器群集中的6個(gè)節(jié)點(diǎn)進(jìn)行了測(cè)試。從5個(gè)電子數(shù)字文獻(xiàn)中選取元數(shù)據(jù),分別為CADAL、Google book、SANQUAN、dl Library 以及Haith Trust。

    通過(guò)測(cè)試程序模擬測(cè)試負(fù)載,可以對(duì)系統(tǒng)的讀寫接口進(jìn)行獨(dú)立測(cè)試。該程序用大約需要11 GB 的總運(yùn)行內(nèi)存對(duì)1 024×64 元數(shù)據(jù)項(xiàng)進(jìn)行元數(shù)據(jù)讀寫測(cè)試。通過(guò)隨機(jī)讀取2 048 個(gè)元數(shù)據(jù)項(xiàng)來(lái)測(cè)量元數(shù)據(jù)存儲(chǔ)時(shí)間。

    3.2 實(shí)驗(yàn)結(jié)果與分析

    3.2.1 存儲(chǔ)時(shí)間

    針對(duì)存儲(chǔ)時(shí)間,分別使用樹(shù)型結(jié)構(gòu)、基于哈希的元數(shù)據(jù)存儲(chǔ)方法和基于元數(shù)據(jù)分級(jí)系統(tǒng)對(duì)5 個(gè)電子數(shù)字文獻(xiàn)元數(shù)據(jù)存儲(chǔ)時(shí)間進(jìn)行對(duì)比分析,結(jié)果如表1所示。

    表1 3種方法元數(shù)據(jù)存儲(chǔ)時(shí)間對(duì)比分析

    由表1 可知,使用基于元數(shù)據(jù)分級(jí)的元數(shù)據(jù)存儲(chǔ)系統(tǒng)相比于樹(shù)型結(jié)構(gòu)、基于哈希的元數(shù)據(jù)存儲(chǔ)方法存儲(chǔ)時(shí)間要短,說(shuō)明使用該系統(tǒng)存儲(chǔ)效率較高。

    3.2.2 寫操作

    針對(duì)寫信號(hào)操作,設(shè)SOC_ADR 為離散地址信號(hào),以該信號(hào)為基礎(chǔ),實(shí)際寫內(nèi)容為:SOC_ADR[1:1]—1/8/4/2/1;SOC_ADR[1:2]—1/5/b/aa/1;SOC_ADR[1:3]—1/a/1/14/1;SOC_ADR[1:4]—1/20/5/8/1/20/1,a/b為兩個(gè)特殊信號(hào)。

    將樹(shù)型結(jié)構(gòu)、基于哈希的元數(shù)據(jù)存儲(chǔ)方法和基于元數(shù)據(jù)分級(jí)系統(tǒng)對(duì)存儲(chǔ)的寫信號(hào)與實(shí)際信號(hào)進(jìn)行對(duì)比分析,以此判斷存儲(chǔ)效果,3 種方式寫信號(hào)對(duì)比結(jié)果如圖5 所示。

    由圖5 可知,在樹(shù)型結(jié)構(gòu)下,SOC_ADR[1:2]、SOC_ADR[1:3]寫內(nèi)容與實(shí)際不一致,且無(wú)特殊寫信號(hào);使用基于哈希的元數(shù)據(jù)存儲(chǔ)方法,SOC_ADR[1:3]寫內(nèi)容與實(shí)際不一致,其余均一致,且存在特殊寫信號(hào);使用基于元數(shù)據(jù)分級(jí)的元數(shù)據(jù)存儲(chǔ)系統(tǒng),寫內(nèi)容與實(shí)際內(nèi)容一致。

    圖5 3種方法寫信號(hào)對(duì)比分析

    3.2.3 讀操作

    針對(duì)讀信號(hào)操作,設(shè)SOC_ALE 為離散地址信號(hào),以該信號(hào)為基礎(chǔ),實(shí)際讀內(nèi)容為:SOC_ALE [2:1]—1/6/4/2/0;SOC_ALE [2:2]—1/a/b/b/b—1/b/b/b/b;SOC_ALE[2:3]—1/a/a/a/a—1/b/a/a/b。

    將樹(shù)型結(jié)構(gòu)、基于哈希的元數(shù)據(jù)存儲(chǔ)方法和基于元數(shù)據(jù)分級(jí)系統(tǒng)對(duì)存儲(chǔ)的讀信號(hào)與實(shí)際信號(hào)進(jìn)行對(duì)比分析,以此判斷存儲(chǔ)效果,3 種方式讀信號(hào)對(duì)比結(jié)果如圖6 所示。

    圖6 3種方式讀信號(hào)對(duì)比分析

    由圖6 可知,在樹(shù)型結(jié)構(gòu)下,SOC_ALE [2:2]、SOC_ALE[2:3]讀取內(nèi)容與實(shí)際不一致;使用基于哈希的元數(shù)據(jù)存儲(chǔ)方法,在SOC_ALE[2:3]讀內(nèi)容后半部分與實(shí)際內(nèi)容一致,前半部分及SOC_ALE [2:2]內(nèi)容與實(shí)際不一致;使用基于元數(shù)據(jù)分級(jí)的元數(shù)據(jù)存儲(chǔ)系統(tǒng),讀內(nèi)容與實(shí)際內(nèi)容一致。

    通過(guò)上述分析結(jié)果可知,文中系統(tǒng)寫、讀數(shù)據(jù)與實(shí)際內(nèi)容一致,說(shuō)明該系統(tǒng)存儲(chǔ)效果較好。

    4 結(jié)束語(yǔ)

    采用SATA 硬盤技術(shù),能夠有效避免外界環(huán)境干擾,有效提高了數(shù)據(jù)傳輸效率,縮短元數(shù)據(jù)存儲(chǔ)時(shí)間,解決了傳統(tǒng)方法存在的傳輸時(shí)間長(zhǎng)的問(wèn)題。同時(shí),使用FPGA 控制模塊實(shí)現(xiàn)的電子數(shù)字文獻(xiàn)保存的元數(shù)據(jù)存儲(chǔ)系統(tǒng)具有良好擴(kuò)展性,有效提高了串口轉(zhuǎn)換效率,大大提高了數(shù)據(jù)存儲(chǔ)速度和備用功能。

    猜你喜歡
    存儲(chǔ)系統(tǒng)哈希分級(jí)
    分布式存儲(chǔ)系統(tǒng)在企業(yè)檔案管理中的應(yīng)用
    哈爾濱軸承(2020年2期)2020-11-06 09:22:36
    天河超算存儲(chǔ)系統(tǒng)在美創(chuàng)佳績(jī)
    分級(jí)診療路難行?
    分級(jí)診療的“分”與“整”
    基于OpenCV與均值哈希算法的人臉相似識(shí)別系統(tǒng)
    分級(jí)診療的強(qiáng)、引、合
    “水到渠成”的分級(jí)診療
    華為震撼發(fā)布新一代OceanStor 18000 V3系列高端存儲(chǔ)系統(tǒng)
    基于維度分解的哈希多維快速流分類算法
    一種基于STM32的具有斷電保護(hù)機(jī)制的采集存儲(chǔ)系統(tǒng)設(shè)計(jì)
    观塘区| 邯郸县| 年辖:市辖区| 石景山区| 阿克| 永靖县| 深州市| 金平| 张家口市| 成都市| 兴文县| 和政县| 巴林左旗| 洪雅县| 宿州市| 潢川县| 阿克苏市| 扎鲁特旗| 大埔县| 枣强县| 宁夏| 师宗县| 大埔区| 阜康市| 徐州市| 岳阳县| 承德县| 曲松县| 诸暨市| 甘泉县| 花莲市| 康乐县| 张家港市| 铜川市| 桐柏县| 重庆市| 卢龙县| 改则县| 普陀区| 班戈县| 双辽市|