檔案信息化的大數(shù)據(jù)問題與解決對(duì)策探析

許娟

南京海事局辦公室，江蘇南京 210000

1 檔案信息化研究現(xiàn)狀

國(guó)內(nèi)檔案信息研究始于20 世紀(jì)90 年代后期，檔案信息化研究起源于信息社會(huì)時(shí)代的到來(lái)。隨著時(shí)代的進(jìn)步和研究的深入，檔案從業(yè)者，隨著論文數(shù)量的不斷增加而越來(lái)越多信息逐漸成為檔案行業(yè)的焦點(diǎn)。在研究開始時(shí)，學(xué)者們更加關(guān)注檔案信息研究的相關(guān)理論，研究范圍主要集中在檔案信息源與檔案信息相關(guān)概念之間的關(guān)系和相關(guān)問題。在過程中存檔信息問題和對(duì)策，該文件與社會(huì)信息化密切相關(guān)，討論檔案信息化的形成，分析未來(lái)的發(fā)展趨勢(shì)。通過分析檔案之間的關(guān)系。信息化與企業(yè)信息化，闡述信息化對(duì)企業(yè)檔案開發(fā)的重要性。張瑞同志論述了檔案信息化理論體系建設(shè)的有利時(shí)機(jī)、建設(shè)現(xiàn)狀和存在的問題，以及完善檔案信息化理論體系建設(shè)的對(duì)策和措施。丁立新同志在分析我國(guó)檔案信息化發(fā)展機(jī)遇與困惑的基礎(chǔ)上，對(duì)檔案信息化發(fā)展模式、應(yīng)用系統(tǒng)建設(shè)及其運(yùn)行維護(hù)進(jìn)行了趨勢(shì)預(yù)測(cè)。在分析我國(guó)檔案信息化建設(shè)基本現(xiàn)狀的基礎(chǔ)上，王美琴同志指出了檔案信息化過程中存在的主要問題，并提出了加快實(shí)施檔案信息化的措施。

2 檔案信息化建設(shè)面臨的大數(shù)據(jù)問題

目前大數(shù)據(jù)技術(shù)的演示應(yīng)用主要包括社交媒體數(shù)據(jù)分析，在線廣告，地理坐標(biāo)和商業(yè)智能，主要用于數(shù)據(jù)挖掘和決策。但是，從長(zhǎng)遠(yuǎn)來(lái)看，這些領(lǐng)域?qū)⒀由斓介L(zhǎng)期數(shù)據(jù)保護(hù)和信息系統(tǒng)管理。任何新技術(shù)的應(yīng)用都與社會(huì)環(huán)境密切相關(guān)，表現(xiàn)出技術(shù)的本質(zhì)和受限制的社會(huì)性質(zhì)以及各種社會(huì)條件。在檔案信息建設(shè)過程中，大數(shù)據(jù)存儲(chǔ)技術(shù)面臨著一些問題，使用元數(shù)據(jù)的可追溯性，及時(shí)性和知識(shí)服務(wù)的可用性。

2.1 數(shù)字檔案資源存儲(chǔ)問題

只有一個(gè)系統(tǒng)能夠可靠地和永久地保存收集的數(shù)字文件資源可以被稱為數(shù)字文件系統(tǒng)。文檔檔案的本質(zhì)是繼續(xù)不斷發(fā)展的歷史過程。因此,數(shù)字檔案資源的存儲(chǔ)容量增長(zhǎng)是一個(gè)長(zhǎng)期的過程,需要不斷擴(kuò)張的存儲(chǔ)運(yùn)營(yíng)商支持這種增長(zhǎng)。此外,任何材料的載體受到自然環(huán)境的影響和技術(shù)進(jìn)步,并逐漸失去了載體的功能,從而影響記錄信息。永久保存的實(shí)現(xiàn)是指檔案資源的定期數(shù)據(jù)遷移需要永久保存一段時(shí)間,所以可以更新數(shù)據(jù),技術(shù)更新和更新,信息資源可以持續(xù)保存。基本要求為長(zhǎng)期保存。

數(shù)據(jù)的數(shù)字存檔由兩部分組成：內(nèi)容實(shí)體描述文件數(shù)據(jù)和描述數(shù)據(jù)（元數(shù)據(jù)）。文件數(shù)據(jù)通常具有只讀屬性。因此，諸如數(shù)字檔案的描述，索引，索引和目錄之類的元數(shù)據(jù)相對(duì)容易標(biāo)準(zhǔn)化。然而，實(shí)體和數(shù)據(jù)的類型，格式和結(jié)構(gòu)數(shù)據(jù)的技術(shù)創(chuàng)新不斷變化，信息的完整性和可靠性受到挑戰(zhàn)。隨著數(shù)據(jù)量的增加，相應(yīng)硬件和軟件設(shè)備的處理規(guī)模增加，但數(shù)據(jù)量特別大的情況下即使系統(tǒng)在數(shù)據(jù)系統(tǒng)中崩潰，數(shù)據(jù)的大小也可能導(dǎo)致控制數(shù)據(jù)在一定程度上下降。數(shù)據(jù)遷移是在大數(shù)據(jù)環(huán)境中最難測(cè)試的。雖然傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)三重模式保持了遷移過程軟件的獨(dú)立性，但數(shù)據(jù)遷移量將越來(lái)越大;數(shù)據(jù)遷移數(shù)據(jù)結(jié)構(gòu)中包含的信息對(duì)其含義的影響變得越來(lái)越復(fù)雜。分類;遷移周期和節(jié)奏加速技術(shù)創(chuàng)新，周期越來(lái)越短，傳統(tǒng)的數(shù)據(jù)庫(kù)模型沒有有效地處理遷移的復(fù)雜性，特別是現(xiàn)有系統(tǒng)的重組技術(shù)或管理創(chuàng)新，數(shù)據(jù)類型，結(jié)構(gòu)，約束等轉(zhuǎn)換問題。保持記錄的真實(shí)性和可靠性是一項(xiàng)巨大的挑戰(zhàn)。

2.2 數(shù)字檔案資源的可追溯問題

從縱向的角度通過檔案了解其反映了基本的語(yǔ)義,背景,源文件的目的和原系統(tǒng)功能,而且還可以找到的相關(guān)性不同的文件,該文件具有可追溯性。文件,雖然通常是根據(jù)書中的案例本身,和所有相關(guān)單位的條件下保存,但有更多的水準(zhǔn)或普遍存在的現(xiàn)實(shí)的社會(huì)環(huán)境。檔案可追溯性并不局限在體積或在所有情況下,經(jīng)常使用數(shù)字檔案查詢和分析的特點(diǎn)使用復(fù)雜的相關(guān)性。不同行業(yè)之間的相互滲透,專業(yè)領(lǐng)域,相互之間的關(guān)系將會(huì)越來(lái)越多,越來(lái)越復(fù)雜。此外,數(shù)字檔案全宗和文件通常是發(fā)現(xiàn)在文本,圖片,視頻和其他異構(gòu)和均勻,異構(gòu)數(shù)據(jù),然而,需求跟蹤將會(huì)越來(lái)越多元化。

3 檔案信息化建設(shè)中大數(shù)據(jù)問題的解決對(duì)策

3.1 加強(qiáng)數(shù)字檔案資源存儲(chǔ)

數(shù)字檔案是借助計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)和多媒體技術(shù)開發(fā)和生成的一種新型檔案信息表，將各種傳統(tǒng)的文件載體轉(zhuǎn)換為數(shù)字檔案庫(kù)的信息資源，以數(shù)字形式存儲(chǔ)，網(wǎng)絡(luò)傳輸和使用計(jì)算機(jī)系統(tǒng)進(jìn)行管理，實(shí)現(xiàn)檔案信息的快速利用和共享。在數(shù)字檔案保存中需要按時(shí)間順序或原因?qū)?shù)據(jù)進(jìn)行分類，相關(guān)目標(biāo)是通過矢量控制來(lái)控制存儲(chǔ)管理。傳統(tǒng)的數(shù)據(jù)結(jié)構(gòu)，操作和約束模式，具有一定的模型，使用基于分布式數(shù)據(jù)庫(kù)系統(tǒng)的轉(zhuǎn)儲(chǔ)或模型。通過中心管理服務(wù)器將分布在數(shù)據(jù)庫(kù)中的不同節(jié)點(diǎn)數(shù)據(jù)中實(shí)現(xiàn)統(tǒng)一管理，邏輯存儲(chǔ)方法一般將結(jié)構(gòu)化關(guān)系模型作為元數(shù)據(jù)，雖然關(guān)系數(shù)據(jù)庫(kù)可以實(shí)現(xiàn)更復(fù)雜的關(guān)聯(lián)，但是數(shù)據(jù)量非常敏感，并且具有更大的空間和時(shí)間復(fù)雜度。在檔案信息構(gòu)建過程中，使用大數(shù)據(jù)存儲(chǔ)時(shí)，存儲(chǔ)數(shù)據(jù)結(jié)構(gòu)，文件到關(guān)聯(lián)實(shí)體。技術(shù)加強(qiáng)數(shù)字檔案信息資源存儲(chǔ)，如通過GFS（谷歌文件系統(tǒng)），HDFS（Hadoop 文件系統(tǒng)）等分布式文件存儲(chǔ)系統(tǒng)，能夠處理非結(jié)構(gòu)化數(shù)據(jù)并實(shí)現(xiàn)相關(guān)自動(dòng)建立基本索引元數(shù)據(jù)，適用于半結(jié)構(gòu)數(shù)字檔案信息資源的結(jié)構(gòu)化存儲(chǔ)和處理。

3.2 維護(hù)檔案靜態(tài)特征及遷移過程的可靠性

原始記錄檔案的本質(zhì)屬性、客觀需要依靠軟件和硬件環(huán)境，依附的載體及其語(yǔ)義保持記錄的原始性、真實(shí)性和可靠性的信息，靜態(tài)特征的需求同時(shí)，隨著信息技術(shù)的發(fā)展，實(shí)現(xiàn)數(shù)據(jù)遷移的一致性，以確保檔案信息的可追溯性。大數(shù)據(jù)分布式文件存儲(chǔ)系統(tǒng)中的對(duì)象文件或文件夾直接轉(zhuǎn)化為二進(jìn)制數(shù)據(jù)序列，忽視檔案資源的特定的格式或結(jié)構(gòu)在各種形式的底層實(shí)現(xiàn)智能存儲(chǔ)和處理，在更高的層次上，然后使用分析;此外，大數(shù)據(jù)技術(shù)更加適應(yīng)大文件的處理，比如HDFS 文件系統(tǒng)，但要儲(chǔ)存非結(jié)構(gòu)化數(shù)據(jù)按照統(tǒng)一的二進(jìn)制大小(64m)碎片，多點(diǎn)備份，并行處理，形成一系列的鍵/值對(duì)(鍵，值)，然后進(jìn)行按照合并的檔案價(jià)值相同的關(guān)鍵因素匯總和合并。這也符合檔案的組織特征(“a”或“體積”組織成復(fù)合文件)。因此能夠維護(hù)一個(gè)文件的完整性、可靠性和資源存儲(chǔ)和利用的過程中實(shí)現(xiàn)的智能檔案數(shù)據(jù)轉(zhuǎn)換、集成和利用率，可以基于存檔文件的組織特點(diǎn)，復(fù)合文件或一組類的模型在各種形式的組織，然后按照反饋的節(jié)點(diǎn)，建立簡(jiǎn)化的數(shù)字檔案存儲(chǔ)管理方案。

結(jié)束語(yǔ)

盡管大數(shù)據(jù)面臨著檔案信息化問題，但相關(guān)研究的重點(diǎn)主要集中在大數(shù)據(jù)特征檔案和相關(guān)宏觀戰(zhàn)略的管理與利用，而大數(shù)據(jù)技術(shù)、云計(jì)算、分布式智能化特征以及海量、異構(gòu)的數(shù)據(jù)處理等方面。數(shù)字檔案管理的優(yōu)勢(shì)和現(xiàn)實(shí)要求有一定的契合性，同時(shí)，大數(shù)據(jù)及其相關(guān)技術(shù)在數(shù)字檔案管理中應(yīng)用的深層次問題還需要進(jìn)一步的理解和把握，如大數(shù)據(jù)技術(shù)如何存儲(chǔ)、遷移和支持ACR 等。OSS 部門和知識(shí)發(fā)現(xiàn)平臺(tái)，以及應(yīng)用于數(shù)字檔案管理的信息系統(tǒng)需要面對(duì)的重構(gòu)、信息和數(shù)據(jù)轉(zhuǎn)換層面的分類問題。大數(shù)據(jù)技術(shù)及其生態(tài)環(huán)境是信息技術(shù)發(fā)展的必然趨勢(shì)。