大數(shù)據(jù)技術(shù)與檔案數(shù)據(jù)挖掘

鄭楊

[摘 要] 隨著信息時(shí)代的到來，人們處理信息的方式越來越多種多樣，傳統(tǒng)的檔案數(shù)據(jù)檢索和處理技術(shù)已經(jīng)不能滿足人們的日常工作需求，為此，人們開始將關(guān)注重點(diǎn)放在大型數(shù)據(jù)庫(kù)的檔案數(shù)據(jù)挖掘技術(shù)上面，成功提高了工作人員的信息處理效率，在一定程度上推動(dòng)了大數(shù)據(jù)時(shí)代的發(fā)展。本文基于大型數(shù)據(jù)庫(kù)的檔案數(shù)據(jù)挖掘技術(shù)進(jìn)行研究，分析了其當(dāng)前的應(yīng)用情況以及未來的應(yīng)用前景。

[關(guān)鍵詞] 大數(shù)據(jù)；檔案數(shù)據(jù)；數(shù)據(jù)挖掘

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2018. 01. 053

[中圖分類號(hào)] G270.7；TP311.13 [文獻(xiàn)標(biāo)識(shí)碼] A [文章編號(hào)] 1673 - 0194（2018）01- 0132- 03

1 大數(shù)據(jù)技術(shù)

近年來，“大數(shù)據(jù)技術(shù)”一詞經(jīng)常為人們所提及，從字面意思來看，它所指代的是人們已經(jīng)進(jìn)入到信息爆炸的時(shí)代，在日常生活當(dāng)中，各式各樣的網(wǎng)絡(luò)信息、個(gè)人信息、資源信息等充斥在我們身邊，它對(duì)人們的生活帶來了較為深遠(yuǎn)的影響?？梢哉f，大數(shù)據(jù)技術(shù)把人們帶到了一個(gè)新的紀(jì)元當(dāng)中，同時(shí)，它的出現(xiàn)也為企業(yè)或工廠的生產(chǎn)銷售帶來了巨大的便利條件。當(dāng)前社會(huì)，每一個(gè)領(lǐng)域的正常運(yùn)作都離不開數(shù)據(jù)的收集和整合，而數(shù)據(jù)的處理恰恰又要依附“大數(shù)據(jù)”。

1.1 “大數(shù)據(jù)”的背景介紹

近年來，互聯(lián)網(wǎng)技術(shù)發(fā)展突飛猛進(jìn)，人們的生活越來越依靠網(wǎng)絡(luò)信息，這在很大程度上改善了人們的生活質(zhì)量。無論是日常的工作學(xué)習(xí)，還是度假游玩，人們已經(jīng)開始越來越依賴網(wǎng)絡(luò)，在某種程度上來說，離開了互聯(lián)網(wǎng)數(shù)據(jù)，人們的生活就難以繼續(xù)。人們將工作和生活的信息存儲(chǔ)在互聯(lián)網(wǎng)當(dāng)中，利用互聯(lián)網(wǎng)技術(shù)對(duì)信息進(jìn)行整合，處理，使其更加方便快捷。

1.2 “大數(shù)據(jù)”的定義

至今為止，中外的學(xué)者都沒有給出“大數(shù)據(jù)”的統(tǒng)一定義。當(dāng)前，越來越多的人開始關(guān)注“大數(shù)據(jù)時(shí)代”，將其研究對(duì)象鎖定在對(duì)大數(shù)據(jù)的研究和分析上面，但不同學(xué)者的觀點(diǎn)有所不同，因而，對(duì)于“大數(shù)據(jù)”的定義仁者見仁智者見智。

總的來說，“大數(shù)據(jù)”給人們的生活帶來了翻天覆地的變化，推動(dòng)了國(guó)內(nèi)外的產(chǎn)業(yè)革命。大數(shù)據(jù)不僅包括數(shù)據(jù)整合，數(shù)學(xué)模型，還包括對(duì)原始數(shù)據(jù)的分析和處理，它是一種新興的技術(shù)，利用互聯(lián)網(wǎng)對(duì)數(shù)據(jù)信息進(jìn)行收集和處理，從而提高人們的工作效率，減輕人們的工作負(fù)擔(dān)。

1.3 “大數(shù)據(jù)技術(shù)”的基本特征

對(duì)于“大數(shù)據(jù)技術(shù)”來說，它有其獨(dú)特的個(gè)性和特征。第一，大數(shù)據(jù)的信息是十分龐大的，在數(shù)據(jù)庫(kù)當(dāng)中，技術(shù)人員會(huì)將成千上萬的數(shù)據(jù)信息進(jìn)行收集和整理，并將它們統(tǒng)一地存放在對(duì)應(yīng)的數(shù)據(jù)系統(tǒng)當(dāng)中。第二，大數(shù)據(jù)的信息是多樣化的。在數(shù)據(jù)庫(kù)當(dāng)中存在著各式各樣的信息，無論是日常生活信息，還是國(guó)防安全、生態(tài)系統(tǒng)信息，都會(huì)分門別類地保存在數(shù)據(jù)庫(kù)當(dāng)中。第三，大數(shù)據(jù)具有較高的價(jià)值性。各行各業(yè)的人們的工作信息、生活信息都可以很好地反映在數(shù)據(jù)庫(kù)系統(tǒng)當(dāng)中，這對(duì)于數(shù)據(jù)的采集和處理提供了很大的便利。第四，大數(shù)據(jù)的高效性。在數(shù)據(jù)庫(kù)系統(tǒng)中進(jìn)行檢索的時(shí)候，可以方便快捷地獲取所需的有用信息，這種時(shí)效性有效提高了工作人員的工作效率。

2 檔案數(shù)據(jù)挖掘技術(shù)

2.1 檔案數(shù)據(jù)挖掘技術(shù)基本概念

在日常的信息檢索和整合處理的時(shí)候，管理檔案的技術(shù)工作人員會(huì)采用一些較為特殊的技術(shù)手段進(jìn)行處理，這種特殊的數(shù)據(jù)處理方式就是我們所說的檔案數(shù)據(jù)挖掘技術(shù)。在傳統(tǒng)的信息檢索處理中，檔案管理工作人員往往需要花費(fèi)很多的時(shí)間和精力才能在眾多的數(shù)據(jù)庫(kù)當(dāng)中挑選出合適的數(shù)據(jù)信息[1]。數(shù)據(jù)時(shí)代的到來給人們的生活帶來了無限的便利條件，當(dāng)前，檔案管理技術(shù)工人可以利用數(shù)據(jù)挖掘技術(shù)處理日常的工作，大大提高了工作效率，拓寬了檔案數(shù)據(jù)挖掘技術(shù)的應(yīng)用空間。

2.2 檔案數(shù)據(jù)挖掘技術(shù)的特點(diǎn)

一般來說，在大數(shù)據(jù)時(shí)代下的檔案數(shù)據(jù)挖掘技術(shù)相對(duì)十分復(fù)雜，它雖然在一定程度上改善了傳統(tǒng)檔案數(shù)據(jù)檢索中常常遇到的問題和困難，但還需要建立合適的數(shù)學(xué)模型。沒有合適的數(shù)據(jù)數(shù)學(xué)模型，檔案技術(shù)人員很難進(jìn)行下一步的工作，也就無法對(duì)數(shù)據(jù)進(jìn)行相應(yīng)的處理。另外，對(duì)于檔案數(shù)據(jù)挖掘技術(shù)來說，它所使用的數(shù)據(jù)庫(kù)十分龐大，這在無形中增加了出現(xiàn)微小錯(cuò)誤的可能性，這種錯(cuò)誤雖然不影響最終的處理結(jié)果，但還是不能保證十全十美。最后，相比于原有的檔案數(shù)據(jù)處理技術(shù)，檔案數(shù)據(jù)挖掘技術(shù)更加人性化，它可以從用戶的角度出發(fā)，最大限度地滿足用戶的根本需求。

2.3 檔案數(shù)據(jù)挖掘技術(shù)的應(yīng)用

隨著時(shí)間的推移，人們的生活已經(jīng)離不開大數(shù)據(jù)，我們已經(jīng)正式進(jìn)入大數(shù)據(jù)時(shí)代。第一，它可以依照不同用戶的不同需求在檔案數(shù)據(jù)庫(kù)中進(jìn)行信息的收集和處理，保證了檔案數(shù)據(jù)處理的個(gè)性化。第二，不同用戶之間的信息是相互關(guān)聯(lián)的，因此，可以根據(jù)全網(wǎng)用戶的檢索情況分析他們之間的聯(lián)系或工作內(nèi)容等項(xiàng)目。第三，檔案系統(tǒng)會(huì)自動(dòng)將相似的信息進(jìn)行匯總，并統(tǒng)一于一個(gè)檔案數(shù)據(jù)庫(kù)當(dāng)中，這樣一來，在日后的處理過程中，檔案管理技術(shù)人員的工作效率就可以得到提升。

3 大型數(shù)據(jù)庫(kù)的檔案數(shù)據(jù)挖掘系統(tǒng)與挖掘技術(shù)

3.1 大型數(shù)據(jù)庫(kù)的檔案數(shù)據(jù)挖掘系統(tǒng)

3.1.1 關(guān)聯(lián)規(guī)則挖掘

對(duì)于檔案數(shù)據(jù)挖掘中的關(guān)聯(lián)規(guī)則來說，它的主要內(nèi)容就是將不同用戶的信息進(jìn)行整合處理，利用這些信息對(duì)用戶的個(gè)人生活或工作情況進(jìn)行分析和預(yù)測(cè)。在檔案的管理和運(yùn)行上面起到了較好的輔助作用。關(guān)聯(lián)規(guī)則挖掘可以有效地幫助企業(yè)了解潛在客戶人群，并更準(zhǔn)確地掌握客戶的喜好情況，了解客戶的真實(shí)需求，這樣一來，檔案管理的工作人員就能為客戶提供更加優(yōu)質(zhì)的服務(wù)。當(dāng)前，檔案管理廣泛使用的程序算法是Apriori算法，這種算法很大程度上避免了傳統(tǒng)算法的各種缺陷，提高了時(shí)間的利用率。

3.1.2 分類

對(duì)于檔案數(shù)據(jù)挖掘來說，它還可以對(duì)用戶人群進(jìn)行分類，根據(jù)不同人群的信息處理方式和檢索條件的差別，對(duì)這些用戶進(jìn)行更為細(xì)致的分類。依照這些分類結(jié)果，企業(yè)或檔案管理技術(shù)人員可以更好地了解不同數(shù)據(jù)信息，不同用戶之間的聯(lián)系，并將這種聯(lián)系進(jìn)行整合處理，方便日后使用。這種新的檔案數(shù)據(jù)挖掘技術(shù)的推廣和使用對(duì)人們的生活起到了很好的輔助作用。endprint

3.1.3 聚類

除了上述的兩種檔案數(shù)據(jù)挖掘處理技術(shù)之外，應(yīng)用較為廣泛的一類檔案數(shù)據(jù)挖掘技術(shù)就是我們所說的聚類數(shù)據(jù)挖掘技術(shù)，這類技術(shù)的前景較好，準(zhǔn)確度更高，在企業(yè)和檔案管理技術(shù)人員的管理工作中被大量使用。一般來說，分割聚類算法可以將不同檔案數(shù)據(jù)處理程序進(jìn)行比較，并將比較之后的信息進(jìn)行綜合處理，形成一個(gè)高效、科學(xué)的分類表。而分層聚類算法處理更加簡(jiǎn)便，應(yīng)用更加優(yōu)化，它有效改善了分割聚類算法中存在的缺點(diǎn)和不足，開創(chuàng)了自身的應(yīng)用領(lǐng)域，為人們的生活帶來了更多的便利條件。

3.2 大型數(shù)據(jù)庫(kù)的檔案數(shù)據(jù)挖掘技術(shù)

3.2.1 庫(kù)存管理檔案數(shù)據(jù)挖掘

庫(kù)存管理檔案數(shù)據(jù)挖掘是基于大型數(shù)據(jù)庫(kù)的一種檔案數(shù)據(jù)處理方式，它被廣泛應(yīng)用在檔案管理當(dāng)中。在檔案的管理當(dāng)中，很多的管理人員選擇使用庫(kù)存管理檔案數(shù)據(jù)挖掘技術(shù)，這主要是由該檔案數(shù)據(jù)挖掘系統(tǒng)的自身特點(diǎn)所決定的。相比于傳統(tǒng)的檔案管理數(shù)據(jù)系統(tǒng)來說，這種大數(shù)據(jù)的檔案管理挖掘技術(shù)更加簡(jiǎn)便，更為細(xì)致，可以更加準(zhǔn)確地對(duì)庫(kù)存檔案進(jìn)行清點(diǎn)和信息統(tǒng)計(jì)。系統(tǒng)會(huì)自動(dòng)將檔案的數(shù)據(jù)信息記錄在數(shù)據(jù)庫(kù)當(dāng)中，方便檔案管理人員的調(diào)用和更改。

3.2.2 空間檔案數(shù)據(jù)挖掘

空間檔案數(shù)據(jù)挖掘技術(shù)是一類新興的檔案數(shù)據(jù)挖掘處理技術(shù)，它的理論體系還不完全成熟，因此，它的應(yīng)用范圍并沒有庫(kù)存檔案數(shù)據(jù)挖掘技術(shù)廣泛。這種技術(shù)的出現(xiàn)是為了更好地解決和處理用戶的空間信息，它除了需要依托大型數(shù)據(jù)庫(kù)之外，還需要依托空間可視地圖，因此，它的技術(shù)要求相對(duì)較高。然而，無論是在日常的檔案管理工作當(dāng)中，還是在軍事，農(nóng)業(yè)等其他領(lǐng)域，空間檔案數(shù)據(jù)挖掘都有著良好的應(yīng)用前景，我們可以預(yù)測(cè)，在未來的生活和工作當(dāng)中，空間檔案數(shù)據(jù)挖掘技術(shù)可以隨處可見。

4 大數(shù)據(jù)下的檔案數(shù)據(jù)挖掘

4.1 實(shí)現(xiàn)了檔案數(shù)據(jù)采集層的優(yōu)化管理

將大數(shù)據(jù)技術(shù)應(yīng)用在檔案數(shù)據(jù)的管理和挖掘當(dāng)中，進(jìn)一步提高了數(shù)據(jù)處理的效率。一般來說，在進(jìn)行檔案數(shù)據(jù)管理的時(shí)候，第一步就是要對(duì)相關(guān)的檔案數(shù)據(jù)進(jìn)行采集，只有實(shí)現(xiàn)對(duì)檔案數(shù)據(jù)的有效采集，才能避免在后續(xù)的管理過程中出現(xiàn)錯(cuò)誤[2]。可以說，只有利用大數(shù)據(jù)技術(shù)才能實(shí)現(xiàn)高質(zhì)量的檔案數(shù)據(jù)采集，這樣，隱藏在檔案文件后的全部信息都可以被采集出來，另外，在檔案數(shù)據(jù)的采集過程中，還可以依照實(shí)際的采集需要，對(duì)檔案數(shù)據(jù)進(jìn)行更為細(xì)致的篩選，這樣的檔案數(shù)據(jù)采集方式既保留了檔案數(shù)據(jù)來源的準(zhǔn)確性，同時(shí)，在日后的調(diào)用過程中也不會(huì)出現(xiàn)不必要的失誤。

4.2 實(shí)現(xiàn)了檔案數(shù)據(jù)整理層的優(yōu)化管理

在檔案數(shù)據(jù)采集之后，相關(guān)的工作人員就要實(shí)現(xiàn)對(duì)檔案數(shù)據(jù)的整理，一般來說，這些檔案數(shù)據(jù)信息都是十分復(fù)雜的，因此，工作人員的整理工作也相當(dāng)麻煩。因此，將大數(shù)據(jù)技術(shù)應(yīng)用在檔案數(shù)據(jù)的整理過程中，可以有效地提高工作人員的工作效率，既能保證檔案數(shù)據(jù)的有效存儲(chǔ)，同時(shí)，還可以避免在整理的過程中出現(xiàn)失誤，導(dǎo)致數(shù)據(jù)的缺失。隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，當(dāng)前，可應(yīng)用在檔案數(shù)據(jù)整理中的大數(shù)據(jù)技術(shù)已經(jīng)相對(duì)成熟，大數(shù)據(jù)技術(shù)已經(jīng)成了檔案數(shù)據(jù)整理人員必不可少的技術(shù)工具，可以說，一旦離開了大數(shù)據(jù)技術(shù)，檔案數(shù)據(jù)的整理工作將會(huì)變得異常艱難。

4.3 實(shí)現(xiàn)了檔案數(shù)據(jù)分析層的優(yōu)化管理

每一份檔案數(shù)據(jù)都有其自身的特點(diǎn)和應(yīng)用，因此，對(duì)于檔案數(shù)據(jù)管理的工作人員來說，還需要在后臺(tái)對(duì)這些檔案數(shù)據(jù)進(jìn)行分析管理。另外，不同的檔案數(shù)據(jù)之間并不是完全孤立的，它們之間可能存在某些聯(lián)系，這種數(shù)據(jù)的相關(guān)性分析需要依靠大數(shù)據(jù)技術(shù)才能實(shí)現(xiàn)。就檔案數(shù)據(jù)的表面分析來說，工作人員很難在第一時(shí)間了解到不同檔案數(shù)據(jù)之間的關(guān)聯(lián)，只有通過大數(shù)據(jù)技術(shù)，才能挖掘到隱藏在檔案數(shù)據(jù)背后的相關(guān)信息[3]。在了解檔案數(shù)據(jù)之間的相關(guān)性之后，工作人員才能更好地利用檔案數(shù)據(jù)信息，挖掘它們的最大價(jià)值，進(jìn)行檔案數(shù)據(jù)的分析整合，更好地實(shí)現(xiàn)信息和資源的共享。

4.4 實(shí)現(xiàn)了檔案數(shù)據(jù)展示層的優(yōu)化管理

對(duì)于檔案數(shù)據(jù)來說，無論是對(duì)其進(jìn)行采集整理，還是對(duì)其進(jìn)行分析整理，其最終的目的都是為了將檔案數(shù)據(jù)展示出來，供人們參考使用。因此，檔案數(shù)據(jù)的展示工作是極其重要的，在進(jìn)行檔案數(shù)據(jù)的展示時(shí)，工作人員需要利用大數(shù)據(jù)技術(shù)更好地實(shí)現(xiàn)對(duì)數(shù)據(jù)的可視化管理，建立并完善良好的檔案數(shù)據(jù)管理系統(tǒng)，這樣一來，在用戶進(jìn)行檔案數(shù)據(jù)的調(diào)用和查閱的時(shí)候，可以更加方便快捷，避免浪費(fèi)用戶的時(shí)間，同時(shí)，也避免產(chǎn)生不必要的麻煩[4]。大數(shù)據(jù)技術(shù)的出現(xiàn)在很大程度上實(shí)現(xiàn)了工作人員對(duì)于檔案數(shù)據(jù)信息的展示管理，為人們提供了更多的便利條件。

5 結(jié) 語

大數(shù)據(jù)時(shí)代的到來給人們的生活增添了很多新的便利條件，無論是傳統(tǒng)的檔案數(shù)據(jù)挖掘處理技術(shù)，還是當(dāng)前的檔案管理數(shù)據(jù)，空間管理檔案數(shù)據(jù)挖掘技術(shù)，都成了人們檔案管理中必不可少的條件?？梢哉f，一旦人們離開了大型數(shù)據(jù)庫(kù)，生活就會(huì)舉步維艱，難以繼續(xù)。另外，對(duì)于當(dāng)前的檔案數(shù)據(jù)挖掘技術(shù)來說，它自身還存在很多的缺點(diǎn)和不足，還需要進(jìn)一步地完善和改進(jìn)，這樣，才能更好地為人們服務(wù)。

主要參考文獻(xiàn)

[1]于英香.檔案大數(shù)據(jù)研究熱的冷思考[J].檔案學(xué)通訊，2015（2）：4-8.

[2]王雅潔，楊冰，羅艷，等.大數(shù)據(jù)挖掘在食品安全風(fēng)險(xiǎn)預(yù)警領(lǐng)域的應(yīng)用[J].安徽農(nóng)業(yè)科學(xué)，2015（8）：332-334.

[3]周楓.資源技術(shù)思維——大數(shù)據(jù)時(shí)代檔案館的三維詮釋[J].檔案學(xué)研究，2013（6）：61-64.

[4]張芳霖，唐霜.大數(shù)據(jù)影響下檔案學(xué)發(fā)展趨勢(shì)的思考[J].北京檔案，2014（9）：9-13.endprint