數(shù)據(jù)治理中數(shù)據(jù)智能分類技術(shù)的應(yīng)用研究

李柳音

【摘要】由于許多企業(yè)存在數(shù)據(jù)資產(chǎn)過(guò)量的現(xiàn)象，治理起來(lái)較為繁瑣復(fù)雜，所以出現(xiàn)了一種基于數(shù)據(jù)智能分類技術(shù)的數(shù)據(jù)處理方法。先借助于數(shù)據(jù)智能分類技術(shù)對(duì)企業(yè)的數(shù)據(jù)展開(kāi)分類，接著運(yùn)用關(guān)鍵詞提取方法對(duì)數(shù)據(jù)展開(kāi)關(guān)鍵詞提取，然后聯(lián)系專家的評(píng)判建議來(lái)確立每一類數(shù)據(jù)中可表現(xiàn)當(dāng)下類別的關(guān)鍵詞，同時(shí)做出敏感度標(biāo)記，以此來(lái)處理企業(yè)數(shù)據(jù)量級(jí)過(guò)盛問(wèn)題，查找出當(dāng)中的敏感性數(shù)據(jù)。在這一背景態(tài)勢(shì)下，本文展開(kāi)數(shù)據(jù)智能分類技術(shù)在數(shù)據(jù)治理當(dāng)中的運(yùn)用分析，以為業(yè)內(nèi)人士提供可鑒參考。

【關(guān)鍵詞】數(shù)據(jù)治理;智能分類技術(shù);應(yīng)用研究

中圖分類號(hào)：TN01 ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A ? ? ? ? ? ? ? 文章編號(hào)：1673-0348（2020）09-015-03

[Absrtact] due to the fact that many enterprises have excessive data assets and the management is complicated， a data processing method based on data intelligent classification technology has emerged. First， the data of the enterprise is classified by means of the data intelligent classification technology， then the keyword extraction method is used to extract the data， and then the expert's evaluation suggestions are contacted to establish the keywords that can represent the current category in each type of data， and at the same time， the sensitivity mark is made， so as to deal with this paper analyzes the application of data intelligent classification technology in data governance to provide reference for the industry.

[Key words]data governance; intelligent classification technology; Application Research

如今社會(huì)訊息化速度加快，網(wǎng)絡(luò)化發(fā)展迅捷，數(shù)據(jù)呈現(xiàn)爆炸式增長(zhǎng)。全世界的數(shù)據(jù)量大概每?jī)赡隄q一倍，這表示人類在近兩年間產(chǎn)生形成的數(shù)據(jù)總量和此前產(chǎn)生形成的數(shù)據(jù)總量相當(dāng)。按照IDC數(shù)據(jù)顯示，到2020年底，全世界會(huì)共掌控有35ZB的數(shù)據(jù)量，比2010年數(shù)據(jù)量上漲了大約30多倍。大數(shù)據(jù)一方面為大眾帶來(lái)極大的便利性，一方面也造成了訊息的安全和隱私問(wèn)題。像其他訊息一樣，大數(shù)據(jù)在儲(chǔ)存、處理、傳輸當(dāng)中會(huì)存在大量的安全風(fēng)險(xiǎn)，伴隨而來(lái)的管理、監(jiān)管要求也越來(lái)越高越來(lái)越嚴(yán)苛。信息安全國(guó)際標(biāo)準(zhǔn)表示，不同數(shù)據(jù)的價(jià)值性是截然不同的，價(jià)值越高的數(shù)據(jù)越需要更為嚴(yán)苛的保護(hù)。國(guó)資委《中央企業(yè)商業(yè)秘密保護(hù)暫行規(guī)定》中明確表示要把數(shù)據(jù)進(jìn)行分類化、分級(jí)式管理，同時(shí)加以標(biāo)識(shí)。銀監(jiān)會(huì)《十二五信息科技發(fā)展規(guī)劃監(jiān)管指導(dǎo)意見(jiàn)》中也明確表示要推動(dòng)信息資產(chǎn)分類、分級(jí)管理的發(fā)展進(jìn)度。所以在大數(shù)據(jù)時(shí)代下，企業(yè)亟需進(jìn)行數(shù)據(jù)治理。

1. 數(shù)據(jù)治理相關(guān)理論簡(jiǎn)述

1.1 數(shù)據(jù)治理的概念

最近幾年伴隨著大數(shù)據(jù)時(shí)代的發(fā)展，各大企事業(yè)單位都累積了大量的數(shù)據(jù)資源，社會(huì)各界也都意識(shí)到這些累積的海量數(shù)據(jù)資源具備可利用價(jià)值，并著手進(jìn)行對(duì)數(shù)據(jù)資源的深層次挖掘和分析，建立了具備有企業(yè)特色的知識(shí)數(shù)據(jù)。數(shù)據(jù)是一個(gè)企業(yè)最為關(guān)鍵的資產(chǎn)之一，如今怎樣盤(pán)活企業(yè)內(nèi)部數(shù)據(jù)資產(chǎn)，挖掘數(shù)據(jù)資產(chǎn)的深層次價(jià)值是一項(xiàng)亟待完善的業(yè)務(wù)，自保值朝著增值跨越的目標(biāo)也發(fā)展為當(dāng)下企業(yè)數(shù)據(jù)治理工作的首要任務(wù)。數(shù)據(jù)治理工作內(nèi)容有多種，包括有對(duì)數(shù)據(jù)資產(chǎn)的搜集、處理、儲(chǔ)存、運(yùn)用、核實(shí)、監(jiān)管等等多項(xiàng)。數(shù)據(jù)治理是企事業(yè)單位為了增強(qiáng)數(shù)據(jù)資產(chǎn)質(zhì)量、促進(jìn)數(shù)據(jù)交融、充分施展數(shù)據(jù)資產(chǎn)的內(nèi)在價(jià)值而建立的一套體系化技術(shù)方式、規(guī)范準(zhǔn)則、管理制度。

1.2 數(shù)據(jù)治理的價(jià)值性

因?yàn)閿?shù)據(jù)生產(chǎn)源頭變得多元化，數(shù)量銳增且結(jié)構(gòu)差異化較大，同時(shí)系統(tǒng)更新升級(jí)的速度加快，技術(shù)的運(yùn)用頻度也明顯提高，所以令不同的數(shù)據(jù)源或者相同的數(shù)據(jù)源間產(chǎn)生了矛盾和問(wèn)題，加上數(shù)據(jù)搜集、集成是多個(gè)團(tuán)隊(duì)協(xié)作的結(jié)果，這一過(guò)程也是增加了數(shù)據(jù)處理中引發(fā)問(wèn)題數(shù)據(jù)的幾率性。運(yùn)用傳統(tǒng)數(shù)據(jù)人工錯(cuò)誤檢測(cè)修復(fù)或其他程序進(jìn)行解決，很明顯是完全跟不上大數(shù)據(jù)環(huán)境之下的各類復(fù)雜的數(shù)據(jù)問(wèn)題的。所以怎樣確保數(shù)據(jù)的完整、數(shù)據(jù)質(zhì)量的真實(shí)穩(wěn)妥，創(chuàng)建高效數(shù)據(jù)治理底層解決體系是非常有必要的。

1.3 數(shù)據(jù)治理的體系框架

1.3.1 數(shù)據(jù)模型管理

這一模型包含有概念數(shù)據(jù)模型、邏輯數(shù)據(jù)模型兩類?？梢詫?duì)數(shù)據(jù)源展開(kāi)統(tǒng)一化管理，多是運(yùn)用可視化方法來(lái)管理異構(gòu)數(shù)據(jù)源，內(nèi)容包含各個(gè)數(shù)據(jù)源的物理儲(chǔ)存地址、認(rèn)證鑒權(quán)訊息等，規(guī)避了傳統(tǒng)管理方法中要采用諸多個(gè)不同客戶端操作的不足。也可以用可視化語(yǔ)言來(lái)定義模型的概念，按照顯示訴求，拓展出更符合客戶業(yè)務(wù)語(yǔ)言的類型。

1.3.2 進(jìn)行數(shù)據(jù)血緣管理

血緣、影響分析管理目標(biāo)是借助于數(shù)據(jù)血統(tǒng)追蹤，于分布數(shù)據(jù)共享過(guò)程中處理數(shù)據(jù)的質(zhì)量、版本等多方面訊息。血緣分析即對(duì)來(lái)源加以溯源，來(lái)測(cè)量數(shù)據(jù)是否可信以及質(zhì)量如何。影響力分析指的是自特定模型著手，找尋倚重這一實(shí)體的處理過(guò)程模型。比如可采取遞歸形式加以尋找處理。

1.3.3 數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)質(zhì)量管理包括數(shù)據(jù)絕對(duì)質(zhì)量管理、過(guò)程質(zhì)量管理。在數(shù)據(jù)質(zhì)量稽核方面，要提供自統(tǒng)一管理數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范輻射至每一數(shù)據(jù)字段的質(zhì)量屬性的能力以及數(shù)據(jù)質(zhì)量稽核配置，來(lái)保障輻射行業(yè)的質(zhì)量標(biāo)準(zhǔn)，同時(shí)保障數(shù)據(jù)在轉(zhuǎn)換、儲(chǔ)存、傳輸?shù)冗^(guò)程中不會(huì)發(fā)生錯(cuò)誤等等。數(shù)據(jù)質(zhì)量回溯方面，需對(duì)數(shù)據(jù)質(zhì)量稽核發(fā)覺(jué)的問(wèn)題展開(kāi)根本性溯源分析和維護(hù)，如此保障歷史經(jīng)驗(yàn)、數(shù)據(jù)累積的準(zhǔn)確性，從而推進(jìn)指導(dǎo)管理的發(fā)展。

1.3.4 數(shù)據(jù)安全管理

主要處理的是數(shù)據(jù)儲(chǔ)存、運(yùn)用、交換當(dāng)中的安全問(wèn)題。具體表現(xiàn)下四點(diǎn)上，其一數(shù)據(jù)運(yùn)用的安全性，如數(shù)據(jù)儲(chǔ)存、訪問(wèn)、權(quán)限管控。其二數(shù)據(jù)隱私問(wèn)題，如銀行賬號(hào)等訊息有無(wú)加密，以防止被非法訪問(wèn)。其三訪問(wèn)權(quán)限管理。其四數(shù)據(jù)安全審計(jì)，數(shù)據(jù)修訂、運(yùn)用等步驟中軍需設(shè)置審計(jì)方法，事后予以審計(jì)和究責(zé)。

2. 數(shù)據(jù)智能分類技術(shù)的具體方法和過(guò)程分析

本文把自然語(yǔ)言處理技術(shù)運(yùn)用到數(shù)據(jù)治理當(dāng)中，借助數(shù)據(jù)智能分類技術(shù)對(duì)企業(yè)的資產(chǎn)展開(kāi)數(shù)據(jù)治理工作。其一，對(duì)企業(yè)當(dāng)中有待分類的數(shù)據(jù)通過(guò)智能分類方法加以分類，其二采用關(guān)鍵詞提取技術(shù)來(lái)對(duì)每一類數(shù)據(jù)加以關(guān)鍵詞提取，然后聯(lián)系專家的判斷來(lái)確立每一類數(shù)據(jù)當(dāng)中可用作甄別當(dāng)下分類的關(guān)鍵詞，同時(shí)對(duì)敏感度予以標(biāo)注。另外本文采取樸素葉貝斯、SVM算法效果比較展開(kāi)對(duì)數(shù)據(jù)智能分類算法的篩選，結(jié)果顯示后者在關(guān)鍵詞提取當(dāng)中的精確度更高、召回率更強(qiáng)。

2.1 待分類數(shù)據(jù)

待分類數(shù)據(jù)，指的是企業(yè)當(dāng)中那些有待整理的過(guò)量數(shù)據(jù)，比如分布于企業(yè)服務(wù)器、郵件、數(shù)據(jù)庫(kù)、終端等多地的一些數(shù)據(jù)，或齊整或雜亂，均在等待被整理和挖掘。

2.2 數(shù)據(jù)智能分類

數(shù)據(jù)智能分類是運(yùn)用智能分類技術(shù)把待分類數(shù)據(jù)整理成不同的類別，比如把企業(yè)當(dāng)中那些雜亂的、無(wú)序的、過(guò)多的數(shù)據(jù)，整理分成專利、企業(yè)訊息、審計(jì)稽查報(bào)告、公文、圖紙、財(cái)務(wù)數(shù)據(jù)等多個(gè)不同類型的數(shù)據(jù)。具體的步驟如下。

2.2.1 進(jìn)行預(yù)處理

文檔數(shù)據(jù)預(yù)處理包含了對(duì)文檔的切分、文本的分詞、去停用詞等幾個(gè)步驟。如果文檔集合是一個(gè)單獨(dú)性文件，全部文章都被儲(chǔ)存在這一文件中時(shí)，可進(jìn)行文檔切分，來(lái)把當(dāng)中的文章提取出來(lái)獨(dú)立的儲(chǔ)存于一個(gè)文件中。換句話講，單一文件的文檔集合當(dāng)中，各個(gè)文章間會(huì)采用不同的標(biāo)記加以區(qū)分，例如特定的符號(hào)或者空行等。文檔分詞是把文檔中具備獨(dú)立型含義的詞匯予以單獨(dú)匯總出來(lái)。去停用詞是因?yàn)椴⒎俏谋局忻恳粋€(gè)單詞都可對(duì)該文檔進(jìn)行代表和體現(xiàn)，所以要將這些詞自文本當(dāng)中除去。

2.2.2 特征的表示與提取

其主要功用是提取足以表現(xiàn)文檔核心關(guān)鍵訊息的詞匯，通過(guò)一定的特征項(xiàng)來(lái)對(duì)文檔予以代表。文本挖掘之時(shí)要對(duì)這些特征予以處理，進(jìn)而完成對(duì)于非結(jié)構(gòu)化文本的處理，此為非結(jié)構(gòu)化朝著結(jié)構(gòu)化轉(zhuǎn)型的一大必經(jīng)步驟。在詞條權(quán)值的處理上，本文選用的是TF IDF方法。

2.2.3 特征匹配、分類

文本轉(zhuǎn)作向量方式，且經(jīng)過(guò)特征提取之后，則可展開(kāi)分類挖掘了，也就是特征匹配工作。本文選用文獻(xiàn)檢索技術(shù)相似度法。假定樣本文檔是U，待學(xué)習(xí)文檔是V，其相似度可以通過(guò)向量夾角度數(shù)來(lái)進(jìn)行衡量，簡(jiǎn)言之，夾角愈小，相似度愈高。

2.2.4 文本分類體系

智能分類算法篩選當(dāng)中，應(yīng)用頻率最高的分類算法有兩種，即為樸素貝葉斯算法、SVM算法。前者是借助于計(jì)算向量分類至兩大類別中的機(jī)率值來(lái)統(tǒng)計(jì)分類結(jié)果。后者則是一種在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上建立起來(lái)的模式識(shí)別方法。該方法最早誕生于1995年，在分類領(lǐng)域中運(yùn)用價(jià)值非常高。

2.3 關(guān)鍵詞提取

關(guān)鍵詞提取，指的是不同類別數(shù)據(jù)當(dāng)中查找出定位最精準(zhǔn)、權(quán)重比例最高、區(qū)分力最強(qiáng)的關(guān)鍵詞，借助于自然語(yǔ)言處理技術(shù)，對(duì)分類數(shù)據(jù)文本內(nèi)容加以切詞，采用機(jī)器統(tǒng)計(jì)，實(shí)現(xiàn)對(duì)關(guān)鍵詞的自動(dòng)提取。候選關(guān)鍵詞提取之時(shí)是進(jìn)行自動(dòng)排序的，依靠下述幾點(diǎn)展開(kāi)，其一指定分類中出現(xiàn)次數(shù)，出現(xiàn)次數(shù)愈多，排序則愈居于前列;其二，其他分類中的出現(xiàn)次數(shù)，次數(shù)愈少，排序愈居前;其三關(guān)鍵詞的長(zhǎng)度，長(zhǎng)度愈長(zhǎng)，排序愈居前。就像能源行業(yè)市場(chǎng)分析報(bào)告當(dāng)中，關(guān)鍵詞特征提取時(shí)，原油期貨價(jià)格必然是排在期貨價(jià)格之前的。

2.4 專家判斷結(jié)果

專家按照軟件給出的統(tǒng)計(jì)數(shù)據(jù)、評(píng)定的分?jǐn)?shù)，聯(lián)系自我專業(yè)的知識(shí)儲(chǔ)備，自對(duì)每一個(gè)類別候選關(guān)鍵詞列表中篩選出的可用作甄別當(dāng)下分類的關(guān)鍵詞，展開(kāi)敏感度標(biāo)注。實(shí)現(xiàn)對(duì)企業(yè)數(shù)據(jù)的分級(jí)、分類管理，建立健全按照數(shù)據(jù)敏感度差異訂立的截然不同的保護(hù)制度。

3. 實(shí)驗(yàn)數(shù)據(jù)結(jié)果研究

實(shí)驗(yàn)數(shù)據(jù)挑選的十大類別的文檔數(shù)據(jù)，包含合同類、專利類等，每一類的樣本數(shù)量大概在85篇左右，即合計(jì)850篇文檔，把這些文檔散布于企業(yè)內(nèi)服務(wù)器、郵件、數(shù)據(jù)庫(kù)、終端等當(dāng)中。采用訊息檢索領(lǐng)域的評(píng)價(jià)準(zhǔn)則對(duì)數(shù)據(jù)分類展開(kāi)評(píng)價(jià)，即精確率P、召回率R、評(píng)測(cè)值F。具體公式為：P=A（AцB） R=A/（AцC） F=2*P*R*（P+R），當(dāng)中，A指的是正確分類的文檔數(shù)量，B指的是分類失誤的文檔數(shù)量。C指的是文檔本應(yīng)分在這一類，但卻并未劃分到這一類當(dāng)中的文檔數(shù)量。文章采用樸素貝葉斯、SVM兩類算法展開(kāi)分類，具體的實(shí)驗(yàn)結(jié)果詳見(jiàn)表1。

如表1當(dāng)中，相較于樸素貝葉斯，SVM算法精準(zhǔn)率、召回率都要偏高許多，而這也證明，SVM算法在數(shù)據(jù)智能分類當(dāng)中效果更佳。

4. 結(jié)語(yǔ)

為了處理大數(shù)據(jù)時(shí)代企事業(yè)單位數(shù)據(jù)資產(chǎn)引發(fā)的一些問(wèn)題和不足，本文應(yīng)用自然語(yǔ)言處理技術(shù)來(lái)展開(kāi)數(shù)據(jù)治理工作，也就是借助于數(shù)據(jù)智能分類技術(shù)對(duì)企業(yè)的超多數(shù)據(jù)展開(kāi)分類統(tǒng)計(jì)，運(yùn)用關(guān)鍵詞提取方式對(duì)每一個(gè)類別的數(shù)據(jù)展開(kāi)關(guān)鍵詞提取，最終聯(lián)系專家的判斷來(lái)對(duì)每個(gè)類別中關(guān)鍵詞數(shù)據(jù)予以確立，同時(shí)加以敏感度標(biāo)注。借助于上述步驟和方法完成對(duì)企業(yè)數(shù)據(jù)資產(chǎn)的分級(jí)化、分類式管理，幫助企業(yè)建立健全的數(shù)據(jù)治理系統(tǒng)。本文選用Naive Bayes（樸素貝葉斯）、SVM（支持向量機(jī)）兩種算法展開(kāi)核算，最終發(fā)覺(jué)后者在數(shù)據(jù)智能分類當(dāng)中的效果更優(yōu)。

參考文獻(xiàn)

[1]馮登國(guó)，張敏，李昊.大數(shù)據(jù)安全與隱私保護(hù)[J].計(jì)算機(jī)學(xué)報(bào).2017（05）

[2]張偉麗，馮偉.萬(wàn)物互聯(lián)網(wǎng)帶來(lái)的新風(fēng)險(xiǎn)及其技術(shù)對(duì)策[J].信息安全與通信保密.2018（4）

[3]李振，鮑宗豪.云治理：大數(shù)據(jù)時(shí)代社會(huì)治理的新模式[J].天津社會(huì)科學(xué).2018（33）