探索基于文本特征識別的電子檔案自動歸類系統(tǒng)

德州職業(yè)技術(shù)學(xué)院 田紹敏

本文根據(jù)傳統(tǒng)分類方法的不便之處，經(jīng)有效思考，提出了一種新型電子檔案自動歸類系統(tǒng)，通過以文本特征作為識別對象，可有效完成分類工作。該系統(tǒng)具有語料庫模塊，能夠根據(jù)使用者日常搜索情況，分析其內(nèi)在需求，實現(xiàn)對語料的挖掘，并完成相關(guān)操作。同時，借助排版模塊，通過使用其中內(nèi)容映射運作方式，能夠?qū)﹄娮訖n案進行具體歸檔。建立在多種方法基礎(chǔ)上，能夠根據(jù)文本特征詞，對電子檔案中存在的文本特征進行識別，確定其最終歸屬。

1 基于文本特征識別自動歸類系統(tǒng)分析

1.1 整體系統(tǒng)設(shè)計

本文系統(tǒng)整體系統(tǒng)設(shè)計如圖1所示。以實現(xiàn)實時性對海量信息自動歸類作為最終目的，本文系統(tǒng)借助文本特征識別技術(shù)，可有效縮短電子檔案內(nèi)容分析時間，并以此作為依據(jù)，實現(xiàn)相應(yīng)的歸類工作，能夠為使用者提供有效便利。

圖1 系統(tǒng)整體設(shè)計圖

在各系統(tǒng)模塊中，語料庫模塊主要負(fù)責(zé)對相關(guān)算法學(xué)習(xí)進行管理，并構(gòu)建訓(xùn)練檔案集。詞典模塊負(fù)責(zé)構(gòu)建詞典，并在詞典中完成添加、清除詞條等操作。文本體征提取模塊在所有模塊中，具有核心地位，主要負(fù)責(zé)在合理切分詞條的基礎(chǔ)上，對詞頻進行統(tǒng)計，并以結(jié)果作為參考，制作文本特征項集。電子檔案分類模塊主要負(fù)責(zé)以上文項集作為依據(jù)，對檔案代表向量進行分類處理，并分析不同向量中存在的相似度，實現(xiàn)自動歸類。在電子檔案排版模塊，主要使用方法包括遞歸下降分析法、新詞自動獲取法，能夠在總體電子檔案中，自動對內(nèi)容進行排版。系統(tǒng)設(shè)置模塊負(fù)責(zé)根據(jù)實際工作情況，合理調(diào)整系統(tǒng)各項參數(shù)。

1.2 語料庫模塊

在本文研究系統(tǒng)中，主要應(yīng)用語料庫模塊設(shè)計為Ontology，建立在明確使用者需求基礎(chǔ)上，可有效實現(xiàn)對語料的深入挖掘，并進一步構(gòu)建語料庫，為查詢、維護等相關(guān)操作提供便利，有利于促進文本特征提取模塊工作。對于自動運轉(zhuǎn)子模塊而言，主要分為兩部分，即后臺運行、對使用者挖掘、操作命令進行響應(yīng)等。在挖掘命令方面，借助自動轉(zhuǎn)運子模塊功能，利用元搜索引擎，能夠在大數(shù)據(jù)中搜索相應(yīng)的語料。同時，通過使用過濾子模塊，能夠?qū)eb軟件利用檔案向量形式進行準(zhǔn)確描述，以檔案向量進行參考，將本體向量與其進行對比，在分析相關(guān)性基礎(chǔ)上，能夠準(zhǔn)確獲取相應(yīng)的語料，并完成測試工作。在使用者抽象處理語料后，應(yīng)將相關(guān)概念、Web頁面完整體現(xiàn)在本題庫、語料庫中，并根據(jù)運轉(zhuǎn)子模塊，得到最終挖掘結(jié)果，向使用者進行展示。在操作命令方面，經(jīng)運轉(zhuǎn)子模塊有效處理后，本題庫操作模塊將會接收到具體命令，并在語料庫完成相關(guān)操作，將最終結(jié)果展示給使用者。

1.3 排版模塊

在電子檔案中，內(nèi)容識別方法使用遞歸下降分析法，主題詞識別使用新詞自動獲取法，上述方法不僅在識別方面性能良好，還能夠起到對格式進行糾錯的作用，借助內(nèi)容映射功能，能夠有效實現(xiàn)排版工作，排版效率顯著。對于固定檔案而言，排版子模塊能夠完成合理模板文件設(shè)計，具體需要參考格式固定情況，并以單一電子檔案設(shè)計作為參考。并進一步按照固定程序，實現(xiàn)在固定路徑內(nèi)，對文件進行存儲。基于上述工作，使用者通過將所需要的歸檔資料輸入在相關(guān)區(qū)域內(nèi)，經(jīng)系統(tǒng)處理，可自動將資料進行規(guī)范。同時，針對文件類型不同，格式模板在標(biāo)準(zhǔn)方面也存在一定的差異，而應(yīng)用格式模板子模塊，能夠有效對這一現(xiàn)象進行處理。針對格式校正模塊，可完成對檔案框架標(biāo)題的修正，進一步實現(xiàn)對檔案內(nèi)容的解析，并將其予以合理處理。針對排版子模塊，能夠精準(zhǔn)識別不規(guī)范標(biāo)題，并進行有效修正，能夠?qū)ξ谋局械母鱾€段落進行重排，并將其按照相應(yīng)的檔案格式完成生成。

1.4 軟件設(shè)計

（1）本特征識別算法。在電子檔案中，通過深入挖掘語料庫模塊，能夠有效獲取相應(yīng)的語料，建立在明確文本特征識別算法基礎(chǔ)上，可將其有效應(yīng)用在文本特征提取模塊中，提高文本特征識別水平，優(yōu)化其精確度，能夠確保文本自動歸類工作完成。在本文系統(tǒng)中，通過以文本特征作為重點，落實相應(yīng)的識別方法，并配套實施兩步特征選擇方法，在有機結(jié)合各類方法基礎(chǔ)上，進一步形成組合特征選擇法。

（2）預(yù)選取。針對特征預(yù)選取，主要使用方法為有限自動機選擇法，通過在檔案中，對文本內(nèi)容進行提取，可明確相應(yīng)的特征詞，并根據(jù)原電子檔案，將文本內(nèi)容進行有效轉(zhuǎn)化，去除文本中原本存在的特征詞，使其處于無特征詞狀態(tài)?？稍O(shè)置特征集，并將特征詞作為其中一部分，在整個電子檔案語料庫模塊中，設(shè)置待處理原始語料集為X={X1......Xn}，設(shè)置最終文本特征集為Y={y1......ym}，在完成模式抽取的同時，進一步生成相應(yīng)的有限自動機，并對結(jié)果進行識別處理，可在整個X中，對全部文本特征詞進行識別，進一步形成Y，經(jīng)有效手段，對y中涉及到的所有字符串進行統(tǒng)計，將詞頻設(shè)置為xfj，將閾值設(shè)置為w，借助有效計算公式，可得出在w為3的情況下，將文本特征進行提取，能夠達到最高精度。在Y中，如果xfj低于w，將會得到字符串yj，在這種情況下，針對原電子檔案文本，可對文本特征詞進行有效復(fù)原，使其轉(zhuǎn)變?yōu)檎顟B(tài)。同時，在原電子檔案文本中，通過進行字典匹配，并借助有效識別法，能夠有效改變檔案文本集，使其轉(zhuǎn)變?yōu)闊o特殊詞狀態(tài)。

（3）組合特征選擇法。在X集中，對檔案所有文本進行分詞處理，借助組合特征選擇法，將部分詞進行有效選取，通過使用相關(guān)公式對剩余詞進行計算，獲取相應(yīng)的CHI值，并以CHI值降序形式，對提取剩下的詞進行排列，按照從上到下的原則，將選取的部分詞，添加在Y集中。

建立在合理使用上述方法基礎(chǔ)上，通過整合Y集，并根據(jù)部分詞特征，可有效生成最終本文特征集。

（4）自動歸類流程。以上文內(nèi)容作為依據(jù)，通過獲取相應(yīng)的文本特征集，并合理使用SAV分類器、類別識別器，利用文檔分類模塊功能，自動歸類相關(guān)電子檔案。

建立在兩次歸類基礎(chǔ)上，能夠?qū)崿F(xiàn)對電子檔案的綜合評定，確定其最終類別歸屬。借助SVM分類器，完成首次歸類，主要圍繞電子檔案，對其是否存在敏感電子檔案情況進行判斷，如果判定為是，則可以直接將該檔案按照敏感檔案進行歸類，如果判定為否，則需要對檔案予以二次歸類，在第二次歸類中，主要選擇類別識別器，以文本特征識別結(jié)果作為參考，進行分類，并最終實現(xiàn)歸類處理，通過兩次分類，確保電子檔案歸類合理性，并進一步保障所有檔案均能夠?qū)崿F(xiàn)準(zhǔn)確的自動分類。

2 實驗分析

為有效驗證上文系統(tǒng)準(zhǔn)確性，本文在某圖書館中，集中抽取訓(xùn)練集、測試集電子檔案共1000份，其中，前者500份，行封閉性歸類測試，設(shè)為A組，后者500份，行開放性歸類測試，設(shè)為B組。測試方向為查全率、精度。研究結(jié)果表明，A組查全率平均為97.70%，精度為96.30%。B組查全率平均為96.70%，精度為95.42%。兩組并不存在明顯差距，說明應(yīng)用本文系統(tǒng)，能夠精確識別電子檔案，并且具有較高的普遍性，在有效性方面優(yōu)勢顯著。

取相同實驗環(huán)境，將本文系統(tǒng)設(shè)為A組，將層級類別信息歸類系統(tǒng)設(shè)為B組，將權(quán)重自動優(yōu)化歸類系統(tǒng)作為C組，三組均接受自動歸類實驗，并集中在不同信噪比環(huán)境下，對比三組平均中斷概率，分析不同系統(tǒng)穩(wěn)定性情況。實驗結(jié)果表明，A組平均中斷概率為0.16%，B組為0.42%，C組為0.58%，A組相對較低。并且以平均信噪比在20db以下作為背景，三組在平均中斷概率方面并不存在明顯差異，并且在信噪比升高情況下，三組平均中斷概率隨之升高，但是A組整體上升情況低于B組、C組，說明應(yīng)用本文系統(tǒng)，在穩(wěn)定性方面優(yōu)勢明顯。

對特征數(shù)進行調(diào)整，按照上文分組方式，對比三組準(zhǔn)確率、召回率，具體實驗結(jié)果顯示：A組召回率、準(zhǔn)確率均高于B組、C組。究其原因，在本文系統(tǒng)中，通過準(zhǔn)確識別文本信息，完成自動分類，能夠避免受到以往特征詞丟失情況影響，并且借助組合特征選擇法，本文研究系統(tǒng)降噪效果顯著，穩(wěn)定性良好。

結(jié)論：建立在有效電子檔案自動歸檔基礎(chǔ)上，可有效提取到海量信息。本文研究自動歸類系統(tǒng)主要根據(jù)文本特征，并進一步配套兩步特征選擇方法，實現(xiàn)對文本特征的有效識別，通過合理使用SVM分類器，加強對類別識別器的使用，能夠?qū)ξ臋n進行兩次歸類，最終完成相應(yīng)的歸類。