人工智能技術(shù)的企業(yè)文件智能監(jiān)察系統(tǒng)的研發(fā)

肖招娣

(廣東電網(wǎng)有限責(zé)任公司 佛山供電局, 佛山 528000)

0 引言

對(duì)企業(yè)的審計(jì)，已經(jīng)成為常態(tài)化工作，故企業(yè)內(nèi)部常態(tài)化的審計(jì)和監(jiān)察也成為必要。在企業(yè)的生產(chǎn)、經(jīng)營、管理過程中，產(chǎn)生大量的非結(jié)構(gòu)化文本。傳統(tǒng)的企業(yè)文件監(jiān)察與審計(jì)通過人工完成，需要投入大量的人力、物力、財(cái)力，無法避免人的主觀因素的影響，面對(duì)海量的企業(yè)文件只能采用抽查的方式開展，難免留有死角和潛在的風(fēng)險(xiǎn)。本文提出基于NLP(Natural Language Processing，自然語言處理)的企業(yè)文件智能監(jiān)察系統(tǒng)。其核心技術(shù)是使用NLP算法，把非結(jié)構(gòu)化的文檔轉(zhuǎn)換為結(jié)構(gòu)化的數(shù)據(jù)，存儲(chǔ)在數(shù)據(jù)庫中；將相關(guān)的企業(yè)的規(guī)章制度、管理辦法以及國家的法律法規(guī)拆分成一條條審計(jì)規(guī)則，存放在知識(shí)庫中；基于知識(shí)庫，使用專家系統(tǒng)及統(tǒng)計(jì)分析，對(duì)企業(yè)文件進(jìn)行智能監(jiān)察。

1 系統(tǒng)架構(gòu)

該企業(yè)文件智能監(jiān)察系統(tǒng)包括3個(gè)核心功能模塊：

非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化處理模塊，該模塊主要使用自然語言處理技術(shù)，借助R語言或者Python的函數(shù)，將文檔轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)存放在數(shù)據(jù)庫中，減少數(shù)據(jù)的體量，大幅度降低數(shù)據(jù)處理的技術(shù)難度。

文件監(jiān)察規(guī)則管理模塊：該模塊主要運(yùn)用知識(shí)庫管理系統(tǒng)，實(shí)現(xiàn)對(duì)監(jiān)察規(guī)則的管理。這也是智能監(jiān)察功能的基礎(chǔ)。

智能監(jiān)察模塊：通過運(yùn)用專家系統(tǒng)或者統(tǒng)計(jì)建模分析，實(shí)現(xiàn)對(duì)文件的智能監(jiān)察。

如圖1所示。

圖1 系統(tǒng)架構(gòu)圖

2 系統(tǒng)功能及其實(shí)現(xiàn)

2.1 非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化處理

2.1.2 數(shù)據(jù)去重

從非結(jié)構(gòu)化數(shù)據(jù)中結(jié)構(gòu)化處理過程得到的數(shù)據(jù)最終將存儲(chǔ)在關(guān)系型數(shù)據(jù)庫中。為了避免數(shù)據(jù)冗余，為了避免重復(fù)對(duì)一個(gè)文件進(jìn)行兩次或者兩次以上的結(jié)構(gòu)化處理(該處理過程需要花費(fèi)一定的時(shí)間和計(jì)算資源)，需要進(jìn)行必要的去重。文檔查重常用的算法有simHash和minHash算法，通常使用局部敏感散列LSH。其中simHash是Google提出并且使用查重的算法。

本文使用simHash算法查重,如圖2所示。

圖2 simHash原理圖

簡單說來，simHash的原理是：將一份文檔轉(zhuǎn)換為64字節(jié)的特征字，然后判斷重復(fù)只需要判斷他們的特征字的距離是不是

2.1.2 數(shù)據(jù)轉(zhuǎn)換

由于結(jié)構(gòu)化數(shù)據(jù)的處理相對(duì)半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)的處理更為簡單，且有不少現(xiàn)成的工具和方法可用。為了降低非結(jié)構(gòu)化文件的智能監(jiān)察的技術(shù)難度，也為了減少數(shù)據(jù)的量體，本文首先對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理。非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化處理的過程，其核心為正則表達(dá)式的使用，從海量的非結(jié)構(gòu)化數(shù)據(jù)中提取出關(guān)鍵信息。R語言和Python均提供了一系列的方法幫助實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的結(jié)構(gòu)化處理。

在R語言中，需要用到幾個(gè)重要的函數(shù)，包括gregexpr( )、substring( )、strsplit( )和grep( )函數(shù)。其中，gregexpr( )、strsplit( )和grep( )函數(shù)是正則表達(dá)式相關(guān)的函數(shù)。而substring( )函數(shù)為字符串函數(shù)，用于提取字符串子集。

在Python中，更是提供了強(qiáng)大的正則表達(dá)式功能，相關(guān)函數(shù)有match( )、search( )、split( )、group( )、compile( )、sub( )和subn( )等函數(shù)。同時(shí)，在處理海量文本時(shí)，由于單純使用正則表達(dá)式的效率較低，可以使用Python的開源庫FlashText提取關(guān)鍵字，提高效率。

2.2 審查規(guī)則管理

對(duì)企業(yè)文件的審計(jì)和監(jiān)察，無非是對(duì)海量的企業(yè)文件進(jìn)行合規(guī)性和合法性的審查，及時(shí)發(fā)現(xiàn)存在審計(jì)風(fēng)險(xiǎn)的問題，第一時(shí)間提醒相干人在文檔修訂過程中完成整改，防患于未然。本文使用Wiki的知識(shí)庫管理系統(tǒng)進(jìn)行審查規(guī)則的管理，包括添加、修改、刪除和查詢等功能。知識(shí)庫分主題進(jìn)行規(guī)則管理，對(duì)于每一類文件的審查，均會(huì)將相應(yīng)的法律法規(guī)、公司內(nèi)部的規(guī)章制度和管理辦法拆分成一條條規(guī)則。

2.3 智能監(jiān)察

專家系統(tǒng)是一個(gè)智能計(jì)算機(jī)程序系統(tǒng)，基于其內(nèi)部存放的大量的某個(gè)領(lǐng)域?qū)＜业慕?jīng)驗(yàn)及知識(shí)，應(yīng)用人工智能技術(shù)和計(jì)算機(jī)技術(shù)，模擬人類專家的決策過程，進(jìn)行推理和判斷，能夠利用人類專家的知識(shí)和解決問題的方法來處理該領(lǐng)域問題。 本文應(yīng)用的是基于規(guī)則的專家系統(tǒng),如圖3所示。

圖3 專家系統(tǒng)架構(gòu)圖

專家系統(tǒng)通常由人機(jī)交互界面、知識(shí)庫、綜合數(shù)據(jù)庫、推理機(jī)、解釋器、知識(shí)獲取等6個(gè)部分構(gòu)成。在本系統(tǒng)中，知識(shí)數(shù)據(jù)庫有專門的功能模塊，其中包括了知識(shí)獲取的功能；綜合數(shù)據(jù)庫即用于存放非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化處理后得到的數(shù)據(jù)的數(shù)據(jù)庫。系統(tǒng)需要著重實(shí)現(xiàn)的功能是解釋器和推理機(jī)部分，為了簡化開發(fā)過程，本系統(tǒng)使用了開源的專家系統(tǒng)。

在智能審查方面，涉及兩類的主要的方法。大部分情況下，使用專家系統(tǒng)，結(jié)合知識(shí)庫固化的規(guī)則，即可完成智能審查。但是專家系統(tǒng)具有其優(yōu)點(diǎn)的同時(shí)，也具有其缺點(diǎn)，具體說來包括：

(1) 規(guī)則之間的關(guān)系不透明。在基于規(guī)則的系統(tǒng)中，由于基于規(guī)則的專家系統(tǒng)缺乏分層的知識(shí)表達(dá)，難以觀察單條規(guī)則如何對(duì)整個(gè)策略起作用。

(2) 低效的搜索策略。推理引擎在每個(gè)周期中搜索所有的規(guī)則。當(dāng)規(guī)則很多時(shí)，系統(tǒng)速度會(huì)很慢。

(3) 沒有學(xué)習(xí)能力。修改和維護(hù)系統(tǒng)的任務(wù)仍然由知識(shí)工程師來做。

故而對(duì)于一些審計(jì)規(guī)則較為復(fù)雜的情形，本文使用統(tǒng)計(jì)建模進(jìn)行分析，通過編程為特定的審計(jì)規(guī)則實(shí)現(xiàn)專用的功能，以此提高系統(tǒng)的效率。

2.4 輔助整改

發(fā)現(xiàn)問題最終是為了解決問題。智能監(jiān)察模塊的存在，主要是為了及時(shí)發(fā)現(xiàn)企業(yè)文件編寫過程中存在的風(fēng)險(xiǎn)，將監(jiān)察結(jié)果及時(shí)反饋到合同起草、項(xiàng)目文檔審查等過程中相關(guān)干

系人環(huán)節(jié)，提出問題及整改意見，避免錯(cuò)誤成為定局，避免給企業(yè)和個(gè)人帶來不必要的風(fēng)險(xiǎn)，實(shí)現(xiàn)安全從業(yè)。

為了實(shí)現(xiàn)輔助整改的功能，該系統(tǒng)在開發(fā)的過程中，開發(fā)了一系列的API供各信息系統(tǒng)在流程中調(diào)用。同時(shí)，為了提高系統(tǒng)的實(shí)時(shí)計(jì)算的性能和效率，負(fù)責(zé)計(jì)算的應(yīng)用服務(wù)器采用負(fù)載均衡的方式進(jìn)行部署。

3 總結(jié)

針對(duì)企業(yè)日常生產(chǎn)、經(jīng)營、管理活動(dòng)過程中產(chǎn)生了大量的文件，僅依靠法務(wù)工作者及監(jiān)察審計(jì)人員肉眼審閱，已經(jīng)無法滿足監(jiān)管需求的現(xiàn)狀，本文研發(fā)了一套基于人工智能技術(shù)的企業(yè)文件智能監(jiān)察系統(tǒng)。該系統(tǒng)首先利用自然語言處理技術(shù)對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理；再結(jié)合知識(shí)庫對(duì)審計(jì)規(guī)則進(jìn)行管理；最后使用專家系統(tǒng)及統(tǒng)計(jì)建模分析，完成對(duì)企業(yè)文件的智能審查。

通過該系統(tǒng)的研發(fā)與應(yīng)用，使得對(duì)企業(yè)文件實(shí)現(xiàn)全面監(jiān)察成為可能，解放了勞動(dòng)力，保證了監(jiān)察結(jié)果的客觀性，提升了工作效率，為企業(yè)員工的安全從業(yè)提供了技術(shù)保障。

[1] Rishi Nalin Kumar.從原始數(shù)據(jù)到數(shù)據(jù)科：使非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化，以推動(dòng)產(chǎn)品開發(fā)[EB/OL].周元昊,譯.(2016-12-28). http://www.infoq.com/cn/articles/raw-data-to-data-science.

[2] 文檔去重算法：SimHash和MinHash[EB/OL].[2017-01-01].http://m.blog.csdn.net/lafeedfh/article/details/51997814.

[3] simhash算法原理及實(shí)現(xiàn)[EB/OL].(2014-01-30).https://yanyiwu.com/work/2014/01/30/simhash-shi-xian-xiang-jie.html.

[4] 使用SimHash進(jìn)行海量文本去重[EB/OL].[2016-05-30].https://www.cnblogs.com/maybe2030/p/5203186.html.

[5] 基于規(guī)則的專家系統(tǒng)的優(yōu)點(diǎn)和缺點(diǎn)[EB/OL].(2012-09-13).http://book.51cto.com/art/201209/356613.htm.

[6] 丁世飛.人工智能(第二版)[M].北京:清華大學(xué)出版社,2015.

[7] 蔡自興,(美)約翰·德爾金,龔濤.高級(jí)專家系統(tǒng)：原理設(shè)計(jì)及應(yīng)用(第2版)[M].北京:科學(xué)出版社，2017.

[8] 王眾托,吳江寧,郭崇慧.信息與知識(shí)管理(第2版)[M].北京:電子工業(yè)出版社,2014.

[9] Steven Bird.Python自然語言處理[M].北京:人民郵電出版社.2014.

[10] 章宗慶.統(tǒng)計(jì)自然語言處理(第2版)[M].北京：清華大學(xué)出版社，2013：73-104.

[11] [印度] Deepti Chopra, Nisheeth Joshi, Iti.精通Python自然語言處理[M].北京:人民郵電出版社.2017.

[12] [印度]Deepti Chopra, Nisheeth Joshi,Iti Mathur. Mastering Natural Language Processing with Python[M].Packt Publishing,2016:79-103.

[13] 鄭捷.NLP漢語自然語言處理原理與實(shí)踐[M].北京:電子工業(yè)出版社,2017.

[14] 張文宇，薛昱，蘇錦旗，等.知識(shí)發(fā)現(xiàn)與智能決策[M].北京:科學(xué)出版社有限責(zé)任公司,2017.

[15] Yoshua Bengio.人工智能中的深度結(jié)構(gòu)學(xué)習(xí)[M].北京:機(jī)械工業(yè)出版社,2017.