基于改進Leaders算子的審計潛在疑點發(fā)現(xiàn)

邵錦煒,林 俊,劉雅婷,肖嘉麗

(1.廣東電網(wǎng)有限責任公司云浮供電局,廣東 云浮 527300; 2.廣東電網(wǎng)有限責任公司信息中心,廣東 廣州 510620; 3.廣東電網(wǎng)有限責任公司揭陽供電局,廣東 揭陽 522000; 4.廣東電網(wǎng)有限責任公司,廣東 廣州 510620)

0 引 言

隨著企業(yè)業(yè)務(wù)數(shù)據(jù)量的增大，被審計單位的審計數(shù)據(jù)呈海量化的增長趨勢，已建立起TB甚至PB級的大數(shù)據(jù)庫[1]。面對海量審計數(shù)據(jù)，如何整合并充分利用這些數(shù)據(jù)，實現(xiàn)審計大數(shù)據(jù)的全覆蓋并從中發(fā)現(xiàn)疑點，是計算機審計面臨的迫切要求和全新挑戰(zhàn)。

目前計算機輔助審計主要采用審計數(shù)據(jù)庫語句查詢方法，該方法對審計人員的已有知識要求較高，需要審計人員對業(yè)務(wù)邏輯關(guān)系、數(shù)據(jù)勾稽關(guān)系等具有豐富的審計經(jīng)驗，但往往審計人員經(jīng)驗水平不一，當面對大型央企成百上千、行業(yè)千差萬別的下級公司和關(guān)聯(lián)公司時，巨大的數(shù)據(jù)量僅靠先驗知識難以面面俱到，此時經(jīng)驗式的語句查詢并不能充分發(fā)揮大數(shù)據(jù)在揭示數(shù)據(jù)疑點方面的優(yōu)勢。另外，審計經(jīng)驗往往落后于審計數(shù)據(jù)的發(fā)展，使得許多新的審計疑點不能被及時發(fā)現(xiàn)，給審計帶來風險。

數(shù)據(jù)挖掘[2]可以從大量不完全且隨機的數(shù)據(jù)中，提取潛在的有用信息。而聚類作為無監(jiān)督的數(shù)據(jù)挖掘方法，在無先驗知識的前提下揭示數(shù)據(jù)之間的內(nèi)在關(guān)系[3]，應(yīng)用于審計業(yè)務(wù)時，在選擇恰當?shù)膶徲嬛笜嘶A(chǔ)上，可以從海量數(shù)據(jù)中將具有審計疑點的少量數(shù)據(jù)進行聚類，從而配合審計人員審計經(jīng)驗快速精確定位審計疑點，既充分利用大數(shù)據(jù)優(yōu)勢又能揭示潛在的新的審計疑點。

目前，數(shù)據(jù)聚類技術(shù)在審計領(lǐng)域已有較多研究，王會金[4]采用數(shù)據(jù)挖掘技術(shù)構(gòu)建了計算機輔助審計的框架；秦志光等人[5]分析大數(shù)據(jù)環(huán)境云存儲技術(shù)的數(shù)據(jù)完整性，提出了基于云存儲技術(shù)的大數(shù)據(jù)審計；秦榮生[6]探討了大數(shù)據(jù)云計算技術(shù)對于審計大數(shù)據(jù)的影響；程平等人[7]引入了COBIT實施的促成因素，構(gòu)建了大數(shù)據(jù)審計環(huán)境下基于云會計的“互聯(lián)網(wǎng)+審計”模式。但這些研究大多停留在理論探討階段，較少涉及大數(shù)據(jù)審計實施問題。

針對大數(shù)據(jù)聚類，CLARANS算法[8]、CURE[9]算法通過隨機抽樣和樣本集劃分，消除異常點，完成大數(shù)據(jù)集聚類，但其收縮因子預(yù)設(shè)對算法效果影響較大；Vijaya等人[10]提出Leaders-subleaders層次聚類算法，基于Leaders算子，迭代計算subleader，提高了算法的聚類精度。Viswanath等人[11]提出了針對大數(shù)據(jù)的Rough-DBSCAN算法，利用Leaders算法進行初始聚類，然后針對獲得的代表點集，應(yīng)用DBSCAN算法進行再次聚類。

本文在已有研究基礎(chǔ)上，提出將改進Leaders算子的迭代式聚類方法用于發(fā)現(xiàn)審計大數(shù)據(jù)疑點，算法采用Leaders算法完成審計大數(shù)據(jù)的自動初始聚類，并通過隨機抽樣融合對初始聚類結(jié)果優(yōu)化，最后通過迭代聚類方法，對實例數(shù)較少或可疑程度易被掩蓋的小簇進一步聚類，實現(xiàn)審計大數(shù)據(jù)的精確聚類，并將實例較少的異常簇識別為潛在疑點，實驗驗證了算法在審計大數(shù)據(jù)疑點發(fā)現(xiàn)的有效性。

1 抽樣融合改進Leaders算子

聚類能夠在無先驗知識下，將具有共同特征屬性的數(shù)據(jù)聚成一個簇，而審計聚類中包含較少實例的簇，簡稱為“小簇”[12]，由于其與實例較多的“大簇”之間的檢測特征屬性差異較大，因此可被視為潛在的審計疑點。但在一組待審計大數(shù)據(jù)中，潛在的疑點簇和不相關(guān)小簇并不能依靠審計經(jīng)驗確定聚類中心數(shù)。為此，本文采用Leaders算法對審計大數(shù)據(jù)進行自動聚類，獲取初始聚類中心，然后通過抽樣融合方法對初始聚類中心進行優(yōu)化，從而精確確定潛在的疑點簇及不相關(guān)的小簇的聚類中心，為審計人員提供疑點發(fā)現(xiàn)指導(dǎo)。

1.1 Leaders算法審計大數(shù)據(jù)自動聚類

基于增量聚類的Leaders算法[13-14]能夠忽略聚類類別的歸屬模糊性，不需指定聚類中心數(shù)，僅掃描一遍數(shù)據(jù)并選取簇的leader代表點實現(xiàn)聚類，且僅存儲提取的leader，節(jié)省運行時間和存儲空間，對處理大規(guī)模數(shù)據(jù)十分有利[15]，其算法流程如算法1所示。

算法1Leaders算法

算法描述：根據(jù)Leaders算法對大規(guī)模數(shù)據(jù)進行聚類

Input：數(shù)據(jù)集X和距離閾值T

Initialization：

1.存放數(shù)據(jù)集leader的數(shù)組L初始化為空集Φ；

2.數(shù)據(jù)集含有的leader數(shù)l初始化為0;

Iteration:

3.for每一個數(shù)據(jù)點xido

4.for leader∈L且‖leader-xi‖≤T do

5.if (沒有滿足條件的leader或 L=Φ) then

6.L=L∪{xi};l=l+1;

7.else

8.將xi歸類為當前l(fā)eader代表類別中；

9.end if

10.end for

11.end for

Output:leader的集合L;leader的個數(shù)l;聚類結(jié)果

如圖1所示，Leaders算子能夠自動計算審計數(shù)據(jù)的聚類中心，但其對數(shù)據(jù)點的輸入順序敏感，易出現(xiàn)類內(nèi)相似性大于類間相似性情況，加之固定距離閾值的聚類方式，使得結(jié)果分布較為均勻，因此Leaders算子盡管可以得到審計數(shù)據(jù)的初始聚類中心，但聚類結(jié)果不能令人滿意。

圖1 Leaders算法中不好的聚類結(jié)果

為此，結(jié)合已有研究成果，本文以Leaders算法聚類中心為初始值，結(jié)合k-means算法，通過隨機抽樣融合方式對結(jié)果進行優(yōu)化，以期精確聚類審計疑點簇及不相關(guān)的小簇。

1.2 抽樣融合改進Leaders算法

以Leaders算法獲得的聚類中心作為初始值，進行多樣本集隨機抽樣和樣本集內(nèi)k-means[16]聚類，并對聚類后的樣本并集重新聚類，得到最終原始數(shù)據(jù)的聚類中心，既克服了Leaders算法的不足，又充分利用了k-means算法的優(yōu)勢，獲得較好的聚類效果。

1.2.1 數(shù)據(jù)抽樣

數(shù)據(jù)抽樣在降低數(shù)據(jù)量提高處理速度的同時將圖1交集部分數(shù)據(jù)分散到小樣本集中，從而在小樣本集內(nèi)重新進行聚類判斷。小樣本集以每個初始聚類中心進行隨機抽樣，其數(shù)據(jù)規(guī)模按文獻[15]方法計算：

(1)

式(1)中，f是抽取比例，n為審計數(shù)據(jù)量，ni為簇Ci數(shù)據(jù)量。式(1)表示以概率1-δ(0≤δ≤1)抽取至少f×ni個數(shù)據(jù)大小的樣本s，其計算的數(shù)據(jù)規(guī)模僅占原始數(shù)據(jù)較少的比例[15]。

最理想的抽樣應(yīng)覆蓋原始審計大數(shù)據(jù)的所有類別，但為控制樣本集數(shù)據(jù)量以發(fā)揮k-means算法優(yōu)勢，單個樣本集聚類中心會偏離原始大數(shù)據(jù)聚類中心，且聚類中心也不能很好地覆蓋所有原大數(shù)據(jù)集的所有類別，為此，本文對每個Leaders初始聚類中心進行多次隨機抽樣，一方面大數(shù)據(jù)初始簇中由于Leaders算法不精確導(dǎo)致的不同類別數(shù)據(jù)，經(jīng)多次隨機抽樣后，可以等概率地進入樣本集中，從而形成新的聚類中心，另一方面，圖1交集數(shù)據(jù)經(jīng)隨機抽樣后，也會等概率地進入樣本集中，通過重新聚類而明確這些數(shù)據(jù)的類別，因此，對Leaders初始聚類中心進行多次隨機抽樣，可以使初始聚類錯誤的數(shù)據(jù)以及圖1中的交叉數(shù)據(jù)等概率地進入樣本集而重新聚類，以使抽樣樣本集的并集可以最大程度地覆蓋原始大數(shù)據(jù)的所有類別。在此基礎(chǔ)上采用如圖2所示的多樣本集聚類中心融合的方法計算樣本集并集的聚類中心，從而最大程度地還原原始審計大數(shù)據(jù)的聚類中心。對Leaders初始聚類中心進行多次隨機抽樣，既保證k-means算法所需的樣本規(guī)模足夠小，又保證了抽樣樣本并集對原始大數(shù)據(jù)自然簇的理想覆蓋。

1.2.2 樣本集并集聚類中心的確定

如圖2所示，根據(jù)式(1)計算的樣本集規(guī)模，對Leaders初始聚類中心進行多次隨機抽樣，形成數(shù)據(jù)規(guī)模較少的多個樣本集，然后對每個樣本集進行經(jīng)典的k-means算法聚類，其中k的初始值設(shè)為Leaders算法初始聚類中心數(shù)，以解決k-means算法迭代次數(shù)依賴于初始聚類中心的NP難題，同時，由于單樣本集聚類過程都是獨立進行，可以采用并行處理加速樣本集聚類。

圖2 多樣本集聚類中心融合過程改進Leaders算法

設(shè)所有樣本集進行聚類后，第i個單樣本集覆蓋類別為ki(1≤ki≤k)，將所有樣本集合并得到k(k=k1+k2+…+km)個聚類簇，計算每個簇的均值：

(2)

其中，xi為簇Ci的均值，ni為其數(shù)據(jù)量，xij為某個數(shù)據(jù)屬性。采用自下而上的層次聚類方法，計算每2個簇之間的均值距離：

dis=|xi-xj|2

(3)

當小于預(yù)設(shè)的閾值T時，則合并2個簇，并重新計算其均值，對樣本并集所有聚類中心融合聚類后，最大程度地得到原始數(shù)據(jù)的聚類中心數(shù)及初始位置。

對抽樣剩余的數(shù)據(jù)，按式(4)規(guī)則進行聚類，以此完成所有數(shù)據(jù)的重新精確聚類。

(4)

其中，xi為融合聚類中心位置，xΔ為抽樣剩余數(shù)據(jù)。

2 基于改進Leaders算子的審計疑點發(fā)現(xiàn)

在選取審計關(guān)注點，整理數(shù)據(jù)后，首先通過Leaders算法獲取數(shù)據(jù)的初始聚類中心，然后采用隨機抽樣融合和k-means方法對初始聚類進行優(yōu)化，從而最大程度地獲得原始審計大數(shù)據(jù)的精確聚類，將聚類中實例數(shù)占比小于10%的簇視為審計疑點小簇，輔助審計人員進行準確疑點判斷。

但由于等概率隨機抽樣融合容易對過小小簇抽樣數(shù)據(jù)較少而無法在樣本集中形成聚類中心，或可疑程度較低的疑點通常會被可疑程度更高的疑點所掩蓋，從而使得采用改進Leaders算法聚類后，仍會存在可疑小簇不能被準確聚類，如圖3所示，圖中*、△和×表示數(shù)據(jù)實例，同圓中的實例為一個簇，由圖可見，虛線圓外的小簇中的實例與其他多數(shù)實例差異較大，可被視為審計疑點，但虛線圓內(nèi)中除去實線圓內(nèi)數(shù)據(jù)為一類外，還存在未被準確聚類的小簇，如果僅采用一次聚類，則不能篩除這些疑點小簇。為此，在進行一次聚類篩除疑點小簇后，將數(shù)據(jù)實例較多的大簇重復(fù)迭代進行聚類，直到達到滿足要求的小簇數(shù)或迭代次數(shù)為止。重復(fù)聚類過程中，對于數(shù)據(jù)實例巨大的簇，采用改進Leaders算法進行聚類，而對于數(shù)據(jù)量不大的簇，可以直接采用k-means等聚類方法。

圖3 二維特征實例的聚類過程與結(jié)果

3 實驗驗證

實驗采用仿真數(shù)據(jù)集和真實數(shù)據(jù)集來測試本文算法對審計疑點發(fā)現(xiàn)性能，仿真數(shù)據(jù)采用IBM數(shù)據(jù)生成器[17]生成，并與已有方法進行性能比較，真實數(shù)據(jù)集為網(wǎng)上的公開數(shù)據(jù)，通過證監(jiān)會等機構(gòu)公開的處罰信息進行驗證。

3.1 人工生成數(shù)據(jù)集實驗分析

(a) 數(shù)據(jù)集1 (b) 數(shù)據(jù)集2圖4 仿真數(shù)據(jù)集幾何形狀

如圖4所示，實驗選用二維空間上2個人工數(shù)據(jù)集，表1給出了數(shù)據(jù)集的基本信息并增加不同數(shù)量的隨機噪聲點，實驗運行在Intel(R) Core(TM) i5-2540M-CPU@2.60 GHz，4 GB的計算機上。

表1 仿真數(shù)據(jù)集基本信息

數(shù)據(jù)集數(shù)據(jù)量噪聲數(shù)數(shù)據(jù)集形狀簇數(shù)據(jù)集11500001500同規(guī)模的圓4數(shù)據(jù)集2950001000圓環(huán)與圓3

1)改進算法參數(shù)對聚類性能影響分析。

影響算法聚類性能的主要參數(shù)為隨機抽樣次數(shù)m，圖5顯示參數(shù)m的變化與算法所需時間情況，其中數(shù)據(jù)集3為2個數(shù)據(jù)集的合集?？梢钥闯?，隨著m增加，樣本并集對原始自然簇的覆蓋更加理想，但同時算法運行時間越來越長，隨著m繼續(xù)增加，算法時間的增加有所緩和，這主要因為單樣本集聚類時采用并行算法，當樣本集達到一定規(guī)模后，增加抽樣次數(shù)對算法整體運行時間的影響不明顯。

圖5 3種算法運行時間隨總樣本數(shù)變化曲線

從實驗結(jié)果可知，當m取較小值時，算法運行時間較少，但樣本集難以區(qū)分原始數(shù)據(jù)集的聚類情況，而當m值增大，樣本原始類別的覆蓋更加理想，但運行時間也隨之增加。因此m的選取要兼顧算法的聚類效果和運行時間。

2)聚類效果對比。

實驗選用Rough-DBSCAN算法進行聚類效果對比。聚類效果的評價指標定義為非噪聲點的分類準確率，記為F。

將Rough-DBSCAN算法與本文算法應(yīng)用于圖4的2個仿真數(shù)據(jù)集，并設(shè)置相同距離閾值T和鄰域半徑r，對2種算法的聚類結(jié)果如表2所示，可以看出，本文算法處理凸狀數(shù)據(jù)集1和混合狀數(shù)據(jù)集2時，其聚類的效果要優(yōu)于Rough-DBSCAN算法。

表2 聚類效果對比實驗結(jié)果

數(shù)據(jù)集參 數(shù)Rough-DBSCANLeaders-k-meansTrlFm×sF數(shù)據(jù)集10.3265016970.973230190.9810數(shù)據(jù)集20.1930013090.921521550.9581

3.2 真實的聚類實驗分析

為保證財務(wù)審計數(shù)據(jù)的保密需要，本文針對企業(yè)利潤問題，以營業(yè)收入增長率、營業(yè)利潤增長率、利潤總額增長率、凈利潤增長率作為分析指標，通過網(wǎng)絡(luò)爬行技術(shù)選取2008～2015年度1079家滬市上市公司在互聯(lián)網(wǎng)公開的財報數(shù)據(jù)作為研究樣本，從中抽取并計算上述指標，形成有效實例數(shù)29650條，實驗中算法迭代聚類次數(shù)設(shè)置為5次。

采用本文方法對數(shù)據(jù)聚類后，如圖6所示為5次迭代后數(shù)據(jù)的聚類結(jié)果，可以看出根據(jù)4個指標上述數(shù)據(jù)被聚成5簇，第0簇4個指標都比較均衡，增長率在100%以下，其實例數(shù)占比為99.88%，而第1～4簇，其實例占比均在0.03%，且各指標之間變化異常，即為潛在的疑點小簇。

圖6 5次聚類后各簇指標特點

第一次聚類發(fā)現(xiàn)的是可疑程度最高的公司，如圖6中第3簇和第4簇中的實例，而第1簇中的實例，其上百倍利潤增長率卻易被增長率上萬倍的公司所掩蓋，因而第一次聚類時不易被檢測出，但經(jīng)過多次迭代聚類后，其異常值最終被聚出為疑點小簇。

根據(jù)實驗聚類結(jié)果顯示，上述1079家公司中共發(fā)現(xiàn)68家數(shù)據(jù)表現(xiàn)有異常的公司。

進一步通過證監(jiān)會、上交所等機構(gòu)公開的處罰信息對實驗聚類疑點小簇進行驗證，發(fā)現(xiàn)在68家可疑公司中，不少收到了上海交易所、證監(jiān)會等的整改通知甚至是行政處罰，從而驗證了本文算法對審計數(shù)據(jù)疑點發(fā)現(xiàn)的有效性。

另外，聚類挖掘的疑點公司并不都存在問題，其結(jié)果表明疑點小簇中的實例出現(xiàn)問題的概率更高，但最終的疑點確認需要審計人員完成。

4 結(jié)束語

為實現(xiàn)從海量數(shù)據(jù)中發(fā)現(xiàn)潛在的審計疑點，以輔助審計人員高效準確完成大數(shù)據(jù)審計，本文以聚類實例較少的小簇作為潛在的審計疑點，提出一種基于改進Leaders算子的審計大數(shù)據(jù)疑點發(fā)現(xiàn)算法，算法在Leaders算法自動完成審計大數(shù)據(jù)的初始聚類基礎(chǔ)上，通過隨機抽樣融合方法對審計大數(shù)據(jù)的聚類結(jié)果進行優(yōu)化，通過多次迭代聚類的方法，對實例數(shù)較少或可疑程度易被掩蓋的小簇進一步聚類，從而實現(xiàn)對審計大數(shù)據(jù)的精確聚類，并以聚類實例較少的小簇作為潛在疑點，完成潛在審計疑點的發(fā)現(xiàn)。仿真數(shù)據(jù)實驗和真實數(shù)據(jù)實驗驗證了本文算法的有效性。

參考文獻：

[1] 程平,陳珊. 大數(shù)據(jù)時代基于DBSCAN聚類方法的審計抽樣[J]. 中國注冊會計師, 2016(4):76-79.

[2] 盧志茂,馮進玫,范冬梅,等. 面向大數(shù)據(jù)處理的劃分聚類新方法[J]. 系統(tǒng)工程與電子技術(shù), 2014,36(5):1010-1015.

[3] 余曉東,雷英杰,岳韶華,等. 基于粒子群優(yōu)化的直覺模糊核聚類算法研究[J]. 通信學(xué)報, 2015,36(5):74-80.

[4] 王會金. 中觀信息系統(tǒng)審計風險控制體系研究——以COBIT框架與數(shù)據(jù)挖掘技術(shù)相結(jié)合為視角[J]. 審計與經(jīng)濟研究, 2012,27(1):16-23.

[5] 秦志光,王士雨,趙洋,等. 云存儲服務(wù)的動態(tài)數(shù)據(jù)完整性審計方案[J]. 計算機研究與發(fā)展, 2015,52(10):2192-2199.

[6] 秦榮生. 大數(shù)據(jù)、云計算技術(shù)對審計的影響研究[J]. 審計研究, 2014(6):23-28.

[7] 程平,范珂. 云會計環(huán)境下基于COBIT標準的“互聯(lián)網(wǎng)+審計”模式研究[J]. 財務(wù)與會計, 2016(8):59-61.

[8] Ng R T, Han Jiawei. CLARANS: A method for clustering objects for spatial data mining[J]. IEEE Transactions on Knowledge and Data Engineering, 2002,14(5):1003-1016.

[9] Guha S, Rastogi R, Shim K. CURE: An efficient clustering algorithm for large databases[J]. Information Systems, 2001,26(1):35-58.

[10] Vijaya P A, Murty M N, Subramanian D K. Leaders-subleaders: An efficient hierarchical clustering algorithm for large data sets[J]. Pattern Recognition Letters, 2004,25(4):505-513.

[11] Viswanath P, Babu V S. Rough-DBSCAN: A fast hybrid density based clustering method for large data sets[J]. Pattern Recognition Letters, 2009,30(16):1477-1488.

[12] 楊蘊毅,孫中和,盧靖. 基于迭代式聚類的審計疑點發(fā)現(xiàn)——以上市公司財報數(shù)據(jù)為例[J]. 審計研究, 2015(4):60-66.

[13] 張瓊,張瑩,白清源,等. 一種新的基于粗糙集的leader聚類算法[J]. 計算機科學(xué), 2008,35(3):177-179.

[14] 張燕平,張娟,何成剛,等. 基于佳點集與Leader方法的改進K-means聚類算法[J]. 計算機應(yīng)用, 2011,31(5):1359-1362.

[15] 隋玉敏,孫秀芳,武優(yōu)西,等. 負投影梯度的特征權(quán)重Leader聚類算法[J]. 小型微型計算機系統(tǒng), 2014,35(9):2147-2150.

[16] 李斌,王勁松,黃瑋. 一種大數(shù)據(jù)環(huán)境下的新聚類算法[J]. 計算機科學(xué), 2015,42(12):247-250.

[17] HPC Lab. Frequent Set Counting[EB/OL]. http://miles.cnuce.cnr.it/～palmeri/datam/DCI/datasets.php, 2013-08-24.