• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    大數(shù)據(jù)驅(qū)動(dòng)的審計(jì)知識(shí)庫(kù)建設(shè)與應(yīng)用

    2022-02-14 09:28:54黃佳佳博士李鵬偉博士教授
    財(cái)會(huì)月刊 2022年3期
    關(guān)鍵詞:三元組知識(shí)庫(kù)語(yǔ)料

    黃佳佳(博士),李鵬偉(博士),徐 超(教授)

    一、引言

    在信息爆炸的時(shí)代背景下,審計(jì)對(duì)象所產(chǎn)生的數(shù)據(jù)量日益龐大,進(jìn)而對(duì)現(xiàn)有審計(jì)數(shù)據(jù)基礎(chǔ)和審計(jì)分析方法提出了新要求。國(guó)家審計(jì)署相關(guān)領(lǐng)導(dǎo)也指出,應(yīng)推進(jìn)以大數(shù)據(jù)為核心的審計(jì)信息化建設(shè),構(gòu)建大數(shù)據(jù)審計(jì)工作模式,積極開(kāi)展審計(jì)大數(shù)據(jù)的綜合利用[1]。討論和運(yùn)用大數(shù)據(jù)思想與技術(shù)創(chuàng)新當(dāng)前審計(jì)工作模式就不可避免地涉及對(duì)審計(jì)文本大數(shù)據(jù)的處理。現(xiàn)有關(guān)于大規(guī)模文本數(shù)據(jù)的研究和應(yīng)用大多是采用互聯(lián)網(wǎng)文本,如微博、新聞、網(wǎng)絡(luò)評(píng)論等,而采用審計(jì)領(lǐng)域相關(guān)文本的研究相對(duì)較少。人工智能領(lǐng)域?qū)<艺J(rèn)為,有效利用大數(shù)據(jù)價(jià)值的主要任務(wù)不是獲取越來(lái)越多的數(shù)據(jù),而是從數(shù)據(jù)中挖掘知識(shí),對(duì)知識(shí)進(jìn)行有效的組織關(guān)聯(lián),并用其解決實(shí)際問(wèn)題[2]。從大數(shù)據(jù)技術(shù)與不同領(lǐng)域結(jié)合應(yīng)用的效果來(lái)看,大數(shù)據(jù)技術(shù)的應(yīng)用效果也與領(lǐng)域高度相關(guān),即當(dāng)擁有領(lǐng)域相關(guān)知識(shí)支撐時(shí),往往文本挖掘技術(shù)的應(yīng)用效果更佳。本文總結(jié)分析了審計(jì)文本數(shù)據(jù)的來(lái)源及特點(diǎn),認(rèn)為審計(jì)文本具有領(lǐng)域特殊性,因此有必要構(gòu)建審計(jì)領(lǐng)域知識(shí)庫(kù),使得采用大數(shù)據(jù)分析方法和人工智能文本分析方法分析審計(jì)文本時(shí)準(zhǔn)確性更高、可理解性更強(qiáng)。

    在大數(shù)據(jù)時(shí)代,知識(shí)圖譜不僅改變了搜索模式,也改變了文本分析技術(shù)。知識(shí)圖譜與語(yǔ)義分析相結(jié)合可使得語(yǔ)義搜索更加準(zhǔn)確、智能推薦更稱(chēng)心如意,也可以實(shí)現(xiàn)自動(dòng)問(wèn)答、人機(jī)對(duì)話等新智能體驗(yàn)。審計(jì)作為一項(xiàng)具有較多專(zhuān)家經(jīng)驗(yàn)參與其中的工作,基于大數(shù)據(jù)構(gòu)建的審計(jì)知識(shí)圖譜可以幫助審計(jì)人員快速排查審計(jì)風(fēng)險(xiǎn)點(diǎn)、有效提升審計(jì)工作效率、降低審計(jì)風(fēng)險(xiǎn),進(jìn)而實(shí)現(xiàn)審計(jì)智能化?;诖?,本文提出了一種大數(shù)據(jù)驅(qū)動(dòng)的審計(jì)領(lǐng)域知識(shí)庫(kù)構(gòu)建方法(該審計(jì)知識(shí)庫(kù)可對(duì)外開(kāi)放共享),并探討了其在審計(jì)業(yè)務(wù)中的應(yīng)用方式。

    二、文獻(xiàn)綜述

    學(xué)者們普遍認(rèn)為審計(jì)所用的數(shù)據(jù)早已超越了統(tǒng)計(jì)和抽樣調(diào)查,審計(jì)數(shù)據(jù)具備海量、異構(gòu)、多樣等大數(shù)據(jù)特性[1,3]。秦榮生[4]認(rèn)為大數(shù)據(jù)有助于實(shí)現(xiàn)審計(jì)監(jiān)督全覆蓋,而數(shù)據(jù)綜合分析可幫助提升解釋審計(jì)問(wèn)題和風(fēng)險(xiǎn)的深度與廣度。在審計(jì)技術(shù)方面,有學(xué)者開(kāi)始考慮文本挖掘在審計(jì)領(lǐng)域的應(yīng)用。張志恒等[5]構(gòu)建了審計(jì)領(lǐng)域的文本挖掘框架,并探討了若干種文本挖掘方法在審計(jì)領(lǐng)域的應(yīng)用,為文本數(shù)據(jù)審計(jì)提供了新方向和新思路。此外,也有學(xué)者將文本挖掘方法應(yīng)用到審計(jì)實(shí)務(wù)中,主要包括文本關(guān)鍵詞抽取與標(biāo)簽云展示、文本相似度計(jì)算、文本情感分析、關(guān)聯(lián)規(guī)則挖掘等[3,6],采用這些技術(shù)的目的是從被審計(jì)單位的相關(guān)文件中發(fā)現(xiàn)審計(jì)疑點(diǎn)、總結(jié)投訴人員特點(diǎn)、評(píng)估被審計(jì)單位政策執(zhí)行情況、評(píng)估銀行信貸申請(qǐng)報(bào)告的情感傾向、挖掘上市公司的交易網(wǎng)絡(luò)和審計(jì)費(fèi)用與盈余質(zhì)量的關(guān)系等[3,6,7]。

    當(dāng)前審計(jì)文本數(shù)據(jù)挖掘主要是直接利用現(xiàn)有文本挖掘算法,鮮有研究深入考慮審計(jì)領(lǐng)域?qū)I(yè)性對(duì)文本挖掘方法的挑戰(zhàn)。顧圣杰等[8]探討了知識(shí)圖譜在審計(jì)風(fēng)險(xiǎn)識(shí)別方面的應(yīng)用價(jià)值,認(rèn)為基于專(zhuān)家先驗(yàn)知識(shí)的知識(shí)圖譜能夠提升審計(jì)效率、實(shí)現(xiàn)審計(jì)智能化和審計(jì)風(fēng)險(xiǎn)點(diǎn)全覆蓋。在通用領(lǐng)域,國(guó)內(nèi)外學(xué)者已構(gòu)建的代表性知識(shí)庫(kù)包括Freebase[9]、Word-Net[10]等。但這些知識(shí)庫(kù)并非為審計(jì)領(lǐng)域?qū)iT(mén)構(gòu)建的,因而其可能沒(méi)有包含審計(jì)領(lǐng)域?qū)I(yè)詞匯,以及這些詞匯/概念的語(yǔ)義信息及相互之間的關(guān)系。

    三、審計(jì)大數(shù)據(jù)與文本數(shù)據(jù)審計(jì)

    大數(shù)據(jù)時(shí)代的到來(lái)給政府和企業(yè)的財(cái)務(wù)管理和審計(jì)工作都帶來(lái)了巨大變化。這種變化不僅意味著審計(jì)數(shù)據(jù)規(guī)模越來(lái)越大,而且意味著審計(jì)技術(shù)與方法具有大數(shù)據(jù)特征。

    1.審計(jì)大數(shù)據(jù)。多數(shù)學(xué)者認(rèn)為,進(jìn)入大數(shù)據(jù)時(shí)代后,審計(jì)環(huán)境、審計(jì)數(shù)據(jù)與審計(jì)技術(shù)等都需要或者正在發(fā)生較大變革,審計(jì)正在進(jìn)入審計(jì)大數(shù)據(jù)時(shí)代[1]。那么,什么是審計(jì)大數(shù)據(jù)?呂天陽(yáng)等[1]認(rèn)為,審計(jì)大數(shù)據(jù)是“在大數(shù)據(jù)時(shí)代開(kāi)展審計(jì)監(jiān)督所需的審計(jì)對(duì)象自身或與其相關(guān)對(duì)象的各類(lèi)數(shù)據(jù)及其分析手段的統(tǒng)稱(chēng)”。

    由于審計(jì)對(duì)象自身提供的財(cái)務(wù)數(shù)據(jù)可能存在造假等問(wèn)題,因而無(wú)法滿足審計(jì)需求。當(dāng)前的合規(guī)性審計(jì)所需數(shù)據(jù)越來(lái)越多樣化、多源化。此外,國(guó)家審計(jì)也在關(guān)注績(jī)效審計(jì)、政策落實(shí)跟蹤審計(jì)等。這些審計(jì)內(nèi)容涉及的數(shù)據(jù)來(lái)源范圍廣、覆蓋面大,使得國(guó)家審計(jì)需要在原有審計(jì)數(shù)據(jù)基礎(chǔ)上進(jìn)一步擴(kuò)大數(shù)據(jù)來(lái)源,綜合使用不同部門(mén)提供的數(shù)據(jù),如財(cái)政部、商務(wù)部、國(guó)家統(tǒng)計(jì)局等。

    可以說(shuō)審計(jì)大數(shù)據(jù)的數(shù)據(jù)來(lái)源是以領(lǐng)域政務(wù)大數(shù)據(jù)為基礎(chǔ),并包括與各審計(jì)對(duì)象相關(guān)的社會(huì)大數(shù)據(jù)與互聯(lián)網(wǎng)大數(shù)據(jù)。這些數(shù)據(jù)來(lái)源不同、類(lèi)型各異,整合和有效利用大規(guī)模的審計(jì)數(shù)據(jù)變得更加困難,進(jìn)而對(duì)審計(jì)技術(shù)提出了更高的要求,即以關(guān)系數(shù)據(jù)為基礎(chǔ)的傳統(tǒng)SQL查詢(xún)分析手段已顯得捉襟見(jiàn)肘。趙琛[11]認(rèn)為,面向非結(jié)構(gòu)化文本、面向?qū)ο箝g網(wǎng)狀關(guān)系的智能分析方式是未來(lái)審計(jì)技術(shù)創(chuàng)新的重要方向。

    2.文本數(shù)據(jù)審計(jì)。在審計(jì)大數(shù)據(jù)時(shí)代,海量的多源異構(gòu)數(shù)據(jù)極大地拓展了審計(jì)數(shù)據(jù)的范圍。例如,在企業(yè)內(nèi)部審計(jì)中,審計(jì)對(duì)象已不再局限于與被審計(jì)單位財(cái)務(wù)相關(guān)的數(shù)據(jù),被審計(jì)單位內(nèi)部的規(guī)章制度、會(huì)議記錄、合同通知等文本數(shù)據(jù)也是重點(diǎn)審計(jì)對(duì)象;此外,與被審計(jì)單位相關(guān)的互聯(lián)網(wǎng)文本,如單位新聞、股票評(píng)論等也具有重要的輔助價(jià)值[5]。通過(guò)對(duì)非結(jié)構(gòu)化文本的分析挖掘,可以更加全面地評(píng)估被審計(jì)單位的內(nèi)部控制情況、違法違規(guī)問(wèn)題等。

    在面向文本數(shù)據(jù)的審計(jì)工作中,常用的文本挖掘技術(shù)包括文本檢索、關(guān)聯(lián)特征挖掘、分類(lèi)、聚類(lèi)、提取關(guān)鍵詞、構(gòu)建文本摘要、結(jié)果可視化等。例如:通過(guò)文本檢索技術(shù)可使審計(jì)人員快速找到相關(guān)法律法規(guī),也可快速檢索到被審計(jì)對(duì)象的相關(guān)文檔,如通知公告、政策文件等;通過(guò)文本相似性分析(如聚類(lèi)、分類(lèi))技術(shù)分析銀行信貸客戶的調(diào)查報(bào)告可迅速評(píng)估報(bào)告編寫(xiě)員工的履職情況,進(jìn)而有效降低內(nèi)部控制合規(guī)風(fēng)險(xiǎn)[6]。

    四、審計(jì)知識(shí)庫(kù)建設(shè)

    審計(jì)知識(shí)庫(kù)構(gòu)建框架如圖1所示,其構(gòu)建過(guò)程包含如下幾個(gè)步驟:①審計(jì)領(lǐng)域?qū)I(yè)詞典收集與標(biāo)注:基于專(zhuān)家指定的小規(guī)模種子詞匯迭代式獲取百科文本超鏈接詞匯,最后人工標(biāo)注出專(zhuān)業(yè)詞匯。②審計(jì)專(zhuān)業(yè)詞典的語(yǔ)義向量訓(xùn)練:基于審計(jì)領(lǐng)域詞典的大規(guī)模百科文本及領(lǐng)域的其他文本資料,利用深度學(xué)習(xí)算法訓(xùn)練審計(jì)專(zhuān)業(yè)詞匯的詞向量。③審計(jì)領(lǐng)域知識(shí)圖譜構(gòu)建:邀請(qǐng)審計(jì)領(lǐng)域?qū)<覙?gòu)建審計(jì)領(lǐng)域本體知識(shí)框架,利用百科文本的infobox信息抽取審計(jì)三元組構(gòu)建審計(jì)知識(shí)圖譜。

    圖1 審計(jì)知識(shí)庫(kù)構(gòu)建框架

    1.審計(jì)領(lǐng)域詞匯表構(gòu)建。在文本挖掘中,一般首先需要對(duì)文本進(jìn)行分詞,然后才能實(shí)施關(guān)鍵詞檢索、分類(lèi)、聚類(lèi)等。分詞就是將連續(xù)的句子單元分割成若干個(gè)詞匯。例如,對(duì)“切實(shí)加強(qiáng)領(lǐng)導(dǎo)干部經(jīng)濟(jì)責(zé)任審計(jì)工作,對(duì)規(guī)范權(quán)力運(yùn)行、促進(jìn)依法行政、推進(jìn)國(guó)家治理體系和治理能力現(xiàn)代化具有重要意義”這一文本,需分割成“切實(shí) 加強(qiáng) 領(lǐng)導(dǎo)干部經(jīng)濟(jì)責(zé)任審計(jì)工作規(guī)范權(quán)力運(yùn)行促進(jìn)依法行政推進(jìn)國(guó)家治理體系 治理能力現(xiàn)代化 具有重要意義”。由于審計(jì)文本具有較強(qiáng)的領(lǐng)域?qū)I(yè)性,即存在較多專(zhuān)業(yè)詞匯,如“領(lǐng)導(dǎo)干部經(jīng)濟(jì)責(zé)任審計(jì)”“國(guó)家治理體系”等,直接使用當(dāng)前的通用文本挖掘軟件(如HanLP、Jieba等)往往無(wú)法識(shí)別這些詞匯。例如:使用HanLP對(duì)上述句子進(jìn)行分詞時(shí),會(huì)將“領(lǐng)導(dǎo)干部經(jīng)濟(jì)責(zé)任審計(jì)”這一專(zhuān)業(yè)名詞分割成“領(lǐng)導(dǎo)”“干部”“經(jīng)濟(jì)”“責(zé)任”“審計(jì)”5個(gè)詞匯。這些零散的詞匯難以表達(dá)原來(lái)專(zhuān)業(yè)術(shù)語(yǔ)的語(yǔ)義內(nèi)涵,進(jìn)而降低了后續(xù)文本挖掘方法的準(zhǔn)確性。

    因此,本文認(rèn)為,提高文本挖掘技術(shù)在審計(jì)領(lǐng)域應(yīng)用效果的首要工作即為構(gòu)建審計(jì)領(lǐng)域?qū)I(yè)詞典。為此,本文通過(guò)一種貪心式爬蟲(chóng)技術(shù)從百度百科詞條中自動(dòng)獲取審計(jì)領(lǐng)域相關(guān)詞匯,具體而言包括如下步驟:①請(qǐng)審計(jì)領(lǐng)域?qū)I(yè)人員人工構(gòu)建一個(gè)較小規(guī)模的審計(jì)領(lǐng)域核心種子詞匯(共500個(gè)詞匯),包括“中華人民共和國(guó)審計(jì)署”“政府審計(jì)”“三公經(jīng)費(fèi)”等詞匯。②利用網(wǎng)絡(luò)爬蟲(chóng)技術(shù)從百度百科中爬取這些詞匯的超鏈接詞匯,如從“中華人民共和國(guó)審計(jì)署”的百度百科信息中可獲得超鏈接詞匯“審計(jì)署”“中國(guó)審計(jì)報(bào)社”“審計(jì)署外交外事審計(jì)局”“侯凱”“中華人民共和國(guó)審計(jì)法”等詞條。③將上述超鏈接詞匯加入到種子詞匯集中,繼續(xù)爬取這些詞匯的超鏈接詞匯。④經(jīng)過(guò)3輪爬蟲(chóng),即可獲得數(shù)十萬(wàn)條候選審計(jì)領(lǐng)域?qū)I(yè)詞匯及其百度百科文本。此外,我們也從互聯(lián)網(wǎng)上搜索到審計(jì)專(zhuān)業(yè)詞匯的中英文對(duì)照表,進(jìn)而獲得擴(kuò)展候選詞表。⑤針對(duì)上述候選詞匯,邀請(qǐng)3位審計(jì)領(lǐng)域?qū)<疫M(jìn)行人工標(biāo)注并剔除不相干詞匯。若2位以上專(zhuān)家認(rèn)為該詞匯非領(lǐng)域相關(guān)詞匯,則剔除該詞匯。最后,共獲得28792個(gè)審計(jì)領(lǐng)域相關(guān)詞匯。此外,在人工標(biāo)注過(guò)程中,我們還對(duì)相關(guān)詞匯進(jìn)行了分類(lèi),類(lèi)別包括領(lǐng)域?qū)S忻~、領(lǐng)域核心詞匯、人名、機(jī)構(gòu)名和相關(guān)詞匯,匯總信息如表1所示。

    表1 審計(jì)領(lǐng)域詞匯表統(tǒng)計(jì)匯總

    表1中,領(lǐng)域核心詞匯僅指審計(jì)領(lǐng)域常用的核心詞,而領(lǐng)域?qū)S忻~主要包含審計(jì)領(lǐng)域各類(lèi)法律法規(guī)及準(zhǔn)則名稱(chēng),人名主要包括審計(jì)、會(huì)計(jì)、經(jīng)濟(jì)管理領(lǐng)域著名的人物姓名,機(jī)構(gòu)名包括我國(guó)各審計(jì)機(jī)關(guān)、國(guó)內(nèi)外銀行、國(guó)內(nèi)外知名企業(yè)及大學(xué)等,相關(guān)詞匯主要包括審計(jì)、會(huì)計(jì)、經(jīng)濟(jì)管理領(lǐng)域常用的詞匯。

    2.審計(jì)領(lǐng)域詞向量訓(xùn)練。在當(dāng)前基于深度學(xué)習(xí)的文本挖掘技術(shù)中,使用詞向量(Word embedding)作為詞匯的語(yǔ)義表達(dá)形式已成為一種共識(shí)?;贖arris[12]提出的分布假說(shuō),詞向量即上下文相似的詞匯,其語(yǔ)義也相似。基于神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型,如CBOW和Sikp-gram模型[13],在大規(guī)模文本上訓(xùn)練出的詞向量可有效表達(dá)詞匯之間的語(yǔ)義相似性,進(jìn)而更加有效地度量文本之間的相似性,從而提高文本分類(lèi)、文本聚類(lèi)等任務(wù)的準(zhǔn)確性。

    詞向量所表達(dá)的語(yǔ)義與訓(xùn)練該向量的文本語(yǔ)料密切相關(guān)。例如,與通用語(yǔ)料(維基百科語(yǔ)料)相比,利用本文構(gòu)建的審計(jì)領(lǐng)域語(yǔ)料訓(xùn)練出的詞向量模型與審計(jì)專(zhuān)業(yè)詞匯最相似的詞匯集合并不一致(這里對(duì)兩種語(yǔ)料進(jìn)行分詞時(shí),均導(dǎo)入了本文構(gòu)建的審計(jì)領(lǐng)域詞表)。表2展示了在兩種語(yǔ)料下分別訓(xùn)練出的詞向量中,部分審計(jì)領(lǐng)域詞匯中排名前五的最相似詞匯的差異。

    從表2可以看出,對(duì)于一些在通用領(lǐng)域和審計(jì)領(lǐng)域共用但語(yǔ)義差距較大的詞匯,使用審計(jì)領(lǐng)域文本語(yǔ)料訓(xùn)練出的詞向量更能表達(dá)這些詞匯在審計(jì)領(lǐng)域的語(yǔ)義概念,這些詞匯的相似詞匯也均為審計(jì)領(lǐng)域詞匯,而通用語(yǔ)料訓(xùn)練出的詞向量無(wú)法準(zhǔn)確度量這些領(lǐng)域詞匯之間的語(yǔ)義相似性;對(duì)于審計(jì)和會(huì)計(jì)領(lǐng)域詞匯,通用語(yǔ)料訓(xùn)練出的詞向量更能表達(dá)審計(jì)領(lǐng)域經(jīng)常共同出現(xiàn)的詞匯,這對(duì)提高審計(jì)領(lǐng)域文本搜索準(zhǔn)確性而言意義重大。

    表2 不同語(yǔ)料訓(xùn)練出的語(yǔ)義相似詞匯對(duì)比

    因此,有必要收集審計(jì)領(lǐng)域?qū)I(yè)文本來(lái)訓(xùn)練審計(jì)領(lǐng)域?qū)I(yè)詞匯的詞向量。本文在標(biāo)注審計(jì)專(zhuān)業(yè)詞匯后,將這些專(zhuān)業(yè)詞匯對(duì)應(yīng)的百度百科文本也保留下來(lái)作為部分訓(xùn)練語(yǔ)料,共包括2403條百科詞條。此外,本文還收集了審計(jì)領(lǐng)域的其他文本數(shù)據(jù)來(lái)構(gòu)建訓(xùn)練語(yǔ)料庫(kù),包括審計(jì)和會(huì)計(jì)電子教材、各審計(jì)機(jī)關(guān)網(wǎng)站的新聞和公告等、審計(jì)/會(huì)計(jì)等法律準(zhǔn)則。語(yǔ)料統(tǒng)計(jì)信息如表3所示。

    對(duì)上述收集到的原始文本語(yǔ)料進(jìn)行文本清洗等預(yù)處理,共獲得53695條審計(jì)領(lǐng)域文本語(yǔ)料。將上文構(gòu)建的審計(jì)領(lǐng)域?qū)I(yè)詞匯表導(dǎo)入分詞軟件jieba中,對(duì)上述語(yǔ)料進(jìn)行分詞、剔除停用詞處理。將處理完成后的語(yǔ)料投入到詞向量模型CBOW中,即可訓(xùn)練出包含審計(jì)專(zhuān)業(yè)詞匯的詞向量模型。將該模型訓(xùn)練出的詞向量應(yīng)用于審計(jì)文本挖掘任務(wù),如關(guān)鍵詞檢索、相似文本搜索等任務(wù),可提高這些挖掘任務(wù)的精準(zhǔn)度。

    3.審計(jì)領(lǐng)域知識(shí)圖譜構(gòu)建。以知識(shí)圖譜為代表的知識(shí)庫(kù)是將人類(lèi)知識(shí)組織成結(jié)構(gòu)化的知識(shí)系統(tǒng),其是推動(dòng)人工智能學(xué)科發(fā)展和應(yīng)用(如智能檢索、智能推薦、智能問(wèn)答等)的重要基礎(chǔ)技術(shù)[14]。知識(shí)圖譜使用三元組描述客觀世界中概念、實(shí)體及它們之間的關(guān)系。三元組中的概念/實(shí)體表示為圖譜中的邊,概念/實(shí)體之間的關(guān)系表達(dá)為圖譜中點(diǎn)之間的連邊。例如,表4所示的三元組可構(gòu)建成圖2所示的圖譜。

    表4 審計(jì)三元組示例

    圖2 審計(jì)三元組知識(shí)圖譜示例

    構(gòu)建知識(shí)圖譜的代價(jià)較大,且并非一氣呵成,需要循序漸進(jìn)地從零到有、從小到大不斷擴(kuò)充,以保證知識(shí)的準(zhǔn)確性和有效性。此外,完全依賴(lài)自動(dòng)化方法構(gòu)建的知識(shí)圖譜往往準(zhǔn)確性難以保證,一般需要人工構(gòu)建基礎(chǔ)本體知識(shí),然后在此基礎(chǔ)上自動(dòng)化擴(kuò)建圖譜。

    (1)本體建設(shè)。本體即“一種概念化的精確的規(guī)格說(shuō)明”[15],用于描述某個(gè)領(lǐng)域內(nèi)概念與概念之間的關(guān)系。一般情況下,構(gòu)建本體需要本領(lǐng)域相關(guān)專(zhuān)家的指導(dǎo)[16]。針對(duì)審計(jì)知識(shí)圖譜的構(gòu)建,我們首先邀請(qǐng)審計(jì)領(lǐng)域?qū)<覙?gòu)建了審計(jì)概念框架,如圖3所示。然后在該框架的基礎(chǔ)上,進(jìn)一步構(gòu)建和擴(kuò)充相關(guān)概念的子概念。例如:在“資源環(huán)境審計(jì)”概念下構(gòu)建關(guān)系“審計(jì)內(nèi)容”,包括實(shí)體“財(cái)務(wù)審計(jì)”“合規(guī)審計(jì)”等;在“審計(jì)客體”概念下擴(kuò)充子概念“農(nóng)業(yè)審計(jì)”“社會(huì)保障審計(jì)”等。

    圖3 審計(jì)知識(shí)圖譜本體框架

    通過(guò)上述人工構(gòu)建本體的方法,共構(gòu)建本體三元組878個(gè)。該本體庫(kù)主要描述審計(jì)領(lǐng)域重要概念與概念之間的隸屬關(guān)系,是整個(gè)知識(shí)圖譜的“骨架”。其他抽取出的實(shí)體均屬于該“骨架”的下級(jí)概念或?qū)嶓w。

    (2)結(jié)構(gòu)化信息抽取。利用百科infobox中的結(jié)構(gòu)化信息從零到有構(gòu)建知識(shí)圖譜是常用手段。例如,從圖4的“中華人民共和國(guó)審計(jì)署”百度詞條的infobox信息中可抽?。ā爸腥A人民共和國(guó)審計(jì)署”,“成立時(shí)間”,“1983年9月15日”)、(“中華人民共和國(guó)審計(jì)署”,“機(jī)關(guān)隸屬”,“中華人民共和國(guó)國(guó)務(wù)院”)等三元組。

    圖4 “中華人民共和國(guó)審計(jì)署”百度詞條infobox信息

    通過(guò)上述自動(dòng)化抽取方式,共抽取出74802條三元組。這些三元組來(lái)自審計(jì)領(lǐng)域中專(zhuān)業(yè)詞匯的百度詞條infobox,因而信息來(lái)源可靠、準(zhǔn)確性較高,可填充到本體庫(kù)中,構(gòu)建出審計(jì)知識(shí)圖譜的基礎(chǔ)版本。此外,根據(jù)這些詞條與本體庫(kù)的對(duì)應(yīng)關(guān)系,可將抽取出的三元組映射到本體網(wǎng)絡(luò)的子節(jié)點(diǎn)上。例如:從“資源環(huán)境審計(jì)”詞條中抽取的相關(guān)三元組可歸并到“資源環(huán)境審計(jì)”概念下;根據(jù)關(guān)鍵詞“準(zhǔn)則”可將“中國(guó)注冊(cè)會(huì)計(jì)師執(zhí)業(yè)準(zhǔn)則”相關(guān)三元組映射到“準(zhǔn)則”概念下。

    除了從infobox中抽取的信息,本文還從其他渠道收集審計(jì)領(lǐng)域結(jié)構(gòu)化信息,如會(huì)計(jì)科目編號(hào)、會(huì)計(jì)/審計(jì)專(zhuān)業(yè)名詞中英文對(duì)照表、審計(jì)法律法規(guī)準(zhǔn)則列表、審計(jì)機(jī)構(gòu)列表、審計(jì)人物、審計(jì)機(jī)關(guān)領(lǐng)導(dǎo)信息等,將其填充入基礎(chǔ)知識(shí)圖譜中,這部分結(jié)構(gòu)化數(shù)據(jù)約包含2萬(wàn)條三元組。

    基于上述構(gòu)建的本體框架和從結(jié)構(gòu)化信息中抽取出的三元組,本文共構(gòu)建了包含約10萬(wàn)條三元組的審計(jì)領(lǐng)域知識(shí)圖譜,并使用圖形數(shù)據(jù)庫(kù)neo4j框架為該知識(shí)圖譜設(shè)計(jì)了一款具有可視化界面的審計(jì)知識(shí)圖譜系統(tǒng)。該系統(tǒng)包括圖譜本體目錄索引和圖譜實(shí)體查詢(xún)功能,分別如圖5和圖6所示。

    圖5 “審計(jì)知識(shí)圖譜系統(tǒng)”本體結(jié)構(gòu)樹(shù)狀索引

    圖6 “審計(jì)知識(shí)圖譜系統(tǒng)”實(shí)體查詢(xún)結(jié)果可視化

    該審計(jì)知識(shí)圖譜并非一次建成、永久不變。由于被審計(jì)單位千差萬(wàn)別,被審計(jì)單位的各項(xiàng)信息也在實(shí)時(shí)更新,因此構(gòu)建出的基礎(chǔ)版知識(shí)圖譜應(yīng)具有動(dòng)態(tài)更新、手動(dòng)/自動(dòng)添加三元組等功能。具體而言:使用者可在該圖譜基礎(chǔ)上動(dòng)態(tài)更新圖譜中節(jié)點(diǎn)/邊的信息;可將從其他文本/結(jié)構(gòu)化數(shù)據(jù)中獲得的審計(jì)三元組加入到本圖譜中;可在該圖譜框架下導(dǎo)入其他領(lǐng)域知識(shí)圖譜,如地理信息圖譜、企業(yè)投資圖譜等,以便應(yīng)用于具體審計(jì)業(yè)務(wù)。

    五、審計(jì)知識(shí)庫(kù)應(yīng)用探討

    在當(dāng)前數(shù)字化審計(jì)方式中,常采用“總體分析、發(fā)現(xiàn)疑點(diǎn)、分散核查、系統(tǒng)研究”的審計(jì)思路。下文將以陳偉等[3]討論的扶貧審計(jì)為例,探討如何將審計(jì)知識(shí)庫(kù)與上述審計(jì)思路相結(jié)合,進(jìn)一步提升審計(jì)線索挖掘的準(zhǔn)確性和可解釋性。

    1.審計(jì)領(lǐng)域詞典在標(biāo)簽云分析中的應(yīng)用。審計(jì)領(lǐng)域詞典是提高審計(jì)文本挖掘準(zhǔn)確性的重要基石。在對(duì)審計(jì)文本進(jìn)行分詞和剔除停用詞時(shí),導(dǎo)入該領(lǐng)域詞典可提高審計(jì)領(lǐng)域詞匯分割的準(zhǔn)確性,為特征抽取與展示、文本分類(lèi)/聚類(lèi)、關(guān)聯(lián)規(guī)則挖掘等任務(wù)提供基礎(chǔ)保障。

    以扶貧審計(jì)為例,當(dāng)獲得某地扶貧審計(jì)相關(guān)數(shù)據(jù)后,為快速了解被審計(jì)單位對(duì)扶貧政策的總體執(zhí)行情況,可對(duì)該單位相關(guān)扶貧項(xiàng)目文本文件進(jìn)行關(guān)鍵詞抽取,并使用標(biāo)簽云方式展示[3]。在關(guān)鍵詞抽取之前,需要對(duì)文本進(jìn)行分詞,若分詞結(jié)構(gòu)不合理,即不能將審計(jì)領(lǐng)域?qū)S妹~識(shí)別出來(lái),則展示出的詞標(biāo)簽往往具有一定的迷惑性。例如,“道路硬化”→(“道路”“硬化”)、“危房改造”→(“危房”“改造”)。因此,一個(gè)可行思路是對(duì)審計(jì)文本進(jìn)行分詞時(shí)導(dǎo)入本文建設(shè)的審計(jì)領(lǐng)域詞匯表作為分詞軟件的自定義詞表,從而提高分詞結(jié)果的準(zhǔn)確性和可解釋性。

    2.詞向量在審計(jì)關(guān)鍵詞/文本相似性分析中的應(yīng)用。相似詞匯可能使用不同的字符表達(dá),這在傳統(tǒng)的詞袋子模型下被認(rèn)為是不同的特征,進(jìn)而增加了特征維度,使得基于特征的文本分析算法準(zhǔn)確性降低。使用詞向量度量詞匯之間的相似性可將表達(dá)相似或含義相同的詞匯歸并為一個(gè)特征,進(jìn)而提高特征詞抽取和文本相似度度量的準(zhǔn)確性。以扶貧審計(jì)標(biāo)簽云為例,原始標(biāo)簽中出現(xiàn)的相似詞匯,如“活動(dòng)室”和“活動(dòng)場(chǎng)所”、“幫扶”和“扶持”可分別歸并為一個(gè)詞匯,以進(jìn)一步提高標(biāo)簽云可視化結(jié)果的可解釋性和信息量。

    在文本相似度度量方面,引入詞向量可將每個(gè)文本表達(dá)成特征空間中詞向量的拼接或者在詞向量基礎(chǔ)上使用深度學(xué)習(xí)技術(shù),如循環(huán)神經(jīng)網(wǎng)絡(luò)、fasttext[17]等,構(gòu)建文本向量,再計(jì)算文本相似度,將會(huì)提高相似度度量的準(zhǔn)確性。

    以了解被審計(jì)單位對(duì)扶貧政策的執(zhí)行情況為例,對(duì)每一年的扶貧項(xiàng)目文件進(jìn)行相似度分析,以檢測(cè)扶貧項(xiàng)目的變化情況[3]。在計(jì)算文本相似度時(shí),一般以整個(gè)文本集的重要詞語(yǔ)作為特征空間,并以詞匯的TF-IDF作為其在空間中的權(quán)重。這樣每個(gè)文本即表達(dá)成特征空間中的向量,文本之間的相似性即為兩個(gè)向量之間的歐氏距離或余弦相似度。這種做法存在兩個(gè)問(wèn)題:一是特征空間高維稀疏,即一個(gè)文本只在若干個(gè)特征維度上有非零值,而在其他維度上值為零;二是特征相互獨(dú)立,某些相似的詞匯依舊被認(rèn)為具有兩個(gè)不相干的特征。這兩個(gè)問(wèn)題都會(huì)導(dǎo)致對(duì)文本相似度的計(jì)算不夠準(zhǔn)確,使用詞向量構(gòu)建的句子向量來(lái)度量句子相似度將會(huì)提高其計(jì)算的準(zhǔn)確性。

    3.審計(jì)知識(shí)圖譜在審計(jì)實(shí)務(wù)中的應(yīng)用。知識(shí)圖譜通過(guò)三元組這一簡(jiǎn)潔的知識(shí)表示形式,既能提高數(shù)據(jù)表達(dá)效率,又能通過(guò)圖譜可視化提高數(shù)據(jù)表現(xiàn)能力。使用審計(jì)知識(shí)圖譜可輔助審計(jì)人員快速發(fā)現(xiàn)審計(jì)疑點(diǎn)以及這些疑點(diǎn)之間的關(guān)聯(lián)關(guān)系;此外,基于審計(jì)知識(shí)圖譜可構(gòu)建更加精準(zhǔn)的審計(jì)領(lǐng)域搜索引擎,以便在審計(jì)工作中快速準(zhǔn)確地搜索到與搜索詞相關(guān)的審計(jì)/會(huì)計(jì)準(zhǔn)則/法規(guī)、審計(jì)方法、審計(jì)底稿模板等信息。

    以扶貧資金使用情況審計(jì)為例,在通過(guò)關(guān)鍵詞提取和標(biāo)簽云可視化分析后,發(fā)現(xiàn)了相關(guān)疑點(diǎn),如扶貧資金使用方面包含“餐費(fèi)”“高爾夫”“中介費(fèi)”“煙酒”等支出。那么,如何從這些線索中快速找到審計(jì)證據(jù)?一個(gè)思路是在已有的審計(jì)知識(shí)圖譜的基礎(chǔ)上,從被審計(jì)單位的相關(guān)扶貧資金支出數(shù)據(jù)中抽取出包含上述線索詞的三元組并整合到圖譜中,構(gòu)建出當(dāng)前被審計(jì)單位的臨時(shí)知識(shí)圖譜,即可分析出這些費(fèi)用的使用金額、報(bào)銷(xiāo)人、收款單位/人、支出項(xiàng)目等情況。

    以扶貧內(nèi)容合理性審計(jì)為例,在通過(guò)關(guān)鍵詞獲得扶貧項(xiàng)目?jī)?nèi)容中存在“制革”“有色”“冶煉”等關(guān)鍵詞,那么怎樣快速判斷被審計(jì)單位是否投資了高污染、高能耗等國(guó)家禁止的行業(yè)項(xiàng)目呢?一個(gè)思路是利用詞向量從被審計(jì)單位的相關(guān)投資文件中抽取出包含上述關(guān)鍵詞或與上述關(guān)鍵詞相似的命名實(shí)體,以進(jìn)一步確認(rèn)被審計(jì)單位投資項(xiàng)目的具體名稱(chēng)。若投資項(xiàng)目中確實(shí)包含國(guó)家禁止的項(xiàng)目,則可在當(dāng)前知識(shí)圖譜的基礎(chǔ)上接入企業(yè)投資關(guān)系知識(shí)圖譜,進(jìn)一步確認(rèn)這些投資項(xiàng)目的法定代表人、注冊(cè)資本等信息。

    六、結(jié)束語(yǔ)

    本文討論了如何構(gòu)建審計(jì)知識(shí)庫(kù),探究了該知識(shí)庫(kù)在審計(jì)實(shí)務(wù)工作中的示范應(yīng)用。本文所構(gòu)建的審計(jì)知識(shí)庫(kù)包括三部分內(nèi)容,分別是審計(jì)領(lǐng)域詞典、審計(jì)領(lǐng)域詞匯的詞向量及訓(xùn)練詞向量的領(lǐng)域文本語(yǔ)料、審計(jì)領(lǐng)域知識(shí)圖譜。該知識(shí)庫(kù)的運(yùn)用將有助于提升面向?qū)徲?jì)文本數(shù)據(jù)挖掘的準(zhǔn)確性和可理解性。未來(lái)可使用深度學(xué)習(xí)方法從非結(jié)構(gòu)化文本中深入挖掘包含審計(jì)領(lǐng)域詞匯的三元組信息,以進(jìn)一步擴(kuò)充該知識(shí)圖譜。此外,還應(yīng)進(jìn)一步將該知識(shí)庫(kù)與審計(jì)應(yīng)用實(shí)務(wù)有機(jī)結(jié)合,例如在知識(shí)庫(kù)基礎(chǔ)上構(gòu)建審計(jì)準(zhǔn)則、審計(jì)方法等智能檢索功能,為審計(jì)業(yè)務(wù)查詢(xún)提供便利。

    猜你喜歡
    三元組知識(shí)庫(kù)語(yǔ)料
    基于帶噪聲數(shù)據(jù)集的強(qiáng)魯棒性隱含三元組質(zhì)檢算法*
    特征標(biāo)三元組的本原誘導(dǎo)子
    關(guān)于余撓三元組的periodic-模
    基于TRIZ與知識(shí)庫(kù)的創(chuàng)新模型構(gòu)建及在注塑機(jī)設(shè)計(jì)中的應(yīng)用
    基于語(yǔ)料調(diào)查的“連……都(也)……”出現(xiàn)的語(yǔ)義背景分析
    高速公路信息系統(tǒng)維護(hù)知識(shí)庫(kù)的建立和應(yīng)用
    華語(yǔ)電影作為真實(shí)語(yǔ)料在翻譯教學(xué)中的應(yīng)用
    基于Drupal發(fā)布學(xué)者知識(shí)庫(kù)關(guān)聯(lián)數(shù)據(jù)的研究
    《苗防備覽》中的湘西語(yǔ)料
    國(guó)內(nèi)外語(yǔ)用學(xué)實(shí)證研究比較:語(yǔ)料類(lèi)型與收集方法
    久久午夜亚洲精品久久| 中出人妻视频一区二区| 欧美黑人欧美精品刺激| 精品一区二区三区视频在线观看免费| 亚洲欧美一区二区三区黑人| 久久久久久久久中文| 一本久久中文字幕| 国产精品爽爽va在线观看网站| 精品国产美女av久久久久小说| av在线蜜桃| 国产黄片美女视频| 91在线观看av| 在线观看午夜福利视频| www.999成人在线观看| 日韩人妻高清精品专区| 在线观看66精品国产| 国产97色在线日韩免费| 嫩草影院入口| 亚洲精品国产精品久久久不卡| 在线观看av片永久免费下载| 757午夜福利合集在线观看| 久久国产精品人妻蜜桃| 一本一本综合久久| 长腿黑丝高跟| 国产男靠女视频免费网站| 久久精品亚洲精品国产色婷小说| 亚洲国产中文字幕在线视频| 免费观看的影片在线观看| 欧美一区二区国产精品久久精品| 2021天堂中文幕一二区在线观| 白带黄色成豆腐渣| 日韩大尺度精品在线看网址| 国产精品亚洲av一区麻豆| 色精品久久人妻99蜜桃| 国产三级黄色录像| 欧美在线黄色| 12—13女人毛片做爰片一| 亚洲第一电影网av| 可以在线观看的亚洲视频| 久久性视频一级片| 精品免费久久久久久久清纯| 国产精品三级大全| 老汉色av国产亚洲站长工具| 高清日韩中文字幕在线| 一区二区三区高清视频在线| 看片在线看免费视频| 国产在线精品亚洲第一网站| 亚洲国产中文字幕在线视频| 亚洲av熟女| 五月玫瑰六月丁香| 91av网一区二区| 在线十欧美十亚洲十日本专区| 欧美最黄视频在线播放免费| 久久久久久久亚洲中文字幕 | 热99在线观看视频| 悠悠久久av| 国产精品一区二区三区四区免费观看 | 亚洲色图av天堂| av专区在线播放| 午夜福利成人在线免费观看| 好男人在线观看高清免费视频| 深爱激情五月婷婷| 日本 av在线| 成人av一区二区三区在线看| 国产熟女xx| 国产又黄又爽又无遮挡在线| 桃色一区二区三区在线观看| 一边摸一边抽搐一进一小说| 国产一区二区三区在线臀色熟女| 91麻豆精品激情在线观看国产| 欧美又色又爽又黄视频| 午夜两性在线视频| 国产亚洲精品一区二区www| 久久国产精品人妻蜜桃| 少妇人妻精品综合一区二区 | 长腿黑丝高跟| 久久久国产精品麻豆| 搡老妇女老女人老熟妇| 麻豆国产97在线/欧美| 日本与韩国留学比较| 免费在线观看影片大全网站| 久久精品人妻少妇| 日韩成人在线观看一区二区三区| 在线天堂最新版资源| 在线十欧美十亚洲十日本专区| 欧美激情久久久久久爽电影| 国产高清videossex| 久久久国产成人免费| 美女 人体艺术 gogo| 欧美3d第一页| 久9热在线精品视频| 欧美一区二区亚洲| 国产成人福利小说| 18禁国产床啪视频网站| 12—13女人毛片做爰片一| 黄色成人免费大全| 国产亚洲精品一区二区www| 看免费av毛片| av黄色大香蕉| 美女高潮的动态| 日韩有码中文字幕| 俺也久久电影网| 精品免费久久久久久久清纯| 成人特级av手机在线观看| 97超视频在线观看视频| 免费高清视频大片| 日韩欧美三级三区| 亚洲av成人av| 免费高清视频大片| 嫩草影院精品99| 天天躁日日操中文字幕| 一区二区三区免费毛片| 国产精华一区二区三区| 夜夜爽天天搞| 久久6这里有精品| 亚洲av电影在线进入| 亚洲av第一区精品v没综合| 中亚洲国语对白在线视频| 性色av乱码一区二区三区2| 亚洲精品色激情综合| 波多野结衣高清作品| 中文字幕人成人乱码亚洲影| 成人国产一区最新在线观看| 午夜福利18| 少妇丰满av| 久久欧美精品欧美久久欧美| 小说图片视频综合网站| 国产成+人综合+亚洲专区| 18+在线观看网站| 国产成人a区在线观看| 色尼玛亚洲综合影院| 99久久综合精品五月天人人| 色视频www国产| 一级黄片播放器| 亚洲人成电影免费在线| 久久午夜亚洲精品久久| a在线观看视频网站| 亚洲黑人精品在线| 欧美成人性av电影在线观看| 露出奶头的视频| 色综合站精品国产| 亚洲精品粉嫩美女一区| 美女高潮喷水抽搐中文字幕| 国产真实伦视频高清在线观看 | 嫩草影院精品99| АⅤ资源中文在线天堂| 淫秽高清视频在线观看| 少妇裸体淫交视频免费看高清| 琪琪午夜伦伦电影理论片6080| 美女黄网站色视频| 变态另类丝袜制服| 超碰av人人做人人爽久久 | 日韩欧美免费精品| 最近视频中文字幕2019在线8| 久久久久久国产a免费观看| 久久精品影院6| 免费看美女性在线毛片视频| 欧美激情在线99| 亚洲国产欧美人成| 国产国拍精品亚洲av在线观看 | 90打野战视频偷拍视频| 亚洲内射少妇av| 日本精品一区二区三区蜜桃| 久久中文看片网| 免费av毛片视频| 国产精品一及| 香蕉av资源在线| 美女黄网站色视频| 男女床上黄色一级片免费看| 五月玫瑰六月丁香| 天堂√8在线中文| www.999成人在线观看| 老汉色av国产亚洲站长工具| 天堂√8在线中文| 亚洲精品国产精品久久久不卡| 麻豆国产97在线/欧美| 色综合站精品国产| 精品久久久久久久毛片微露脸| 亚洲av电影在线进入| 亚洲av一区综合| 人妻丰满熟妇av一区二区三区| 国产成人欧美在线观看| 精品99又大又爽又粗少妇毛片 | 精品国产三级普通话版| 88av欧美| 观看美女的网站| 久久性视频一级片| 人妻久久中文字幕网| 国产亚洲精品av在线| 亚洲成人久久性| 亚洲av成人av| 青草久久国产| 欧美一级毛片孕妇| 91在线精品国自产拍蜜月 | 免费av不卡在线播放| 久久国产乱子伦精品免费另类| 亚洲狠狠婷婷综合久久图片| 亚洲欧美激情综合另类| 成人精品一区二区免费| 91字幕亚洲| 成年女人永久免费观看视频| 一个人观看的视频www高清免费观看| 国产精品久久久久久久久免 | 日本一本二区三区精品| 免费av不卡在线播放| 男女下面进入的视频免费午夜| 亚洲精品色激情综合| 免费人成视频x8x8入口观看| 国内精品久久久久久久电影| 99热精品在线国产| 12—13女人毛片做爰片一| 婷婷六月久久综合丁香| 亚洲狠狠婷婷综合久久图片| 毛片女人毛片| 亚洲人成网站在线播| 伊人久久精品亚洲午夜| 国产野战对白在线观看| 国产精品自产拍在线观看55亚洲| 国产真实乱freesex| 亚洲第一电影网av| 国产精品国产高清国产av| 男人舔奶头视频| 午夜免费观看网址| 天美传媒精品一区二区| 成年人黄色毛片网站| 熟女少妇亚洲综合色aaa.| 免费一级毛片在线播放高清视频| 成人国产综合亚洲| 亚洲av成人不卡在线观看播放网| 亚洲18禁久久av| 久久久久国内视频| 成年女人毛片免费观看观看9| av片东京热男人的天堂| 三级毛片av免费| 无人区码免费观看不卡| 国产精品久久电影中文字幕| 成熟少妇高潮喷水视频| 老司机深夜福利视频在线观看| 日韩欧美在线乱码| 91久久精品电影网| 日韩中文字幕欧美一区二区| 少妇人妻一区二区三区视频| 免费看a级黄色片| 精品久久久久久,| 一区福利在线观看| 黄色女人牲交| 噜噜噜噜噜久久久久久91| 久久久精品欧美日韩精品| 最近在线观看免费完整版| 午夜精品在线福利| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 伊人久久大香线蕉亚洲五| 国产高清视频在线观看网站| 亚洲熟妇中文字幕五十中出| 午夜老司机福利剧场| 亚洲精品久久国产高清桃花| 法律面前人人平等表现在哪些方面| 欧美一级毛片孕妇| 99热精品在线国产| 国产伦精品一区二区三区四那| 亚洲成av人片在线播放无| 国产探花极品一区二区| 天天一区二区日本电影三级| 国产乱人视频| 97碰自拍视频| 午夜免费观看网址| 波多野结衣高清作品| 丰满乱子伦码专区| 欧美日韩乱码在线| 女人十人毛片免费观看3o分钟| 18禁黄网站禁片午夜丰满| 国产中年淑女户外野战色| 成年免费大片在线观看| 精品午夜福利视频在线观看一区| 校园春色视频在线观看| 国内精品久久久久精免费| av专区在线播放| 九九在线视频观看精品| 亚洲成人免费电影在线观看| 日韩欧美 国产精品| 精品人妻偷拍中文字幕| 日本五十路高清| 黄片小视频在线播放| 天堂√8在线中文| 真人一进一出gif抽搐免费| 51国产日韩欧美| 国产色婷婷99| 日韩欧美在线乱码| 精品一区二区三区视频在线 | 女同久久另类99精品国产91| 精品国产亚洲在线| 久久精品国产亚洲av香蕉五月| 亚洲,欧美精品.| 舔av片在线| 久久6这里有精品| 亚洲avbb在线观看| 老司机在亚洲福利影院| 3wmmmm亚洲av在线观看| 午夜a级毛片| 日韩欧美一区二区三区在线观看| 90打野战视频偷拍视频| 亚洲欧美一区二区三区黑人| aaaaa片日本免费| 国产精品久久久久久久久免 | 91久久精品国产一区二区成人 | 国产高清三级在线| 亚洲中文日韩欧美视频| 国内少妇人妻偷人精品xxx网站| 最好的美女福利视频网| 国产精品自产拍在线观看55亚洲| 成人午夜高清在线视频| 夜夜夜夜夜久久久久| 日本三级黄在线观看| 在线观看舔阴道视频| 激情在线观看视频在线高清| 老汉色∧v一级毛片| 亚洲精品国产精品久久久不卡| 51国产日韩欧美| 中文字幕高清在线视频| 女人高潮潮喷娇喘18禁视频| 床上黄色一级片| 一进一出抽搐动态| 午夜免费男女啪啪视频观看 | 国产午夜福利久久久久久| 美女黄网站色视频| 俺也久久电影网| 国产av麻豆久久久久久久| 神马国产精品三级电影在线观看| 亚洲七黄色美女视频| 国产久久久一区二区三区| 小说图片视频综合网站| 美女高潮喷水抽搐中文字幕| 国产麻豆成人av免费视频| 看黄色毛片网站| 午夜福利在线在线| 欧美zozozo另类| 观看免费一级毛片| 成人av一区二区三区在线看| 亚洲av日韩精品久久久久久密| xxxwww97欧美| 国产伦在线观看视频一区| 99久久久亚洲精品蜜臀av| 搡老妇女老女人老熟妇| 欧美中文综合在线视频| 亚洲 国产 在线| 久久亚洲真实| 免费av观看视频| 高清日韩中文字幕在线| 国产69精品久久久久777片| 99视频精品全部免费 在线| 午夜福利免费观看在线| 亚洲国产精品久久男人天堂| 日韩精品青青久久久久久| 国产精品 国内视频| 成人一区二区视频在线观看| 3wmmmm亚洲av在线观看| 1024手机看黄色片| 国产精品野战在线观看| 亚洲精品一区av在线观看| 69av精品久久久久久| 啦啦啦韩国在线观看视频| 日韩成人在线观看一区二区三区| av视频在线观看入口| 高清在线国产一区| 亚洲成人久久性| 19禁男女啪啪无遮挡网站| 精品熟女少妇八av免费久了| 国产精品电影一区二区三区| 国产高清视频在线播放一区| 99在线人妻在线中文字幕| 一级作爱视频免费观看| 中文字幕久久专区| 悠悠久久av| 偷拍熟女少妇极品色| 国产v大片淫在线免费观看| 日韩精品中文字幕看吧| 国产高清激情床上av| 日本一二三区视频观看| 啦啦啦韩国在线观看视频| 91av网一区二区| 中亚洲国语对白在线视频| 亚洲在线观看片| 精品人妻1区二区| 色精品久久人妻99蜜桃| 精品国内亚洲2022精品成人| 午夜免费成人在线视频| 狠狠狠狠99中文字幕| 国产又黄又爽又无遮挡在线| 夜夜看夜夜爽夜夜摸| 黄片小视频在线播放| 日韩亚洲欧美综合| 小蜜桃在线观看免费完整版高清| 2021天堂中文幕一二区在线观| 久久6这里有精品| 久久国产精品人妻蜜桃| 国产精品国产高清国产av| 国内揄拍国产精品人妻在线| 在线观看午夜福利视频| 99热精品在线国产| 无遮挡黄片免费观看| 中国美女看黄片| 精品人妻一区二区三区麻豆 | 久久伊人香网站| 欧美三级亚洲精品| a级毛片a级免费在线| 亚洲人成电影免费在线| 看黄色毛片网站| 欧美日本亚洲视频在线播放| 俺也久久电影网| 伊人久久精品亚洲午夜| 午夜免费观看网址| 国产日本99.免费观看| 激情在线观看视频在线高清| 老汉色av国产亚洲站长工具| 在线播放国产精品三级| 女人高潮潮喷娇喘18禁视频| 亚洲熟妇中文字幕五十中出| 热99re8久久精品国产| 免费av观看视频| 国产伦精品一区二区三区视频9 | 精品午夜福利视频在线观看一区| 国产99白浆流出| 日韩欧美免费精品| 两个人看的免费小视频| 99国产极品粉嫩在线观看| 欧美乱妇无乱码| 91九色精品人成在线观看| 高清日韩中文字幕在线| 18禁裸乳无遮挡免费网站照片| 国产综合懂色| 日本免费一区二区三区高清不卡| 露出奶头的视频| 校园春色视频在线观看| 身体一侧抽搐| 在线观看美女被高潮喷水网站 | 香蕉丝袜av| 国产综合懂色| 日韩欧美国产一区二区入口| 精品免费久久久久久久清纯| 国产成人a区在线观看| 2021天堂中文幕一二区在线观| 夜夜爽天天搞| 一级毛片高清免费大全| 18禁国产床啪视频网站| 欧美色欧美亚洲另类二区| 国产视频一区二区在线看| 欧美一区二区亚洲| 怎么达到女性高潮| 少妇人妻一区二区三区视频| 国产亚洲av嫩草精品影院| 亚洲最大成人中文| 亚洲熟妇熟女久久| 国产成人啪精品午夜网站| 男女午夜视频在线观看| 亚洲欧美一区二区三区黑人| 精品99又大又爽又粗少妇毛片 | 乱人视频在线观看| 首页视频小说图片口味搜索| 两个人的视频大全免费| 欧美日韩中文字幕国产精品一区二区三区| 老司机午夜十八禁免费视频| 又黄又粗又硬又大视频| 男女下面进入的视频免费午夜| 在线观看日韩欧美| 午夜免费男女啪啪视频观看 | 不卡一级毛片| 少妇的逼好多水| 99热这里只有精品一区| 在线观看免费视频日本深夜| www.999成人在线观看| 三级毛片av免费| 一个人看视频在线观看www免费 | av片东京热男人的天堂| 国产精品久久久久久久电影 | 日本三级黄在线观看| 国产午夜福利久久久久久| 国产亚洲欧美在线一区二区| 成年女人毛片免费观看观看9| 久久久久国产精品人妻aⅴ院| 国产av不卡久久| x7x7x7水蜜桃| 激情在线观看视频在线高清| 欧美黄色片欧美黄色片| 三级毛片av免费| 国产乱人伦免费视频| 日本精品一区二区三区蜜桃| 中出人妻视频一区二区| 在线观看66精品国产| 亚洲熟妇熟女久久| 首页视频小说图片口味搜索| 网址你懂的国产日韩在线| 哪里可以看免费的av片| 免费在线观看亚洲国产| 久久精品91蜜桃| 亚洲av日韩精品久久久久久密| 蜜桃亚洲精品一区二区三区| 国产视频一区二区在线看| 国产一区二区在线av高清观看| 熟女少妇亚洲综合色aaa.| 欧美三级亚洲精品| 我要搜黄色片| 国产aⅴ精品一区二区三区波| 久久久久久九九精品二区国产| 少妇裸体淫交视频免费看高清| 尤物成人国产欧美一区二区三区| av中文乱码字幕在线| 国产精品 国内视频| 日日摸夜夜添夜夜添小说| 3wmmmm亚洲av在线观看| 亚洲av免费高清在线观看| 久久精品国产亚洲av涩爱 | 在线观看日韩欧美| 在线十欧美十亚洲十日本专区| 国产精品自产拍在线观看55亚洲| 久久伊人香网站| 成人国产一区最新在线观看| 成人无遮挡网站| 小蜜桃在线观看免费完整版高清| 香蕉av资源在线| 99久久精品国产亚洲精品| 国产精品亚洲一级av第二区| 天天添夜夜摸| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | xxxwww97欧美| av福利片在线观看| 天天添夜夜摸| 高潮久久久久久久久久久不卡| 日韩欧美精品v在线| 成年人黄色毛片网站| 日韩国内少妇激情av| 亚洲av成人av| 中文字幕人妻熟人妻熟丝袜美 | 毛片女人毛片| 岛国在线观看网站| 国产精品三级大全| 国产 一区 欧美 日韩| 精品人妻1区二区| 亚洲五月婷婷丁香| 婷婷亚洲欧美| 国产亚洲av嫩草精品影院| 免费av不卡在线播放| 亚洲国产精品成人综合色| 欧美高清成人免费视频www| 久久精品综合一区二区三区| 真实男女啪啪啪动态图| 国产91精品成人一区二区三区| 欧美极品一区二区三区四区| 精品久久久久久,| 在线免费观看不下载黄p国产 | 麻豆成人午夜福利视频| 一区二区三区激情视频| 日韩高清综合在线| 国产乱人伦免费视频| 免费观看人在逋| 香蕉久久夜色| 综合色av麻豆| 人人妻人人看人人澡| 久久久久久国产a免费观看| 精品国内亚洲2022精品成人| 长腿黑丝高跟| 精品久久久久久久久久免费视频| 黄片小视频在线播放| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 国产伦在线观看视频一区| 亚洲av日韩精品久久久久久密| 欧美最黄视频在线播放免费| 日本精品一区二区三区蜜桃| 亚洲人成网站高清观看| 午夜免费观看网址| 精品人妻一区二区三区麻豆 | 国语自产精品视频在线第100页| 观看美女的网站| 免费看光身美女| 色播亚洲综合网| 国产 一区 欧美 日韩| 精品国产三级普通话版| 国产v大片淫在线免费观看| 人人妻人人澡欧美一区二区| 午夜激情福利司机影院| 日韩人妻高清精品专区| 亚洲人成电影免费在线| 国产高潮美女av| 欧美日韩一级在线毛片| 每晚都被弄得嗷嗷叫到高潮| 精品一区二区三区视频在线 | 天天躁日日操中文字幕| 老熟妇乱子伦视频在线观看| 精品免费久久久久久久清纯| 99国产精品一区二区三区| 久久久精品欧美日韩精品| 免费av观看视频| 深爱激情五月婷婷| 亚洲va日本ⅴa欧美va伊人久久| 精品免费久久久久久久清纯| 亚洲va日本ⅴa欧美va伊人久久| 一夜夜www| 国内精品一区二区在线观看| 欧美成人a在线观看| 在线观看66精品国产| 18禁裸乳无遮挡免费网站照片| 欧美三级亚洲精品| 好男人在线观看高清免费视频| 国产高潮美女av| 非洲黑人性xxxx精品又粗又长| 亚洲 国产 在线| 两人在一起打扑克的视频| 日韩欧美精品v在线| 成熟少妇高潮喷水视频| 日韩欧美一区二区三区在线观看| 最近最新中文字幕大全电影3| 天堂√8在线中文| 成人精品一区二区免费| 天天添夜夜摸| 日韩国内少妇激情av| 天天躁日日操中文字幕|