• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于BERT與要素標(biāo)注的適用法條推薦

    2023-03-12 07:07:02李培林龐彥燕賀巧琳張世全
    關(guān)鍵詞:法條文書裁判

    李培林, 龐彥燕, 賀巧琳*, 王 竹, 張世全

    (1. 四川大學(xué) 數(shù)學(xué)學(xué)院, 四川 成都 610064; 2. 四川大學(xué) 法學(xué)院, 四川 成都 610207)

    近幾年,自然語言處理技術(shù)飛速發(fā)展.自語言模型中的word2vec提出之后,一大批詞嵌入方法涌現(xiàn),如GloVe[1]和fastText[2]等,它們從不同的方向都得到了表現(xiàn)優(yōu)異的嵌入表征.2018年,Peters等[3]首次提出Elmo語言模型,實(shí)現(xiàn)了對(duì)無標(biāo)注數(shù)據(jù)的使用.隨后,Google團(tuán)隊(duì)在文獻(xiàn)[4]中先通過無標(biāo)注文本去訓(xùn)練生成語言模型,再根據(jù)具體的下游任務(wù)使用標(biāo)注數(shù)據(jù)對(duì)模型進(jìn)行fine-tuning.2018年末,Google發(fā)布了BERT[5]語言模型,融合了Transformer、OpenAI-GPT等工作的核心思想,并在NLP領(lǐng)域的11個(gè)方向大幅刷新了精度.BERT在各大數(shù)據(jù)集上取得的優(yōu)異成績,無疑將自然語言處理的發(fā)展推向了又一個(gè)高潮.2020至2021年,大量基于BERT的語言模型不斷涌現(xiàn),其中不乏對(duì)Attention機(jī)制的改進(jìn).Choromanski等[6]使用隨機(jī)特征改進(jìn)了Attention并推出了Performer. Kitaev等[7]發(fā)布了Reformer,通過哈希函數(shù)優(yōu)化了Attention的計(jì)算速度. Cao[8]推出了Galerkin Transformer,在原有BERT的基礎(chǔ)上改進(jìn)了算法的精度與速度.

    自2013年裁判文書網(wǎng)上線以來,人工智能在法律方面的運(yùn)用也變得更為廣泛.Luo等[9]使用Attention-based神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)建立了罪名預(yù)測模型.Li等[10]實(shí)現(xiàn)了在CNN模型下的半監(jiān)督學(xué)習(xí),使大量庭審數(shù)據(jù)可以在無需人工標(biāo)記的情況下使用.Long等[11]以法律事實(shí)、原告訴求以及涉及法條作為數(shù)據(jù),將標(biāo)簽分類問題轉(zhuǎn)化為閱讀理解,推出了LRC模型以及“自動(dòng)審判”系統(tǒng).Chalkidis等[12]研究發(fā)現(xiàn)對(duì)模型引入Self-attention能提高模型在多標(biāo)簽分類任務(wù)中的表現(xiàn).Wang等[13]在使用深度學(xué)習(xí)訓(xùn)練法條推斷相關(guān)模型的基礎(chǔ)上引入了分級(jí)制度,實(shí)現(xiàn)對(duì)訓(xùn)練過程中的標(biāo)簽數(shù)量的削減.

    在法學(xué)人工智能和智慧法院建設(shè)中,法條推薦是關(guān)鍵任務(wù),需要根據(jù)實(shí)時(shí)變化的法律事實(shí)等文本信息,通過人工智能技術(shù)自動(dòng)推送對(duì)案件適用的法律條款,其本質(zhì)上屬于多標(biāo)簽分類問題.現(xiàn)有的法條推薦工作[14]直接以判決書中使用的法條作為標(biāo)簽,在模型訓(xùn)練中存在標(biāo)簽空間大、難分類數(shù)據(jù)樣本較多等難點(diǎn),推薦效果往往并不理想,對(duì)司法人員的幫助較為有限.

    基于此,本文提出“要素標(biāo)注+法條對(duì)應(yīng)”的推薦模式.首先組織法學(xué)專業(yè)人員對(duì)研究領(lǐng)域涉及的法條和要素進(jìn)行梳理和標(biāo)注,得到案件事實(shí)的要素標(biāo)注數(shù)據(jù)集,再利用機(jī)器學(xué)習(xí)訓(xùn)練案件事實(shí)和要素的對(duì)應(yīng)關(guān)系,最后通過事先建立的要素與法條對(duì)應(yīng)關(guān)系得出最終法條的推薦結(jié)果.這種方式克服了直接文本方式訓(xùn)練過程中標(biāo)簽數(shù)量過多的難題,提高了法條推送的全面性和針對(duì)性,能夠推薦適用于具體案件的司法解釋,減少法律適用中的遺漏風(fēng)險(xiǎn).

    基于要素標(biāo)注的模式在訓(xùn)練模型過程中主要有2個(gè)難點(diǎn):1) 實(shí)驗(yàn)涉及的要素標(biāo)簽在NLP分類任務(wù)中相對(duì)較多;2) 標(biāo)注的訓(xùn)練數(shù)據(jù)集中部分標(biāo)簽正樣本比例相對(duì)較少.為此,本文采用基于BERT的語言模型,根據(jù)裁判文書的數(shù)據(jù)特點(diǎn)從模型構(gòu)建、分類器優(yōu)化等方面對(duì)模型訓(xùn)練過程進(jìn)行改進(jìn),得到了能夠根據(jù)輸入案件事實(shí)文本全面準(zhǔn)確推薦適用法條的推薦模型.

    本文剩余部分安排如下:第1節(jié)分別介紹了直接文本學(xué)習(xí)和基于要素標(biāo)注2種不同的法條推薦模式;第2節(jié)介紹數(shù)據(jù)集的構(gòu)成、分布與模型的選擇;第3節(jié)基于裁判文書網(wǎng)獲取并進(jìn)行要素人工標(biāo)注的數(shù)據(jù)集,使用不同的模型進(jìn)行了對(duì)比,詳細(xì)介紹了針對(duì)問題進(jìn)行改進(jìn)和優(yōu)化的模型訓(xùn)練方法;第4節(jié)展示了不同案由下模型的推薦結(jié)果和分析;最后,在第5節(jié)總結(jié)了本文推薦模型的特點(diǎn)和下一步的研究方向.

    1 法條推薦模式

    法條推薦旨在于庭審過程中,根據(jù)變化的案件事實(shí)等數(shù)據(jù)文本通過人工智能模型實(shí)時(shí)自動(dòng)完成推薦適用的法律條款等任務(wù),能減輕司法人員的負(fù)擔(dān),提高審批的效率和質(zhì)量.

    1.1 直接文本學(xué)習(xí)的法條推薦模式自2013年中國裁判文書網(wǎng)①上線以來,海量裁判文書可以用于人工智能研究.上述裁判文書具有實(shí)時(shí)性、分類性、規(guī)范性的優(yōu)勢特點(diǎn).

    直接文本學(xué)習(xí)法條推薦則是指在法條推薦任務(wù)中,以判決書中法律事實(shí)部分作為輸入,并將該判決書中裁判依據(jù)部分法官引用的法條作為對(duì)應(yīng)的標(biāo)簽,通過語言模型進(jìn)行訓(xùn)練.裁判文書網(wǎng)上的數(shù)據(jù)與文本法條推薦有著很好的契合度,不需要額外的人工標(biāo)注,研究人員可以輕松地篩查數(shù)據(jù),通過程序自動(dòng)對(duì)裁判文書數(shù)據(jù)進(jìn)行適用法條標(biāo)注,從而獲得大量的訓(xùn)練數(shù)據(jù).

    然而,這種傳統(tǒng)的法條推薦模式存在以下幾個(gè)缺陷:1) 法條數(shù)量龐大,一個(gè)案由下的法條數(shù)量會(huì)有好幾百條甚至更多,導(dǎo)致模型訓(xùn)練標(biāo)簽數(shù)量過多,會(huì)嚴(yán)重影響模型訓(xùn)練效果與速度;2) 大部分法條使用頻率極少,數(shù)據(jù)量少,模型學(xué)習(xí)困難;3) 法條推送不夠全面,數(shù)據(jù)與輸出結(jié)果往往未能包含針對(duì)性的司法解釋和量刑意見等.

    與此同時(shí),司法人員對(duì)常用法條已經(jīng)足夠熟悉,比起傳統(tǒng)的法條精確推薦,更傾向于機(jī)器推薦對(duì)當(dāng)前具體案件具有針對(duì)性的司法解釋和地方法規(guī).

    1.2 基于要素標(biāo)注的法條推薦模式要素是指針對(duì)某一案由下所有涉及的法律問題、法律文本進(jìn)行專業(yè)分析、歸納,形成若干個(gè)關(guān)鍵的核心詞語或短語,用以代替某種特定的具有法律涵義的情形或者狀態(tài).這種確定要素的方式存在以下必要性:1) 法院系“依法審判”,其作出的每一個(gè)裁判結(jié)果都必須有法律依據(jù),只有對(duì)應(yīng)相關(guān)的法條,才能在審理過程中具有法律意義,產(chǎn)生相應(yīng)的法律后果,所以針對(duì)事實(shí)文本的分析也必須以法條為依歸;2) 本文的研究目的系針對(duì)事實(shí)文本進(jìn)行法條推薦,所以進(jìn)行要素標(biāo)注的目的也仍然是圍繞法條推薦,因此,每一個(gè)要素的確定都應(yīng)當(dāng)有對(duì)應(yīng)的法條.比如刑法中的累犯、自首、退贓、認(rèn)罪、未遂等,民法中的合同效力、履行期限、違約金、管轄條款等,這些都屬于本文所指的“要素”.

    在對(duì)數(shù)據(jù)集進(jìn)行要素標(biāo)注時(shí),筆者組織了法律專業(yè)人員對(duì)基礎(chǔ)數(shù)據(jù)進(jìn)行逐一審查后,通過自身的法律專業(yè)判斷,為該數(shù)據(jù)逐一貼上要素標(biāo)簽,使這些基礎(chǔ)數(shù)據(jù)成為經(jīng)過專業(yè)化處理的優(yōu)化數(shù)據(jù),且上述標(biāo)注完成后將由其他同樣具備法律專業(yè)知識(shí)的人進(jìn)行復(fù)核,確保要素標(biāo)注的準(zhǔn)確度.

    基于要素標(biāo)注的法條推薦模式與直接文本學(xué)習(xí)不同,在訓(xùn)練中不再以法條作為標(biāo)簽,而是用要素做標(biāo)簽對(duì)案件事實(shí)的文本進(jìn)行人工標(biāo)注,再用標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練.該模式首先通過人工整理要素集和要素與法條之間的對(duì)應(yīng)關(guān)系,然后對(duì)事實(shí)文本進(jìn)行要素標(biāo)注,繼而對(duì)這些有要素標(biāo)簽的標(biāo)注數(shù)據(jù)集進(jìn)行機(jī)器學(xué)習(xí),訓(xùn)練得到事實(shí)文本與要素之間的對(duì)應(yīng)關(guān)系.對(duì)新的事實(shí)文本進(jìn)行分析時(shí),模型會(huì)先推送出涉及的要素,每個(gè)要素都有人工整理的對(duì)應(yīng)法條,從而完成對(duì)新的事實(shí)文本進(jìn)行適用法條推薦.

    2種法條推薦模式的流程如圖1所示.對(duì)比直接文本法條推薦,要素標(biāo)注模式需要首先進(jìn)行要素的人工整理和標(biāo)注.在模型訓(xùn)練上,由于要素在單個(gè)案由下數(shù)量比法條少得多,降低了模型的標(biāo)簽數(shù)量,改善了標(biāo)簽空間過大的問題,并且要素能更準(zhǔn)確、簡練地抽取法學(xué)特征,難分類樣本的出現(xiàn)也遠(yuǎn)少于傳統(tǒng)法條推薦標(biāo)注.同時(shí)要素與法條之間有合理的法學(xué)解釋與專業(yè)人工整理對(duì)應(yīng)關(guān)系,在實(shí)際使用中,只要要素推薦的準(zhǔn)確率高,則適用法條推薦的準(zhǔn)確率就會(huì)高.

    圖 1 直接文本學(xué)習(xí)法條推薦與要素標(biāo)注法條推薦流程

    本文從刑事、民事中各自選取一個(gè)案由作為研究對(duì)象,選取案件類型的標(biāo)準(zhǔn)需要具有以下特點(diǎn):1) 案件事實(shí)本身較為復(fù)雜;2) 涉及的法條、司法解釋較多.這不僅使得研究過程更具有難度,而且對(duì)于法條推薦來說更具有實(shí)踐價(jià)值.基于以上選取標(biāo)準(zhǔn),本文在刑事中選取了詐騙罪這一案件類型,而民事中選取了離婚糾紛.

    “要素標(biāo)注+法條對(duì)應(yīng)”模式相較于傳統(tǒng)的法條推薦在使用上更為便利.首先,可以根據(jù)不同區(qū)域的需求就法條推薦進(jìn)行區(qū)域性的專屬設(shè)置.不同地區(qū)存在著不同的地方性法規(guī)、地方法院的指導(dǎo)意見等,而要素與法條的對(duì)應(yīng)系人工整理得出的,則可以根據(jù)所處區(qū)域不同進(jìn)行專屬性推送,無需重新學(xué)習(xí).其次,要素所對(duì)應(yīng)的法條可以實(shí)時(shí)更新,包括對(duì)修改的法條進(jìn)行修改、增加新發(fā)布的法律、司法解釋等,而已有的要素?zé)o需更改.

    表1為人工專業(yè)整理的部分法條與要素對(duì)應(yīng)關(guān)系示例②.在“要素-法條”對(duì)應(yīng)關(guān)系中,離婚案由對(duì)應(yīng)36個(gè)要素,共計(jì)涉及24個(gè)法條;詐騙案由對(duì)應(yīng)32個(gè)要素,共計(jì)涉及19個(gè)法條.其中,“多對(duì)一”與“一對(duì)多”的情況均出現(xiàn)在要素與法條的對(duì)應(yīng)關(guān)系中.2021年《民法典》正式實(shí)施,只需修改“要素-法條”對(duì)應(yīng)關(guān)系即可繼續(xù)使用.例如,在表1中列舉出的“要素-法條”對(duì)應(yīng)關(guān)系中,詐騙要素對(duì)應(yīng)的法條尚未存在修訂等情況,離婚要素“賭博、吸毒等惡習(xí)”原對(duì)應(yīng)法條為“《婚姻法》第32條”,現(xiàn)對(duì)應(yīng)法條為“《民法典》第1079條”.

    表 1 部分要素與法條對(duì)應(yīng)關(guān)系

    2 數(shù)據(jù)集構(gòu)成與模型選擇

    2.1 數(shù)據(jù)集構(gòu)成與分布本文從中國裁判文書網(wǎng)上公開的裁判文書中隨機(jī)抽取了46 300份離婚案由裁判文書與57 240份詐騙案由裁判文書,這些裁判文書包含了法律事實(shí)與涉案法條等部分.通過抽取其中涉案法條與法律事實(shí)建立了對(duì)應(yīng)關(guān)系,形成了數(shù)據(jù)集1,其中各個(gè)案由中每篇裁判文書標(biāo)簽分布統(tǒng)計(jì)如圖2所示.之后繼續(xù)在中國裁判文書網(wǎng)公開的判決書中隨機(jī)抽取10 000份詐騙罪的刑事判決書與13 200份離婚糾紛的民事判決書,提取了判決書中事實(shí)查明部分的文字作為基礎(chǔ)數(shù)據(jù),并組織法學(xué)專業(yè)人員進(jìn)行要素的人工標(biāo)注,最終得到具有要素標(biāo)注的文本數(shù)據(jù)③,作為本文的數(shù)據(jù)集2,其中各個(gè)案由中每篇裁判文書標(biāo)簽分布統(tǒng)計(jì)如圖3所示.

    圖 2 數(shù)據(jù)集1中各個(gè)案由中每篇裁判文書標(biāo)簽分布統(tǒng)計(jì)

    數(shù)據(jù)集2的標(biāo)注過程如下:首先提取數(shù)據(jù)集中裁判文書的法律事實(shí)部分,然后按照要素對(duì)該部分進(jìn)行人工標(biāo)注.要素標(biāo)注在遵循庭審與法律的邏輯的同時(shí),極大地降低了傳統(tǒng)法條推薦任務(wù)中的維度,減輕了后續(xù)模型訓(xùn)練的負(fù)擔(dān).這里選取法院事實(shí)認(rèn)定部分,目的在于以下幾點(diǎn):1) 判決文書的查明事實(shí)部分存在大量其他案件事實(shí)的描述,對(duì)法條推薦任務(wù)沒有直接聯(lián)系;2) 擯棄了指控與辯護(hù)意見等文字部分,最大程度上還原事實(shí)本身;3) 法院事實(shí)認(rèn)定部分用語相對(duì)精煉、專業(yè),有利于對(duì)該事實(shí)做出性質(zhì)判斷.因此,為了保障案件還原的完整性和標(biāo)注的有效性,本文進(jìn)行要素標(biāo)注時(shí)選取了法院事實(shí)認(rèn)定的一整段文本作為標(biāo)注對(duì)象.

    數(shù)據(jù)集1中,離婚案由共計(jì)667個(gè)不同的涉案法條,平均每篇裁判文書包含了2.27個(gè)法條標(biāo)簽.詐騙案由共計(jì)638個(gè)涉案法條,平均每篇裁判文書包含了5.11個(gè)法條標(biāo)簽.將出現(xiàn)頻率低于20%的標(biāo)簽歸為“其他”,故圖2中“其他”包含了超過500個(gè)標(biāo)簽,數(shù)據(jù)集1為不均衡數(shù)據(jù)集.這是由庭審流程與法律條款本身的特點(diǎn)決定的,也是適用法條推薦中時(shí)常遇到的問題,在模型訓(xùn)練時(shí)優(yōu)化難度較高.

    由圖3可知,在數(shù)據(jù)集2的離婚案由中,共計(jì)36個(gè)要素,平均每篇裁判文書被標(biāo)注了1.00個(gè)標(biāo)簽.詐騙案由中,共計(jì)32個(gè)要素,平均每篇裁判文書被標(biāo)注了3.03個(gè)標(biāo)簽.數(shù)據(jù)集2同樣存在數(shù)據(jù)不平衡的問題,但相較于數(shù)據(jù)集1已經(jīng)得到明顯改善.

    大部分現(xiàn)有經(jīng)典分類數(shù)據(jù)集的正負(fù)標(biāo)簽比例以及標(biāo)簽數(shù)量更為均衡.例如:ChnSentiCorp_htl_all④數(shù)據(jù)集包含7 000多條評(píng)論,正向評(píng)論約占5 000條,負(fù)向評(píng)論約占2 000條;Simplifyweibo_4_moods⑤數(shù)據(jù)集包含了36萬條數(shù)據(jù)以及4類情感,“喜悅”約占20萬條,“憤怒、厭惡、低落”各約5萬條;今日頭條新聞數(shù)據(jù)集⑥共計(jì)約38萬條,15個(gè)標(biāo)簽,其中正樣本占比低于10%的僅有1類.

    從統(tǒng)計(jì)的角度來講,隨機(jī)抽取裁判文書是合理的,但是作為針對(duì)深度學(xué)習(xí)的數(shù)據(jù)集而言,抽取的裁判文書仍然存在樣本分布不均的問題,部分要素在訓(xùn)練過程中仍會(huì)面臨正樣本過少的問題;這是在訓(xùn)練模型時(shí)需要解決的主要問題.

    2.2 模型選擇不均衡數(shù)據(jù)集是深度學(xué)習(xí)模型訓(xùn)練中的難點(diǎn)之一.2019年,Geng等[15]將帶有Self-attention的Bi-lstm塊對(duì)輸入文本進(jìn)行編碼,從而將Few-shot方法與Attention進(jìn)行結(jié)合,緩解了不均衡數(shù)據(jù)集帶來的困難.基于此,本文將使用基于BERT的語言模型,來訓(xùn)練法律事實(shí)與要素之間的對(duì)應(yīng)關(guān)系.

    Attention是BERT中最為核心的機(jī)制.在BERT中,Attention機(jī)制負(fù)責(zé)實(shí)現(xiàn)特征提取,并取代了RNN與CNN.首先對(duì)于輸入的句子,BERT會(huì)對(duì)其進(jìn)行編碼,其值為詞向量信息、句子分割信息以及詞位置信息的和.其中,詞向量信息(token-embeddings)是根據(jù)詞表生成,句子分割信息(segment-embeddings)根據(jù)中文中的逗號(hào)以及句號(hào)進(jìn)行分割.BERT的詞位置嵌入信息(position-embeddings)在編碼中的公式如下:

    (1)

    (2)

    詞向量維度dmodel取32,即每個(gè)單詞的位置信息將被編碼成32維的向量;pos最大值取值為100,即在這個(gè)句子中共計(jì)100個(gè)單詞.可以觀察到,不同位置的詞對(duì)應(yīng)的向量存在差異,詞語在句子中的位置信息被很好地記錄下來.最終,針對(duì)段落的編碼可以寫為

    Tensor_embedding=

    Token+Segment+Position.

    (3)

    在一個(gè)Attention層中內(nèi)置了WQ、WK、WV這3個(gè)可訓(xùn)練的矩陣.當(dāng)一段文本以Tensor的形式進(jìn)入Self-attention層中后會(huì)以矩陣相乘的方式生成對(duì)應(yīng)的Q、K與V,最后通過上述公式計(jì)算得出Attention層的輸出矩陣Z.

    Q=Tensor*WQ,

    (4)

    K=Tensor*WK,

    (5)

    V=Tensor*WV,

    (6)

    (7)

    (8)

    注意到在(3)式中生成Tensor_embedding時(shí),3個(gè)embedding的模長均為1,故(7)式中QKT的大小可以表示該Attention塊中輸入的query與key的關(guān)聯(lián)程度,其值越大代表兩者關(guān)聯(lián)度越高.最終Self-attention輸出的矩陣Z記錄了一個(gè)句子中各個(gè)單詞與句內(nèi)其他單詞的關(guān)聯(lián)度,不同于傳統(tǒng)的NLP語言模型,BERT主要在以下方面進(jìn)行了創(chuàng)新:1) 使用了雙向Transformer連接,增加了句段中各個(gè)句子前后的聯(lián)系,使得模型能夠捕捉上下文信息;2) 支持模型預(yù)訓(xùn)練,能針對(duì)不同的下游任務(wù)更針對(duì)性地優(yōu)化模型;3) 支持通過遮蔽語言模型來挖掘和搜索文本序列內(nèi)部的隱藏關(guān)系;4) embedding方面選擇了詞向量嵌入信息(token-embeddings)、句子分割嵌入信息(segment-embeddings)以及詞位置嵌入信息(position-embeddings)3部分構(gòu)成.

    雖然BERT在NLP領(lǐng)域中大部分?jǐn)?shù)據(jù)集上刷新了精度,但Attention機(jī)制存在局部信息捕捉過弱的隱患.由于實(shí)際計(jì)算能力的限制,當(dāng)句子超過一定數(shù)量時(shí)多出來的詞將被程序忽略掉.目前,NLP領(lǐng)域中大部分實(shí)驗(yàn)也是將BERT與RNN、CNN等思想結(jié)合.

    與文獻(xiàn)[16]類似,本文實(shí)驗(yàn)選擇了BERT中的Position-embedding,并分別在BERT后接入了Bi-LSTM、RCNN、RNN與LSTM進(jìn)行了對(duì)比.通過將BERT提取的特征輸入后續(xù)模型,進(jìn)行進(jìn)一步特征提取.

    2.3 模型預(yù)訓(xùn)練本文針對(duì)不同案由進(jìn)行了預(yù)訓(xùn)練.在預(yù)訓(xùn)練中,BERT將使用無標(biāo)注數(shù)據(jù)記錄不同案由下的語義特征.分別使用數(shù)據(jù)集1中的離婚裁判文書與詐騙裁判文書的法律事實(shí)部分形成無標(biāo)記數(shù)據(jù),構(gòu)建了2個(gè)不同案由下的預(yù)訓(xùn)練模型.不同領(lǐng)域的法律事實(shí)主要涉及的詞語差異較大,預(yù)訓(xùn)練后模型在不同案由下的針對(duì)性更強(qiáng).

    本文將數(shù)據(jù)集2中90%劃為訓(xùn)練集、5%劃為測試集、5%劃為預(yù)測集,并根據(jù)案由的不同加載訓(xùn)練集1中得出的預(yù)訓(xùn)練模型,訓(xùn)練本文案件事實(shí)與要素的對(duì)應(yīng)關(guān)系.

    3 “要素-法條”模型訓(xùn)練與優(yōu)化

    3.1 評(píng)估指標(biāo)與模型參數(shù)選取考慮到BERT使用的Attention機(jī)制存在局部信息捕捉弱的風(fēng)險(xiǎn),本文在BERT后分別接入了RCNN、Bi-LSTM、RNN與LSTM,并使用數(shù)據(jù)集2中的訓(xùn)練集與測試集進(jìn)行訓(xùn)練,對(duì)模型在預(yù)測集上的表現(xiàn)進(jìn)行評(píng)估.

    評(píng)估指標(biāo)使用的是宏平均下的F1分?jǐn)?shù),即準(zhǔn)確率P(precision)與召回率R(recall)的調(diào)和平均.首先,準(zhǔn)確率與召回率的計(jì)算公式為:

    (9)

    (10)

    其中,TP(truepositive)表示預(yù)測為正且實(shí)際也為正的樣本,FP(falsepositive)表示預(yù)測為正實(shí)際為負(fù)的樣本,FN(falsenegative)表示預(yù)測為負(fù)實(shí)際為正的樣本.宏平均下的準(zhǔn)確率與召回率如下:

    (11)

    (12)

    其中,Si表示第i的標(biāo)簽的正樣本數(shù)量總和,n表示標(biāo)簽總數(shù),{Si|i=1,2,…,n}表示全體標(biāo)簽所組成的集合.接著對(duì)宏平均下的準(zhǔn)確率與召回率求調(diào)和平均即得宏平均下的F1分?jǐn)?shù)

    (13)

    本文實(shí)驗(yàn)的軟件環(huán)境為Ubuntu 20.04.3,代碼基于Tensorflow(版本1.13.1)進(jìn)行開發(fā).在訓(xùn)練超參數(shù)設(shè)定上,選擇文本分類任務(wù)常用預(yù)設(shè)初始值,BERT向量化維度設(shè)為768,讀取字符最大長度為512,訓(xùn)練最小批量為128,迭代epoch次數(shù)為40,學(xué)習(xí)率指數(shù)采取衰減策略,損失函數(shù)選擇如下公式[17]

    Focal_loss=

    (14)

    其中,p表示模型輸出的預(yù)測概率值,y為真實(shí)數(shù)據(jù)(真則y=1,否則y=0),α的取值決定了模型對(duì)正樣本的關(guān)注程度,γ的取值決定了模型對(duì)難分類樣本的關(guān)注程度.

    相較于傳統(tǒng)的交叉熵?fù)p失函數(shù),Focal_loss在不均衡數(shù)據(jù)集、難分類樣本上的表現(xiàn)更好,適合作為本文訓(xùn)練案件事實(shí)與要素關(guān)系的損失函數(shù).本文直接使用BERT模型進(jìn)行訓(xùn)練,關(guān)于Focal_loss中α取值進(jìn)行了實(shí)驗(yàn),在(0,1)上以0.05為步長分別驗(yàn)證了模型精度,最后發(fā)現(xiàn)α=0.4、γ=2時(shí),模型在數(shù)據(jù)集1與2上均有較優(yōu)的表現(xiàn),后續(xù)研究將以此為基礎(chǔ).

    3.2 分類器優(yōu)化從上述分析中可以發(fā)現(xiàn)不同要素之間分布不均,這是法條推薦任務(wù)必須解決的難題.在實(shí)驗(yàn)中發(fā)現(xiàn)由于數(shù)據(jù)集中正樣本比例偏少,模型輸出的預(yù)測值往往低于0.5,這干擾了模型在大部分標(biāo)簽上的判斷.針對(duì)這一情況,本文采用閾值移動(dòng)對(duì)模型訓(xùn)練過程進(jìn)行了優(yōu)化.

    閾值移動(dòng)是指在模型訓(xùn)練過程中,使分類器中預(yù)測閾值被調(diào)整為超參數(shù)錄入模型.語言模型執(zhí)行分類任務(wù)時(shí)將會(huì)針對(duì)每一個(gè)標(biāo)簽輸出一個(gè)概率值,當(dāng)概率值大于某一個(gè)閾值時(shí)模型輸出為是,反之為否.在模型訓(xùn)練結(jié)束后,模型會(huì)在測試集上進(jìn)行預(yù)測.加入了閾值移動(dòng)的模型將針對(duì)每個(gè)標(biāo)簽在0至1之間以F1分?jǐn)?shù)作為指標(biāo)篩選閾值,并記錄下模型在測試集上的表現(xiàn),最終對(duì)每個(gè)標(biāo)簽篩選出最合適的閾值.本文以0.01為步長進(jìn)行篩選,并將篩選的結(jié)果以超參數(shù)的形式錄入了模型.例如在詐騙案由中,標(biāo)簽“累犯”的閾值為0.33(模型預(yù)測“累犯”的概率值大于0.33,則輸出為是).以詐騙案由為例,部分標(biāo)簽的閾值見表2.觀察可知由于數(shù)據(jù)集正樣本比例較少,多數(shù)標(biāo)簽最佳閾值均為0.5以下.顯然若以0.5為閾值的話,模型在大部分標(biāo)簽上的表現(xiàn)都會(huì)受到影響.

    表 2 部分標(biāo)簽最佳閾值與正樣本占比

    除此之外,由于訓(xùn)練數(shù)據(jù)系從裁判文書網(wǎng)上隨機(jī)取樣,與法院受理案件有極高的相關(guān)性,故針對(duì)每個(gè)要素的最佳閾值錄入模型后對(duì)之后模型投入實(shí)際使用具有積極的影響.

    表3為不同模型在2個(gè)案由下F1分?jǐn)?shù).觀察可知,離婚案由表現(xiàn)最好的模型為BERT+RCNN,詐騙案由表現(xiàn)最好的模型為BERT+Bi-LSTM.首先,本文嘗試了SVM、RNN與LSTM,其中詞嵌入部分與后續(xù)實(shí)驗(yàn)相同,均包含位置信息;同時(shí)對(duì)比了fastText(實(shí)驗(yàn)方法與參數(shù)設(shè)置見文獻(xiàn)[11]);加入了BERT部分后,模型表現(xiàn)均優(yōu)于機(jī)器學(xué)習(xí)模型.

    之后嘗試了BERT和BERT后接單向或雙向語言模型.其中,BERT后接入LSTM與RNN后表現(xiàn)會(huì)降低,且與fastText不相上下.BERT后接入雙向語言模型后模型表現(xiàn)會(huì)得到穩(wěn)定的提升.

    表 3 不同模型在各個(gè)案由下的F1分?jǐn)?shù)

    分析表3可以得到以下結(jié)論:

    1) RCNN與Bi-LSTM均為雙向模型,LSTM與RNN均為單向模型.BERT后接入雙向模型可提升模型表現(xiàn),均優(yōu)于BERT本身.這可能是BERT使用了雙向Transformer結(jié)構(gòu),單向的語言模型會(huì)對(duì)BERT提取的特征造成干擾,而雙向的語言模型能一定程度上彌補(bǔ)BERT使用Attention機(jī)制帶來的風(fēng)險(xiǎn).

    2) 分類器優(yōu)化后模型表現(xiàn)均能得到大幅度提升.由于數(shù)據(jù)集正樣本比例較少,對(duì)于正樣本少的標(biāo)簽?zāi)P洼敵龅母怕手低鶗?huì)偏低.對(duì)分類器進(jìn)行優(yōu)化后可以顯著地改善這個(gè)問題.

    4 要素標(biāo)注模式與傳統(tǒng)模式對(duì)比

    完成以上工作后,輸入案件事實(shí)的文本,首先通過分類模型得到對(duì)應(yīng)的要素,再基于事先建立的要素與法條的對(duì)應(yīng)關(guān)系實(shí)現(xiàn)適用法條的推薦.由于要素-法條對(duì)應(yīng)關(guān)系是法學(xué)專業(yè)人員人工整理建立,可以認(rèn)為這一步?jīng)]有誤差,從而表3要素推斷的F1分?jǐn)?shù)值即可以作為最終法條推薦的精度衡量指標(biāo).

    接下來討論要素標(biāo)注模式與傳統(tǒng)法條推薦模式的對(duì)比.

    4.1 評(píng)估指標(biāo)與數(shù)據(jù)集選取本文以宏觀下的F1分?jǐn)?shù)作為評(píng)估指標(biāo),同時(shí)為了控制變量,只選取要素所對(duì)應(yīng)的法條的集合進(jìn)行計(jì)算,即離婚案由中24個(gè)與詐騙案由中的19個(gè)法條.

    本文從數(shù)據(jù)集1中2個(gè)案由分別抽取1%的數(shù)據(jù),分別對(duì)其使用傳統(tǒng)法條推薦與“要素-法條”推薦模型.其中“要素-法條”推薦模型在不同案由上根據(jù)表3選擇精度最高的模型.

    4.2 實(shí)驗(yàn)結(jié)果與樣本案例展示經(jīng)過實(shí)驗(yàn)得知:在離婚與詐騙案由中,傳統(tǒng)法條推薦F1分?jǐn)?shù)分別為0.760 9與0.735 7,“要素-法條”推薦模式分別為0.821 1與0.761 6,高于傳統(tǒng)法條推薦,在庭審輔助系統(tǒng)中能有更高的精度.

    除此之外,要素標(biāo)注模式具有更好的適應(yīng)性.2021年,《中華人民共和國民法典》正式施行,婚姻法、繼承法、民法通則、收養(yǎng)法、擔(dān)保法、合同法、物權(quán)法、侵權(quán)責(zé)任法、民法總則同時(shí)廢止,文本學(xué)習(xí)推薦模式的模型將需要重新訓(xùn)練;而要素標(biāo)注推薦模型不需要重新訓(xùn)練,只需修改要素所對(duì)應(yīng)的法條,即可繼續(xù)投入使用.

    5 結(jié)論與展望

    本文使用基于BERT的語言模型,以數(shù)據(jù)集1作為語料庫對(duì)模型進(jìn)行了預(yù)訓(xùn)練.在此基礎(chǔ)上使用數(shù)據(jù)集2中的要素標(biāo)注數(shù)據(jù)訓(xùn)練了要素推斷模型,極大改善了傳統(tǒng)法條推薦任務(wù)中標(biāo)簽數(shù)量過多的難題,取得了更高的法條推薦精度,并且能夠根據(jù)案件事實(shí)文本推薦具有針對(duì)性的地方法規(guī)和司法解釋.同時(shí)本文實(shí)驗(yàn)探索了BERT與傳統(tǒng)語言模型的契合度,并在數(shù)據(jù)不均衡問題上尋找了一種可能的改善方案.

    本文研究的要素在法學(xué)上不僅與適用法條相關(guān),還與涉案證據(jù)等庭審因素有類似的對(duì)應(yīng)關(guān)系,后續(xù)研究將嘗試把要素推薦模型運(yùn)用到智慧法院建設(shè)的其他場景中,以充分發(fā)揮該模式的最大價(jià)值.

    注釋

    ① 中國裁判文書網(wǎng)地址:https://wenshu.court.gov.cn/.

    ② 《婚姻法》于1981年起開始實(shí)行,2021年1月1日廢止,同時(shí)《民法典》實(shí)行.

    ③ 標(biāo)注數(shù)據(jù)集樣本示例地址:https://github.com/OpenWaygate/Law-article-recommendation.

    ④ChnSentiCorp_htl_all數(shù)據(jù)集下載地址:https://raw.githubusercontent.com/SophonPlus/ChineseNlpCorpus/master/datasets/ChnSentiCorp_htl_all/ChnSentiCorp_htl_all.csv.

    ⑤Simplifyweibo_4_moods數(shù)據(jù)集下載地址:https://pan.baidu.com/s/16c93E5x373nsGozyWevITg#list/path=%2F.

    ⑥ 今日頭條新聞數(shù)據(jù)集下載地址:https://github.com/aceimnorstuvwxz/toutiao-text-classfication-dataset.

    猜你喜歡
    法條文書裁判
    太行山文書精品選(17)
    法官如此裁判
    法官如此裁判
    監(jiān)獄執(zhí)法文書規(guī)范探討
    法律裁判中的比較推理
    法律方法(2019年4期)2019-11-16 01:07:10
    黑水城出土《宋西北邊境軍政文書》中“砲”類文書再討論
    西夏學(xué)(2019年1期)2019-02-10 06:22:40
    清代刑事裁判中的“從重”
    從法條的公司法到實(shí)踐的公司法
    論民法對(duì)人身權(quán)的保護(hù)
    從法條的公司法到實(shí)踐的公司法
    商(2016年20期)2016-07-04 01:04:28
    亚洲电影在线观看av| av.在线天堂| 三级毛片av免费| 欧美区成人在线视频| 一级黄片播放器| av视频在线观看入口| 久久这里只有精品中国| 人体艺术视频欧美日本| 国产精品99久久久久久久久| 欧美高清性xxxxhd video| 亚洲国产精品久久男人天堂| 欧美潮喷喷水| 亚洲人成网站在线播放欧美日韩| 日韩欧美 国产精品| 日本黄色视频三级网站网址| 人人妻人人澡人人爽人人夜夜 | 特大巨黑吊av在线直播| 欧美丝袜亚洲另类| 两个人视频免费观看高清| 午夜福利在线在线| 寂寞人妻少妇视频99o| 国产白丝娇喘喷水9色精品| 国产在线男女| 亚洲av中文字字幕乱码综合| 精品国内亚洲2022精品成人| 亚洲国产精品成人久久小说 | 久久久久久久午夜电影| 亚洲人成网站在线播放欧美日韩| 亚洲欧美日韩东京热| 免费看光身美女| 国产白丝娇喘喷水9色精品| 人妻制服诱惑在线中文字幕| 给我免费播放毛片高清在线观看| 最后的刺客免费高清国语| 成人无遮挡网站| 午夜亚洲福利在线播放| 男女边吃奶边做爰视频| 99热网站在线观看| 22中文网久久字幕| 亚洲四区av| 在线观看美女被高潮喷水网站| 国产女主播在线喷水免费视频网站 | 国产一区二区三区av在线 | av.在线天堂| 我要看日韩黄色一级片| 国产老妇女一区| 国产伦精品一区二区三区四那| 男女视频在线观看网站免费| 中文亚洲av片在线观看爽| 日本熟妇午夜| 啦啦啦啦在线视频资源| 国产黄色小视频在线观看| 菩萨蛮人人尽说江南好唐韦庄 | 国产亚洲91精品色在线| 亚洲欧洲国产日韩| 热99在线观看视频| 日日撸夜夜添| 亚洲一级一片aⅴ在线观看| 国产真实伦视频高清在线观看| 99视频精品全部免费 在线| 晚上一个人看的免费电影| 免费观看人在逋| 免费电影在线观看免费观看| 色噜噜av男人的天堂激情| 婷婷六月久久综合丁香| 亚洲成人精品中文字幕电影| 午夜福利在线在线| 深夜a级毛片| 不卡视频在线观看欧美| 网址你懂的国产日韩在线| 身体一侧抽搐| 秋霞在线观看毛片| 美女xxoo啪啪120秒动态图| 欧美一区二区国产精品久久精品| 亚洲美女视频黄频| 国产乱人视频| 夜夜看夜夜爽夜夜摸| 国产日韩欧美在线精品| 日本黄色片子视频| 亚洲国产精品成人综合色| 在线观看一区二区三区| 国产伦精品一区二区三区视频9| 身体一侧抽搐| 亚洲成人av在线免费| 国产三级中文精品| 日韩视频在线欧美| 国产亚洲av片在线观看秒播厂 | 只有这里有精品99| 91午夜精品亚洲一区二区三区| 人妻制服诱惑在线中文字幕| 欧美精品国产亚洲| 在线观看av片永久免费下载| 欧美潮喷喷水| or卡值多少钱| 全区人妻精品视频| 尤物成人国产欧美一区二区三区| 给我免费播放毛片高清在线观看| 久久久久久久久久黄片| 亚洲自偷自拍三级| 亚洲国产高清在线一区二区三| 欧美又色又爽又黄视频| 国产成人freesex在线| 日韩欧美在线乱码| 不卡视频在线观看欧美| 亚洲在久久综合| 国产精品久久久久久久电影| 国产精品久久久久久亚洲av鲁大| 亚洲精品自拍成人| 亚洲精品久久久久久婷婷小说 | 偷拍熟女少妇极品色| 一夜夜www| 男人的好看免费观看在线视频| 亚洲成人久久爱视频| 日韩一区二区三区影片| 国产成人影院久久av| av免费在线看不卡| 日韩制服骚丝袜av| 久久久久久国产a免费观看| 校园人妻丝袜中文字幕| 国产亚洲精品久久久com| 免费看av在线观看网站| 在线播放国产精品三级| 日韩一区二区视频免费看| 白带黄色成豆腐渣| 白带黄色成豆腐渣| 久久欧美精品欧美久久欧美| 美女大奶头视频| 日韩中字成人| 日韩人妻高清精品专区| 免费av观看视频| 国产高潮美女av| 色噜噜av男人的天堂激情| 一个人免费在线观看电影| 一级毛片我不卡| 亚洲一区高清亚洲精品| 99久久成人亚洲精品观看| 亚洲在线自拍视频| 国产精品国产高清国产av| 国产爱豆传媒在线观看| 国产一区二区三区av在线 | 自拍偷自拍亚洲精品老妇| 久久久久九九精品影院| 我要搜黄色片| 国产av在哪里看| 精品国产三级普通话版| 国产午夜精品久久久久久一区二区三区| 亚洲精品久久国产高清桃花| 精品久久久久久久人妻蜜臀av| 久久久久久久久久成人| 看十八女毛片水多多多| 亚洲经典国产精华液单| 欧美日韩一区二区视频在线观看视频在线 | 国产日韩欧美在线精品| 男女视频在线观看网站免费| 你懂的网址亚洲精品在线观看 | 国产一区二区在线av高清观看| а√天堂www在线а√下载| 中文字幕制服av| 最近的中文字幕免费完整| 国产视频内射| 色尼玛亚洲综合影院| av黄色大香蕉| 亚洲图色成人| 欧美成人a在线观看| 97热精品久久久久久| 国产视频首页在线观看| 美女内射精品一级片tv| 99在线视频只有这里精品首页| 亚洲精品456在线播放app| 亚洲第一电影网av| 久久久久久久久中文| 一级黄色大片毛片| 亚洲精品自拍成人| 亚洲一级一片aⅴ在线观看| 天美传媒精品一区二区| 男女视频在线观看网站免费| 亚洲人与动物交配视频| 国产91av在线免费观看| 欧美潮喷喷水| 三级经典国产精品| 日产精品乱码卡一卡2卡三| 又粗又硬又长又爽又黄的视频 | 日韩av在线大香蕉| 国产人妻一区二区三区在| 久久精品国产亚洲av天美| 久久久久久久久中文| 欧美日韩一区二区视频在线观看视频在线 | 国产乱人偷精品视频| 在线国产一区二区在线| 国产毛片a区久久久久| 中文欧美无线码| 天堂√8在线中文| 插阴视频在线观看视频| 国产一级毛片在线| 久久久久久久久久成人| 岛国毛片在线播放| 秋霞在线观看毛片| 可以在线观看毛片的网站| 亚洲最大成人中文| 免费无遮挡裸体视频| 日产精品乱码卡一卡2卡三| av又黄又爽大尺度在线免费看 | av福利片在线观看| 人体艺术视频欧美日本| 成人鲁丝片一二三区免费| 国产精品麻豆人妻色哟哟久久 | 亚洲熟妇中文字幕五十中出| 免费人成视频x8x8入口观看| 18禁在线播放成人免费| 自拍偷自拍亚洲精品老妇| www.色视频.com| 一夜夜www| 一进一出抽搐动态| 国产在视频线在精品| 免费无遮挡裸体视频| 深夜a级毛片| 亚洲最大成人av| 免费观看的影片在线观看| 午夜福利成人在线免费观看| 国产亚洲精品av在线| 12—13女人毛片做爰片一| 久久婷婷人人爽人人干人人爱| 精品免费久久久久久久清纯| 三级毛片av免费| av在线老鸭窝| 国产黄片美女视频| 精品人妻偷拍中文字幕| 爱豆传媒免费全集在线观看| 天美传媒精品一区二区| 久久精品久久久久久久性| 成人一区二区视频在线观看| 黄色一级大片看看| 国产不卡一卡二| 91久久精品电影网| 亚洲乱码一区二区免费版| 日韩欧美三级三区| 亚洲aⅴ乱码一区二区在线播放| 久久精品国产亚洲网站| 青春草视频在线免费观看| 一本久久中文字幕| 国产中年淑女户外野战色| 亚洲人成网站在线播| 国产av麻豆久久久久久久| 看黄色毛片网站| 久99久视频精品免费| 亚洲人成网站在线播| 国产探花在线观看一区二区| 我的老师免费观看完整版| 国产精品,欧美在线| 69av精品久久久久久| 免费看av在线观看网站| 中国美白少妇内射xxxbb| 波多野结衣高清无吗| 久久人人爽人人爽人人片va| 给我免费播放毛片高清在线观看| 老师上课跳d突然被开到最大视频| 小说图片视频综合网站| 国产精品,欧美在线| 美女cb高潮喷水在线观看| 啦啦啦啦在线视频资源| 欧美高清成人免费视频www| 在线免费观看不下载黄p国产| 国产精品爽爽va在线观看网站| av视频在线观看入口| 九九爱精品视频在线观看| 97超碰精品成人国产| 22中文网久久字幕| 亚洲自偷自拍三级| 久久久久九九精品影院| 亚洲av电影不卡..在线观看| 色综合色国产| av国产免费在线观看| 欧美日韩乱码在线| 又爽又黄无遮挡网站| 国产伦理片在线播放av一区 | 中文字幕av成人在线电影| 97超视频在线观看视频| 国产亚洲av嫩草精品影院| 亚洲av成人精品一区久久| 全区人妻精品视频| 久久久久久久久大av| 久久久久九九精品影院| 亚洲天堂国产精品一区在线| 三级男女做爰猛烈吃奶摸视频| 搡女人真爽免费视频火全软件| av视频在线观看入口| 欧美另类亚洲清纯唯美| 欧美激情久久久久久爽电影| 18禁黄网站禁片免费观看直播| 久久综合国产亚洲精品| 久久精品久久久久久久性| 色5月婷婷丁香| 国产三级在线视频| 日韩强制内射视频| 一级黄片播放器| 久久久久久久久中文| 日韩欧美精品v在线| 岛国在线免费视频观看| 成年免费大片在线观看| 亚洲国产日韩欧美精品在线观看| 精品人妻偷拍中文字幕| 最近视频中文字幕2019在线8| 少妇人妻精品综合一区二区 | 12—13女人毛片做爰片一| 九九热线精品视视频播放| 中文字幕精品亚洲无线码一区| 18+在线观看网站| 91av网一区二区| 毛片一级片免费看久久久久| 亚洲国产精品久久男人天堂| 看十八女毛片水多多多| 丰满人妻一区二区三区视频av| 亚洲精品国产av成人精品| 亚洲av中文字字幕乱码综合| 欧美日韩一区二区视频在线观看视频在线 | 亚洲av二区三区四区| 少妇高潮的动态图| 精品久久久久久久久亚洲| 99九九线精品视频在线观看视频| 性欧美人与动物交配| 中国美白少妇内射xxxbb| 亚洲在线自拍视频| 免费无遮挡裸体视频| 婷婷六月久久综合丁香| 日本一二三区视频观看| 观看免费一级毛片| 精品一区二区三区人妻视频| 国产成人精品婷婷| 久久人人精品亚洲av| 精品一区二区免费观看| 男人和女人高潮做爰伦理| 可以在线观看毛片的网站| 天天躁夜夜躁狠狠久久av| 中国国产av一级| 青春草国产在线视频 | 变态另类成人亚洲欧美熟女| 国内揄拍国产精品人妻在线| 高清毛片免费观看视频网站| 精品久久久久久久久久免费视频| 久久久久久九九精品二区国产| 又粗又硬又长又爽又黄的视频 | 成人午夜精彩视频在线观看| 国产精品综合久久久久久久免费| 久久综合国产亚洲精品| 内地一区二区视频在线| 国产一级毛片七仙女欲春2| 亚洲精品色激情综合| 国产黄色视频一区二区在线观看 | 国产精品电影一区二区三区| 大香蕉久久网| 成人国产麻豆网| 国产精华一区二区三区| 啦啦啦韩国在线观看视频| 日本五十路高清| 91久久精品国产一区二区成人| 国产综合懂色| av天堂在线播放| 亚洲国产精品成人综合色| 日本一本二区三区精品| 久久久午夜欧美精品| 欧美在线一区亚洲| 精品久久久久久久久久免费视频| 2022亚洲国产成人精品| 亚洲最大成人av| 蜜桃久久精品国产亚洲av| 99久久久亚洲精品蜜臀av| 69人妻影院| 亚洲av成人精品一区久久| 国产精品久久久久久亚洲av鲁大| 最近中文字幕高清免费大全6| av在线老鸭窝| 国产精品无大码| 亚洲精品国产av成人精品| 国产精品人妻久久久久久| 精品久久久久久久久亚洲| 春色校园在线视频观看| 成人综合一区亚洲| 久久久午夜欧美精品| 国产精品,欧美在线| 久久午夜福利片| 如何舔出高潮| 网址你懂的国产日韩在线| 亚洲欧美日韩无卡精品| 亚洲aⅴ乱码一区二区在线播放| 观看免费一级毛片| 中国美白少妇内射xxxbb| 国产欧美日韩一区二区三区在线 | 亚洲av国产av综合av卡| 永久免费av网站大全| 亚洲色图 男人天堂 中文字幕 | 国产精品99久久久久久久久| 免费人妻精品一区二区三区视频| 91久久精品国产一区二区三区| 女性被躁到高潮视频| 一边亲一边摸免费视频| 91在线精品国自产拍蜜月| 精品一区二区三区视频在线| 在线观看人妻少妇| 亚洲精华国产精华液的使用体验| 视频在线观看一区二区三区| 亚洲精品久久午夜乱码| av在线老鸭窝| 2022亚洲国产成人精品| 男女高潮啪啪啪动态图| 在线 av 中文字幕| 久久精品熟女亚洲av麻豆精品| a级毛片在线看网站| 伦理电影免费视频| 欧美丝袜亚洲另类| 日本黄色日本黄色录像| 五月伊人婷婷丁香| 高清不卡的av网站| 午夜精品国产一区二区电影| 国产免费现黄频在线看| 九九久久精品国产亚洲av麻豆| 国产成人免费无遮挡视频| 美女视频免费永久观看网站| 欧美激情极品国产一区二区三区 | 欧美三级亚洲精品| 精品午夜福利在线看| 欧美日韩av久久| 亚洲人成网站在线观看播放| 亚洲精品日韩在线中文字幕| 欧美少妇被猛烈插入视频| 99热6这里只有精品| 久久毛片免费看一区二区三区| freevideosex欧美| 久久久久人妻精品一区果冻| 天堂俺去俺来也www色官网| 国产成人freesex在线| 3wmmmm亚洲av在线观看| 在线观看免费高清a一片| 国产在线一区二区三区精| 插逼视频在线观看| 欧美另类一区| 狂野欧美白嫩少妇大欣赏| 国产白丝娇喘喷水9色精品| 亚洲国产欧美在线一区| 热re99久久精品国产66热6| 性高湖久久久久久久久免费观看| 一边亲一边摸免费视频| 亚洲国产欧美日韩在线播放| 欧美日韩一区二区视频在线观看视频在线| 欧美成人午夜免费资源| 在线免费观看不下载黄p国产| 国产日韩欧美在线精品| 国产精品.久久久| 国产亚洲欧美精品永久| 久久精品国产亚洲网站| 大陆偷拍与自拍| av一本久久久久| 涩涩av久久男人的天堂| 亚洲精品乱码久久久久久按摩| 一二三四中文在线观看免费高清| 男女无遮挡免费网站观看| 免费人妻精品一区二区三区视频| 好男人视频免费观看在线| 国产淫语在线视频| av福利片在线| 曰老女人黄片| 国产精品一区二区三区四区免费观看| 精品午夜福利在线看| 香蕉精品网在线| 伊人亚洲综合成人网| 99久久综合免费| 考比视频在线观看| 最新中文字幕久久久久| 女性被躁到高潮视频| 国产在线视频一区二区| 国产欧美另类精品又又久久亚洲欧美| 青春草国产在线视频| 久久国产精品大桥未久av| 国国产精品蜜臀av免费| 狠狠精品人妻久久久久久综合| 亚洲欧美精品自产自拍| 欧美日韩视频高清一区二区三区二| 热re99久久精品国产66热6| 精品国产露脸久久av麻豆| 国产日韩一区二区三区精品不卡 | videos熟女内射| 国产伦精品一区二区三区视频9| 亚洲欧美日韩另类电影网站| 久久人妻熟女aⅴ| 黄色怎么调成土黄色| 亚洲不卡免费看| 三级国产精品欧美在线观看| 午夜免费鲁丝| 日韩视频在线欧美| 免费观看a级毛片全部| 欧美 亚洲 国产 日韩一| 欧美人与善性xxx| 成人国产av品久久久| 国产成人精品在线电影| 成人漫画全彩无遮挡| 久久久国产欧美日韩av| 欧美日韩精品成人综合77777| 性色avwww在线观看| 蜜桃在线观看..| 极品人妻少妇av视频| 精品人妻熟女av久视频| 久久久久国产网址| 欧美另类一区| 国产精品国产av在线观看| 亚洲av男天堂| 啦啦啦啦在线视频资源| 寂寞人妻少妇视频99o| 9色porny在线观看| 亚洲少妇的诱惑av| 免费高清在线观看视频在线观看| 成人无遮挡网站| 91精品一卡2卡3卡4卡| 七月丁香在线播放| 久久精品国产亚洲网站| 天堂中文最新版在线下载| 人人妻人人添人人爽欧美一区卜| 男人添女人高潮全过程视频| 欧美bdsm另类| 国产 精品1| 久久精品人人爽人人爽视色| 中文字幕最新亚洲高清| 久久久精品区二区三区| 亚洲av二区三区四区| 狂野欧美激情性xxxx在线观看| 国产亚洲av片在线观看秒播厂| 边亲边吃奶的免费视频| 18禁在线无遮挡免费观看视频| 欧美一级a爱片免费观看看| 国产国语露脸激情在线看| 水蜜桃什么品种好| 免费av不卡在线播放| 精品一区在线观看国产| 国产日韩欧美亚洲二区| 久久99蜜桃精品久久| 免费日韩欧美在线观看| 国产成人精品福利久久| 精品久久国产蜜桃| 亚洲国产精品国产精品| 亚洲天堂av无毛| 最近2019中文字幕mv第一页| 亚洲av二区三区四区| 青青草视频在线视频观看| 亚洲三级黄色毛片| 亚洲天堂av无毛| 一级黄片播放器| 欧美三级亚洲精品| 国产精品久久久久久av不卡| 久久亚洲国产成人精品v| 一级片'在线观看视频| 黑人巨大精品欧美一区二区蜜桃 | 夫妻性生交免费视频一级片| 成人18禁高潮啪啪吃奶动态图 | 免费av不卡在线播放| 午夜免费鲁丝| 在线播放无遮挡| xxx大片免费视频| 曰老女人黄片| 成年人免费黄色播放视频| xxx大片免费视频| 国产日韩欧美亚洲二区| 最新中文字幕久久久久| 国产精品久久久久成人av| 在线观看一区二区三区激情| 少妇被粗大猛烈的视频| 午夜福利视频精品| 久久狼人影院| 日日撸夜夜添| 成年av动漫网址| 69精品国产乱码久久久| 国产精品久久久久久精品电影小说| 国产av精品麻豆| 人妻一区二区av| 精品国产乱码久久久久久小说| 妹子高潮喷水视频| 在线观看免费日韩欧美大片 | 国产精品国产av在线观看| 国产精品一区二区在线不卡| 熟女av电影| 黄色怎么调成土黄色| 久久久久国产网址| 国产成人av激情在线播放 | 大话2 男鬼变身卡| 亚洲精品日本国产第一区| 人成视频在线观看免费观看| 国产 精品1| 男女啪啪激烈高潮av片| 欧美日韩国产mv在线观看视频| 亚洲经典国产精华液单| 啦啦啦视频在线资源免费观看| 亚洲久久久国产精品| 一区二区三区四区激情视频| 欧美激情极品国产一区二区三区 | 制服人妻中文乱码| 人妻一区二区av| 久久久国产一区二区| 国产免费又黄又爽又色| 一级毛片 在线播放| 乱码一卡2卡4卡精品| 精品久久久久久久久亚洲| 国产一级毛片在线| av播播在线观看一区| 如何舔出高潮| 少妇丰满av| 熟妇人妻不卡中文字幕| 免费观看a级毛片全部| 91精品国产九色| 日本色播在线视频| 欧美成人午夜免费资源| 大码成人一级视频| 考比视频在线观看| 免费大片18禁| 伦理电影大哥的女人| 一级毛片我不卡| 国产免费一级a男人的天堂| 久久久久国产精品人妻一区二区| 国产永久视频网站|