融合法條的司法裁判文書(shū)摘要生成方法

魏鑫煬，秦永彬，2，唐向紅，2+，黃瑞章，2，陳艷平，2

(1.貴州大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，貴州 貴陽(yáng) 550025；2.貴州大學(xué) 省部共建公共大數(shù)據(jù)重點(diǎn)實(shí)驗(yàn)室，貴州 貴陽(yáng) 550025)

0 引 言

通過(guò)對(duì)我國(guó)法官案件判決過(guò)程的調(diào)研發(fā)現(xiàn)，法官的審判過(guò)程中包含有“從案件事實(shí)認(rèn)定，到法律適用選擇，最后得出裁判意見(jiàn)”的審判邏輯脈絡(luò)[1]。裁判文書(shū)是總結(jié)法官審判過(guò)程的重要文書(shū)，是體現(xiàn)法官審判依據(jù)的重要載體，這也意味著裁判文書(shū)中蘊(yùn)含著法官在整個(gè)案件審判過(guò)程中的審理邏輯脈絡(luò)；通過(guò)裁判文書(shū)我們就能夠從中發(fā)現(xiàn)“案件事實(shí)，適用法律，裁判意見(jiàn)”之間的關(guān)聯(lián)關(guān)系，這也是裁判文書(shū)重要的邏輯結(jié)構(gòu)特點(diǎn)。而文本摘要任務(wù)旨在從一篇或多篇相同主題的文本中抽取能夠反映主題的精簡(jiǎn)壓縮版本[2，3]，這就意味著裁判文書(shū)的摘要也蘊(yùn)含有重要的法官審理邏輯脈絡(luò)，如圖1所示。

圖1 專家摘要中法條與案情描述的對(duì)應(yīng)關(guān)系

從圖1給出的裁判文書(shū)專家摘要示例中可以看出，案件涉及到的主要法條為《中華人民共和國(guó)繼承法》第二條、第三條、第五條和第十條，而專家摘要的案情部分均與這幾個(gè)法條高度關(guān)聯(lián)。傳統(tǒng)的文本摘要方法直接應(yīng)用于司法文本時(shí)沒(méi)有考慮這一重要的邏輯結(jié)構(gòu)特點(diǎn)，會(huì)導(dǎo)致生成的最終摘要丟失了相關(guān)的重要信息，從而使摘要性能達(dá)不到預(yù)期效果。

因此，通過(guò)分析這一重要的法官審理邏輯脈絡(luò)，我們發(fā)現(xiàn)法條的選擇與案件的案情描述有著強(qiáng)烈的聯(lián)系。所以本文參考法官這種審理過(guò)程中的審判邏輯脈絡(luò)，充分利用法條這一外部知識(shí)，通過(guò)法條輔助生成裁判文書(shū)的摘要，使得生成的裁判文書(shū)摘要能夠最大程度保留原文中的關(guān)鍵信息，提升司法摘要生成的性能。

1 相關(guān)工作

自動(dòng)文本摘要生成算法按實(shí)現(xiàn)方式一般分為抽取式(extractive)和生成式(abstractive)[4]。對(duì)于傳統(tǒng)的抽取式摘要技術(shù)，主要是通過(guò)統(tǒng)計(jì)文本中的共現(xiàn)信息來(lái)進(jìn)行自動(dòng)文本摘要生成；Mihalcea等[5]提出的Textrank算法為傳統(tǒng)抽取式摘要生成算法的代表之一。這些算法主要是通過(guò)統(tǒng)計(jì)文本中的一些文本特征來(lái)進(jìn)行重要成分篩選，但是對(duì)于裁判文書(shū)，包含有冗長(zhǎng)的案情描述部分，甚至一些重要的事實(shí)或證據(jù)都不會(huì)贅述，文本特征并不明顯，運(yùn)用傳統(tǒng)的統(tǒng)計(jì)方法容易將這些重要信息丟失。隨著機(jī)器學(xué)習(xí)的發(fā)展，許多研究人員也將機(jī)器學(xué)習(xí)算法運(yùn)用到文本摘要任務(wù)中；Nallapati等[6]提出SummaRuNNer，Liu[7]提出Bertsum，它們均是采用序列標(biāo)注的方法抽取出重要的句子組成摘要；這類方法需要提前標(biāo)注好的數(shù)據(jù)，并且它們都是進(jìn)行句子級(jí)別的建模，從而忽略了文檔中關(guān)鍵詞的作用。

相對(duì)于抽取摘要來(lái)說(shuō)，生成式摘要的發(fā)展時(shí)間比較短；See等[8]在基于注意力機(jī)制的seq2seq[9]模型基礎(chǔ)之上提出了指針生成網(wǎng)絡(luò)，有效緩解了oov(out-of-vocabulary)問(wèn)題，可讀性問(wèn)題和重復(fù)詞問(wèn)題；近年來(lái)隨著bert[10]的發(fā)展，許多基于bert預(yù)訓(xùn)練的文本摘要生成技術(shù)被提出，并取得了不錯(cuò)的效果，如BertSumExt[11]和基于UniLM[12]的方法。生成式文摘方法大多都趨向端到端的過(guò)程，這就導(dǎo)致了文本摘要生成過(guò)程的封閉性，完全由模型自行訓(xùn)練，沒(méi)有額外信息的輔助，這就會(huì)導(dǎo)致原文本中許多重要信息的丟失；在關(guān)鍵信息眾多且細(xì)微的裁判文書(shū)中更是如此。

通過(guò)引入外部知識(shí)能夠有效幫助指導(dǎo)模型保留文章的重要信息，Kai等[13]通過(guò)構(gòu)建模板從文中抽取出關(guān)鍵信息來(lái)指導(dǎo)摘要生成；Kundan等[14]通過(guò)引入文章的話題作為外部知識(shí)輔助摘要的生成；Chen等[15]提出了KIGN模型，該模型通過(guò)TextRank抽取出文章中的關(guān)鍵信息來(lái)輔助文本摘要生成；但是由于裁判文書(shū)的結(jié)構(gòu)性以及包含有法官的審判邏輯脈絡(luò)，用TextRank對(duì)原文本進(jìn)行關(guān)鍵字抽取，依舊會(huì)丟失許多重要的信息。因此本文參考法官的審判邏輯脈絡(luò)，利用法條逆向輔助保留裁判文書(shū)中的重要信息，使得生成的摘要更加符合專家摘要的形式，從而提升摘要生成的性能。

對(duì)于司法領(lǐng)域的自動(dòng)文本摘要，國(guó)外的發(fā)展要比國(guó)內(nèi)早，目前其主要是利用統(tǒng)計(jì)模型，圖模型以及分類模型等傳統(tǒng)文摘模型[16]來(lái)對(duì)司法文本進(jìn)行自動(dòng)化摘要生成[17]。但是由于國(guó)內(nèi)外的司法體系的不同，國(guó)外的司法文本摘要方法并不適用于我國(guó)的司法文本摘要生成。而國(guó)內(nèi)相關(guān)的司法領(lǐng)域摘要研究尚處于初級(jí)階段，因此本文主要參考新聞?lì)I(lǐng)域的摘要研究方向，結(jié)合司法領(lǐng)域特點(diǎn)來(lái)進(jìn)行相關(guān)的摘要方法研究。

2 方法介紹

2.1 方法概述

基于法官的審判過(guò)程和審理邏輯脈絡(luò)，本文通過(guò)引入法條作為外部知識(shí)，以此來(lái)輔助裁判文書(shū)的司法摘要生成。首先對(duì)于裁判文書(shū)原文部分，我們利用經(jīng)典的指針生成網(wǎng)絡(luò)構(gòu)建一個(gè)encoder-decoder框架的抽取式摘要生成模型；然后基于attention機(jī)制構(gòu)建一個(gè)關(guān)于法條的外部知識(shí)編碼器；最后將兩個(gè)模型進(jìn)行融合輸出，通過(guò)外部知識(shí)來(lái)輔助生成最終的司法摘要。整體的模型架構(gòu)如圖2所示。

圖2 融合法條的司法裁判文書(shū)摘要生成模型

2.2 seq2seq模型

在通用領(lǐng)域的自動(dòng)文摘技術(shù)中，Seq2Seq已經(jīng)成為了一個(gè)主流的模型框架，本文采用的基礎(chǔ)模型也是基于Seq2Seq模型的指針生成網(wǎng)絡(luò)。Seq2Seq的模型結(jié)構(gòu)主要包含Encoder和Decoder兩個(gè)過(guò)程，通過(guò)Encoder將源文本映射成一個(gè)向量，然后Decoder將中間向量轉(zhuǎn)換為相應(yīng)的文本摘要；即首先將擁有N個(gè)詞的源文檔S=(w1，w2，w3，…，wN) 依次輸入Encoder端編碼成一個(gè)中間層的隱藏狀態(tài)，之后用Decoder來(lái)將該隱藏狀態(tài)進(jìn)行解碼，最后輸出含有M個(gè)詞的序列Y=(y1，y2，y3，…，yM)。

經(jīng)典的Seq2Seq在Encoder端是一個(gè)雙向的LSTM，這個(gè)雙向的LSTM可以捕捉原文本的長(zhǎng)距離依賴關(guān)系以及位置信息，編碼的詞嵌入經(jīng)過(guò)雙向LSTM后得到編碼狀態(tài)hi。 在Decoder端，解碼器是一個(gè)單向的LSTM；在訓(xùn)練階段，Decoder端將參考摘要詞依次輸入，在時(shí)間步t得到解碼狀態(tài)st； 最后結(jié)合上下文向量ct計(jì)算得到詞典的概率分布Pvocab， 用于預(yù)測(cè)生成的下一個(gè)詞。其中上下文向量ct使用注意力機(jī)制計(jì)算得到，具體計(jì)算過(guò)程如下

(1)

at=softmax(et)

(2)

(3)

Pvocab=softmax(f(st，ct))

(4)

其中，v，Wh，Ws，battn均為可學(xué)習(xí)的參數(shù)，f表示一個(gè)線性函數(shù)；得到的注意力分布at可以看作是源文檔S中詞的概率分布，用來(lái)幫助decoder生成下一個(gè)詞。

2.3 指針生成網(wǎng)絡(luò)

指針生成網(wǎng)絡(luò)(pointer-generator network，PGN)是基于Seq2Seq的文本摘要生成模型，它結(jié)合傳統(tǒng)的Seq2Seq模型與指針網(wǎng)絡(luò)，通過(guò)指針(pointer)機(jī)制從源文本中復(fù)制單詞，有助于準(zhǔn)確地復(fù)制信息，同時(shí)保留通過(guò)生成器產(chǎn)生新單詞的能力。

傳統(tǒng)的seq2seq在計(jì)算權(quán)重之后會(huì)對(duì)Encoder的狀態(tài)進(jìn)行加權(quán)，得到上下文向量c，以此來(lái)計(jì)算出詞典概率分布Pvocab； 而指針網(wǎng)絡(luò)則在計(jì)算權(quán)重之后選擇概率最大的Encoder狀態(tài)作為輸出，即計(jì)算得到輸入源文本的詞的概率分布at。 指針網(wǎng)絡(luò)使用不同于傳統(tǒng)seq2seq的注意力機(jī)制來(lái)從輸入序列中選擇合適的詞作為模型的輸出，這有助于準(zhǔn)確地復(fù)制信息，并且使得模型在輸出序列中可以有機(jī)會(huì)生成未錄入詞典的新詞。

對(duì)于本文的司法摘要任務(wù)來(lái)說(shuō)，由于詞典的大小是有限的，許多關(guān)鍵的詞語(yǔ)可能不會(huì)被收錄在詞典中，這就可能使得在生成最終摘要時(shí)丟失了這些關(guān)鍵信息。我們可以通過(guò)Seq2Seq模型計(jì)算得到相應(yīng)的詞典概率分布Pvocab(w)， 以及通過(guò)指針網(wǎng)絡(luò)計(jì)算相應(yīng)的輸入序列的概率分布at， 最后計(jì)算一個(gè)合適的權(quán)重Pgen將兩個(gè)概率分布結(jié)合以得到待生成詞的最終概率分布PPGN(w)。 這就使得模型有機(jī)會(huì)選擇從輸入的源文本或者從詞典中生成合適的詞作為摘要，也就可以將這些丟失的關(guān)鍵信息復(fù)制到生成的摘要文本中，使得生成的摘要更加準(zhǔn)確與合理；下面是具體的計(jì)算過(guò)程

(5)

(6)

2.4 法條的外部知識(shí)編碼器

指針生成網(wǎng)絡(luò)作為主流的自動(dòng)文摘生成模型，在新聞?lì)I(lǐng)域取得了非常不錯(cuò)的性能；但是在司法領(lǐng)域，由于法律文本的特殊性，蘊(yùn)含有法官審判邏輯脈絡(luò)的裁判文書(shū)直接使用指針網(wǎng)絡(luò)進(jìn)行摘要的自動(dòng)生成時(shí)，模型可能會(huì)忽略了這種隱含的重要審判邏輯脈絡(luò)，進(jìn)一步導(dǎo)致源文本(裁判文書(shū))中重要信息的丟失，從而降低了生成的摘要的性能。因此本文從法官審判邏輯脈絡(luò)的角度出發(fā)，引入法條作為外部知識(shí)，使用一個(gè)關(guān)于法條的外部知識(shí)編碼器，將每篇裁判文書(shū)所涉及到的相關(guān)法條內(nèi)容進(jìn)行知識(shí)編碼，結(jié)合指針生成網(wǎng)絡(luò)來(lái)進(jìn)一步保留源文檔中的重要信息，從而提升司法摘要生成的性能。

本文的法條外部知識(shí)編碼器主要是使用一個(gè)雙向的LSTM來(lái)對(duì)法條內(nèi)容進(jìn)行編碼，與指針生成網(wǎng)絡(luò)中的Encoder端類似，將法條外部知識(shí)作為輸入，該外部知識(shí)為數(shù)據(jù)預(yù)處理階段得到的關(guān)于法條具體條文內(nèi)容的關(guān)鍵詞；之后計(jì)算得到一個(gè)中間向量，通過(guò)中間向量計(jì)算得到一個(gè)全局的詞典概率分布P′vocab(w)， 最后將指針生成網(wǎng)絡(luò)計(jì)算得到的概率分布PPGN(w)與P′vocab(w) 進(jìn)行融合得到最終的概率分布Pfinal(w)。 通過(guò)這樣的外部知識(shí)編碼方式，能夠使得源文檔中與法條內(nèi)容相關(guān)的信息得到加強(qiáng)，從而提升了準(zhǔn)確詞語(yǔ)生成的概率，進(jìn)一步提升了整個(gè)司法摘要生成的性能。

如圖2中所示，本文所采用的模型結(jié)合了裁判文書(shū)原文以及涉及的相關(guān)法條內(nèi)容，共同來(lái)生成相應(yīng)的司法摘要。對(duì)于輸入的源文檔(裁判文書(shū))S=(w1，w2，w3，…，wN) 以及相關(guān)的法條外部知識(shí)K=(k1，k2，k3，…，kM)， 均采用一個(gè)雙向的LSTM來(lái)進(jìn)行編碼操作，從而分別得到一系列的隱藏狀態(tài) (h1，h2，h3，…，hN) 和 (h′1，h′2，…，h′M)， 之后通過(guò)將兩個(gè)編碼器的最一個(gè)隱狀態(tài)hN與h′M進(jìn)行連接轉(zhuǎn)換后得到Decoder端的初始狀態(tài)s0

s0=ReLU(Wf[hN，h′M])

(7)

式中：ReLU=max(0，x)，Wf是一個(gè)可學(xué)習(xí)參數(shù)。

對(duì)于裁判文書(shū)和法條外部知識(shí)的Encoder部分，參考式(1)、式(2)，可計(jì)算得到相應(yīng)的注意力權(quán)重分布

eti=vTtanh(Whhi+Wsst+battn)

(8)

e′tj=v′Ttanh(W′hh′j+W′sst+b′attn)

(9)

at=softmax(et)

(10)

a′t=softmax(e′t)

(11)

其中，at為裁判文書(shū)Encoder的注意力權(quán)重分布，a′t為法條外部知識(shí)的注意力權(quán)重分布，v，v′，Wh，W′h，Ws，W′s，battn，b′attn均為可學(xué)習(xí)的參數(shù)，而st則為Decoder在時(shí)間步t的隱狀態(tài)，可通過(guò)下式計(jì)算得到

st=f(st-1，yt-1，ct-1，c′t-1)

(12)

式中：st-1為Decoder在時(shí)間步t-1的隱狀態(tài)，yt-1為Decoder在時(shí)間步t的輸入，f為一個(gè)非線性函數(shù)，本文采用LSTM作為函數(shù)f；ct-1和c′t-1分別為裁判文書(shū)Encoder和法條外部知識(shí)Encoder的上下文向量，可通過(guò)下式計(jì)算得到

(13)

(14)

如圖2所示，本文所采用的模型是通過(guò)將指針生成網(wǎng)絡(luò)計(jì)算得到的概率分布PPGN(w) 與P′vocab(w) 進(jìn)行結(jié)合得到最終的概率分布Pfinal(w)

Pfinal(w)=λPPGN(w)+(1-λ)P′vocab(w)

(15)

式中：PPGN(w) 為裁判文書(shū)通過(guò)指針生成網(wǎng)絡(luò)計(jì)算得到的概率分布，可通過(guò)式(4)～式(6)、式(12)、式(13)計(jì)算得到；P′vocab(w) 為法條外部知識(shí)計(jì)算得到的詞典概率分布，可通過(guò)式(4)、式(12)、式(14)計(jì)算得到。對(duì)于參數(shù)λ，它的作用是調(diào)節(jié)PPGN(w) 與P′vocab(w) 之間的權(quán)重，因此需要能夠根據(jù)解碼狀態(tài)st， Decoder輸入yt-1， 裁判文書(shū)上下文向量ct， 和法條外部知識(shí)的上下文向量c′t來(lái)進(jìn)行調(diào)整，因此可通過(guò)下式進(jìn)行計(jì)算

(16)

最后，本文使用對(duì)數(shù)似然函數(shù)作為模型的訓(xùn)練損失函數(shù)，損失函數(shù)如下

(17)

3 實(shí)驗(yàn)及分析

3.1 數(shù)據(jù)集

此外，本文通過(guò)構(gòu)建正則表達(dá)式，從數(shù)據(jù)集中提取出每條數(shù)據(jù)涉及的相關(guān)法條進(jìn)行統(tǒng)計(jì)分析，如圖3所示為整個(gè)數(shù)據(jù)集涉及的法條數(shù)量分布統(tǒng)計(jì)。從圖中我們可以看到，整個(gè)數(shù)據(jù)集中，每條數(shù)據(jù)中涉及的法條數(shù)量在“0～17”條之間，其中涉及到3條法條的數(shù)據(jù)最多，有709條；而每條數(shù)據(jù)所涉及的法條數(shù)量主要集中在“0～9”條之間。因?yàn)榉l是案件審理邏輯脈絡(luò)的重要組成部分，因此為了確保法條信息的完整性，本文將每條數(shù)據(jù)涉及的法條均納入后續(xù)處理階段。

本文在得到數(shù)據(jù)集中相關(guān)法條的統(tǒng)計(jì)數(shù)據(jù)之后，設(shè)計(jì)爬蟲(chóng)將涉及到的法律條款從網(wǎng)絡(luò)上爬取，構(gòu)建了一個(gè)法條庫(kù)；在數(shù)據(jù)預(yù)處理階段，從法條庫(kù)中匹配每篇裁判文書(shū)中涉及到的法律條文，將匹配到的條文具體內(nèi)容作為外部知識(shí)；為了降低法律條文中的噪聲影響，進(jìn)一步通過(guò)Textrank算法對(duì)條文具體內(nèi)容中的關(guān)鍵詞進(jìn)行統(tǒng)計(jì)抽取過(guò)濾，將過(guò)濾得到的法條關(guān)鍵信息作為外部知識(shí)添加到數(shù)據(jù)集中。

3.2 實(shí)驗(yàn)設(shè)置

本文采用pytorch框架進(jìn)行模型的搭建，對(duì)于裁判文書(shū)和法條的Encoder端均采用512維的雙向LSTM，對(duì)于Decoder端則是采用512維的單向LSTM；在詞向量方面，本文采取隨機(jī)初始化的方法，將詞向量的維度設(shè)置為512維，其在持續(xù)訓(xùn)練的過(guò)程中會(huì)不斷調(diào)整。此外，在進(jìn)行詞典構(gòu)建時(shí)，通過(guò)將裁判文書(shū)與法條進(jìn)行聯(lián)合統(tǒng)計(jì)，最終選擇了兩萬(wàn)個(gè)詞語(yǔ)構(gòu)建詞典。在整個(gè)訓(xùn)練與測(cè)試過(guò)程中，經(jīng)過(guò)數(shù)據(jù)預(yù)處理階段，輸入的文本長(zhǎng)度得到壓縮，因此本文中輸入的源文本最大長(zhǎng)度設(shè)置為700，經(jīng)過(guò)統(tǒng)計(jì)，能夠有效滿足模型和數(shù)據(jù)的要求；生成的文本摘要詞數(shù)最大長(zhǎng)度設(shè)置為200，法條外部知識(shí)的最大長(zhǎng)度設(shè)置為100。在訓(xùn)練過(guò)程中，本文設(shè)置的學(xué)習(xí)率為0.001，累加器的初始值設(shè)置為0.1，訓(xùn)練的batch大小為32。評(píng)價(jià)指標(biāo)則采用通用的ROUGE評(píng)價(jià)指標(biāo)進(jìn)行性能評(píng)價(jià)，將自動(dòng)生成的摘要與參考摘要進(jìn)行比較，其中ROUGE-1衡量unigram匹配情況，ROUGE-2衡量bigram匹配，ROUGE-L記錄最長(zhǎng)的公共子序列。

3.3 基線模型

Lead-3[18]：采用抽取文章的前三句文本作為整篇文章的摘要，由于新聞的重要信息通常都集中在文章的前半部分，因此Lead-3算法能夠取得不錯(cuò)的效果。

Textrank：將句子作為節(jié)點(diǎn)，句子之間的相似度作為邊構(gòu)建圖，通過(guò)基于圖的排序算法計(jì)算句子的重要度，最后抽取排名高的句子組成摘要。

Bertsum：將摘要過(guò)程抽象為分類問(wèn)題，通過(guò)BERT獲取到原文的句子向量表示，之后通過(guò)分類器從句向量中獲取到文章的文檔級(jí)特征，用于最終的摘要提取。

seq2seq+attention模型以及指針生成網(wǎng)絡(luò)模型(PGN)作為本文的基礎(chǔ)對(duì)比模型，在2章節(jié)中已進(jìn)行詳細(xì)介紹。

3.4 實(shí)驗(yàn)結(jié)果與分析

為了進(jìn)一步驗(yàn)證我們模型的有效性，本文進(jìn)行了一系列的對(duì)比實(shí)驗(yàn)；將我們的模型同所提基線模型進(jìn)行實(shí)驗(yàn)對(duì)比，實(shí)驗(yàn)結(jié)果見(jiàn)表1。

表1 在測(cè)試集上模型的ROUGE得分

由表1可以看出，在F1指標(biāo)上，我們的方法比主流的指針生成網(wǎng)絡(luò)性能分別高出(1.37 ROUGE-1，4.91 ROUGE-2，3.91 ROUGE-L)；比基礎(chǔ)模型(baseline)性能分別高出(6.57 ROUGE-1，6.64 ROUGE-2，6.44 ROUGE-L)；比Textrank性能分別高出(10.63 ROUGE-1，8.26 ROUGE-2，12.14 ROUGE-L)；Lead-3模型則獲得了最低的性能。對(duì)于抽取式摘要模型，Textrank模型的性能遠(yuǎn)遠(yuǎn)高于Lead-3模型，這也進(jìn)一步說(shuō)明了司法裁判文書(shū)和新聞?lì)I(lǐng)域文本的不同之處，新聞?lì)I(lǐng)域文本中的重要信息主要會(huì)集中在文本前半部分，而司法文本的重要信息則是分布在整篇文章之中，因此Lead-3算法用于司法摘要取得了極差的性能。從性能結(jié)果來(lái)看，生成式摘要模型(baseline，PGN)的性能均明顯高于抽取式摘要模型Textrank，Textrank主要是基于文章中的句子相似度來(lái)抽取句子作為文本摘要；在新聞?lì)I(lǐng)域，重要的信息通常會(huì)在文章中重復(fù)出現(xiàn)，而在司法文本中，重要的信息如判決結(jié)果等，通常只會(huì)出現(xiàn)一遍，因此計(jì)算所得的權(quán)重會(huì)比較低，從而有很大概率不會(huì)被抽取作為文章摘要，所以Textrank算法應(yīng)用于司法領(lǐng)域也具有一定的局限性。

基于BERT的摘要抽取模型在性能上優(yōu)于Textrank主要是得益于BERT模型在語(yǔ)言表征方面的強(qiáng)大能力，分類器在獲得深層次的句子表示之后能夠較為準(zhǔn)確地判斷句子是否屬于摘要句。然而由于模型是基于句子進(jìn)行文本摘要抽取，最終摘要保留了過(guò)多冗余信息，因此性能較基于詞進(jìn)行摘要的生成式模型偏低。

對(duì)于生成式摘要模型，可以看到性能均優(yōu)于抽取式模型，并且加入了指針網(wǎng)絡(luò)的PGN性能也優(yōu)于基礎(chǔ)模型，符合我們的實(shí)驗(yàn)預(yù)期。而我們的模型主要是在生成式模型PGN的基礎(chǔ)上融入了法條作為外部知識(shí)信息來(lái)輔助生成摘要，我們的模型性能相對(duì)于PGN模型和基礎(chǔ)模型(baseline)來(lái)說(shuō)均有了一定的提升，這也佐證了參考法官的審判邏輯脈絡(luò)，融入法條作為外部知識(shí)，通過(guò)法條逆向保留裁判文書(shū)重要信息這一方法的有效性。從表1可以看出，在加入法條作為外部信息之后，對(duì)于F1值，我們的模型在ROUGE-1提升了1.37，在ROUGE-2和ROUGE-L均提升了3個(gè)點(diǎn)以上，而ROUGE-2和ROUGE-L主要代表生成的摘要和專家摘要之間的長(zhǎng)序列的重合度。

從表2可以看到我們的摘要模型采用beam search算法生成的摘要與專家摘要的對(duì)比，我們可以看到模型自動(dòng)生成的摘要基本保留了案件的重要事實(shí)，生成的摘要也比較通順，在長(zhǎng)序列上高度與專家摘要重合，但是對(duì)于案件細(xì)節(jié)，生成摘要與專家摘要仍有部分不足，以及涉及的案件金額生成也仍有欠缺。

表2 生成的摘要與專家摘要對(duì)比

對(duì)于民事裁判文書(shū)的重要邏輯結(jié)構(gòu)：“案件事實(shí)，適用法律，裁判意見(jiàn)”，我們模型所生成的摘要也基本保留。并且從表2中可以看到，專家摘要給出的事實(shí)描述部分有：“合同有效”、“已支取貸款”、“未如期還款”、“違約”；PGN模型生成的摘要中卻丟失了“已支取貸款”的重要事實(shí)；而本文模型生成的摘要?jiǎng)t保留了這一案件事實(shí)，且對(duì)于“已支取貸款”的描述轉(zhuǎn)化為了“原告按照合同的約定向被告發(fā)放了借款”，基本完整保留了與專家摘要一致的案件事實(shí)。

這也進(jìn)一步說(shuō)明了我們模型生成的摘要與專家摘要擁有更高的相似性，也比較符合我們的實(shí)驗(yàn)預(yù)期。

4 結(jié)束語(yǔ)

本文中我們提出了一種引入法條作為外部知識(shí)編碼的文本摘要生成方法，不同于傳統(tǒng)的自動(dòng)文摘方法，我們借鑒裁判文書(shū)中蘊(yùn)含的法官重要的審判邏輯脈絡(luò)，通過(guò)提取案件涉及的法條作為外部知識(shí)，逆向輔助模型保留文摘生成過(guò)程中裁判文書(shū)的重要信息，提升裁判文書(shū)摘要生成的性能。實(shí)驗(yàn)驗(yàn)證，我們提出的方法在實(shí)驗(yàn)效果上可以得到很好的提升。不過(guò)，我們意識(shí)到法條的相關(guān)應(yīng)用工作仍有不足，如嵌套法條的特殊情況，我們將在下一步工作中繼續(xù)深入研究，以期獲得更好的司法摘要生成性能。