古籍版本異文的自動發(fā)現(xiàn)

肖 磊，陳小荷

(南京師范大學(xué) 文學(xué)院,江蘇 南京 210097)

1 引言

我國有豐富的文獻典籍，這些文獻典籍在傳抄、引用、印刻、校改過程中往往出現(xiàn)各種訛誤或替代，從而造成一種文獻的各版本之間或不同文獻相關(guān)內(nèi)容之間在字、詞、句等方面存在差異，這就是所謂異文。例如：

(1a) 三月公及邾儀父盟于蔑 (《左傳·隱公元年》)

(1b) 三月公及邾婁儀父盟于眛 (《公羊傳·隱公元年》)

(2a) 循牆而走，亦莫余敢侮 (《左傳·昭公七年》)

(2b) 循牆而走，亦莫敢余侮 (《史記·孔子世家》)

大量的異文為語言學(xué)、文獻校勘、史學(xué)等方面的研究提供了豐富的材料。(1)中“邾”和“邾婁”，“蔑”和“眛”兩處異文，音韻學(xué)家和歷史地理學(xué)家都感興趣。(2)是對同一鼎銘的引用，“莫余敢侮”和“莫敢余侮”這處異文顯示了從上古漢語到中古漢語的語法變化。

版本異文是同—文獻的不同版本之間在本應(yīng)相同的字句上出現(xiàn)的差異，例如(1)。其他統(tǒng)稱為非版本異文，例如(2)。版本異文和非版本異文的信息處理有所不同。研究版本異文，首先需要盡可能地找出各版本之間的不同之處，于大同中求小異。研究非版本異文，則首先需要盡可能地找出相關(guān)文獻中的相似部分，在這些相似部分發(fā)現(xiàn)有意義的差異。本文主要研究版本異文的信息處理，關(guān)于非版本異文的信息處理，我們將另文探討。

我國異文研究歷史悠久，古人對經(jīng)傳的注疏中就發(fā)掘了許多異文。近現(xiàn)代也有不少學(xué)者系統(tǒng)研究專書的版本異文[1-2]。語文學(xué)家的異文研究，主要依靠他們深厚的文獻功底以及“博聞強記”的個性特征。先天的才能可遇而不可求。后天的努力人人可以做到，但皓首窮經(jīng)實在代價太大。上世紀九十年代以來，學(xué)者們已經(jīng)提出古籍和古漢語信息處理的任務(wù)[3-5]，但尚未有人著手版本異文的信息處理。如果能夠讓計算機先列出異文候選，然后加以人工甄別，則可以收到事半功倍的效果。更進一步，計算機應(yīng)該能夠?qū)λ蚜_到的異文按照研究者的要求進行初步的分類和統(tǒng)計，在此基礎(chǔ)上對同一文獻的各個版本做宏觀的比較。

本文只研究異文的自動發(fā)現(xiàn)，處理的個案是三傳春秋?！洞呵铩肥俏覈F(xiàn)存最早的一部編年體史書，相傳為孔子所著。因其過于簡略，故后世詮釋之作迭出。據(jù)《漢書·藝文志》記載，為《春秋》作傳者共五家，現(xiàn)在流傳下來的有《左傳》、《公羊傳》、《谷梁傳》。三傳仍按年代順序，先列某年的春秋經(jīng)，然后以經(jīng)文為綱詳述該年的重要歷史事件或闡釋經(jīng)文的含義。三傳所列的春秋經(jīng)大體相同，但也有不少差異，可看做是《春秋》的三個不同版本。實驗中所用的三傳春秋經(jīng)電子版均為GBK編碼的繁體文本，來自香港中文大學(xué)中國文化研究所中國古籍研究中心開發(fā)的漢達文庫*http://www.chant.org/。

本文以下部分的結(jié)構(gòu)：第2節(jié)概述版本異文的特點，由此得出基本的處理步驟；第3節(jié)討論句珠配對算法，句珠配對的評價函數(shù)為句珠相似度；第4節(jié)討論異文配對算法，異文配對的評價函數(shù)主要是“同文”長度；第5節(jié)是簡短的結(jié)論以及對古籍信息處理特點的認識。

2 版本異文的特點

版本異文的特點是文獻的各個版本大同小異，具體來說有以下幾個方面：

(一) 篇章結(jié)構(gòu)大體相同，因此應(yīng)該以篇章為單位進行處理，以免異文配對發(fā)生跨越篇章界限的錯誤。有時某個版本可能多出一些篇章，例如《紅樓夢》有八十回版本與一百二十回版本?！豆騻鳌泛汀豆攘簜鳌匪写呵锝?jīng)均截止于魯哀公十四年“西狩獲麟”，《左傳》所列春秋經(jīng)則記述至魯哀公十六年“孔丘卒”，顯為后人所加。對于多出的篇章，不加比較也就是了?！洞呵铩返囊粋€篇章就是其中所記述的一年，從隱公元年到哀公十四年，共242篇。

(二) 篇章內(nèi)句子個數(shù)大體相同且基本對應(yīng)，因此原則上可以根據(jù)標點分割句子，逐句進行比較。但是標點系后人所加，各個版本的斷句或有不同*《左傳》中的經(jīng)與傳有清楚的分隔?！豆騻鳌泛汀豆攘簜鳌返慕?jīng)與傳時有交錯，這也是導(dǎo)致各版本的春秋經(jīng)斷句不同的原因之一。。當然，完全忽略這些標點也不可取，可能導(dǎo)致篇章范圍內(nèi)的異文配對錯誤。我們的做法是先按標點分割句子并隱去所有標點，接著將各版本中的句子拼接為“句珠”，尋找兩版本之間相似度最大的句珠配對，然后在句珠中發(fā)現(xiàn)異文。

(三) 大多數(shù)句珠的文本是完全相同的，只需關(guān)注那些文本不完全相同的句珠。我們的基本方法是從句珠中去掉相同文字，遇到異文時再向后搜索相同文字以確定異文的右邊界并輸出異文，如此循環(huán)直至句珠遍歷完畢。

篇章分割比較簡單。本文只討論句珠配對算法和異文配對算法。

3 句珠配對

“句珠”(sentence bead)這個術(shù)語是從機器翻譯雙語對齊研究中借用的。本文用這個術(shù)語指文獻的兩個版本中內(nèi)容對應(yīng)的句子*本文中句珠配對類似于雙語的句子對齊，而異文發(fā)現(xiàn)則類似于雙語的詞匯對齊，但對齊方法有很大不同。。如果兩個版本中的句子個數(shù)相同并且一一對應(yīng)的，則無需配對。實際上兩個版本斷句常有不同，斷句有粗有細，需要將一版本的幾個短句拼接起來與另一版本的一個長句進行配對。除了“一對多”的情況之外，還可能有“多對多”等各種復(fù)雜情況。

句珠配對算法的目標是遍尋篇章內(nèi)相似度最大的句珠，并輸出所有包含異文的句珠(以下簡稱“異文句珠”)。

設(shè)兩版本某篇章的句子序列分別為SA和SB，句子個數(shù)分別為為m和n，當前等待配對的第一個句子分別為SA[i]和SB[j]，配對中最后一個句子分別為SA[p]和SB[q]，則句珠配對的任務(wù)可表示為：

Bead(i,p;j,q)*

其中，i≤p≤m，j≤q≤n，SA[i..p]和SB[j..q]是句珠，Similarity是句珠的相似度函數(shù)，取值范圍是0～1。相似度的計算方法在3.2節(jié)中討論。本算法的任務(wù)就是要在所有可能的配對中找出相似度最大的句珠Bead(i,p;j,q)*。

3.1 句珠配對算法

算法的輸入是來自版本A和版本B中對應(yīng)篇章的句子序列SA[1..m]和SB[1..n]。所允許的配對類型為x:y，x和y最小值均為1，最大值為K。算法在SA[i..i+K-1]和SB[j..j+K-1]范圍內(nèi)尋找相似度最大的句珠SA[i..max_p]和SB[j..max_q]，若相似度小于1則為異文句珠并輸出之。在時間復(fù)雜度為O(K2) 的搜尋過程中，若發(fā)現(xiàn)將要添加的兩個句子完全相同，則終止搜尋，這樣不僅可以節(jié)省一些時間，而且可以使得到的句珠較短。句珠配對算法GetBeads偽碼如下：

GetBeads(SA[1..m], SB[1..n]) {

for(i=1, j=1; i<=m and j<=n; ) {

max_simi=0; max_p=max_q=0;

for(p=i; p<=min(i+K-1, m); p++) {

for(q=j ; q<=min(j+K-1, n); q++) {

if(p>i and q>j and SA[p]==SB[q]) goto OUTPUT;

simi=Similarity(SA[i..p], SB[j..q]);

if(simi> max_simi) {

max_simi =simi;

max_p=p; max_q=q;

}

if(max_simi==1.0) goto OUTPUT;

}

}

OUTPUT:

if(max_simi <1.0) Output(SA[i..max_p], SB[j..max_q]);

i=max_p+1; j=max_q+1;

}

}

對于本文所研究的個案，設(shè)K=3。

本算法沒有設(shè)置相似度閾值，因此即使是兩個毫不相干的句子序列也能完成句珠配對，最壞情況是每個句珠的相似度均為0，且每個句珠中都只含一個句子。

3.2 句珠相似度計算

句珠相似度的計算方法有以下幾種選擇：

(一) 句珠中兩個句子的相同字符個數(shù)與兩個句子的字符總數(shù)之比。這種方法簡單易行，但忽略了字符的排列順序，例如下面兩個句子將被認為是完全相同：

(3a) 宋人以齊人蔡人衛(wèi)人陳人伐鄭 (《左傳·桓公十四年》)

(3b) 宋人以齊人衛(wèi)人蔡人陳人伐鄭 (《公羊傳·桓公十四年》)

(二) 句珠中兩個句子的共同前綴、共同后綴的長度之和與兩個句子的字符總數(shù)之比。共同前綴是指兩個句子開頭的相同子串，共同后綴是指兩個句子末尾的相同子串。例如，(3a)與(3b)的共同前綴是“宋人以齊人”，共同后綴是“人陳人伐鄭”。這種方法考慮了字符的排列順序，大多數(shù)情況下是適用的。但如果異文恰好出現(xiàn)在句子的開頭或結(jié)尾，計算結(jié)果就顯得不夠合理。例如，下面兩個句子將被認為毫不相似：

(4a) 五月丙午及齊師戰(zhàn)于奚 (《公羊傳·桓公十七年》)

(4b) 夏五月丙午及齊師戰(zhàn)于郎 (《谷梁傳·桓公十七年》)

(三) 用1減去句珠中兩個句子的編輯距離與最大長度之比。趙作鵬等提出了一種改進的編輯距離算法，拓展了交換操作，能夠更精確地計算編輯距離[6]。但算法的時間復(fù)雜度較高，而且當其中一個句子拼接了下一句再進行比較時，需要重新計算編輯距離。

(四) 句珠中兩個句子共有的bigram個數(shù)與兩個句子的bigram總數(shù)之比。這里bigram是指兩個相鄰字符或只相隔一個位置的兩個字符，這種方法的好處是既考慮了字符的排列順序又能將子串相似性較為充分地表達出來。例如，(3a)與(3b)共有的bigram為“宋人、人以、宋以、以齊、人齊”等等，相似度為0.87，(4a)與(4b)的相似度為0.83. 當其中一個句子拼接了下一句再進行比較時，只需對添加的部分抽取bigram。因此，我們采用這種方法來計算句珠相似度。當兩個句子長度均小于3時，無法抽取到足夠的bigram，因此相似度定義為1.0(完全相同時)或0.5(共同前綴或共同后綴長度為1時)。

3.3 句珠配對結(jié)果

根據(jù)原有標點，《左傳》春秋經(jīng)1 834句(已去掉多出部分)，《公羊傳》春秋經(jīng)1 761句，《谷梁傳》春秋經(jīng)1 825句。若忽略配對方向，例如1:2和2:1合并為1:2，則各種配對類型的頻次統(tǒng)計如下：

總共1 066個異文句珠中，見于《左傳》與《公羊傳》春秋經(jīng)428個，見于《左傳》與《谷梁傳》春秋經(jīng)255個，見于《公羊傳》與《谷梁傳》春秋經(jīng)383個。從這個角度看，《左傳》與《公羊傳》春秋經(jīng)的差異最大，《左傳》與《谷梁傳》春秋經(jīng)差異最小。

下面(5a)兩句處于篇末，(5a)第一句與(5b)第一句、前兩句、全部三句的相似度依次為0.28，0.59，0.78，(5a)全部兩句與(5b)第一句、前兩句、全部三句的相似度依次為0.23，0.50，0.68：

(5a) 鄭伯髡頑如會未見諸侯丙戌卒于鄵 (《左傳·襄公七年》)

陳侯逃歸

(5b) 鄭伯髡原如會 (《谷梁傳·襄公七年》)

未見諸侯

丙戌卒于操

由此得到配對類型為1:3的異文句珠：

{“鄭伯髡頑如會未見諸侯丙戌卒于鄵”，“鄭伯髡原如會未見諸侯丙戌卒于操”}

下面(6a)與(6b)各有兩句，都處于篇末。(6a)第一句與(6b)第一句、全部兩句的相似度依次為0.86，0.68，(6a)全部兩句與(6b)第一句、全部兩句的相似度依次為0.72，0.87：

(6a) 十有二月己丑公及晉侯盟 (《左傳·文公十三年》)

公還自晉鄭伯會公于棐

(6b) 十有二月己丑公及晉侯盟還自晉 (《公羊傳·文公十三年》)

鄭伯會公于斐

由此得到配對類型為2:2的異文句珠：

{“十有二月己丑公及晉侯盟公還自晉鄭伯會公于棐”，“十有二月己丑公及晉侯盟還自晉鄭伯會公于斐”}

4 異文配對

這里從信息處理的角度將異文定義為：句珠中完全不同的兩個子串。允許其中一個子串是空串，但不能都是空串。例如，“衛(wèi)人蔡: 蔡人衛(wèi)”不是一個異文，因為其中含有相同子串“人”，需分解為“衛(wèi):蔡”和“蔡:衛(wèi)”兩個異文。

按照這個定義得到的異文絕大多數(shù)是單字對單字，也有些是空串對單字、空串對多字、單字對多字、多字對多字，等等。例如：

(7a) 庚寅我入祊 (《左傳·隱公八年》)

(7b) 庚寅我入邴 (《谷梁傳·隱公八年》)

(8a) 邾人伐我南鄙 (《左傳·襄公十五年》)

(8b) 邾婁人伐我南鄙 (《公羊傳·襄公十五年》)

(9a) 戊子晉人及秦人戰(zhàn)于令狐晉先蔑奔秦 (《左傳·文公七年》)

(9b) 戊子晉人及秦人戰(zhàn)于令狐晉先眛以師奔秦 (《公羊傳·文公七年》)

(10a) 九月紀裂繻來逆女 (《左傳·隱公二年》)

(10b) 九月紀履緰來逆女 (《公羊傳·隱公二年》)

從語言學(xué)或歷史地理學(xué)角度來看，(8)中的異文都應(yīng)該是“邾:邾婁”，按本節(jié)的定義，這個異文是“◇:婁”，因為簡單的字符串匹配并不能確定應(yīng)把“邾婁”看做一個詞還是把“婁”看做衍文。類似地，(9)中的異文本應(yīng)是兩處，“先蔑:先眛”和“◇:以師”，這里被當做是一處?？梢钥紤]在本節(jié)異文發(fā)現(xiàn)算法的基礎(chǔ)之上用統(tǒng)計方法得到更具語言學(xué)或文獻學(xué)意義的異文數(shù)據(jù)。(10)中的異文該怎么算，可能依研究興趣而有所不同。從文獻學(xué)角度來說，應(yīng)該認為“紀裂繻:紀履緰”是異文，從音韻學(xué)角度來說，應(yīng)該認為有“裂:履”和“繻:緰”兩處異文。

4.1 異文配對算法

異文配對算法的基本思想是：先去掉兩個句子的共同前綴，使得異文出現(xiàn)在串首，然后從兩個句子的串首開始搜索相同子串。與“異文”相對，相同子串可稱之為“同文”。同文之前的便是異文*之所以要從串首開始搜索同文，是因為異文的某一方可能是空串。。如果句珠中有多處異文，則重復(fù)上述過程。

搜索同文時可能存在多個解。例如：

(11a) ……薛人杞人小邾人城成周

(11b) ……邾人薛人杞人小邾人城成周

此時同文有許多解，例如位置2:2上的“人”，依此得到異文“薛:邾”；位置4:4上的“人”，依此得到異文“杞:薛”，等等。其中同文最長的是最優(yōu)解，因為同文越長，則左邊的文字差異就越可靠。對于這個例子來說，位置1:3是最優(yōu)解，因為從這個位置上開始的同文“薛人杞人小邾人城成周”最長，由此得到異文“◇：邾人”。

如果存在多個最長同文，則選擇位置之差最小者。為便于觀察，將例(3)重列于下：

(3a) 宋人以齊人衛(wèi)人蔡人陳人伐鄭 (《公羊傳·桓公十四年》)

(3b) 宋人以齊人蔡人衛(wèi)人陳人伐鄭 (《谷梁傳·桓公十四年》)

去掉共同前綴之后變?yōu)椋?/p>

(3′a) 衛(wèi)人蔡人陳人伐鄭

(3′b) 蔡人衛(wèi)人陳人伐鄭

搜索到最長同文“人陳人伐鄭”，左邊是“衛(wèi)人蔡: 蔡人衛(wèi)”。如前所述，其中含有同文“人”，不符合我們的定義，需要遞歸調(diào)用異文發(fā)現(xiàn)算法來處理。對此，向后搜索最長同文時有三個解，長度均為1，即2:2(“人”)、1:3(“衛(wèi)”)和3:1(“蔡”)，其中第一個解同文位置之差為0，故確定第一處異文“衛(wèi):蔡”。去掉共同前綴之后，可得到第二處異文“蔡:衛(wèi)”。

異文配對算法的輸入是句珠中的兩個句子A和B，輸出是句珠中的至少一處異文。

異文配對算法GetDiff描述如下：

GetDiff(A, B) {

while(!Empty(A) and !Empty(B) {

n=ComonPrefix(A, B); //求A和B的共同前綴的長度；

if(n>0) { Delete(A, 1, n); Delete(B, 1, n); }

if(Empty(A) and Empty(B)) return;

if(Empty(A)) { Output(“◇”:B); return; }

if(Empty(B)) { Output(A:“◇”); return; }

GetMaxCommonSubstr(A, B, startA, startB, ML); //搜索最長同文

if(ML==0) { Output(A:B); return; }

AL=Left(A, startA-1); BL=Left(B, startB-1); //獲取串首的異文AL和BL；

if(AL和BL中含有相同字符) GetDiff(AL, BL); //遞歸處理

else Output(AL:BL)；

Delete(A, 1, startA+ML-1); Delete(B, 1, startB+ML-1)；//去掉異文和最長同文

}

}

GetMaxCommonSubstr的功能是從串首開始搜索最長同文在A和B中的起點startA和startB，最長同文的長度為ML，詳后。

4.2 搜索最長同文

采用窮盡搜索方法來搜索最長同文。設(shè)串A和串B的長度分別為m和n， startA、 startB和ML是三個輸出參數(shù)。若有多個長度相等的最長同文，取起點距離差最小者。如果串A或串B的剩余子串長度小于已經(jīng)得到的ML，則盡早退出。

GetMaxCommonSubstr(A,B,&startA,&startB,

&ML) {

ML=0;

MXD=100;//MXD是最小距離差

for(i=1; i<=m; i++) {

if(ML>len(A)-i+1) break;

for(j=1; j<=n; j++) {

if(ML>len(B)-j+1) break;

if(A[i]==B[j]) {

LD=Abs(i-j); //LD是距離差

L=CommonPrefix(substrc(A,i),substrc(B,j));

if(L>ML or L==ML and LD

startA=i; startB=j;

ML=L; MXD=LD;

}

}

}

}

}

4.3 異文配對結(jié)果

從1 066個異文句珠中，共得到異文共560種，1 347例，其中頻率最高的是“婁:◇”126例，“◇:婁”123例。出現(xiàn)10例以上的還有：“鄫:繒”26例，“運:鄆”15例，“鄆:運”15例，“築:筑”15例，“丑:醜”12例，“率:帥”11例，“帥:率”11例，“蒐:搜”10例。

若忽略異文配對方向的差異，560種異文可按字數(shù)歸納為7種類型，下表中“3_”表示三字或三字以上：

異文類型異文種數(shù)異文類型異文種數(shù)0:1661:2100:2171:3_50:3272:2311:1404

三傳春秋經(jīng)兩兩比較，異文分布情況如下：

版本比較異文種數(shù)異文例數(shù)1:1異文種數(shù)《左傳》與《公羊傳》 291567221《左傳》與《谷梁傳》 208281169《公羊傳》與《谷梁傳》250499196

以上數(shù)據(jù)進一步表明，《左傳》與《公羊傳》春秋經(jīng)的差異最大，《左傳》與《谷梁傳》春秋經(jīng)差異最小。

5 結(jié)語

本文首次提出古籍版本異文信息處理的任務(wù)，并實現(xiàn)了有關(guān)句珠配對和異文配對的算法。句珠配對全部正確，異文配對算法也能夠正確發(fā)現(xiàn)全部符合定義的異文。

本文定義的異文是“句珠中完全不同的兩個子串”，這個定義沒有利用任何有關(guān)具體文獻中的語言知識和其他知識，因此相關(guān)的異文發(fā)現(xiàn)算法是通用的，可以用于發(fā)現(xiàn)任何中文文獻的版本異文，包括古代文獻和現(xiàn)代文獻。

當然，我們關(guān)注的重點仍在于古籍信息處理。古籍信息處理的特殊性在于，語料庫是封閉的、有限的。拿先秦文獻來說，全部傳世文獻也只有大約260萬字。因此，現(xiàn)代漢語文本處理的模式“訓(xùn)練—標注”不很適用，應(yīng)該主要發(fā)展基于規(guī)則的方法，使得不需要經(jīng)過訓(xùn)練即可獲得質(zhì)量較高的處理結(jié)果。

[1] 李富孫.春秋三傳異文釋[M]. 上海商務(wù)印書館,1935.

[2] 李索.敦煌寫卷〈春秋經(jīng)傳集解〉異文研究[M]. 中國社會科學(xué)出版社,2005.

[3] 張普. 計算機在古籍整理研究領(lǐng)域中的應(yīng)用(綜述)[M]//張普.漢語信息處理研究.北京語言學(xué)院出版社,1992:80-103.

[4] 常娥,侯漢清,曹玲. 古籍自動校勘的研究和實現(xiàn)[J]. 中文信息學(xué)報,2007, 21(2):83-88.

[5] 姜哲,馬少平,夏瑩.大型中文古籍《四庫全書》自動版面分析系統(tǒng)[J]. 中文信息學(xué)報,2000,14(2):14-20.

[6] 趙作鵬,尹志民,王潛平，等. 一種改進的編輯距離算法及其在數(shù)據(jù)處理中的應(yīng)用[J]. 計算機應(yīng)用,2009,29(2):424-426.