新技術(shù)賦能古籍?dāng)?shù)字化 20萬(wàn)頁(yè)海外古籍落戶“漢典重”

5月18日，“漢典重光“海外古籍?dāng)?shù)字化回歸發(fā)布會(huì)在位圭I岐的中國(guó)科技館舉行。_批珍藏于加州大學(xué)伯克利分校的中文古籍善本，以數(shù)字化方式回歸故土，落戶“漢典重光古籍”平臺(tái)。借助阿里巴巴達(dá)摩院的技術(shù)，首批20萬(wàn)頁(yè)古籍已完成數(shù)字化，并積累出3萬(wàn)多字的古籍字典，公眾可通過(guò)漢典重光平臺(tái)（https：//wenyuan.aliyun.com）翻閱、檢索、使用。

2019年，阿里巴巴公益基金會(huì)和四川大學(xué)提出“數(shù)字化回歸”設(shè)想，四川大學(xué)歷史文化學(xué)院王果副院長(zhǎng)與該院教授、中央文史研究館館員陳力牽線搭橋，溝通北美、歐洲、日韓等地藏書機(jī)構(gòu)，獲瞧國(guó)加州大學(xué)伯克利分玆持，達(dá)成共識(shí)，將伯克利東亞圖書館的中女古籍善本逐步數(shù)字化。此后，阿里巴在達(dá)摩院創(chuàng)新技術(shù)方式，將流散海外的珍貴中文古籍?dāng)?shù)字化，讓那些深鎖高閣的典籍重新回到世人眼前，讓所有人都可閱讀、調(diào)用，通過(guò)古籍與彌魘對(duì)法，與優(yōu)秀傳統(tǒng)文化對(duì)話。

目前，阿里達(dá)摩院已完成對(duì)美國(guó)加州大學(xué)伯克利分校東亞圖書館提供的首批20籍的識(shí)別。加州大學(xué)伯克利分校是美國(guó)的漢學(xué)研究重鎮(zhèn)，中文藏書量排名全美第三。首批數(shù)字化的20萬(wàn)頁(yè)古籍中，包含40余種珍貴宋元刻本、寫本，如宋刻本《后村居士集》、北宋寫本《金粟山大藏經(jīng)》寫本;明清至民國(guó)時(shí)期著名學(xué)者錢謙益、翁方綱、王韜的抄本、稿本;著名藏書樓嘉業(yè)堂、密韻樓的抄本，還有命運(yùn)多舛的清文瀾閣《四庫(kù)全書》零本等，很多都是消失多年后重回公眾視線的珍本。

伯克利提供古籍的掃描圖片和編目數(shù)據(jù)，達(dá)摩院將其全部文字化。古漢語(yǔ)常用字僅有幾千但中國(guó)古籍全部字符約有幾十萬(wàn)，絕大部分不僅沒(méi)被現(xiàn)代字庫(kù)收錄，也幾乎找不到樣本供AI學(xué)習(xí)。面對(duì)海量無(wú)標(biāo)注的數(shù)據(jù)，如何讓AI快速識(shí)別古籍，始終是古籍?dāng)?shù)字化領(lǐng)域的技術(shù)瓶頸。

據(jù)技術(shù)人員介紹，達(dá)摩院技術(shù)團(tuán)隊(duì)與四川大學(xué)專家聯(lián)手研發(fā)了一套全新的古籍識(shí)別系統(tǒng)。利用單字檢測(cè)、無(wú)監(jiān)督單字聚類、小樣本學(xué)習(xí)、主動(dòng)學(xué)習(xí)等機(jī)器學(xué)習(xí)方法，構(gòu)造了一套邊識(shí)別古籍、邊訓(xùn)練模型的系統(tǒng)，以97.5%的準(zhǔn)確率完成20萬(wàn)頁(yè)古籍的整體識(shí)別。該系統(tǒng)已能批量識(shí)別百本古籍，并積累出3萬(wàn)多字的古籍字典。比起專家錄入，這套人機(jī)交互的識(shí)別系統(tǒng)將效率提升了近30倍。隨著古籍識(shí)別規(guī)模的擴(kuò)增，機(jī)器還會(huì)自我進(jìn)化，不斷提升準(zhǔn)確率和效率。

因邦交、貿(mào)易、戰(zhàn)亂等，歷史上中國(guó)古籍不時(shí)流向海外。近代以來(lái)，戰(zhàn)爭(zhēng)和動(dòng)蕩更加劇了古籍的損毀和流散。據(jù)不完全估計(jì)，散居海外的中國(guó)古籍超過(guò)40萬(wàn)部、400萬(wàn)冊(cè)，包括甲骨簡(jiǎn)比、郭煤透書、宋元善本、明清精粱、拓本興圖、少數(shù)民族文獻(xiàn)等等。

“守護(hù)中華傳世典籍。是科技工作者和文化工作者共同的使命?！卑⒗锇桶瓦_(dá)摩擦洗長(zhǎng)張建峰鋪露，阿里計(jì)如圖這套技術(shù)工具連同古籍?dāng)?shù)字化平臺(tái)一井捐贈(zèng)，交由權(quán)威公共機(jī)構(gòu)長(zhǎng)期運(yùn)營(yíng)。在加州大學(xué)伯克利分校東亞圖書館的長(zhǎng)度欣平者來(lái)，雖過(guò)數(shù)字化，讓流散海外的古籍善本和國(guó)內(nèi)的讀者見畫，也是另外一種形式的“回家”。與古籍打了一輩子交通的陳力認(rèn)為。典籍是中華文明的傳承載體，更是人類世界的公共財(cái)產(chǎn)，希望有更多力量參與中國(guó)古籍的保護(hù)*傳承，讓更多普通人有機(jī)會(huì)授觸古籍使用古籍.讓所有蒙塵的古籍重?zé)ㄐ律?。讓書寫在古籍里的文字活起?lái)。