西雙版納傣文新聞網站與數字報刊技術研究

殷建民,刀福祥,唐金寶,玉康龍

(1. 濰坊北大青鳥華光照排有限公司,山東 濰坊 261061;2. 云南省西雙版納報社,云南 西雙版納 666100)

1 前言

1996年以來，濰坊北大青鳥華光照排有限公司和云南省西雙版納報社在傣文信息技術領域開始了長達15年的密切合作，雙方聯(lián)合開發(fā)了“西雙版納新傣文計算機組版系統(tǒng)”、“西雙版納新老傣文計算機組版系統(tǒng)”和“基于ISO10646的傣文電子出版系統(tǒng)”。目前，西雙版納報社使用傣文電子出版系統(tǒng)編排的《中國貝葉經全集》100卷已全部出版。

但是，傣文電子出版系統(tǒng)僅僅解決了傣文書、報、刊的印刷出版問題，并未解決傣文網站以及與其相關的傣文數字出版等問題。2008年起，雙方利用中央補助地方文化體育與傳媒事業(yè)發(fā)展專項資金，開始了西雙版納傣文新聞網站和數字報刊系統(tǒng)的研發(fā)工作。

西雙版納傣文新聞網站和數字報刊系統(tǒng)包括以下四個系統(tǒng)：

(1) 西雙版納新老傣文網站管理系統(tǒng)；

(2) 西雙版納新老傣文數字報刊系統(tǒng)；

(3) 西雙版納新老傣文新聞采編系統(tǒng)；

(4) 西雙版納新老傣文多媒體共享稿件平臺系統(tǒng)。

2009年11月2日，雙方成功開通了我國第一個傣文網——西雙版納傣文新聞網站，創(chuàng)建了我國第一張傣文數字報紙，創(chuàng)建了我國第一個傣文新聞采編系統(tǒng)平臺，創(chuàng)建了我國第一個傣文網絡視頻平臺和第一個傣文網絡聲頻平臺。

2 研究內容與關鍵技術

2.1 西雙版納新老傣文編碼、顯現(xiàn)字符集研究

西雙版納傣文，也稱傣泐文，誕生于公元1277年(傣歷669年)，原用于刻寫佛經，后發(fā)展為西雙版納傣族的統(tǒng)一文字，至今已有700多年的歷史。1953年，西雙版納自治州第二屆各族各界代表會決定改革原有的老傣文。1954年，有關部門提出了西雙版納傣文改進方案。1955年，中央人民政府批準了這一方案。改進前、后的傣文分別稱為新、老傣文。1989年，西雙版納州人代會決定恢復使用傳統(tǒng)的老傣文。

2005年，西雙版納新傣文編碼字符集方案獲得通過，被收入ISO/IEC 10646： 2003的第一補充集(Amendment 1)[1]，共收入80個字符(后補充為83個字符)，編碼空間為U1980-19DF。

2008年，西雙版納老傣文編碼字符集方案獲得通過，被收入ISO/IEC 10646： 2003的第五補充集(Amendment 5)[2]，共收入127個字符，編碼空間為U1A20-1AAF。

新傣文的編碼字符集與顯現(xiàn)字符集是一致的，而老傣文的編碼字符集與顯現(xiàn)字符集相差較大，主要表現(xiàn)在兩個方面：

(1) 新老傣文的許多輔音字母都可以作為“韻尾”使用，但輔音字母的獨立形式與其韻尾形式在顯現(xiàn)時有著明顯的差別。新傣文中可以作為韻尾使用的輔音字母不是太多，在其編碼字符集方案中，輔音字母的獨立形式與其韻尾形式是分別編碼的。而老傣文中可以作為韻尾使用的輔音字母非常多，為節(jié)省編碼空間，輔音字母的韻尾形式沒有單獨編碼，而是引入了一個控制符號SAKOT(U1A60)。當SAKOT之后緊跟一個輔音字母時，顯現(xiàn)時需將SAKOT之后的輔音字母變?yōu)槠漤嵨残问剑⑶遗cSAKOT之前的其他字母組合成一個整字[3]。

(2) 新老傣文中都有一些組合字，新傣文中的組合字不多，在其編碼字符集方案中，組合字單獨編碼。而老傣文中的組合字非常多，編碼方案中沒有為組合字單獨編碼，實現(xiàn)時需要采用“預組合”與“動態(tài)組合”技術。

由于ISO/IEC 10646中僅對老傣文的名義字符進行編碼，而沒有類似于蒙古文那樣的“編碼系統(tǒng)實現(xiàn)的用戶協(xié)議”(Users’ Convention for Encoding System Implementation)，尚需研究老傣文的顯現(xiàn)字符集以及名義字符與顯現(xiàn)字符的對應關系。

根據《中國貝葉經全集》和其他傣文出版物的出版實踐，結合傣文網站與數字報刊的實際需求，我們制訂了“西雙版納老傣文顯現(xiàn)字符集草案”，并規(guī)定了編碼字符集與顯現(xiàn)字符集的對應關系。在充分聽取各方專家意見之后，我們將向國家標準化主管部門提交盡快制訂“西雙版納老傣文顯現(xiàn)字符集與控制字符使用規(guī)則”國家標準草案。

2.2 西雙版納新老傣文輸入法研究

在西雙版納新老傣文編碼字符集國際標準制定之前，西雙版納報社和濰坊北大青鳥華光照排有限公司的語言文字專家與計算機專家曾于2002年一起根據傣文的聲母、韻母的音序規(guī)則制定了新老傣文的鍵盤布局，并開發(fā)了相應的新老傣文輸入法——納鳥傣文輸入法。西雙版納報社在日常的報紙排版和貝葉經排版中一直使用該輸入法。

納鳥傣文輸入法是針對新聞出版單位的傣文專業(yè)錄入人員研發(fā)的，主要目標是提供最大的輸入效率，但由于需要一定的記憶和學習時間，不易于在非專業(yè)人員中推廣應用。目前，傣文數字化應用技術已從專業(yè)的電子出版轉到了面向大眾的網站等領域，迫切需要一種面向非專業(yè)人員、易學易用的新老傣文輸入法。

2009年，傣文信息技術標準國家工作組制訂了基于傣文編碼字符集國際標準的西雙版納新傣文鍵盤布局國家標準，該標準采用鍵盤分級的技術思路，將新傣文編碼字符集分布在1個主鍵盤和2個輔助鍵盤上。根據規(guī)則性與靈活性相結合的原則，標準只規(guī)定了鍵盤布局而沒有規(guī)定輸入法的具體實現(xiàn)。

2010年，我們在深入了解傣語言學知識的基礎上，研究確定了基于傣文編碼字符集國際標準的西雙版納老傣文鍵盤布局。

老傣文鍵盤布局的確定原則為：

(1) 由于老傣文字符遠多于通用鍵盤的鍵位，鍵盤設計采用分級的方法，用四級鍵盤分配所有西雙版納老傣文字符。

(2) 根據老傣文字母讀音，把傣文字符放在與英文字母對應音標讀音相似的鍵位，以減輕使用者的記憶強度；傣文元音字母盡量對應英文元音字母，傣文輔音字母盡量對應英文輔音字母。

(3) 有相同或相近英文字母讀音的元音和輔音放在對應的鍵位，重輔音放在一級鍵盤，輕輔音放在二級鍵盤；短元音放在第一鍵位，長元音放在第二鍵位。

(4) 輔音字母的“韻尾”形式放在第三鍵盤。

(5) 與英文讀音差異大或相似音字符較多的字母中使用頻度少的放在第四鍵盤。

在充分聽取各方專家意見之后，我們將向國家標準化主管部門提交盡快制訂“西雙版納老傣文鍵盤布局”國家標準草案。

新老傣文鍵盤布局確定之后，我們開發(fā)了對應的新老傣文輸入法。

為方便普通傣族群眾使用，我們還研發(fā)了一種完全依據國際標準的傣文語音而不進行鍵盤分級的傣音輸入法，這種輸入法無需學習、無需記憶，只要輸入傣文字母的讀音字母，就可根據軟件的提示選擇所要輸入的傣文字母。

2.3 西雙版納新老傣文嵌入式字庫研究

當前流行的操作系統(tǒng)中很少有傣文字庫，也不可能要求每個用戶都在自己的電腦中安裝傣文字庫。而用戶瀏覽西雙版納傣文網頁時，沒有對應的字庫就無法正常顯示網頁，因此需要研究自定義字庫顯示技術，讓用戶打開西雙版納傣文網頁和打開其他網頁一樣，不需要安裝任何傣文軟件，就能夠正常瀏覽。

嵌入式字庫(EOT)技術允許字庫嵌入到網頁并可以在需要時動態(tài)下載瀏覽。嵌入式字庫的優(yōu)勢是動態(tài)加載，不需要安裝，客戶端可以直接打開網頁，保證瀏覽效果，可以復制、輸入和檢索等。研究西雙版納新老傣文嵌入式字庫技術是解決網站IE瀏覽、動態(tài)下載的關鍵。

2.4 西雙版納新老傣文版面數字化技術

西雙版納新老傣文數字報刊系統(tǒng)集信息提取、制作、管理、發(fā)布和檢索于一體，面向數字報刊處理的全過程，為數字報刊提供一體化解決方案。

印刷版面轉換成可用于網上傳播的數字化信息，包括版面布局、各文章內容、相關圖像等，通過版面略圖的熱區(qū)文字塊點擊，顯示出具體的數字化文章內容。

報紙排版使用排版軟件來形成版面的文章、圖片分區(qū)，最終形成PS結果供后期照排制版印刷，排版軟件只用排版軟件自定義的中間結果文件(YJ文件)來保存版面信息，其中大量的信息可以直接利用來形成網頁形式的數字報紙，相比用于照排制版的PS文件而言，信息量大，更加方便快捷。YJ文件轉換為數字報紙依然有很多工作要做，比如標題和文章的對應，多個文章塊的關聯(lián)等，因此要有專門的標引軟件實現(xiàn)對用于紙介報紙的文件的標引、反解工作，來轉換收集成可用于網上發(fā)布的數字報刊的完整數據，實現(xiàn)紙介版面的數字化。

利用標引等手段對提取的XML文件中的版面信息進行合并、歸整等操作，建立標題、文字、圖片、表格等對應關系，自動提取日期、標題、文字、作者等，自動或手工對標題、文字稿件、圖像稿件、表格、EPS/S2等進行關聯(lián)，設置稿件之間的順序，設置版面信息、文章信息、圖片信息、規(guī)范化文字的格式，自動合并轉版稿件，形成完全可再利用的見報XML資料，可以供給后期多種系統(tǒng)的再次使用，包括電子報刊、稿酬計費、新聞采編的見報稿件庫等，深度挖掘報刊稿件的再利用價值。

標引操作的所有編輯窗口和其他控件窗口顯示和輸入都要適合所有文種的閱讀順序，這是和漢文很大的區(qū)別。由于現(xiàn)在很多使用舊編碼體制的西雙版納新老傣文輸入法，編輯控件還要能夠接受舊輸入法的輸入，然后控件內部自動轉換為Unicode編碼輸入到系統(tǒng)。系統(tǒng)采用OCX控件的方式解決這一問題，控件的本質是對象鏈接和嵌入(OLE)標準，由于其充分利用了面向對象的優(yōu)點，使程序效率得到了很大的提高。系統(tǒng)把少數民族文字顯示及接受輸入的轉換工作都放在OCX中進行，最大程度地和原有的漢文標引軟件系統(tǒng)兼容。

2.5 西雙版納新老傣文網站發(fā)布技術

西雙版納新老傣文數字報刊系統(tǒng)簡化了發(fā)布工作，實現(xiàn)了“入庫即發(fā)布”的功能，真正體現(xiàn)了新聞內容的時效性。

報紙版面經過數字化以后，形成可以再次發(fā)布的規(guī)范化完整數據，有很大的利用價值，要使用動態(tài)模板發(fā)布技術，實現(xiàn)數據的動態(tài)轉換，發(fā)布為外部網站的網頁、內部網站的評報、進入檢索數據庫、進入考評系統(tǒng)、進入稿酬系統(tǒng)等，而動態(tài)模板發(fā)布技術是實現(xiàn)寶貴的數字化版面到其他形式轉換的關鍵。因此，動態(tài)模板發(fā)布技術要實現(xiàn)舊數據的任意組合、轉化、提取、格式整理、再次生成等。

系統(tǒng)通過把XML經過入庫等處理，直接發(fā)布成電子報刊的形式，自動化程度高，無須人工干預。發(fā)布管理系統(tǒng)實現(xiàn)版面文章上接下轉內容處理，實現(xiàn)多個版面同時呈現(xiàn)的版面導航管理?？梢杂卸喾N表現(xiàn)形式提供給用戶選擇，用戶可以通過模板等方式插入自己獨特的內容，可以發(fā)布為HTML格式和Flash等多媒體電子雜志形式。

2.6 西雙版納新老傣文新聞信息多渠道采集技術

傳統(tǒng)的報社新聞信息主要包括文字稿件和圖片稿件，信息的采集主要依靠記者投稿及作者投稿。投稿方式以紙面投稿、電子郵件投稿相結合，現(xiàn)在有的報社也有了遠程投稿系統(tǒng)，可以通過Web瀏覽器界面實現(xiàn)遠程投稿，這個主要是針對報社記者使用的系統(tǒng)，投的稿件可以直接進入新聞采編系統(tǒng)，責任編輯直接進行編輯。

當前的這種信息采集投遞方式，限制了報社的信息來源，無法適合數字報業(yè)大規(guī)模信息采集、加工、出版的需求。當前網絡原創(chuàng)內容極大豐富，博客等Web2.0網站的興起，改變了原先的信息傳播方式，作者投稿，編輯編稿，然后出版發(fā)布的傳播模式已經徹底改變?，F(xiàn)在經常是作者首先將自己的稿件在網絡上發(fā)布出來，然后傳統(tǒng)媒介才進行采集編寫，完成紙面出版。而且許多新聞現(xiàn)場的當事人和目擊者經常在第一時間將新聞信息發(fā)布到了互聯(lián)網上，傳統(tǒng)的記者采訪、投稿、編輯出版的工作模式已經無法保證新聞的時效性。

在數字報業(yè)戰(zhàn)略中，報社不能再被動的等待新聞信息，或者主要依靠有限的記者，采編人員采集信息。報社必須根據自己的需要大規(guī)模采集網絡上的相關信息，進行信息的規(guī)模加工，批量加工。引入互聯(lián)網新聞自動采集系統(tǒng)，可以幫助報社主動獲取新聞信息，以便全面的收集新聞信息資源。

(1) 網絡信息自動采集系統(tǒng)

采用B/S瀏覽器模式，結合當前網絡先進的搜索引擎技術，以及網站內容搜集技術，根據預設的搜集條件，實現(xiàn)指定內容的自動、手動搜集，搜集信息可以是精確搜集，也可以泛規(guī)模搜集，并將收集的信息自動存入數據庫。

搜集的信息加工編輯功能，記者或責編等相關內容搜集編輯人員利用系統(tǒng)提供的信息資源加工、編輯功能，對搜集的信息進行初始分類、加工，并將這些資源轉存到報社新聞待編數據庫中，進入新聞采編工作流程，以便完成信息深加工以及出版發(fā)行。

(2) 多媒體新聞信息多渠道投遞系統(tǒng)

包括文字稿件，圖片稿件、音頻、視頻等新聞信息的多渠道投遞子系統(tǒng)，現(xiàn)在的信息發(fā)布渠道越來越多，報社必須廣開言路，增加面向全社會的新聞信息投遞渠道，利用互聯(lián)網或者手機網、手機短信等眾多信息采集手段，實現(xiàn)多媒體新聞信息的定向、定目標的投遞和采集。

網絡信息自動搜集雖然可以擴大信息規(guī)模，但是由于不是定制型的信息，所以需要大量的整理和初加工才能進入報社的信息加工流程。而投遞系統(tǒng)主要是征集性的信息采集，社會根據報社發(fā)布的新聞信息需求，進行準確的內容投遞。多媒體新聞信息多渠道投遞系統(tǒng)將解決內容定向投遞需求。

投遞包括多種渠道，電子郵件投稿，網絡瀏覽器投稿，其他網絡化投稿，以及手機投稿等新聞信息多渠道采集功能。所有的采集到的新聞信息按照標準結構分門別類輸入到新聞采編的待編新聞數據庫中，責任編輯等相關稿件處理人員從這個數據庫中獲取原始的原創(chuàng)內容，通過稿件編審子系統(tǒng)納入報紙或網絡以及電子報等稿件處理環(huán)節(jié)，進行深入加工。

2.7 多媒體共享稿庫技術

西雙版納新老傣文多媒體共享稿庫平臺系統(tǒng)基于西雙版納報社的實際業(yè)務需要，著眼于報社新老傣文數字內容產業(yè)的發(fā)展趨勢，同時借鑒以往其他應用系統(tǒng)的開發(fā)經驗，充分利用了新平臺、新工具和新技術：

(1) 采用先進的智能客戶端模式既能滿足用戶個性化界面要求，又支持智能部署和更新。運用WPF技術使用戶能獲得絢麗的界面體驗，界面設計與業(yè)務邏輯設計分離。

(2) 突破報社固有新聞信息類型限制，支持文字、圖像、圖表、音頻、視頻、應用、復合等各種類型新聞信息，并且可動態(tài)設定支持其他類型新聞信息。本項目全面支持Unicode，突破語種限制，支持西雙版納新老傣文等多語種混合新聞。

(3) “組新聞”的特色管理，涵蓋了專題新聞、欄目新聞、新聞關聯(lián)、背景資料等管理，支持流媒體復合新聞顯示。

(4) 非結構化、半結構化、結構化的多媒體新聞信息與結構化數據采用不同存儲方式，實現(xiàn)各種數據之間的關聯(lián)及一致性處理。

(5) 引入面向服務架構模型，系統(tǒng)擴展功能以及與其他應用系統(tǒng)之間的交互通過標準的WebService服務進行，支持和應用CNML標準。

(6) 應用場景和流程定制，適用于不同需要、不同規(guī)模的報社或報業(yè)集團。

2.8 中文新聞信息標準的應用

從稿件的采集，到稿件的編輯，到報紙版面的排版，報紙版面的管理，一直到報紙版面的輸出，整個過程得到統(tǒng)一集中的管理，形成了一個流暢的電子業(yè)務流水線。西雙版納新老傣文新聞采編系統(tǒng)，支持《GB/T 20092 中文新聞信息置標語言》[4]和《GB/T 20093 中文新聞信息分類與代碼》[5]標準，使系統(tǒng)的開放性和互操作性程度很高、兼容性更強。

《中文新聞信息置標語言》(CNML)規(guī)定了新聞行業(yè)中文新聞信息的元數據和結構，以實現(xiàn)新聞信息的內容描述、交換和再利用?！吨形男侣勑畔⒎诸惻c代碼》則規(guī)定了中文新聞信息分類的原則、方法、體系和類目代碼。CNML總體技術路線涵蓋了四方面內容。第一，標準突出體現(xiàn)了CNML的兩個重要主體，一為用于交換的數據，二為數據之間的語義關系。標準結構上將數據對象和語義關系分開表示，在數據層定義了便于進行數據交換的數據內容，在語義層對數據層所表達的信息對象進行語義關系的解釋。標準本身的定義以XML Schema形式為主。同時，為了充分突出標準描述信息的語義特征，借鑒RDF的數據建模思想，課題組提出了融合語義特征描述功能且基于XML Schema語法的CNML標準。這在國內現(xiàn)有XML標準制定中是一個創(chuàng)新。第二，通過建模方法構建了一個統(tǒng)一的標準概念模型，在此概念模型的基礎上，采用XML和RDF兩種技術方法設計兩套標準Schema，兩套Schema在設計上要充分考慮各自技術特點，以便將來在應用中實現(xiàn)相互之間的轉換和融合。第三，CNML中的通用新聞對象采用了一種抽象的表示形式，真正的新聞對象只在實例化時才進行替代，以實現(xiàn)標準良好的擴展性；第四，在標準中要充分地分析數據層和語義層所表達信息的結構和內容，將可能出現(xiàn)的稿件與稿件、內容項與內容項之間的邏輯關系提取出來，定義出標準中可能出現(xiàn)的信息結構和語義邏輯關系，以實現(xiàn)對標準的元數據和標準的邏輯語義關系進行方便描述。

CNML概念模型具有如下特點： 1)CNML概念模型和NewsML1.x概念模型對應的現(xiàn)實對象模型是一致的，都可以方便地表達富含各種不同類型的內容實體和內容組合的新聞信息稿件結構；CNML概念模型繼承了NewsML概念模型中獨立于各種具體內容表達方式的優(yōu)點；2)CNML概念模型中取消了新聞組件這樣一個中間層次，消除了由于新聞組件引入導致的各種復雜嵌套的物理結構，通過引入新的關系元素來表達新聞稿件之間、新聞稿件包含的多個不同內容實體之間的結構和組合關系；可以在一定程度上方便對內容項、稿件進行內容存儲和信息資產的管理；3)在CNML概念模型中，稿件和內容項均作為抽象類型存在，分別只包含稿件和內容項的公共特征，不同類型的稿件和內容項都可以從抽象的稿件和內容項類型繼承擴展，在具備共同元數據特征和結構特點之外，可以擁有自己的元數據特征和自有結構；較好地解決了共性和特性的表達矛盾。

CNML標準采用了數據建模思想和面向對象的設計方法，有效地確立了標準的基礎研究方法。首先，對標準中涉及到新聞對象進行建模，然后，通過面向對象的設計方法定義標準中新聞對象的基本類和擴展類，通過類的繼承方法逐步從基本類擴展出新的子類。廣泛采用了抽象類實例化技術，將反映具體新聞對象特征的抽象類實例化為具體的新聞數據對象，解決了共性和特性的問題。

CNML除了可以在稿件或者內容項的元數據描述部分提供對稿件中的各類主題信息的描述以外，還提供了一組可以內嵌在稿件正文內容中標識主題詞的內聯(lián)智能標記。內聯(lián)智能標記規(guī)范中預定義了一個復雜類型和八個智能標記元素。通過這組標記可以對稿件正文中出現(xiàn)的人物、職位、機構、事件、行業(yè)、地點、對象名、分類等信息進行標記，便于大家使用各種自然語言檢索或者知識管理引擎對稿件進行主題檢索、專題制作、自動分類、自動聚類等智能化處理。

3 存在的問題和改進意見

本項目已完成中國第一個傣文網站和網絡平臺的傣文數字報刊系統(tǒng)，還將進一步研發(fā)移動平臺的傣文數字出版系統(tǒng)。

[1] Asmus Freytag. Summary of repertoire for FDAM1 and FPDAM2 of ISO/IEC 10646(ISO/IEC JTC1/SC2/

WG2 N2924R)[EB/OL]. [2005-02-08]. http://anubis.dkuug.dk/jtc1/sc2/wg2.

[2] Michael Evenson. Summary of repertoire for FDAM 5 0f ISO IEC 10646： 2003 (ISO/IEC JTC1/SC2/WG2 N3465)[EB/OL]. [2008-04-24]. http://anubis.dkuug.dk/jtc1/sc2/wg2.

[3] Michael Everson，Martin Hosken. Proposal for Encoding the Lanna Script in the BMP of the UCS(ISO/IEC JTC1/SC2/WG2 N3121R)[EB/OL]. [2006-09-09]. http://anubis.dkuug.dk/jtc1/sc2/wg2.

[4] 新華通訊社，等.GB/T 20092-2006，中文新聞信息置標語言[S].北京： 中國標準出版社，2006.

[5] 新華通訊社，等.GB/T 20093-2006，中文新聞信息分類與代碼[S].北京： 中國標準出版社，2006.