基于文字書寫教學的字母連寫筆畫分析方法

彭喻杰　戴　永　謝建斌　李文濤

(湘潭大學信息工程學院　湖南 湘潭 411105)

?

基于文字書寫教學的字母連寫筆畫分析方法

彭喻杰戴永謝建斌李文濤

(湘潭大學信息工程學院湖南 湘潭 411105)

摘要字母連寫智能指導是文字書寫教學系統(tǒng)重要研究內(nèi)容。針對字母連寫筆畫結(jié)構(gòu)復雜多變，單體字母書寫筆跡分析方法無法直接套用于字母連寫筆畫分析的現(xiàn)狀，提出基于圖域時域關鍵點分割筆畫的字母連寫筆畫分析方法。分別從圖域、時域提取關鍵點；融合兩域關鍵點；按二次曲線等三類標準曲線筆段，在兩域關鍵點向量中進行筆段分割；通過與三類標準曲線的擬合建立筆段系數(shù)向量模板；依據(jù)實寫筆畫的各類關鍵點與系數(shù)向量重構(gòu)的擬合曲線的貼近度實現(xiàn)連寫筆畫分析。實驗表明，該方法關鍵點誤提率、筆段誤提率、實時跟蹤時間及貼近度等重要指標均滿足實用要求。

關鍵詞聯(lián)機書寫指導字母連寫筆畫分析圖域時域關鍵點融合筆段分割與擬合

AN ANALYSIS METHOD OF LETTER LIGATURE STROKES BASED ON CHARACTERS HANDWRITING TEACHING

Peng YujieDai YongXie JianbinLi Wentao

(School of Information Engineering,Xiangtan University,Xiangtan 411105,Hunan,China)

AbstractIntelligent guidance of letter ligatures is an important research content of characters handwriting tutoring system. The stroke structures of letter ligatures are complicated and changeable,the analysis method of single letter handwriting chirography can’t be directly set for letter ligatures strokes analysis. Aiming at this status quo,in this paper we propose a method of letter ligature strokes analysis,which is based on stroke-segmentation of key points in diagram-temporal domain. It is consisted of the following techniques: to extract key points from diagram and temporal domains respectively; to integrate the key points in two domains,according to three kinds of standard curved stroke segments such as quadratic curve etc. to divide the stroke segments in vectors of key points in two domains; to set up stroke segments coefficient vector template by fitting with three kinds of standard curves; to realise the ligature strokes analysis according to the closeness of the fitting curves reconstructed by the various key points of actual handwritten strokes and the coefficient vectors. Experiment demonstrates that the important indexes of the proposed method,including key points error pen-lifting rate,stroke segments error pen-lifting rate,real-time tracking time and closeness,etc.,all satisfy the practical requirement.

KeywordsOnline handwriting guidanceLetter ligature strokes analysisDiagram-temporal domainsIntegration of key pointsStroke segments dividing and fitting

0引言

學習單詞為字母串結(jié)構(gòu)的文種，字母連寫學習是必修內(nèi)容，也是當前文字書寫自動教學系統(tǒng)的研究熱點和難點?，F(xiàn)有文字書寫自動教學系統(tǒng)的教學內(nèi)容主要是單體文字或字母的書寫方法。筆畫分析方法大致分兩類：一類是整字法，即先記錄下文字的全體筆畫，后對記錄筆畫逐一分析[1-3]；另一類是筆畫法，即每一筆畫寫完便對該筆畫書寫效果進行分析[4-6]。前者有益于從文字的整體效果角度來評判筆畫書寫質(zhì)量，后者指導更為精細，可避免一錯再錯情況。但總體而言，單體文字與字母筆畫結(jié)構(gòu)的復雜度遠不及字母連寫筆畫，因此不能直接將單體文字和字母的筆畫分析方法套用字母連寫筆畫分析。字母連寫筆畫盡管復雜多變，但構(gòu)成單詞的字母串結(jié)構(gòu)具有相對穩(wěn)定性，加上人們在長期書寫過程中形成的連筆共識，使得連寫筆跡仍是有規(guī)可循。有鑒于此，本文以英文字母連寫為例，依據(jù)文獻[7]提供的英文書寫字帖，面向聯(lián)機文字書寫自動教學提出圖域時域關鍵點分割的字母連寫筆畫分析方法。在圖域中獲得筆段起止點、交點鏈向量，通過時域得到x、y方向極點、正弦π點向量，構(gòu)建兩域關鍵點融合向量，通過融合向量將連寫筆畫分割形成有序筆段模板。筆段模板設定為二次曲線、正弦曲線、直線三大類。模板筆段經(jīng)最小二乘法獲取最佳擬合曲線的系數(shù)向量，依據(jù)實寫筆段關鍵點與系數(shù)向量重構(gòu)的擬合曲線的貼近度進行連寫筆畫分析。實驗表明，關鍵點、筆段等誤提率達到實用要求。文獻[8，9]提出線元分割法及其應用，對比分析，本文方法的筆段分割與擬合效果更好，更適用于字母連寫筆畫的書寫教學。文獻[10]為了回避筆段分割利用隱馬爾可夫模型研究無約束英文書寫模式的識別。文獻[11]通過建立書寫筆跡與速度模型識別手寫數(shù)字，兩種方法雖不針對字母書寫學習，但為筆畫信息處理提供了可借鑒的新思路。

1連寫結(jié)構(gòu)與筆段分類

按字母排序及筆畫連接方式，文獻[7]中字母二連結(jié)構(gòu)大致分為三大類。第一大類為斜連類，包括a/c/d/e/h/i/k/l/m/n/u等收筆上挑的字母與e的起筆相連，a/c/d/e/h/i/k/l/m/n/u等收筆上挑的字母，正好與i/j/m/n/p/r/s/t/u/v/w/x/y的起筆相連兩個子類；第二大類為橫連類，包括o/v/w與i/j/m/n/p/r/s/t/u/v/w/x/y橫連，以f/t為先或后字母的橫連兩個子類；第三大類為靠而不連，如“fa、kd、oc、ia、vg、xo”等本質(zhì)上互無連筆結(jié)構(gòu)，但熟練者常常進行無規(guī)則連寫，“bi、cb、oh、ja、yh”等則完全不可進行連寫。本文僅研究第一、二大類，多于兩字母的字母串均可分解為兩字母連寫結(jié)構(gòu)分析。

圖1(a)所示為按文獻[12]方法進行前置處理后并疊加了標注信息的“de”連寫筆跡圖，A為起點，沿箭頭方向行筆，以E為終點結(jié)束書寫；圖1(b)、(c)分別表示筆跡x、y方向的時域走向圖。筆畫完整結(jié)構(gòu)為非標準曲線，無法直接進行完整的筆跡分析。比照范類曲線，該連寫筆畫可有序分割成五段范類曲線筆段，分別近似為橢圓筆段(A→B段)、直線筆段(B→Bx段)、拋物線筆段(Bx→C段)、橢圓筆段(C→D段)及拋物線筆段(D→E段)。在B點以上的上下筆跡存在重疊。

圖1　兩域筆跡與關鍵點圖

根據(jù)圖1分析，各類連寫筆畫的筆段擬似形狀及其數(shù)學模型結(jié)構(gòu)歸納為三大類：(1)二次曲線(包括橢圓類、橢圓弧類、拋物線等)，如圖2(a)所示a，o，d，k，e中的橢圓類筆段連寫示例；(2)正弦曲線類，如圖2(b)中x的連寫示例；(3)直線類。類別模糊的筆段提供多種擬合模板。

圖2　筆段結(jié)構(gòu)示例

2分析模板構(gòu)建

分析模板為連寫筆畫的標準書寫結(jié)構(gòu)經(jīng)關鍵點分割所產(chǎn)生筆段的擬合范類曲線，用系數(shù)向量表達。

2.1關鍵點向量

遵循任意連寫字母串有且僅有一條連寫筆畫的基本事實，討論對象限于連寫筆畫。圖域二維筆跡產(chǎn)生的關鍵點向量記為ΦG，時域單維筆跡產(chǎn)生的關鍵點點集記為ΦT。由ΦG、ΦT綜合生成的關鍵點向量記為ΦK。

極點運用單調(diào)法生成。正弦π點生成方法：采用單調(diào)法獲得筆畫單調(diào)標注向量，若存在某筆段的單調(diào)標注向量滿足x、y方向單調(diào)性均保持不變，則過該筆段的兩端點求一條直線；若該直線與該筆段有且只有一個交點，則視該交點為筆畫x方向的正弦π點，存入φxsz。

為方便后續(xù)處理使Φt與ΦG同維，將Φt中每個關鍵點子向量各自增加在時域中缺省的坐標元，相應的向量記為ΦT。ΦT=[φxb,φxp,φxz,φyb,φyp,φyz]，φxb,φxp,φxz,φyb,φyp,φyz依次對應φxbt,φxpp,φxsz,φybt,φypp,φysz。

按時序碼τ由小到大融合ΦG、ΦT得到融合的關鍵點向量ΦK=[φk(xi,yi,τi,θi),(i=0,1,…,m)]。

2.2筆段分割

筆段分割是指在ΦK中確定可提取筆段的起點與終點，一條被提取的筆段包含σ(σ≥2)個關鍵點。為了將無規(guī)則的連寫筆畫切分成易擬合的規(guī)范結(jié)構(gòu)曲線筆段，按“橢圓→正弦→橢圓弧→拋物線→直線”順序?qū)Ζ礙所包含的曲線筆段進行擬合分割。

算法1筆段分割

輸入：ΦK

輸出：筆段關鍵點子向量Vcut

注釋：ΦK對應的變量為Pk。code(m)表示筆段擬合類型碼，Vcutcode[]儲存被提取筆段擬合類型碼；Vcut[]存儲提取筆段子向量。函數(shù)進行關鍵點重組PkRedistribution()，二次曲線、正弦曲線及直線的筆段分割分別由ConicPutIn()、SinusoidalPutIn()、LinePutIn()實現(xiàn)。

步驟

Step1i←0，t[]←0，k←0；

Step2pd.size()-t[k]≠0 ?是則順序執(zhí)行；否則轉(zhuǎn)Step6；

Step3j←0，Vcutcode[i]←code(1)，Vcut[i][j]←

ConicPutIn(pd[t[k]],pk[])，t[k]++；

Step4Pk[]←PkRedistribution(Pk[])；

Step5i++，轉(zhuǎn)Step2；

Step6k++，pxz.size()-t[k]≠0 ?是則順序執(zhí)行；否則轉(zhuǎn)Step8；

Step7j←0，Vcutcode[i]←code(2)，Vcut[i][j]←

SinusoidalPutIn(pxz[t],pk[]),t[k]++,轉(zhuǎn)Step4；

Step8Pk.size≥4?是則順序執(zhí)行；否則轉(zhuǎn)Step11；

Step9求取Pk中x、y方向單調(diào)標注向量，存在連續(xù)4個關鍵點滿足(Dx[]∈ηx)and(Dy[]∈ηy)?是則順序執(zhí)行；否則轉(zhuǎn)Step11；

Step10j←0，Vcutcode[i]←code(3)，Vcut[i][j]←

ConicPutIn(pk[])；轉(zhuǎn)Step4；

Step11Pk.size≥3?是則順序執(zhí)行；否則轉(zhuǎn)Step14；

Step12求取Pk中x、y方向單調(diào)標注向量，存在連續(xù)3個關鍵點滿足(Dx[]∈ηx)and(Dy[]∈ηy)?是則順序執(zhí)行；否則轉(zhuǎn)Step14；

Step13j←0，Vcutcode[i]←code(4)，Vcut[i][j]←

ConicPutIn(pk[])；轉(zhuǎn)Step4；

Step14j←0，Vcutcode[i]←code(5)，Vcut[i][j]←

Step15結(jié)束

2.3系數(shù)向量

3分析實現(xiàn)

實寫筆畫分析過程：求取實寫筆畫關鍵點并提取筆段關鍵點子向量，在提取筆段類型與模板筆段類型一致的條件下，將筆段關鍵點與對應最佳擬合系數(shù)向量還原的規(guī)范曲線進行貼近度分析。

實寫決定系數(shù)R:

(1)

表1　擬合貼近度的評價標準

4實驗與分析

開發(fā)系統(tǒng)硬件主要配置：7英寸觸摸屏及S3C2440A，32bit ARM920T內(nèi)核及其控制器，64 MB NAND_FLASH,64 MB SDRAM等。軟件開發(fā)環(huán)境為VS2005，操作系統(tǒng)為Wince 5.0，開發(fā)語言為C++，輔助開發(fā)語言為MATLAB。四線格書寫，圖域為80×80點陣，前置處理采用文獻[12]方法。以文獻[7] 中“he”連寫為例，其模板的各筆段擬合系數(shù)向量分別為：

圖3　實驗結(jié)果分析

采用MATELAB求取書寫例字中模板筆畫筆段的曲線擬合系數(shù)向量，并采用計算決定系數(shù)R的方式判斷擬合貼近度的優(yōu)劣。“he”連寫筆點被順序分割為橢圓、正弦曲線、拋物線和直線筆段。

表3　實驗效果參數(shù)

圖4為用戶在本指導系統(tǒng)實際書寫時系統(tǒng)教學效果截圖，(a)為連寫筆畫無結(jié)構(gòu)錯誤，系統(tǒng)給出綜合得分72。(b)為連寫筆畫有結(jié)構(gòu)錯誤，系統(tǒng)彈出指導意見“連寫字母O弧未封口或者出頭了，請按照標準書寫”，并同步語音播放該指導意見。

圖4　系統(tǒng)教學效果截圖

圖5為本文方法與文獻[8]方法的筆段擬合效果對比。文獻[7]利用線元進行手繪圖形筆畫分割，圖示結(jié)果表明相對于聯(lián)機字母連寫筆畫的書寫指導，本文方法更合理，有明顯優(yōu)勢。

圖5　二種擬合方法擬合效果對比

5結(jié)語

本文方法已在文獻[13]系統(tǒng)中得到實用。字母連寫學習的難點為連寫筆畫，字母連寫自動教學的關鍵在于連寫筆畫自動教學的實現(xiàn)。本文主要工作與成果：(1)給出英文字母連寫結(jié)構(gòu)分類方法；(2)提出并實現(xiàn)圖域時域關鍵點分割字母連寫筆畫的策略；(3)應用最小二乘法擬合筆段形成系數(shù)向量分析模板，通過模板重構(gòu)曲線與實寫筆跡的貼近度計算進行筆畫分析。該方法為采用筆畫法進行英文書寫自動教學提供了實用方法，也可借鑒于其他文種研究字母連寫自動教學。本文方法的改進可借鑒文獻[10，11]。

參考文獻

[1] ZhiHui,Yun Xu,LiuShen Huang,et al.A Chinese Handwriting System with Automatic Error Detection[J].Journal of Software,2009,4(2):101-107.

[2] Yamaguchi T,Muranaka N,Tokumaru M.Evaluation of Online Handwritten Characters for Penmanship Learning Support System[C] // Proceedings of the 14th International Conference,HCI International 2011. Orlando,FL,USA: Human-Computer Interaction,2011: 121-130.

[3] Hammadi M,Bezine H,Njah S,et al.Towards an educational tool for Arabic handwriting learning[C]// Education and e-Learning Innovations (ICEELI),Sousse :2012 International Conference on,1-3 July 2012,IEEE,1(6): 1-6.

[4] 戴永,王心覺，張維靜，等.面向指導的自由式英文字母書寫跟蹤[J].湘潭大學自然科學學報,2012,34(2):85-89.

[5] 陳定.點導法習字用具及其制造方法: 中國專利，CN20061015 7297.8[P].2008-06-11.

[6] 李東青.一種書寫式電子裝置進行文字筆畫的校正方法：CN200710125 374. 6[P].2008-05-21.

[7] 龍恒充.英語手寫體鋼筆字帖·連寫訓練[M].四川:四川出版集團·天地出版社,2009.

[8] 王淑俠,高滿屯,齊樂華.基于二次曲線的在線手繪圖識別[J].西北工業(yè)大學學報,2007,25(1):37-41.

[9] 王淑俠,王關峰,高滿屯,等.基于時空關系的在線多筆畫手繪二次曲線識別[J].模式識別與人工智能，2011，24(1)：82-89.

[10] Graves A， Liwicki M， Fernandez S，et al. A Novel Connectionist System for Unconstrained Handwriting Recognition[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2009,31(5):855-868.

[11] Kherallah M,Haddad L,Alimi A,et al. On-line handwritten digit recognition based on trajectory and velocity modeling[J].Pattern Recogniting Letters， 2008,29:580-594.

[12] 戴永，張維靜，孫廣武.基于文字書寫教學的筆跡噪聲處理[J].計算機工程與應用，2014，50(14)：164-167.

[13] 戴永，劉任任，王求真，等.可聯(lián)網(wǎng)交互的多功能規(guī)定格式習字系統(tǒng)及方法：ZL201010149767.2[P].2010-09-01.

中圖分類號TP391

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.02.060

收稿日期：2014-09-01。湖南教育廳項目(13C914)；湖南省“十二五”重點學科建設項目。彭喻杰，實驗師，主研領域：模式識別。戴永，教授。謝建斌，碩士生。李文濤，碩士生。