張乃千,楊 海,樊振方
(1.國(guó)防科學(xué)技術(shù)大學(xué) 光電科學(xué)與工程學(xué)院,湖南 長(zhǎng)沙 410073;2.國(guó)防科學(xué)技術(shù)大學(xué) 計(jì)算機(jī)學(xué)院,湖南 長(zhǎng)沙 410073)
筆跡,是具有個(gè)人特征的書寫文字符號(hào)的形象系統(tǒng),與個(gè)人書寫習(xí)慣有密切聯(lián)系。利用計(jì)算機(jī)進(jìn)行個(gè)人筆跡鑒別,是模式識(shí)別的分支問(wèn)題,是通過(guò)分析比較不同人筆跡的書寫風(fēng)格來(lái)判斷書寫者身份的一種技術(shù)方法[1]。文本獨(dú)立(Textindependent)是指進(jìn)行鑒別時(shí),對(duì)書寫者書寫的內(nèi)容沒(méi)有特殊要求,具有樣本依存性小、信息采集方便等特點(diǎn),具有廣泛的應(yīng)用前景。通過(guò)對(duì)筆跡分析做出身份判斷,在計(jì)算機(jī)登錄、電子商務(wù)、金融安全、文物監(jiān)測(cè)、信息安全等方面具有重要應(yīng)用。國(guó)內(nèi)外對(duì)基于PC平臺(tái)的筆跡鑒別系統(tǒng)算法進(jìn)行了細(xì)致研究,師寶山[2]等人解決了紙質(zhì)筆跡信息的預(yù)處理問(wèn)題,張德賢[3]等人提出了筆跡信息的特征提取算法,劉海[4]等人提出了基于輪廓方向特征提取的筆跡鑒別方法,劉愛(ài)真[5]提出了利用希爾伯特-黃變換(HHT)方法對(duì)脫機(jī)手寫體漢字特征進(jìn)行提取,楊彩霞[6]提出了基于Gabor變換和最鄰近分類器的筆跡鑒別方法,劉宏[7]等人提出了基于紋理分析優(yōu)化Gabor變換和支持向量機(jī)(Support Vector Machines,SVM)的筆跡鑒別方法。這些方法的鑒別性較好,可實(shí)現(xiàn)性強(qiáng),但都局限在PC系統(tǒng)層面,筆跡的采集方式復(fù)雜,不能實(shí)現(xiàn)實(shí)時(shí)的筆跡鑒別系統(tǒng)。本文提出了一種基于嵌入式系統(tǒng)的實(shí)時(shí)筆跡鑒別系統(tǒng),該系統(tǒng)主要針對(duì)離線的文本獨(dú)立筆跡進(jìn)行嵌入式鑒別研究,使用ARM終端實(shí)時(shí)采集筆跡信息,使用Gabor濾波器提取筆跡樣本的紋理特征,使用支持向量機(jī)(SVM)訓(xùn)練和識(shí)別筆跡信息的特征。
基于ARM的文本獨(dú)立筆跡鑒別系統(tǒng)主要由3個(gè)模塊部分組成,包括筆跡采集端、數(shù)據(jù)傳輸部分、上位機(jī)處理部分。系統(tǒng)的總體設(shè)計(jì)原理如圖1所示。
圖1 系統(tǒng)設(shè)計(jì)原理圖Fig.1 Design schematics of system
進(jìn)行筆跡鑒別時(shí),需要提前將書寫人筆跡數(shù)據(jù)存入系統(tǒng)數(shù)據(jù)庫(kù)中,以便于后期比對(duì)分析。待檢測(cè)人需通過(guò)筆跡采集端的手寫式觸摸屏實(shí)時(shí)輸入手寫筆跡信息。筆跡采集端進(jìn)行簡(jiǎn)單處理后通過(guò)數(shù)據(jù)傳輸部分傳送給上位機(jī),上位機(jī)接收數(shù)據(jù)后采取筆跡鑒別算法對(duì)實(shí)時(shí)采集的筆跡信息進(jìn)行預(yù)處理和歸一化操作。處理后的筆跡數(shù)據(jù)通過(guò)Gabor濾波器和支持向量機(jī)方法[7]與數(shù)據(jù)庫(kù)數(shù)據(jù)進(jìn)行比對(duì),從而實(shí)時(shí)顯示書寫者的身份信息。
文本獨(dú)立的筆跡鑒別系統(tǒng)的筆跡采集端主要負(fù)責(zé)筆跡信息的實(shí)時(shí)采集及發(fā)送功能,主要由ARM核心處理器、觸摸屏模塊、書寫信息顯示模塊和數(shù)據(jù)發(fā)送端口組成。
觸摸屏部分是筆跡采集的關(guān)鍵核心,主要由電阻式觸摸屏和觸摸屏控制器組成,負(fù)責(zé)筆跡信息的實(shí)時(shí)采集。采集的數(shù)據(jù)信息將被實(shí)時(shí)保存成圖片格式并簡(jiǎn)單處理后發(fā)送。電阻式觸摸屏的基層是玻璃,玻璃上面涂覆有兩層透明氧化金屬(ITO氧化銦)導(dǎo)電層,兩導(dǎo)電層之間有細(xì)小的透明隔離點(diǎn),這些隔離點(diǎn)起到了將兩導(dǎo)電層隔離和絕緣的作用。當(dāng)書寫者的筆尖或手指按下觸摸屏?xí)r,兩個(gè)導(dǎo)電層就會(huì)相互接觸而形成回路,通過(guò)測(cè)量接觸點(diǎn)的電壓值等特定數(shù)據(jù)就可得到屏幕上的坐標(biāo)位置。采用電阻式觸摸屏具有價(jià)格低廉、型號(hào)齊全、耐筆尖或手指磨損、感應(yīng)度高、精確性好等特點(diǎn)。
除了通過(guò)觸摸屏實(shí)時(shí)顯示書寫者的筆跡數(shù)據(jù)外,為了更便于書寫者觀察書寫,設(shè)計(jì)了專門書寫信息顯示模塊顯示筆跡信息。該模塊采用TFT液晶屏和液晶屏控制器組成。液晶顯示屏收到來(lái)自核心處理器的筆跡數(shù)據(jù)信息后,實(shí)時(shí)地將手寫筆跡顯示在屏幕上方,使得書寫者的筆跡輸入更加直觀。由于電阻式觸摸屏采集到的筆跡信息是當(dāng)前觸摸點(diǎn)電壓值經(jīng)過(guò)模數(shù)轉(zhuǎn)換后X坐標(biāo)和Y坐標(biāo)的數(shù)字值,對(duì)TFT液晶屏沒(méi)有使用價(jià)值,因而需要通過(guò)坐標(biāo)轉(zhuǎn)換將觸摸屏坐標(biāo)映射到TFT屏幕上。具體轉(zhuǎn)換過(guò)程可以由核心處理器及驅(qū)動(dòng)程序完成。
筆跡采集端的核心處理器選擇三星公司ARM9內(nèi)核的S3C2440A處理器,它負(fù)責(zé)整個(gè)筆跡采集端的運(yùn)行控制,包括負(fù)責(zé)完成觸摸屏模塊的顯示和手寫數(shù)據(jù)的采集、書寫信息顯示模塊的數(shù)據(jù)輸出、數(shù)據(jù)通信模塊的管理控制,還負(fù)責(zé)包括坐標(biāo)映射和簡(jiǎn)單筆跡數(shù)據(jù)處理等功能。
數(shù)據(jù)通信模塊主要負(fù)責(zé)筆跡采集端采集的筆跡信息實(shí)時(shí)傳送到上位機(jī)端的功能。實(shí)現(xiàn)上位機(jī)與筆跡采集端的通信,主要包括有線和無(wú)線兩種方式。
有線通訊方式即通過(guò)實(shí)體數(shù)據(jù)線路進(jìn)行連接,包括串口線、USB通信線等方式。其中,USB通信模塊是S3C2440A核心處理器的集成部分。S3C2440A核心內(nèi)部包括USB控制器和外圍電路,可以直接實(shí)現(xiàn)通過(guò)USB端口數(shù)據(jù)線將大量書寫數(shù)據(jù)實(shí)時(shí)準(zhǔn)確傳送給上位機(jī)端的功能,具有簡(jiǎn)單實(shí)用的特點(diǎn)。
為增加系統(tǒng)的可用性,實(shí)現(xiàn)相對(duì)較遠(yuǎn)距離(10 m)的自由終端式筆跡采集模塊,可以采用基于無(wú)線通訊方式進(jìn)行數(shù)據(jù)傳輸。目前較常用的無(wú)線通訊方式包括藍(lán)牙、Wi-Fi、基于nRF24L01工業(yè)模塊等方式。其中,nRF24L01是一款使用2.4 GHz ISM開放頻段、采用FSK調(diào)制、基于內(nèi)部自有協(xié)議的無(wú)線通信模塊,本身?yè)碛?26頻道,可以實(shí)現(xiàn)點(diǎn)對(duì)點(diǎn)或1對(duì)多點(diǎn)的無(wú)線通信功能,通信速度可以達(dá)到2 Mbps。采用基于nRF24L01的工業(yè)化通信模塊可以實(shí)現(xiàn)較小體積較遠(yuǎn)距離的數(shù)據(jù)傳輸,且開發(fā)方便,可以極大提高筆跡鑒別系統(tǒng)的實(shí)用性。
文本的筆跡信息包括在線和離線兩類。離線信息是指寫在紙上的字符,具有采集方便、信息量小的特點(diǎn)。筆跡鑒別方法主要包括文本依存和文本獨(dú)立兩種,其中文本依存要求必須使用相同的文字進(jìn)行比對(duì),而文本獨(dú)立是依據(jù)大量筆跡特征提取,與書寫內(nèi)容無(wú)關(guān),應(yīng)用更廣。本文針對(duì)離線的文本獨(dú)立筆跡信息進(jìn)行研究,利用多通道Gabor濾波器,作為圖像紋理特征提取分析方法,它被廣泛應(yīng)用于紋理分析、筆跡鑒別等領(lǐng)域。為了解決訓(xùn)練樣本不足的問(wèn)題[7],可以采用支持向量機(jī)(SVM)的方法對(duì)筆跡特征進(jìn)行訓(xùn)練和識(shí)別。上位機(jī)端的算法流程設(shè)計(jì)如圖2所示。
圖2 算法流程圖Fig.2 Algorithm flowchart
筆跡圖像的預(yù)處理主要包括濾波、二值化、歸一化等。首先將圖像進(jìn)行顏色聚類和二值化,以消除背景色的干擾,根據(jù)分布特征除去背景和網(wǎng)格線,并將圖像二值化。然后需要進(jìn)行濾波以消除噪點(diǎn)的干擾,常用的圖像濾波方法有:中值濾波、鄰域均值濾波和低通濾波。由于筆跡采集終端采集的圖片質(zhì)量較高,噪聲多為小噪聲的孤立點(diǎn),因此可以采用鹽和胡椒濾波法去噪[8]。然后將圖像分別沿水平和豎直方向進(jìn)行投影,以壓縮空行和字符間的空白。為便于數(shù)據(jù)處理,需要按統(tǒng)一的行高對(duì)每行字符進(jìn)行歸一化處理,即調(diào)整不同字符的大小相同。歸一化處理時(shí)可以根據(jù)筆跡圖像的水平直方圖做行的分割,圖像的水平直方圖就是圖像在水平方向上的投影,即每一行像素值直接相加。實(shí)驗(yàn)中我們采集了20人的筆跡信息,每人兩份,每份的漢字?jǐn)?shù)量、內(nèi)容、紙張、書寫用筆均沒(méi)有特殊限制。與此同時(shí),實(shí)驗(yàn)還采用了哈爾濱工業(yè)大學(xué)多人手寫庫(kù)(HIT-MW)中的筆跡圖像作為樣本,共使用40份,由20個(gè)人書寫,每人兩份。對(duì)于采集的手寫筆跡信息,我們將每個(gè)人的筆跡信息一分為二,一份用于訓(xùn)練,另一份用于測(cè)試,以保證兩組數(shù)據(jù)完全不同。實(shí)驗(yàn)采集筆跡圖像預(yù)處理效果如圖3所示。
筆跡信息進(jìn)行預(yù)處理后需要分析筆跡圖像的紋理特征,由于每個(gè)人的書寫風(fēng)格不同,書寫的筆跡信息具有較強(qiáng)的方向性和頻譜特征,需要采用時(shí)間頻域分析。系統(tǒng)上位機(jī)部分采用二維Gabor濾波器進(jìn)行特征提取,Gabor變換是1946年D.Gabor為解決傅立葉變換對(duì)分析非平穩(wěn)信號(hào)有很大局限性而提出來(lái)的。二維Gabor函數(shù)具有方向選擇性和帶通性,能同時(shí)在時(shí)域和頻域中兼顧對(duì)信號(hào)分析的需求,可以比較精確地提取圖像的局部問(wèn)題特征,相當(dāng)于一種帶通濾波器。紋理圖像可類比為有周期性規(guī)律的信號(hào),其能量集中在一定頻率范圍內(nèi)。如果紋理圖像的能量與Gabor濾波器的通頻帶吻合,那么這部分的信號(hào)就得到放大。在紋理分析中常用的Gabor變換公式:
圖3 筆跡預(yù)處理效果圖Fig.3 Renderings of handwriting pretreatment
其中 u,v 分別為在 x,y 軸方向上的空間頻率;g(x,y)為Gauss函數(shù)。設(shè)置Gabor濾波器的3個(gè)參數(shù)為:徑向中心頻率f,方向θ和空間常數(shù)σ。選擇不同的參數(shù)會(huì)構(gòu)成不同的通道,它們組成了一組非正交基。實(shí)驗(yàn)中取σ=2π/f,相位角θ取0,π/4,π/2,3π/4,用這組基展開信號(hào)可以得到筆跡圖像在不同的頻率和相位下的頻域信息。
SVM是一種旨在通過(guò)有限的樣本學(xué)習(xí),得到最好的推廣效果的統(tǒng)計(jì)分類方法,它可以根據(jù)有限的筆跡樣本信息在模型的復(fù)雜性和機(jī)器學(xué)習(xí)能力之間尋求最優(yōu)方法。筆跡鑒別是一種多類問(wèn)題,可以通過(guò)構(gòu)造決策函數(shù),實(shí)現(xiàn)多類問(wèn)題轉(zhuǎn)化為兩類問(wèn)題。SVM可以根據(jù)兩類樣本數(shù)據(jù)尋求問(wèn)題解決的最優(yōu)分類面,可以使分類間隔達(dá)到最大,準(zhǔn)確度達(dá)到最高。系統(tǒng)中我們采用第k個(gè)分類器由包括第k類樣本和不屬于第k類的所有樣本兩部分組成,將n類問(wèn)題轉(zhuǎn)化為n個(gè)兩類問(wèn)題的方法,構(gòu)造解決多類筆跡問(wèn)題的分類器算法:
其中,x是輸入的筆跡信息,fk(x)是第k類分類函數(shù)。通過(guò)對(duì)fk(x)的大小進(jìn)行排序,就可以得到最可能為書寫人的候選人信息。
基于ARM嵌入式系統(tǒng)的文本獨(dú)立筆跡鑒別系統(tǒng)實(shí)現(xiàn)了實(shí)時(shí)采集書寫筆跡信息,對(duì)采集筆跡進(jìn)行數(shù)字化處理后傳遞給上位機(jī)功能。通過(guò)對(duì)筆跡信息的預(yù)處理和基于多維度Gabor變換的特征分析,最后使用多類SVM分類其進(jìn)行筆跡鑒別,具有速度快、準(zhǔn)確率高等特點(diǎn),具有一定的應(yīng)用前景。
[1]盧玉書.基于離線文本獨(dú)立的筆跡鑒別系統(tǒng)設(shè)計(jì)[J].武警學(xué)院學(xué)報(bào),2009(2):87-91.LU Yu-shu.Handwriting identification system design based on off-line text-independent[J].Journal of Chinese People’s Armed Police Force Academy,2009(2):87-91.
[2]師寶山,張貴州.筆跡鑒別預(yù)處理算法的設(shè)計(jì)與實(shí)現(xiàn)[J].電子器件,2008(4):1357-1360.SHI Bao-shan,ZHANG Gui-zhou.Design and realization of pre-processing algorithms in computer handwriting identification[J].Chinese Journal of Electron Devices,2008(4):1357-1360.
[3]張德賢,郭小波,劉永平.筆跡鑒別預(yù)處理與特征抽取技術(shù)研究[J].微計(jì)算機(jī)信息,2006(25):310-312.ZHANG De-xian,GUO Xiao-bo,LIU Yong-ping.The preprocessing and feature extraction research on computer handwriting identification [J].Microcomputer Information,2006(25):310-312.
[4]劉海,呂岳.基于輪廓方向特征的脫機(jī)手寫中文筆跡鑒別[J]. 電視技術(shù),2011(21):131-134,144.LIU Hai,LU Yue.Text-independent writer identification of offline Chinese handwriting using contour-directional feature[J].Video Engineering,2011(21):131-134,144.
[5]劉愛(ài)真.基于HHT的脫機(jī)手寫體漢字特征提取[J].計(jì)算機(jī)應(yīng)用,2009(S2):289-290,293.LIU Ai-zhen.Feature extraction of off-line handwritten Chinese characters based on Hilbert-Huang transform[J].Journal of Computer Applications,2009(S2):289-290,293.
[6]楊彩霞.基于Gabor變換與最近鄰分類器的字符識(shí)別方法[J].西安文理學(xué)院學(xué)報(bào):自然科學(xué)版,2010(4):83-85.YANG Cai-xia.On the character identification based on Gabor alternation and adjacent classifier[J].Journal of Xi’an University of Arts and Science:Natural Science Edition,2010(4):83-85.
[7]劉宏,李錦濤,崔國(guó)勤,等.基于SVM和紋理的筆跡鑒別方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2003(12):1479-1484.LIU Hong,LI Jin-tao,CUI Guo-qin,et al.Writer identification using support vector machines and texture feature[J].Jouranl of Computer-ided Design and Computer Graphics,2003(12):1479-1484.
[8]沈聰.基于改進(jìn)的多通道Gabor小波變換的筆跡鑒別[D].北京:北京工業(yè)大學(xué),2002.