基于Faster R-CNN及數(shù)據(jù)增廣的滿文文檔印章檢測(cè)

盧海濤，吳 磊，周建云，鄭蕊蕊，賀建軍

(大連民族大學(xué) 信息與通信工程學(xué)院 ，遼寧 大連116605)

滿文檔案是滿族社會(huì)歷史最真實(shí)、可靠的原始記錄。它真實(shí)反映了清入關(guān)前和清代的社會(huì)狀況，這其中蘊(yùn)藏著豐富的歷史文化資源、知識(shí)信息資源和滿文宗教資源，是祖先留下的優(yōu)秀民族文化遺產(chǎn)[1]。大部分滿文檔案都是單份、孤本或稀本，如果長(zhǎng)時(shí)間、高頻率的使用必然會(huì)對(duì)檔案原件造成一定損害，為了使珍貴的滿文檔案能夠永久保存下去，對(duì)滿文古籍檔案的電子化是一種趨勢(shì)[2]，即滿文檔案會(huì)以圖像的方式保存下來(lái)，因此對(duì)滿文檔案圖像的研究與利用迫在眉睫。

研究滿文檔案最重要的一部分是對(duì)文檔中的印章進(jìn)行研究，印章可以反映文檔的作者或者歸屬等重要信息，滿文古籍中的印章也是鑒定該檔案的價(jià)值以及分析研究滿文檔案中內(nèi)容的重要依據(jù)。因此，從滿文文檔圖像中自動(dòng)檢測(cè)并識(shí)別印章相關(guān)信息，對(duì)于滿文文檔的研究分析與利用很有必要性。

國(guó)內(nèi)學(xué)者們對(duì)印章的研究主要集中在商業(yè)印章的防偽研究以及古畫的印章定位識(shí)別研究等。在文獻(xiàn)[3]中，牟加俊等提出了一種中國(guó)古畫印章自動(dòng)定位算法，該方法利用傳統(tǒng)的特征方法對(duì)印章進(jìn)行定位。該方法的局限性是僅著重對(duì)紅色印章檢測(cè)較為有效。唐嘉等在文獻(xiàn)[4]中提出兩層定位模型，先利用人工構(gòu)建印章淺層特征進(jìn)行粗定位，再通過(guò)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行檢測(cè)。在第一步利用顏色等人工構(gòu)建特征，并不適用于復(fù)印版古籍文檔中，此方法人工構(gòu)建特征較繁瑣且將整個(gè)過(guò)程分倆步獨(dú)立進(jìn)行，效率不高。

分析國(guó)內(nèi)學(xué)者們對(duì)印章檢測(cè)相關(guān)文獻(xiàn)，總結(jié)出已有方法存在以下兩個(gè)問(wèn)題：一是沒(méi)有專門針對(duì)古籍文檔(特別是滿文檔案)的印章區(qū)域自動(dòng)檢測(cè)的研究，古籍文檔中通篇有大量文字出現(xiàn)，且印章中也會(huì)出現(xiàn)文字，這樣就大大增加了印章的準(zhǔn)確檢測(cè)難度；二是大多使用傳統(tǒng)的人工構(gòu)建特征方法，傳統(tǒng)方法效率不高，由于沒(méi)有挖掘印章的深層特征且對(duì)印章情況復(fù)雜現(xiàn)象處理不佳，沒(méi)有利用高性能的深度學(xué)習(xí)算法對(duì)印章檢測(cè)。

深度學(xué)習(xí)算法不僅可以自動(dòng)提取出簡(jiǎn)單的低層特征還可以提取一些人工無(wú)法構(gòu)建的更深層次的特征，因此深度學(xué)習(xí)算法有好的準(zhǔn)確率和高效性。滿文文檔的印章檢測(cè)的本質(zhì)是目標(biāo)檢測(cè)，而Faster R-CNN算法是一種現(xiàn)階段最成熟、應(yīng)用最廣泛的目標(biāo)檢測(cè)與識(shí)別的深度學(xué)框架[5]。深度學(xué)習(xí)算法的一個(gè)缺點(diǎn)是需要大量的數(shù)據(jù)才可達(dá)到可觀的結(jié)果，但由于滿文檔案數(shù)據(jù)采集存在現(xiàn)實(shí)的困難，因此研究對(duì)滿文印章數(shù)據(jù)可以自動(dòng)擴(kuò)充的方法很重要。

本文利用Faster R-CNN深度學(xué)習(xí)框架建立了滿文文檔的印章檢測(cè)模型，并為解決滿文印章數(shù)據(jù)少的問(wèn)題而提出了一種滿文印章數(shù)據(jù)集自動(dòng)擴(kuò)充的方法，通過(guò)對(duì)印章進(jìn)行旋轉(zhuǎn)、像素增強(qiáng)減弱等九種變換模擬真實(shí)文檔印章存在的現(xiàn)象，再通過(guò)將模擬的印章融合到原始滿文文檔中的方法擴(kuò)充帶印章的滿文文檔數(shù)據(jù)。目的是提高Faster R-CNN對(duì)滿文文檔印章的檢測(cè)性能，并且為后續(xù)的滿文印章識(shí)別以及滿文文檔內(nèi)容的研究做好準(zhǔn)備。

1 Faster R-CNN算法描述

Girshick R等人在深度學(xué)習(xí)的熱潮下提出了一種基于深度學(xué)習(xí)模型的目標(biāo)檢測(cè)與識(shí)別方法R-CNN[6]，將整個(gè)目標(biāo)檢測(cè)的任務(wù)分為候選區(qū)域提取與分類兩步，檢測(cè)性能較傳統(tǒng)目標(biāo)檢測(cè)方法顯著提升。隨后又在R-CNN的基礎(chǔ)上提出Fast-RCNN[7]，該算法中提出了RoIs策略，將候選區(qū)域映射到CNN特征圖上，將特征提取、分類和邊界回歸都整理成一個(gè)部分，提高了效率。

Xpart1=ConvNet(part1)(x,θpart1)∈Ru×v@r

，

(1)

(2)

Xpart2=ConvNet(part2)(Xpart1,θpart2)，

(3)

Xpart3=ROI(part3)(Xpart2,RPx)，

(4)

y=[RPx,Lablex]
=FC(Xpart3,θpart3,C,Refine(RPx))。

(5)

如公式(1)、(3)、(4)、(5)構(gòu)成Fast R-CNN的網(wǎng)絡(luò)輸入輸出關(guān)系，將初步得到的特征圖Xpart1輸入特有卷積神經(jīng)網(wǎng)絡(luò)得到輸出Xpart2特征圖，式(4)為將RPNet輸出的建議區(qū)域RPx通過(guò)ROI策略映射到Xpart2后得到Xpart3，式(5)為將對(duì)應(yīng)的目標(biāo)區(qū)域進(jìn)行位置精修后通過(guò)全連接層預(yù)測(cè)輸出得到y(tǒng)，包括精修后的目標(biāo)區(qū)域的位置RPx和類別Lablex[5]。本文使用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為VGG-16[9]，RPNet網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)設(shè)定見(jiàn)文獻(xiàn)[8]。

RPN的訓(xùn)練過(guò)程是端到端的，即直接從輸入原始圖片到輸出結(jié)果，使用的優(yōu)化方法是反向傳播和隨機(jī)梯度下降，損失函數(shù)是分類誤差和回歸誤差的聯(lián)合損失。Faster R-CNN以滿文文檔印章檢測(cè)為例的網(wǎng)絡(luò)結(jié)果圖如圖1。輸入為一張任意大小滿文文檔的圖像，輸出為檢測(cè)到滿文印章的圖像。

圖1 Faster rcnn用于印章檢測(cè)的網(wǎng)絡(luò)結(jié)構(gòu)圖

2 數(shù)據(jù)增廣

2.1 原始數(shù)據(jù)集

《清代新疆滿文檔案匯編》系列叢書共計(jì)293冊(cè)，從中采集204張帶印章的正樣本，共500張不帶印章的文檔圖像。其中每張圖像中印章數(shù)量包含一個(gè)兩個(gè)以及大于兩個(gè)等情況，且印章存在交疊的情況；圖像中印章區(qū)域?yàn)槌叽绮还潭ǖ木匦螀^(qū)域。采用人工標(biāo)記印章區(qū)域的方法對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注。將原始數(shù)據(jù)集的70%作為訓(xùn)練集，30%作為測(cè)試集。

2.2 數(shù)據(jù)增廣方法

由于滿文古籍多為珍藏的書，特別是系列叢書，因此在數(shù)據(jù)采集過(guò)程存在很多困難，加上并不是每頁(yè)都帶有印章，一本檔案中僅幾頁(yè)帶有印章，且若采集大量原始圖像需要大量的人工標(biāo)注，非常耗時(shí)的工作。為解決此問(wèn)題提出滿文印章數(shù)據(jù)集的自動(dòng)增廣方法。

本文采用擴(kuò)充數(shù)據(jù)的方法是將原始訓(xùn)練集扣取其中的印章區(qū)域，為保證印章的字樣特性不變性，可變的因素有印章大小、蓋印章的角度、由于墨跡導(dǎo)致的印章深淺等因素，選擇變化形式也很重要。本文將扣取印章進(jìn)行變大、變小、左右鏡像、上下翻轉(zhuǎn)、旋轉(zhuǎn)90°、順時(shí)針隨機(jī)旋轉(zhuǎn)1～10°、逆時(shí)針隨機(jī)旋轉(zhuǎn)1～10°、像素點(diǎn)增強(qiáng)、像素點(diǎn)減弱九種變化。

(1)縮放變化。對(duì)印章區(qū)域圖像采用最近鄰插值法進(jìn)行縮放，設(shè)原圖為m0×n0的矩陣X，縮放后為m1×n1的矩陣X1，(xsrc,ysrc)為原圖像X坐標(biāo)點(diǎn)，(xdst,ydst)為目標(biāo)圖像X1對(duì)應(yīng)坐標(biāo)點(diǎn)，由式(6)、(7)可由原圖像坐標(biāo)點(diǎn)求得對(duì)應(yīng)目標(biāo)點(diǎn)，目標(biāo)圖像點(diǎn)的像素值為對(duì)應(yīng)原圖像的像素點(diǎn)。t為縮放倍數(shù)，t∈[0.5,1.5]，當(dāng)t∈[0.5,1)為圖像的縮小，t∈(1,1.5]為圖像的放大。

xsrc=xdstt，

(6)

ysrc=ydstt。

(7)

(2)鏡像變化。圖像鏡像變化也是一種重要的數(shù)據(jù)擴(kuò)充方法，設(shè)原圖像某一像素點(diǎn)的坐標(biāo)為(x0,y0)，Width、Height分別為原圖像的寬與高。如下式(8)為圖像左右鏡像變換，其中(x1,y1)為經(jīng)過(guò)左 右鏡像變化后的對(duì)應(yīng)點(diǎn)坐標(biāo)。式(9)為圖像上下鏡像變化，其中(x2,y2)為經(jīng)過(guò)上下鏡像變化后的對(duì)應(yīng)點(diǎn)坐標(biāo)。

(x1,y1)=(Width-x0,y0)，

(8)

(x2,y2)=(x0,Height-y0)。

(9)

(3)旋轉(zhuǎn)變化。由于蓋印章時(shí)會(huì)存在人為的傾斜現(xiàn)象，將印章進(jìn)行旋轉(zhuǎn)變化模擬該現(xiàn)象。設(shè)原印章第i行第j列像素的原坐標(biāo)為(x,y)，根據(jù)式(10)、(11)可得到該點(diǎn)像素對(duì)應(yīng)變化后的坐標(biāo)為(x',y')。其中θ為旋轉(zhuǎn)角度，角度θ∈[-10,10],當(dāng)θ∈[-10,0)為順時(shí)針旋轉(zhuǎn)，當(dāng)θ∈(0,10]時(shí)為順時(shí)針變化。經(jīng)旋轉(zhuǎn)變化，圖像大小會(huì)變化，超過(guò)原圖范圍就填為白色。原始圖像的像素坐標(biāo)為整數(shù)，由于有浮點(diǎn)運(yùn)算，變換后的目標(biāo)圖像的坐標(biāo)位置可能不是整數(shù)，使用文獻(xiàn)[10]方法處理。

x'=xcosθ-ysinθ。

(10)

y'=xsinθ+ycosθ

(11)

(4)點(diǎn)像素變化。點(diǎn)像素的變化分為增強(qiáng)與減弱，是在模擬印章由于人為用力大小以及墨跡深淺產(chǎn)生的效果。原圖像為矩陣M∈Rm×n，則點(diǎn)像素變化如下式(12) ，M1為變化后印章，k為變化系數(shù)，k的取值范圍[0.5,1.5]，當(dāng)k∈[0.5,1)為點(diǎn)像素減弱，模擬的是墨跡變淺；k∈(1,1.5]時(shí)為點(diǎn)像素增強(qiáng)，模擬墨跡變深的現(xiàn)象。

M1=kM。

(12)

設(shè)變化后的印章為m×n階矩陣Ib，其中第i行第j列處點(diǎn)的值bij(i≤m,j≤n)；從完整滿文文檔圖像中隨機(jī)產(chǎn)生一個(gè)與印章大小相同的文檔區(qū)域Is，其中第i行第j列處點(diǎn)的值sij(i≤m,j≤n)，則印章與相應(yīng)文檔背景融合的圖像Im可以由矩陣Ib與矩陣Is求哈達(dá)瑪乘積[11](hadamard product)所得，即Im=IbIs其中表示hadamard product，mij=bij×sij。經(jīng)過(guò)變換后的印章構(gòu)成印章集，從印章集中隨機(jī)抽取n個(gè)(n<5)印章，再將抽取的印章進(jìn)行與背景融合，將融合后的圖像再融合到文檔的原位置上。并且考慮真實(shí)檔案存在印章交疊的情況，因此在擴(kuò)充數(shù)據(jù)時(shí)要越接近真實(shí)情況。通過(guò)本文擴(kuò)充方法共生成4 800張擴(kuò)充的滿文文檔印章圖像集，當(dāng)n=2的數(shù)據(jù)擴(kuò)充過(guò)程如圖2。

圖2 數(shù)據(jù)擴(kuò)充過(guò)程圖

3 實(shí)驗(yàn)與分析

實(shí)驗(yàn)采取mAP(mean average precision)作為印章檢測(cè)性能的精度評(píng)價(jià)指標(biāo)，計(jì)算公式如式(13)(14)所示。其中，P為查準(zhǔn)率，在該實(shí)驗(yàn)中表示檢測(cè)顯示的區(qū)域有多少是真正準(zhǔn)確的印章區(qū)域；R為召回率，在該實(shí)驗(yàn)中表示有多少真印章被檢測(cè)出來(lái)。AP即為RP曲線的面積值；N為測(cè)試集分類數(shù)，mAP為反映全局性能指標(biāo)。

(13)

(14)

本次實(shí)驗(yàn)將深度學(xué)習(xí)算法Faster R-CNN應(yīng)用于滿文文檔數(shù)據(jù)集進(jìn)行印章檢測(cè)，部分測(cè)試結(jié)果圖如圖3，可以看到對(duì)于圖3(a)中印章附于文字表面的情況可以檢測(cè)出印章的位置，對(duì)于圖3(a)及(b)中的淺墨跡印章，圖3(c)中的多印章交疊等情況都可以檢測(cè)出來(lái)，F(xiàn)aster R-CNN對(duì)于滿文文檔這樣的非場(chǎng)景圖像的目標(biāo)檢測(cè)仍然是有效的。但會(huì)出現(xiàn)少許邊框不準(zhǔn)確的情況。

為驗(yàn)證本文的解決滿文文檔數(shù)據(jù)采集困難導(dǎo)致的數(shù)據(jù)少的問(wèn)題而提出的數(shù)據(jù)增廣方法的有效性，進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果見(jiàn)表1，其中Data1為原始采集數(shù)據(jù)集，Data2為使用增廣方法擴(kuò)充的數(shù)據(jù)。用Data1作為訓(xùn)練集迭代5 000次訓(xùn)練的模型對(duì)測(cè)試集測(cè)試，mAP為0.904。而用Data2作為訓(xùn)練集迭代5 000次訓(xùn)練的模型對(duì)測(cè)試集測(cè)試mAP提高到0.996。同樣在迭代10 000次的情況下，也是使用增廣方法的Data2訓(xùn)練的模型效果將mAP從0.902 9提升到0.993。同時(shí)，分析結(jié)果，兩組數(shù)據(jù)都是在5 000次迭代達(dá)到的效果比10 000次迭代效果好，并且該實(shí)驗(yàn)在Ubuntu系統(tǒng)GPU下每張圖片平均處理速度僅為0.33 s。

(a)檢測(cè)結(jié)果例1 (b)檢測(cè)結(jié)果例2 (c)檢測(cè)結(jié)果例3

表1 Faster R-CNN對(duì)測(cè)試集的mAP結(jié)果統(tǒng)計(jì)

為兩個(gè)模型效果對(duì)比圖如圖4，圖4(a)為未使用增廣方法測(cè)試結(jié)果，圖4(b)為使用增廣方法測(cè)試結(jié)果，圖4(a)(b)對(duì)比中可以看到兩個(gè)模型都定位到了印章的位置，(b)中定位印章的下邊比(a)更貼合，效果更好，說(shuō)明本文提到的增廣滿文印章的方法對(duì)提升印章檢測(cè)效果是有效的。

(a)原始檢測(cè)結(jié)果 (b)增廣后的檢測(cè)結(jié)果

4 總 結(jié)

利用Faster R-CNN模型對(duì)滿文文檔中印章進(jìn)行自動(dòng)檢測(cè)。實(shí)驗(yàn)表明，基于Faster R-CNN的方法對(duì)于淺墨跡的印章、多印章交疊以及帶有噪音的印章等都能進(jìn)行很好的檢測(cè)。為了解決帶印章的滿文文檔數(shù)據(jù)收集較為困難的問(wèn)題，從而提出了對(duì)數(shù)據(jù)進(jìn)行自動(dòng)擴(kuò)充的方法，并通過(guò)對(duì)比實(shí)驗(yàn)證明，通過(guò)數(shù)據(jù)增廣的方法提高了印章檢測(cè)的準(zhǔn)確率。在未來(lái)的工作中，會(huì)在此基礎(chǔ)上繼續(xù)對(duì)滿文文檔中的印章進(jìn)行識(shí)別。