基于HALCON與圖像拼接的文物修復(fù)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

白宗文

（延安大學(xué) 物理與電子信息學(xué)院，陜西 延安 716000）

文物是考古學(xué)重要研究對(duì)象之一，由于自然和人為的原因，在考古挖掘現(xiàn)場(chǎng)通常出土成千上萬的文物碎片，如何從碎片快速拼接出一個(gè)個(gè)完整文物，是考古學(xué)家關(guān)心的問題。目前，該工作主要靠手工完成，既耗費(fèi)時(shí)間，也易于造成對(duì)文物的破壞。因此有必要計(jì)算機(jī)輔助完成文物的分類拼接工作。一般地，計(jì)算機(jī)輔助的分類拼接主要根據(jù)獲取的文物碎片的幾何、紋理等信息來進(jìn)行，但由于文物碎片往往是大量存在的，本文通過計(jì)算幾何、圖形學(xué)、將受損古字畫等文物修復(fù)問題轉(zhuǎn)化為圖像拼接問題并加以實(shí)現(xiàn)。

圖像拼接技術(shù)是圖像處理的重要研究?jī)?nèi)容，通?？梢苑譃榛趨^(qū)域的和基于特征的兩種，其中基于特征的方法因其魯棒性好得到廣泛應(yīng)用，劉小軍[1]等人利用基于輪廓特征的方法完成了兩幅圖像的配準(zhǔn)，但是這種方法對(duì)于特征不明顯或噪聲干擾較大的圖像不適用；Lowe[2]提出的基于SIFT（Scan invariant feature transform 尺度不變特征變換）的配準(zhǔn)算法可以較好地完成圖像的配準(zhǔn)，但是算法復(fù)雜度較高，實(shí)現(xiàn)難度大，速度慢；李冬梅[3]等人采用基于特征點(diǎn)灰度相關(guān)原理的方法，通過Harris角點(diǎn)算法提取特征點(diǎn)，完成了圖像的拼接，但是整個(gè)過程耗時(shí)且對(duì)曝光強(qiáng)度有明顯差異的圖像拼接效果差。

為實(shí)現(xiàn)快速修復(fù)，除了優(yōu)秀的算法外，還需要先進(jìn)的開發(fā)平臺(tái)，HALCON就是一個(gè)功能強(qiáng)大的機(jī)器視覺軟件，它提供了一個(gè)全面的視覺處理庫(kù)，包括了所有標(biāo)準(zhǔn)和高級(jí)的圖像處理方法，覆蓋了從不同的硬件采集圖像到高級(jí)的模式匹配算法；提供了機(jī)器視覺應(yīng)用程序中通常所需的一些工具，如文件處理、數(shù)據(jù)分析、算法操作或分類等。另外，它還具有快速原型化和開放結(jié)構(gòu)的重要特征，通過交互編程環(huán)境迅速開發(fā)機(jī)器視覺應(yīng)用程序，或加入新的算子來融合自己的視覺功能。

因此，本文利用機(jī)器視覺軟件MVTec HALCON實(shí)現(xiàn)圖像拼接算法，首先采用圖像采集設(shè)備采集待拼接碎片，然后采用Harris角點(diǎn)檢測(cè)算法提取圖像中的特征點(diǎn)，接著對(duì)特征點(diǎn)進(jìn)行歸一化互相關(guān)匹配，使用RANSCA[4]剔除誤匹配點(diǎn)，完成圖像初步拼接，最后用改進(jìn)的加權(quán)融合方法進(jìn)行融合并采用圖像修復(fù)算法[5]進(jìn)行修復(fù)。

1 基本原理及步驟

計(jì)算機(jī)輔助修復(fù)一般需要以下3個(gè)主要步驟：1）圖像采集：將字畫等文物的所有碎片預(yù)先收集起來并初步整理，并將所有圖片充分展開，然后通過相機(jī)采集圖像；2）圖像分割：利用圖像處理中優(yōu)秀的分個(gè)算法，將整幅碎片切割成獨(dú)立的待拼接圖像單元；3）拼接：在分類的基礎(chǔ)上，對(duì)碎片進(jìn)行局部匹配和全局匹配；4）拼接完成后由于噪聲等原因可能存在模糊和明顯的縫合線，可采用圖像融合進(jìn)一步處理；5）修補(bǔ)：若碎片不完全，則在上述步驟之后，利用圖像修復(fù)算法，如采用PDE，TV等模型補(bǔ)全丟失的幾何和紋理信息。其中，分類是拼接和修補(bǔ)的基礎(chǔ)。

2 圖像匹配

2.1 Harris角點(diǎn)檢測(cè)

角點(diǎn)即興趣點(diǎn)，是像素點(diǎn)在其鄰域內(nèi)的各個(gè)方向上灰度變化量足夠大的點(diǎn).它是一種重要的圖像特征點(diǎn)，包含了圖像中豐富的二維結(jié)構(gòu)信息，廣泛應(yīng)用于各種圖像處理技術(shù)中.Harris算子是Harris和Stephens[5]提出的一種基于信號(hào)的角點(diǎn)特征提取算子，可表示為：

式中，M表示相關(guān)矩陣，Ix為x方向的差分，Iy為y方向的差分，w（x，y）為高斯函數(shù)。

采用式（2）來進(jìn)行角點(diǎn)判斷。det為矩陣的行列式，trace為矩陣秩，k為常數(shù)，通常取0.04-0.06。

Harris算子是一種有效的點(diǎn)特征提取算子，其優(yōu)點(diǎn)總結(jié)起來有:1）計(jì)算簡(jiǎn)單:Harris算子中只用到灰度的一階差分以及濾波，操作簡(jiǎn)單。2）提取的點(diǎn)特征均勻而且合理:Harris算子對(duì)圖像中的每個(gè)點(diǎn)都計(jì)算其興趣值，然后在鄰域中選擇最優(yōu)點(diǎn)。實(shí)驗(yàn)表明，在紋理信息豐富的區(qū)域，Harris算子可以提取出大量有用的特征點(diǎn)，而在紋理信息少的區(qū)域，提取的特征點(diǎn)則較少。3）穩(wěn)定:Harris算子的計(jì)算公式中只涉及到一階導(dǎo)數(shù)，因此對(duì)圖像旋轉(zhuǎn)、灰度變化、噪聲影響和視點(diǎn)變換不敏感，它也是比較穩(wěn)定的一種點(diǎn)特征提取算子。

2.2 圖像匹配算法

為便于描述，首先設(shè)A和B是為兩幅待拼接圖像，用相同的閾值 R0提取其角點(diǎn)，設(shè)角點(diǎn)集分別 CA=（C1，C2，…Cm），CB=（，，…），顯然A和B只有部分重合，圖像匹配問題轉(zhuǎn)化為在集合CA和CB中求兩個(gè)最小的子集，使得其滿足1）角點(diǎn)值相同，即R（Ci=）；2）角點(diǎn)個(gè)數(shù)相同，即C=（C1，C2，…Cn）和C′=（，，…）；3）距離相等，即d（Ci，Cj）=d（，）；4）鄰域角點(diǎn)數(shù)相等，即Nr（Ci）=Nr（Ci），5）任意兩個(gè)相對(duì)應(yīng)角點(diǎn)，匹配參數(shù)相等。

根據(jù)以上結(jié)論，可以設(shè)計(jì)出圖像匹配算法如下：

Step1：尋找可能匹配角點(diǎn)。根據(jù)結(jié)論1）找出兩個(gè)集合中可能匹配角點(diǎn)。 利用公式|R（Ci）-R（）|≤δ，其中 δ為無窮小量，表示誤差，通常與噪聲，離散化影響及光照等因素有關(guān)。

Step2：計(jì)算鄰域角匹配。通過鄰域角點(diǎn)數(shù)匹配剔除C1和中不滿足結(jié)論4）的角點(diǎn)，得到新的集合C2=（C1，C2……Cg）和=（，……）。

Step3：計(jì)算角點(diǎn)距離。根據(jù)結(jié)論3）進(jìn)一步剔除C2和中不滿足該結(jié)論的角點(diǎn)，得到新的集合C3和。

Step4：參數(shù)一致檢測(cè)。根據(jù)以上步驟得到的新集合采用結(jié)論5）進(jìn)行檢測(cè)。對(duì)于任意的匹配角點(diǎn)對(duì)，其匹配參數(shù)應(yīng)該是相同的。 一致性檢驗(yàn)的目的是:剔除匹配參數(shù)偏差較大的角點(diǎn)，使得角點(diǎn)集合中各角點(diǎn)的匹配參數(shù)一致。

3 圖像拼接與融合

圖像拼接是將兩幅或多幅來自同一場(chǎng)景的有重疊區(qū)域的小尺寸圖像合成為一幅大視野圖像；圖像拼接在遙感圖像處理、圖像鑲嵌、醫(yī)學(xué)成像處理、虛擬現(xiàn)實(shí)技術(shù)中都有著廣泛的應(yīng)用[6-15]。 圖像匹配是圖像拼接的一個(gè)關(guān)鍵步驟，因此，通過圖像拼接應(yīng)用可以檢驗(yàn)圖像匹配算法的性能。

設(shè) I（x，y）為待匹配圖像像素點(diǎn)坐標(biāo)，I（x′，y′）為參考圖像像素坐標(biāo)，則兩者之間的關(guān)系可以表示為[11]:

其中（u，v，w）T和（x，y，1）T分別是（x′，y′）和（x，y）的齊次坐標(biāo)表示，m0，……m7為變換參數(shù)。可采用采用RANCAC算法，利用所有的初步匹配點(diǎn)，根據(jù)一個(gè)允許誤差將所有的匹配點(diǎn)對(duì)分為內(nèi)點(diǎn)和外點(diǎn)，從而剔除誤匹配點(diǎn)，提高運(yùn)算速度和匹配準(zhǔn)確度，最后利用內(nèi)點(diǎn)數(shù)據(jù)比較準(zhǔn)確的特點(diǎn)來進(jìn)行參數(shù)估計(jì)，估算變換矩陣，實(shí)現(xiàn)圖像拼接。

圖像拼接完成后，如果僅僅是簡(jiǎn)單的疊加，會(huì)造成圖像的模糊和明顯的縫合線，拼接效果差，這就需要對(duì)圖像進(jìn)行融合，可采用加權(quán)融合和改進(jìn)的加權(quán)融合算法實(shí)現(xiàn)。

4 實(shí) 驗(yàn)

在研究過程中，完成了不同條件下的多次實(shí)驗(yàn)，首先人工將字畫碎片壓平并收集齊全，采用高分辨率相機(jī)，通過HALCON的相應(yīng)函數(shù)實(shí)現(xiàn)圖像采集，然后采用邊緣提取，將碎片分割成若干個(gè)獨(dú)立的待拼接單元，實(shí)驗(yàn)基于HALCON軟件平臺(tái)，盡可能采用HALCON提供的函數(shù)來完成理論分析所述的算法，利用HALCON和vc++6.0的良好接口，編制了相應(yīng)的軟件。

HALCON指令序列如下：

1）grab_data（），啟動(dòng)相機(jī)獲取圖像并對(duì)圖像預(yù)處理。

2）prewitt-amp（），使用 prewitt算子檢測(cè)邊緣。

3）class-2dim-unsup（），進(jìn)行圖像分割。

4）pints—-harris（），使用 harris算子計(jì)算角點(diǎn)。

5）anisotropic_diffusion（），進(jìn)行圖像平滑。

6）inpainting_texture（），進(jìn)行圖像修復(fù)。

圖1是一幅完全的古字畫碎片，利用本修復(fù)系統(tǒng)修復(fù)結(jié)果如圖1（b）所示。系統(tǒng)修復(fù)耗時(shí)30.2 s。圖2是一幅完全的書法作品碎片，利用本修復(fù)系統(tǒng)修復(fù)結(jié)果如圖1（b）所示。系統(tǒng)修復(fù)耗時(shí)30.2 s。圖2是一幅完全的書法作品碎片。

圖1 受損古字畫修復(fù)Fig.1 Damaged ancient calligraphy repair

圖2 受損書法作品修復(fù)Fig.2 Damaged calligraphy works repair

5 結(jié) 論

本文研究了利用Harris算法進(jìn)行角點(diǎn)檢測(cè)提取特征的方法，并利用圖像匹配、加權(quán)融合及圖像修復(fù)等技術(shù)實(shí)現(xiàn)受損古字畫等文物進(jìn)行修復(fù)，各類算法均利用先進(jìn)的機(jī)器視覺軟件MVTec HALCON實(shí)現(xiàn)，并基于VC++開發(fā)平臺(tái)設(shè)計(jì)出了實(shí)驗(yàn)修復(fù)系統(tǒng)，測(cè)試結(jié)果表明本系統(tǒng)具有修復(fù)速度快，修復(fù)結(jié)果視覺效果好，信噪比等特點(diǎn)，可廣泛應(yīng)用于文物修復(fù)中，對(duì)于三維結(jié)構(gòu)的文物修復(fù)可以先多角度進(jìn)行圖像采集，然后采用本系統(tǒng)作為輔助修復(fù)系統(tǒng)。

[1]劉小軍，周越.基于輪廓特征的SAR圖像自動(dòng)匹配[J].計(jì)算機(jī)工程，2007，33（4）：176-178.LIU Xiao-jun，ZHOU Yue.SAR images based on contour feature automatically match computer engineering[J].Computer Engineering，2007，33（4）：176-178.

[2]Lowe DG.Distance image features from scale_invariant key points[J].International Journal of Computer Vision，2004，60（2）:91-110.

[3]李冬梅，王延杰.一種基于特征點(diǎn)匹配的圖像拼接技術(shù)[J].微計(jì)算機(jī)信息，2008，24（53）：296-298.LI Dong-mei，WANG Yan-jie.A kind of image mosaics based on feature points[J].Micro Computer Information Technology，2008，24（53）：296-298.

[4]Chalechale A，Naghdy G，M ertins A.Sketch-based image matching using angular partitioning systems[J].IEEE Trans on Man and Cybernetics， Part A，2005，35（1）:28-41.

[5]白宗文，張威虎，周美麗.f+v分解與分形圖像修復(fù)算法設(shè)計(jì)[J].電子設(shè)計(jì)工程，2011，（12）:160-162.BAI Zong-wen，ZHANG Wei-hu，ZHOU Mei-li.Algorithm designed for image inpainting adopt f+v decomposition and fractal[J].Electronic Design Engineering，2011（18）：160-162.

[6]Harr is C，Stephens M.A combined corner and edge detector[C]//Proceeding sof The Fourth Alvey Visio n Conference.Manchester:[s.n.]，1988:147-151.

[7]Zhu Q，Wu B，Xu Z.Seed point selection method for triangle constrained image matching propagation [J].IEEE Geo science and Remote Sensing Letters，2006，3（2）:207-211.

[8]Reddy B S，Chatterji B N.An FFT-based technique for translation，rotation， and scale invariant image registration[J].IEEE Trans on Image Processing，1996，5（8）:1266-1271.

[9]You J，Bhattachar ya P.A wavelet-based coarse-to-fine image matching scheme in a parallel virtual machine environment[J].IEEE Trans on Image Processing，2000，9（9）:1547-1559.

[10]Zomet A，Lev in A，Peleg S，et al.Seamless image stitching by minimizing false edgez [J].IEEE T rans on Image Processing，2006，15（4）:969-977.

[11]H an B，Lin X.A novel hybicol or regist ration algorithm for image stitching[J].IEEE Trans on Consumer Electronics，2006，52（3）:1129-1134.

[12]Kim T，Im Y J.Automatic satellite image registration by combination o f matching and random sample consensus[J].IEEE Trans on Geo science and Remote Sensing，2003，41（5）:1111-1117.

[13]Szeliski R.Video mosaics for virtual environments[J].Computer Graphics and Application，1996，16（2）:22-30.

[14]Adam J.A.Probing beneath the sea[J].IEEE Spectrum（S0018-9235），1985，22（4）:55-64.

[15]PANG Yong-jie，SHANG You.Software design techniques for theMan-Machine Interface to Autonomous Underwater Vehicles [C]//Proceedings of the 1998 Enternational Symposium on Underwater Technology，1998：370-374.