汪 軍,周鳴爭(zhēng),強(qiáng) 俊
WANG Jun,ZHOU Mingzheng,QIANG Jun
安徽工程大學(xué) 計(jì)算機(jī)與信息學(xué)院,安徽 蕪湖 241000
School of Computer&Information Science,Anhui Polytechnic University,Wuhu,Anhui 241000,China
在司法鑒定領(lǐng)域,文件檢驗(yàn)(簡(jiǎn)稱(chēng)文檢)鑒定包括筆跡、印章、著墨時(shí)序、后期涂改、偽造票據(jù)、證件等文件檢材的鑒定。傳統(tǒng)的方法是通過(guò)放大鏡、顯微鏡在多波段光源的照射下直接對(duì)檢材進(jìn)行并列、拼接、重疊、測(cè)量比對(duì)[1]。目前比較先進(jìn)的儀器是專(zhuān)用的文檢儀,將檢材置入多波段光源的照射下,并配合多波段光源用相同波段波長(zhǎng)的截止濾光片濾除干擾光,使攝像機(jī)接收比較單一波長(zhǎng)的檢材圖像。攝像機(jī)的視頻信號(hào)經(jīng)過(guò)視頻采集卡采集到計(jì)算機(jī)中形成不同波長(zhǎng)照射的物證文檢圖像。在計(jì)算機(jī)中采用數(shù)字圖像處理技術(shù)對(duì)采集的物證文檢圖像進(jìn)行軟件的對(duì)接、重影、測(cè)量比對(duì)鑒別,找出檢材的細(xì)節(jié)區(qū)別進(jìn)行鑒定。這種鑒定方式雖然通過(guò)不同波段的光源實(shí)現(xiàn)了對(duì)物證細(xì)節(jié)的觀察,但本質(zhì)上仍然是在一個(gè)二維圖像上完成,而沒(méi)有考慮檢材的高度信息。這種忽略檢材高度信息特征的鑒別對(duì)某些文件檢驗(yàn)如著墨時(shí)序、凹版印刷票據(jù)等的真?zhèn)螜z驗(yàn)很難完成[2]。
隨著三維虛擬現(xiàn)實(shí)技術(shù)的發(fā)展,認(rèn)為如果能夠獲取檢材的高度信息,則可將其在三維虛擬現(xiàn)實(shí)場(chǎng)景中再現(xiàn),通過(guò)力反饋觸摸交互設(shè)備進(jìn)行三維觸摸鑒定。這種觸摸鑒定不僅能夠從視覺(jué)上,而且可以從觸覺(jué)上多方位比對(duì)文檢物證特征,提高文檢的可靠性。本文采用陰影恢復(fù)形狀法(SFS)[3-4]獲取檢材圖像每個(gè)像素的相對(duì)高度信息,與圖像的二維坐標(biāo)構(gòu)成三維數(shù)據(jù),在虛擬現(xiàn)實(shí)場(chǎng)景中三維重構(gòu)[5-6]、貼圖渲染,并用力反饋交互設(shè)備在重構(gòu)的三維檢材模型上觸摸(碰撞檢測(cè)),將碰撞檢測(cè)的觸摸力輸出到力反饋設(shè)備[7-8],再現(xiàn)文檢圖像的觸摸特征。實(shí)驗(yàn)表明,虛擬三維重構(gòu)技術(shù)將文檢等物證圖像由二維擴(kuò)展到三維比對(duì)分析鑒別,并且采用的力反饋交互設(shè)備觸摸比對(duì)可以給鑒定人員直觀的觸摸感受,使文檢鑒別由單純的視覺(jué)變?yōu)橐曈X(jué)、觸覺(jué)一體的鑒別,提高了鑒別的可靠性。
由單幅圖像灰度明暗變化恢復(fù)三維形狀(Shape-From-Shading,SFS)是計(jì)算機(jī)視覺(jué)中物體表面形狀三維測(cè)量、重構(gòu)的關(guān)鍵技術(shù)之一。SFS是在一定的約束條件下從平滑變化的灰度圖像恢復(fù)出表面各點(diǎn)的相對(duì)高度信息或法向信息,即根據(jù)物體表面反射模型建立物體表面三維形狀與采集的圖像灰度之間關(guān)系的反射圖方程,并根據(jù)某先驗(yàn)知識(shí)建立對(duì)物體表面形狀參數(shù)的約束條件,對(duì)這些關(guān)系的求解可得到物體表面三維形狀。從圖像成像過(guò)程可知,空間物體表面法向量的變化引起圖像灰度變化,SFS可以看作圖像成像過(guò)程的逆過(guò)程。SFS求解方法一般是假設(shè)光源為無(wú)限遠(yuǎn)處的點(diǎn)光源,物體的表面反射為L(zhǎng)ambertian[9]表面反射,并基于正交投影求得一個(gè)近似的非線(xiàn)性反射圖方程,從而建立一個(gè)物體表面方向和圖像亮度之間的函數(shù)關(guān)系,再通過(guò)各種數(shù)值方法求解該方程,最后得到方程的解,求出表面各點(diǎn)的對(duì)應(yīng)的高度值。
設(shè)二維灰度圖像的灰度矩陣為I(x,y),文檢物證圖像表面方程為Z=z(x,y),點(diǎn)(x,y,z)處的法向量為(p,q,-1),p=?z/?x ,q=?z/?y ,光源方向?yàn)?S=(ps,qs, -1),其中,σ是光源的傾角,τ是光源的仰角。
根據(jù)Lambertian表面的特性和反射方程,可得:
式(1)中 R(p,q)是Lambertian曲面的反射圖。
SFS算法可以大致分為四類(lèi),最小值方法、演化和偏微分方程方法、局部方法和線(xiàn)性化方法。最小值方法是將物體表面的特性反射方程和光滑表面模型均表示為能量函數(shù)的形式,再將它們聯(lián)合表示為一個(gè)泛函極小值問(wèn)題或最優(yōu)化控制問(wèn)題,最后求出SFS問(wèn)題的解。演化和偏微分方程方法本質(zhì)是從圖像中一組已經(jīng)確定高度的點(diǎn)開(kāi)始,以此為參照高度,逐步遞推演化求出整個(gè)表面的解。局部方法則是基于對(duì)曲面形狀的局部假設(shè),進(jìn)而推出曲面形狀信息,是將反射模型與假設(shè)的物體表面局部形狀相結(jié)合來(lái)構(gòu)成關(guān)于物體局部形狀參數(shù)的線(xiàn)性偏微方程組,再利用已知邊界條件來(lái)求得該方程組的唯一解,從而確定物體的局部三維表面形狀,該方法只能恢復(fù)曲面的方向信息,而無(wú)法得到曲面的高度值。線(xiàn)性化方法認(rèn)為在反射函數(shù)中,低階項(xiàng)占主要部分,將反射函數(shù)進(jìn)行Taylor展開(kāi)后,舍去非線(xiàn)性項(xiàng)的結(jié)果仍與原反射函數(shù)非常接近,從而將原SFS非線(xiàn)性問(wèn)題轉(zhuǎn)化為一個(gè)線(xiàn)性問(wèn)題并進(jìn)行求解。這種線(xiàn)性化方法雖然沒(méi)有明確提出一種表面模型,但線(xiàn)性化反射函數(shù)Taylor展開(kāi)時(shí),對(duì)變量高階項(xiàng)的舍棄已暗示了物體表面形狀是緩慢變化模型。從算法的實(shí)現(xiàn)難易程度和處理速度方面考慮,線(xiàn)性化方法中Tsai-Shah[10]算法具有容易實(shí)現(xiàn),能快速收斂等特點(diǎn),適合應(yīng)用于三維虛擬現(xiàn)實(shí),下面詳細(xì)說(shuō)明Tsai-Shah的原理。
Tsai和Shah用有限差分(finite different)方法離散逼近p和q,之后用 Z(x,y)線(xiàn)性化反射圖。用式(2)、式(3)逼近p,q。
則式(1)反射方程可表示為:
給定圖像灰度 I和對(duì)應(yīng)點(diǎn)(x,y),將方程(4)進(jìn)行Taylor展開(kāi),可得:
Z(x,y)=Zn(x,y)第 n次迭代的高度可以用式(6)計(jì)算:
其中:
假定對(duì)于圖像中所有的點(diǎn),初始值為Z0(x,y)=0,根據(jù)式(6)即可估計(jì)出所有像素點(diǎn)的高度值。
根據(jù)三維觸摸鑒定方法的思想,首先必須要獲取檢材的高度信息才能建立文檢物證的三維模型。由文檢儀的檢材圖像采集過(guò)程可知,文檢物證圖像像素點(diǎn)灰度主要由檢材的三維形狀、表面材質(zhì)的反射特性、相對(duì)于光源和攝像機(jī)的位置等所決定[11]。在文檢的一次檢驗(yàn)過(guò)程中,需要檢驗(yàn)的兩種或多種檢材與光源和攝像機(jī)的位置基本相同,文件物證圖像像素點(diǎn)的灰度值的區(qū)別主要體現(xiàn)在檢材的三維形狀和其表面反射特性上,因此采用SFS方法雖然不能準(zhǔn)確獲得絕對(duì)的檢材的高度,但在本文提出的文檢鑒定方法只需要相對(duì)高度就可以比較準(zhǔn)確地反映待檢驗(yàn)的檢材之間的區(qū)別。這里將SFS方法用于文檢圖像的三維觸摸比對(duì)時(shí),待比對(duì)的兩幅圖像在同一光照和攝像機(jī)系統(tǒng)下,無(wú)需考慮光源方向與觀測(cè)方向,則式(6)簡(jiǎn)化為:
文檢物證圖像的虛擬三維重構(gòu)是將2.1節(jié)的SFS方法的式(8)獲取檢材圖像的相對(duì)高度信息與圖像的坐標(biāo)一起構(gòu)成的三維數(shù)據(jù)在計(jì)算機(jī)中虛擬現(xiàn)實(shí)中重建,最終實(shí)現(xiàn)在計(jì)算機(jī)上模擬出真實(shí)的檢材或場(chǎng)景。
在三維數(shù)據(jù)重建可視化研究領(lǐng)域中,構(gòu)建穩(wěn)定的三角網(wǎng)格方法是最常用的,而在三角網(wǎng)格中Delaunay三角所具有最大最小角和空外接圓的特性,保證了Delaunay三角網(wǎng)格是唯一最優(yōu)的網(wǎng)格,使得三角網(wǎng)格的構(gòu)建更加合理與準(zhǔn)確,從而具有很好的應(yīng)用價(jià)值。其構(gòu)建算法主要有三種方法:分治算法、內(nèi)插算法和生長(zhǎng)算法[12]。
本文的三維重建數(shù)據(jù)是由SFS方法獲得的,該組三維數(shù)據(jù)是在一組有序的二維坐標(biāo)(x,y)上,增加一維相對(duì)高度信息構(gòu)成 p(x,y,z),并且x,y數(shù)據(jù)是等距離采樣的,它蘊(yùn)含了其對(duì)應(yīng)的空間點(diǎn)映射到XY面的鄰接關(guān)系,因此采用三角形生長(zhǎng)算法可快速生成相應(yīng)的三角網(wǎng)格。以相鄰4點(diǎn)構(gòu)成的鄰域?yàn)橐粋€(gè)基本單位,在這個(gè)基本單位中,選擇 p0(x,y,z0)為處理的點(diǎn),找到離它距離最近的相鄰點(diǎn) p1(x,y+1,z1)將其連接,讓 P0P1這條線(xiàn)成為一條初始的基線(xiàn),然后根據(jù)Delaunay三角化的條件,在這條基線(xiàn)右側(cè)的離散點(diǎn)中尋找第3個(gè)點(diǎn)P3,形成一個(gè)Delaunay三角形;再以生成的三角形的斜邊P3P1作為基線(xiàn)生成一個(gè)Delaunay三角形,一個(gè)基本單元生成兩個(gè)三角網(wǎng)格,如圖1所示。
圖1 一個(gè)基本單元生成的兩個(gè)三角網(wǎng)格
按照二維圖像坐標(biāo)逐行處理的順序,選擇每一個(gè)點(diǎn),每個(gè)點(diǎn)都具有一個(gè)包含自身的4點(diǎn)組成的基本單位,每個(gè)基本單位構(gòu)成2個(gè)三角網(wǎng)格,一幅分辨率為m×n的圖像三維重建的結(jié)果則將是由2×(m-1)×(n-1)個(gè)三角網(wǎng)格面構(gòu)成的一個(gè)三維模型。
檢材在虛擬現(xiàn)實(shí)場(chǎng)景中三維重建形成三維網(wǎng)格面,要能夠?qū)ξ募z材的表面“觸摸”到,除了有三維輸入和力反饋輸出硬件設(shè)備外,必須在虛擬現(xiàn)實(shí)系統(tǒng)中建立一個(gè)虛擬手指代理現(xiàn)實(shí)中的手指觸摸。三維力反饋設(shè)備在現(xiàn)實(shí)空間中的位置坐標(biāo)要與虛擬場(chǎng)景中的虛擬手指的位置坐標(biāo)相互匹配,實(shí)現(xiàn)力反饋設(shè)備的移動(dòng)與虛擬手指的移動(dòng)相一致,觸摸過(guò)程中虛擬手指與三維檢材進(jìn)行碰撞檢測(cè)產(chǎn)生的反饋力輸出到設(shè)備,使操作者能通過(guò)力反饋手柄這種輸入輸出設(shè)備觸摸文檢圖像的高度信息,實(shí)現(xiàn)觸覺(jué)鑒定。碰撞檢測(cè)算法是交互性的虛擬現(xiàn)實(shí)中檢測(cè)虛擬場(chǎng)景中對(duì)象之間相對(duì)位置隨時(shí)間發(fā)生變化的情況。目前廣泛應(yīng)用于虛擬現(xiàn)實(shí)系統(tǒng)的碰撞檢測(cè)是層次包圍盒檢測(cè)算法和空間分割檢測(cè)算法[13]。
本文將器械手柄在虛擬場(chǎng)景的代理虛擬手指理想化為一個(gè)球體,采用球體包圍盒模型,手指對(duì)象的中心為三維輸入位置,球的半徑為中心到手指外表面各點(diǎn)距離的最大值如圖2(a)所示。判斷手指與檢材的碰撞轉(zhuǎn)化為包圍球是否與檢材的每個(gè)三角面相交。由于圖像生成的網(wǎng)格面模型中三角網(wǎng)格數(shù)據(jù)量大,不可能全部檢測(cè),這里采用空間分割檢測(cè)算法的思想,假設(shè)球體包圍盒直徑為D,映射到XY面的4個(gè)相鄰點(diǎn)為一個(gè)正方形基本單元,邊長(zhǎng)為d,則需要進(jìn)行碰撞檢測(cè)區(qū)域只有(D/r+1)×(D/r+1)個(gè)基本單元,可以大大減少檢測(cè)的三角面的數(shù)目。特例,若假設(shè)球體直徑為像素間的距離,則根據(jù)球中心坐標(biāo)在XY面的映射,只需要檢測(cè)球與4個(gè)基本單位9個(gè)點(diǎn)生成的8個(gè)三角面的碰撞即可,圖2(b)所示為球與6個(gè)面碰撞。
圖2(a) 虛擬手指的球包圍盒
圖2(b) 包圍球與6個(gè)三角網(wǎng)格
檢測(cè)球與三角面的碰撞只需要求出球心與三角面的最近距離,若最近距離小于等于半徑則與該三角面碰撞。球心P(px,py,pz)與三角面的最近距離的求解用P點(diǎn)正交投影到三角面的某一邊的Voronoic特征域中獲取最近點(diǎn)Q。設(shè)Q的坐標(biāo)為Q(qx,qy,qz),虛擬手指球包圍盒半徑為r,則虛擬手指與三角面發(fā)生碰撞后將產(chǎn)生反饋力,反饋力的計(jì)算用式(9)表示的胡可定律計(jì)算:
方向由Q指向球心P,所有碰撞點(diǎn)的矢量合力反饋到設(shè)備手柄,操作者獲得力反饋的觸覺(jué)。
根據(jù)上述思想,在一臺(tái)HPZ800(E5606×2,內(nèi)存8 GB,顯卡 NVIDIA Quadro4000,顯存2 GB GDDR5)上實(shí)現(xiàn)文檢圖像的三維觸摸鑒定方法,力反饋設(shè)備為Navint公司的三維輸入力反饋手柄Falcon,如圖3所示;軟件為基于觸覺(jué)形象化和交互式實(shí)時(shí)模擬的免費(fèi)C++庫(kù)Chai3D作為虛擬現(xiàn)實(shí)開(kāi)發(fā)包[14],在VC開(kāi)發(fā)平臺(tái)實(shí)現(xiàn)本文的三維觸摸鑒定的仿真驗(yàn)證系統(tǒng)。為了驗(yàn)證該算法的有效性,以文檢系統(tǒng)中難以解決的著墨時(shí)序和凹版印刷兩種進(jìn)行鑒別實(shí)驗(yàn),效果如圖4~6所示。
圖3 力反饋觸摸實(shí)驗(yàn)環(huán)境
圖4(a) 在三維場(chǎng)景觸摸左邊“九”的“丿”
圖4(b) 觸摸左邊“九”的“丿”的力反饋曲線(xiàn)
圖5(a) 在三維場(chǎng)景觸摸右邊“九”的“丿”
圖5(b) 觸摸右邊“九”的“丿”的力反饋曲線(xiàn)
圖6(a) 某商標(biāo)的凹版印刷
圖6(b) “手指”水平觸摸商標(biāo)的力反饋曲線(xiàn)
如圖4(a)和圖5(a)是同一光照和攝像機(jī)系統(tǒng)下的圖像的“九”字的兩幅文檢圖像,由于力反饋手柄的觸摸感覺(jué)與力反饋設(shè)備的力反饋的精度以及與操作者的主觀感覺(jué)有很大關(guān)系,為了能較為明確地展現(xiàn)實(shí)驗(yàn)結(jié)果,以觸摸的時(shí)間為橫坐標(biāo),以觸摸產(chǎn)生的反饋力為縱坐標(biāo),三維空間中反饋力為X,Y,Z三個(gè)方向,這里分別用紅綠藍(lán)三色曲線(xiàn)表示這方向的力,實(shí)驗(yàn)判斷“九”的“丿”和“乙”哪一筆畫(huà)先寫(xiě)。根據(jù)書(shū)寫(xiě)的先后分析,如果先寫(xiě)“丿”,再寫(xiě)“乙”,則“丿”的著墨將會(huì)被“乙”劃斷,高度將有較大起伏;如果先寫(xiě)“乙”,則“丿”的著墨是完整順滑的。因此實(shí)驗(yàn)是分別順著“九”的“丿”書(shū)寫(xiě)移動(dòng)觸摸感知,并將反饋力實(shí)時(shí)繪制曲線(xiàn),如圖4(b)和圖5(b)所示。從觸摸力反饋曲線(xiàn)可以反映出左右兩幅圖像的“九”字的筆畫(huà)著墨順序是不同的,圖4(b)表明左邊“丿”先寫(xiě),后寫(xiě)的“乙”將“丿”的著墨劃斷,反饋力形成了有兩個(gè)尖峰;圖5(b)表明右邊“乙”先寫(xiě),后寫(xiě)的“丿”的著墨順滑,反饋力無(wú)較大起伏,和實(shí)際情況分析吻合。
另外,為了更能說(shuō)明問(wèn)題,又實(shí)驗(yàn)了凹版印刷商標(biāo),驗(yàn)證是否能夠反映凹版印刷的凹凸性,從圖6(b)所示的沿著水平方向Y觸摸產(chǎn)生觸摸力反饋數(shù)據(jù)曲線(xiàn)可以看出,力反饋數(shù)據(jù)的起伏跳躍與印刷的凸起一一對(duì)應(yīng),可以用力反饋手柄直觀地感覺(jué)到其凹凸性,從而易于判斷商標(biāo)的真?zhèn)巍?/p>
本文采用SFS的方法從光源和攝像機(jī)位置參數(shù)基本相同條件下的不同檢材圖像數(shù)據(jù)中獲得三維數(shù)據(jù);分析了獲取的三維數(shù)據(jù)在XY面投影的特點(diǎn),并運(yùn)用Delaunay三角形的方法在三維虛擬現(xiàn)實(shí)場(chǎng)景中三維重構(gòu);在檢材三維模型的虛擬場(chǎng)景中建立“虛擬手指”代理力反饋交互設(shè)備,實(shí)現(xiàn)了檢材和“虛擬手指”之間基于手指球包圍盒模型和空間分割檢測(cè)相結(jié)合的觸摸碰撞檢測(cè)的觸摸鑒定。
在虛擬場(chǎng)景中以力反饋交互設(shè)備實(shí)現(xiàn)對(duì)司法鑒定領(lǐng)域的文檢圖像的觸摸鑒定,變傳統(tǒng)的圖像平面鑒定為三維鑒定,同時(shí)力反饋觸摸給鑒定人員直觀的觸摸感受,使文檢鑒定由單純的二維視覺(jué)鑒別轉(zhuǎn)變?yōu)槿S視覺(jué)、觸覺(jué)一體的鑒定,提高了鑒別的可靠性。
本文的文檢觸摸鑒定可以有效地提高鑒定的正確性,但也存在一定的不足,存在的主要問(wèn)題主要體現(xiàn)在兩個(gè)方面:其一,SFS方法求取的高度信息并非真正的高度信息,雖然本文是在同一光照和CCD的采集條件下,檢材之間的高度信息具有相對(duì)可比性,有明顯的比對(duì)鑒定效果,但仍然存在一定的誤差,需要借助高精度的三維測(cè)量設(shè)備獲取真正意義上的檢材高度信息;其二,在進(jìn)行碰撞檢測(cè)的時(shí)候?qū)⒘Ψ答佋O(shè)備在虛擬現(xiàn)實(shí)系統(tǒng)中的“虛擬手指”模型理想化為一個(gè)剛性球,文檢檢材也是剛性模型,碰撞檢測(cè)為剛性檢測(cè),比較生硬,手感不佳,而實(shí)際的手指應(yīng)該是柔體,能夠變形,關(guān)于柔體變形觸摸的研究是本文進(jìn)一步研究的方向。
[1]楊旭,施少培,徐徹,等.VSC文檢儀在文件鑒定中的應(yīng)用研究[J].中國(guó)司法鑒定,2007,7(6):16-21.
[2]連園園,梁魯寧,黃建同,等.拉曼光譜陣列面掃描判斷藍(lán)色簽字筆與印泥的時(shí)序研究[J].光散射學(xué)報(bào),2012,24(1):75-85.
[3]Lkeuchi K,Horn B K P.Numerical shape from shading and occluding boundaries[J].Artificial Intelligence,1981,17(3):141-184.
[4]須明,趙榮椿.SFS方法及其與立體視覺(jué)方法的集成方案綜述[J].計(jì)算機(jī)工程與應(yīng)用,2006,42(8):1-6.
[5]蔡澤民,閆敬文.人臉識(shí)別:從二維到三維[J].計(jì)算機(jī)工程與應(yīng)用,2011,47(11):155-159.
[6]鄒常青,劉健莊.基于優(yōu)化算法的從線(xiàn)畫(huà)圖精確重構(gòu)三維物體[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2012,24(12):1585-1591.
[7]Beyer L,De Troyer J,Mancini J,et al.Impact of laparoscopy simulator training on the technical skills of future surgeons in the operating room:a prospective study[J].The American Journal of Surgery,2011,202(3):265-272.
[8]Loukas C,Nikiteas N,Kanakis M,et al.Deconstructing laparoscopic competence in a virtual reality simulation environment[J].Surgery,2011,149(6):750-760.
[9]Horn B K P.Height and gradient from shading[J].International Journal of Computer Vision,1990,5:37-75.
[10]Tsai P S,Shah M.Shape form shading using linear approximations[J].Image and Vision Computing,1994,12(8):487-498.
[11]Zheng Q,Chellappa R.Estimation of illuminant direction and shape from shading[J].IEEE Trans on Pattern Analysis and Machine Intelligence,1991,13(7):680-702.
[12]余杰,呂品,鄭昌文.Delaunay四面體軟組織建模方法[J].中國(guó)圖象圖形學(xué)報(bào),2010,15(8):1158-1165.
[13]趙偉,譚睿璞,李勇.復(fù)雜虛擬環(huán)境下的實(shí)時(shí)碰撞檢測(cè)算法[J].系統(tǒng)仿真學(xué)報(bào),2010,22(1):125-129.
[14]Miles H C,Pop S R,Watt S J,et al.A review of virtual environments for training in ball sports[J].Computers&Graphics,2012,36(6):714-726.