Log Gaussian Cox場手部指節(jié)的圖像偏移特征學(xué)習(xí)與識別

楊世強(qiáng) 弓逯琦

(西安理工大學(xué)機(jī)械與精密儀器工程學(xué)院， 西安 710048)

Log Gaussian Cox場手部指節(jié)的圖像偏移特征學(xué)習(xí)與識別

楊世強(qiáng) 弓逯琦

(西安理工大學(xué)機(jī)械與精密儀器工程學(xué)院， 西安 710048)

針對手部指節(jié)圖像結(jié)構(gòu)特征模糊與建模困難的問題，以Log Gaussian Cox隨機(jī)場為圖像建模基礎(chǔ)，給出了隨機(jī)圖像上偏移特征的抽取與學(xué)習(xí)方法，實現(xiàn)了手部圖像中指節(jié)的識別。在缺乏Cox過程圖像模型先驗假設(shè)的條件下，結(jié)合隨機(jī)圖像的水平集分解，得到了圖像偏移表示的逼近結(jié)果。在圖像灰度分布非參數(shù)密度核估計基礎(chǔ)上，利用非線性各向異性濾波對偏移特征進(jìn)行增強(qiáng)，建立了偏移測度特征的Bayesian估計。提出了不同偏移參數(shù)下偏移特征的模型學(xué)習(xí)與融合算法，獲得了指節(jié)圖像特征的融合表示，并在手部指節(jié)圖像數(shù)據(jù)庫中比較了不同分層偏移模型下的識別結(jié)果，給出了批量識別ROC曲線統(tǒng)計規(guī)律。結(jié)果表明，識別方法具有較為穩(wěn)定的正確分類能力，具有可行性。

Log Gaussian Cox隨機(jī)場； 偏移特征學(xué)習(xí)； 手部指節(jié)識別

引言

在智能制造系統(tǒng)中，開發(fā)具有高智能化程度與較強(qiáng)環(huán)境適應(yīng)能力的檢測技術(shù)，對增強(qiáng)制造系統(tǒng)柔性、提升生產(chǎn)效率與產(chǎn)品質(zhì)量有重要意義[1-4]。基于機(jī)器視覺的人機(jī)交互協(xié)調(diào)裝配技術(shù)，是將圖像分析獲得的人體裝配姿態(tài)作為裝配機(jī)器人任務(wù)規(guī)劃的輸入信息[5-6]，通過人機(jī)協(xié)作實現(xiàn)高效高柔性的裝配[7]。手部圖像的生物結(jié)構(gòu)及其關(guān)聯(lián)包含了手部裝配姿態(tài)的總體信息[8]，檢測生物結(jié)構(gòu)對應(yīng)的圖像特征是手部姿態(tài)信息推斷的基礎(chǔ)。

手部生物結(jié)構(gòu)特征識別包括膚色定位[9]、指尖指根檢測[10]、指節(jié)識別、指形定位與特征間的運(yùn)動學(xué)關(guān)聯(lián)等。指節(jié)位置特征對手形位姿推斷準(zhǔn)確性提高有重要影響，指節(jié)圖像檢測主要有幾何分析法與紋理識別法[11-12]，但難以在環(huán)境較復(fù)雜、姿態(tài)多變且光照條件不理想的手部姿態(tài)識別過程中直接應(yīng)用。

受手指生物結(jié)構(gòu)影響，指節(jié)圖像體現(xiàn)出灰度結(jié)構(gòu)復(fù)雜、分布非光滑、特征尺度較大、語義模糊且局部描述困難等特點(diǎn)，可考慮從隨機(jī)分布建模角度建立指節(jié)圖像魯棒性較強(qiáng)的特征表示。非齊次Poisson空間點(diǎn)過程(或雙隨機(jī)Poisson過程、Cox過程[13])常被用于構(gòu)建信號的時空隨機(jī)跳變以提高模型對復(fù)雜結(jié)構(gòu)的適應(yīng)性。

針對基于復(fù)合隨機(jī)點(diǎn)過程的目標(biāo)建模問題，眾多研究者從模型參數(shù)估計、后驗預(yù)測與逼近計算等角度進(jìn)行了研究[14-18]。Cox過程中Gaussian場協(xié)方差函數(shù)的形式及對應(yīng)的超參數(shù)對模型結(jié)構(gòu)存在較大影響。在指節(jié)圖像目標(biāo)建模中，一方面難以預(yù)測具體的協(xié)方差形式，另一方面隨機(jī)結(jié)構(gòu)具有模糊性質(zhì)，通過超參數(shù)后驗計算難以進(jìn)行有效的目標(biāo)描述，可采用Cox過程的統(tǒng)計量表征對應(yīng)的圖像分布。ADLERA等[19]分析了隨機(jī)場上高水平偏移集中路徑問題，指出了同一偏移支集內(nèi)路徑估計漸進(jìn)特點(diǎn)。

本文在Log Gaussian Cox模型基礎(chǔ)上，通過灰度分布的密度估計獲得Poisson參數(shù)所對應(yīng)Gaussian場觀測，建立圖像隱特征模式的學(xué)習(xí)與估計算法框架，給出隨機(jī)圖像上偏移特征的提取與分析方法；對圖像多種不同形式的隨機(jī)偏移特征融合，以期獲得較穩(wěn)定的隱特征模型表示，實現(xiàn)指節(jié)目標(biāo)識別。

1 Log Gaussian Cox隨機(jī)場與圖像建模

在具有復(fù)雜隨機(jī)結(jié)構(gòu)的圖像模型中，主要的超參數(shù)包含圖像的重要結(jié)構(gòu)信息，特別在特征為隱分布的隨機(jī)圖像上，相對于具體灰度而言，超參數(shù)的分布與圖像深度特征間有著更緊密的關(guān)聯(lián)。采用先驗假設(shè)較少、結(jié)構(gòu)適應(yīng)性較強(qiáng)的Cox過程作為基本模型，Poisson密度均值取為Gaussian場的指數(shù)形式[20]，利用超參數(shù)對應(yīng)的偏移集等統(tǒng)計特征來表征圖像結(jié)構(gòu)。

在隨機(jī)場統(tǒng)計建模的觀點(diǎn)下，圖像定義為平面有限域S上關(guān)于成像事件的隨機(jī)過程，即在任意位置t(t∈S?R2)處存在與圖像參數(shù)空間Ω有關(guān)的隨機(jī)事件X

X(t,ω):(Ω,F,P(t))(E,G)

式中ω——參數(shù)空間Ω上元素t——圖像位置P(t)——Ω上隨機(jī)測度E——圖像灰度F、G——P(t)與E上的Borel代數(shù)

考慮隨機(jī)圖像深層特征的隱含性與灰度的非負(fù)性，取上式中X(t,ω)為平面有限域上的計數(shù)過程，將灰度描述為Cox過程。圖像位置t處灰度粒子計數(shù)變量為

Xt(·|Zt)=X(t,ω|ω=Zt)

(1)

Xt(·|Zt)～Poi(n|exp(Zt))

(2)

(3)

式中xt——圖像位置t處的灰度Zt——均值參數(shù)

圖像特征分析與參數(shù)空間的選取有著緊密的關(guān)聯(lián)，特別在缺少先驗信息的條件下，為增強(qiáng)模型對圖像噪聲的適應(yīng)性，將參數(shù)空間Ω具體化為Poisson過程中均值參數(shù)的對數(shù)Z，并將對應(yīng)的期望E[Z]作為隨機(jī)圖像的超參數(shù)場。超參數(shù)分布直接反映隨機(jī)過程的大尺度特征，借助測度P(t)上的統(tǒng)計特征實現(xiàn)圖像的特征關(guān)聯(lián)與整體表示。在特征關(guān)聯(lián)可被Gaussian場函數(shù)準(zhǔn)確描述的假設(shè)下，測度P(t)具體化為Gaussian過程，記為圖像域S上的過程f，即

Zt～f(t)

f的期望與協(xié)方差等統(tǒng)計特征反映出P(t)的結(jié)構(gòu)

m(t)=E[f(t)]

(4)

k(zt,zt′)=E[(f(t)-m(t))(f(t′)-m(t′))]

(5)

式中m(t)——圖像域S上位置t處的超參數(shù)期望k(zt,zt′)——位置t與t′間的參數(shù)關(guān)聯(lián)

據(jù)此圖像上任意兩位置處對應(yīng)Poisson參數(shù)zt、zt′滿足

[zt,zt′]～N([m(t),m(t′)],k(zt,zt′))

其中N為多維Gaussian分布。針對均值向量m(t)，二元協(xié)方差函數(shù)k(zt,zt′)，Poisson參數(shù)Zt服從

Zt～f(t)=GP(m(t),k(zt,zt′))

(6)

據(jù)式(6)可知Gaussian場的均值函數(shù)與協(xié)方差函數(shù)同時影響著灰度分布，均值參數(shù)主要通過Poisson分布決定局部灰度強(qiáng)度，而協(xié)方差函數(shù)對灰度結(jié)構(gòu)的大尺度特征有更重要的影響。

μCox(S)=E[X(S)]=E{E[X(S)|Z(S)]}=

E∫Sexp(Z(s))ds=∫SE[exp(Z(s))]ds

(7)

k[X(S1),X(S2)]=
k∫S1eZ(s)ds,∫S2eZ(s)ds+E∫S1∩S2eZ(s)ds=
∫S1∫S2k[eZ(s1),eZ(s2)]ds1ds2+∫S1∩S2E[eZ(s)]ds

(8)

式中s1、s2——圖像域s上的兩個局部域

據(jù)式(7)、(8)，Cox場上期望密度的分布同Gaussian場上期望積分μCox有關(guān)，且局部方差統(tǒng)計量綜合了參數(shù)場的方差與期望信息，通過圖像灰度觀測值的方差統(tǒng)計難以直接實現(xiàn)對超參數(shù)場方差的觀測。由于協(xié)方差函數(shù)的不同具體形式包含有關(guān)灰度場統(tǒng)計量的高階關(guān)聯(lián)信息，通常結(jié)構(gòu)較為復(fù)雜且推斷困難。在缺乏對具體圖像分布有效假設(shè)的前提下，直接推斷以上Gaussian場結(jié)構(gòu)實現(xiàn)對結(jié)構(gòu)模糊圖像的建模過程較為困難。

為實現(xiàn)對超參數(shù)Gaussian場的結(jié)構(gòu)估計，可基于對Cox過程的觀測與場f上偏移集的估計，在對m(t)與k(zt,zt′)缺乏有效先驗知識的條件下完成超參數(shù)隨機(jī)場偏移特征的學(xué)習(xí)，實現(xiàn)Log Gaussian Cox隨機(jī)場結(jié)構(gòu)的偏移推斷。

2 圖像隨機(jī)場上的偏移特征

依據(jù)隨機(jī)幾何理論，平面域T上隨機(jī)場fo的幾何結(jié)構(gòu)可借助偏移概率表示為

(9)

即利用域T上的概率P描述fo對固定水平閾值u的偏移程度。針對固定閾值u，利用不同位置t∈T處對應(yīng)的P值可表示隨機(jī)場對固定閾值的偏移；通過不同閾值u，也可獲得固定位置t∈T處有關(guān)偏移強(qiáng)度的概率函數(shù)。同時可依據(jù)式(12)中的概率P獲得圖像Ω上的隨機(jī)偏移關(guān)系A(chǔ)u，包括上偏移集與下偏移集兩類單側(cè)形式，實現(xiàn)了Ω在閾值u下的0～1標(biāo)記分割

(10)

從圖像特征的模式學(xué)習(xí)角度看，考慮到特征隱分布可觀測性的不同假設(shè)，隨機(jī)性越強(qiáng)、模式關(guān)聯(lián)性越強(qiáng)的圖像越不易觀測到上述偏移集；反之，隨機(jī)關(guān)聯(lián)性越具有局部性，高階關(guān)聯(lián)越弱，對偏移集的觀測也越準(zhǔn)確。利用與式(9)中概率P相關(guān)聯(lián)的測度μ可將圖像偏移集進(jìn)一步表示為

(11)

(12)

其中，式(11)表示了在隨機(jī)場特征可直接被觀測的條件下圖像隨機(jī)場fo的偏移測度；而對隨機(jī)模式隱含或需考慮隨機(jī)場上參數(shù)過程的情形，則引入水平參數(shù)λ，圖像偏移表示具有式(12)的松弛形式。在式(10)基礎(chǔ)上，借助對μ的區(qū)間化可實現(xiàn)圖像分割，將圖像Ω表示為

(13)

在具有分層結(jié)構(gòu)的復(fù)雜隨機(jī)場上，μ的松弛形式為偏移集的構(gòu)建提供了便捷?？紤]式(6)中的超參數(shù)場f包含圖像的重要特征信息，也對圖像隨機(jī)集的表示具有決定性影響，因此場f的偏移集表示對圖像隱特征的分析具有重要意義。在無有效先驗情形下，利用式(12)中偏移測度μ′的逼近形式可進(jìn)一步在Cox場上建立如下偏移松弛形式

(14)

其中關(guān)于Poisson過程的測度因子μ′P在子集Ω′上表示為

(15)

結(jié)合圖像隱特征的模糊性，Gaussian場上構(gòu)造的測度因子μ′G在子集Ω′上具有單側(cè)偏移μ′G1與雙側(cè)偏移μ′G22種形式，即

(16)

(17)

由式(14)～(17)可見，不同偏移參數(shù)u與λ的取值，可對應(yīng)獲得圖像域上不完全相同的偏移測度μ?？紤]到不同偏移參數(shù)下的偏移測度均可作為原始隨機(jī)場上的特征描述，多測度間具有特征分布意義下的相容性，因此圖像灰度偏移特征的建立過程需在相容性原則下進(jìn)行，避免模型冗余、提高建模準(zhǔn)確性對偏移參數(shù)選擇的魯棒性。

3 偏移密度特征分布的Bayesian估計

考慮上述不同偏移水平參數(shù)下逼近測度間的相容性，為獲得有效的圖像偏移集表示，可在圖像正則化的基礎(chǔ)上將偏移測度表示為相應(yīng)的條件概率形式，在Bayesian框架下對圖像的多偏移特征進(jìn)行融合，作為隨機(jī)灰度圖像偏移特征學(xué)習(xí)的基礎(chǔ)。

3.1 圖像的非參數(shù)估計與正則化

圖像灰度與對應(yīng)偏移集間關(guān)系的復(fù)雜性致使圖像的灰度位置觀測無法直接對應(yīng)為式(14)中的2個偏移測度因子，為實現(xiàn)對偏移測度的有效觀測，建立上述模型時需將灰度位置觀測與偏移集模型間的關(guān)聯(lián)進(jìn)一步明確化。利用圖像灰度分布的位置數(shù)據(jù)進(jìn)行非參數(shù)密度核估計，對圖像格子場上的灰度分布進(jìn)行參數(shù)化，表示Poisson過程對應(yīng)的測度μ′P，即

(18)

式中N——圖像上的總灰度φ——形式固定的一類核函數(shù) {Xi}(i=1,2,…,N)——灰度粒子的圖像坐標(biāo)w——核函數(shù)中的帶寬參數(shù)

在圖像灰度目標(biāo)為二維分布的條件下，結(jié)合基于線性擴(kuò)散過程的漸進(jìn)優(yōu)化均方帶寬wX，取密度核φ為二維高斯核，式(18)中的密度fK(x)為

(19)

在不考慮圖像特征整體關(guān)聯(lián)性的條件下，上述密度形式在局部點(diǎn)集意義上給出了灰度分布的估計fK，進(jìn)一步形式化了估計結(jié)果，然而該結(jié)果無法顯式體現(xiàn)雙Poisson過程中超參數(shù)場f上的具體結(jié)構(gòu)，可作為偏移參數(shù)u=0下μ′P的等價形式，實現(xiàn)了圖像的歸一化過程，為基于偏移測度的模式學(xué)習(xí)提供了必要的前處理。在漸進(jìn)意義下，原始灰度圖像的偏移集與fK上的偏移集間具有一致關(guān)系。偏移水平越高，以fK表示的偏移觀測與真實圖像偏移觀測間的重合度越高?？紤]到fK估計的局部化特點(diǎn)，式(14)可近似為

(20)

3.2 基于Bayesian的測度估計

在Bayesian條件概率的形式下，式(14)中偏移因子的分解可表示為條件偏移測度形式，即

(21)

(22)

(23)

(24)

(25)

3.3 圖像的特征增強(qiáng)與擴(kuò)散濾波演化

在前述弱特征圖像密度水平集的估計過程中，在偏移參數(shù)c的建模參數(shù)段對應(yīng)的圖像位置上，當(dāng)測試圖像灰度值真實分布的梯度較大時，會造成密度估計結(jié)果抽取出的觀測數(shù)據(jù)量過小，而難以進(jìn)行后續(xù)建模與學(xué)習(xí)，需對圖像進(jìn)行增強(qiáng)，強(qiáng)化隱特征信息，同時起到灰度梯度直方圖濾波的效果，提高測試圖像質(zhì)量?？紤]到式(19)中優(yōu)化帶寬的計算采用的是線性擴(kuò)散原理，因此密度估計結(jié)果無法實現(xiàn)灰度圖像上的結(jié)構(gòu)性增強(qiáng)。為實現(xiàn)圖像灰度分布模式增強(qiáng)、獲得充分的建模數(shù)據(jù)量，可采用基于各項異性擴(kuò)散過程去除弱特征圖像中的結(jié)構(gòu)化噪聲，同時提高偏移集密度建模的置信度

(26)

其中

(27)

(28)

式中K——導(dǎo)熱系數(shù)

如式(28)選演化核為指數(shù)形式，以上擴(kuò)散過程在圖像灰度I上的離散迭代演化格式為

(29)

式中λ——平滑系數(shù)

4 指節(jié)圖像偏移測度特征的建模與學(xué)習(xí)

以正則化與特征增強(qiáng)等圖像預(yù)處理為基礎(chǔ)，在指節(jié)訓(xùn)練樣本庫中的學(xué)習(xí)偏移特征模型，更新系統(tǒng)參數(shù)并計算訓(xùn)練庫中圖片對不同水平下偏移模型的似然值，通過似然數(shù)據(jù)融合獲得較完整的偏移特征。

4.1 圖像偏移測度的學(xué)習(xí)算法

以指節(jié)圖像的灰度分布模式學(xué)習(xí)為目標(biāo)，將偏移測度分布作為指節(jié)的生物特征。在圖像隨機(jī)模型的基礎(chǔ)上，通過對不同偏移測度分布狀況的學(xué)習(xí)，實現(xiàn)對位置估計融合結(jié)構(gòu)D的隨機(jī)測度表示，作為圖像的隨機(jī)特征并依據(jù)其進(jìn)行關(guān)節(jié)目標(biāo)識別。如圖1所示的算法流程，指節(jié)圖像隨機(jī)生物特征的構(gòu)建算法主要分為訓(xùn)練數(shù)據(jù)預(yù)處理、多層偏移模型的分層學(xué)習(xí)與融合過程3個階段。

圖1 手部指節(jié)灰度圖像隨機(jī)偏移特征學(xué)習(xí)算法流程Fig.1 Flow chart of random excursion characteristic learning algorithm on hand knuckle gray image

在訓(xùn)練數(shù)據(jù)預(yù)處理階段，針對訓(xùn)練圖像庫中的正樣本(圖像中指節(jié)區(qū)域)與負(fù)樣本(圖像中的非指節(jié)區(qū)域)，將圖像灰度看做所在圖像格點(diǎn)位置處被觀測到的總次數(shù)，測試圖像對應(yīng)的訓(xùn)練數(shù)據(jù)為二維格點(diǎn)位置構(gòu)成的觀測點(diǎn)集。結(jié)合非參數(shù)密度估計過程，對測試圖像所對應(yīng)的觀測點(diǎn)集進(jìn)行密度建模完成正則化過程，作為對Poisson隨機(jī)場的觀測。其中圖像的真實分布結(jié)構(gòu)對觀測集的數(shù)據(jù)量有一定影響，針對不同測試圖像，在圖像正則化前，利用非線性擴(kuò)散濾波對測試圖像庫進(jìn)行預(yù)處理，一方面實現(xiàn)適度的特征增強(qiáng)，另一方面起到密度提升的作用，獲取數(shù)據(jù)量可靠的觀測集。

在分層學(xué)習(xí)與特征融合階段，將對應(yīng)正則化結(jié)果中不同密度區(qū)間的觀測集作為相應(yīng)偏移水平下的觀測位置。密度區(qū)間的具體劃分同對應(yīng)的偏移水平參數(shù)相一致，在保證觀測數(shù)據(jù)特征明顯的前提下適當(dāng)擴(kuò)大水平參數(shù)范圍，以提高模型對不同偏移水平的適應(yīng)性。通過對偏移測度分布學(xué)習(xí)，獲取訓(xùn)練庫對當(dāng)前模型的特征似然，計算正樣本偏移特征與負(fù)樣本偏移特征，利用高斯過程融合算法實現(xiàn)式(21)中在有限偏移水平c下的等價估計，實現(xiàn)隨機(jī)偏移特征的模型表示，給出指節(jié)圖像偏移特征的融合表示。

4.2 訓(xùn)練算例與分析

在模型學(xué)習(xí)前對訓(xùn)練庫中單幅圖像進(jìn)行必要的預(yù)處理，如圖2所示。圖2a、2b分別為手指遠(yuǎn)指節(jié)和中指節(jié)圖像，分別對其灰度化處理的結(jié)果如圖2c、2d所示，圖2e、2f給出了原始測試圖像2c、2d的擴(kuò)散增強(qiáng)結(jié)果，對應(yīng)式(26)～(29)中的模型，取導(dǎo)熱系數(shù)K為15，平滑系數(shù)λ為0.15，擴(kuò)散迭代步N取10。與灰度圖像相比，擴(kuò)散結(jié)果平滑了小尺度特征，弱化了紋理特征，增強(qiáng)了大尺度的高階特征。圖2g、2h給出了測試圖像2e、2f上灰度位置隨機(jī)點(diǎn)對應(yīng)的密度核估計結(jié)果。將密度分布等價映射到256像素×256像素的區(qū)域范圍內(nèi)，對比式(18)中每一項的核函數(shù)，密度估計結(jié)果表示了測試圖像灰度位置數(shù)據(jù)的混合模式，實現(xiàn)了灰度分布的總體估計與恢復(fù)。進(jìn)一步對比圖2e與圖2g、圖2f與圖2h，密度估計過程以降采樣的方式進(jìn)一步對灰度圖像的局部特征進(jìn)行了平滑，提高了特征的整體性，有利于后續(xù)偏移分布觀測數(shù)據(jù)的提取。

在圖像預(yù)處理的基礎(chǔ)上，將密度估計結(jié)果作為Poisson過程的觀測，將密度結(jié)果的分層抽取結(jié)果作為條件偏移測度μ′G|P的概率觀測值，通過建立該條件概率測度的分層形式獲得其融合逼近表示。在圖1所示觀測數(shù)據(jù)的抽取過程中，將圖2g、2h中對應(yīng)c值為0.8的單側(cè)偏移位置作為測試圖像高層偏移測度的觀測，對應(yīng)c值為0.55～0.85的雙側(cè)偏移觀測位置作為測試圖像中層偏移測度的觀測。分別利用無窮Dirichlet混合過程[20]與高斯多分類場模型[21]，結(jié)合抽取出的觀測數(shù)據(jù)，學(xué)習(xí)以上高層與中層偏移測度的分布，如圖3所示。

圖2 手部指節(jié)灰度圖像預(yù)處理Fig.2 Preprocessing of hand knuckle gray image

圖3 指節(jié)灰度圖像隨機(jī)偏移特征學(xué)習(xí)單幅圖像訓(xùn)練結(jié)果Fig.3 Training results of random excursion characteristic learning algorithm on single hand knuckle gray image

其中圖3a、3b給出了高層數(shù)據(jù)的聚類特征，通過與圖2c、2d對比可看出，高層聚類模型較好地捕捉了原始圖像中高灰度的分布趨勢。圖3c～3h顯示了3分類情形下高斯分類場對中層偏移集的描述結(jié)果，其中c值取0.70

在訓(xùn)練圖像分層建模的基礎(chǔ)上，在漸進(jìn)穩(wěn)定的偏移分布假設(shè)下，取分層模型在圖像域上的統(tǒng)計均值作為分層模型的訓(xùn)練結(jié)果。進(jìn)一步計算訓(xùn)練庫對上述2種偏移模式的似然結(jié)果，在特征平面上利用高斯判別過程計算似然模型對正、負(fù)類樣本的類別預(yù)測概率。手部圖像關(guān)節(jié)識別算法如圖4所示，其中FMM為有限元混合模型，DPMM為Dirichlet過程混合模型，GP為高斯過程模型。取訓(xùn)練圖像為202幅，其中正負(fù)樣本均分，依據(jù)特征融合獲得的預(yù)測概率值并結(jié)合最大類間方差法[22]在4個測試庫(中指節(jié)、遠(yuǎn)指節(jié)各2個測試庫)中進(jìn)行圖像識別，如圖5所示，給出了相應(yīng)的ROC識別曲線，圖5a、5b為遠(yuǎn)指節(jié)識別測試結(jié)果，圖5c、5d為中指節(jié)識別測試結(jié)果。

受試者工作特性曲線(ROC)上的曲線下面積(AUC)總體衡量了識別器的識別能力，可以看到在遠(yuǎn)指節(jié)測試庫中中層數(shù)據(jù)模型與2層數(shù)據(jù)的綜合模型識別能力均不如高層圖像特征，而在中指節(jié)測試庫中2種高層數(shù)據(jù)模型的識別曲線均較低，其對應(yīng)的AUC均小于0.5。遠(yuǎn)指節(jié)庫中高層數(shù)據(jù)模型識別能力明顯較高，單側(cè)條件偏移模型具有較好的識別能力，而在中指節(jié)庫中中層數(shù)據(jù)模型的識別能力較強(qiáng)，雙側(cè)條件偏移模型具有更好的識別能力。以上表明，現(xiàn)有數(shù)據(jù)模型對不同類別指節(jié)目標(biāo)的識別能力有較大差異，遠(yuǎn)指節(jié)、中指節(jié)圖像數(shù)據(jù)分布的深層模式類別間有著一定的差別。

圖4 手部圖像關(guān)節(jié)識別算法框圖Fig.4 Flow chart of knuckle detection algorithm on hand image

圖5 基于多數(shù)據(jù)模型的手部指節(jié)固定閾值圖像識別對比Fig.5 Comparisons of constant threshold image detection for knuckles based on different data models

在圖5c、5d中可以看出，中指節(jié)圖像庫2中高層模型識別效果不明顯甚至于出現(xiàn)了錯誤的分類，分析原因在于非指節(jié)的中間區(qū)域由于灰度分布平緩，對應(yīng)的圖像局部信息熵較小，高層數(shù)據(jù)量較通常關(guān)節(jié)圖像數(shù)據(jù)量更大且呈密集分布，破壞了模型對數(shù)據(jù)分布的假設(shè)條件。同時根據(jù)圖5b、5d，可以看出2層數(shù)據(jù)融合模型對應(yīng)的ROC位于高層、中層模型之間，表明基于融合模型的識別具有將2種特征進(jìn)行綜合判斷的效果。在高層、中層模型識別能力相差較大的情形下，能夠提供有效地綜合評價，在圖5c、5d中體現(xiàn)較為明顯，融合模型的線下面積最小為圖5a中的0.451 2，最大為圖5d中的0.788 0，表明在現(xiàn)有有限數(shù)據(jù)與測試集條件下，識別方法已經(jīng)具有較為穩(wěn)定的正確分類能力。

5 結(jié)束語

針對特征為隱分布、語義模糊的隨機(jī)圖像，將圖像的灰度分布理解為圖像域上具有多層結(jié)構(gòu)的隨機(jī)過程。在Cox隨機(jī)場模型的基礎(chǔ)上，將圖像隨機(jī)場中超參數(shù)偏移分布作為圖像隱特征，并對應(yīng)為指節(jié)圖像的生物結(jié)構(gòu)特征。進(jìn)一步提出了基于Bayesian方法的偏移測度估計，實現(xiàn)了圖像隨機(jī)偏移特征的表示，給出了相應(yīng)偏移模式的學(xué)習(xí)框架，經(jīng)手指關(guān)節(jié)圖像的單幅實驗與批量圖像訓(xùn)練識別測試，結(jié)果表明相應(yīng)算法具有可行性。

1 王耀南, 陳鐵鍵, 賀振東, 等. 智能制造裝備視覺檢測控制方法綜述[J/OL]. 控制理論與應(yīng)用, 2015, 32(3):273-286. http:∥jcta.alljournals.ac.cn/cta_cn/ch/reader/view_abstract.aspx?file_no=CCTA140169&flag=1. DOI: 10.7641/CTA.2015.40169. WANG Yaonan, CHEN Tiejian, HE Zhendong,et al. Review on the machine vision measurement and control technology for intelligent manufacturing equipment[J/OL]. Control Theory & Applications, 2015, 32(3):273-286. (in Chinese)

2 劉明周, 馬靖, 張淼,等. 基于機(jī)器視覺的機(jī)械產(chǎn)品裝配系統(tǒng)在線作業(yè)方法[J/OL]. 計算機(jī)集成制造系統(tǒng), 2015, 21(9):2343-2353. http:∥www.cims-journal.cn/CN/abstract/abstract5284.shtml. DOI: 10.13196/j.cims.2015.09.009. LIU Mingzhou, MA Jing, ZHANG Miao, et al. Online operation method for assembly system of mechanical products based on machine vision[J]. Computer Integrated Manufacturing System, 2015, 21(9):2343-2353. (in Chinese)

3 孫誠達(dá)，邱威，丁為民，等. 農(nóng)作物幾何特征量測量系統(tǒng)設(shè)計與試驗[J/OL]. 農(nóng)業(yè)機(jī)械學(xué)報，2015, 46(12):1-10,17. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20151201&journal_id=jcsam. DOI：10.6041/j.issn.1000-1298.2015.12.001. SUN Chengda, QIU Wei, DING Weimin, et al. Design and experiment for crops geometrical feature measuring system[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(12):1-10,17. (in Chinese)

4 王海波,鄒海龍,張如照.基于視覺測量的挖掘機(jī)工作裝置姿態(tài)測量系統(tǒng)[J/OL].農(nóng)業(yè)機(jī)械學(xué)報,2015,46(4):302-308. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20150445&journal_id=jcsam. DOI：10.6041/j.issn.1000-1298.2015.04.045. WANG Haibo, ZOU Hailong, ZHANG Ruzhao. Attitude measurement system for excavator’s manipulator based on vision measurement[J/OL].Transactions of the Chinese Society for Agricultural Machinery,2015,46(4):302-308. (in Chinese)

5 WANG Y, EWERT D, VOSSEN R, et al. A visual servoing system for interactive human-robot object transfer[J/OL]. Journal of Automation and Control Engineering, 2015,3(4):277-283. DOI: 10.12720/joace.3.4.277-283.

6 CORRALES J A, GARCIA Gomez G J, TORRES F, et al. Cooperative tasks between humans and robots in industrial environments[J/OL]. International Journal of Advanced Robotic Systems, 2012, 9:94-103. DOI: 10.5772/50988.

7 TAN J T C, DUAN F, KATO R, et al. Man-machine interface for human-robot collaborative celluar manufacturing[J/OL]. International Journal of Automation Technology, 2009, 3(6):760-767. DOI: 10.20965/ijat.2009.p0760.

8 BHUYAN M K, MACDORMAN K F, KAR M K, et al. Hand pose recognition from monocular images by geometrical and texture analysis[J/OL]. Journal of Visual Languages and Computing, 2015, 28:39-55. http:∥dx.doi.org/10.1016/j.jvlc.2014.12.001.

9 JONES M J, REHG J M. Statistical color model with application to skin detection[J]. International Journal of Computer Vision, 2002, 46(1):81-96.

10 李博男, 林凡. 基于曲率的指尖檢測方法[J/OL]. 南京航空航天大學(xué)學(xué)報, 2012, 44(4):587-591. http:∥jnuaa.nuaa.edu.cn/ch/reader/view_abstract.aspx?file_no=12nhxb426&flag=1. DOI: 10.16356 /j.1005-2615.2012.04.014. LI Bonan, LIN Fan. Fingertip detection method based on curvature[J/OL]. Journal of Nanjing University of Aeronautics & Astronautics, 2012,44(4):587-591. (in Chinese)

11 KUMAR A, RAVIKANTH C. Personal authentication using finger knuckle surface[J/OL]. IEEE Transactions on Information Forensics and Security, 2009, 4(1):98-110. DOI: 10.1109/TIFS.2008.2011089.

12 ZHANG L, ZHANG L, ZHANG D, et al. Online finger-knuckle-print verification for authentication[J/OL]. Pattern Recognition, 2010, 43(7):2560-2571. http:∥dx.doi.org/10.1016/j.patcog.2010.01.020.

13 COX D R. Some statistical methods connected with series of events[J]. Journal of the Royal Statistical Society:Series B, 1955,17(2):129-164.

14 BOUZAS P R, AGUILERA A M, VALDERRAMA M J. Forecasting a class of doubly stochastic Poisson process[J]. Statistical Papers, 2002, 43(4):507-523.

15 ADAMS R P, MRRRAY I, MACKAY D J C. Tractable nonparametric Bayesian inference in Poisson processes with Gaussian process intensities[C]∥Proceedings of the 26th International Conference on Machine Learning(ICML)，2009:9-16.

16 GUNTER T, LLOYD C, OSBOME M A, et al. Efficient Bayesian nonparametric modelling of structured point process[C]∥The 30th Conference on Uncertainty in Artificial Intelligence, 2014:310-319.

17 ZHANG T, KOU S C. Nonparametric inference of doubly stochastic Poisson process data via the kernel methed[J/OL]. The Annals of Applied Satatistics, 2010, 4(4): 1913-1941. DOI: 10.1214/10.AOAS352.

18 BIAU G, CADRE B, PARIS Q. Cox process functional learning[J/OL]. Statistical Inference for Stochastic Processes, 2015, 18(3):257-277. DOI:10.1007/s11203-015-9115-z.

19 ADLERA R J, MOLDAVSKAYA E, SAMORODNITSKY G. On the existence of paths between points in high level excursion sets of Gaussian random fields[J/OL]. The Annals of Probability, 2014, 42(3): 1020-1053. DOI: 10.1214/12-AOP794.

20 SUDDERTH E B. Graphical model for visual object recognition and tracking[D]. Cambridge, MA:Massachusette Institute of Technology, 2006.

21 RASMUSSEN C E, WILLIAMS C K I. Gaussian processes for machine leanrning[M]. Cambridge, MA: MIT Press, 2006.

22 OTSU N. A threshold selection method from gray-level hisograms[J]. IEEE Transctions on System, Man and Cyberrretics, 1979, 9(1):62-66.

Excursion Characteristic Learning and Recognition for Hand Image Knuckles Based on Log Gaussian Cox Field

YANG Shiqiang GONG Luqi

(FacultyofMechanicalandPrecisionInstrumentEngineering，Xi’anUniversityofTechnology，Xi’an710048,China)

The effective description method for hand gesture is the most important in intelligent coordination assembly process based on human computer interaction. And effective hand finger knuckle detection is beneficial to the description of hand gesture.The structure characteristics of hand knuckles image are fuzzy and it is difficult to feature modeling. The extraction and learning method of excursion characteristic for hand knuckles image was presented and the hand knuckle was recognized by hand image based on Log Gaussian Cox random image model theory. The approximations of image excursion representation were given combined with level set decomposition of random image when the priori hypothesis was absented in Cox process image model. On the basis of nonparametric kernel estimation of image gray distribution, excursion characteristic was enhanced by nonlinear anisotropic filtering. And the Bayesian form of excursion measurement was established. The model learning and feature fusion algorithm on excursion characteristics with different excursion parameters was presented. And the features fusion representation of hand knuckle image was acquired. The hand knuckles image recognition results with many different hierarchical excursion data models were compared. The knuckle detection algorithm on hand image was presented. The ROC curves statisical law of hand knuckles detection with defferent models showed that the classification ablility of this method was correct and stable.The results also showed that the knuckle recognition ability of the model had some difference for different knuckle categories, and there were some differences in the deep distribution of image data between far knuckles and mid-knuckles. And the method was feasible.

Log Gaussian Cox random field； excursion characteristic leaning； hand knuckles recognition

10.6041/j.issn.1000-1298.2017.01.047

2016-08-09

2016-11-07

國家自然科學(xué)基金項目(51475365)、陜西省教育廳省級重點(diǎn)實驗室科學(xué)研究計劃項目(12JS071)和陜西省教育廳科學(xué)研究計劃項目(2013JK1000)

楊世強(qiáng)(1973—)，男，副教授，主要從事智能機(jī)器人控制、行為識別和目標(biāo)檢測研究，E-mail： yangsq@126.com

TP391.4

A

1000-1298(2017)01-0353-08