局部二值模式及其擴(kuò)展方法研究與展望

孫君頂　周業(yè)勇

(河南理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院　河南 焦作 454000)

?

局部二值模式及其擴(kuò)展方法研究與展望

孫君頂周業(yè)勇

(河南理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院河南 焦作 454000)

摘要針對(duì)局部二值模式LBP(Local binary pattern)在圖像處理與模式識(shí)別方面表現(xiàn)出的實(shí)際應(yīng)用價(jià)值，系統(tǒng)綜述當(dāng)前LBP算子在不同應(yīng)用領(lǐng)域的擴(kuò)展方法。首先，簡要概述LBP算子的基本原理。其次，從鄰域拓?fù)浣Y(jié)構(gòu)角度、降低噪聲影響角度、編碼角度、降維角度與獲取旋轉(zhuǎn)不變性角度等五個(gè)方面對(duì)LBP算子近年來的相關(guān)擴(kuò)展方法進(jìn)行詳細(xì)梳理和歸納總結(jié)。最后，分析各類方法的相互關(guān)系與存在的問題，并指出未來LBP擴(kuò)展的研究方向。

關(guān)鍵詞局部二值模式拓?fù)浣Y(jié)構(gòu)編碼旋轉(zhuǎn)不變性抗噪性

0引言

近年來，局部二值模式LBP引起了圖像處理和模式識(shí)別領(lǐng)域?qū)W者的廣泛關(guān)注。LBP算子最初由Ojala等[1]引入并應(yīng)用于紋理特征描述，由于其原理相對(duì)簡單，計(jì)算復(fù)雜度低。同時(shí)融合了紋理的結(jié)構(gòu)特征和統(tǒng)計(jì)特征，且不受光照變化等因素的影響。各種針對(duì)LBP算子的擴(kuò)展方法層出不窮，并且其應(yīng)用范圍也由紋理分析領(lǐng)域進(jìn)一步擴(kuò)展到人臉識(shí)別、目標(biāo)跟蹤與檢測(cè)、醫(yī)學(xué)圖像分析等多個(gè)應(yīng)用領(lǐng)域[2-4]。

為了便于挖掘LBP方法的性能及進(jìn)一步對(duì)其進(jìn)行擴(kuò)展與改進(jìn)，有必要對(duì)現(xiàn)有LBP相關(guān)方法進(jìn)行歸納和總結(jié)。為此，從LBP算子相關(guān)擴(kuò)展方法的特點(diǎn)，將它們劃歸為五種類型，并分別針對(duì)每類擴(kuò)展方法進(jìn)行梳理和總結(jié)。所劃分的五個(gè)類別分別為：(1) 從鄰域拓?fù)浣Y(jié)構(gòu)角度對(duì)LBP進(jìn)行擴(kuò)展；(2) 從降低噪聲影響角度對(duì)LBP進(jìn)行擴(kuò)展；(3) 從編碼方式角度對(duì)LBP進(jìn)行擴(kuò)展；(4) 從獲取旋轉(zhuǎn)不變性角度對(duì)LBP進(jìn)行擴(kuò)展；(5) 從降維角度對(duì)LBP進(jìn)行擴(kuò)展。

1基本LBP算子

LBP首先由Ojala等人[1]提出。針對(duì)圖像3×3的窗口，以窗口中心像素點(diǎn)的灰度值為閾值，將相鄰的8個(gè)像素的灰度值與其作比較。大于該閾值的像素點(diǎn)，該像素點(diǎn)位置被標(biāo)記為1，否則標(biāo)記為0。該3×3窗口內(nèi)的8個(gè)像素點(diǎn)可以產(chǎn)生一個(gè)8位二進(jìn)制碼，通過給不同位置賦予不同權(quán)重，可以將該8位二進(jìn)制碼轉(zhuǎn)換為一個(gè)無符號(hào)的整數(shù)，該數(shù)即被定義為該窗口的LBP值。然后統(tǒng)計(jì)圖像中不同LBP值出現(xiàn)的概率作為圖像的特征描述，即LBP算子。圖1給出了8-鄰域LBP值的基本編碼過程。

圖1　LBP編碼過程示意圖

LBP值的定義如下式所示：

(1)

其中，pc表示鄰域中心像素點(diǎn)的灰度值，pi(i=0,1,…,P-1)表示鄰域像素點(diǎn)的灰度值。

2LBP算子擴(kuò)展

本節(jié)從鄰域拓?fù)浣Y(jié)構(gòu)、降低噪聲影響、編碼方式、降維與獲取旋轉(zhuǎn)不變性五個(gè)角度對(duì)LBP的各類擴(kuò)展方法進(jìn)行了歸納和總結(jié)。

2.1從鄰域拓?fù)浣Y(jié)構(gòu)角度進(jìn)行擴(kuò)展

基本LBP算子采用的拓?fù)浣Y(jié)構(gòu)是如圖1所示的3×3鄰域。目前從鄰域拓?fù)浣Y(jié)構(gòu)角度對(duì)LBP進(jìn)行擴(kuò)展的方法主要分為采用固定拓?fù)浣Y(jié)構(gòu)與采用自適應(yīng)拓?fù)浣Y(jié)構(gòu)兩種擴(kuò)展方式。

對(duì)于采用固定拓?fù)浣Y(jié)構(gòu)的擴(kuò)展方式，Ojala等[5]首先將基本LBP算子擴(kuò)展至任意圓形鄰域(P,R)(P代表鄰域像素的個(gè)數(shù)，R代表鄰域半徑。圖2(a)給出了3種不同局部鄰域的拓?fù)浣Y(jié)構(gòu))；Liao等[6]將LBP算子擴(kuò)展到橢圓形鄰域，以滿足基于LBP算子描述人臉特征的特殊要求，同時(shí)將圓形鄰域作為橢圓形鄰域的一種特殊形式。圖2(b)給出了橢圓形鄰域的示例，其中A表示橢圓的長軸，B表示橢圓的短軸。當(dāng)A與B相等時(shí)，橢圓鄰域就退化為圓形鄰域。由于人臉許多的重要組成部分(如眼睛、嘴巴)都是橢圓形的結(jié)構(gòu)，因此對(duì)人臉圖像來說，橢圓鄰域具有更強(qiáng)的識(shí)別能力。結(jié)合人臉結(jié)構(gòu)特點(diǎn)，Abdullah等[7]進(jìn)一步提出了對(duì)稱局部圖結(jié)構(gòu)SLGS(Symmetric Local Graph Structure)來描述人臉特征，其基本拓?fù)浣Y(jié)構(gòu)與計(jì)算示例如圖3所示。Nanni等[8]從不同角度研究了用圓、橢圓、拋物線、雙曲線、阿基米德螺線等不同的拓?fù)浣Y(jié)構(gòu)類型對(duì)LBP進(jìn)行擴(kuò)展的方法。為了能夠有效地在LBP算子中融入圖像邊緣信息，Murala等[9]提出了LMeP(Local Mesh Patterns)算子，圖4給出了LMeP算子所采用的3種基本拓?fù)浣Y(jié)構(gòu)。與文獻(xiàn)[5-8]拓?fù)浣Y(jié)構(gòu)不同的是，LMeP通過比較鄰域像素相互間的灰度值來進(jìn)行編碼，沒有考慮鄰域中心像素的影響。

圖2　不同鄰域示例

圖3　SLGS計(jì)算示例

圖4　LMeP(8,1)3種基本拓?fù)浣Y(jié)構(gòu)

同基本LBP算子一致，文獻(xiàn)[5-9]仍是通過單個(gè)像素間的灰度值的比較來進(jìn)行編碼。Liao等[10]提出了多尺度塊局部二值模式MB-LBP(Multi-scale Block LBP)，該算子采用分塊區(qū)域的像素灰度平均值代替基本LBP中的單個(gè)像素的灰度值，其基本原理如圖5所示。對(duì)于9×9的區(qū)域，首先計(jì)算每個(gè)次級(jí)區(qū)域(3×3區(qū)域)的灰度均值，然后以中心區(qū)域的灰度均值為閾值，按照基本LBP方法，得到MB-LBP編碼。MB-LBP算子不僅包含圖像的微觀結(jié)構(gòu)，而且融入了圖像的宏觀結(jié)構(gòu)，因此比LBP算子更具魯棒性，但如何設(shè)定MB-LBP中塊的大小還需要進(jìn)一步研究。在文獻(xiàn)[5,10]的基礎(chǔ)上，Wang等[11]提出了LNIRP (Local Neighboring Intensity Relationship Pattern)算子，其采用的拓?fù)浣Y(jié)構(gòu)如圖6所示。該結(jié)構(gòu)固定鄰域中采樣點(diǎn)的個(gè)數(shù)(P)，采樣點(diǎn)的灰度值采用以該點(diǎn)為中心的邊長為R的矩形鄰域內(nèi)的像素的灰度均值代替。同理，在文獻(xiàn)[5,10]的基礎(chǔ)上，Wolf等[12]提出了TP-LBP(Three-Patch LBP)算子與FP-LBP(Four-Patch LBP)算子。TP-LBP算子是以三個(gè)分塊的值進(jìn)行比較為基礎(chǔ)來編碼。對(duì)于圖像中的每個(gè)像素點(diǎn)，首先以該像素點(diǎn)為中心設(shè)定N×N的分塊，在半徑為r的圓上均勻分布P個(gè)分塊，然后以角度α為間距取一對(duì)分塊，再通過分別比較這對(duì)分塊與中心像素分塊的均值進(jìn)行編碼。FP-LBP算子以內(nèi)圓兩個(gè)對(duì)稱分塊與外圓兩個(gè)成α度分塊進(jìn)行比較為基礎(chǔ)來編碼，其編碼思想類似TP-LBP算子。圖7和圖8分別給出了TP-LBP與FP-LBP算子的基本拓?fù)浣Y(jié)構(gòu)與計(jì)算示例。

圖6　文獻(xiàn)[11]采用的拓?fù)浣Y(jié)構(gòu)圖

圖7　P=8、N=3、α=2時(shí)TP-LBP計(jì)算示例

圖8　P=8、N=3、α=1時(shí)FP-LBP計(jì)算示例

除此之外，還存在其他一些類型的固定拓?fù)浣Y(jié)構(gòu)擴(kuò)展方法。如：Dan 等[13]通過考慮了不同尺度空間LBP特征間的關(guān)系，提出了JLBP(Joint Local Binary Patterns)算子，采用不同尺度下LBP特征的聯(lián)合分布來提高LBP算子的性能；Zhao等[14]將傳統(tǒng)的LBP模式擴(kuò)展到三維拓?fù)淇臻g，將紋理的外觀特征和運(yùn)動(dòng)特征結(jié)合起來，用于表示動(dòng)態(tài)紋理，并提出了兩種時(shí)空域上的描述子：VLBP (Volume Local Binary Patterns)和LBP-TOP (Local Binary Patterns on Three Orthogonal Planes)，并應(yīng)用于人臉識(shí)別領(lǐng)域；Qian等[15]提出了PLBP(Pyramid Local Binary Pattern)算子，通過對(duì)圖像進(jìn)行金字塔分解，構(gòu)建多尺度空間，然后提取分解后的每一幅圖像的二值模式特征，圖9給出了金字塔示意圖結(jié)構(gòu)。

圖9　金字塔示意圖

采用自適應(yīng)拓?fù)浣Y(jié)構(gòu)的方法近年來得到了較多研究，與文獻(xiàn)[5-15]采用固定拓?fù)浣Y(jié)構(gòu)不同的是，該類方法可以通過學(xué)習(xí)方式選擇最優(yōu)的拓?fù)浣Y(jié)構(gòu)。Maturana 等[16]通過啟發(fā)式的上山方法來選擇局部拓?fù)浣Y(jié)構(gòu);Lei等[17]提出基于數(shù)據(jù)驅(qū)動(dòng)的局部優(yōu)化策略與判別學(xué)習(xí)策略來確定局部拓?fù)浣Y(jié)構(gòu);Ren等[18]結(jié)合VLBP[14]的思想，進(jìn)一步提出了局部拓?fù)浣Y(jié)構(gòu)優(yōu)化的方法。

2.2從降低噪聲影響角度對(duì)LBP進(jìn)行改進(jìn)

基本LBP算子是以中心像素灰度值作為閾值和周圍像素灰度值進(jìn)行比較，因此，像素灰度值小的變化就可能導(dǎo)致編碼結(jié)果完全不同。如圖10所示，中心像素的灰度值由55變?yōu)?0，對(duì)應(yīng)的LBP編碼由“00000000”變?yōu)榱恕?0011101”，這直接導(dǎo)致基本LBP算子對(duì)圖像噪聲敏感。

圖10　噪聲對(duì)LBP算子影響

為了提高LBP算子的抗噪性，最簡單的一類方法是采用濾波進(jìn)行消噪處理。Hafiane等[19]提出了MBP(Median Binary Pattern)算子，該算子采用鄰域像素與中心像素的灰度中值作為閾值，即采用中值濾波的消噪方法；文獻(xiàn)[20]采用局部鄰域內(nèi)所有像素的灰度均值作為閾值進(jìn)行定義;文獻(xiàn)[21]采用鄰域像素與中心像素灰度的加權(quán)平均作為閾值進(jìn)行定義，上述兩種方法是典型的均值濾波方法。2.1節(jié)中提到的MB_LBP算子[10]、FP_LBP算子與TP_LBP算子[12]實(shí)際上也進(jìn)行了均值濾波處理，同理也起到了消噪的效果。

雖然濾波方法有效降低了噪聲影響，但它們沒有考慮鄰域內(nèi)像素間的灰度差異信息。為此，文獻(xiàn)[22-25]將局部二值模式擴(kuò)展到了局部多值模式，目的是在LBP中融入像素間的灰度差異信息。典型的方法是Tan及Triggs[22]提出局部三值模式LTP(Local Ternary Pattern )算子，在LTP的定義中，式(1)中的函數(shù)s被定義為了如下形式：

(2)

其中，t為閾值。同時(shí)，為了降低特征維數(shù)，Tan等[22]進(jìn)一步提出將三值模式分解為正LBP編碼和負(fù)LBP編碼兩個(gè)二值模式的形式，然后分別計(jì)算每一部分的LBP值，并綜合二者作為鄰域特征。圖11給出了針對(duì)8-鄰域的LTP編碼示例。對(duì)于LTP算子來說，閾值t往往采用固定的值，因此其選擇會(huì)對(duì)LTP算子的性能產(chǎn)生影響。為此，Liao[23]提出根據(jù)局部鄰域內(nèi)像素灰度方差的變化來自適應(yīng)設(shè)定閾值t，并取得了較好的效果。在LTP算子的基礎(chǔ)上，Ren等[24]進(jìn)一步提出NRLBP(Noise-Resistant LBP)算子，在NRLBP中，式(2)被定義為如下形式：

(3)

圖11　LTP編碼示例

在該定義中，采用“1”和“0”表示兩種穩(wěn)定狀態(tài)，x表示不確定狀態(tài)。在如何確定x的具體取值時(shí)，根據(jù)該位前后像素的編碼來確定。例如編碼“11x2100x10”，“x2”的前后的編碼都為“1”，因此其編碼為“1”的可能性大，編碼時(shí)就采用“1”代替；而對(duì)于“x1”來說，編碼為“0”則更合適。實(shí)驗(yàn)表明，NRLBP除了可以有效消除噪聲影響外，同時(shí)還可有效保持局部鄰域的結(jié)構(gòu)特征。圖12給出了8-鄰域LBP、LTP與NRLBP編碼的對(duì)比。

圖12　NRLBP編碼示例

同理在LTP的基礎(chǔ)上，Nanni等[25]進(jìn)一步提出了EQP(Elongated Quinary Pattern)算子，將局部三值模式擴(kuò)展到局部五值模式。其定義如下式所示：

(4)

其中，t1、t2是為閾值。為了降低特征維數(shù)，按照LTP類似的方法，Nanni等又將其分解為4個(gè)LBP編碼。

除了上述方法外，還存在多種降低噪聲影響的方法。如：Chen等[26]提出的RLBP(Robust Local Binary Pattern)算子，Ahonen 等[27]提出的SLBP(Soft Local Binary Pattern)算子，Keramidas等[28]提出的FBP(Fuzzy Binary Patterns)，Raja等[29]提出的OLTP(Optimized Local Ternary Patterns)算子，Liu等[30]提出的BRINT(Binary Rotation Invariant and Noise Tolerant)算子，Song等[31]提出的LCP算子(Local Contrast Patterns)等。Fathi 等[32]通過環(huán)形投票機(jī)制和標(biāo)簽機(jī)制提高LBP算子的噪聲魯棒性，Kylberg等[33]對(duì)8種LBP方法的抗噪性能進(jìn)行了對(duì)比和評(píng)價(jià)。

2.3從編碼方式角度進(jìn)行擴(kuò)展

對(duì)于LBP及其擴(kuò)展算子來說，編碼的目的是按照預(yù)先設(shè)定的拓?fù)浣Y(jié)構(gòu)，將其轉(zhuǎn)化為二值形式，并盡可能包含多的局部特征。

CLBP_CP,R=s(pc-μ)

(5)

其中μ表示圖像全局灰度均值。CLBP_S、CLBP_M與CLBP_C合稱為CLBP算子。

圖13　CLBP_S及CLBP_M計(jì)算示例

目前在基于編碼方式角度進(jìn)行對(duì)LBP進(jìn)行擴(kuò)展的方法中，具有相對(duì)系統(tǒng)性的一類方法是在二值模式編碼中融入圖像邊緣細(xì)節(jié)與邊緣方向信息。在LBP算子中融入邊緣信息的方法，如：Subrahmanyam等[35]提出的LMEBP(Local Maximum Edge Binary Patterns)算子，Sun等[36]提出的LEBP(Local Edge Binary Patterns)算子，Murala等[37]提出的LTrP(Local Tetra Patterns)算子，Jun 等[38]提出的LGP(Local Gradient Patterns)算子，Satpathy等[39]提出的DRLBP與DRLTP (Discriminative Robust Local Binary Pattern and Ternary Pattern) 算子等。在LBP算子中融入局部方向信息的方法，如：Jabid等提出的LDP(Local Directional Pattern)算子[40]，Trefny 等[41]提出的dLBP(Direction Coded Local Binary Pattern)算子，毋小省等[42]提出的idLBP(Improved Direction Coded Local Binary Pattern)算子，Murala等[43]提出的DLEP(Directional Local Extrema Patterns)算子等；在編碼中同時(shí)融入邊緣信息和方向信息的方法如文獻(xiàn)[44,45]。

除此之外，雖然目前從編碼角度對(duì)LBP進(jìn)行擴(kuò)展的方法較多，但它們具有相對(duì)的獨(dú)立性，相互間的必然聯(lián)系也不明顯。如：Zhao等[46]提出的LBC(Local Binary Count)算子及基于CLBP而提出的CLBC算子，F(xiàn)an 等[47]提出的LVP(Local Vector Pattern)算子，Hussain等[48]提出的LQP(Local Quantized Patterns)算子，Yuan[49]提出的DLBPC (Derivative Local Binary Pattern based on Circular shift sub-uniform)與DLBPCS(Derivative Local Binary Pattern based on Circular shift sub-uniform and Scale space)算子，Zhang 等[50]提出的LEP(Local Energy Pattern)算子，Ahmed等[51]提出的CLBP (Compound Local Binary Pattern )算子，Zhang 等[52]提出的LDP(Local Derivative Patterns)算子，毋小省等[53]提出的CCLBP(Concave-Convex LBP)算子，Sapkota 等[54]提出的GRAB(Generalized Region Assigned to Binary)算子，Liu 等[55]提出的RD-LBP(Radial-difference LBP)與AD-LBP(Angular-difference LBP)算子，Hong等[56]提出的LBPD(LBP Difference)算子等。

2.4從降維角度對(duì)LBP進(jìn)行改進(jìn)

對(duì)于基本LBP算子來說，其維數(shù)達(dá)到28，對(duì)于選擇局部鄰域(P,R)來說，其維數(shù)達(dá)到2P。為了有效地對(duì)LBP及其擴(kuò)展算子進(jìn)行降維，目前的方法主要從編碼方式與特征選擇兩個(gè)方面入手，對(duì)LBP算子及擴(kuò)展方法進(jìn)行降維處理。

Heikkil?等[58]提出了中心對(duì)稱局部二值模式CS-LBP(Center-Symmetric LBP)，與基本LBP定義不同的是，該方法通過比較8-鄰域與中心像素相對(duì)稱的四對(duì)像素間的灰度關(guān)系來定義局部紋理模式。使用該方法，可有效地將基本LBP算子的維數(shù)降低到16維；同時(shí)，該方法還可通過設(shè)置全局閾值來判斷紋理區(qū)域的平坦性。其定義如下式所示：

(6)

由于CS-LBP編碼時(shí)沒有考慮鄰域中心像素的影響，為此毋小省等[59]提出了方向局部二值模式(Direction LBP)。將圖像局部鄰域像素間的灰度關(guān)系、局部方向信息與灰度差異的關(guān)系有效地融合在一起，有效提高了原CS-LBP的性能。 基于LBP與CS-LBP算子，Zhu等[60]提出了OC-LBP算子，其基本原理是首先通過將原局部鄰域劃分為多個(gè)4-正交鄰域，然后采用與LBP相同的方法計(jì)算每個(gè)4-正交鄰域的局部二值模式值，最后融合所有4-正交鄰域的二值模式值作為最終的描述。圖14給出了針對(duì)8-鄰域的OC-LBP計(jì)算示例。

圖14　針對(duì)8-鄰域OC-LBP計(jì)算示例

雖然LBP的模式種類較多，但是大多數(shù)模式并不能有效地表達(dá)局部結(jié)構(gòu)信息，如果能夠從這些模式中 選擇影響較大的模式，將有效降低特征維數(shù)?；谠撍枷?，基于特征選擇的降維方法得到了廣泛研究。目前在該領(lǐng)域的研究又分為兩個(gè)方向。

其一是直接基于編碼模式的本身進(jìn)行處理。如：Liao等[61]提出的主要局部二值模式DLBP(Dominant LBP)，該方法在統(tǒng)計(jì)所有LBP模式的基礎(chǔ)上，篩選出較高頻率的模式，并把這些高頻率模式組成最終的特征向量，從而達(dá)到降維目的。在DLBP[61]的基礎(chǔ)上，Guo等[62]進(jìn)一步提出了三層學(xué)習(xí)模型來獲得最佳二值模式子集。設(shè)Ji表示第i幅圖像的最佳模式子集，其定義為：

(7)

其中,fi,j表示模式類型j的出現(xiàn)次數(shù)，P表示初始模式類型總數(shù)，圖15給出了該學(xué)習(xí)模型的三層結(jié)構(gòu)。

圖15　學(xué)習(xí)模型示意圖

其二是通過已有的成熟學(xué)習(xí)算法，來對(duì)所有的模式進(jìn)行處理，判別每類模式的重要程度，然后選擇重要性程度高的模式組成最終特征。常用的方法如基于Adaboost的選擇方法[63, 64]，基于決策樹的選擇方法[65]，基于線性判別分析的選擇方法[66]等；在文獻(xiàn)[67]中，我們測(cè)試了文獻(xiàn)[62]的降維方法、基于Adaboost的降維方法以及基于差分進(jìn)化算法[68]來進(jìn)行特征選擇并用于紅外目標(biāo)圖像分類，結(jié)果表明采用差分進(jìn)化的特征選擇方法取得了最優(yōu)效果。

2.5從獲取旋轉(zhuǎn)不變性角度對(duì)LBP進(jìn)行改進(jìn)

基本LBP算子不具備旋轉(zhuǎn)不變性，為了滿足旋轉(zhuǎn)不變性的需求，目前的擴(kuò)展方法主要集中在兩個(gè)方面：(1) 在空域范圍內(nèi)進(jìn)行擴(kuò)展;(2) 轉(zhuǎn)化到頻域范圍進(jìn)行擴(kuò)展。

在空域范圍內(nèi)獲取旋轉(zhuǎn)不變性的擴(kuò)展方法包含針對(duì)局部鄰域的編碼結(jié)果進(jìn)行擴(kuò)展與針對(duì)權(quán)值模板進(jìn)行擴(kuò)展兩種形式。在針對(duì)編碼結(jié)果進(jìn)行擴(kuò)展方面，Ojala等[5]首先引入了旋轉(zhuǎn)不變二值模式：

(8)

其中，ROR(LBPP,R,i)表示對(duì)LBPP,R對(duì)應(yīng)的二進(jìn)制位右循環(huán)移i位，同時(shí)把移位過程中最小LBP值作為旋轉(zhuǎn)不變LBP模式。在此基礎(chǔ)上，Ojala等[5]又給出了旋轉(zhuǎn)不變一致二值模式的定義：

(9)

其中，上標(biāo)riu2表示旋轉(zhuǎn)不變一致二值模式，U表示在二值模式中由0到1或由1到0的轉(zhuǎn)換次數(shù)，其定義如下：

U(LBPP,R)= s(pP-1-pc)-s(p0-pc)+

(10)

為了融合局部空間結(jié)構(gòu)信息和對(duì)比度信息，文獻(xiàn)[5]又提出了LBP/VAR算子，將局部鄰域灰度的方差信息融入到LBP算子中。由于VAR是一系列連續(xù)的值，具體應(yīng)用中需要進(jìn)行量化處理，但由于量化過程中需要在預(yù)先設(shè)置bin的數(shù)目，過少的bin數(shù)目不能提供足夠的識(shí)別信息，過多的bin數(shù)目可能導(dǎo)致直方圖不穩(wěn)定、特征維數(shù)過高。為了解決該問題，Guo等[69]提出了LBPV(LBP Variance)算子。該算子將每個(gè)點(diǎn)的方差作為編碼值的權(quán)重，其定義如下：

(11)

其中：

其他針對(duì)編碼結(jié)果獲取旋轉(zhuǎn)不變性的方法，如：Qi等[71]提出的PRI-CoLBP(Pairwise Rotation Invariant Co-occurrence LBP)算子，Li等[72]提出的SRILBP(scale and rotation invariant LBP)算子，Nosaka等[73]提出的RIC-LBP(Rotation Invariant Co-occurrence among adjacent LBPs)算子等。

針對(duì)權(quán)值模板的擴(kuò)展，Mehta等[74]提出了基于自適應(yīng)權(quán)值的RLBP(Rotated LBP)方法。該方法把中心像素與鄰域像素間灰度值之差的最大值定義為主方向。當(dāng)鄰域發(fā)生旋轉(zhuǎn)時(shí)，對(duì)應(yīng)著主方向也旋轉(zhuǎn)同樣角度，把主方向索引對(duì)應(yīng)的像素點(diǎn)設(shè)置為最小的權(quán)值，逆時(shí)針方向依次加大權(quán)值，如圖16所示。

圖16　RLBP算子編碼示例

在基于頻域的擴(kuò)展方法中，常用的是通過Fourier與Gabor等變換，將局部鄰域轉(zhuǎn)換到頻域，然后提取旋轉(zhuǎn)不變特征。Ahonen等[75]提出了LBP-HF(LBP Histogram Fourier)算子，首先計(jì)算圖像的LBP直方圖，再計(jì)算局部uniform模式直方圖，從而構(gòu)建LBP-HF特征；Maani等[76]提出了LFD (Local Frequency Descriptors)算子，該方法首先將局部鄰域通過傅里葉變換轉(zhuǎn)換到頻域，然后基于頻域內(nèi)幅值構(gòu)建LFD算子。但LFD算子僅僅考慮了頻域內(nèi)的幅度信息，沒有考慮相位信息，為此Maani等[77]進(jìn)一步提出了基于幅度特征和相位特征融合的方法。LBP與Gabor結(jié)合獲取旋轉(zhuǎn)不變性的方法，如LGBP(Local Gabor Binary Pattern Histogram Sequence)[78,79]、HGPP(Histogram of Gabor Phase Patterns)算子[80]、LGXP (Local Gabor XOR Patterns)算子[81]。LBP與Shearlet結(jié)合的方法，如LSEP(Local Shearlet-based Energy Pattern)算子[82]。除此之外，Li等[83]提出的RTRID (Rapid-transform based Rotation Invariant Descriptor )算子通過Rapid-transform變換來獲取旋轉(zhuǎn)不變特征。

3分析與展望

第2節(jié)從五個(gè)不同方面對(duì)LBP擴(kuò)展方法進(jìn)行了梳理和總結(jié)。在此基礎(chǔ)上，本節(jié)對(duì)上述五類方法進(jìn)行進(jìn)一步分析，目的是找出不同類別方法間的關(guān)聯(lián)，指出每類方法的優(yōu)劣，并指出進(jìn)一步研究方向。為了便于分析，按照第2節(jié)的分類方法，文中采用圖17對(duì)目前LBP的主要擴(kuò)展方法進(jìn)行了歸納與分類。

圖17　LBP擴(kuò)展方法分類

基于圖17與前述內(nèi)容，可以看出：

1) LBP算子自O(shè)jala等[1]提出后，經(jīng)過文獻(xiàn)[5]的擴(kuò)展，逐步獲得了廣泛應(yīng)用，并且在不同應(yīng)用領(lǐng)域的各類擴(kuò)展方法也被提了出來。文獻(xiàn)[5]在LBP算子與其他擴(kuò)展方法間起到了承上啟下的關(guān)鍵作用。該文在對(duì)LBP算子的進(jìn)行深入分析的基礎(chǔ)上，從拓?fù)浣Y(jié)構(gòu)角度、旋轉(zhuǎn)不變角度、降維角度與編碼角度等四個(gè)方面對(duì)LBP算子進(jìn)行了相應(yīng)擴(kuò)展，這些擴(kuò)展方法也成為了后來其它各類擴(kuò)展方法的基礎(chǔ)。

2) 文中對(duì)LBP擴(kuò)展方法的5種分類并非完全絕對(duì)的，各類之間也存在一定的交叉。這主要由于目前針對(duì)LBP算子進(jìn)行擴(kuò)展時(shí)，并非完全針對(duì)LBP算子所存在的某一問題，往往是針對(duì)多個(gè)問題進(jìn)行綜合考慮，這也是今后針對(duì)LBP算子進(jìn)一步擴(kuò)展的研究方向。如：對(duì)于MB-LBP[10]、TP-LBP與FP-LBP算子[12]來說。雖然其主要目的是改變局部鄰域的拓?fù)浣Y(jié)構(gòu)，但它們還采用均值濾波進(jìn)行定義，因此也起到了消噪的效果；對(duì)于LTP[22]與NRLBP[24]算子來說，其改進(jìn)的目的是為了消除噪聲影響，但實(shí)際上它們也是基于編碼方法來實(shí)現(xiàn)消噪的目的；對(duì)于CS-LBP[58]與OC-LBP[60]來說，雖然其主要目的是為了降維，但它們也涉及到了拓?fù)浣Y(jié)構(gòu)的問題。

3) 對(duì)于從鄰域拓?fù)浣Y(jié)構(gòu)角度進(jìn)行擴(kuò)展來說，目前的研究集中在固定拓?fù)浣Y(jié)構(gòu)與自適應(yīng)拓?fù)浣Y(jié)構(gòu)兩個(gè)方面。針對(duì)固定拓?fù)浣Y(jié)構(gòu)來說，目前的研究相對(duì)較多，針對(duì)該類擴(kuò)展來說，在選擇何種拓?fù)浣Y(jié)構(gòu)時(shí)往往需要根據(jù)所處理對(duì)象(如人臉圖像)的特點(diǎn)來進(jìn)行選擇，以達(dá)到最優(yōu)的效果。并且，基于固定拓?fù)浣Y(jié)構(gòu)的缺點(diǎn)是一經(jīng)選定，將不會(huì)改變，因此它們的適應(yīng)性較差，該類方法的最典型代表是文獻(xiàn)[5]所提出的圓形鄰域(P,R)。對(duì)于自適應(yīng)拓?fù)浣Y(jié)構(gòu)來說，目前的研究相對(duì)較少，但自適應(yīng)拓?fù)浣Y(jié)構(gòu)會(huì)根據(jù)圖像自身的特點(diǎn)，通過學(xué)習(xí)，選擇最優(yōu)的結(jié)構(gòu)，從而更有利于描述圖像局部特征。鑒于此，研究自適應(yīng)拓?fù)浣Y(jié)構(gòu)的擴(kuò)展方法將逐步成為LBP算子在拓?fù)浣Y(jié)構(gòu)角度擴(kuò)展的重要方向。

4) 對(duì)于從降低噪聲影響角度進(jìn)行擴(kuò)展來說，目前的研究主要集中在基于濾波的方法、多值模式方法與其他類型的方法。基于濾波的方法主要包括均值濾波與中值濾波兩種類型，這些屬于相對(duì)早期針對(duì)LBP算子常用的降噪方法；基于多值模式的方法目前主要有LTP[22]與EQP[25]算子以及對(duì)這兩種方法的相應(yīng)擴(kuò)展，除此之外，基于多值模式擴(kuò)展方法的研究還較少。對(duì)于其它擴(kuò)展方法來說，還很難統(tǒng)一歸類，因此文中將這些方法統(tǒng)稱為其它方法。從目前的研究現(xiàn)狀看，從減低噪聲影響角度對(duì)LBP進(jìn)行擴(kuò)展的方法較多是結(jié)合編碼機(jī)制進(jìn)行消噪處理。

4結(jié)語

雖然局部二值模式最初提出是用來描述圖像紋理特征，但實(shí)踐證明，其在人臉識(shí)別、目標(biāo)跟蹤與檢測(cè)、醫(yī)學(xué)圖像處理等領(lǐng)域同樣有效，因此在不同應(yīng)用領(lǐng)域?qū)BP的各種擴(kuò)展層出不窮。本文在簡要概述了LBP算子基本原理的基礎(chǔ)上，將近年來對(duì)LBP的相關(guān)擴(kuò)展方法總結(jié)歸納為5個(gè)不同的研究方向，并在此基礎(chǔ)上對(duì)每類研究方向進(jìn)行了詳細(xì)梳理。最后，在分析各類擴(kuò)展方法內(nèi)在聯(lián)系與存在問題的基礎(chǔ)上，指出了針對(duì)LBP擴(kuò)展的未來研究方向。

參考文獻(xiàn)

[1] Ojala T,Pietikanten M,Hawood D.A comparative study of texture measure with classification based on featured distributions[J].Pattern Recognition,1996,29(1):51-59.

[3] 宋克臣,顏云輝,陳文輝,等.局部二值模式方法研究與展望[J].自動(dòng)化學(xué)報(bào),2013,39(6):730-744.

[4] Brahnam S,Jain L C,Lumini A,et al.Local binary patterns:new variants and applications[M].London Ltd,Springer Berlin Heidelberg,2014.

[5] Ojala T,Pietikinen M,MenpT.Multiresolution gray-scale and rotation invariant texture classification with Local Binary Patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(7):971-987.

[6] Liao S,Chung A C S.Face recognition by using elongated local binary patterns with average maximum distance gradient magnitude[C]//Proceedings of Asian conference on Computer vision,2007:672-679.

[7] Abdullah M F A,Sayeed M S,Sonai Muthu K,et al.Face recognition with Symmetric Local Graph Structure (SLGS)[J].Expert Systems with Applications,2014,41(14):6131-6137.

[8] Nanni L,Lumini A,Brahnam S.Local binary patterns variants as texture descriptors for medical image analysis[J].Artificial intelligence in medicine,2010,49(2):117-125.

[9] Murala S,Wu Q M J.Local Mesh Patterns Versus Local Binary Patterns: Biomedical Image Indexing and Retrieval[J].IEEE Journal of Biomedical and Health Informatics,2014,18(3):929-938.

[10] Liao S,Zhu X,Lei Z,et al.Learning multi-scale block local binary patterns for face recognition[M].Advances in Biometrics,London Ltd,Springer Berlin Heidelberg,2007:828-837.

[11] Wang K,Bichot C E,Zhu C,et al.Pixel to patch sampling structure and local neighboring intensity relationship patterns for texture Classification[J].IEEE Signal Processing Letters,2013,20(9):853-856.

[12] Wolf L,Hassner T,Taigman Y.Descriptor based methods in the wild[C]//Faces in Real-Life Images Workshop in European Conference on Computer Vision,2008:1-14.

[13] Zhiping Dan,Yanfei Chen,Zhi Yang,et al.An improved local binary pattern for texture classification[J].Optik-International Journal for Light and Electron Optics,2014,125(20):6320-6324.

[14] Zhao G,Pietikainen M.Dynamic texture recognition using local binary patterns with an application to facial expressions[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29(6):915-928.

[15] Qian X,Hua X S,Chen P,et al.PLBP:An effective local binary patterns texture descriptor with pyramid representation[J].Pattern Recognition,2011,44(10):2502-2515.

[16] Maturana D,Mery D,Soto A.Learning discriminative local binary patterns for face recognition[C]//IEEE International Conference on Automatic Face & Gesture Recognition and Workshops,2011:470-475.

[17] Lei Z,Pietikainen M,Li S.Learning discriminant face descriptor[J].IEEE Transaction on Pattern Analysis and Machine Intelligence,2014,36(2):289-302.

[18] Ren J,Jiang X,Yuan J,et al.Optimizing LBP structure for visual recognition using binary quadratic programming[J].IEEE Signal Processing Letters,2014,21(11):1346-1350.

[19] Hafiane A,Seetharaman G,Zavidovique B.Median binary pattern for texture classification[C]//Proceedings of 4th the International Conference on Image Analysis and Recognition,2007:387-398.

[20] 木拉提·哈米提,劉偉,童勤業(yè).紋理譜直方圖與潛在語義標(biāo)引在圖像檢索中的應(yīng)用[J].科技通報(bào),2006,22(3):389-394.

[21] Zhao Y,Jia W,Hu R X,et al.Completed robust local binary pattern for texture classification[J].Neurocomputing,2013,106(6):68-76.

[22] Tan X,Triggs B.Enhanced Local Texture Feature Sets for Face Recognition under Difficult Lighting Conditions[J].IEEE Transactions on Image Processing,2010,19(6):1635-1650.

[23] Liao W H.Region description using extended local ternary patterns[C]//Proceedings of the IEEE 20th International Conference on Pattern Recognition,2010:1003-1006.

[24] Ren J,Jiang X,Yuan J.Noise-resistant local binary pattern with an embedded error-correction mechanism[J].IEEE Transaction on Image Processing,2013,22(10):4049-4060.

[25] Nanni L,Lumini A,Brahnam S.Local binary patterns variants as texture descriptors for medical image analysis[J].Artificial Intelligence in Medicine,2010,49(2):117-125.

[26] Chen J,Kellokumpu V,Zhao G,et al.Rlbp:Robust local binary pattern[C]//Proceedings of the British Machine Vision Conference,2013:1-10.

[27] Ahonen T,Pietikinen M.Soft histograms for local binary patterns[C]//Proceedings of the Finnish signal processing symposium,2007:1-4.

[28] Keramidas E,Iakovidis D,Maroulis D.Fuzzy binary patterns for uncertainty-aware texture representation[J].Electronic Letters on Computer Vision and Image Analysis,2011,10(1):63-78.

[29] Raja G M,Sadasivam V.Optimized local ternary patterns:a new texture model with set of optimal patterns for texture analysis[J].Journal of Computer Science,2013,9(1):1-14.

[30] Liu L,Long Y,Fieguth P W,et al.BRINT:binary rotation invariant and noise tolerant texture classification[J].IEEE Transaction on Image Processing,2014,23(7):71-84.

[31] Song T,Li H,Meng F,et al.Noise-Robust Texture Description Using Local Contrast Patterns via Global Measures[J].IEEE Signal Processing Letters,2014,21(1):93-96.

[32] Fathi A,NaghshNilchi A R.Noise tolerant local binary pattern operator for efficient texture analysis[J].Pattern Recognition Letters,2012,33(9):1093-1100.

[33] Kylberg G,Sintorn I M.Evaluation of noise robustness for local binary pattern descriptors in texture classification[J].EURASIP Journal on Image and Video Processing,2013,2013(1):1-20.

[34] Guo Z,Zhang L,Zhang D.A completed modeling of local binary pattern operator for texture classification[J].IEEE Transactions on Image Processing,2010,19(6):1657-1663.

[35] Subrahmanyam M,Maheshwari R P,Balasubramanian R.Local maximum edge binary patterns:A new descriptor for image retrieval and object tracking [J].Signal Processing,2012,92(6):1467-1479.

[36] Junding Sun,Guoliang Fan,Xiaosheng Wu.New local edge binary patterns for image retrieval, image processing[C]//Proceedings of the 20th IEEE International Conference on Image Processing,2013:4014-4018.

[37] Murala S,Maheshwari R P,Balasubramanian R.Local tetra patterns:a new feature descriptor for content-based image retrieval[J].IEEE Transactions on Image Processing,2012,21(5):2874-2886.

[38] Jun B,Kim D.Robust face detection using local gradient patterns and evidence accumulation[J].Pattern Recognition,2012,45(9):3304-3316.

[39] Satpathy A,Jiang X,Eng H.LBP-Based Edge-Texture Features for Object Recognition[J].IEEE Transactions on Image Processing,2014,23(5):1953-1964.

[40] Jabid T,Kabir M H,Chae O.Facial expression recognition using local directional pattern (LDP)[C]//Proceedings of the 17th IEEE International Conference on Image Processing,2010:1605-1608.

[41] Trefny J,Matas J.Extended set of local binary patterns for rapid object detection[C]//Computer Vision Winter Workshop,2010:1-7.

[42] 毋小省,孫君頂.基于改進(jìn)方向紋理譜特征的圖像檢索[J].光電子激光,2012,23(4):812-818.

[43] Murala S,Maheshwari R P,Balasubramanian R.Directional local extrema patterns:a new descriptor for content based image retrieval[J].International Journal of Multimedia Information Retrieval,2012,1(3):191-203.

[44] Ramirez Rivera A,Castillo R,Chae O.Local directional number pattern for face analysis:Face and expression recognition[J].IEEE Transactions on Image Processing,2013,22(5):1740-1752.

[45] Rivera A R,Castillo J R,Chae O.Local Directional Texture Pattern Image Descriptor[J].Pattern Recognition Letters,2014,51(1):94-100.

[46] Zhao Y,Huang D S,Jia W.Completed local binary count for rotation invariant texture classification[J].IEEE Transactions on Image Processing,2012,21(10):4492-4497.

[47] Fan K,Hung T.A novel local pattern descriptor-local vector pattern in high-order derivative space for face recognition[J].IEEE Transactions on Image Processing,2014,23(7):2877-2891.

[48] Hussain S U,Napoléon T,Jurie F.Face recognition using local quantized patterns[C]//Proceedings of the British Machive Vision Conference,2012:1-11.

[49] Yuan F.Rotation and scale invariant local binary pattern based on high order directional derivatives for texture classification[J].Digital Signal Processing,2014,26(4):142-152.

[50] Jun Zhang,Jimin Liang,Heng Zhao.Local energy pattern for texture classification using self-adaptive quantization thresholds[J].IEEE Transactions on Image Processing,2013,22(1):31-42.

[51] Ahmed F,Hossain E,Bari H,et al.Compound local binary pattern (clbp) for rotation invariant texture classification[J].Internal Journal of Computer Application,2011,33(6):5-10.

[52] Zhang B,Gao Y,Zhao S,et al.Local derivative pattern versus local binary pattern: face recognition with high-order local pattern descriptor[J].IEEE Transactions on Image Processing,2010,19(2):533-544.

[53] 毋小省,朱世松,孫君頂,等.基于凹凸局部二值模式的紋理圖像分類[J].光電子·激光,2014,25(8):1627-1634.

[54] Sapkota A,Boult T E.GRAB:Generalized region assigned to binary[J].EURASIP Journal on Image and Video Processing,2013,2013(1):1-11.

[55] Liu L,Zhao L,Long Y,et al.Extended local binary patterns for texture classification[J].Image and Vision Computing,2012,30(2):86-99.

[56] Xiaopeng Hong,Guoying Zhao,Matti Pietikinen,et al.Combining LBP difference and feature correlation for texture description[J].IEEE Transactions on Image Processing,2014,23(6):2557-2568.

[57] Nanni L,Brahnam S,Lumini A.A simple method for improving local binary patterns by considering non-uniform patterns[J].Pattern Recognition,2012,45(10):3844-3852.

[59] 毋小省,孫君頂.基于局部方向紋理譜描述符的圖像檢索[J].計(jì)算機(jī)工程與應(yīng)用,2012,48(35):190-193.

[60] Zhu C,Bichot C E,Chen L.Image region description using orthogonal combination of local binary patterns enhanced with color information[J].Pattern Recognition,2013,46(7):1949-1963.

[61] Liao S,Law M W K,Chung A C S.Dominant local binary patterns for texture classification[J].IEEE Transactions on Image Processing,2009,18(5):1107-1118.

[62] Guo Y,Zhao G,Pietikinen M.Discriminative features for texture description[J].Pattern Recognition,2012,45(10):3834-3843.

[63] Shan C,Gritti T.Learning discriminative LBP-histogram bins for facial expression recognition[C]//Proceedings of the British Machine Vision Conference,2008:1-10.

[64] Shan C.Learning local binary patterns for gender classification on real-world face images[J].Pattern Recognition Letters,2012,33(4):431-437.

[65] Maturana D,Soto A,Mery D.Face recognition with decision tree-based local binary patterns[C]//Proceeding of Asian Conference on Computer Vision,2010:618-629.

[66] Zhao D,Lin Z,Tang X.Contextual distance for data perception[C]//IEEE 11th International Conference on Computer Vision,2007:1-8.

[67] 毋小省,文運(yùn)平,孫君頂,等.基于紋理與特征選擇的前視紅外目標(biāo)識(shí)別 [J].光電子·激光,2014,25(10):1812-1817.

[68] Khushaba R N,AlAni A,AlJumaily A.Feature subset selection using differential evolution and a statistical repair mechanism[J].Expert Systems with Applications,2011,38(9):11515-11526.

[69] Guo Z,Zhang L,Zhang D.Rotation invariant texture classification using LBP variance (LBPV) with global matching[J].Pattern recognition,2010,43(3):706-719.

[70] 毋小省.改進(jìn)的旋轉(zhuǎn)不變區(qū)域紋理譜描述符[J].光電子·激光,2011,22(5):783-787.

[71] Qi X,Xiao R,Guo J,et al.Pairwise rotation invariant co-occurrence local binary pattern[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2014,36(11):2199-2213.

[72] Li Z,Liu G,Yang Y,et al.Scale-and rotation-invariant local binary pattern using scale-adaptive texton and subuniform-based circular shift[J].IEEE Transactions on Image Processing,2012,21(4):2130-2140.

[73] Nosaka R,Suryanto C H,Fukui K.Rotation invariant co-occurrence among adjacent LBPs[C]//Proceeding of Asian Conference on Computer Vision Workshops,2013:15-25.

[74] Mehta R,Egiazarian K.Rotated local binary pattern (RLBP)-rotation invariant texture descriptor[C]//Proceedings of International Conference on Pattern Recognition Applications and Methods,2013:497-502.

[75] Ahonen T,Matas J,He C,et al.Rotation invariant image description with local binary pattern histogram fourier features[C]//16th Scandinavian Conference on Image Analysis,2009:61-70.

[76] Maani R,Kalra S,Yang Y H.Rotation invariant local frequency descriptors for texture classification[J].IEEE Transactions on Image Processing,2013,22(6):2409-2419.

[77] Maani Rouzbeh,Kalra S,Yang Y H.Noise robust rotation invariant features for texture classification[J].Pattern Recognition,2013,46(8):2103-2116.

[78] Zhang W,Shan S,Gao W,et al.Local Gabor binary pattern histogram sequence (LGBPHS):A novel non-statistical model for face representation and recognition[C]//10th IEEE International Conference on Computer Vision,2005:786-791.

[79] Zhang W,Shan S,Chen X,et al.Are Gabor phases really useless for face recognition?[J].Pattern Analysis & Applications,2009,12(3):301-307.

[80] Zhang B,Shan S,Chen X,et al.Histogram of Gabor phase patterns (HGPP):a novel object representation approach for face recognition[J].IEEE Transactions on Image Processing,2007,16(1):57-68.

[81] Xie S,Shan S,Chen X,et al.Fusing local patterns of gabor magnitude and phase for face recognition[J].IEEE Transactions on Image Processing,2010,19(5):1349-1361.

[82] He J,Ji H,Yang X.Rotation invariant texture descriptor using local shearlet-based energy histograms[J].IEEE Signal Processing Letters,2013,20(9):905-908.

[83] Li C,Li J,Gao D,et al.Rapid-transform based rotation invariant descriptor for texture classification under non-ideal conditions[J].Pattern Recognition,2014,47(1):313-325.

RESEARCH AND PROSPECT OF LOCAL BINARY PATTERNS AND ITS EXTENSION APPROACH

Sun JundingZhou Yeyong

(SchoolofComputerScienceandTechnology,HenanPolytechnicUniversity,Jiaozuo454000,Henan,China)

AbstractIn view of the practical value of local binary pattern (LBP) in image processing and computer vision, we systematically review in the paper current extension approaches of LBP operator in different application fields. First, we briefly sum up the rationale of LBP operator. Then, we sort in detail and summarise the correlated extension approaches of LBP operator in recent years from five aspects, including the neighbourhood topological structure, the noise effect reduction, the coding method, the dimension reduction, and obtaining the rotation invariance. Finally, we analyse the mutual relations among five aspects and their problems each, and point out the research direction of LBP extensions in the future.

KeywordsLocal binary patternTopological structureCoding methodRotation invariantNoise resistant

中圖分類號(hào)TP391.3

文獻(xiàn)標(biāo)識(shí)碼A

DOI:10.3969/j.issn.1000-386x.2016.01.051

收稿日期：2014-10-16。河南省骨干教師資助計(jì)劃項(xiàng)目(2010GG JS-059)；河南省國際合作項(xiàng)目(134300510057)；河南省基礎(chǔ)與前沿基金項(xiàng)目(112300410281，132300410462)；河南理工大學(xué)創(chuàng)新型科研團(tuán)隊(duì)項(xiàng)目(T2014-3)。孫君頂，教授，主研領(lǐng)域：圖像處理與模式識(shí)別。周業(yè)勇，碩士生。