一種基于SV-NN的哈薩克語文本分類方法

古麗娜孜·艾力木江，乎西旦·居馬洪，孫鐵利，梁義

( 1.伊犁師范學(xué)院電子與信息工程學(xué)院，新疆 伊寧 835000；2.東北師范大學(xué)地理科學(xué)學(xué)院，吉林 長春 130024； 3.東北師范大學(xué)信息科學(xué)與技術(shù)學(xué)院，吉林 長春 130117)

隨著企業(yè)與數(shù)字圖書館的快速增長，文本分類已成為文本數(shù)據(jù)組織與處理的關(guān)鍵技術(shù).文本分類(Text Classification，TC)是基于機器學(xué)習(xí)的學(xué)習(xí)任務(wù)[1]，它是信息檢索技術(shù)非常活躍的研究領(lǐng)域.TC的任務(wù)是為一個文檔自動分配一組預(yù)定義的類別或應(yīng)用主題.數(shù)字化數(shù)據(jù)有不同的形式，它可以是文字、圖像、空間形式等，其中最常見和應(yīng)用最多的是文本數(shù)據(jù)，我們閱讀的新聞、社交媒體上的帖子和信息主要以文本形式出現(xiàn).文本自動分類在網(wǎng)站分類[2-3]、自動索引[4-5]、電子郵件過濾[6]、垃圾郵件過濾[7-9]、本體匹配[10]、超文本分類[11-12]和情感分析[13-14]等許多信息檢索應(yīng)用中起到了重要的作用.數(shù)字化時代，在線文本文檔及其類別的數(shù)量越來越巨大，而文本分類是從數(shù)據(jù)海洋中挖掘出具有參考價值數(shù)據(jù)的應(yīng)用程序.[15-16]文本挖掘工作是許多應(yīng)用領(lǐng)域里書面文本的分析過程，樸素貝葉斯、K緊鄰、支持向量機、決策樹、最大熵和神經(jīng)網(wǎng)絡(luò)等基于統(tǒng)計與監(jiān)督的模式分類算法在文本分類研究中已被廣泛應(yīng)用.針對迅速發(fā)展的Web數(shù)據(jù)的開發(fā)應(yīng)用，提高文本分類效率的算法研究具有重要意義.

一般來說，合理的詞干有助于提高文本分類的性能和效率[17-18]，特別是對像哈薩克語這樣構(gòu)詞和詞性變化較復(fù)雜語言的文本分類而言詞干的準(zhǔn)確提取極其重要.由于從同一個詞干可以派生許多單詞，因此通過詞干提取還可以對語料庫規(guī)模進行降維.文本文檔數(shù)量的巨大化和包含特征的多樣化給文本挖掘工作帶來一定的困難.目前，眾多文本分類研究都是基于英文或中文，而基于少數(shù)民族語言為基礎(chǔ)的文本分類研究相對較少.[19]然而國外阿拉伯語的文本分類工作相對于中國少數(shù)民族語言文本分類較成熟.[20-21]

哈薩克語言屬于阿爾泰語系突厥語族的克普恰克語支，中國境內(nèi)通用的哈薩克文借用了阿拉伯語和部分波斯文字母，而哈薩克斯坦等國家用的哈薩克文是斯拉夫文字.哈薩克文本跟中文不同的是哈薩克文文本單詞以空格分開的，而這點類似于英文，但由于兩種語言語法體系不一樣，英文詞干提取規(guī)則不能直接用到哈薩克語文本分類問題上，需要研究適合哈薩克語語法體系的詞干提取規(guī)則之后才能實現(xiàn)哈薩克語文本的分類工作.哈薩克語具有豐富的形態(tài)和復(fù)雜的拼字法，所以實現(xiàn)哈薩克語文本分類系統(tǒng)并不是一件容易的事.為了實現(xiàn)文本分類任務(wù)需要一定規(guī)模的語料庫，而語料庫里語料的質(zhì)量直接影響文本分類的精度.但是，到目前為止還沒有一個公認的哈薩克文語料庫，也有不少人認為新疆日報(哈文版)上的文本可以當(dāng)做文本分類語料.本文為了保證文本分類語料的規(guī)范化和文本分類工作的標(biāo)注化，經(jīng)過認真挑選中文標(biāo)準(zhǔn)語料庫里的部分語料文檔并對其進行翻譯和挑選新疆日報(哈文版)上的部分文檔來自行搭建了本文研究的語料.在之前研究[22-23]進行優(yōu)化改善的基礎(chǔ)上，本文給出新的樣本測度指標(biāo)與距離公式，并結(jié)合SVM與KNN分類算法實現(xiàn)了哈薩克語文本分類.

1 文本特征提取

1.1 文本預(yù)處理

文本預(yù)處理在整個文本分類工作中扮演最重要的角色，其處理程度直接影響到后期進行的文本分類精度.因為它是從文檔中抽取關(guān)鍵詞集合的過程，而關(guān)鍵詞的單獨抽取因語言語法規(guī)則的不同而不同，所以這是屬于技術(shù)含量較高的基礎(chǔ)性工作，需要設(shè)計人員熟練掌握語言語法規(guī)則和計算機編程能力.

哈薩克語文字由24個輔音字母和9個元音字母組成.哈薩克語文本詞與詞之間有空格分開，所以不需要用分詞處理，但要用詞干提取.由于哈薩克語語法形式由在單詞原形的前后附加一定的成分來完成，所以哈薩克語言屬于黏著語，即跟英文類似，一個哈薩克語單詞對應(yīng)多種鏈接形式，因此對其一定要進行詞干提取.

我們前期基本完成了哈薩克語文本詞干提取以及詞性標(biāo)注工作，完成了哈薩克語文本詞干表的構(gòu)建.該表收錄了由新疆人民出版社出版的《哈薩克語詳解詞典》中的6萬多個哈薩克語文本詞干(見圖1)和438個哈薩克語文本詞干附加成分(見圖2).

圖1 哈薩克語詞干

本文給出3種詞性的有限狀態(tài)自動機，并采用詞法分析和雙向全切分相結(jié)合的改進方法實現(xiàn)哈薩克語文本詞干的提取和單詞構(gòu)形附加成分的細切分.改進逐字母二分詞典查詢機制對詞干表進行搜索，提高詞干提取的效率.以概率統(tǒng)計的方法對歧義詞和未登陸詞進行切分.在此基礎(chǔ)上，設(shè)計實現(xiàn)了哈薩克語文本的詞法自動分析程序，完成哈薩克語文本的讀取預(yù)處理.處理結(jié)果如圖3所示，上半部顯示的是待切分的文檔原文，下半部顯示的是詞干切分后的結(jié)果.

1.2 特征處理

特征就是文本分類時判別類別的尺度.模式識別的不同分類問題有不同的特征選擇方法，而在文本分類問題中常用到的方法有互信息(MI)、X2統(tǒng)計量(CHI)、信息增益(IG)、文檔頻率(DF)等幾種.[24]這些方法各具特色和不足.MI、IG和CHI傾向于低頻詞的處理，而DF則傾向于高頻詞的處理.目前，也有許多優(yōu)化改進方法[25-27]，其中，文本頻率比值法DFR(Document Frequency Ratio，DFR)以簡單、快捷等優(yōu)點克服了以上幾種方法存在的問題，綜合考慮了類內(nèi)外文本頻率，其計算公式為

(1)

通過對詞頻統(tǒng)計、詞權(quán)重計算和文檔向量化表示等一系列的預(yù)處理之后才能運用分類算法，所以對于文本分類而言這些都是非常重要的階段性基礎(chǔ)工作.每類文檔里(如體育類文檔中)每一個單詞(如“排球”詞)的總出現(xiàn)次數(shù)見圖4.詞的權(quán)重計算結(jié)果見圖5，即統(tǒng)計某詞在判別文檔類別所屬關(guān)系中的隸屬度，隸屬度越高說明該詞在文檔分類時的貢獻越大.最后對文檔進行形式向量化表示(見圖6)，生成分類問題的文檔向量，即“XX號特征詞：該特征詞的特征向量”形式向量化表示.

圖3 哈薩克語文本詞干切分結(jié)果示例

2 SVM與KNN方法

2.1 SVM方法

SVM是由C.Cortes等[28]在1995 年首次提出來的一種模式識別分類技術(shù).它是在統(tǒng)計學(xué)習(xí)理論(Statistical Leaning Theory，SLT)原理的基礎(chǔ)上發(fā)展起來的機器學(xué)習(xí)算法.SVM方法的重點是在高維特征空間中構(gòu)造函數(shù)集VC維盡可能小的最優(yōu)分類面，使不同類別樣本通過超平面在分類風(fēng)險上界最小化，從而保證分類算法的最優(yōu)推廣能力.在有限訓(xùn)練樣本情況下，SVM在學(xué)習(xí)機復(fù)雜度和學(xué)習(xí)機泛化能力之間找到一個平衡點[29]，從而保證學(xué)習(xí)機的推廣能力.

SVM方法模型見圖7，圖7b是線性可分的，圖7c是線性不可分的，即根據(jù)樣本分布情況與樣本集維數(shù)，SVM分類算法的判別函數(shù)原理大致可由圖7(b，c)2種形式表示.

圖7 SVM分類原理示意圖

2.1.1 線性可分

訓(xùn)練樣本集的SVM線性可分分類問題的數(shù)學(xué)模型為

S={(xi·yi)，i=1，2，…，r}，xi∈Rn，yi∈{+1，-1}.

(2)

(2)式還可表達為

(3)

(4)

其中對應(yīng)ai≠0時的樣本點就是支持向量.因為最優(yōu)化問題解ai的每一個分量都與一個訓(xùn)練點相對應(yīng)，顯然所求得的劃分超平面，僅僅與對應(yīng)ai≠0時的訓(xùn)練點(xi·x)相關(guān)，而跟ai=0時的訓(xùn)練點無關(guān).相應(yīng)于ai≠0時的訓(xùn)練點(xi·x)輸入點xi就是支持向量，通常是全體樣本中的很少一部分.最終分類分界面的法向量ω只受支持向量的影響，與非支持向量訓(xùn)練點的無關(guān).

2.1.2 非線性可分

SVM通過運用合適的非線性映射，如φ：xi→φ(xi)把分類問題原訓(xùn)練樣本點轉(zhuǎn)變(映射)到新特征空間中，使得原樣本在這新特征空間(目標(biāo)高維空間)中能夠線性可分，然后利用線性可分問題求出最終的最優(yōu)分類超面.

為此，需要在(3)式中增加一個松弛變量ξi和懲罰因子C，從而(3)式變?yōu)?/p>

(4)

s.t.yi[ωxi+b]-1+ξi≥0，ξi≥0，i=1，2，…，n.

(5)

其中C為控制樣本對錯分程度的調(diào)整因子，通常稱為懲罰因子.C越大，懲罰越重.

分類問題的訓(xùn)練樣本不充足或不能保證訓(xùn)練樣本質(zhì)量情形下，確定非線性映射是很困難的，SVM通過運用核函數(shù)概念解決這些困難.

SVM通過引入一個核函數(shù)K(xi，x)，將原低維的分類問題空間映射到高維的新問題空間中，讓核函數(shù)代替ω·φ(x)內(nèi)積運算，這個高維的新問題空間就稱Hilbert空間.引入核函數(shù)以后的最優(yōu)分類函數(shù)為

(6)

2.2 KNN方法

KNN(K Nearest Neighbor，KNN)分類法是基于實例的學(xué)習(xí)算法，它需要所有的訓(xùn)練樣本都參與分類.[30]在分類階段，利用歐氏距離公式，將每個測試樣本與和鄰近的k個訓(xùn)練樣本進行比較，然后將測試樣本歸屬到票數(shù)最多的那一類里.[31]KNN方法是根據(jù)測試樣本最近的k個樣本點的類別信息來對該測試樣本類型進行判別，所以k值的選定非常重要.k值太小，測試樣本特征不能充分體現(xiàn)；k值太大，與測試樣本并不相似的個別樣本也可能被包含進來，這樣反而對分類不利.在分類決策上只依據(jù)最鄰近的k個樣本的類別來決定待分樣本的所屬類.目前，對于k值的選取還沒有一個全局最優(yōu)的篩選方法，這也是KNN方法的弊端，具體操作時，只好根據(jù)先驗知識先給出一個初始值，然后根據(jù)仿真分類實驗結(jié)果重新調(diào)整，而重復(fù)調(diào)整k值的操作一直到進行到分類結(jié)果滿足用戶需求為止.該方法原理可表示為

(7)

(7)式表明將測試樣本di劃入到k個鄰近類別中成員最多的那個類里.

在使用KNN算法時，還可利用其他策略生成測試樣本的歸屬類，其函數(shù)為

(8)

其中：di是測試樣本，而xj是k個最近鄰之一；y(xj，ck)∈{0，1}表明xj是否屬于ck類，即當(dāng)xj∈ci時，y(xj，ci)=1，當(dāng)xj?ci時，y(xj，ci)=0；Sim(di，xj)是測試樣本di和它最近鄰xj之間的余弦相似度.余弦相似度測量是由一個向量空間中2個向量之間夾角余弦值來定義的.(8)式說明測試樣本di被歸屬到k個最近鄰類里相似性最大的那個類里.

一般情況下，不同類別訓(xùn)練樣本的分布是不均勻的，同樣不同類別的樣本個數(shù)也可能不一樣.所以，在分類任務(wù)中，KNN中k值可能會導(dǎo)致不同類別之間的偏差.例如，對于(7)式，一個較大的k值使得方法過擬合，反過來一個較小的k值使得方法模型不穩(wěn)定.實際上，k值通常由交叉驗證技術(shù)來獲取.然而，像在線分類等某些情況下，不能用交叉驗證技術(shù)，只能給出經(jīng)驗值，總之k值的選定很重要.

KNN雖然是簡單有效的分類方法，但不能忽略以下兩方面的問題：一方面，由于KNN需要保留分類過程中的所有相似性計算實例，隨著訓(xùn)練集規(guī)模的增多，方法計算量也會增長，在處理較大規(guī)模數(shù)據(jù)集的分類時方法的時間復(fù)雜度會達到不可接受的程度[32]，這也是KNN方法的一個很大缺點；另一方面，KNN方法分類的準(zhǔn)確性可能受到訓(xùn)練數(shù)據(jù)集中特性的無關(guān)性和噪聲數(shù)據(jù)的影響，若考慮這些因素分類效果也許更好.

3 基于SV-NN的哈薩克語文本分類算法

3.1 SV-NN算法描述

假設(shè)共有n個類，每個類別含有m個支持向量.

訓(xùn)練集：T1={x1，x2，…，xt}；

測試集：T2={x1，x2，…，xl}，且T=T1∪T2.

SV-NN分類算法描述：

Start：

{integeri，j，k，l；

i=1；j=1；k=1；//i=1，2，…，n；j=1，2，…，m；

SVM：T1→svij；//通過使用SVM定義每個類的支持向量.

while(k

{ 輸入xk；

計算xk與svij之間的距離(Dk)；

計算xk與svij之間的平均距離(averDk)；

k=k+1；

}

}

End.

3.2 SV-NN算法實現(xiàn)

步驟1：將所有訓(xùn)練點映射到向量空間，并通過傳統(tǒng)SVM確定每一個類別的支持向量.

(9)

其中支持向量svij是從輸入文檔中提取的(共有n個類，每個類別含有m個支持向量).確定每一類的支持向量svs之后，其余的訓(xùn)練點可以消除.

步驟2：使用歐氏距離公式

(10)

計算測試樣本xk與由步驟1生成的每一類支持向量svij之間的距離.

步驟3：計算測試樣本xk與每一類支持向量svij之間的平均距離，公式為

(11)

步驟4：計算最短平均距離minD，并將測試樣本xk劃入到最短平均距離對應(yīng)的一類中，公式為

(12)

即輸入點被確認為輸入點與svij之間最短平均距離值對應(yīng)的正確類.

重復(fù)步驟2～4，直到所有的測試樣本分類完為止.

4 實驗結(jié)果與評價

通常語料庫里語料的質(zhì)量與數(shù)量直接影響文本分類算法的分類性能.本文考慮到文本分類工作的規(guī)范性和語料的標(biāo)準(zhǔn)性，由中文標(biāo)準(zhǔn)語料庫里的部分文檔的翻譯和新疆日報(哈文版)上的部分文檔的篩選搭建了本文研究的語料庫.這次是對前期語料集的補充和優(yōu)化完善.原來的語料集語料文檔只有5類文檔，這次擴充到8類文檔.通過語言學(xué)專家們的多次溝通，選擇了具有代表性的文檔，同時對詞干提取程序解析規(guī)則上也做了些適當(dāng)?shù)恼{(diào)整.對于本文研究所構(gòu)建語料庫上還不能用得上“標(biāo)準(zhǔn)”這詞語，但現(xiàn)階段對哈薩克語文本分類任務(wù)的完成具有實際應(yīng)用價值.

本文在前期系列研究的基礎(chǔ)上，把以前的語料集規(guī)模擴大到由計算機、經(jīng)濟、教育、法律、醫(yī)學(xué)、政治、交通、體育等8類共1 400個哈薩克語文檔組成的小型語料數(shù)據(jù)集(見表1).數(shù)據(jù)集被分為2個部分.880個文檔(63%)用于訓(xùn)練數(shù)，520個文檔用于測試(37%).

表1 8類小型語料數(shù)據(jù)集

本文文本分類實驗評價指標(biāo)采用了分類精度、召回率和F13種評價方法.期望獲得較高的分類精度和召回率.在前期系列研究中所搭建的哈薩克文語料集的補充完善和詞干提取程序提取規(guī)則細節(jié)的優(yōu)化改善基礎(chǔ)上實現(xiàn)了哈薩克語文本的分類.運用SVM、KNN與本文提出的SV-NN算法，并對3種算法分類精度進行了較全面的對比分析，分析結(jié)果見圖8.通過對圖8的仿真實驗數(shù)字的對比分析，發(fā)現(xiàn)SVM算法優(yōu)于KNN算法，而SV-NN算法優(yōu)于SVM 算法.SV-NN方法F1指標(biāo)除了教育類和法律類以外在其他類上的F1指標(biāo)都高于SVM、KNN.SVM、KNN和SV-NN平均分類精度分別為0.754，0.731和0.778，說明本文提出的算法對所有類別文檔詞的召回率和區(qū)分度較穩(wěn)定.在有限樣本情況下，該算法模型已繼承SVM算法，獲得較好分類精度，而且沒有定義KNN算法的k參數(shù)，也沒有跟所有類全部訓(xùn)練樣本進行距離運算.所以，本文提出的算法無論從算法復(fù)雜度的分析還是算法收斂速度的分析都是有效的.當(dāng)然，總體精度沒有中英文等其他語言文本分類精度高，但是目前獲得的分類精度比較理想，本文算法的文本分類性能和召回率有了很大的提升，對于影響分類精度的以上幾方面的問題將繼續(xù)研究，并努力爭取得到滿意的分類精度.

(a)SVM分類精度

(c)SV-NN分類精度

5 結(jié)論

本文在前期系列研究的基礎(chǔ)上實現(xiàn)了哈薩克語文本的分類.運用了模式識別的3種分類算法，并對3種算法分類精度進行了較全面的對比分析.通過仿真實驗，證明本文提出方法具有一定的優(yōu)越性.本文算法對所有類別文檔詞的召回率和區(qū)分度較穩(wěn)定.不需要設(shè)置k參數(shù)，保證了分類算法的收斂速度，獲得了較高的分類精度和召回率.

[參 考 文 獻]

[1] SEBASTIANI F.Machine learning in automated text categorization[J].ACM Computing Surveys，2002，34(1)：1-47.

[2] AHMADI A，F(xiàn)OTOUHI M，KHALEGHI M.Intelligent classification of web pages using contextual and visual features[J].Applied Soft Computing，2011，11(2)：1638-1647.

[3] MARTINEZ CAMARA E，MARTIN VALDIVIA MT，URENA LOPEZ LA，et al.Polarity classification for Spanish tweets using the COST corpus[J].Journal of Information Science，2015，41(3)：263-272.

[4] PERCANELLA G，SORRENTINO D，VENTO M.Automatic indexing of news videos through text classification techniques[C]// Proceedings of the 3rd International Conference on Pattern Recognition and Image Analysis (Part II).Berlin：Springer，2005：512-521.

[5] RONG HU，BRIAN MAC NAMEE，SARAH JANE DELANY.Active learning for text classification with reusability[J].Expert Systems With Applications，2016，45(3)：438-449.

[6] SAKURAI S，SUYAMA A.An e-mail analysis method based on text mining techniques[J].Applied Soft Computing，2006，6(1)：62-71.

[7] ALKABI M，WAHSHEH H，ALSMADI I，etal.Content-based analysis to detect Arabic web spam[J].Journal of Information Science，2012，38(3)：284-296.

[8] ADEL HAMDAN，RAED ABUZITAR.Spam detection using assisted artificial immune system[J].International Journal of Pattern Recognition and Artificial Intelligence，2011，25(8)：1275-1295.

[9] RAED ABUZITAR，ADEL HAMDAN.Application of genetic optimized artificial immune system and neural networks in spam detection[J].Applied Soft Computing，2011，11(4)：3827-3845.

[10] MING M，YEFEI P，MICHAEL S.Ontology mapping：as a binary classification problem[J].Concurrency and Computation：Practice and Experience，2011，23(9)：1010-1025.

[11] YANG Y，SLATTERY S，GHANI R.A study of approaches to hypertextcategorization[J].Journal of Intelligent Information Systems，2002，18(2/3)：219-241.

[12] REN FUJI，LI CHAO.Hybrid Chinese text classification approach using general knowledge from Baidu Baike[J].IEEJ Transaction on Electrical and Electronic Engineering，2016，11(4)：488-498.

[13] DUWAIRI R，ELORFALI M.A study of the effects of preprocessing strategies on sentiment analysis for Arabic text[J].Journal of Information Science，2014，40(4)：501-513.

[14] 張冬梅.文本情感分類及觀點摘要關(guān)鍵問題研究[D].濟南：山東大學(xué)，2012.

[15] 楊杰明.文本分類中文本表示模型和特征選擇算法研究[D].長春：吉林大學(xué)，2013.

[16] CNNIC.第37次中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計報告[R].北京：中國互聯(lián)網(wǎng)絡(luò)信息中心，2016.

[17] SYIAM MM，F(xiàn)AYED ZT，HABIB MB.An intelligent system for Arabic text categorization[J].Journal of Intelligent Computing and Information Sciences，2006，6(1)：1-19.

[18] DUWAIRI R，ALREFAI M，KHASAWNEH N.Stemming versus light stemming as feature selection techniques for Arabic text categorization[J].International Conference on Innovations in Information Technology，2008，25(9)：446-450.

[19] HE HUI，WANG JUNYI.Study of active learning support vector machine and its application on mongolian text classification[J].Acta Sientiarum Naturalium Universitatis NeiMongol，2006，37(5)：560-563.

[20] ABDULLAHI O ADELEKE，NOOR A SAMSUDIN，AIDA MUSTAPHA，et al.Comparative analysis of text classification algorithms forautomated labelling of quranicverses[J].International Journal on Advanced Science Engineering Information Technology，2017，7(4)：119-1427.

[21] ADEL HAMDAN MOHAMMAD，TARIQ ALWADA’N，OMAR AL MOMANI.Arabic text categorization using supportvector machine，na?ve bayes and neural network[J].GSTF Journal on Computing (JOC)，2016，5(1)：108-115.

[22] GULINAZI，SUN TIE LI，YILIYAER，et al.Research into text categorization of kazakh based on support vector machine[J].CAAI Transaction on Intelligent Systems，2011，6(3)：261-267.

[23] GULNAZ，SUN TIE LI，YILIYAR.Text categorization of Kazakh text based on SVM-modified KNN[J].Journal of Northwest Normal University，2014，50(5)：48-53.

[24] 旺建華.中文文本分類技術(shù)研究[D].長春：吉林大學(xué)，2007.

[25] JOACHIMS T.Text categorization with support vector machines：Learning with many relevant features[C]//In Proceedings of The 10th European Conference on Machine Learning(ECML).Berlin：Springer，1998：137-142.

[26] WANG ZIQIANG，SUN XIA，ZHANG DEXIAN，et al.An optimal svm-based text classification algorithm[C]//5th International Conference on Machine Learning and Cybernetics.Dalian：IEEE，2006：13-16.

[27] MONTANES E，F(xiàn)ERANDEZ J，DIAZ I，et al. Measures of rule quality for feature selection in text categorization[C]// 5th International Symposium on Intelligent Data Analysis.Berlin：Springer，2003：589-598.

[28] CORTES C，VAPNIK V.Support-vector networks[J].Machine Learning，1995，20(3)：273-297.

[29] WANG XUESONG，HUANG FEI，CHENG YUHU.Computational performance optimization of support vector machine based on support vectors[J].Neurocomputing，2016，211：66-71.

[30] COVER T M，HART P E.Nearest neighbor pattern classification[J].IEEE Transactionson Information Theory，1967，13(1)：21-27.

[31] HASTIE T，TIBSHIRANI R，F(xiàn)RIEDMAN J H.The elements of statistical learning：data mining，inference and prediction[J].Journal of the Royal Statistical Society，2009，173(3)：693-694.

[32] QING MIN MENG，CHRIS J，CIESZEWSKI，et al.Knearest neighbor method for forest inventory using remote sensing data[J].GIS Science and Remote Sensing，2007，44(2)：149-165.