融合一致性正則與流形正則的半監(jiān)督深度學(xué)習(xí)算法

王杰，張松巖，梁吉業(yè)

1. 山西大學(xué)計算機(jī)與信息技術(shù)學(xué)院，山西 太原 030006；

2. 計算智能與中文信息處理教育部重點實驗室，山西 太原 030006

0 引言

隨著互聯(lián)網(wǎng)和信息產(chǎn)業(yè)的飛速發(fā)展，人們采集與獲取數(shù)據(jù)的能力大大提高，信息量以前所未有的速度增長。世界已進(jìn)入大數(shù)據(jù)時代[1]，這些大數(shù)據(jù)蘊含著巨大的價值，對于社會、經(jīng)濟(jì)、科學(xué)等各個方面都具有重要的戰(zhàn)略意義[2-5]，為人們更深入地感知、認(rèn)識和控制物理世界提供了前所未有的豐富信息。大數(shù)據(jù)時代的到來引發(fā)了深度學(xué)習(xí)的研究熱潮并取得了巨大的成功，但訓(xùn)練一個深度網(wǎng)絡(luò)模型往往需要大量具有高質(zhì)量標(biāo)記的訓(xùn)練樣本[6-7]。對于許多深度學(xué)習(xí)任務(wù)來說，獲取大量用于訓(xùn)練的有標(biāo)記樣本的成本是極其昂貴的，且需要耗費大量的時間，與此同時，無標(biāo)記樣本的獲取相對容易且廉價。因此，如何利用大量無標(biāo)記樣本來輔助提高學(xué)習(xí)方法的泛化性能，已成為一個重要研究問題。

為了應(yīng)對這一問題，半監(jiān)督學(xué)習(xí)（semi-supervised learning，SSL）應(yīng)運而生，其目的是通過在模型訓(xùn)練中引入無標(biāo)記樣本來解決傳統(tǒng)監(jiān)督學(xué)習(xí)在訓(xùn)練樣本不足時性能差的問題[8]。近年來，隨著深度學(xué)習(xí)的興起，半監(jiān)督深度學(xué)習(xí)取得了很多顯著的成果并受到越來越多的關(guān)注，其中基于一致性正則的方法[9-14]是半監(jiān)督深度學(xué)習(xí)[15]研究中的熱點問題之一。一致性是指模型對擾動后訓(xùn)練樣本的預(yù)測結(jié)果應(yīng)與原預(yù)測結(jié)果保持一致。由于這類方法并不依賴于樣本的真實標(biāo)記，因此可以使用大量的無標(biāo)記數(shù)據(jù)。一致性正則鼓勵預(yù)測函數(shù)對樣本的鄰域具有光滑性，使得樣本點局部的預(yù)測是平滑的，這種具有局部平滑性的模型更容易推廣。然而，基于一致性正則的方法僅僅考慮模型對樣本的鄰域具有光滑性，沒有考慮數(shù)據(jù)流形結(jié)構(gòu)，可能會使得一部分相近的樣本得到差異很大的輸出，導(dǎo)致分類器性能下降。如圖1（a）所示，盡管內(nèi)外圈的樣本點均局部平滑，但外圍點中出現(xiàn)了兩處低密度空白區(qū)域，這樣分類面可能會位于該低密度區(qū)域，使得外圈中右側(cè)的樣本錯分，造成分類性能下降。圖1中紅色和黑色的實心點為兩類有標(biāo)記樣本，空心點為無標(biāo)記樣本，紫色的虛線圈為樣本點鄰域的一致性表示，藍(lán)色、綠色和黃色的實線為可能的分類面。

圖1 基于一致性正則、流形正則的半監(jiān)督學(xué)習(xí)方法以及本文提出方法的示意圖

為了應(yīng)對上述問題，本文提出一種融合一致性正則與流形正則的半監(jiān)督深度算法SmoothMatch。流形正則[16-20]是基于半監(jiān)督學(xué)習(xí)中常見的流形假設(shè)，即假設(shè)數(shù)據(jù)分布在流形上，鄰近的樣本擁有相似的輸出值。這里的鄰近程度常用相似程度來刻畫。流形是在局部與歐氏空間同胚的空間，換言之，它在局部具有歐氏空間的性質(zhì)，能用歐氏距離進(jìn)行距離計算。針對每個樣本點，基于歐氏距離找出其鄰近樣本點，然后建立一個鄰近連接圖，圖中鄰近點之間存在連接，而非鄰近點之間不存在連接。這類方法將有標(biāo)記樣本和無標(biāo)記樣本映射為圖，以近似刻畫數(shù)據(jù)的流形分布，從而可以充分利用數(shù)據(jù)中蘊含的流形結(jié)構(gòu)信息。但這類方法只能保證在構(gòu)造的圖上保持局部相似性，即相連的樣本有相似的輸出。當(dāng)樣本擾動方向不是沿著圖所近似的流形時，預(yù)測函數(shù)對擾動的樣本的預(yù)測可能會發(fā)生很大的改變，即模型不能為未見到的樣本點提供合理的輸出。如圖1（b）所示，黃色、藍(lán)色分類面分別靠近外圈和內(nèi)圈的數(shù)據(jù)點，這會導(dǎo)致學(xué)習(xí)器的泛化性能降低。本文提出的算法綜合了兩類方法的優(yōu)點，如圖1（c）所示，本文提出的算法不僅考慮了每個樣本點的局部預(yù)測平滑，也考慮了真實的鄰近（相連）樣本具有平滑性，使得模型充分利用了數(shù)據(jù)的結(jié)構(gòu)（流形）信息，進(jìn)而可以將分類邊界推向合理的低密度區(qū)域，有效地提高半監(jiān)督深度學(xué)習(xí)算法的性能。在多個圖像和文本標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行實驗，與相關(guān)算法/模型相比，本文所提算法SmoothMatch的性能有明顯提高。

1 相關(guān)工作

1.1 半監(jiān)督學(xué)習(xí)

半監(jiān)督學(xué)習(xí)是近20年發(fā)展起來的一類新型機(jī)器學(xué)習(xí)方法，目前半監(jiān)督分類算法可以大致分為如下幾類：基于支持向量機(jī)（support vector machine，SVM）的半監(jiān)督算法[21]、基于協(xié)同訓(xùn)練的算法[22-23]、基于生成式的算法[24-25]、基于圖的半監(jiān)督算法[16-20]，以及半監(jiān)督深度學(xué)習(xí)算法[15]。基于一致性正則的半監(jiān)督學(xué)習(xí)算法[9-14]是半監(jiān)督深度學(xué)習(xí)算法中一類非常重要的學(xué)習(xí)范式。除此之外，半監(jiān)督學(xué)習(xí)算法還包括半監(jiān)督聚類[26]和半監(jiān)督回歸[27]等算法。下面著重回顧與本文相關(guān)的基于圖的半監(jiān)督學(xué)習(xí)算法和基于一致性正則的半監(jiān)督學(xué)習(xí)算法。

1.2 基于圖的半監(jiān)督學(xué)習(xí)算法

基于圖的半監(jiān)督學(xué)習(xí)利用有標(biāo)記和無標(biāo)記樣本之間的聯(lián)系得到一個關(guān)于樣本空間的圖結(jié)構(gòu)，然后利用這個圖結(jié)構(gòu)將標(biāo)記從有標(biāo)記樣本“傳播”到無標(biāo)記樣本。如Zhu X J等人[16]提出了一種基于高斯隨機(jī)場模型的半監(jiān)督學(xué)習(xí)算法，該算法將有標(biāo)記和無標(biāo)記的數(shù)據(jù)表示為一個加權(quán)圖，邊上的權(quán)重表示數(shù)據(jù)之間的相似性。然后，學(xué)習(xí)問題被表述為圖上的高斯隨機(jī)場；Belkin M等人[17]引入圖拉普拉斯正則化，將直推式圖半監(jiān)督學(xué)習(xí)拓展到歸納式，可以對訓(xùn)練集中沒有出現(xiàn)過的樣本進(jìn)行分類，使得模型具備一定的通用性和泛化能力；Bai L等人[18]提出了一種新的標(biāo)記傳播算法，該算法將標(biāo)記的成對關(guān)系作為約束條件，建立有約束的標(biāo)記傳播。Wang J等人[19]提出了一種基于圖神經(jīng)網(wǎng)絡(luò)的半監(jiān)督分類算法，該算法融合多個圖神經(jīng)網(wǎng)絡(luò)的結(jié)果，在保證有標(biāo)記節(jié)點分類正確的同時，利用大量無標(biāo)記節(jié)點的偽標(biāo)記信息最大化多個圖神經(jīng)網(wǎng)絡(luò)的多樣性，從而提升圖半監(jiān)督學(xué)習(xí)的性能。Liang J Y等人[20]提出了一種自適應(yīng)構(gòu)圖的方法，將構(gòu)圖和標(biāo)記推理集成到統(tǒng)一的優(yōu)化框架中，實現(xiàn)二者的相互指導(dǎo)和動態(tài)提升，從而實現(xiàn)魯棒的圖半監(jiān)督學(xué)習(xí)。

1.3 基于一致性正則的半監(jiān)督學(xué)習(xí)算法

基于一致性正則的方法分為基于樣本擾動的方法與基于模型擾動的方法。雖然二者在具體實現(xiàn)上有諸多不同，但目的都是最小化模型預(yù)測的一致性損失。

基于樣本擾動的方法將原樣本和擾動后的樣本輸入同一個模型中，然后最小化二者預(yù)測的不一致性。該類方法依賴于數(shù)據(jù)增廣技術(shù)。為了產(chǎn)生高質(zhì)量的擾動樣本，近年來研究者提出了大量數(shù)據(jù)增廣技術(shù)，如Miyato T等人[12]提出了虛擬對抗訓(xùn)練（virtual adversarial training，VAT）模型，其主要思想是找到使模型輸出偏差最大的方向，然后在這個方向上對輸入產(chǎn)生擾動；Verma V等人[13]提出了插值一致性訓(xùn)練（interpolation consistency training，ICT）模型，該模型將一個樣本點沿另一個樣本點的方向做擾動，模型對兩個樣本點間插值的預(yù)測結(jié)果應(yīng)與模型對兩個樣本點預(yù)測結(jié)果的插值一致；谷歌的Berthelot D等人[9]融合多種數(shù)據(jù)增廣技術(shù)提出了MixMatch算法，達(dá)到非常低的分類錯誤率。

基于模型擾動的方法將訓(xùn)練樣本輸入結(jié)構(gòu)相同但參數(shù)不同的兩個或多個網(wǎng)絡(luò)中，實現(xiàn)模型預(yù)測的一致性。其中，Laine S等人[10]提出了Π模型和temporal ensembling模型。Π模型將訓(xùn)練樣本輸入兩個結(jié)構(gòu)相同的網(wǎng)絡(luò)，兩個網(wǎng)絡(luò)使用隨機(jī)Dropout技術(shù)產(chǎn)生不同的網(wǎng)絡(luò)參數(shù)，最后最小化兩個網(wǎng)絡(luò)的預(yù)測結(jié)果，從而達(dá)到一致性正則化的目的；temporal ensembling模型首先計算訓(xùn)練樣本在前幾個訓(xùn)練輪次（epoch）中預(yù)測的平均值，然后最小化該平均值與當(dāng)前epoch的預(yù)測值，利用多個epoch的預(yù)測來實現(xiàn)一致性。Tarvainen A等人[11]提出了mean teacher模型，與temporal ensembling對前幾輪的預(yù)測進(jìn)行平均不同，mean teacher對前幾輪的模型參數(shù)進(jìn)行平均，并最小化該模型與當(dāng)前模型的預(yù)測值，從而實現(xiàn)模型擾動的一致性。

然而上述基于一致性正則的方法僅僅計算樣本鄰域內(nèi)的一致性，并沒有考慮數(shù)據(jù)點之間的連接，這樣可能會缺失樣本數(shù)據(jù)結(jié)構(gòu)中的信息。因此，筆者將基于一致性正則的方法與基于流形正則的方法結(jié)合，提出一種融合一致性正則與流形正則的半監(jiān)督深度學(xué)習(xí)算法SmoothMatch。

2 融合一致性正則與流形正則的半監(jiān)督深度學(xué)習(xí)算法

在詳細(xì)介紹算法之前，首先介紹算法中用到的部分變量：假設(shè)數(shù)據(jù)集D里有N個樣本，其中為有標(biāo)記樣本集合，標(biāo)記，共K個類別；為無標(biāo)記樣本集合。

本文提出一種融合一致性正則與流形正則的半監(jiān)督深度學(xué)習(xí)算法SmoothMatch，其不僅對樣本局部區(qū)域的擾動施加平滑約束，同時考慮了樣本點之間的結(jié)構(gòu)信息。算法的總體損失函數(shù)如下：

總體損失主要由3項構(gòu)成：①對于有標(biāo)記樣本，比較模型的預(yù)測結(jié)果與樣本的真實標(biāo)記，計算交叉熵?fù)p失?s；②對于無標(biāo)記樣本，采用數(shù)據(jù)增廣技術(shù)Augment(xu)計算一致性損失?s；③從有標(biāo)記樣本和無標(biāo)記樣本中抽取樣本，將這些樣本進(jìn)行特征空間映射并構(gòu)圖，最后計算平滑性損失?s。λc與λs為防止某一項損失過大或過小而平衡3項損失的權(quán)值參數(shù)。算法整體框架如圖2所示。

圖2 算法整體框架

2.1 樣本鄰域內(nèi)的一致性損失

本節(jié)使用ICT模型[13]中的數(shù)據(jù)增廣方法Mixup來計算一致性損失。Mixup的基本計算式如下：

其中，λ為服從β分布的權(quán)值參數(shù)，Mixλ(a,b)為a和b之間的插值。

給定一個小批量（mini-batch）數(shù)據(jù)集中的任意兩個樣本點xi與xj以及模型預(yù)測結(jié)果f(xi,θ)和f(xj,θ) ，根據(jù)式（2）可以得到這兩個樣本點間的插值，則模型對該插值的預(yù)測結(jié)果為同時可以得到模型對樣本點xi與xj預(yù)測結(jié)果的插值一致性 損 失 便是要求保持一致。因此，在一個mini-batch數(shù)據(jù)集內(nèi)的一致性損失為：

2.2 樣本間的平滑性損失

在大數(shù)據(jù)環(huán)境下，刻畫樣本間平滑性損失的流形正則項面臨如下挑戰(zhàn)。①大多數(shù)現(xiàn)有的構(gòu)圖方法是對輸入空間的距離度量，但該類方法有很大的局限性。例如對于圖像樣本，其輸入是多通道像素值，然而像素距離并不能很好地反映樣本間的語義相似性。②傳統(tǒng)基于圖的算法計算整個數(shù)據(jù)集的鄰接矩陣并在此基礎(chǔ)上構(gòu)圖，耗費的時間過長、空間復(fù)雜度過高。③傳統(tǒng)方法構(gòu)建的是靜態(tài)固定的圖，因此不能利用分類器提取的知識進(jìn)行圖的動態(tài)調(diào)整。

為了解決這些問題，本文提出在minibatch數(shù)據(jù)集內(nèi)構(gòu)圖并計算平滑性損失的方法。在樣本的標(biāo)記空間計算樣本相似度，并采用動態(tài)構(gòu)圖的方式，隨著學(xué)習(xí)不斷更新圖結(jié)構(gòu)，從而更好地指導(dǎo)學(xué)習(xí)器學(xué)習(xí)樣本間的平滑。

（1）構(gòu)圖與鄰接矩陣的計算

在每一個mini-batch數(shù)據(jù)集內(nèi)，用其中的數(shù)據(jù)構(gòu)造K近鄰（K-nearest neighbor，KNN）圖，與傳統(tǒng)構(gòu)圖不同的是，這里使用樣本的標(biāo)記空間度量樣本間的相似度，權(quán)值矩陣計算如下：

其中，δ>0是指定的高斯函數(shù)帶寬參數(shù)，f(xi)是模型對樣本的預(yù)測。

（2）平滑性損失計算

給定鄰接矩陣W與樣本特征表達(dá)后，平滑性損失如下：

其中，h:X →Rp為輸入空間到網(wǎng)絡(luò)倒數(shù)第二層的映射。

2.3 算法實現(xiàn)細(xì)節(jié)

SmoothMatch的整體損失函數(shù)如下：

其中，wc(t)和ws(t)是隨epoch迭代線性上升的權(quán)值函數(shù)。算法流程如下。

輸入：有標(biāo)記樣本集合L，無標(biāo)記樣本集合u，隨epoch迭代線性上升的權(quán)值函數(shù)wc(t)和ws(t)，模型f(xi;θ)，損失平衡項λc與λs，模型迭代次數(shù)numepochs

輸出：更新后的模型參數(shù)θ

3 實驗設(shè)計與分析

為了測試SmoothMatch算法的有效性，在3個圖像數(shù)據(jù)集以及兩個英文文本數(shù)據(jù)集進(jìn)行實驗，圖像數(shù)據(jù)集分別為CIFAR-10、CIFAR-100和SVHN，文本數(shù)據(jù)集分別為IMDB和Yahoo！Answers。數(shù)據(jù)集介紹見表1。

表1 數(shù)據(jù)集介紹

本文數(shù)據(jù)遵循參考文獻(xiàn)[28]的劃分方法，對于圖像數(shù)據(jù)集，CIFAR-10與CIFAR-100分別包括45 000個訓(xùn)練樣本、5 000個驗證樣本和10 000個測試樣本，SVHN數(shù)據(jù)集包括65 932個訓(xùn)練樣本、7 325個驗證樣本和26 032個測試樣本；對于文本數(shù)據(jù)集，IMDB數(shù)據(jù)集包括63 000個訓(xùn)練樣本、7 000個驗證樣本和25 000個測試樣本，Yahoo！Answers數(shù)據(jù)集包括45 000個訓(xùn)練樣本、5 000個驗證樣本和60 000個測試樣本。為了測試算法在半監(jiān)督學(xué)習(xí)環(huán)境下的性能，標(biāo)準(zhǔn)做法是將大部分訓(xùn)練樣本視為無標(biāo)記數(shù)據(jù)，只隨機(jī)抽取并使用小部分有標(biāo)記數(shù)據(jù)。

3.1 基線方法

對于圖像數(shù)據(jù)集，對比Π模型[10]、mean teacher模型[11]、VAT模型[12]、MixMatch算法[9]以及本文的SmoothMatch算法的實驗結(jié)果。為了確保對比實驗一致，實驗使用Wide ResNet-28模型，模型結(jié)構(gòu)與詳細(xì)說明參照參考文獻(xiàn)[28]，學(xué)習(xí)率衰減值為0.999，權(quán)值衰減值為0.02。

對于文本數(shù)據(jù)集，對比Xie Q Z等人[14]提出的一致性算法UDA，以及預(yù)訓(xùn)練的BERT模型[29]。對于英文文本的數(shù)據(jù)增廣，使用德語作為中間語言的回譯過程，即將一個英文樣本先翻譯為德語，再翻譯回英文樣本。

關(guān)于超參數(shù)λc與λs，根據(jù)參考文獻(xiàn)[28]的建議將CIFAR-10、CIFAR-100和SVHN的λc分別固定為75、150和250，并將IMDB和Yahoo！Answers的λc固定為100。各個數(shù)據(jù)集的λs從集合中遍歷取值，并用驗證集交叉驗證取得最優(yōu)值。模型的迭代次數(shù)由驗證集損失確定，即當(dāng)驗證集的損失在一定迭代次數(shù)（本文為50次）內(nèi)變化不大時，停止模型的迭代。

3.2 實驗結(jié)果與分析

對于CIFAR-10和SVHN數(shù)據(jù)集，在250、500和1 000這3個不同數(shù)量標(biāo)記樣本上評估5種算法/模型的錯誤率，結(jié)果見表2和表3。對于CIFAR-100數(shù)據(jù)集，使用10 000個有標(biāo)記樣本對5種算法模型進(jìn)行實驗，結(jié)果見表4。

表2 5種算法/模型在CIFAR-10數(shù)據(jù)集上不同標(biāo)記樣本數(shù)下的錯誤率

表3 5種算法/模型在SVHN數(shù)據(jù)集上不同標(biāo)記樣本數(shù)下的錯誤率

表4 5種算法/模型在CIFAR-100數(shù)據(jù)集10 000個標(biāo)記樣本下的錯誤率

由表2~表4可以得到如下結(jié)論。①SmoothMatch算法在3個圖像數(shù)據(jù)集的各種標(biāo)記樣本數(shù)量下的準(zhǔn)確性優(yōu)于其他方法，例如，在CIFAR-10數(shù)據(jù)集上，在僅有250個有標(biāo)記樣本下SmoothMatch算法的錯誤率為14.40%，而相同條件下的MixMatch算法錯誤率為17.60%；在SVHN數(shù)據(jù)集上，當(dāng)有250個有標(biāo)記樣本時，SmoothMatch明顯優(yōu)于Π模型，這表明了融合一致性正則和流形正則的有效性。②隨著有標(biāo)記樣本數(shù)量的增加，上述幾種方法的錯誤率均降低，這是因為有標(biāo)記樣本越多，所提供的監(jiān)督信息越多，分類器能更好地擬合數(shù)據(jù)。特別地，在CIFAR-10數(shù)據(jù)集上，mean teacher模型的錯誤率有明顯的降低，這說明該方法對有標(biāo)記數(shù)據(jù)的依賴性很強(qiáng)，而本文所提算法由于可以充分利用數(shù)據(jù)的流形結(jié)構(gòu)，能夠使相似（相連）的樣本有相似的輸出，從而降低了對有標(biāo)記樣本的依賴性，可以在有標(biāo)記樣本較少的情況下達(dá)到不錯的效果。

此外，筆者還驗證了SmoothMatch算法在文本分類任務(wù)上的表現(xiàn)。IMDB和Yahoo！Answer數(shù)據(jù)集上的實驗結(jié)果見表5和表6。

由表5和表6可以得到，SmoothMatch算法在兩個文本數(shù)據(jù)集上均優(yōu)于UDA算法和BERT模型。特別地，在IMDB數(shù)據(jù)集上，SmoothMatch算法在有標(biāo)記樣本數(shù)為20時的錯誤率為12.27%，明顯優(yōu)于BERT在有標(biāo)記樣本數(shù)為100時的結(jié)果，這說明了所提算法的優(yōu)越性。

表5 3種算法/模型在IMDB數(shù)據(jù)集上不同標(biāo)記樣本數(shù)下的錯誤率

表6 3種算法/模型在Yahoo！Answer數(shù)據(jù)集上不同標(biāo)記樣本數(shù)下的錯誤率

圖像數(shù)據(jù)集和文本數(shù)據(jù)集上的實驗結(jié)果表明，融合一致性正則和流形正則的方法在考慮樣本局部預(yù)測平滑的同時，充分利用了數(shù)據(jù)的流形結(jié)構(gòu)，使得相似的樣本有相似的輸出，提高了模型的泛化性能。

3.3 參數(shù)分析

為了進(jìn)一步分析一致性正則和流形正則對模型的影響，在3個圖像數(shù)據(jù)集上對比了SmoothMatch算法在不同λs/λc比值下的錯誤率。3個數(shù)據(jù)集上的實驗結(jié)果如圖3所示。

圖3 3個圖像數(shù)據(jù)集上SmoothMatch算法在不同 λ s /λc比值下的錯誤率

可以看出，當(dāng)λs/λc為0，即只利用一致性損失優(yōu)化目標(biāo)函數(shù)時，其錯誤率均處于較高水平。但隨著平滑性損失權(quán)值λs的提高，錯誤率逐漸降低，到λs/λc為0.1時到達(dá)最優(yōu)。由此可見，平滑性損失的加入使得模型對同一類樣本的低維表示更集中，相鄰的樣本得到相似的輸出，從而提高了模型的魯棒性。而若繼續(xù)加大sλ，則弱化了模型的一致性正則，使得樣本點局部鄰域的預(yù)測不平滑，導(dǎo)致錯誤率逐漸提高，模型的性能降低。這說明了一致性正則與流形正則的合理結(jié)合確實能夠提高算法的性能。

4 結(jié)束語

本文針對基于一致性正則的半監(jiān)督深度學(xué)習(xí)算法可能會使得一部分相近的樣本得到差異很大的輸出，進(jìn)而導(dǎo)致學(xué)習(xí)器性能退化的問題，提出了一種融合一致性正則與流形正則的半監(jiān)督深度學(xué)習(xí)算法。該算法在對模型施加一致性約束的同時，對樣本構(gòu)圖并加入平滑性損失，實現(xiàn)了每個樣本點局部鄰域的平滑以及樣本點之間的平滑，從而提高半監(jiān)督學(xué)習(xí)算法的泛化性能。在多個圖像和文本數(shù)據(jù)集上的實驗結(jié)果表明，融合一致性正則與流形正則的半監(jiān)督深度學(xué)習(xí)算法獲得了更優(yōu)的性能。