從集中式到分布式的贏者通吃網(wǎng)絡(luò)：回顧與展望

齊一萌，金 龍

(蘭州大學(xué) 信息科學(xué)與工程學(xué)院，甘肅 蘭州 730000)

0 引言

一類能夠從一組輸入信息中選擇出最大值的競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)被稱為贏者通吃(Winner-Take-All，WTA)網(wǎng)絡(luò)[1]，它是由神經(jīng)元之間的橫向抑制形成的。WTA網(wǎng)絡(luò)作為k-WTA網(wǎng)絡(luò)的特例，已被廣泛應(yīng)用于模式識(shí)別[2]、聯(lián)想記憶[3]、多智能體協(xié)同[4]以及認(rèn)知現(xiàn)象模擬[5]等多種領(lǐng)域。Maxnet是傳統(tǒng)用于模擬WTA行為的神經(jīng)網(wǎng)絡(luò)[6]，它提供了一個(gè)離散形式的相互抑制的結(jié)構(gòu)。從數(shù)據(jù)陣列中選擇最大值這一操作在許多領(lǐng)域都是至關(guān)重要的，如決策系統(tǒng)和競(jìng)爭(zhēng)學(xué)習(xí)網(wǎng)絡(luò)[7]。為此，國(guó)內(nèi)外學(xué)者開展了一系列研究，例如基于自組織算法的迭代神經(jīng)網(wǎng)絡(luò)模型，該類模型主要適用于軟件實(shí)現(xiàn)[8]。輸入信息規(guī)模的擴(kuò)張以及計(jì)算實(shí)時(shí)性的要求使得并行方法及可硬件實(shí)現(xiàn)的算法備受關(guān)注[9]。Lazzaro等人[10]設(shè)計(jì)了一系列緊湊的互補(bǔ)金屬氧化物半導(dǎo)體集成電路來(lái)實(shí)現(xiàn)WTA行為。Wawryn等人[11]引入一種基于電流源電路的可編程WTA神經(jīng)網(wǎng)絡(luò)，并驗(yàn)證了其有效性。然而，以上工作均面向靜態(tài)WTA問(wèn)題設(shè)計(jì)，未考慮實(shí)際應(yīng)用場(chǎng)景的動(dòng)態(tài)特征。進(jìn)一步地，Majani等人[12]將WTA網(wǎng)絡(luò)擴(kuò)展到k-WTA網(wǎng)絡(luò)，然而只保證了模型的局部穩(wěn)定性。此后，設(shè)計(jì)超大規(guī)模集成電路來(lái)執(zhí)行k-WTA運(yùn)算成為一個(gè)研究熱點(diǎn)[13]。Calvert等人[14]構(gòu)建了一種Hopfield型神經(jīng)網(wǎng)絡(luò),并通過(guò)嚴(yán)格的穩(wěn)定性分析證明了其能夠有效地識(shí)別序列中的最大分量。Tymoshchuk[15]根據(jù)輸入信號(hào)的動(dòng)態(tài)移位設(shè)計(jì)了一個(gè)離散k-WTA神經(jīng)電路，該電路硬件實(shí)現(xiàn)復(fù)雜度較低，且能在有限的迭代次數(shù)內(nèi)收斂。此后，Tymoshchuk和Wunsch[16]設(shè)計(jì)了一種有限分辨率的連續(xù)k-WTA神經(jīng)模型，其理論上能夠處理未知輸入并保證瞬時(shí)零誤差。Danciu 等人[17]介紹了一種具有O(n2)結(jié)構(gòu)復(fù)雜度的遞歸神經(jīng)網(wǎng)絡(luò)，其中n表示輸入的數(shù)量。然而，該網(wǎng)絡(luò)需通過(guò)將其增益參數(shù)設(shè)定為無(wú)限大以確保k-WTA系統(tǒng)的正確運(yùn)行。

出于對(duì)模型結(jié)構(gòu)的優(yōu)化，文獻(xiàn)[18-19]分別首次實(shí)現(xiàn)WTA或k-WTA問(wèn)題向線性規(guī)劃(Linear Programming，LP)和二次規(guī)劃(Quadratic Programming，QP)的轉(zhuǎn)化。進(jìn)而投影神經(jīng)網(wǎng)絡(luò)、對(duì)偶神經(jīng)網(wǎng)絡(luò)、動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)等被陸續(xù)開發(fā)并應(yīng)用[18,20]，同時(shí)在多樣化激勵(lì)函數(shù)的引入[21]、收斂速率的提升[22]等方面均做出了改進(jìn)。為進(jìn)一步簡(jiǎn)化模型復(fù)雜度，多種單狀態(tài)變量的連續(xù)/離散型時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)被構(gòu)建。這些模型[18-22]在處理時(shí)不變輸入的k-WTA 操作時(shí)表現(xiàn)出有限時(shí)間收斂性能，但處理時(shí)變輸入時(shí)存在滯后誤差，需要通過(guò)設(shè)置足夠大的參數(shù)來(lái)緩解這一現(xiàn)象。Ferreira等人[23]針對(duì)變量有界的LP問(wèn)題，構(gòu)造了一個(gè)k-WTA神經(jīng)網(wǎng)絡(luò)(k-WTA Neural Network，kWNN)，將問(wèn)題的解轉(zhuǎn)化為所設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的平衡集，并證明了所構(gòu)建網(wǎng)絡(luò)的收斂性。前述研究的k-WTA問(wèn)題及求解算法均明確指定k的數(shù)值，而文獻(xiàn)[24]的工作突破了這一限制，提出了一種基于梯度下降法的kWNN模型，實(shí)現(xiàn)了k值的動(dòng)態(tài)確定。然而，包含上述工作在內(nèi)的算法仍存在一些挑戰(zhàn)。首先，在處理本質(zhì)上具有動(dòng)態(tài)特性的問(wèn)題時(shí)，這些方法忽略了內(nèi)部動(dòng)態(tài)參數(shù)隨時(shí)間的變化趨勢(shì)，使得它們預(yù)測(cè)能力不足，從而導(dǎo)致每一時(shí)刻所得解與理論解之間存在滯后誤差。這種誤差是不可忽略的，且會(huì)隨時(shí)間累積影響任務(wù)的執(zhí)行精度。其次，上述神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)均未考慮去噪措施，因此在噪聲干擾下，神經(jīng)網(wǎng)絡(luò)的性能會(huì)顯著下降。而在實(shí)際的k-WTA問(wèn)題求解過(guò)程中，干擾是不可避免的，這一定程度上限制了現(xiàn)有算法在復(fù)雜環(huán)境中的應(yīng)用。鑒于此，作者已有的工作[25]基于具有良好抗噪性能的零化神經(jīng)網(wǎng)絡(luò)[26]、牛頓積分增強(qiáng)型網(wǎng)絡(luò)[27]、飽和約束神經(jīng)動(dòng)力學(xué)模型[28]等，汲取這些網(wǎng)絡(luò)設(shè)計(jì)中的優(yōu)勢(shì)結(jié)構(gòu)，從神經(jīng)網(wǎng)絡(luò)求解能力與魯棒性兩個(gè)層面入手開發(fā)用于k-WTA操作的新型神經(jīng)網(wǎng)絡(luò)。

此外，隨著計(jì)算能力與存儲(chǔ)能力的提升，工業(yè)控制規(guī)模的不斷擴(kuò)大，從分布式的角度處理問(wèn)題的方法備受關(guān)注。迄今為止，包括上述成果在內(nèi)的k-WTA研究大多以集中式方式實(shí)現(xiàn)。換言之，上述工作未考慮任何拓?fù)浼s束，無(wú)法直接應(yīng)用于具有任意拓?fù)浣Y(jié)構(gòu)的連通圖。Li 等人[29]首次明確考慮了群體間的交互拓?fù)浣Y(jié)構(gòu)，并提出了一種分布式WTA模型來(lái)解決群體系統(tǒng)中的動(dòng)態(tài)競(jìng)爭(zhēng)問(wèn)題?；谶@一研究，Zhang等人[30]從QP形式的k-WTA問(wèn)題入手，直接構(gòu)建了一種分布式k-WTA模型，具有良好的容錯(cuò)性與全局收斂性。這些成果點(diǎn)明了研究分布式k-WTA網(wǎng)絡(luò)的必要性，為后續(xù)基于k-WTA思想的廣泛應(yīng)用奠定了基礎(chǔ)。

本文回顧了k-WTA網(wǎng)絡(luò)的發(fā)展及求解算法的研究現(xiàn)狀，并以分布式k-WTA網(wǎng)絡(luò)的構(gòu)建為核心，介紹了包含多機(jī)器人系統(tǒng)在內(nèi)的應(yīng)用前景。

1 問(wèn)題建模與算法構(gòu)建

針對(duì)理論實(shí)現(xiàn)或應(yīng)用場(chǎng)景中不同的側(cè)重點(diǎn)，k-WTA可被表述為各種不同的形式[31]，進(jìn)而設(shè)計(jì)不同方案來(lái)求解該操作。本文給出一種典型的數(shù)學(xué)映射來(lái)表示泛化的k-WTA屬性：

(1)

式中，u∈m和y∈m分別表征k-WTA系統(tǒng)的輸入和輸出信息；ui和yi分別為u和y的第i個(gè)元素；k表示期望獲取的輸出信息y最大值的個(gè)數(shù)。從數(shù)學(xué)角度而言，k-WTA反映為從數(shù)據(jù)陣列中選擇最大值的操作。文獻(xiàn)[18]已經(jīng)證明式(1)可被重新規(guī)劃為一個(gè)LP問(wèn)題：

最小化 -uT(t)y(t),

(2)

式中，上標(biāo)T為轉(zhuǎn)置運(yùn)算符；q=[1,1,…,1]T∈m。類似地，式(1)可被等價(jià)轉(zhuǎn)化為一個(gè)QP問(wèn)題[19]：

(3)

在已有的成果中，若干有效的遞歸神經(jīng)網(wǎng)絡(luò)模型被陸續(xù)構(gòu)建用于解決式(2)或式(3)。例如，Xia等人[32]針對(duì)式(2)提出了一種源對(duì)偶神經(jīng)網(wǎng)絡(luò)：

其中，x∈為放縮參數(shù)；Γ1(·)為分段線性激勵(lì)函數(shù)：

Gu等人[18]針對(duì)式(2)提出了一種投影神經(jīng)網(wǎng)絡(luò)：

其中，x∈；δ>0為放縮參數(shù)；ε2為一個(gè)正常數(shù)；Γ1(·)的定義同前所述。

文獻(xiàn)[19]針對(duì)式(3)提出了一種簡(jiǎn)化的對(duì)偶神經(jīng)網(wǎng)絡(luò)：

y=Γ3(u-qx),

其中，x∈；δ>0為放縮參數(shù)；Γ2(·)和Γ3(·)均定義為單調(diào)且不連續(xù)的激勵(lì)函數(shù)：

然而，上述算法存在兩方面的缺陷：一是這些算法面向靜態(tài)k-WTA而構(gòu)建，不適用于求解實(shí)際動(dòng)態(tài)問(wèn)題或具有動(dòng)態(tài)特性參數(shù)的問(wèn)題，由于其沒(méi)有考慮動(dòng)態(tài)參數(shù)的導(dǎo)數(shù)信息，會(huì)帶來(lái)較大的滯后誤差；二是這些模型均未考慮包括截?cái)嗾`差、舍入誤差等設(shè)備誤差，以及環(huán)境干擾在內(nèi)的噪聲影響，使得模型的求解精度無(wú)法得以保證?？紤]到以上算法所面臨的挑戰(zhàn)，文獻(xiàn)[25]提出了一種魯棒kWNN模型。首先將式(3)所示的QP問(wèn)題等價(jià)轉(zhuǎn)化為非線性方程組D(t)z(t)-ρ(t)=0。該方程具體的參數(shù)構(gòu)成為：

(4)

其中E(t)=[Im×m;-Im×m]；λ(t)∈和η(t)∈2m分別為式(3)中等式和不等式約束對(duì)應(yīng)的Lagrange乘子；

s(t)=[q;0m]為由1和0組成的向量；(t)=s(t)-E(t)y(t)；ι→0+∈2m。進(jìn)而所構(gòu)建的kWNN模型被表示為：

(5)

2 分布式通信結(jié)構(gòu)實(shí)現(xiàn)

Olfati-Saber等人[34]在一致性算法方面做出了開創(chuàng)性的工作，分析了不同通信拓?fù)浜蜁r(shí)延下穩(wěn)定收斂的一致性問(wèn)題。之后的工作[35]研究了移動(dòng)網(wǎng)絡(luò)的動(dòng)態(tài)平均一致性協(xié)議，并構(gòu)建了比例型及比例積分型一致性濾波器,這為該領(lǐng)域的研究人員提供了開拓性的思路。基于這些工作，F(xiàn)reeman等人[36]設(shè)計(jì)了一種改進(jìn)的比例積分算法，在提高收斂速度和穩(wěn)定性的同時(shí)，完全消除了一致性中的穩(wěn)態(tài)誤差。此后，相關(guān)探索層出不窮，涌現(xiàn)了多方面的成果[37]。此外，狀態(tài)飽和、輸入飽和、輸出飽和的一致性問(wèn)題也成為研究熱點(diǎn)。例如，文獻(xiàn)[38]研究了輸入飽和對(duì)一類線性多智能體系統(tǒng)的影響，并在此情況下實(shí)現(xiàn)了分布式自觸發(fā)共識(shí)。進(jìn)一步，考慮實(shí)際通信情況，輸入飽和與狀態(tài)飽和兩種約束下的一致性被研究[39]，并提供了一致性算法穩(wěn)定性的充分條件。文獻(xiàn)[40]研究了輸出飽和的一致性問(wèn)題，主要考慮了由測(cè)量單元的范圍限制帶來(lái)的有界非線性特性。另一個(gè)值得回顧的是文獻(xiàn)[41]所開展的工作，其研究了包括非理想通信鏈路的線性協(xié)議、具有輸入飽和的非線性協(xié)議等在內(nèi)的多種一致性協(xié)議。

(6)

為降低通信消耗并保持系統(tǒng)的可擴(kuò)展性與穩(wěn)定性，在成本溢出或參與者出現(xiàn)通信中斷或阻塞的情況下，需要及時(shí)進(jìn)行拓?fù)淝袚Q。Jin等人[43]在文獻(xiàn)[44]的基礎(chǔ)上給出了一種基于切換拓?fù)涞囊恢滦詾V波器：

3 基于k-WTA的多機(jī)器人競(jìng)爭(zhēng)協(xié)同

多機(jī)器人系統(tǒng)因具有良好的容錯(cuò)性、高效性和可擴(kuò)展性[45]，適用于處理各種復(fù)雜和不可預(yù)測(cè)的任務(wù)[46]，如運(yùn)動(dòng)規(guī)劃[47]、搜索和救援行動(dòng)[48]、自動(dòng)控制[49]等。受生物/社會(huì)群體內(nèi)部行為機(jī)制的啟發(fā)，多機(jī)器人系統(tǒng)的協(xié)同行為主要包括合作和競(jìng)爭(zhēng)兩種狀態(tài)，且二者都具有一定的優(yōu)勢(shì)和廣泛的應(yīng)用。例如基于合作行為開展的集群編隊(duì)、緊急救援等研究[50]，基于競(jìng)爭(zhēng)行為開展的資源調(diào)度、動(dòng)態(tài)圍捕等。合作可以使多機(jī)器人系統(tǒng)在復(fù)雜環(huán)境中輕松工作，并提高任務(wù)的成功率，而競(jìng)爭(zhēng)型協(xié)同可初步為系統(tǒng)篩選優(yōu)秀的個(gè)體，在節(jié)能和降低成本方面有顯著的優(yōu)勢(shì)。相較于針對(duì)多機(jī)器人合作展開的研究熱潮[51-52]，競(jìng)爭(zhēng)行為的研究成果較少,其中一個(gè)廣為人知的方法是強(qiáng)化學(xué)習(xí)[53-54]。該類方法尤其適用于多機(jī)器人系統(tǒng)，這是因?yàn)榛趶?qiáng)化學(xué)習(xí)的方法在處理現(xiàn)實(shí)環(huán)境的不確定性、信息不完全性、分布式學(xué)習(xí)等問(wèn)題方面有著突出的優(yōu)勢(shì)。然而，它們?nèi)匀幻媾R著巨大的挑戰(zhàn)。首先，這類方法的實(shí)現(xiàn)依賴于大量的數(shù)據(jù)，帶來(lái)巨大的計(jì)算量以及嚴(yán)重的時(shí)間/空間資源消耗，不適合多機(jī)器人實(shí)際控制場(chǎng)景[55]。其次，雖然這些方法可以在仿真或軟件中成功通過(guò)測(cè)試，但應(yīng)用于動(dòng)態(tài)且不可預(yù)測(cè)的真實(shí)環(huán)境中時(shí)，強(qiáng)化學(xué)習(xí)采用的試錯(cuò)策略[56]會(huì)給機(jī)器人造成巨大的損失和高昂的成本。再而，針對(duì)機(jī)器人的強(qiáng)化學(xué)習(xí)很難設(shè)定通用的獎(jiǎng)勵(lì)函數(shù)，對(duì)于不同的任務(wù)場(chǎng)景需要設(shè)計(jì)不同的函數(shù)進(jìn)而不斷訓(xùn)練模型，使得應(yīng)用強(qiáng)化學(xué)習(xí)的機(jī)器人系統(tǒng)的泛化性大打折扣。鑒于此，從分布式控制的角度實(shí)現(xiàn)多機(jī)器人協(xié)同，可避免上述問(wèn)題，弱化對(duì)環(huán)境信息的需求，從而降低多機(jī)器人系統(tǒng)的負(fù)擔(dān),這是值得深入探索與研究的新思路。

3.1 多機(jī)器人系統(tǒng)協(xié)同方案

現(xiàn)階段基于k-WTA的多機(jī)器人分布式協(xié)同相關(guān)的研究已取得了若干成果，如文獻(xiàn)[25,42,57-58]。具體地，文獻(xiàn)[58]面向可被建模為質(zhì)點(diǎn)的機(jī)器人群體，如輪式機(jī)器人等，研究了一種分布式競(jìng)爭(zhēng)模型，其中機(jī)器人的運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)特性可被忽略。具體構(gòu)建k-WTA指標(biāo)為:

式中,φi和φt分別代表第i個(gè)機(jī)器人和目標(biāo)物的位置。第i個(gè)機(jī)器人的運(yùn)動(dòng)控制動(dòng)力學(xué)被表示為：

(7)

式中，￡>0是與收斂速度相關(guān)的變量，表示連接機(jī)器人與目標(biāo)之間距離與機(jī)器人速度變化的反饋增益。顯然，輸出yi=1所對(duì)應(yīng)的第i個(gè)機(jī)器人被用于執(zhí)行追蹤任務(wù)，而輸出yi=0所對(duì)應(yīng)的機(jī)器人未激活，靜待下一任務(wù)目標(biāo)的來(lái)臨。

對(duì)多機(jī)器人系統(tǒng)的研究不應(yīng)局限于輪式機(jī)器人,帶有機(jī)械臂的機(jī)器人已廣泛應(yīng)用于工業(yè)制造領(lǐng)域，包括設(shè)計(jì)、搬運(yùn)和抓取等場(chǎng)景，尤其在涉及精密任務(wù)時(shí)，占據(jù)著不可取代的地位。例如，航天飛機(jī)使用Canadarm來(lái)操縱有效載荷。因此，文獻(xiàn)[42]將分布式競(jìng)爭(zhēng)協(xié)同行為推廣至帶機(jī)械臂的多機(jī)器人系統(tǒng)來(lái)完成基于k-WTA的任務(wù)分配。考慮一個(gè)結(jié)構(gòu)信息均為時(shí)變參數(shù)的n自由度冗余機(jī)械臂，其關(guān)節(jié)角度為θ(t)=[θ1(t);θ2(t);…;θn(t)]∈n；末端執(zhí)行器的笛卡爾坐標(biāo)為r(t)∈p且定義期望軌跡為rd(t)∈p，則運(yùn)動(dòng)學(xué)方程被表示為Ω(θ(t))=r(t)。其中，Ω(·)代表非線性映射函數(shù)，對(duì)于確定結(jié)構(gòu)的機(jī)器人，其相關(guān)參數(shù)和設(shè)置是已知的。對(duì)上式兩邊求導(dǎo)可得：

式中，J(θ(t))=?Ω(θ(t))/?θ(t)∈p×n為雅可比矩陣；為關(guān)節(jié)速度向量；為r(t)對(duì)時(shí)間的導(dǎo)數(shù)。注意系數(shù)矩陣J在t∈[0,T]的任意時(shí)刻都必須是非奇異的，以確?？杀磺蠼?，其中T為完成期望軌跡的執(zhí)行時(shí)間。因此，假設(shè)使用由m個(gè)機(jī)器人組成的多機(jī)器人系統(tǒng)進(jìn)行協(xié)同作業(yè)，則需為每個(gè)機(jī)器人分配期望軌跡，此時(shí)每個(gè)機(jī)器人應(yīng)滿足：

其反映了每個(gè)機(jī)器人規(guī)劃的運(yùn)行路徑與期望運(yùn)動(dòng)路徑之間的距離。繼而，在接收到的驅(qū)動(dòng)指令信號(hào)的激勵(lì)下，每個(gè)機(jī)器人的速度表示為：

結(jié)合實(shí)際應(yīng)用場(chǎng)景，若考慮冗余度機(jī)器人的避障能力以及關(guān)節(jié)速度的安全取值域，則會(huì)涉及到對(duì)于關(guān)節(jié)角度、關(guān)節(jié)角速度、關(guān)節(jié)角加速度等的約束。這些均可以看作是對(duì)于如上驅(qū)動(dòng)指令信號(hào)額外考慮飽和約束/映射函數(shù)[43]。

3.2 分布式k-WTA協(xié)同方案

以式(5)～式(7)為例，構(gòu)建有限通信環(huán)境下用于多機(jī)器人競(jìng)爭(zhēng)協(xié)同的分布式k-WTA協(xié)同方案為：

y={z}m,

(8)

該系統(tǒng)具體應(yīng)用步驟如下：

② 初始化相關(guān)參數(shù)D，ρ(t)和z。

③ 獲取φi和φt的信息。

⑥ 判斷條件‖yi(φi-φt)‖2

根據(jù)分布式k-WTA協(xié)同方案(8)及上述實(shí)現(xiàn)步驟，可進(jìn)行相關(guān)的仿真驗(yàn)證，結(jié)果如圖 1～圖 6所示。

圖1 一個(gè)贏家發(fā)生替換時(shí)，多機(jī)器人系統(tǒng)運(yùn)動(dòng)軌跡-階段ⅠFig.1 Motion trajectory of the multi-robot system with a winner replaced-Stage Ⅰ

圖2 一個(gè)贏家發(fā)生替換時(shí)，多機(jī)器人系統(tǒng)運(yùn)動(dòng)軌跡-階段ⅡFig.2 Motion trajectory of the multi-robot system with a winner replaced-Stage Ⅱ

圖3 分布式k-WTA網(wǎng)絡(luò)的輸出Fig.3 Outputs of the distributed k-WTA network

圖4 兩個(gè)贏家發(fā)生替換時(shí)，多機(jī)器人系統(tǒng)運(yùn)動(dòng)軌跡-階段ⅠFig.4 Motion trajectory of the multi-robot system with two winners replaced-Stage Ⅰ

圖5 兩個(gè)贏家發(fā)生替換時(shí)，多機(jī)器人系統(tǒng)運(yùn)動(dòng)軌跡-階段ⅡFig.5 Motion trajectory of the multi-robot system with two winners replaced-Stage Ⅱ

圖6 分布式k-WTA網(wǎng)絡(luò)的輸出Fig.6 Outputs of the distributed k-WTA network

4 問(wèn)題分析與研究展望

考慮到k-WTA思想在社會(huì)學(xué)以及經(jīng)濟(jì)學(xué)等多學(xué)科領(lǐng)域的研究?jī)r(jià)值，以及其在包含多機(jī)器人系統(tǒng)在內(nèi)的群體系統(tǒng)協(xié)同中的重要理論意義與廣闊應(yīng)用前景，面向k-WTA操作的高性能求解算法開發(fā)和分布式網(wǎng)絡(luò)構(gòu)建技術(shù)仍需不斷突破，且基于k-WTA網(wǎng)絡(luò)的應(yīng)用場(chǎng)景有待挖掘。例如，如下問(wèn)題可以作為一些探索的方向：

(1) 開展離散計(jì)算模型或算法的研究

一方面，針對(duì)k-WTA操作的研究大多基于連續(xù)模型。盡管為了在數(shù)值設(shè)備上實(shí)現(xiàn)連續(xù)時(shí)間模型，已經(jīng)有各種由數(shù)值差分公式導(dǎo)出的數(shù)值離散方法。然而，從數(shù)據(jù)時(shí)間定位的角度來(lái)看，這些方法大多不適用于處理時(shí)變問(wèn)題，甚至是不可行的。例如，Matlab 中常用求解微分方程的工具“ode15s”，其求解基于龍格庫(kù)塔方法，但是該方法在使用過(guò)程中不僅需要使用當(dāng)前時(shí)刻的信息量，同時(shí)需要未來(lái)時(shí)刻的信息作為輸入。然而每一個(gè)未來(lái)時(shí)刻的信息在當(dāng)前計(jì)算時(shí)是不可知的，也即此時(shí)待求解系統(tǒng)為非因果系統(tǒng)[59-60]。因此，選取一個(gè)適合連續(xù)時(shí)間模型離散化的數(shù)值微分公式是得到符合因果律的計(jì)算方法的關(guān)鍵。另一方面，實(shí)際環(huán)境下機(jī)器人之間的通信是數(shù)字技術(shù)驅(qū)動(dòng)的，并未涉及連續(xù)時(shí)間信號(hào)的交換。因此，連續(xù)模型對(duì)于直接處理信號(hào)發(fā)送、傳輸、接收等一系列離散信息操作效率較低。

(2) 開展復(fù)雜環(huán)境下分布式一致性協(xié)議的研究

現(xiàn)有基于k-WTA的競(jìng)爭(zhēng)工作所考慮的拓?fù)浯蠖酁楣潭ǖ?，?dǎo)致其在實(shí)際環(huán)境中的應(yīng)用受到限制。明確而言，由于整個(gè)系統(tǒng)(或參與者)的動(dòng)態(tài)特性和有限的通信范圍，通信拓?fù)渫ǔＪ切枰S時(shí)間而變化的。再者，復(fù)雜場(chǎng)景中的障礙/干擾或軟硬件設(shè)備和傳感器的任意形式故障等問(wèn)題可以看作是對(duì)系統(tǒng)施加了不可預(yù)測(cè)的物理約束，這很可能導(dǎo)致通信網(wǎng)絡(luò)的中斷或強(qiáng)制切換[61-62]。當(dāng)參與者間出現(xiàn)通信中斷時(shí)，拓?fù)涞牟豢汕袚Q性為系統(tǒng)的平穩(wěn)運(yùn)行和應(yīng)急處理造成了一定的威脅。因此，可變拓?fù)洹⑶袚Q拓?fù)?，甚至事件觸發(fā)型拓?fù)鋄63]，在分布式一致性協(xié)議的研究中都是高效且推薦使用的。此外，實(shí)際通信環(huán)境中信道增益、時(shí)延、非線性等問(wèn)題為分布式一致性協(xié)議的建模、精確性、穩(wěn)定性提出了更高的要求。

(3) 拓展分布式k-WTA網(wǎng)絡(luò)的應(yīng)用

k-WTA思想在眾多領(lǐng)域均能夠發(fā)揮其獨(dú)特的優(yōu)勢(shì)。在深度學(xué)習(xí)中，k-WTA學(xué)習(xí)規(guī)則作為一種競(jìng)爭(zhēng)關(guān)系的學(xué)習(xí)規(guī)則，可用于無(wú)監(jiān)督學(xué)習(xí),具體為通過(guò)將網(wǎng)絡(luò)的某一層確定為競(jìng)爭(zhēng)層，最終調(diào)整該層中響應(yīng)值最大的神經(jīng)元(競(jìng)爭(zhēng)中獲勝者)對(duì)應(yīng)的權(quán)值。此外，k-WTA學(xué)習(xí)規(guī)則可作為一種典型的聚類算法，通過(guò)訓(xùn)練實(shí)現(xiàn)聚類中心向樣本信息中心的演變,即根據(jù)訓(xùn)練對(duì)象的特征用于損失函數(shù)設(shè)計(jì)，一定程度上避免梯度平均帶來(lái)的問(wèn)題，降低局部最小值的影響。除上述數(shù)學(xué)或科學(xué)領(lǐng)域外，其在社會(huì)學(xué)問(wèn)題建模中也占據(jù)一席之地，如以意見動(dòng)力學(xué)為代表的社會(huì)行為建模。k-WTA思想通常符合包括競(jìng)選、競(jìng)標(biāo)、政策、輿論等在內(nèi)的意見動(dòng)態(tài)演變過(guò)程，因此考慮實(shí)際信息的不完全共享性利用分布式k-WTA網(wǎng)絡(luò)進(jìn)行建模，可以有效預(yù)測(cè)和評(píng)價(jià)社會(huì)系統(tǒng)演變的趨勢(shì)。立足現(xiàn)實(shí)開放場(chǎng)景，挖掘并研究k-WTA思想及分布式k-WTA網(wǎng)絡(luò)的應(yīng)用場(chǎng)景是有潛在價(jià)值的。

5 結(jié)論

本文對(duì)贏者通吃網(wǎng)絡(luò)的建模、發(fā)展及求解算法的構(gòu)造進(jìn)行了詳細(xì)的回顧和討論。此外，以分布式贏者通吃網(wǎng)絡(luò)的研究為核心，給出了一種高精度且魯棒的分布式贏者通吃神經(jīng)網(wǎng)絡(luò)算法。進(jìn)而，以多機(jī)器人系統(tǒng)協(xié)同為實(shí)例，指出了贏者通吃網(wǎng)絡(luò)的應(yīng)用前景。這些豐碩的成果極大促進(jìn)了神經(jīng)網(wǎng)絡(luò)理論、分布式網(wǎng)絡(luò)、機(jī)器人技術(shù)的發(fā)展，并在相關(guān)領(lǐng)域取得了極大的進(jìn)展。最后，分析了現(xiàn)有研究中尚需關(guān)注的問(wèn)題及有待進(jìn)一步攻關(guān)的方向。