統(tǒng)計(jì)物理、無序系統(tǒng)和神經(jīng)網(wǎng)絡(luò)

黃海平

2021年，諾貝尓獎(jiǎng)委員會(huì)決定將物理獎(jiǎng)?lì)C發(fā)給研究復(fù)雜系統(tǒng)的三位科學(xué)家，一時(shí)引起無數(shù)詫異和嘩然，這是諾貝爾獎(jiǎng)首次頒發(fā)給復(fù)雜系統(tǒng)研究領(lǐng)域。

帕里西（G. Parisi）因其對(duì)無序和隨機(jī)現(xiàn)象理論的革命性貢獻(xiàn)而獨(dú)享一半獎(jiǎng)金，諾貝爾獎(jiǎng)委員會(huì)給他的頒獎(jiǎng)詞是“他發(fā)現(xiàn)了從原子到行星尺度的物理系統(tǒng)中無序與漲落的相互作用”。帕里西是非常典型的理論物理學(xué)家，由于他研究的領(lǐng)域數(shù)學(xué)物理味道較濃，并且十分抽象，故即使在理論物理圈子里，他也不是那種婦孺皆知的科學(xué)家。他的代表性工作包括隨機(jī)量子化，自旋玻璃理論，界面生長(zhǎng)動(dòng)力學(xué)普適類，隨機(jī)氣候模型和鳥群群體運(yùn)動(dòng)的漲落標(biāo)度等。在獲得諾貝爾獎(jiǎng)之前，他幾乎拿遍了作為頂級(jí)理論物理學(xué)家該拿的所有獎(jiǎng)項(xiàng)：玻爾茲曼獎(jiǎng)、狄拉克獎(jiǎng)、費(fèi)米獎(jiǎng)、丹尼海涅曼數(shù)學(xué)物理獎(jiǎng)、拉斯昂薩格獎(jiǎng)、沃爾夫獎(jiǎng)等。獲獎(jiǎng)?lì)I(lǐng)域橫跨統(tǒng)計(jì)力學(xué)、粒子物理、數(shù)學(xué)物理、自旋玻璃等。

帕里西于1948年出生于意大利羅馬，爺爺和父親都是建筑工人，因此家族曾希望他將來做一名工程師。然而，青少年時(shí)代的帕里西喜愛閱讀科學(xué)書籍，被書中復(fù)雜的抽象知識(shí)所深深吸引。鑒于20世紀(jì)中葉物理學(xué)的蓬勃發(fā)展，他決定研究物理，并且深信自己有能力去解決一個(gè)具有挑戰(zhàn)性的物理問題。

大學(xué)時(shí)，他成為粒子物理學(xué)家卡比博（N. Cabibbo）的學(xué)生。卡比博因發(fā)現(xiàn)“卡比博角”聞名于世，也稱得上是諾貝爾獎(jiǎng)級(jí)別的大師。帕里西后來回憶，他的導(dǎo)師是那個(gè)時(shí)代羅馬最聰明的理論物理學(xué)家。1970年帕里西取得博士學(xué)位后，先在弗拉斯卡蒂國(guó)家實(shí)驗(yàn)室工作了10年，之后來到羅馬第二大學(xué)擔(dān)任理論物理學(xué)教授。1992年起至今為羅馬第一大學(xué)的量子理論教授，研究重點(diǎn)是量子場(chǎng)論、統(tǒng)計(jì)力學(xué)和復(fù)雜系統(tǒng)。

2013年帕里西獲得《自然》（Nature）周刊頒發(fā)的杰出導(dǎo)師獎(jiǎng)時(shí)，提到他的導(dǎo)師，說他導(dǎo)師曾經(jīng)說過，科學(xué)研究的目的就是享受解決問題的樂趣，這可能是卡比博留給帕里西最寶貴的財(cái)富。帕里西在他的科學(xué)生涯中將這句話體驗(yàn)得淋漓盡致！

1970年代末期，帕里西的研究興趣轉(zhuǎn)向無序系統(tǒng)的理論研究，因?yàn)檫@類系統(tǒng)的復(fù)雜性深深吸引了帕里西。無序系統(tǒng)理論研究始于1980年代，帕里西是先行者之一。

復(fù)雜無序系統(tǒng)

以氣體為例，氣體中的粒子可以被視為小球，其飛行速度隨溫度的升高而增加。當(dāng)溫度下降或壓力升高時(shí)，小球首先液化，然后凝固。形成的固體通常是一種晶體，小球在晶體中以規(guī)則的模式排列。然而，如果這種變化發(fā)生得很快，小球來不及規(guī)則排列，從而形成一種無序的圖案，即使液體進(jìn)一步冷卻或擠壓在一起，圖案也不會(huì)改變。如果重復(fù)實(shí)驗(yàn)，盡管變化以完全相同的方式發(fā)生，但是每次都會(huì)呈現(xiàn)全新的圖案。

自旋玻璃

我們可以把這些小球形成的圖案看作是玻璃或顆粒材料（如沙子或者礫石）的簡(jiǎn)化模型。帕里西最初研究的是另一種類似系統(tǒng)——自旋玻璃，這是磁性合金材料的一種亞穩(wěn)定狀態(tài)。自旋玻璃是典型的無序系統(tǒng)，在經(jīng)典統(tǒng)計(jì)物理里，自旋可以標(biāo)記粒子的離散狀態(tài)，比如向上或向下。一般的磁體中，所有磁矩的自旋都指向同一個(gè)方向，其分布是長(zhǎng)程有序的。而自旋玻璃中處于格點(diǎn)上的自旋的相互作用是完全隨機(jī)的，這種隨機(jī)性導(dǎo)致自旋取向出現(xiàn)阻挫效應(yīng)（frustration effect），即自旋的取向難以滿足局部能量最低的要求。自旋玻璃的一個(gè)顯著特征是宏觀平均磁矩消失，但存在自旋玻璃序。這里的“玻璃”一詞實(shí)際上是長(zhǎng)程無序狀態(tài)的代名詞，表示這種無序狀態(tài)類似于一般的玻璃。

在帕里西關(guān)于自旋玻璃的書中的介紹，他寫道：研究自旋玻璃就像看莎士比亞的四大悲劇。如果你想跟兩個(gè)人同時(shí)做朋友，但是這兩個(gè)朋友之間互相敵視，這會(huì)讓人沮喪。這類場(chǎng)景在古典悲劇中更是突出，如果感情最要好的朋友成為了敵人在同一個(gè)舞臺(tái)上相遇，怎樣才能把房間里的緊張氛圍降到最低？

自旋玻璃的研究背景

玻璃態(tài)的物理本質(zhì)直到今天依然懸而未決。50多年前，物理學(xué)家為了研究玻璃態(tài)提出了自旋玻璃的概念。愛德華茲（S. Edwards）和安德森（P. Anderson）于1975年提出短程相互作用的自旋玻璃模型[1]。同一年，謝靈頓（D. Sherrington）和柯克帕特里克（S. Kirkpatrick）提出自旋玻璃的平均場(chǎng)模型（簡(jiǎn)稱S-K模型）[2]，他們的工作標(biāo)志著物理學(xué)家對(duì)自旋玻璃系統(tǒng)的研究拉開了序幕。S-K模型將短程模型推廣到全連接的情形，即每個(gè)自旋都同其他自旋兩兩連接?，F(xiàn)在知道S-K模型的平均場(chǎng)性質(zhì)（包括動(dòng)力學(xué)行為）存在數(shù)學(xué)解析形式，這可能是帕里西非常著迷于此類模型的原因之一。

當(dāng)時(shí)困擾物理學(xué)家的一朵烏云是，S-K模型的低溫熵為負(fù)值，這強(qiáng)烈違背了物理直觀，因?yàn)樽孕∠蛑挥袃蓚€(gè)方向（離散取值）的系統(tǒng)的熵不可能為負(fù)（系統(tǒng)的構(gòu)型數(shù)是可數(shù)的）。1978年，對(duì)S-K模型的穩(wěn)定性分析證明，S-K模型的低溫解是不穩(wěn)定的[3]。那么，一個(gè)重要的問題隨之而來，S-K模型的負(fù)熵危機(jī)根源在哪？次年，這個(gè)問題被年輕的帕里西解決[4]，當(dāng)時(shí)他年僅31歲。這似乎再次印證了“自古天才出（青）少年”！

帕里西的魔法

針對(duì)自旋玻璃系統(tǒng)，帕里西提出了復(fù)本對(duì)稱破缺（replica symmetry breaking， RSB）的概念，發(fā)展了一套有效的數(shù)學(xué)方法，并給出了一個(gè)精確的理論解。

其物理本質(zhì)就是將原有模型自旋之間的復(fù)雜相互作用，轉(zhuǎn)換為同一模型的多個(gè)拷貝（即多個(gè)復(fù)本）間的相互作用。這樣，復(fù)本之間就存在一耦合矩陣，如果這一矩陣的非對(duì)角元素均同（對(duì)角元素顯然一樣），那么這個(gè)均同的元素就是統(tǒng)計(jì)物理的序參量，從而刻畫了前面提到的自旋玻璃序。帕里西以天才的想象力引入了破缺，即正確的復(fù)本矩陣應(yīng)該在對(duì)角線上出現(xiàn)不斷分塊結(jié)構(gòu)，每一次分塊將引入新的序參量；而且，對(duì)于S-K模型，這種分塊是無窮多次的。這樣，序參量將變成連續(xù)的函數(shù)。帕里西發(fā)現(xiàn)，只有這樣，S-K模型的低溫熵才能在復(fù)本對(duì)稱破缺無窮多次之后趨于零，負(fù)熵危機(jī)才得以解決，也不違反熱力學(xué)第三定律。

隨著帕里西與合作者幾十年如一日的深入研究，復(fù)本對(duì)稱破缺的物理意義逐漸明朗。這一猜想在20多年后被法國(guó)數(shù)學(xué)家塔拉格蘭（M. Talagrand）證明[6]，成為物理學(xué)史上為數(shù)不多的經(jīng)典案例！帕里西后來總結(jié)道：當(dāng)物理學(xué)家使用數(shù)學(xué)時(shí)，他們以更寬松的方式使用它（when physicists use mathematics， they use it in a looser way）。這十分貼切地形容了物理學(xué)家眼中數(shù)學(xué)與物理的關(guān)系：物理是數(shù)學(xué)的實(shí)在。例如，2015年，隨機(jī)激光物理系統(tǒng)中的實(shí)驗(yàn)也證實(shí)了復(fù)本對(duì)稱破缺的概念[7]。物理學(xué)家在解決物理問題的過程中，擅長(zhǎng)在物理直覺指引下做近似；而最不可思議的地方是，這種近似最后卻是精確的。這樣的思維，也許可以總結(jié)為不求嚴(yán)格，只求精確。在21世紀(jì)復(fù)雜系統(tǒng)研究中，這樣的研究風(fēng)格可以說是必需的。

筆者在中國(guó)科學(xué)院理論物理研究所讀研究生時(shí)，有幸參加了2008年在北京舉辦的自旋玻璃及其交叉學(xué)科的國(guó)際研討會(huì)，筆者至今仍記憶猶新。在帕里西報(bào)告結(jié)束時(shí)，有人向他討教他是如何開創(chuàng)復(fù)本對(duì)稱破缺的思想時(shí)，帕里西笑著回答道：“因?yàn)槟菚r(shí)候不用到處開會(huì)，我能專注于一件事情”（大意）。這說明，要完成一件有深刻影響力的事情，需要的專注與大量的時(shí)間和精力上的投入等同。當(dāng)然，前提是科學(xué)家關(guān)注重要的科學(xué)問題，并且與某個(gè)研究領(lǐng)域一起成長(zhǎng)（不是老化）。可見科學(xué)家一生能做成一件重要的事情，就已經(jīng)非常了不起了！帕里西開創(chuàng)的領(lǐng)域長(zhǎng)期來看是小眾方向，但他幾十年如一日地堅(jiān)持，讓自旋玻璃研究的涓涓細(xì)流終成大河，這種精神尤其值得有志于科學(xué)探索的年輕人學(xué)習(xí)！

復(fù)本對(duì)稱破缺本屬于非常抽象的數(shù)學(xué)物理概念，但40年來，我們難以置信地看到它廣泛地存在于各交叉學(xué)科領(lǐng)域，甚至影響了概率論的研究分支。接下來簡(jiǎn)述一下復(fù)本對(duì)稱破缺在神經(jīng)網(wǎng)絡(luò)及優(yōu)化問題研究方面的影響。神經(jīng)網(wǎng)絡(luò)是當(dāng)前科學(xué)研究范式（AI for Science）的基本工具，而優(yōu)化問題更是非常古老的學(xué)科方向。

神經(jīng)網(wǎng)絡(luò)的理論研究

帕里西開創(chuàng)的復(fù)本對(duì)稱破缺的研究范式，是其獲得諾貝爾物理學(xué)獎(jiǎng)的重要原因。該范式在1980年代中期就已延伸到人工神經(jīng)網(wǎng)絡(luò)的理論研究。這對(duì)于當(dāng)前人工智能的基礎(chǔ)理論研究不乏具有參考價(jià)值。

早期的研究集中于分析聯(lián)想記憶網(wǎng)絡(luò)。這類網(wǎng)絡(luò)是根據(jù)神經(jīng)科學(xué)的赫布律來設(shè)計(jì)的簡(jiǎn)單循環(huán)神經(jīng)網(wǎng)絡(luò)，它能夠提取部分被破壞的記憶模式，從而模擬大腦的聯(lián)想記憶功能。復(fù)本方法的主要貢獻(xiàn)在于解析了聯(lián)想記憶的相圖，發(fā)現(xiàn)了記憶相、順磁相和自旋玻璃相，并且發(fā)現(xiàn)通過記憶相的轉(zhuǎn)變都是一級(jí)相變[8]。這個(gè)工作使得統(tǒng)計(jì)物理第一次能夠深刻理解復(fù)雜的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與功能之間的關(guān)系，并由此開啟計(jì)算神經(jīng)科學(xué)這一學(xué)科。做出這一開創(chuàng)性工作的科學(xué)家之一，意大利理論物理學(xué)家阿米特（D. Amit）更是在1989年就出版了相關(guān)學(xué)術(shù)專著，將其一生都貢獻(xiàn)給了計(jì)算神經(jīng)科學(xué)的早期發(fā)展，培養(yǎng)了很多這一領(lǐng)域的領(lǐng)導(dǎo)者。另一科學(xué)家佐姆波林斯基（H. Sompolinsky）在以色列創(chuàng)建了埃德蒙和莉莉·薩夫拉腦科學(xué)中心，并大力發(fā)展神經(jīng)物理學(xué)，成為了橫貫統(tǒng)計(jì)物理、神經(jīng)網(wǎng)絡(luò)和腦科學(xué)領(lǐng)域的大師級(jí)人物。

同一時(shí)期，受阿米特影響的粒子物理學(xué)家阿博特（L. Abbott）也在1990年代轉(zhuǎn)向神經(jīng)網(wǎng)絡(luò)和腦科學(xué)研究，隨后在哥倫比亞大學(xué)創(chuàng)建了享譽(yù)世界的扎克曼大腦行為研究所，培養(yǎng)了這一領(lǐng)域相當(dāng)活躍的很多年輕學(xué)者。同在1980年代中期，加德納（E. Gardner）也以一己之力創(chuàng)建了在感知機(jī)（監(jiān)督學(xué)習(xí)的典型網(wǎng)絡(luò)）中的加德納理論[9]，該理論也是基于復(fù)本分析的研究范式，其強(qiáng)大之處在于能夠定量計(jì)算神經(jīng)網(wǎng)絡(luò)計(jì)算的物理極限，比如存儲(chǔ)容量、最小數(shù)據(jù)量、算法學(xué)習(xí)極限等[5]。

1995年，弗朗茲（S. Franz）和帕里西為研究自旋玻璃提出了Franz-Parisi勢(shì)[10]，巧妙地將統(tǒng)計(jì)物理構(gòu)型空間的幾何結(jié)構(gòu)納入熱力學(xué)勢(shì)函數(shù)的計(jì)算。2014年，筆者將Franz-Parisi勢(shì)用于分析感知機(jī)學(xué)習(xí)的計(jì)算復(fù)雜性起源，揭開了人工神經(jīng)網(wǎng)絡(luò)態(tài)空間的幾何分析序幕[11]。隨后學(xué)界提出局域熵的概念[12]，拓展了人們對(duì)神經(jīng)計(jì)算的認(rèn)知邊界。傳統(tǒng)的平衡態(tài)分析顯示，這些幾何孤立的態(tài)基本是零熵的；然而，經(jīng)驗(yàn)設(shè)計(jì)的學(xué)習(xí)算法動(dòng)力學(xué)往往被態(tài)空間的少數(shù)稠密區(qū)域所吸引，而這些區(qū)域?qū)ι窠?jīng)網(wǎng)絡(luò)的泛化（即舉一反三能力）性能有關(guān)鍵性的影響[12]。

除此之外，復(fù)本方法還可用于對(duì)無監(jiān)督學(xué)習(xí)（即無師自通）的研究。筆者從2015年開始著力于這方面的理論研究，用簡(jiǎn)明的數(shù)學(xué)和清晰的物理圖像勾勒出學(xué)習(xí)過程的本質(zhì)是自發(fā)對(duì)稱性破缺[13]。這種類型的研究還有很多，都與帕里西在自旋玻璃理論的開創(chuàng)性研究息息相關(guān)。

在近40年來人工神經(jīng)網(wǎng)絡(luò)的理論研究中，復(fù)本方法及復(fù)本對(duì)稱破缺的概念扮演著不可或缺的角色。如今，無論在機(jī)器學(xué)習(xí)或神經(jīng)科學(xué)有建樹的科學(xué)家中，有相當(dāng)一部分在職業(yè)生涯早期曾接受過統(tǒng)計(jì)物理或物理學(xué)的嚴(yán)格訓(xùn)練。在帕里西獲得諾貝爾獎(jiǎng)之際，許多計(jì)算神經(jīng)科學(xué)家或理論機(jī)器學(xué)習(xí)學(xué)者表達(dá)了對(duì)他的祝賀和感激，因?yàn)榕晾镂鞯乃枷氪俪闪巳缃裆窠?jīng)網(wǎng)絡(luò)的理論研究這一交叉學(xué)科的繁榮！

組合優(yōu)化算法的物理分析

21世紀(jì)初，帕里西與合作者系統(tǒng)地提出空腔方法[14]，這是與復(fù)本方法相輔相成的物理學(xué)基本方法。空腔方法的本質(zhì)在于分析稀疏因子圖（這類圖一般有兩種節(jié)點(diǎn)，一種代表變量或自旋，另一種代表約束或相互作用；典型的計(jì)算機(jī)科學(xué)問題，比如組合優(yōu)化的隨機(jī)k-SAT問題就可映射成這樣的物理問題）時(shí)，通過引入圖上節(jié)點(diǎn)的虛擬缺失，構(gòu)造空腔概率的迭代方程，從而求解體系的自由能等物理量。這類組合優(yōu)化問題的復(fù)雜性也深深吸引帕里西對(duì)其進(jìn)行深入系統(tǒng)的研究。值得一提的是，他與合作者發(fā)現(xiàn)，處于NP-完備類的隨機(jī)k-SAT問題（k可以理解為自旋的多體相互作用，SAT可以理解為求解能量基態(tài)）也存在復(fù)本對(duì)稱破缺相，并且在復(fù)本對(duì)稱破缺思想的指導(dǎo)下，帕里西與合作者提出全新的算法——調(diào)查傳播法（survey propagation），求解組合優(yōu)化SAT問題基態(tài)的極限逼近理論閾值[15]。

為了表彰他們的貢獻(xiàn)，美國(guó)物理學(xué)會(huì)在2016年將統(tǒng)計(jì)物理學(xué)界的重要獎(jiǎng)項(xiàng)“昂薩格獎(jiǎng)”授予帕里西與其合作者。這顯示了統(tǒng)計(jì)物理與計(jì)算機(jī)科學(xué)甚至信息科學(xué)的基本問題存在著深刻的聯(lián)系。

復(fù)雜系統(tǒng)的研究路在何方：智能起源

當(dāng)今， 非常復(fù)雜的兩類系統(tǒng)——以連接主義為代表的人工智能和人腦，仍然缺乏從原理層面上去理解的突破。其中人工智能毫無疑問已經(jīng)在重塑人類社會(huì)經(jīng)濟(jì)的方方面面，而人類對(duì)于大腦的理解也必將對(duì)社會(huì)文明產(chǎn)生不可估量的影響。最近，科學(xué)探索獎(jiǎng)歷屆得主評(píng)選出的十大科學(xué)技術(shù)問題的前3個(gè)分別為：①人類的意識(shí)，以及學(xué)習(xí)和記憶的生物基礎(chǔ)從何而來；②人腦和機(jī)器是否能實(shí)現(xiàn)直接通訊；③通用人工智能是否能實(shí)現(xiàn)。尋找這些問題的答案并非易事，盡管最后答案可能很簡(jiǎn)單。

統(tǒng)計(jì)物理方法是一座架起微觀作用到宏觀涌現(xiàn)的橋梁，而帕里西在無序系統(tǒng)研究的奠基性貢獻(xiàn)，將指引物理、數(shù)學(xué)、機(jī)器學(xué)習(xí)與理論腦科學(xué)交叉方向的科學(xué)家破解人工智能和人腦的奧秘。機(jī)器智能和生物智能是由非常復(fù)雜的組元（比如神經(jīng)細(xì)胞、神經(jīng)突觸等），通過時(shí)空多層級(jí)的相互作用所形成的集體行為，其中精確的數(shù)學(xué)機(jī)制很難一目了然。在這條艱辛的求索道路上，兼具物理深刻性和數(shù)學(xué)美的理論無疑將開啟本世紀(jì)在認(rèn)知科學(xué)方面的科學(xué)革命，讓從第一性原理出發(fā)設(shè)計(jì)智能世界變成了可能。也只有到了那個(gè)時(shí)刻，就像麥克斯韋從其方程組導(dǎo)出光是電磁波那樣，人類文明也必將步入一個(gè)嶄新的時(shí)代！

[1]Edwards S F， Anderson P W. Theory of spin glasses. Journal of Physics F， 1975， 5（5）： 965-974.

[2]Sherrington D， Kirkpatrick S. Solvable model of a spin-glass. Physical Review Letters， 1975， 35（26）： 1792-1976.

[3]Almeida J， Thouless D J. Stability of the Sherrington-Kirkpatrick solution of a spin glass model. Journal of Physics A General Physics， 2001， 11（5）： 983.

[4]Parisi G. Infinite number of order parameters for spin-glasses. Physical Review Letters， 1979， 43（23）： 1754-1756.

[5]Haiping Huang. Statistical mechanics of neural networks. Singapore： Springer， 2022.

[6]Talagrand M. The Parisi formula. Annals of Mathematics， 2006， 163： 221.

[7]Ghofraniha N， Viola I， Maria F D， et al. Experimental evidence of replica symmetry breaking in random lasers. Nature Communications， 2015， 6： 6058.

[8]Amit D J， Gutfreund H， Sompolinsky H. Storing infinite numbers of patterns in a spin-glass model of neural networks. Physical Review Letters， 1985， 55（14）： 1530.

[9]Gardner E. The space of interactions in neural network models. Journal of Physics A-Mathematical and General， 1988， 21： 257-270.

[10]Franz S， Parisi G. Recipes for metastable states in spin glasses. Journal de Physique I， 1995， 5（11）：1401.

[11]Huang H P， Kabashima Y. Origin of the computational hardness for learning with binary synapses. Physical Review E， 2014， 90（5）： 52813-52813.

[12]Baldassi C， Ingrosso A， Lucibello C， et al. Subdominant dense clusters allow for simple learning and high computational performance in neural networks with discrete Synapses. Physical Review Letters， 2015， 115（12）： 128101.

[13]Hou T， Huang H P. Statistical physics of unsupervised learning with prior knowledge in neural networks. Physical Review Letters， 2020， 124（24）： 248302.

[14]Mézard M， Parisi G. The Bethe lattice spin glass revisited. The European Physical Journal B-Condensed Matter and Complex Systems， 2001， 20（2）： 217-233.

[15]Mézard M， Parisi G， Zecchina R. Analytic and algorithmic solution of random satisfiability problems. Science， 2002， 297： 812-815.

關(guān)鍵詞：自旋玻璃 復(fù)本對(duì)稱破缺 神經(jīng)網(wǎng)絡(luò) 統(tǒng)計(jì)物理 ■

3713501908287