突破數(shù)學(xué)極限——流體神經(jīng)網(wǎng)絡(luò)

Dana Mackenzie

Senior Technology Writer

將卵石投入流動(dòng)的水流，可能不會(huì)大幅度改變流型。但是若將卵石扔到其他位置，則可能會(huì)發(fā)生很大變化。誰(shuí)能進(jìn)行預(yù)測(cè)呢？

答案：神經(jīng)網(wǎng)絡(luò)可以。美國(guó)帕薩迪納加利福尼亞理工學(xué)院（California Institute of Technology, Caltech）的計(jì)算機(jī)科學(xué)家和數(shù)學(xué)家，通過(guò)展示神經(jīng)網(wǎng)絡(luò)可自學(xué)如何比以往任何一種計(jì)算機(jī)程序更快、更準(zhǔn)確解決一大類(lèi)流體流動(dòng)問(wèn)題，而為人工智能（AI）開(kāi)辟了新的舞臺(tái)[1]。

加利福尼亞理工學(xué)院的計(jì)算與數(shù)學(xué)科學(xué)教授、科學(xué)人工智能（AI4Science）聯(lián)合負(fù)責(zé)人Animashree Anandkumar表示：“當(dāng)我們的小組兩年前聚在一起時(shí)，我們討論了人工智顛覆哪些科學(xué)領(lǐng)域的時(shí)機(jī)已經(jīng)成熟。我們認(rèn)為，如果能找出一個(gè)強(qiáng)大的框架來(lái)解算偏微分方程，那么我們就能產(chǎn)生廣泛的影響?！彼麄兊氖讉€(gè)目標(biāo)是二維納維-斯托克斯方程（Navier-Stokes equation），該方程描述了無(wú)限薄的一層水的運(yùn)動(dòng)情況（圖1）。他們的神經(jīng)網(wǎng)絡(luò)（他們稱(chēng)之為“傅里葉神經(jīng)算子”）在解決這類(lèi)問(wèn)題時(shí)，其性能（速度提高了400倍，精度提高了30%）大大優(yōu)于以前的任何微分方程解算器。

偏微分方程（PDE）是牛頓運(yùn)動(dòng)定律自然而然產(chǎn)生的一類(lèi)方程。為此，偏微分方程是科學(xué)的基礎(chǔ)，解算這些方程取得的任何重大進(jìn)展都會(huì)產(chǎn)生廣泛影響。Anandkumar表示：“我們正與各行業(yè)以及學(xué)術(shù)界和國(guó)家實(shí)驗(yàn)室的眾多團(tuán)隊(duì)進(jìn)行討論。我們已在進(jìn)行三維流體流動(dòng)實(shí)驗(yàn)?！盇nandkumar表示，一個(gè)很好的應(yīng)用案例是核聚變建模方程式。她補(bǔ)充道：“另一個(gè)應(yīng)用案例是材料設(shè)計(jì)，尤其是塑性與彈性材料設(shè)計(jì)。在此領(lǐng)域中，團(tuán)隊(duì)成員，即力學(xué)與材料科學(xué)教授Kaushik Bhattacharya具有豐富的經(jīng)驗(yàn)?！?/p>

圖1. 水在噴泉上方以薄片狀形式流動(dòng)。據(jù)加利福尼亞理工學(xué)院科學(xué)人工智能團(tuán)隊(duì)報(bào)道，與使用標(biāo)準(zhǔn)方法解算微分方程的計(jì)算機(jī)程序相比，神經(jīng)網(wǎng)絡(luò)可更快、更準(zhǔn)確地預(yù)測(cè)這種二維流體流動(dòng)[1]。他們繼續(xù)進(jìn)行三維流體流動(dòng)實(shí)驗(yàn)，通過(guò)改進(jìn)的自然現(xiàn)象（如核聚變）建模而可能對(duì)推動(dòng)科學(xué)發(fā)展產(chǎn)生廣泛影響。圖片來(lái)源：Pixabay (public domain)。

在第二次世界大戰(zhàn)期間，計(jì)算機(jī)應(yīng)運(yùn)而生的部分原因是使用微分方程來(lái)預(yù)測(cè)炮彈運(yùn)動(dòng)[2]。從那時(shí)起，計(jì)算機(jī)一直用于解算微分方程，具有一定的準(zhǔn)確性和成功率。但是以往的方法，無(wú)論涉及傳統(tǒng)計(jì)算機(jī)編程或人工智能，始終是一次只能處理一個(gè)方程。例如，計(jì)算機(jī)可弄清楚扔到一個(gè)位置的一顆卵石如何影響水流動(dòng)。然后，計(jì)算機(jī)就可學(xué)習(xí)扔到其他位置的卵石如何改變水流動(dòng)。但計(jì)算機(jī)并不會(huì)進(jìn)一步理解扔到任何位置的卵石如何改變水流動(dòng)。這是加利福尼亞理工學(xué)院傅里葉神經(jīng)算子背后的宏偉目標(biāo)。

當(dāng)然，以往的方法之所以無(wú)法實(shí)現(xiàn)一次處理多個(gè)方程是有原因的。神經(jīng)網(wǎng)絡(luò)擅長(zhǎng)學(xué)習(xí)數(shù)學(xué)家所稱(chēng)的有限維空間之間的關(guān)聯(lián)。例如，擊敗人類(lèi)最強(qiáng)圍棋選手的谷歌公司的人工智能程序AlphaGo，學(xué)習(xí)了圍棋位置（盡管為天文數(shù)字，但是數(shù)量有限）與圍棋落棋之間的函數(shù)關(guān)系[3]。相比之下，傅里葉神經(jīng)算子將流體的初始速度場(chǎng)作為輸入，并在一定時(shí)間后產(chǎn)生速度場(chǎng)輸出。這兩個(gè)速度場(chǎng)都存在于無(wú)限維空間中，這只是一種數(shù)學(xué)表達(dá)方式，即存在無(wú)限多種方式將一顆卵石扔到水流中。

加利福尼亞理工學(xué)院的團(tuán)隊(duì)通過(guò)用傳統(tǒng)方法解算的數(shù)千個(gè)納維-斯托克斯方程實(shí)例來(lái)訓(xùn)練傅里葉神經(jīng)算子[1]。然后，通過(guò)“代價(jià)函數(shù)”（cost function）對(duì)該網(wǎng)絡(luò)進(jìn)行評(píng)估，衡量了預(yù)測(cè)距正確解算有多遠(yuǎn)，并且以逐漸改進(jìn)其預(yù)測(cè)的方式發(fā)展。由于該網(wǎng)絡(luò)始于一組精選的輸入與輸出，因此其被稱(chēng)為“監(jiān)督學(xué)習(xí)”（supervised learning）。谷歌公司的AlphaGo原始版本結(jié)合了“監(jiān)督學(xué)習(xí)”和“無(wú)監(jiān)督學(xué)習(xí)”（盡管后來(lái)的版本僅采用“無(wú)監(jiān)督學(xué)習(xí)”）[3]。用于圖像處理的其他神經(jīng)網(wǎng)絡(luò)程序通常采用“監(jiān)督學(xué)習(xí)”[4]。

但無(wú)論你擁有多少訓(xùn)練數(shù)據(jù)，你都可能無(wú)法探索無(wú)限維空間中最微小的部分。你無(wú)法嘗試將卵石放入水流中的所有位置。此外，若無(wú)任何事先假設(shè)，則不能保證你的網(wǎng)絡(luò)能正確預(yù)測(cè)將卵石扔到新位置時(shí)會(huì)發(fā)生什么事情。

為此以及出于其他原因，另一名科學(xué)人工智能團(tuán)隊(duì)成員及計(jì)算與數(shù)學(xué)科學(xué)教授Andrew Stuart表示：“我們想采用神經(jīng)網(wǎng)絡(luò)的相關(guān)部分，并將其與對(duì)數(shù)學(xué)方面特定領(lǐng)域的理解相結(jié)合?！?/p>

特別是，Stuart知道線性偏微分方程（最簡(jiǎn)單的偏微分方程類(lèi)型）可以通過(guò)著名的格林函數(shù)方法來(lái)解算，這是用于解算這些常見(jiàn)問(wèn)題和偏微分方程的一種策略，而其他方法可能無(wú)法解決這些問(wèn)題[5]。基本上，它為方程的適當(dāng)解提供了一個(gè)模板。該模板可在有限維空間中進(jìn)行近似求解，因此，可將問(wèn)題從無(wú)限維減少到有限維。

納維-斯托克斯方程為非線性方程，因此，其尚無(wú)此類(lèi)模板。但是，若納維-斯托克斯方程存在類(lèi)似于格林函數(shù)的東西，即非線性方程（不過(guò)其仍存在有限維模板），那么神經(jīng)網(wǎng)絡(luò)應(yīng)該能夠?qū)ζ溥M(jìn)行學(xué)習(xí)。雖然無(wú)法保證這樣做會(huì)奏效，但Stuart稱(chēng)其為“見(jiàn)多識(shí)廣的冒險(xiǎn)”。他表示，經(jīng)驗(yàn)一次又一次地表明，神經(jīng)網(wǎng)絡(luò)非常適合學(xué)習(xí)有限維空間中的非線性映射。

美國(guó)加利福尼亞大學(xué)圣克魯茲分校的應(yīng)用數(shù)學(xué)系助理教授Daniele Venturi表示，學(xué)習(xí)無(wú)限維空間之間的非線性算子是計(jì)算科學(xué)領(lǐng)域的“圣杯”（holy grail）。Venturi的研究涉及微分方程和無(wú)限維函數(shù)空間，他表示不相信加利福尼亞理工學(xué)院團(tuán)隊(duì)已經(jīng)做到了這一點(diǎn)。他說(shuō)：“通常，在有限數(shù)量的輸入-輸出對(duì)基礎(chǔ)上學(xué)習(xí)無(wú)限維空間之間的非線性映射是不可能的，但能夠?qū)ζ溥M(jìn)行近似求解。實(shí)際上，主要問(wèn)題在于這種近似求解的計(jì)算成本及其準(zhǔn)確性和效率。他們展示的結(jié)果確實(shí)令人印象深刻。”

除前所未有的速度和準(zhǔn)確性外，加利福尼亞理工學(xué)院的方法還具有其他顯著特性[1]。通過(guò)設(shè)計(jì)，該方法甚至可在沒(méi)有初始數(shù)據(jù)的位置上預(yù)測(cè)流體流動(dòng)，并預(yù)測(cè)之前未見(jiàn)過(guò)的擾動(dòng)結(jié)果。該程序還確認(rèn)了納維-斯托克斯方程的解的突現(xiàn)行為：隨著時(shí)間推移，它們將長(zhǎng)波長(zhǎng)能量重新分配給短波長(zhǎng)。這種現(xiàn)象稱(chēng)為“能量級(jí)聯(lián)”（energy cascade），其由Andrei Kolmogorov在20世紀(jì)40年代提出，用于解釋流體的湍流現(xiàn)象[6]。

傅里葉神經(jīng)算子的未來(lái)研究前沿是三維流體流動(dòng)，其中湍流和混沌為主要障礙。神經(jīng)網(wǎng)絡(luò)能馴服混沌嗎？Anandkumar表示：“我們知道，混沌意味著無(wú)法精確預(yù)測(cè)長(zhǎng)時(shí)間內(nèi)的流體運(yùn)動(dòng)。但我們也從理論中知道存在統(tǒng)計(jì)不變量，如不變測(cè)度和穩(wěn)定吸引子?！比羯窠?jīng)網(wǎng)絡(luò)能夠了解吸引子的位置，則即使不可能進(jìn)行精確的確定性預(yù)測(cè)，也有可能做出更好的概率預(yù)測(cè)。Anandkumar指出，神經(jīng)網(wǎng)絡(luò)可控制混沌系統(tǒng)，因此，不會(huì)朝著不受歡迎的吸引狀態(tài)發(fā)展。她表示：“例如，在核聚變中，控制破壞（如等離子體失穩(wěn)）的能力變得非常重要?！?/p>