基于多門控混合專家網(wǎng)絡(luò)的燃燒熱化學(xué)流形表征

王意存，邵長(zhǎng)孝，金臺(tái)，邢江寬，羅坤,4，樊建人,4

(1.浙江大學(xué) 能源高效清潔利用全國(guó)重點(diǎn)實(shí)驗(yàn)室，浙江 杭州 310027；2.哈爾濱工業(yè)大學(xué)（深圳） 湍流控制研究所，廣東 深圳518055；3.浙江大學(xué) 航空航天學(xué)院，浙江 杭州 310027；4.浙江大學(xué) 上海高等研究院，上海 200120)

機(jī)器學(xué)習(xí)（machine learning，ML）方法已經(jīng)在以計(jì)算流體力學(xué)（computational fluid dynamics，CFD）為代表的科學(xué)計(jì)算領(lǐng)域掀起了熱潮[1].在湍流燃燒數(shù)值模擬方面，研究者試圖用機(jī)器學(xué)習(xí)方法進(jìn)行燃燒建模[2-4]，建立數(shù)據(jù)驅(qū)動(dòng)的燃燒模型.熱化學(xué)流形（thermochemical manifolds）的參數(shù)化和表征是機(jī)器學(xué)習(xí)在燃燒建模中的重要應(yīng)用.傳統(tǒng)的流形參數(shù)化技術(shù)包括各種查表（loop-up tables）技術(shù)，如原位自適應(yīng)建表（in situ adaptive tabulation，ISAT）[5]、分段多項(xiàng)式近似（piecewise polynomial approximation）[6]以及小火焰模型（flamelet models）[7].人工神經(jīng)網(wǎng)絡(luò)模型（artificial neural network，ANN）因更快的計(jì)算速度和更小的內(nèi)存占用，在熱化學(xué)流形的參數(shù)化和表征方面已經(jīng)得到研究和認(rèn)可.因?yàn)榛谏窠?jīng)網(wǎng)絡(luò)的模型只需存儲(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)信息、權(quán)重和偏置參數(shù)[8]，所以通常不會(huì)占用太多存儲(chǔ)空間.除此之外，與傳統(tǒng)的查表方法不同，基于神經(jīng)網(wǎng)絡(luò)的模型具有采樣點(diǎn)之間平滑插值的優(yōu)點(diǎn)[2,3,9].

基于機(jī)器學(xué)習(xí)已經(jīng)發(fā)展出一些新型的熱化學(xué)流形表征方法.在有限速率類燃燒模型方面，求解化學(xué)反應(yīng)剛性常微分方程組（system of ordinary differential equations，SODEs）使用詳細(xì)化學(xué)反應(yīng)機(jī)理直接積分（direct integration，DI）方法的計(jì)算量巨大，導(dǎo)致計(jì)算效率較低.為此，研究者利用神經(jīng)網(wǎng)絡(luò)模型建立熱化學(xué)狀態(tài)作為輸入和化學(xué)反應(yīng)源項(xiàng)（或者下一時(shí)刻的狀態(tài)）作為輸出的映射關(guān)系[2,10-15].為了使神經(jīng)網(wǎng)絡(luò)具有良好泛化能力，訓(xùn)練數(shù)據(jù)集必須覆蓋真實(shí)模擬中可能遇到的熱化學(xué)狀態(tài)，復(fù)雜的反應(yīng)機(jī)理會(huì)對(duì)熱化學(xué)狀態(tài)數(shù)據(jù)集的構(gòu)建以及神經(jīng)網(wǎng)絡(luò)的訓(xùn)練帶來(lái)困難[2].替代方案是在小火焰燃燒模型框架下實(shí)施熱化學(xué)流形表征，這也是本研究的焦點(diǎn).

在小火焰燃燒模型框架內(nèi)，通常利用幾個(gè)控制變量（controlling variable）（如混合分?jǐn)?shù)、過(guò)程變量）來(lái)參數(shù)化低維流形[16]，待求解的熱化學(xué)標(biāo)量通過(guò)預(yù)先建立的小火焰庫(kù)訪問(wèn)而無(wú)需求解組分輸運(yùn)方程，因此具有較高的計(jì)算效率.然而，在一些復(fù)雜場(chǎng)景中（如考慮輻射和相間換熱、多進(jìn)口構(gòu)型），必須對(duì)小火焰模型進(jìn)行維度擴(kuò)展、增加控制變量的數(shù)量[16]，此時(shí)會(huì)造成小火焰庫(kù)的尺寸較大，讀取這些小火焰庫(kù)需要占用較大的內(nèi)存空間以及復(fù)雜的多維插值程序.為此，研究者利用ANN 建立控制變量作為輸入、其他熱化學(xué)標(biāo)量作為輸出的映射關(guān)系.CFD 程序讀取訓(xùn)練好的ANN 而非小火焰庫(kù)，從而緩解內(nèi)存占用問(wèn)題.此類方法已成功應(yīng)用于值班CH4/air 射流火焰[9]、鈍體旋流穩(wěn)定火焰[17]、CH4/H2/N2射流擴(kuò)散火焰[18]、具有非均勻入口的值班射流火焰[19]、火箭發(fā)動(dòng)機(jī)[20]、內(nèi)燃機(jī)工況下的噴霧火焰[8,21]、超聲速燃燒器[22]和超臨界CO2燃燒器[23]等.

基于小火焰的燃燒熱化學(xué)流形表征完成的都是從較少幾個(gè)控制變量到熱化學(xué)標(biāo)量的映射，其中基礎(chǔ)的前饋神經(jīng)網(wǎng)絡(luò)（feedforward neural network，F(xiàn)NN）得到最多的應(yīng)用.從機(jī)器學(xué)習(xí)的角度，該問(wèn)題可視作多任務(wù)學(xué)習(xí)問(wèn)題，任務(wù)目標(biāo)是使得各個(gè)熱化學(xué)標(biāo)量都取得較好的預(yù)測(cè)精度.Owoyele等[24]采用混合專家網(wǎng)絡(luò)（mixture of experts，MoE）[25]完成了燃燒流形表征，并取得較好的先驗(yàn)結(jié)果.MoE 是典型的多任務(wù)學(xué)習(xí)技術(shù)，由于只有1 個(gè)門控網(wǎng)絡(luò)，在任務(wù)相關(guān)性不強(qiáng)的問(wèn)題中可能表現(xiàn)不佳.對(duì)于相關(guān)性不強(qiáng)的多個(gè)任務(wù)，多門控混合專家網(wǎng)絡(luò)（multi-gate mixture of experts，MMoE）[26]的表現(xiàn)更好.因此，從理論上講，MMoE 比MoE 更加適用于燃燒熱化學(xué)流形的表征.本研究采用MMoE 模型在小火焰模型框架內(nèi)實(shí)現(xiàn)燃燒熱化學(xué)流形的表征，獲取比FNN 模型更高的精度.本研究模型訓(xùn)練采用的數(shù)據(jù)集來(lái)自三維層流射流噴霧火焰的詳細(xì)化學(xué)（detailed chemistry，DC）模擬，本研究將對(duì)該數(shù)據(jù)集中的組分進(jìn)行相關(guān)性分析，分別搭建MMoE 和FNN 模型，將2 種模型的結(jié)果與DC 結(jié)果對(duì)比以進(jìn)行性能評(píng)估.

1 數(shù)學(xué)和物理模型

1.1 詳細(xì)化學(xué)模擬

訓(xùn)練和測(cè)試用的數(shù)據(jù)由DC 模擬計(jì)算得到.在噴霧燃燒DC 模擬中，通過(guò)直接求解質(zhì)量、動(dòng)量、能量和組分質(zhì)量分?jǐn)?shù)的守恒方程建立數(shù)據(jù)庫(kù).基于低馬赫數(shù)假設(shè)，守恒方程為

式中：ρ 為氣相密度，基于理想氣體狀態(tài)方程求解；uj為氣相速度；p為壓力；τi j為黏性應(yīng)力；wk為組分k的質(zhì)量分?jǐn)?shù)；h為比焓；α 為熱擴(kuò)散系數(shù)；D為組 分 擴(kuò) 散 系數(shù)； ω ˙h為燃 燒 熱釋 率； ω ˙k是 組分k的反應(yīng)速率；δlk為Kronecker 記號(hào)，其中l(wèi)為液相蒸發(fā)的組分；Ns為系統(tǒng)中化學(xué)組分總數(shù)；S˙ρ、S˙ui和S˙h分別為液相的質(zhì)量、動(dòng)量和能量源項(xiàng)，基于點(diǎn)源模型（particle-source-in cell，PSI-Cell）封閉[27-29].液相采用拉格朗日顆粒追蹤方法（Lagrangian particle tracking，LPT）計(jì)算求解[30].

1.2 小火焰燃燒模型

根據(jù)Wang 等[31-33]提出的兩相噴霧小火焰過(guò)程變量（two-phase spray flamelet / progress variable，TSFPV）模型，熱化學(xué)標(biāo)量ψ 可以參數(shù)化為

式中：Z、C和Zcarr分別為混合分?jǐn)?shù)、過(guò)程變量以及新定義的載氣混合分?jǐn)?shù)（carrier mixture fraction）[31].這3 個(gè)控制變量須在CFD 程序中同步求解，守恒方程分別為

式中：C為過(guò)程變量，C=wCO2+wH2O+wCO+wH2，w為 質(zhì) 量 分?jǐn)?shù)； ω ˙C為過(guò) 程變 量 源 項(xiàng)；DZ、DC分 別為混合分?jǐn)?shù)和過(guò)程變量的擴(kuò)散系數(shù)；載氣混合分?jǐn)?shù)Zcarr是被動(dòng)標(biāo)量，其守恒方程中沒(méi)有源項(xiàng)，可以避免傳統(tǒng)混合分?jǐn)?shù)Z的非單調(diào)性相關(guān)問(wèn)題[31,34-36].

1.3 三維層流噴霧射流火焰數(shù)據(jù)集

使用OpenFOAM 7.0 中的噴霧燃燒求解器sprayFoam，對(duì)三維層流噴霧射流火焰進(jìn)行詳細(xì)化學(xué)模擬，構(gòu)建DC 數(shù)據(jù)集，以用于神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和測(cè)試.火焰構(gòu)型的示意圖如圖1 所示.中心射流直徑D= 1 mm，射流包括空氣、甲醇液滴以及預(yù)汽化的燃料蒸汽組成的混合物.射流周圍的伴隨流由氫氣/空氣在1 430 K 的貧燃平衡產(chǎn)物組成[37].射流入口速度為8 m/s，特征長(zhǎng)度取中心射流直徑，取運(yùn)動(dòng)黏度為1.5×10-5m2/s，計(jì)算得到射流入口雷諾數(shù)為533，小于圓管流動(dòng)臨界雷諾數(shù)為2 300，可以認(rèn)為當(dāng)前研究的火焰為層流火焰.伴隨流入口速度為1 m/s，液相質(zhì)量流量為3.185×10-6kg/s.其他的入口參數(shù)參見(jiàn)表1.入流參數(shù)的設(shè)置參考悉尼抬升甲醇噴霧火焰Mt2A 構(gòu)型[37-38].計(jì)算域是直徑為30D，流向長(zhǎng)度為55D的圓柱體，采用的總網(wǎng)格數(shù)約為105 萬(wàn).采用的化學(xué)反應(yīng)機(jī)理為甲醇燃燒的18 組分55 步反應(yīng)骨架機(jī)理[39].

表1 噴霧射流火焰的入口參數(shù)Tab.1 Inflow parameters of spray jet flame

圖1 噴霧射流火焰構(gòu)型示意圖Fig.1 Schematic of configuration of spray jet flame

對(duì)于DC 模擬生成的原始數(shù)據(jù)集，須進(jìn)行數(shù)據(jù)預(yù)處理操作，預(yù)處理過(guò)程包括2 個(gè)步驟.1）組分質(zhì)量分?jǐn)?shù)、Z、C和Zcarr介于[0, 1]，采用Box-Cox轉(zhuǎn)換（Box-Cox transformation，BCT）[11,40]，將物理量映射至O(1)量級(jí)，解決燃燒數(shù)據(jù)的多尺度分布問(wèn)題.2）對(duì)所有BCT 后的熱化學(xué)標(biāo)量，使用Z-score標(biāo)準(zhǔn)化處理.對(duì)于預(yù)處理過(guò)的數(shù)據(jù)樣本，隨機(jī)選取其中80%作為訓(xùn)練集，20%作為測(cè)試集.

1.4 人工神經(jīng)網(wǎng)絡(luò)模型

FNN 也稱多層感知器（multi-layer perceptron，MLP），是應(yīng)用廣泛的基礎(chǔ)人工神經(jīng)網(wǎng)絡(luò)，如圖2(a)所示.FNN 中各神經(jīng)元分別屬于不同的層，每一層的神經(jīng)元可以接收前一層神經(jīng)元的信號(hào)，并產(chǎn)生信號(hào)輸出到下一層.第0 層稱為輸入層，最后一層稱為輸出層，其他中間層稱為隱藏層.每個(gè)神經(jīng)元視為從輸入到輸出的非線性映射.輸入層神經(jīng)元接收的輸入是整個(gè)網(wǎng)絡(luò)的輸入值，在當(dāng)前問(wèn)題中也就是控制變量X=[Z,C,Zcarr].對(duì)于中間層神經(jīng)元，輸入是前一層神經(jīng)元的輸出.對(duì)于輸出層的神經(jīng)元，輸出就是待求解的熱化學(xué)標(biāo)量φ.整個(gè)網(wǎng)絡(luò)的運(yùn)算關(guān)系為

圖2 神經(jīng)網(wǎng)絡(luò)示意圖Fig.2 Schematic of neural network

神經(jīng)網(wǎng)絡(luò)模型基于開源PyTorch 1.8.2 框架實(shí)現(xiàn).為了公平比較2 種網(wǎng)絡(luò)模型的性能，保持網(wǎng)絡(luò)結(jié)構(gòu)具有相近的可訓(xùn)練參數(shù)數(shù)目.對(duì)于2 種網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)輸入包含3 個(gè)控制變量，即Z，C和Zcarr，網(wǎng)絡(luò)輸出為17 變量，即去除N2之后的17 個(gè)組分.對(duì)于FNN，網(wǎng)絡(luò)包含7 層隱藏層，隱藏層神經(jīng)元數(shù)目為(8, 16, 32, 64, 94, 64, 32)，隱藏層激活函數(shù)為tanh，總的參數(shù)數(shù)目為17 663.對(duì)于MMoE，網(wǎng)絡(luò)結(jié)構(gòu)包含8 個(gè)專家網(wǎng)絡(luò)，17 個(gè)塔網(wǎng)絡(luò)，17 個(gè)門控網(wǎng)絡(luò).專家網(wǎng)絡(luò)和塔網(wǎng)絡(luò)結(jié)構(gòu)匯總?cè)绫?，總的參數(shù)數(shù)目為17 609.這2 種網(wǎng)絡(luò)結(jié)構(gòu)都采用均方誤差（mean square error，MSE）損失函數(shù).函數(shù)網(wǎng)絡(luò)權(quán)重使用Xavier 初始化[41]，通過(guò)Adam 優(yōu)化器[42]進(jìn)行優(yōu)化，采用自定義的指數(shù)衰減學(xué)習(xí)率l/l0=5-n/2000，其中n為訓(xùn)練周期數(shù)，初始學(xué)習(xí)率l0=1.0×10-3.

表2 多門控混合專家網(wǎng)絡(luò)中的專家網(wǎng)絡(luò)和塔網(wǎng)絡(luò)結(jié)構(gòu)Tab.2 Structure of expert network and tower network in multi-gate mixture of experts

2 結(jié)果與討論

2.1 火焰數(shù)據(jù)集分析

分析DC 模擬生成的火焰數(shù)據(jù)集，標(biāo)量的分布云圖如圖3 所示，其中r為徑向位置.由圖3(a)可以看出，在上游位置（x<10D），主射流和高溫伴流之間由于相互混合，形成剪切層.剪切層的高溫促進(jìn)該區(qū)域液滴的蒸發(fā)，剪切層不斷發(fā)展，隨后著火過(guò)程發(fā)生并形成火焰.由于液滴蒸發(fā)熱損失作用導(dǎo)致剪切層溫度降低.由圖3(b)可以看出，蒸發(fā)過(guò)程一直持續(xù)到約x=20D位置，同時(shí)混合分?jǐn)?shù)達(dá)到較大值，此時(shí)射流中心位置為主要蒸發(fā)區(qū)域.由圖3(d) 可以看出，與經(jīng)典的混合分?jǐn)?shù)Z不同，Zcarr從射流核心向外單調(diào)變化，這將有利于小火焰模型的建模.圖3(f)中的白色實(shí)線代表等值線wOH= 6×10-4，該等值線可以用于判斷火焰抬升高度[43].結(jié)果顯示火焰抬升高度為6.8D.

圖3 熱化學(xué)量的等值線云圖Fig.3 Contour plots of thermochemical quantities

當(dāng)前神經(jīng)網(wǎng)絡(luò)模型的任務(wù)是對(duì)除了N2之外的所有組分進(jìn)行預(yù)測(cè)，為了挖掘不同組分間的內(nèi)在相關(guān)性，采用Pearson 相關(guān)系數(shù)（Pearson correlation coefficient）[44]分析預(yù)處理后的數(shù)據(jù)集.2 個(gè)變量X和Y之間的相關(guān)系數(shù)計(jì)算式為

式中：μ為平均值，σ 為標(biāo)準(zhǔn)差，E為期望，cov(X,Y) 為X和Y的協(xié)方差.相關(guān)系數(shù)的值介于[-1, 1]，當(dāng)λX,Y= 0 時(shí)，表示X和Y不存在線性相關(guān)關(guān)系；當(dāng)λX,Y接近1 或-1 時(shí)，表示2 個(gè)變量存在較強(qiáng)的正相關(guān)或負(fù)相關(guān)的線性關(guān)系.計(jì)算任意2 種組分的相關(guān)系數(shù)并取絕對(duì)值，繪制組分相關(guān)系數(shù)的熱力圖，如圖4 所示.圖中，深色方塊對(duì)應(yīng)的2 個(gè)組分之間的相關(guān)系數(shù)絕對(duì)值接近1，淺色方塊對(duì)應(yīng)的2 個(gè)組分之間的相關(guān)系數(shù)絕對(duì)值接近于0.可以看出，部分組分之間無(wú)明顯的相關(guān)性.從理論上講，使用MMoE 而非經(jīng)典的FNN 將獲得更好的預(yù)測(cè)結(jié)果，原因是MMoE 比FNN 更善于處理相關(guān)性不強(qiáng)的多個(gè)任務(wù)[26].

圖4 組分相關(guān)系數(shù)的熱力圖Fig.4 Heatmap of correlation coefficients for different species

2.2 模型訓(xùn)練結(jié)果分析

使用2 種神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練5 000 步后的損失值L匯總于表3.整體來(lái)看，2 種網(wǎng)絡(luò)模型最終均收斂到O(10-4)量級(jí)的損失值，且訓(xùn)練集損失和測(cè)試集損失接近，未出現(xiàn)過(guò)擬合問(wèn)題.盡管MMoE相比FNN 的損失值更小，但均處于同一量級(jí)，二者更明顯的差異可以結(jié)合如圖5 所示的訓(xùn)練過(guò)程損失曲線來(lái)判斷.可以看出，整體上，MMoE 的損失值低于FNN.在訓(xùn)練前期（n< 2 000），F(xiàn)NN 損失下降過(guò)程出現(xiàn)明顯的振蕩，MMoE 損失值穩(wěn)步下降，說(shuō)明MMoE 模型在訓(xùn)練過(guò)程中更加穩(wěn)定.

表3 神經(jīng)網(wǎng)絡(luò)模型最終的損失值Tab.3 Final loss values for different neural network models

圖5 神經(jīng)網(wǎng)絡(luò)模型的損失值隨迭代步數(shù)的變化Fig.5 Loss values versus iterations for different neural networks

如圖6、圖7 所示分別為2 種模型在測(cè)試集上預(yù)測(cè)值與真實(shí)值的散點(diǎn)圖.圖中，橫坐標(biāo)ytrue為測(cè)試集中的真實(shí)值，縱坐標(biāo)ypred為模型的預(yù)測(cè)值，理想情況下，散點(diǎn)分布在ypred=ytrue對(duì)角線上，即圖中虛線.散點(diǎn)越接近虛線，表示預(yù)測(cè)結(jié)果越好.可以看出，2 種神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)值都與真實(shí)值接近，尤其是質(zhì)量分?jǐn)?shù)較大的主要組分，例如H2O 和O2.即便是對(duì)于質(zhì)量分?jǐn)?shù)較小的中間組分，例如H2和OH，2 種神經(jīng)網(wǎng)絡(luò)模型也展現(xiàn)出不錯(cuò)的預(yù)測(cè)精度.這說(shuō)明，對(duì)原始數(shù)據(jù)集的預(yù)處理操作（如BCT 轉(zhuǎn)換）可以較好地解決燃燒數(shù)據(jù)的多尺度分布問(wèn)題.

圖6 FNN 模型預(yù)測(cè)值與真實(shí)值的散點(diǎn)圖Fig.6 Scatter plots of true and predicted values using FNN model

圖7 MMoE 模型預(yù)測(cè)值與真實(shí)值的散點(diǎn)圖Fig.7 Scatter plots of true and predicted values using MMoE model

采用決定系數(shù)（coefficient of determination）R2來(lái)定量評(píng)估模型的性能，表達(dá)式為

式 中：i表 示 第i個(gè) 數(shù) 據(jù) 樣 本，yˉtrue為 真 實(shí) 值 的 均值.一般來(lái)說(shuō)，R2越接近1，表示模型擬合效果越好，R2=1 表明模型無(wú)誤差.2 種神經(jīng)網(wǎng)絡(luò)模型在訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集上各組分的決定系數(shù)匯總于表4.整體上，無(wú)論是訓(xùn)練集或測(cè)試集，對(duì)于所有組分質(zhì)量分?jǐn)?shù)，2 種神經(jīng)網(wǎng)絡(luò)模型的決定系數(shù)都高于0.999，這意味著2 種神經(jīng)網(wǎng)絡(luò)均得到較好的訓(xùn)練，模型均具有較高的擬合精度.

如圖8～10 所示為不同軸向位置處組分質(zhì)量分?jǐn)?shù)的徑向分布曲線.其中H2O、CO2和O2代表主要組分，H2、CO 和OH 為重要的中間產(chǎn)物組分.DC 結(jié)果作為基準(zhǔn)數(shù)據(jù)，將FNN 和MMoE 模型的預(yù)測(cè)結(jié)果與DC 結(jié)果進(jìn)行定量對(duì)比，以對(duì)模型進(jìn)一步評(píng)估.如圖8 所示，在上游位置（x=15D），2 種神經(jīng)網(wǎng)絡(luò)模型均取得較好的定量預(yù)測(cè)結(jié)果.在下游位置（x=25D、30D），如圖9、10 所示，2 種網(wǎng)絡(luò)模型開始顯現(xiàn)出差異.在下游位置，對(duì)于主要組分O2，2 種神經(jīng)網(wǎng)絡(luò)模型都取得較好的預(yù)測(cè)結(jié)果，對(duì)于主要組分H2O 和CO2以及中間產(chǎn)物組分H2和CO，MMoE 模型預(yù)測(cè)結(jié)果更精確，F(xiàn)NN 模型的預(yù)測(cè)結(jié)果出現(xiàn)一定程度的偏差.總體而言，MMoE 模型在上、下游位置，對(duì)于各個(gè)尺度的組分都有較好的預(yù)測(cè)精度.MMoE在不同區(qū)域均取得較好的預(yù)測(cè)結(jié)果，這得益于MMoE 與MoE 類似，具備多個(gè)專家網(wǎng)絡(luò)，具有燃燒流形自動(dòng)分支（autonomously bifurcating combustion manifolds）的能力[24].通過(guò)門控網(wǎng)絡(luò)，將不同區(qū)域的輸入數(shù)據(jù)分配給不同的專家網(wǎng)絡(luò)，每個(gè)專家網(wǎng)絡(luò)去處理給定部分的輸入，使得MMoE 取得比FNN 更好的局部預(yù)測(cè)效果.

圖8 神經(jīng)網(wǎng)絡(luò)結(jié)果與詳細(xì)化學(xué)結(jié)果對(duì)比（x/D = 15 位置）Fig.8 Comparisons of detailed chemistry results and solutions using different neural networks at axial location of x/D = 15

圖9 神經(jīng)網(wǎng)絡(luò)結(jié)果與詳細(xì)化學(xué)結(jié)果對(duì)比（x/D = 25 位置）Fig.9 Comparisons of detailed chemistry results and solutions using different neural networks at axial location of x/D = 25

圖10 神經(jīng)網(wǎng)絡(luò)結(jié)果與詳細(xì)化學(xué)結(jié)果對(duì)比（x/D = 30 位置）Fig.10 Comparisons of detailed chemistry results and solutions using different neural networks at axial location of x/D = 30

為了進(jìn)一步驗(yàn)證MMoE 相較于FNN 的優(yōu)勢(shì)，在1.3 節(jié)算例的基礎(chǔ)上改變工況，射流入口速度改為4 m/s，伴隨流入口速度改為0.5 m/s，溫度分布如圖11 所示.按照同樣的流程構(gòu)建數(shù)據(jù)集分別訓(xùn)練MMoE 和FNN 模型，對(duì)比分析相應(yīng)的結(jié)果如表5 和圖12 所示.結(jié)果表明，改變工況后，MMoE依舊取得了比FNN 模型更小的損失值，并且其訓(xùn)練過(guò)程更加穩(wěn)定，這進(jìn)一步驗(yàn)證了MMoE 的優(yōu)勢(shì).綜合此前結(jié)果可以得出結(jié)論，盡管2 種神經(jīng)網(wǎng)絡(luò)模型的損失值和決定系數(shù)相似，但MMoE 模型在訓(xùn)練過(guò)程中更加穩(wěn)定，定量預(yù)測(cè)結(jié)果更加準(zhǔn)確.

表5 新工況的神經(jīng)網(wǎng)絡(luò)模型最終的損失值Tab.5 Final loss values of different neural network for new case

圖11 新工況的溫度分布云圖Fig.11 Contour plots of gas temperature for mew case

圖12 新工況的神經(jīng)網(wǎng)絡(luò)模型的損失值隨迭代步數(shù)的變化Fig.12 Loss values versus iterations of different neural networks for new case

3 結(jié) 語(yǔ)

本研究將MMoE 模型應(yīng)用于小火焰燃燒模型框架內(nèi)的燃燒熱化學(xué)流形表征.使用OpenFOAM對(duì)三維噴霧射流火焰進(jìn)行詳細(xì)化學(xué)模擬以生成數(shù)據(jù)集.使用開源深度學(xué)習(xí)框架PyTorch 分別搭建FNN 和MMoE 模型，并進(jìn)行對(duì)比.結(jié)果表明，MMoE 在訓(xùn)練過(guò)程中具有更好的穩(wěn)定性，2 種神經(jīng)網(wǎng)絡(luò)模型取得了相近的損失值和決定系數(shù).進(jìn)一步定量結(jié)果表明，MMoE 模型在上、下游位置對(duì)于各個(gè)尺度的組分都有較好的預(yù)測(cè)精度，F(xiàn)NN 模型在下游位置出現(xiàn)一定的預(yù)測(cè)偏差.基于神經(jīng)網(wǎng)絡(luò)模型的燃燒熱化學(xué)流形表征是有前途的新方法，MMoE 模型相較于基礎(chǔ)的FNN 模型已展現(xiàn)出一定優(yōu)勢(shì)，下一步將進(jìn)行更加全面的性能評(píng)估.此外，作為有效的多任務(wù)學(xué)習(xí)模型，MMoE 對(duì)于燃燒機(jī)器學(xué)習(xí)領(lǐng)域的其他問(wèn)題，例如求解燃燒化學(xué)微分方程的物理信息神經(jīng)網(wǎng)絡(luò)、熱解模型構(gòu)建等，也有重要的參考價(jià)值.

致謝 感謝浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院李璽教授、繆佩翰、勵(lì)雪巍在研究中給予的幫助.