基于菌群優(yōu)化Spiking神經(jīng)網(wǎng)絡(luò)的渲染時間估計

胡 博,章 毅,蔡柳萍

(1.廣東外語外貿(mào)大學(xué) 南國商學(xué)院,廣東 廣州,510440;2.湖南大學(xué) 環(huán)境科學(xué)與工程學(xué)院,湖南 長沙,410082;3.菲律賓圣保羅大學(xué) 研究生院,菲律賓 卡加延省土格加勞市,3500)

近年來,圖像渲染在電影、動漫、雷達、遙感等多個領(lǐng)域得到了廣泛應(yīng)用[1]。雖然圖像渲染給多個領(lǐng)域的復(fù)雜建模及圖像增強帶來新的機遇,但由于整個渲染編碼過程需要強大的算力,對資源的消耗較大。一般都采用分布式或者集群方式來完成大規(guī)模的圖像渲染[2]。分布式或集群式渲染任務(wù)的高效調(diào)度成為圖像渲染大規(guī)模應(yīng)用需要解決的重要難題。

在渲染任務(wù)的調(diào)度問題中最重要的設(shè)置參數(shù)就是渲染時間。若根據(jù)圖像樣本能提前預(yù)估樣本的渲染時間,那么就能夠根據(jù)不同任務(wù)的渲染時間來制定渲染調(diào)度策略,這將極大提升圖像渲染效率。渲染時間的估計與渲染樣本材質(zhì)、幾何特征、圖像像素及燈光等多種因素有關(guān),因此通過多種樣本特征來進行渲染時間預(yù)估是一個十分復(fù)雜問題。

當前,關(guān)于圖像渲染方面的研究較多,方杰[3]對WebGL平臺的大規(guī)模渲染方式方法展開了研究,充分利用分布式計算優(yōu)勢來完成大量渲染編碼工作。朱家敏等[4]采用小波變換進行圖像渲染,重點解決了圖像中的半透明渲染問題。兩者研究都解決了特定應(yīng)用場景的3D渲染技術(shù)問題,也提到了與渲染時間關(guān)系密切的圖像樣本特征,但在渲染時間方面并未展開深入研究。Dai等[5]提出了一種基于深度循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent neural network,RNN)的物理渲染時間估計方法。Kallweit等[6]提出利用神經(jīng)網(wǎng)絡(luò)來預(yù)測大氣云圖像渲染的時間。從這兩個研究文獻可以看出,神經(jīng)網(wǎng)絡(luò)模型在渲染時間估計上具有較好的可行性。

但是,由于涉及多樣本特征的提取和編碼,基于神經(jīng)網(wǎng)絡(luò)(Neural network,NN)模型的渲染時間預(yù)估仍無法得到令人滿足準確性和魯棒性。作為一種新型的“第三代神經(jīng)網(wǎng)絡(luò)”,Spiking神經(jīng)網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)研究領(lǐng)域的最新成果。相較于前兩代神經(jīng)網(wǎng)絡(luò),Spiking神經(jīng)網(wǎng)絡(luò)由于具有強大的計算能力常被廣泛用于復(fù)雜問題的訓(xùn)練求解。Spiking神經(jīng)網(wǎng)絡(luò)通過脈沖信號實現(xiàn)數(shù)據(jù)的傳遞,根據(jù)脈沖點火時間來完成編碼。相比于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),Spiking神經(jīng)網(wǎng)絡(luò)訓(xùn)練具有更強的解決非線性預(yù)測或分類問題的能力。

由于深度卷積神經(jīng)網(wǎng)絡(luò)中的卷積編碼層具有可學(xué)習(xí)性的優(yōu)勢,且編碼方式更加靈活。因此,本文采用卷積Spiking神經(jīng)網(wǎng)絡(luò)(Convolutional Spike neural network,CSNN)來實現(xiàn)渲染時間估計,并采用菌群優(yōu)化算法對CSNN參數(shù)進行優(yōu)化求解,以進一步提高CSNN的渲染時間預(yù)估的準確性。

1 Spiking神經(jīng)網(wǎng)絡(luò)

1.1 基于Spiking的脈沖響應(yīng)模型

(1)

設(shè)所有前突神經(jīng)元i均處于集合Γj中,點火脈沖對u(t)影響為

(2)

由以上得,后突神經(jīng)元j的脈沖響應(yīng)表示方法為

(3)

考慮到式(2)的計算復(fù)雜度,在實際使用時一般采用簡化脈沖響應(yīng)模型(SRM0)

(4)

突觸電勢εij(t)為[7]

(5)

式中：H(·)是階躍響應(yīng),σ是常數(shù)。

1.2 卷積Spiking神經(jīng)網(wǎng)絡(luò)

基于Spiking的神經(jīng)網(wǎng)絡(luò)模型較多,本文選擇了運算能力更強CSNN,以便解決復(fù)雜的最優(yōu)求解問題。下面將對CSNN算法進行數(shù)學(xué)描述。

在CSNN運算中,需要先對樣本特征進行Spiking采樣,采樣層第k層對應(yīng)的第j個節(jié)點采樣方法為[8]

(6)

式中：n為采樣窗口尺寸,B為偏置。

經(jīng)過采樣的特征后進行卷積運算,Spiking卷積層第k層對應(yīng)的第j個節(jié)點卷積運算方式[10]為

(8)

式(6)和(7)中的函數(shù)f一般設(shè)置[9]為

(7)

式中：T為編碼函數(shù),Kernel是卷積核,Mj為第j個特征圖,B為偏置。

(9)

采用CSNN進行求解時,合理設(shè)置CSNN模型參數(shù)非常關(guān)鍵,這對CSNN模型的求解結(jié)果影響顯著。實際應(yīng)用求解時,由于樣本差異,通過手動調(diào)參較為困難且性能不佳。因此本文考慮采用群體智能算法BFO對CSNN模型核心參數(shù)進行優(yōu)化求解,以增強CSNN訓(xùn)練性能。

2 基于改進的Spiking神經(jīng)網(wǎng)絡(luò)渲染時間估計

2.1 菌群優(yōu)化(BFO)算法

設(shè)菌群規(guī)模為S,其運動范圍為[min,max],初始位置P[11]為

P=min+rand*(max-min)

(10)

式中：rand∈random(0,1)。

菌群個體的運動主要包含驅(qū)化、繁衍和遷徙3類操作。設(shè)細菌i的位置Xi=(x1,x2,…,xv),v表示位置維度,其從位置P經(jīng)過第j次驅(qū)化后的位置[12]為

(11)

式中：C(i)為細菌i的驅(qū)化步長。

i經(jīng)過驅(qū)化后的適應(yīng)度[13]為

(12)

(13)

(14)

每進行一次驅(qū)化操作,便計算一次適應(yīng)度,num次后,i的總適應(yīng)度H(Xi)[15]為

(15)

根據(jù)適應(yīng)度降序排列,選擇較高的細菌個體進行繁衍操作,從而生成新的菌群位置。由于菌群的環(huán)境影響,細菌也可受環(huán)境改變而遷徙,從而改變菌群邊界,因此經(jīng)過繁衍和遷徙操作,都將生成新的菌群位置。

不斷執(zhí)行3種菌群運動方式,直到達到BFO停止條件。

2.2 渲染時間估計流程

首先提取3D圖像樣本的分辨率、幾何面等關(guān)鍵參數(shù),將所有參數(shù)進行歸一化。根據(jù)渲染時間與3D模型參數(shù)之間的聯(lián)系,然后建立CSNN渲染時間預(yù)測模型,將CSNN節(jié)點權(quán)重卷積核尺寸及偏置等參數(shù)構(gòu)建菌群,接著通過菌群運動進行位置更新優(yōu)化,以渲染時間預(yù)測準確率為適應(yīng)度函數(shù)求解菌群最優(yōu)個體,從而獲得適合CSNN預(yù)測的最優(yōu)參數(shù),最后采用經(jīng)過BFO優(yōu)化后的CSNN進行預(yù)測。

圖1 基于BFO-CSNN的渲染時間估計流程

3 實例仿真結(jié)果與分析

為了驗證BFO+CSNN算法對渲染時間估計的性能,進行實例仿真。渲染對象數(shù)據(jù)集為某3D動畫樣本,其數(shù)據(jù)集相關(guān)的樣本特征如表1所示。首先,差異化選取不同菌群規(guī)模,采用BFO+CSNN算法進行渲染時間性能仿真,驗證BFO+CSNN算法的預(yù)估性能;其次采用CSNN和BFO+CSNN算法分別對表1中的樣本集進行渲染時間性能仿真,驗證BFO對CSNN渲染時間預(yù)估的性能影響;最后采用BFO+常用神經(jīng)網(wǎng)絡(luò)算法和BFO+CSNN算法對表1樣本集進行渲染時間進行性能對比。

表1 仿真樣本

渲染時間估計評價指標[16]主要為

(16)

(17)

(18)

3.1 不同菌群規(guī)模的渲染時間預(yù)估性能

為了驗證BFO+CSNN算法在不同菌群規(guī)模下的渲染時間預(yù)估性能,差異化設(shè)置菌群規(guī)模,驗證不同規(guī)模下BFO+CSNN算法對樣本渲染時間的性能。

從圖2得,在不同菌群規(guī)模下,采用BFO+CSNN算法獲得的渲染時間差值呈現(xiàn)了較大波動。當菌群規(guī)模為500時,對于大部分樣本,其渲染時間差值最優(yōu),預(yù)測誤差基本維持在10 s范圍之內(nèi),菌群規(guī)模為1 000次之,菌群規(guī)模為100時,預(yù)測和實際的渲染時間誤差最大。其中當菌群規(guī)模為100時,渲染時間的預(yù)測值和實際值相差最大,最大值達到了58 s。對于圖中某些樣本點誤差增大明顯的情況,這可能是因為樣本特征本身復(fù)雜,需要消耗大量渲染時間,造成的累積誤差大,另一方面也可能是BFO+CSNN算法本身對某些特征樣本的渲染時間預(yù)測適應(yīng)度差。雖然在菌群規(guī)模為1 000時,有些樣本點的渲染時間誤差小于菌群規(guī)模為500的情況,但是其占總樣本數(shù)量非常少,因此本文在后續(xù)的仿真測試中選擇的菌群規(guī)模均為500。

圖2 不同菌群規(guī)模下的BFO+CSNN渲染時間差

對于100個樣本,采用BFO+CSNN算法進行渲染時間估計,統(tǒng)計100個樣本的平均MAE和MAPE值,具體如表2。

表2 不同菌群規(guī)模的MAE和MAPE性能

從表2知,隨著菌群規(guī)模的增大,BFO+CSNN算法所得到的渲染時間預(yù)估準確率先升后降,在菌群規(guī)模為100時,MAE和MAPE均最大,這表明渲染時間預(yù)估準確率最低,而當菌群規(guī)模升至300和500時,MAE和MAPE下降明顯,這表明預(yù)估準確率提升明顯,在菌群規(guī)模為500時,獲得了最優(yōu)MAE和MAPE值,分別是8.117和2.673×10-2;當菌群規(guī)模從500增至1 000時,預(yù)估準確率卻出現(xiàn)了下降,這表明菌群規(guī)模并不是越大越好。菌群規(guī)模過小,在搜索CSNN參數(shù)最優(yōu)值的過程中,不易找到全局最優(yōu)值,而當菌群規(guī)模過大,增加了驅(qū)化求解次數(shù),同時繁衍和遷徙的個體過多,增加了算法復(fù)雜度。綜合而言,對于表1數(shù)據(jù)集,菌群規(guī)模為500時,BFO+CSNN算法的渲染時間估計適應(yīng)度最高。在實際渲染時間預(yù)估應(yīng)用中,應(yīng)結(jié)合樣本特點,采用人工經(jīng)驗選擇菌群規(guī)模,以增強 BFO+CSNN算法的渲染時間估計適用性。

3.2 BFO對CSNN渲染時間預(yù)估的性能優(yōu)化

為了驗證BFO對CSNN渲染時間預(yù)估的優(yōu)化性能,分別采用CSNN算法和BFO+CSNN算法進行渲染時間預(yù)估仿真,菌群規(guī)模為500。

由圖3和圖4可得,對于表1測試樣本的渲染時間,BFO+CSNN算法的渲染時間預(yù)測值和實際值擬合程度明顯高于CSNN算法,CSNN算法的渲染時間預(yù)測值普遍低于渲染時間實際值。這表明渲染時間準確率對于CSNN模型的參數(shù)依賴程度高,采用BFO算法對CSNN核心參數(shù)進行優(yōu)化之后,CSNN的渲染時間預(yù)估結(jié)果明顯優(yōu)于隨機設(shè)定參數(shù)的渲染時間預(yù)估結(jié)果。

圖3 基于CSNN算法的渲染時間

圖4 基于BFO+CSNN算法的渲染時間

繼續(xù)對CSNN和BFO+CSNN兩種算法的RMSE和MAE性能進行仿真,如表3所示。分別采用兩種算法執(zhí)行了10次渲染時間估計運算,并對多次運行結(jié)果的評估指標取平均值。

表3 CSNN和BFO+CSNN的渲染時間預(yù)測性能

從表3得,CSNN和BFO+CSNN算法對于表1中樣本集的渲染時間估計誤差和魯棒性差異較大,經(jīng)過BFO改進的CSNN獲得了更高的性能。在MAE性能方面,CSNN均值為42.342,而BFO+CSNN均值為8.117,經(jīng)過BFO優(yōu)化后,MAE性能提升了80.83%,而MAPE性能提升了79.72%。從2種算法的RMSE均值可知,BFO+SCCN的渲染時間估計模型魯棒性更高。

3.3 不同算法的渲染時間預(yù)估性能

為了進一步驗證BFO+CSNN算法和不同神經(jīng)網(wǎng)絡(luò)算法的渲染時間預(yù)估性能,分別采用BFO+神經(jīng)網(wǎng)絡(luò)(BFO+NN)、BFO+卷積神經(jīng)網(wǎng)絡(luò)(BFO+CNN)、BFO+循環(huán)神經(jīng)網(wǎng)絡(luò)(BFO+RNN)算法和BFO+CSNN算法進行實例仿真,菌群算法規(guī)模為500,驗證其渲染時間預(yù)估性能。

從圖5可以看出,對于表1中的數(shù)據(jù)樣本,BFO+CSNN算法的渲染時間預(yù)測值和實際值擬合程度最好,BFO+RNN算法次之,BFO+NN算法最差。這表明本文算法在3D圖像樣本渲染時間預(yù)估中的領(lǐng)先優(yōu)勢明顯。從側(cè)面反映在解決多維屬性特征和多變量的預(yù)測分析的問題上,采用Spiking神經(jīng)網(wǎng)絡(luò)優(yōu)于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法。這得益于Spiking神經(jīng)網(wǎng)絡(luò)特有的脈沖編碼模型結(jié)構(gòu)。

圖5 4種算法的渲染時間對比

4 結(jié)束語

采用BFO+CSNN算法用于渲染時間估計,有效解決了大規(guī)模3D圖像樣本的渲染時間預(yù)測,為3D圖像渲染的調(diào)度策略提供了數(shù)據(jù)支持。而采用BFO算法能夠?qū)SNN的關(guān)鍵參數(shù)進行有效優(yōu)化,從而提高了CSNN算法的預(yù)測性能。通過和常用神經(jīng)網(wǎng)絡(luò)算法對比,BFO+CSNN算法具備明顯預(yù)測優(yōu)勢,展現(xiàn)了更高的渲染時間預(yù)估準確率度和魯棒性。后續(xù)研究將進一步差異化設(shè)置BFO算法的主要參數(shù),以提高BFO+CSNN算法的渲染時間預(yù)估效率,從而增強大規(guī)模3D圖像樣本渲染時間預(yù)測的適應(yīng)度。