羅宇湘,楊慧珍,何源烽,張之光
(1.江蘇海洋大學(xué) 電子工程學(xué)院,江蘇 連云港 222005;2.金陵科技學(xué)院 網(wǎng)絡(luò)與通信工程學(xué)院,江蘇 南京 211169)
自適應(yīng)光學(xué)(adaptive optics,AO)技術(shù)采用變形鏡或空間光調(diào)制器校正光波前畸變,改善光學(xué)系統(tǒng)性能,已經(jīng)在天文領(lǐng)域[1]、生物領(lǐng)域[2]、醫(yī)學(xué)領(lǐng)域[3]和半導(dǎo)體領(lǐng)域[4]得到應(yīng)用。傳統(tǒng)自適應(yīng)光學(xué)系統(tǒng)需要獨(dú)立的波前傳感器,系統(tǒng)結(jié)構(gòu)復(fù)雜;而以系統(tǒng)性能指標(biāo)作為目標(biāo)函數(shù),使用優(yōu)化算法迭代控制變形鏡電壓,則能夠在無(wú)需波前傳感器的條件下實(shí)現(xiàn)波前畸變校正(也稱為無(wú)波前探測(cè)自適應(yīng)光學(xué)技術(shù))。無(wú)波前探測(cè)自適應(yīng)光學(xué)系統(tǒng)中,迭代控制算法的超參數(shù)選取決定了自適應(yīng)光學(xué)系統(tǒng)的校正能力。例如在隨機(jī)并行梯度下降(stochastic parallel gradient descent algorithm,SPGD)算法中,超參數(shù)選取過(guò)小時(shí),會(huì)使得系統(tǒng)的收斂速度慢,在結(jié)束既定步數(shù)的迭代后,未能達(dá)到穩(wěn)定收斂;超參數(shù)選取過(guò)大時(shí),在迭代開(kāi)始階段收斂較快,但算法容易陷入局部極值[5]。自適應(yīng)光學(xué)系統(tǒng)迭代控制算法一般依靠遍歷或者經(jīng)驗(yàn)來(lái)確定超參數(shù)。近年來(lái),隨著機(jī)器學(xué)習(xí)領(lǐng)域中越來(lái)越多的優(yōu)化器被應(yīng)用于自適應(yīng)光學(xué)系統(tǒng)的迭代控制,采用的優(yōu)化器包括Momentum[6]、Nesterov accelerated gradient(NAG)[7]、AdaGrad[8]、RMSprop[9]、Adam[10-11]、Nadam 等[12],迭代控制算法的超參數(shù)數(shù)目顯著增長(zhǎng),通過(guò)遍歷來(lái)確定超參數(shù)最優(yōu)值所需的運(yùn)算量激增。針對(duì)這一問(wèn)題,本文提出一種基于貝葉斯優(yōu)化的自適應(yīng)光學(xué)系統(tǒng)迭代控制算法的超參數(shù)選取方法,能夠以較小的運(yùn)算量確定超參數(shù)的最優(yōu)值。
超參數(shù)搜索可以看作是黑箱函數(shù)的優(yōu)化問(wèn)題,該函數(shù)往往具有非凸特征。采用常規(guī)的遍歷法搜索超參數(shù)可能因?yàn)檎业揭粋€(gè)局部最優(yōu)值而錯(cuò)過(guò)全局最優(yōu)值。PELIKAN M 等于1998 年提出貝葉斯優(yōu)化[13],SNOEK J 等于2012 年將貝葉斯優(yōu)化調(diào)整超參數(shù)用于機(jī)器學(xué)習(xí)領(lǐng)域[14]。貝葉斯優(yōu)化具有迭代次數(shù)少、速度快和針對(duì)非凸問(wèn)題依然穩(wěn)健等優(yōu)點(diǎn),在應(yīng)用于超參數(shù)優(yōu)化實(shí)踐中,已被證明[14-15]與網(wǎng)格搜索[16]和隨機(jī)搜索[17]相比,能在更少的評(píng)估中獲得更好的結(jié)果。和傳統(tǒng)的遍歷法不同,貝葉斯優(yōu)化是一種能夠利用有限的函數(shù)采樣值,以較少的評(píng)估次數(shù)獲得復(fù)雜目標(biāo)函數(shù)最優(yōu)值的方法[18]。為了避免陷入局部極值,貝葉斯優(yōu)化通常會(huì)加入一定的隨機(jī)性,在隨機(jī)探索和根據(jù)后驗(yàn)分布取值之間做出權(quán)衡。
本文采用貝葉斯優(yōu)化方法,選擇適合自適應(yīng)光學(xué)系統(tǒng)迭代控制算法的超參數(shù)。分別以常用的SPGD、Momentum-SPGD 和CoolMomentum-SPGD控制算法為研究對(duì)象,以迭代優(yōu)化控制算法的超參數(shù)作為輸入,斯特列耳比(Strehl ratio,SR)值作為輸出,采用貝葉斯優(yōu)化選擇合適的超參數(shù)。分析采用貝葉斯優(yōu)化選擇超參數(shù)的迭代控制算法的校正效果,并將校正結(jié)果與遍歷法的結(jié)果進(jìn)行比較。
傳統(tǒng)的隨機(jī)并行梯度下降算法(SPGD)是美國(guó)陸軍研究實(shí)驗(yàn)室的VORONTSOV M A 于1998 年提出[19],隨后被廣泛研究[20-22]。SPGD 算法直接對(duì)光學(xué)系統(tǒng)的性能評(píng)價(jià)函數(shù)J進(jìn)行優(yōu)化。當(dāng)前驅(qū)動(dòng)器控制電壓為 {uj}(j=1,···,N),第n次迭代時(shí),隨機(jī)擾動(dòng) {δuj}(j=1,···,N)被并行施加到波前校正器的N個(gè)驅(qū)動(dòng)器,此時(shí)系統(tǒng)性能指標(biāo)的變化量為 δJ,SPGD 算法的迭代過(guò)程可以表示為
式中:γ為增益系數(shù)。本文采用斯特列耳比SR 作為性能評(píng)價(jià)函數(shù)J,用于表征畸變波前的校正效果[23],性能評(píng)價(jià)函數(shù)J越接近于1,表示波前畸變校正效果越好。
隨著深度學(xué)習(xí)的發(fā)展,越來(lái)越多的優(yōu)化器被提出,并且已經(jīng)成功與SPGD 算法結(jié)合用于自適應(yīng)光學(xué)系統(tǒng)控制,如Momentum-SPGD 算法[7]、CoolMomentum-SPGD 算法[24]、RMSprop-SPGD 算法[10]和Adam-SPGD 算法[12]等。傳統(tǒng)的SPGD 算法只有1 個(gè)超參數(shù)即增益系數(shù) γ,Momentum-SPGD 算法和CoolMomentum-SPGD 算法有2 個(gè)超參數(shù),分別是學(xué)習(xí)率和動(dòng)量系數(shù),表1 比較了3 種迭代控制算法的超參數(shù)。
表1 不同迭代控制算法的超參數(shù)比較Table 1 Comparison of hyperparameter of different iterative control algorithms
超參數(shù)向量x到模型性能指標(biāo)的映射記作f(x),其中x∈Rd,超參數(shù)優(yōu)化的目標(biāo)是在超參數(shù)空間內(nèi)尋找使得模型性能最優(yōu)的d維超參數(shù)x*,記作:
在機(jī)器學(xué)習(xí)中,現(xiàn)有的超參數(shù)優(yōu)化方法主要是網(wǎng)格搜索[25]、隨機(jī)搜索[17]和貝葉斯優(yōu)化方法[14]。貝葉斯優(yōu)化方法只需要幾個(gè)已知樣本點(diǎn),通過(guò)高斯過(guò)程回歸計(jì)算已知樣本點(diǎn)的后驗(yàn)概率分布,得到每一個(gè)超參數(shù)在每一個(gè)取值點(diǎn)的期望均值和方差。其中均值代表這個(gè)點(diǎn)最終的期望效果;方差表示這個(gè)點(diǎn)的效果的不確定性,方差越大,代表值要用更多的樣本點(diǎn)去探索。
貝葉斯優(yōu)化方法主要有兩個(gè)核心:高斯過(guò)程回歸模型和采集函數(shù)。高斯過(guò)程回歸模型用于近似表示黑箱目標(biāo)函數(shù)。令隨機(jī)向量X=[x1,x2,···,xn],服從多元高斯分布X~N(μ,Σ),μ為方差,Σ為協(xié)方差矩陣,其中:X1=[x1,···,xm]為已知觀測(cè)變量,X2=[xm+1,···,xn]為需要預(yù)測(cè)的未知變量,則:
均值和協(xié)方差矩陣為
根據(jù)貝葉斯公式:P(X2|X1)=P(X2)P(X1|X2)/∫P(X1|X2)P(X2)dX2可得X2的后驗(yàn)分布:
式中:μ2|1為預(yù)測(cè)的未知變量的均值;Σ2|1為預(yù)測(cè)的未知變量的協(xié)方差矩陣。采集函數(shù)用于估計(jì)在已知數(shù)據(jù)條件下最優(yōu)點(diǎn)最有可能出現(xiàn)的位置,主要作用在于平衡探索與利用,使其既能利用先前的已知觀測(cè)值加快收斂,又能探索決策空間中不確定性強(qiáng)的地方,避免陷入局部最優(yōu)。
評(píng)價(jià)迭代控制算法時(shí),既要考慮到迭代控制算法的收斂精度(迭代收斂后的SR 值),也要考慮到控制算法的收斂速度,因此將迭代過(guò)程中的SR 值加入性能指標(biāo),用SR0表示性能指標(biāo):
式中:SRinter表示控制算法迭代過(guò)程中的SR 值;SRend表示控制算法迭代結(jié)束后的SR 值;c表示權(quán)重系數(shù)。本文分別以迭代300 步、1 000 步時(shí)的SR值作為SRinter和SRend,c取值0.6。應(yīng)根據(jù)具體應(yīng)用的需求設(shè)定考察SR 值的步數(shù)、中間過(guò)程與結(jié)束時(shí)SR 值的權(quán)重。
本文以自適應(yīng)光學(xué)系統(tǒng)迭代控制算法中的超參數(shù)作為貝葉斯優(yōu)化方法中目標(biāo)函數(shù)的輸入,每組超參數(shù)對(duì)應(yīng)的加權(quán)SR 值作為貝葉斯優(yōu)化方法中目標(biāo)函數(shù)的輸出。先是獲得初始點(diǎn)個(gè)數(shù),對(duì)初始點(diǎn)進(jìn)行高斯過(guò)程回歸,預(yù)測(cè)出目標(biāo)函數(shù)的曲線,本文高斯過(guò)程中核函數(shù)選擇Matérn 協(xié)方差函數(shù)。然后選擇合適的采集函數(shù)評(píng)估下一個(gè)采樣點(diǎn),常見(jiàn)的采集函數(shù)有概率提升函數(shù)(PI)、期望提升函數(shù)(EI)、置信上界函數(shù)(UCB)。采用單一采集函數(shù)的貝葉斯優(yōu)化算法不可能在所有問(wèn)題上都表現(xiàn)出最好的性能,因此,還有使用對(duì)沖策略組合多種采集函數(shù)的貝葉斯優(yōu)化算法,比如GP-Hedge 算法[26]。本文為尋找目標(biāo)函數(shù)最大值,采用置信上界作為采集函數(shù):
式中:μ()表示數(shù)學(xué)期望;σ()表示方差;κ為調(diào)節(jié)參數(shù),通過(guò)控制調(diào)節(jié)參數(shù)實(shí)現(xiàn)對(duì)探索未知和已知數(shù)據(jù)信息之間的平衡。采用概率提升作為采集函數(shù):
式中:Φ()表示正態(tài)累積分布函數(shù);?是用來(lái)平衡探索和利用的隨機(jī)參數(shù);f(x+)表示現(xiàn)有的最大值。采用期望提升作為采集函數(shù):
式中:z=(μ(x)-f(x+))/σ(x)表示對(duì)當(dāng)前最優(yōu)點(diǎn)取值的歸一化。GP-Hedge 算法是在每次迭代中,把從每種采集函數(shù)得到的候選點(diǎn)組成候選點(diǎn)集合,然后根據(jù)對(duì)沖策略從候選點(diǎn)集合中選取評(píng)估點(diǎn)。此時(shí),貝葉斯優(yōu)化會(huì)猜測(cè)出一個(gè)或多個(gè)采集函數(shù)取得最大值的函數(shù)值,判斷該結(jié)果是否滿足結(jié)束條件,如果滿足就結(jié)束優(yōu)化過(guò)程,否則將此結(jié)果加入初始點(diǎn),繼續(xù)進(jìn)行高斯過(guò)程回歸,預(yù)測(cè)出新的目標(biāo)函數(shù)曲線,再利用采集函數(shù)選出下一個(gè)采樣點(diǎn),直到滿足結(jié)束條件。
采用貝葉斯優(yōu)化方法選擇超參數(shù)的具體實(shí)現(xiàn)過(guò)程如圖1 所示。首先是確定域空間,在SPGD 算法中,超參數(shù) γ的域空間為(0,6],在Momentum-SPGD 和CoolMomentum-SPGD 算法中,超參數(shù)lr和ρ的域空間都為(0,1];再設(shè)置加權(quán)SR 值作為性能指標(biāo);然后獲得樣本點(diǎn)(超參數(shù)值及其對(duì)應(yīng)的加權(quán)SR 值),對(duì)樣本點(diǎn)進(jìn)行高斯過(guò)程回歸,獲得目標(biāo)函數(shù)的預(yù)測(cè)曲線,完成對(duì)超參數(shù)空間的建模;在每次迭代中,計(jì)算每個(gè)樣本點(diǎn)的采集函數(shù),即置信上界,并選擇置信上界最大的點(diǎn)作為下一個(gè)采樣點(diǎn),即在超參數(shù)空間中選擇一個(gè)新的點(diǎn)進(jìn)行實(shí)驗(yàn),得到其目標(biāo)函數(shù)值,并將其添加到已有的樣本點(diǎn)中。通過(guò)不斷迭代更新模型和選擇下一個(gè)采樣點(diǎn),直到達(dá)到結(jié)束條件(達(dá)到最大迭代次數(shù)),完成超參數(shù)的優(yōu)化。
圖1 自適應(yīng)光學(xué)系統(tǒng)迭代控制算法采用貝葉斯優(yōu)化方法選擇超參數(shù)的實(shí)現(xiàn)流程Fig.1 Implementation flow of hyperparameter selection using Bayesian optimization method in iterative control algorithm for adaptive optics systems
模擬實(shí)驗(yàn)所用計(jì)算機(jī)為Windows10 系統(tǒng),硬件環(huán)境為:11th Gen Intel(R) Core(TM) i5-1135G7 CPU,主頻2.4 GHz,16.0 GB DDR3 RAM。模擬實(shí)驗(yàn)中采用Fran?ois Assémat 提出的方法[27]生成相屏模擬待校正像差,生成的相屏統(tǒng)計(jì)屬性符合Kolmogorov 譜,且相屏間不具有相關(guān)性。湍流強(qiáng)度大小用D/r0表示,D為望遠(yuǎn)鏡的口徑,r0為大氣相干長(zhǎng)度。本文在湍流強(qiáng)度D/r0=5的條件下隨機(jī)選擇1 幀相屏進(jìn)行模擬實(shí)驗(yàn)。在貝葉斯優(yōu)化方法中,采集函數(shù)為置信上界函數(shù)時(shí),參數(shù) κ設(shè)置為1;為概率提升函數(shù)時(shí),參數(shù) ?設(shè)置為0.1;隨機(jī)探索步數(shù)為2,貝葉斯優(yōu)化步數(shù)為10。在驗(yàn)證該方法對(duì)于迭代控制算法性能影響時(shí),以SR 值達(dá)到0.8 時(shí)的迭代步數(shù)作為校正速度的評(píng)判標(biāo)準(zhǔn),穩(wěn)定收斂時(shí)達(dá)到的SR 值作為收斂精度的判斷標(biāo)準(zhǔn),以下3 種控制算法在迭代1 000 步時(shí)均已穩(wěn)定收斂。
SPGD 算法中有1 個(gè)超參數(shù)即增益系數(shù) γ,以增益系數(shù) γ作為輸入,γ的取值范圍為(0,6],加權(quán)SR 值作為輸出。圖2 為SPGD 算法中迭代6 次后的預(yù)測(cè)目標(biāo)函數(shù)圖及其采集函數(shù)圖,采樣函數(shù)選擇置信上界函數(shù)。圖2(a)中圓點(diǎn)標(biāo)記為采樣點(diǎn),虛線標(biāo)記為預(yù)測(cè)的目標(biāo)函數(shù),陰影范圍為95%置信區(qū)間。圖2(b)中實(shí)線標(biāo)記為采集函數(shù),星形標(biāo)記為下一個(gè)采樣點(diǎn)。
圖2 SPGD 算法中迭代6 次后的預(yù)測(cè)目標(biāo)函數(shù)圖及其采集函數(shù)圖Fig.2 Diagram of prediction objective function and its acquisition function after 6 iterations in SPGD algorithm
遍歷法中 γ以0.1 為間距,在(0,6]范圍內(nèi)等間距取值共60 組超參數(shù)。從遍歷法的60 組超參數(shù)中人工選取校正效果最理想的一組和貝葉斯優(yōu)化方法進(jìn)行對(duì)比,對(duì)比結(jié)果如表2 所示。表2 中貝葉斯優(yōu)化方法采用了不同的采集函數(shù)。BO_UCB 表示在貝葉斯優(yōu)化方法中采集函數(shù)選擇置信上界函數(shù),BO_PI 表示在貝葉斯優(yōu)化方法中采集函數(shù)選擇概率提升函數(shù),BO_EI 表示在貝葉斯優(yōu)化方法中采集函數(shù)選擇期望提升函數(shù),BO_GP 表示在貝葉斯優(yōu)化方法中采用GP-Hedge 算法確定下一個(gè)采樣點(diǎn)。BO_UCB 方法所需樣本實(shí)例數(shù)量最少為6,BO_GP方法所需樣本實(shí)例數(shù)量最多為10。在迭代到206步時(shí),BO_GP 方法中的SR 值達(dá)到0.8,而B(niǎo)O_UCB方法需要迭代223 步;在迭代1 000 步后,BO_UCB方法中的SR 值達(dá)到0.924 4,而B(niǎo)O_GP 方法中的SR 值只有0.901 4。表明在貝葉斯優(yōu)化算法中采用不同的采集函數(shù)對(duì)SPGD 算法的收斂效果是有影響的,其中BO_UCB 方法所需樣本實(shí)例數(shù)量最少,迭代1 000 步后,SR 值最大。因此,在仿真實(shí)驗(yàn)中選取BO_UCB 方法與遍歷法進(jìn)行對(duì)比。從表2 可以看出,貝葉斯優(yōu)化方法的樣本實(shí)例數(shù)量是遍歷法的10%,采用貝葉斯優(yōu)化方法選擇超參數(shù)的迭代控制算法,收斂速度和收斂精度均優(yōu)于遍歷法。
表2 SPGD 算法采用遍歷法與貝葉斯優(yōu)化方法選擇超參數(shù)的結(jié)果對(duì)比Table 2 Comparison of results of SPGD algorithm using traversal method and Bayesian optimization method for hyperparameter selection
為了更直觀地評(píng)價(jià)貝葉斯優(yōu)化方法的性能,分別采用遍歷法和貝葉斯優(yōu)化方法選擇超參數(shù)的迭代控制算法,收斂效果如圖3 所示。圖3 中虛線標(biāo)記“--”代表貝葉斯優(yōu)化方法,實(shí)線標(biāo)記“-”代表遍歷法,標(biāo)記“-·”表示人工挑選的遍歷法中校正效果最佳的3 組參數(shù)對(duì)應(yīng)的SR 曲線。從圖3 中可以看出,采用貝葉斯優(yōu)化方法選擇超參數(shù)的SPGD 算法在迭代到223 步時(shí),SR 值達(dá)到0.8;迭代1 000 步后,SR 值達(dá)到0.924 4。結(jié)果表明,采用貝葉斯優(yōu)化方法選擇超參數(shù)的迭代控制算法不僅收斂速度較快,收斂精度也得到保障。
圖3 采用遍歷法和貝葉斯優(yōu)化方法選擇超參數(shù)的SPGD算法的SR 曲線Fig.3 SR curves of SPGD algorithm using traversal method and Bayesian optimization method for hyperparameter selection
Momentum-SPGD 算法中有2 個(gè)超參數(shù),即學(xué)習(xí)率lr和動(dòng)量系數(shù) ρ,lr和 ρ的取值范圍都為(0,1]。遍歷法中l(wèi)r和 ρ以0.1 為間距,在(0,1]范圍等間距取值共100 組超參數(shù)。從遍歷法的100 組超參數(shù)中人工選取校正效果最理想的一組和貝葉斯優(yōu)化方法進(jìn)行對(duì)比,結(jié)果如表3 所示。表3 中還給出了貝葉斯優(yōu)化算法在采用不同采集函數(shù)時(shí)所需的樣本實(shí)例數(shù)量,以及Momentum-SPGD 算法在SR 值達(dá)到0.8 時(shí)的迭代步數(shù)和迭代1 000 步時(shí)的收斂精度。貝葉斯優(yōu)化方法的樣本實(shí)例數(shù)量為7。從表3可以看出,貝葉斯優(yōu)化方法在樣本實(shí)例數(shù)量是遍歷法的7%的情況下,采用貝葉斯優(yōu)化方法選擇超參數(shù)的迭代控制算法收斂速度優(yōu)于遍歷法,收斂效果和遍歷法基本一致。
表3 Momentum-SPGD 算法采用遍歷法與貝葉斯優(yōu)化方法選擇超參數(shù)的結(jié)果對(duì)比Table 3 Comparison of results of Momentum-SPGD algorithm using traversal method and Bayesian optimization method for hyperparameter selection
采用遍歷法與貝葉斯優(yōu)化方法選擇超參數(shù)的Momentum-SPGD 算法收斂效果如圖4 所示。從圖4 中可以看出,采用貝葉斯優(yōu)化方法選擇超參數(shù)的Momentum-SPGD 算法在迭代到233 步時(shí),SR值達(dá)到0.8;迭代1 000 步后,SR 值達(dá)到0.933 4。結(jié)果表明,采用貝葉斯優(yōu)化方法選擇超參數(shù)的迭代控制算法收斂速度相對(duì)較快,最終的收斂效果也較好。
圖4 采用遍歷法和貝葉斯優(yōu)化方法選擇超參數(shù)的Momentum-SPGD 算法的SR 曲線Fig.4 SR curves of Momentum-SPGD algorithm using traversal method and Bayesian optimization method for hyperparameter selection
CoolMomentum-SPGD 算法中有2 個(gè)超參數(shù)即學(xué)習(xí)率lr和動(dòng)量系數(shù) ρ0,lr和 ρ0的取值范圍都為(0,1]。遍歷法中l(wèi)r和 ρ0以0.1 為間距,在(0,1]范圍等間距取值共100 組超參數(shù)。從遍歷法的100 組超參數(shù)中人工選取校正效果最理想的一組和貝葉斯優(yōu)化方法進(jìn)行對(duì)比,對(duì)比結(jié)果如表4 所示。表4 中還給出了貝葉斯優(yōu)化算法在采用不同采集函數(shù)時(shí)所需的樣本實(shí)例數(shù)量,以及CoolMomentum-SPGD 算法在SR 值達(dá)到0.8 時(shí)的迭代步數(shù)和迭代1 000 步時(shí)的收斂精度。貝葉斯優(yōu)化方法的樣本實(shí)例數(shù)量為9,是遍歷法的9%。由表4 可知,采用貝葉斯優(yōu)化方法選擇超參數(shù)的迭代控制算法收斂速度和收斂精度上均優(yōu)于遍歷法。
表4 CoolMomentum-SPGD 算法采用遍歷法與貝葉斯優(yōu)化方法選擇超參數(shù)的結(jié)果對(duì)比Table 4 Comparison of results of CoolMomentum-SPGD algorithm using traversal method and Bayesian optimization method for hyperparameter selection
采用遍歷法與貝葉斯優(yōu)化方法選擇超參數(shù)的CoolMomentum-SPGD 算法收斂效果如圖5 所示。從圖5 中可以看出,采用貝葉斯優(yōu)化方法選擇超參數(shù)的CoolMomentum-SPGD 算法在迭代到205 步時(shí),SR 值達(dá)到0.8;迭代1 000 步后,SR 值達(dá)到0.937 2,結(jié)果表明,采用貝葉斯優(yōu)化方法選擇超參數(shù)的迭代控制算法收斂速度快,最終的收斂效果也相對(duì)較好。
圖5 采用遍歷法和貝葉斯優(yōu)化方法選擇超參數(shù)的CoolMomentum-SPGD 算法的SR 曲線Fig.5 SR curves of CoolMomentum-SPGD algorithm using traversal method and Bayesian optimization method for hyperparameter selection
在無(wú)波前探測(cè)自適應(yīng)光學(xué)系統(tǒng)中,超參數(shù)的選擇一定程度上決定著迭代控制算法的校正能力。現(xiàn)有的迭代控制算法的超參數(shù)設(shè)置一般采用遍歷法,計(jì)算量大,耗時(shí)較長(zhǎng)。本文提出將貝葉斯優(yōu)化方法用于選擇適合自適應(yīng)光學(xué)系統(tǒng)迭代控制算法的超參數(shù)。分別以常用的SPGD、Momentum-SPGD和CoolMomentum-SPGD 控制算法為例,以迭代控制算法的超參數(shù)作為輸入,斯特列耳比值作為輸出,采用貝葉斯優(yōu)化選擇超參數(shù)。研究結(jié)果表明,對(duì)于SPGD 控制算法,取得相同收斂效果時(shí),貝葉斯優(yōu)化方法所需樣本實(shí)例數(shù)量是遍歷法的10%;對(duì)于Momentum-SPGD 和CoolMomentum-SPGD 控 制算法,貝葉斯優(yōu)化方法所需樣本實(shí)例數(shù)量分別是遍歷法的7%和9%。且迭代控制算法本身超參數(shù)越多,采用貝葉斯優(yōu)化進(jìn)行超參數(shù)調(diào)優(yōu)的優(yōu)勢(shì)越明顯。后續(xù)將本方法拓展至超參數(shù)數(shù)目更多的迭代控制算法。本文研究結(jié)果可為自適應(yīng)光學(xué)系統(tǒng)迭代控制算法的實(shí)際應(yīng)用提供超參數(shù)設(shè)置理論基礎(chǔ)。