基于改進(jìn)Q-learning算法的輸電線路擬聲驅(qū)鳥(niǎo)策略研究

柯杰龍 張羽 朱朋輝 黃熾坤 吳可廷

0 引言

隨著生態(tài)環(huán)境的改善與人們對(duì)野生動(dòng)物保護(hù)意識(shí)的增強(qiáng)，鳥(niǎo)類(lèi)數(shù)量在逐年增加，活動(dòng)范圍也在不斷擴(kuò)大.鳥(niǎo)類(lèi)活動(dòng)引起的架空輸電線路故障頻次也呈現(xiàn)明顯上升趨勢(shì)，給輸電線路的安全運(yùn)行帶來(lái)了極大威脅[1-5].

為了降低鳥(niǎo)類(lèi)活動(dòng)對(duì)輸電線路造成的危害，許多學(xué)者對(duì)驅(qū)鳥(niǎo)策略進(jìn)行了研究.比如：李凱等[6]設(shè)計(jì)利用絕緣子電容電壓放電的驅(qū)鳥(niǎo)板，當(dāng)鳥(niǎo)類(lèi)在驅(qū)鳥(niǎo)板上停歇時(shí)，驅(qū)鳥(niǎo)板自動(dòng)通電使鳥(niǎo)類(lèi)遭受電擊飛離；何義良[7]設(shè)計(jì)基于紅外檢測(cè)技術(shù)的組合(固定頻率閃光、固定頻率超聲波和多種音頻)驅(qū)鳥(niǎo)裝置，當(dāng)檢測(cè)到鳥(niǎo)類(lèi)靠近時(shí)，裝置選擇一種驅(qū)趕方式進(jìn)行驅(qū)鳥(niǎo)；袁佳煒等[8]設(shè)計(jì)聲光組合驅(qū)鳥(niǎo)裝置，其激光模塊通過(guò)添加托管結(jié)構(gòu)增大了照射面積，且能以一定頻率閃爍進(jìn)行驅(qū)鳥(niǎo)，而語(yǔ)音模塊存儲(chǔ)了6種不同的驅(qū)鳥(niǎo)語(yǔ)音，并能隨機(jī)選擇一種語(yǔ)音和隨機(jī)選擇語(yǔ)音播放時(shí)長(zhǎng)驅(qū)鳥(niǎo)；周自強(qiáng)等[9]設(shè)計(jì)基于光電檢測(cè)的激光驅(qū)鳥(niǎo)裝置，能夠通過(guò)定掃模式和巡航模式進(jìn)行驅(qū)鳥(niǎo).上述文獻(xiàn)研究的驅(qū)鳥(niǎo)策略具有一定的驅(qū)鳥(niǎo)效果，但是所設(shè)計(jì)的驅(qū)鳥(niǎo)裝置沒(méi)有自學(xué)習(xí)功能，在實(shí)際應(yīng)用中，無(wú)法應(yīng)對(duì)鳥(niǎo)類(lèi)的適應(yīng)性問(wèn)題.

為了提高驅(qū)鳥(niǎo)裝置的驅(qū)鳥(niǎo)效率，需要對(duì)不同驅(qū)鳥(niǎo)方式的驅(qū)鳥(niǎo)效果進(jìn)行定量和更有針對(duì)性的研究.陳曉東等[10]設(shè)計(jì)聲、光、電等驅(qū)鳥(niǎo)實(shí)驗(yàn)，通過(guò)觀察鳥(niǎo)類(lèi)是否飛離確定有效的驅(qū)鳥(niǎo)參數(shù)；謝將劍等[11]通過(guò)觀察喜鵲是否飛離，研究了音頻種類(lèi)(喜鵲慘叫聲、喜鵲驚叫聲和槍聲)、聲強(qiáng)和距離對(duì)驅(qū)鳥(niǎo)效果的影響；文獻(xiàn)[10-11]所設(shè)計(jì)的驅(qū)鳥(niǎo)實(shí)驗(yàn)以鳥(niǎo)類(lèi)是否飛離作為驅(qū)鳥(niǎo)效果的判斷標(biāo)準(zhǔn)，缺乏鳥(niǎo)類(lèi)在不同驅(qū)鳥(niǎo)方式下的更細(xì)化的行為描述；金麟雨等[12]通過(guò)將鳥(niǎo)類(lèi)行為描述為驚飛、飛離和警戒，研究煤氣炮和定向聲波的驅(qū)鳥(niǎo)效果與有效驅(qū)鳥(niǎo)距離.文獻(xiàn)[12]雖然對(duì)鳥(niǎo)類(lèi)行為進(jìn)行了更細(xì)化的描述，但是并未基于實(shí)驗(yàn)觀察所得數(shù)據(jù)對(duì)驅(qū)鳥(niǎo)效果進(jìn)行定量研究.

本文提出基于改進(jìn)Q-learning算法的擬聲驅(qū)鳥(niǎo)策略.首先，設(shè)計(jì)單一音頻驅(qū)鳥(niǎo)實(shí)驗(yàn)得到不同音頻的初始權(quán)重值，為了客觀描述實(shí)驗(yàn)過(guò)程中的鳥(niǎo)類(lèi)反應(yīng)，結(jié)合模糊綜合評(píng)價(jià)法，將鳥(niǎo)類(lèi)的突發(fā)應(yīng)激反應(yīng)[13-14](即鳥(niǎo)類(lèi)聽(tīng)到音頻后的行為表現(xiàn))定義為不同的反應(yīng)類(lèi)型.其次，優(yōu)化CRITIC方法的權(quán)重計(jì)算公式使所得各音頻權(quán)重值更符合實(shí)際實(shí)驗(yàn)情況.最后，借鑒強(qiáng)化學(xué)習(xí)的思想[15-23]，并在使用Q-learning算法時(shí)考慮實(shí)驗(yàn)所得的各音頻權(quán)重值，使裝置在驅(qū)鳥(niǎo)過(guò)程中能夠自動(dòng)切換并選擇更有效的驅(qū)鳥(niǎo)音頻進(jìn)行播放，提高驅(qū)鳥(niǎo)效率，降低鳥(niǎo)類(lèi)的適應(yīng)性.實(shí)驗(yàn)結(jié)果表明，裝置的擬聲驅(qū)鳥(niǎo)模塊在使用本文提出的改進(jìn)Q-learning算法后，裝置具有自學(xué)習(xí)功能，且在擬聲驅(qū)鳥(niǎo)模塊第一次啟動(dòng)時(shí)就能選擇到驅(qū)鳥(niǎo)效率較高的音頻進(jìn)行播放.

1 研究方法

為了提高輸電線路擬聲驅(qū)鳥(niǎo)策略的有效性，本文對(duì)Q-learning算法進(jìn)行了改進(jìn).首先，設(shè)計(jì)單一音頻驅(qū)鳥(niǎo)實(shí)驗(yàn)，根據(jù)實(shí)驗(yàn)情況，利用模糊綜合評(píng)價(jià)法定義鳥(niǎo)類(lèi)反應(yīng)類(lèi)型；然后，收集統(tǒng)計(jì)鳥(niǎo)類(lèi)反應(yīng)數(shù)據(jù)，分析不同音頻下的驅(qū)鳥(niǎo)效果，并計(jì)算各音頻初始權(quán)重；最后，設(shè)計(jì)與其他擬聲驅(qū)鳥(niǎo)策略的對(duì)比實(shí)驗(yàn)，驗(yàn)證本文提出的擬聲驅(qū)鳥(niǎo)策略的有效性.

1.1 驅(qū)鳥(niǎo)實(shí)驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)地點(diǎn)選擇校園中的湖邊小樹(shù)林，樹(shù)林中白腰文鳥(niǎo)(Lonchurastriata)較多，鳥(niǎo)類(lèi)活動(dòng)頻繁.實(shí)驗(yàn)情況通過(guò)視頻監(jiān)控設(shè)備實(shí)時(shí)發(fā)送到遠(yuǎn)端手機(jī)或電腦上.實(shí)驗(yàn)相關(guān)變量定義如下：

t1：選定實(shí)驗(yàn)音頻的播放時(shí)長(zhǎng)(單位：s)；

t2：選定實(shí)驗(yàn)音頻兩次播放的間隔時(shí)間(單位：s)；

f：選定實(shí)驗(yàn)音頻的播放次數(shù).

實(shí)驗(yàn)設(shè)計(jì)如下：

1)單一音頻驅(qū)鳥(niǎo)實(shí)驗(yàn)

當(dāng)鳥(niǎo)類(lèi)進(jìn)入裝置的保護(hù)范圍，裝置音頻驅(qū)趕模塊開(kāi)始工作，相關(guān)變量取值：t1=25 ，t2=30 ，f=6.為了避免實(shí)驗(yàn)點(diǎn)鳥(niǎo)類(lèi)適應(yīng)性對(duì)實(shí)驗(yàn)結(jié)果產(chǎn)生影響，當(dāng)f>6時(shí)便更換實(shí)驗(yàn)地點(diǎn).

2)與其他擬聲驅(qū)鳥(niǎo)策略的對(duì)比實(shí)驗(yàn)

在裝置中設(shè)置4種擬聲驅(qū)鳥(niǎo)模式，分別是隨機(jī)模式、Sarsa算法模式、Q-learning算法模式和改進(jìn)Q-learning算法模式.在音頻驅(qū)趕模塊觸發(fā)后，依次采用4種模式更換驅(qū)鳥(niǎo)音頻，相關(guān)變量取值：t1=25 ，t2=30 ，f=2.同樣地，考慮到鳥(niǎo)類(lèi)的適應(yīng)性，當(dāng)累計(jì)播放24次音頻后便更換實(shí)驗(yàn)地點(diǎn).

1.2 實(shí)驗(yàn)方法

1.2.1 基于模糊理論的鳥(niǎo)類(lèi)反應(yīng)類(lèi)型定義

對(duì)于實(shí)驗(yàn)中鳥(niǎo)類(lèi)聽(tīng)到音頻后行為表現(xiàn)的集合，采用模糊集合進(jìn)行定義，具體如下：

1)因素集：U={u1,u2,u3},u1為鳥(niǎo)類(lèi)遠(yuǎn)離裝置距離(單位:m)；u2為鳥(niǎo)類(lèi)搖頭次數(shù)；u3為鳥(niǎo)類(lèi)在原地停留時(shí)間(單位:s).

2)權(quán)重集：A={a1,a2,a3}，a1為鳥(niǎo)類(lèi)遠(yuǎn)離裝置距離權(quán)重；a2為鳥(niǎo)類(lèi)搖頭次數(shù)權(quán)重；a3為鳥(niǎo)類(lèi)在原地停留時(shí)間權(quán)重.

3)評(píng)語(yǔ)集：V={v1,v2,v3}，v1為良好；v2為一般；v3為較差.

4)根據(jù)實(shí)驗(yàn)情況設(shè)定各因素的邊界值，然后根據(jù)邊界值，各因素選擇對(duì)應(yīng)的梯型隸屬度函數(shù)計(jì)算得到每只鳥(niǎo)的行為矩陣R.

5)由權(quán)重矩陣T和R得到鳥(niǎo)類(lèi)的最終行為表現(xiàn)B.

B=T·R.

(1)

1.2.2 音頻權(quán)重值計(jì)算

對(duì)于實(shí)驗(yàn)收集到的數(shù)據(jù)，本文采用CRITIC方法得到不同音頻的權(quán)重值.

(2)

當(dāng)鳥(niǎo)類(lèi)對(duì)音頻的行為表現(xiàn)差異較大時(shí)(即該音頻驅(qū)趕效果較差)，由CRITIC方法得到的權(quán)重值較大，這與音頻驅(qū)趕效果差對(duì)應(yīng)權(quán)重值小的需求并不相符，因此本文對(duì)CRITIC方法的權(quán)重計(jì)算公式進(jìn)行了修改：

(3)

(4)

(5)

對(duì)權(quán)重計(jì)算公式進(jìn)行修改后，音頻權(quán)重值的大小能夠準(zhǔn)確反映音頻的驅(qū)鳥(niǎo)效果優(yōu)劣.

1.3 基于Q-learning算法的擬聲驅(qū)鳥(niǎo)策略研究

目前市面上絕大部分?jǐn)M聲驅(qū)鳥(niǎo)裝置不能自動(dòng)更換驅(qū)鳥(niǎo)音頻，導(dǎo)致裝置在使用一段時(shí)間后驅(qū)鳥(niǎo)效果變差，無(wú)法驅(qū)離鳥(niǎo)類(lèi).本文結(jié)合強(qiáng)化學(xué)習(xí)的思想，在裝置播放驅(qū)鳥(niǎo)音頻后，通過(guò)檢測(cè)鳥(niǎo)類(lèi)是否離開(kāi)裝置保護(hù)區(qū)域并給予獎(jiǎng)懲，使裝置能夠根據(jù)驅(qū)鳥(niǎo)效果自動(dòng)更換驅(qū)鳥(niǎo)音頻，從而能夠降低鳥(niǎo)類(lèi)適應(yīng)性、提高裝置的驅(qū)鳥(niǎo)效率.

1.3.1 Q-learning算法

強(qiáng)化學(xué)習(xí)的核心思想可通過(guò)智能體(Agent)的學(xué)習(xí)過(guò)程來(lái)體現(xiàn).一個(gè)智能體在采取行動(dòng)(Action)后，通過(guò)與環(huán)境(Environment)發(fā)生交互并獲得獎(jiǎng)勵(lì)(Reward)改變行動(dòng)從而改變下一狀態(tài)(State).

Q-learning算法中的主要參數(shù)有：狀態(tài)s，動(dòng)作a，即時(shí)獎(jiǎng)勵(lì)r，衰減因子γ，探索率和Q值(即在某一狀態(tài)s下，采取動(dòng)作a能夠獲得的最大獎(jiǎng)勵(lì)r的期望).由于環(huán)境會(huì)根據(jù)智能體的動(dòng)作a反饋相應(yīng)的獎(jiǎng)罰r，所以算法的核心就是構(gòu)建Q表，然后根據(jù)Q值確定能夠獲得最大獎(jiǎng)勵(lì)r的動(dòng)作a.

1.3.2 基于Q-learning算法和音頻權(quán)重值的擬聲驅(qū)鳥(niǎo)策略研究

Q-learning算法的使用使裝置能夠根據(jù)驅(qū)鳥(niǎo)效果自動(dòng)更換驅(qū)鳥(niǎo)音頻.為了進(jìn)一步提高裝置的驅(qū)鳥(niǎo)效率，在更新Q表時(shí)考慮單一音頻驅(qū)鳥(niǎo)實(shí)驗(yàn)得到的音頻權(quán)重值，從而加快算法的收斂速度.

擬聲驅(qū)鳥(niǎo)裝置作為Q-learning算法中的智能體，它使用多普勒雷達(dá)檢測(cè)鳥(niǎo)類(lèi)，當(dāng)鳥(niǎo)類(lèi)進(jìn)入裝置的保護(hù)區(qū)域，裝置驅(qū)趕模塊觸發(fā)啟動(dòng)，播放選擇的音頻x驅(qū)鳥(niǎo)，此時(shí)裝置的狀態(tài)s為音頻x播放中.多普勒雷達(dá)檢測(cè)鳥(niǎo)類(lèi)是否離開(kāi)裝置保護(hù)區(qū)域并給予音頻x與獎(jiǎng)懲r，結(jié)合音頻權(quán)重庫(kù)里單一音頻驅(qū)鳥(niǎo)實(shí)驗(yàn)得到的各音頻權(quán)重值更新?tīng)顟B(tài)s下動(dòng)作a的Q值.如果鳥(niǎo)類(lèi)沒(méi)有離開(kāi)裝置保護(hù)區(qū)域，重復(fù)執(zhí)行上述過(guò)程；否則更新Q值后結(jié)束本次驅(qū)趕.基于Q-learning算法和音頻權(quán)重值的擬聲驅(qū)鳥(niǎo)流程如圖1所示.

圖1 基于Q-learning算法和音頻權(quán)重值的擬聲驅(qū)鳥(niǎo)流程Fig.1 Bird-repelling strategy based on Q-learning and audio weight

實(shí)驗(yàn)中，裝置中存儲(chǔ)了10種音頻供驅(qū)趕模塊選用，這樣，裝置作為一個(gè)智能體，有10個(gè)狀態(tài)(音頻x播放中)和10個(gè)動(dòng)作(下次驅(qū)趕選擇音頻y播放)，Q表為一個(gè)10×10的矩陣.

Q表的更新過(guò)程具體如下：

1)當(dāng)多普勒雷達(dá)檢測(cè)到有鳥(niǎo)類(lèi)進(jìn)入裝置的保護(hù)區(qū)域，裝置驅(qū)趕模塊觸發(fā)啟動(dòng)，初始化Q表并隨機(jī)選擇音頻x播放，此時(shí)裝置的狀態(tài)s為音頻x播放中.

3)根據(jù)多普勒雷達(dá)的檢測(cè)結(jié)果給予當(dāng)前播放音頻獎(jiǎng)懲，即如果檢測(cè)到鳥(niǎo)類(lèi)離開(kāi)裝置保護(hù)區(qū)域，則給予當(dāng)前播放音頻獎(jiǎng)勵(lì)，更新Q表，否則給予當(dāng)前播放音頻懲罰，更新Q表，并選擇音頻進(jìn)行下一次驅(qū)趕.

4)更新Q表：Q-learning算法采用時(shí)序差分方法估計(jì)裝置播放音頻的價(jià)值，設(shè)當(dāng)前狀態(tài)的價(jià)值函數(shù)為V(st)，價(jià)值函數(shù)的更新公式如下：

V(st)←V(st)+β[rt+γV(st+1)-V(st)]，

(6)

式中：β為學(xué)習(xí)速率，控制保留之前效果的比例，β越大，對(duì)之前訓(xùn)練效果的保留就越少；rt為當(dāng)前狀態(tài)下執(zhí)行選定動(dòng)作的獎(jiǎng)懲值，驅(qū)鳥(niǎo)成功rt=1，驅(qū)鳥(niǎo)失敗rt=-1；r為折扣因子，控制下一狀態(tài)價(jià)值函數(shù)的比例；V(st+1)為下一狀態(tài)的價(jià)值函數(shù).

在Q-learning算法中，Q表中的Q值即為音頻價(jià)值函數(shù)的取值，更新公式如下：

Q(st，at)←Q(st，at)+

(7)

簡(jiǎn)化式(7)得：

(8)

為了提高Q-learning算法的收斂速度，使裝置快速找到有效的驅(qū)鳥(niǎo)音頻，更新Q值時(shí)考慮在單一音頻驅(qū)鳥(niǎo)實(shí)驗(yàn)中由CRITIC方法得到的音頻權(quán)重值，將式(7)改寫(xiě)為

Q(st，at)←Q(st，at)+

(9)

式中：wt為當(dāng)前音頻權(quán)重值.

5)更新音頻權(quán)重庫(kù)：當(dāng)多普勒雷達(dá)檢測(cè)到鳥(niǎo)類(lèi)離開(kāi)裝置保護(hù)區(qū)域，則更新音頻權(quán)重庫(kù)中對(duì)應(yīng)的音頻權(quán)重值，具體公式如下：

(10)

6)當(dāng)多普勒雷達(dá)檢測(cè)到鳥(niǎo)類(lèi)離開(kāi)裝置保護(hù)區(qū)域則結(jié)束本次驅(qū)趕，否則重復(fù)步驟3)—6).

1.3.3 Sarsa算法

與Q-learning算法一樣，Sarsa算法也屬于強(qiáng)化學(xué)習(xí)算法，兩者的區(qū)別在于Q值的更新方式不同，Sarsa算法的Q值更新公式如下：

Q(st，at)←Q(st，at)+

β[rt+γQ(st+1，at+1)-Q(st，at)]，

(11)

式中Q(st+1，at+1)為下一狀態(tài)下一動(dòng)作的Q值.

2 結(jié)果與分析

2.1 鳥(niǎo)類(lèi)反應(yīng)類(lèi)型定義

根據(jù)湖邊小樹(shù)林中的驅(qū)鳥(niǎo)實(shí)驗(yàn)情況確定各因素邊界值，具體如表1所示．

表1 鳥(niǎo)類(lèi)各反應(yīng)類(lèi)型評(píng)價(jià)標(biāo)準(zhǔn)

統(tǒng)計(jì)每次實(shí)驗(yàn)每只鳥(niǎo){u1，u2，u3}的具體數(shù)值，計(jì)算各因素?cái)?shù)值選用的隸屬度函數(shù)如表2所示．

表2 隸屬度函數(shù)選擇

因?yàn)閡1和u2數(shù)值越大說(shuō)明驅(qū)鳥(niǎo)效果越好，而u3數(shù)值越小說(shuō)明驅(qū)鳥(niǎo)效果越好，所以對(duì)于良好情況，u1和u2選用偏大型梯型隸屬度函數(shù)，u3選用偏小型梯型隸屬度函數(shù).

通過(guò)梯型隸屬度函數(shù)計(jì)算得到行為矩陣R，設(shè)權(quán)重矩陣T=[0.6，0.3，0.1]，通過(guò)式(1)計(jì)算得到鳥(niǎo)類(lèi)的最終行為表現(xiàn)B.

2.2 單一音頻鳥(niǎo)類(lèi)驅(qū)離實(shí)驗(yàn)

在單一音頻驅(qū)鳥(niǎo)實(shí)驗(yàn)中，對(duì)每個(gè)音頻進(jìn)行兩組實(shí)驗(yàn)，統(tǒng)計(jì)對(duì)該音頻有反應(yīng)的鳥(niǎo)類(lèi)數(shù)量，以此作為該音頻驅(qū)鳥(niǎo)效果的主要參考依據(jù)，實(shí)驗(yàn)所得數(shù)據(jù)如表3所示．

表3 對(duì)各音頻有反應(yīng)的鳥(niǎo)類(lèi)數(shù)量統(tǒng)計(jì)

采用SPSS25軟件中單因素方差分析法分析不同音頻的驅(qū)鳥(niǎo)效果是否有明顯區(qū)別.顯著性水平α=0.05，單因素方差分析法結(jié)果如表4所示．

表4 單因素方差分析法結(jié)果(不同音頻的驅(qū)鳥(niǎo)效果)

單因素方差分析結(jié)果表明，各音頻驅(qū)鳥(niǎo)均存在顯著影響(P<0.05).

統(tǒng)計(jì)各音頻驅(qū)鳥(niǎo)實(shí)驗(yàn)中不同反應(yīng)的鳥(niǎo)類(lèi)數(shù)量，所得結(jié)果如表5所示．

表5 各音頻下不同反應(yīng)的鳥(niǎo)類(lèi)數(shù)量

由表5的數(shù)據(jù)，使用CRITIC方法，并根據(jù)式(2)—(5)(其中g(shù)=2)，計(jì)算得到各音頻的權(quán)重值如表6所示．

表6 各音頻權(quán)重值

由表6的數(shù)據(jù)可知：鷹叫聲、禿鷲聲、鞭炮聲和沖鋒號(hào)聲權(quán)重值較大，這4個(gè)音頻的共同特點(diǎn)是聲音響亮且尖銳，說(shuō)明音調(diào)高的聲音更容易使鳥(niǎo)類(lèi)受到驚嚇，驅(qū)鳥(niǎo)效果更好；而鷹啼聲由于音調(diào)較低，權(quán)重值相對(duì)較小.鷹叫聲、鷹啼聲與禿鷲聲都是鷹科大型猛禽發(fā)出的叫聲，但三者最后的權(quán)重值存在差異，推測(cè)是有些鳥(niǎo)類(lèi)沒(méi)有聽(tīng)過(guò)這類(lèi)大型猛禽發(fā)出的叫聲，因而這類(lèi)聲音對(duì)它們來(lái)說(shuō)并不等于危險(xiǎn)信號(hào).類(lèi)似地，慘叫聲和炮彈聲也不一定會(huì)使鳥(niǎo)類(lèi)感到害怕.綜上所述，音調(diào)高的聲音驅(qū)鳥(niǎo)效果更好.

2.3 驅(qū)鳥(niǎo)策略對(duì)比實(shí)驗(yàn)

驅(qū)鳥(niǎo)策略對(duì)比實(shí)驗(yàn)一共做了8組，對(duì)于統(tǒng)計(jì)得到的實(shí)驗(yàn)數(shù)據(jù)，使用單因素方差分析法分析4種擬聲驅(qū)鳥(niǎo)策略的驅(qū)鳥(niǎo)效果是否有明顯區(qū)別，并使用SPSS25軟件中LSD法對(duì)4種模式進(jìn)行兩兩對(duì)比.將隨機(jī)模式設(shè)置為空白對(duì)照組，如果其他3個(gè)模式與隨機(jī)模式的驅(qū)鳥(niǎo)效果存在明顯差異，則說(shuō)明使用強(qiáng)化學(xué)習(xí)算法選擇驅(qū)鳥(niǎo)音頻能夠提高裝置的驅(qū)鳥(niǎo)效率，從而降低鳥(niǎo)類(lèi)的適應(yīng)性.此外，為了說(shuō)明本文改進(jìn)Q-learning算法能夠進(jìn)一步提高裝置的驅(qū)鳥(niǎo)效率，統(tǒng)計(jì)了Sarsa算法模式、Q-learning算法模式和改進(jìn)Q-learning算法模式下對(duì)驅(qū)鳥(niǎo)音頻有反應(yīng)的鳥(niǎo)類(lèi)數(shù)量.

圖3 4種模式對(duì)驅(qū)鳥(niǎo)音頻有反應(yīng)的鳥(niǎo)類(lèi)數(shù)量Fig.3 Mean and variance of bird repelling number in different modes

2.3.1 實(shí)驗(yàn)數(shù)據(jù)分析

使用單因素方差分析法分析4種驅(qū)鳥(niǎo)音頻選擇模式的驅(qū)鳥(niǎo)效果是否有明顯區(qū)別，顯著性水平α=0.05，所得結(jié)果如表7所示．

表7 單因素方差分析法結(jié)果(不同音頻選擇模式的驅(qū)鳥(niǎo)效果)

單因素方差分析結(jié)果表明，各音頻驅(qū)鳥(niǎo)均存在顯著影響(P<0.05).統(tǒng)計(jì)不同驅(qū)鳥(niǎo)音頻選擇模式下對(duì)驅(qū)鳥(niǎo)音頻有反應(yīng)的鳥(niǎo)類(lèi)數(shù)量，使用SPSS25軟件中LSD法對(duì)4種模式進(jìn)行兩兩對(duì)比，所得結(jié)果如表8所示．

表8 4種模式的驅(qū)鳥(niǎo)效果對(duì)比

表8中模式1代表隨機(jī)模式、模式2代表Sasra算法模式、模式3代表Q-learning算法模式、模式4代表改進(jìn)Q-learning算法模式.當(dāng)2個(gè)模式的比較指標(biāo)——顯著性P值<0.05時(shí)，則認(rèn)為這2個(gè)模式有明顯區(qū)別.從表8的顯著性P值可得：其他3個(gè)模式的驅(qū)鳥(niǎo)效果都與隨機(jī)模式有明顯區(qū)別，這也表明這3個(gè)模式的驅(qū)鳥(niǎo)效果都比隨機(jī)模式好；而Sarsa算法模式與Q-learning算法模式的驅(qū)鳥(niǎo)效果沒(méi)有明顯區(qū)別；Sarsa算法模式與改進(jìn)Q-learning算法模式、Q-learning算法模式與改進(jìn)Q-learning算法模式的驅(qū)鳥(niǎo)效果存在明顯區(qū)別，且改進(jìn)Q-learning算法模式的驅(qū)鳥(niǎo)效果優(yōu)于Q-learning算法模式.

2.3.2 策略對(duì)比

驅(qū)鳥(niǎo)實(shí)驗(yàn)中4種模式下對(duì)驅(qū)鳥(niǎo)音頻有反應(yīng)的鳥(niǎo)類(lèi)數(shù)量與鳥(niǎo)類(lèi)總量的比值如圖2所示．

圖2 4種模式的驅(qū)鳥(niǎo)效果Fig.2 Bird-repelling performances of 4 methods

由圖2可知，改進(jìn)Q-learning算法模式下有反應(yīng)的鳥(niǎo)類(lèi)數(shù)量占比達(dá)到76%，高于其他3個(gè)模式.

每次驅(qū)鳥(niǎo)實(shí)驗(yàn)中4種模式下對(duì)驅(qū)鳥(niǎo)音頻有反應(yīng)的鳥(niǎo)類(lèi)數(shù)量統(tǒng)計(jì)結(jié)果如圖3所示．

由圖3可知，隨機(jī)模式下有反應(yīng)的鳥(niǎo)類(lèi)數(shù)量波動(dòng)性較大，驅(qū)鳥(niǎo)效果存在不確定性.對(duì)于Sarsa算法模式和Q-learning算法模式，由于前幾次音頻的選擇是隨機(jī)的，因此前幾次音頻播放后有反應(yīng)的鳥(niǎo)類(lèi)數(shù)量存在一定波動(dòng)性；此外，由于2種算法Q值的更新方法不一樣(Sarsa算法模式更偏向于保守地選擇有效音頻播放，而Q-learning算法模式則是大膽地選擇有效音頻播放)，因此在后續(xù)驅(qū)鳥(niǎo)實(shí)驗(yàn)中，Sarsa算法模式下有反應(yīng)的鳥(niǎo)類(lèi)數(shù)量波動(dòng)比Q-learning算法模式小，但隨著學(xué)習(xí)的積累，2種模式下有反應(yīng)的鳥(niǎo)類(lèi)數(shù)量都會(huì)逐漸增加，最后均收斂于7～8只.對(duì)于改進(jìn)Q-learning算法模式，由于開(kāi)始驅(qū)趕時(shí)就考慮了單一音頻驅(qū)鳥(niǎo)實(shí)驗(yàn)所得音頻權(quán)重，因此前幾次選擇的音頻就能有效驅(qū)趕鳥(niǎo)類(lèi)，且最后收斂于8～9只，高于其他3種模式，驅(qū)鳥(niǎo)效果最好.

3 結(jié)論

本文主要研究了基于改進(jìn)Q-learning算法的擬聲驅(qū)鳥(niǎo)策略，實(shí)驗(yàn)數(shù)據(jù)顯示驅(qū)鳥(niǎo)效率達(dá)到了76%，能夠有效驅(qū)鳥(niǎo).首先，為了評(píng)價(jià)各音頻的驅(qū)鳥(niǎo)效果，結(jié)合模糊理論，提出鳥(niǎo)類(lèi)反應(yīng)類(lèi)型的模糊定義方法，將鳥(niǎo)類(lèi)聽(tīng)到音頻后的動(dòng)作行為量化為相應(yīng)鳥(niǎo)類(lèi)反應(yīng)類(lèi)型.其次，設(shè)計(jì)并進(jìn)行了單一音頻驅(qū)鳥(niǎo)實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果顯示音調(diào)高的音頻驅(qū)鳥(niǎo)效果更好，為裝置驅(qū)鳥(niǎo)音頻的選擇提供了實(shí)驗(yàn)依據(jù).為了使計(jì)算得到的各音頻權(quán)重值更符合實(shí)際，優(yōu)化了CRITIC方法的權(quán)重計(jì)算公式.最后，設(shè)計(jì)并進(jìn)行了與其他擬聲驅(qū)鳥(niǎo)策略的對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果顯示基于改進(jìn)Q-learning算法的擬聲驅(qū)鳥(niǎo)策略驅(qū)鳥(niǎo)效果優(yōu)于其他3種驅(qū)鳥(niǎo)策略，驅(qū)鳥(niǎo)效果穩(wěn)定且收斂速度快，能夠降低鳥(niǎo)類(lèi)的適應(yīng)性.