最優(yōu)控制算法綜合分析

萬 琦 閆若冰 肖靜文

（西南石油大學(xué)，四川 成都610500）

1 最優(yōu)控制理論基本概念

利用最優(yōu)控制算法能解決的問題是：按照控制對象的動態(tài)特征，選擇一個容許控制，使被控對象按照技術(shù)要求運(yùn)行，并使給定的性能指標(biāo)函數(shù)達(dá)到最優(yōu)值。然而，解決最優(yōu)化問題的主要方法有：變分法、最小值原理以及動態(tài)規(guī)劃這三種方法。在此方法上前人已經(jīng)有著較為成熟的技術(shù)來研究最優(yōu)化問題，但是，在未來的技術(shù)中，最優(yōu)控制將會在算法上尋求更大的突破。

1.1 最優(yōu)控制問題的一般提法

系統(tǒng)的狀態(tài)方程。在解決一個最優(yōu)控制問題時都會給定一個狀態(tài)方程公式（1）：

其中f(x(t),u(t),t)對x于t滿足李氏條件。系統(tǒng)的狀態(tài)方程給出了系統(tǒng)內(nèi)部狀態(tài)隨系統(tǒng)控制輸入的變化關(guān)系，即內(nèi)部狀態(tài)的一種約束關(guān)系。

狀態(tài)方程的邊界條件，對于前面給出的狀態(tài)方程，會有相應(yīng)的約束條件，從來求得不同條件下的最優(yōu)解。端點(diǎn)條件一般有三種類型：固定端、自由端和可變短。

容許控制,在實(shí)際的控制系統(tǒng)中，控制輸入u是有一定限制的：0≤u≤umax或≤c，此時的u為容許控制。

性能指標(biāo)，即系統(tǒng)的目標(biāo)函數(shù)。在最優(yōu)控制問題中，都會給出一個衡量控制系統(tǒng)優(yōu)劣的數(shù)量指標(biāo)，它決定于最優(yōu)控制所要達(dá)到的目標(biāo)，一般表示為公式（2）：

綜上所述，一個最優(yōu)控制問題便是由以上四個方面綜合決定的，尤其是系統(tǒng)的性能指標(biāo)，它決定了一個系統(tǒng)的優(yōu)劣。

1.2 最優(yōu)控制問題的一般解決方法

最優(yōu)控制所要解決的問題是，按照控制對象的動態(tài)特性，選擇一個容許控制，使被控對象按照標(biāo)準(zhǔn)運(yùn)行，并使給定的性能指標(biāo)達(dá)到最優(yōu)值。因此，在最優(yōu)控制問題提出時，便形成了下列三種方法：

1.2.1 古典變分法

古典變分法即求取函數(shù)的極值，使得泛函取得極小值。它只能解決無約束或簡單的有約束的一類的最優(yōu)控制問題。而在工程實(shí)踐中所遇到的確實(shí)容許控制屬于閉集的一類最優(yōu)控制問題，這樣就促使了新的方法的產(chǎn)生。

1.2.2 最小值原理

最小值原理是龐特里雅金在古典變分法的基礎(chǔ)上發(fā)展而來的，它為解決帶有閉集約束的最優(yōu)控制問題提供了有效的方法，但是，它仍舊是不完整的，在閉集約束的問題上它只是一個必要的條件。

1.2.3 動態(tài)規(guī)劃

動態(tài)規(guī)劃又稱為多級決策理論，是由貝爾曼提出的一種非線性規(guī)劃方法。它為閉集約束的最優(yōu)控制問題提供了充分條件，由于連續(xù)系統(tǒng)的哈密頓-雅可比方程難于求解，因而不能滿足實(shí)際的需求，因此人類仍舊需要尋求新的充分條件來彌補(bǔ)這種不足。

2 最優(yōu)控制的計(jì)算方法

隨著各種最優(yōu)控制問題的發(fā)現(xiàn)，在原來的方法上也演變出了許多更精確的算法。目前，主要有以下兩種算法，確定性算法（如梯度法、擬牛頓法、高斯-牛頓算法等）求解目標(biāo)函數(shù)的梯度進(jìn)行尋優(yōu)計(jì)算，即共軛梯度法，速度較快，但是不能保證能夠得到全局最優(yōu)值。隨機(jī)性算法（如遺傳算法、模擬退火算法等）利用非線性函數(shù)預(yù)測進(jìn)行尋優(yōu)，可以得到全局最優(yōu)值,但求解速度緩慢。

2.1 最優(yōu)控制數(shù)值算法

2.1.1 牛頓法

牛頓法是一種線性化方法，是求解多元函數(shù)極值問題的常用方法。處于需計(jì)算性能指標(biāo)的二階導(dǎo)數(shù)，又被稱為二階變分法。其優(yōu)點(diǎn)是收斂速度快，缺點(diǎn)是需要計(jì)算倒數(shù)值，計(jì)算量較大且有時候?qū)?shù)的計(jì)算較困難。

2.1.2 擬牛頓法

在牛頓法中，它的主要突出優(yōu)點(diǎn)是收斂速度快，但需要計(jì)算二階偏導(dǎo)，為了克服這一缺點(diǎn)，人們提出了擬牛頓法。它是求解非線性優(yōu)化問題最有效的方法之一，通過在試探點(diǎn)附近的二次逼近來引進(jìn)牛頓條件來確定搜索方向。

2.1.3 共軛梯度法

共軛梯度法的基本思想是把共軛性與最速下降方法相結(jié)合，利用已知點(diǎn)處的梯度構(gòu)造一組共軛方向，并沿這組方向進(jìn)行搜素，求出目標(biāo)函數(shù)的極小點(diǎn)。由于共軛梯度法的收斂速度比最速下降法要快的多，同時也避免了牛頓法中對海塞矩陣的計(jì)算，以此有點(diǎn)贏得了大多數(shù)人的青睞，在許多的工程應(yīng)用中大多數(shù)的采取這種算法。

這是最優(yōu)控制數(shù)值算法上運(yùn)用的較多的三種方法，在常見的文獻(xiàn)中均將這三種算法作為基礎(chǔ)進(jìn)行改進(jìn)或者發(fā)散。除此以外還有梯度法、打靶法以及Bang-Bang控制算法等，隨著最優(yōu)控制問題的計(jì)算方法的不斷改進(jìn)和增多，最優(yōu)控制問題已經(jīng)在不同的研究領(lǐng)域中得以更深入的研究。

3 部分最優(yōu)控制問題研究現(xiàn)狀及應(yīng)用

3.1 魯棒控制與最優(yōu)控制結(jié)合

對不確定的系統(tǒng)，我們現(xiàn)在采用的最佳控制策略是魯棒控制。魯棒優(yōu)化，其實(shí)這也是一種基于梯度的算法。它是運(yùn)用梯度優(yōu)化得到一個伴隨的過程，即H∞，其實(shí)這也是頻域內(nèi)的最優(yōu)控制，從而得到優(yōu)化。魯棒控制與最優(yōu)控制相結(jié)合可以解決許多以前不能解決的問題，例如，線性二次型控制、采樣控制和電機(jī)調(diào)速等實(shí)際問題。這些均是不確定性系統(tǒng)，需要通過魯棒控制的特性來解決。

3.2 遺傳算法與最優(yōu)控制結(jié)合

遺傳算法是一種根據(jù)生物界的進(jìn)化規(guī)律演化而來的隨機(jī)化搜索方法。將自然界優(yōu)勝劣汰的法則運(yùn)用到了算法中的一種基本優(yōu)化算法。遺傳算法的主要特點(diǎn)是直接對系統(tǒng)的結(jié)構(gòu)對象進(jìn)行操作，不會存在求導(dǎo)和函數(shù)的極限的限定，不需要確定的規(guī)劃就能自動的進(jìn)行全局搜索。遺傳算法能更好的求出系統(tǒng)的魯棒性、隨機(jī)性和全局性。但是由于遺傳算法的復(fù)雜性，也局限了其本身的應(yīng)用。

將遺傳算法和最優(yōu)控制相結(jié)合，主要是運(yùn)用來解決電機(jī)優(yōu)化設(shè)計(jì)以及受時間約束的最優(yōu)控制等問題。

3.3 神經(jīng)網(wǎng)絡(luò)優(yōu)化

神經(jīng)網(wǎng)絡(luò)是由人工神經(jīng)元廣泛互連而成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)。它是智能控制領(lǐng)域的一個新的分支，主要用于解決復(fù)雜的非線性、不確定性系統(tǒng)的控制問題。

神經(jīng)網(wǎng)絡(luò)優(yōu)化的基本原理就是利用最優(yōu)控制理論來改善控制系統(tǒng)的精度，尋求全局收斂的快速學(xué)習(xí)算法，以達(dá)到我們所期望的值，即最小值。此處的最小值即神經(jīng)網(wǎng)絡(luò)能量函數(shù)的極小值，這樣我們就能夠通過求解系統(tǒng)的平衡點(diǎn)來求解能量函數(shù)的極小點(diǎn)。使函數(shù)的運(yùn)動軌跡朝著整個系統(tǒng)能量函數(shù)減小的方向偏，逐漸達(dá)到所期望的最小值。

3.4 SPSA算法與最優(yōu)控制結(jié)合

SPSA算法即同時擾動隨機(jī)逼近算法，它主要通過估計(jì)目標(biāo)函數(shù)的梯度信息來逐漸逼近最優(yōu)解，這樣就避免了對于復(fù)變函數(shù)的梯度進(jìn)行精確地計(jì)算。將SPSA算法與最優(yōu)控制相結(jié)合的應(yīng)用已經(jīng)在石油行業(yè)有了初步的研究，特別是在油藏的優(yōu)化上，在最優(yōu)控制模型的建立下通過SPSA算法來達(dá)到NPV（凈現(xiàn)值）的最優(yōu)效果。

3.5 最優(yōu)控制理論在預(yù)測控制中的應(yīng)用

預(yù)測控制屬于一種基于模型的一類新的優(yōu)化控制算法，它的基本原理主要?dú)w納為三點(diǎn)：模型預(yù)測、滾動優(yōu)化和反饋校正。

對于模型預(yù)測來講，只注重預(yù)測模型的功能，而不注重預(yù)測模型的形式，它主要是根據(jù)模型的歷史信息和未來輸入，來預(yù)測未來輸出。在滾動優(yōu)化這個環(huán)節(jié)上，則是運(yùn)用到了最優(yōu)控制理論的思想。它的最主要的特征是在線優(yōu)化，通過某一性能的最優(yōu)來確定未來的控制作用，即性能指標(biāo)的最小值。由于實(shí)際的模型存在非線性、時變、模型失配、跟干擾等因素，因此需要反饋校正對預(yù)測模型的不足進(jìn)行預(yù)測以及補(bǔ)償，這便是預(yù)測控制的第三個因素反饋校正。

4 總結(jié)

最優(yōu)控制理論在最優(yōu)控制問題上有著顯著地研究成果以及應(yīng)用，特別是在航天和過程控制等方面。但是最優(yōu)控制理論中最基礎(chǔ)、最成熟的部分是線性控制領(lǐng)域部分。但是現(xiàn)實(shí)中的問題大多數(shù)是非線性問題，在近幾十年內(nèi)，人們對非線性問題進(jìn)行了更加深入的研究，也取得了一定的成果，但是因?yàn)橄到y(tǒng)的復(fù)雜性，仍舊沒有一套完整的理論體系，需要更加深入和完整的研究。對于非線性的優(yōu)化，一種方法可以把非線性進(jìn)行線性化，但是這樣就造成了模型的不準(zhǔn)確性，需要后期對模型進(jìn)行校正。除掉此種方法對非線性進(jìn)行優(yōu)化也可以采用求導(dǎo)的方法，即梯度法進(jìn)行優(yōu)化也可以，因此梯度法是現(xiàn)今最優(yōu)控制算法中應(yīng)用的很廣泛也很有用的一種算法，在后來人們的探求中，還對梯度法進(jìn)行了改進(jìn)出現(xiàn)了共軛梯度法等改進(jìn)的方法，這就使得研究更近了一步。

［1］池榮虎.SPSA算法及其在函數(shù)尋優(yōu)與控制中的應(yīng)用研究[D].青島科技大學(xué),2012.

［2］孫增圻,等．智能控制理論與技術(shù)[M]．北京:清華大學(xué)出版社,1997．

［3］鄧子辰.最優(yōu)控制理論的發(fā)展及現(xiàn)狀[J].大自然探索,1994,13(2):33-35.

［4］張莉,楊國華.最優(yōu)控制理論及其在電力系統(tǒng)中的典型應(yīng)用[J].寧夏機(jī)械,2009(3).