一種求解最優(yōu)控制問題的變時(shí)間節(jié)點(diǎn)控制向量參數(shù)化方法

李國棟，劉興高

?

一種求解最優(yōu)控制問題的變時(shí)間節(jié)點(diǎn)控制向量參數(shù)化方法

李國棟，劉興高

（浙江大學(xué)控制系，工業(yè)控制技術(shù)國家重點(diǎn)實(shí)驗(yàn)室，浙江杭州 310027）

控制向量參數(shù)化方法是求解最優(yōu)控制問題的一種常用數(shù)值方法。它通過離散化控制時(shí)域，將控制向量近似地表示成一組參數(shù)化的函數(shù)。離散化后的時(shí)間網(wǎng)格通常是固定的，其劃分會(huì)影響到最優(yōu)控制問題數(shù)值求解的精度和效率。為了同時(shí)優(yōu)化控制參數(shù)和時(shí)間網(wǎng)格節(jié)點(diǎn)，提出了一種時(shí)間節(jié)點(diǎn)可變的控制向量參數(shù)化方法。推導(dǎo)出了最優(yōu)控制性能指標(biāo)對時(shí)間參數(shù)的導(dǎo)數(shù)與對時(shí)間分段長度導(dǎo)數(shù)之間的關(guān)系，得到了性能指標(biāo)的梯度表達(dá)式。用兩個(gè)經(jīng)典最優(yōu)控制實(shí)例對所提出的方法進(jìn)行了測試，結(jié)果表明所提出方法能夠更好地逼近最優(yōu)控制軌跡。

過程控制；控制向量參數(shù)化；變時(shí)間節(jié)點(diǎn)；優(yōu)化；算法

引 言

最優(yōu)控制問題又稱為動(dòng)態(tài)優(yōu)化問題，在化工領(lǐng)域廣泛存在[1-4]。目前，最優(yōu)控制問題的數(shù)值求解算法可分為兩大類：間接法[5-6]和直接法[7-8]。間接法通過求解原問題的最優(yōu)性條件（即必要條件），間接地獲得原問題的最優(yōu)解，而直接法則是通過離散化，將無限維的最優(yōu)控制問題轉(zhuǎn)化為有限維的非線性規(guī)劃（nonlinear programming, NLP）問題進(jìn)行求解。僅離散化控制向量而保持狀態(tài)向量不變的直接法又稱為控制向量參數(shù)化（control vector parameterization，CVP）方法，它是當(dāng)前求解最優(yōu)控制問題的一種主流數(shù)值方法。

在CVP方法中，時(shí)間網(wǎng)格的劃分通常是事先確定的，并且在優(yōu)化過程中不會(huì)改變。網(wǎng)格的劃分直接關(guān)系到求解結(jié)果對最優(yōu)控制軌跡的逼近程度。有時(shí)為了較好地逼近最優(yōu)控制軌跡，需要將時(shí)間網(wǎng)格劃分得很細(xì)，但這樣會(huì)增加NLP問題的維數(shù)和計(jì)算時(shí)間。而且，如果時(shí)間網(wǎng)格劃分不當(dāng)還會(huì)導(dǎo)致病態(tài)的NLP問題，影響收斂速度。針對固定時(shí)間網(wǎng)格CVP方法的缺點(diǎn)，國際上許多學(xué)者對時(shí)間網(wǎng)格的劃分和優(yōu)化展開了研究。

Marquardt等[9-11]提出了自適應(yīng)網(wǎng)格劃分的CVP方法，在迭代過程中通過對上一步解的小波分析來調(diào)整時(shí)間網(wǎng)格的劃分，對某些時(shí)間網(wǎng)格進(jìn)行細(xì)化或合并，從而獲得比均勻劃分網(wǎng)格的CVP方法更高的優(yōu)化效率。Srinivasan等[12]基于最優(yōu)控制的必要條件研究了最優(yōu)控制的各段軌跡與必要條件的對應(yīng)情況，將必要條件劃分為約束和靈敏度兩部分，提出了一種具自適應(yīng)控制向量參數(shù)化方法。Szymkat等[13]給出了控制和狀態(tài)約束最優(yōu)控制問題的結(jié)構(gòu)估計(jì)方法，通過不斷增減網(wǎng)格節(jié)點(diǎn)和弧段來實(shí)現(xiàn)結(jié)構(gòu)調(diào)整。這些是屬于時(shí)間網(wǎng)格精細(xì)化調(diào)整的方法。另一類方法則是對時(shí)間節(jié)點(diǎn)的位置進(jìn)行優(yōu)化。如Teo等[14-16]提出的一種控制參數(shù)化增強(qiáng)轉(zhuǎn)換（control parameterization enhancing transform，CPET）方法，把原時(shí)間節(jié)點(diǎn)映射到一個(gè)新的時(shí)間尺度上，并將原有網(wǎng)格的寬度作為優(yōu)化變量，在求解得到最優(yōu)控制參數(shù)的同時(shí)獲得最佳的網(wǎng)格劃分。該方法有效實(shí)現(xiàn)了可變時(shí)間節(jié)點(diǎn)問題到固定時(shí)間節(jié)點(diǎn)問題的轉(zhuǎn)換，但這種轉(zhuǎn)換僅具有一種時(shí)間網(wǎng)格劃分，使得所有的控制變量均基于同一時(shí)間網(wǎng)格進(jìn)行參數(shù)化[17]。

對于含有多個(gè)控制變量的最優(yōu)控制問題，各控制分量的最優(yōu)軌跡往往是不同的，每個(gè)控制分量在參數(shù)化時(shí)應(yīng)當(dāng)對應(yīng)各自的網(wǎng)格劃分。本文針對這一情況提出了一種變時(shí)間節(jié)點(diǎn)控制向量參數(shù)化（variable time nodes CVP, VTNCVP）方法，該方法為每個(gè)控制分量分配獨(dú)立的參數(shù)化網(wǎng)格，不同于Teo等將時(shí)間分段長度作為優(yōu)化變量，在參數(shù)化時(shí)直接將時(shí)間節(jié)點(diǎn)作為優(yōu)化變量，并且在求解最佳控制參數(shù)的同時(shí)完成對各控制分量時(shí)間網(wǎng)格節(jié)點(diǎn)的優(yōu)化。

1 問題描述

本文考慮的最優(yōu)控制問題P1的數(shù)學(xué)描述如下

設(shè)是()的可行控制集，則最優(yōu)控制問題[式(1)～式(7)]可以簡單描述為：在可行初始條件[式(5)]下，從可行控制集中求得針對系統(tǒng)[式(2)～式(4)]的最優(yōu)控制策略，使得目標(biāo)函數(shù)[式(1)]的值最小。

2 理論推導(dǎo)及算法描述

2.1 CVP

圖1 分段常量參數(shù)化

對問題P1采用分段常量參數(shù)化，記第個(gè)控制分量的表征參數(shù)依次為，并記向量，則在時(shí)間段上，可近似地表示為

這樣控制向量()的邊界約束可以直接轉(zhuǎn)換為控制參數(shù)的邊界約束。通過分段常量參數(shù)化，原始的求解最優(yōu)控制軌跡的最優(yōu)控制問題P1就轉(zhuǎn)化為如下所示的確定控制參數(shù)的NLP問題P2

2.2 VTNCVP

當(dāng)最優(yōu)控制問題中存在多個(gè)控制時(shí)，各控制分量所適合的網(wǎng)格劃分往往是不同的。因此，在進(jìn)行分段常量參數(shù)化時(shí)，各控制分量可在不同的時(shí)間網(wǎng)格上進(jìn)行。設(shè)第個(gè)控制分量的控制時(shí)域被時(shí)間節(jié)點(diǎn)分為了個(gè)階段，其中，為可變時(shí)間節(jié)點(diǎn)參數(shù)。記各控制分量的時(shí)間節(jié)點(diǎn)參數(shù)共有個(gè)，并將它們記作向量，則參數(shù)化后的控制向量由控制參數(shù)和時(shí)間節(jié)點(diǎn)參數(shù)共同確定（圖2）。

圖2 變時(shí)間節(jié)點(diǎn)分段常量參數(shù)化

因此，問題P1在經(jīng)過變時(shí)間節(jié)點(diǎn)控制向量參數(shù)化后就轉(zhuǎn)化為求解控制參數(shù)和時(shí)間節(jié)點(diǎn)參數(shù)的NLP問題P3

2.3 梯度計(jì)算

為了求解參數(shù)化后的NLP問題P3，需要獲得目標(biāo)與約束函數(shù)對控制參數(shù)和時(shí)間節(jié)點(diǎn)參數(shù)的梯度信息。

其伴隨方程可表示為

利用Teo等[14-16]給出的CPET方法中目標(biāo)與約束函數(shù)對時(shí)間分段長度的梯度計(jì)算公式，可推導(dǎo)得到對時(shí)間節(jié)點(diǎn)參數(shù)的梯度。將時(shí)間節(jié)點(diǎn)參數(shù)由小到大進(jìn)行排序并依次記為，其中時(shí)間節(jié)點(diǎn)的序號(hào)為。通過這些時(shí)間節(jié)點(diǎn)可將整個(gè)控制時(shí)域劃分成個(gè)階段，記各階段的區(qū)間長度依次為，并令和，那么時(shí)間節(jié)點(diǎn)和區(qū)間長度之間可通過式(24)、式(25)相互表示

其中，函數(shù)對時(shí)間節(jié)點(diǎn)參數(shù)的梯度和對時(shí)間分段長度的梯度之間的關(guān)系，用如下定理來表示。

證明：如式(25)所示，各階段的區(qū)間長度可由時(shí)間節(jié)點(diǎn)進(jìn)行表示，因此有

基于定理1和Teo等[14-16]給出的對時(shí)間分段長度的梯度公式，可得到函數(shù)對時(shí)間節(jié)點(diǎn)參數(shù)的梯度表達(dá)式，如定理2所示。

具體的推導(dǎo)過程見文獻(xiàn)[14]。將式(31)代入式(26)中，即可得到函數(shù)對時(shí)間節(jié)點(diǎn)的梯度表達(dá)式(30)。

2.4 算法描述與分析

基于以上推導(dǎo)，變時(shí)間節(jié)點(diǎn)控制向量參數(shù)化方法的算法實(shí)現(xiàn)步驟如下。

②計(jì)算微分方程組的初值問題式(2)和式(5)，得到狀態(tài)()的值。

⑤基于獲得的函數(shù)和梯度信息解非線性規(guī)劃問題P3，直至得到優(yōu)化后的參數(shù)和。

與CPET方法相比，所提出的VTNCVP方法具有以下幾點(diǎn)優(yōu)勢。

① 時(shí)間網(wǎng)格的劃分更加自由、靈活。CPET方法中，時(shí)間節(jié)點(diǎn)被映射并固定在新的時(shí)間尺度上，迫使不同的控制分量均在同一時(shí)間網(wǎng)格上參數(shù)化；而本文所提出的方法，對各個(gè)控制分量采用不同的時(shí)間網(wǎng)格劃分，各分量之間的網(wǎng)格劃分不會(huì)相互限制和干擾（圖3）。

圖3 VTNCVP與CPET時(shí)間網(wǎng)格對比

②對最優(yōu)控制軌跡的逼近能力更強(qiáng)。由于VTNCVP方法的時(shí)間網(wǎng)格劃分更加靈活，各控制分量的參數(shù)化表示能夠更好地逼近最優(yōu)控制軌跡，因此，在同等分段數(shù)下，VTNCVP方法所得到的最優(yōu)值優(yōu)于或等于CPET方法所得到的最優(yōu)值；在取得相同最優(yōu)值的條件下，VTNCVP方法所必需的參數(shù)數(shù)目要少于或等于CPET方法。

③具有更好的收斂能力和數(shù)值表現(xiàn)。由于在設(shè)置初始參數(shù)時(shí)，最優(yōu)控制問題解的結(jié)構(gòu)通常是未知的，因此，在優(yōu)化計(jì)算的過程中，難免會(huì)對控制分量間的時(shí)間節(jié)點(diǎn)順序進(jìn)行調(diào)整。因?yàn)镃PET方法將時(shí)間節(jié)點(diǎn)映射并固定在新的時(shí)間尺度上，各節(jié)點(diǎn)的順序是固定的，所以，當(dāng)節(jié)點(diǎn)順序需要調(diào)整時(shí)，待調(diào)整的節(jié)點(diǎn)只能相互靠近而不能交換位置（圖4），容易導(dǎo)致求解過程陷入局部最優(yōu)。而VTNCVP方法則能克服此種缺陷，各控制分量間的節(jié)點(diǎn)順序可以自由調(diào)整，從而能夠更好地收斂到最優(yōu)解。

圖4 VTNCVP與CPET時(shí)間節(jié)點(diǎn)優(yōu)化對比

3 算例測試

3.1 集裝箱起重機(jī)問題

這是一個(gè)經(jīng)典的復(fù)雜機(jī)械工程最優(yōu)控制問題：用起重機(jī)將集裝箱從貨輪轉(zhuǎn)運(yùn)到卡車上，如何操作使得性能指標(biāo)最優(yōu)[19]，含有6個(gè)狀態(tài)變量、2個(gè)控制變量、6個(gè)微分方程、2個(gè)初值/終值等式約束、8個(gè)控制變量/狀態(tài)變量不等式路徑約束。該問題的數(shù)學(xué)模型為

表1 集裝箱起重機(jī)問題的求解結(jié)果

圖5 集裝箱起重機(jī)問題的最優(yōu)控制軌跡

3.2 復(fù)合Nishida問題

這是一個(gè)經(jīng)典的化工過程最優(yōu)控制問題[21]，其數(shù)學(xué)模型為

表2 復(fù)合Nishida問題求解結(jié)果

圖6 復(fù)合Nishida問題的最優(yōu)控制軌跡

4 結(jié) 論

本文著重考慮控制向量參數(shù)化方法求解最優(yōu)控制問題時(shí)，時(shí)間網(wǎng)格的劃分對非線性規(guī)劃問題的維數(shù)和求解效果的影響。所提出的變時(shí)間節(jié)點(diǎn)控制向量參數(shù)化方法的優(yōu)點(diǎn)在于可以通過優(yōu)化時(shí)間節(jié)點(diǎn)使不同的控制具有不同的網(wǎng)格劃分，該方法能夠在較少的時(shí)間分段下獲得更好的結(jié)果，比傳統(tǒng)方法具有更大的靈活性和更好的控制軌跡逼近效果。

符 號(hào) 說 明

Gi，gi——分別為參數(shù)化后、參數(shù)化前的第i個(gè)目標(biāo)或約束函數(shù) Hi——第i個(gè)目標(biāo)或約束函數(shù)的哈密爾頓函數(shù) J——性能指標(biāo) Li——第i個(gè)目標(biāo)或約束函數(shù)的積分項(xiàng) N，Nj——分別為控制向量的分段數(shù)、第j個(gè)控制分量的分段數(shù) nu，nx——分別為控制向量、狀態(tài)向量的維數(shù) p——時(shí)間節(jié)點(diǎn)參數(shù)數(shù)目 t——時(shí)間節(jié)點(diǎn)參數(shù)向量 U——可行控制集 u，，，——分別為控制向量，最優(yōu)控制向量，控制向量上界、下界 x，x0——分別為狀態(tài)向量及其初值 ——控制參數(shù)向量 ——伴隨狀態(tài)向量 ——排序后的時(shí)間節(jié)點(diǎn)參數(shù)向量 下角標(biāo) f——終端 i——目標(biāo)或約束函數(shù)的序號(hào) j——控制分量的序號(hào) k——時(shí)間分段的序號(hào) 0——起始

References

[1] Zhou You (周游), Zhao Chengye (趙成業(yè)), Liu Xinggao (劉興高). An iteratively adaptive particle swarm optimization approach for solving chemical dynamic optimization problems [J].(化工學(xué)報(bào)), 2014, 65 (4): 1296-1302

[2] Peng Xin (彭鑫), Qi Rongbin (祁榮賓), Du Wenli (杜文莉), Qian Feng (錢鋒). An improved knowledge evolution algorithm and its application to chemical process dynamic optimization [J].(化工學(xué)報(bào)), 2012, 63 (3): 841-850

[3] Zhou Y, Liu X. Control parameterization-based adaptive particle swarm approach for solving chemical dynamic optimization problems [J]., 2014, 37 (4): 692-702

[4] Liu X, Chen L, Hu Y. Solution of chemical dynamic optimization using the simultaneous strategies [J]., 2013, 21 (1): 55-63

[5] Kirk D E. Optimal Control Theory: An Introduction[M]. New York: Dover Publications, 2004

[6] Peng Haijun (彭海軍), Gao Qiang (高強(qiáng)), Wu Zhigang (吳志剛), Zhong Wanxie (鐘萬勰). A mixed variable variational method for optimal control problems with applications in aerospace control [J].(自動(dòng)化學(xué)報(bào)), 2011, 37 (10): 1248-1255

[7] Qi Rongbin (祁榮賓), Liu Chenxia (劉趁霞), Zhong Weimin (鐘偉民), Qian Feng (錢鋒). A multi-objective optimization algorithm based on gradient information [J].(化工學(xué)報(bào)), 2013, 64 (12): 4401-4409

[8] Sun Yong (孫勇), Zhang Maorui (張卯瑞), Liang Xiaoling (梁曉玲). Improved Gauss pseudospectral method for solving nonlinear optimal control problem with complex constraints [J].(自動(dòng)化學(xué)報(bào)), 2013, 39 (5): 672-678

[9] Binder T, Cruse A, Cruz Villar C A, Marquardt W. Dynamic optimization using a wavelet based adaptive control vector parameterization strategy [J]., 2000, 24 (2-7): 1201-1207

[10] Schlegel M, Stockmann K, Binder T, Marquardt W. Dynamic optimization using adaptive control vector parameterization [J]., 2005, 29 (8): 1731-1751

[11] Assassa F, Marquardt W. Dynamic optimization using adaptive direct multiple shooting [J]., 2014, 60: 242-259

[12] Srinivasan B, Palanki S, Bonvin D. Dynamic optimization of batch processes (Ⅰ): Characterization of the nominal solution [J]., 2003, 27 (1): 1-26

[13] Szymkat M, Korytowski A. Method of monotone structural evolution for control and state constrained optimal control problems//Proceedings of the European Control Conference [C]. University of Cambridge, UK, 2003

[14] Teo K L, Jennings L S, Lee H W J, Rehbock V. The control parameterization enhancing transform for constrained optimal control problems [J].,,, 1999, 40 (3): 314-335

[15] Loxton R C, Teo K L, Rehbock V. Optimal control problems with multiple characteristic time points in the objective and constraints [J]., 2008, 44 (11): 2923-2929

[16] Loxton R C, Teo K L, Rehbock V, Yiu K F C. Optimal control problems with a continuous inequality constraint on the state and the control [J]., 2009, 45 (10): 2250-2257

[17] Zhang Xiaodong (張曉東), Li Shurong (李樹榮), Lei Yang (雷陽), Zhang Qiang (張強(qiáng)). Control vector parameterization approach with variable time nodes [J].(化工學(xué)報(bào)), 2012, 63 (9): 2805-2811

[18] Biegler L T. Nonlinear Programming: Concepts, Algorithms, and Applications to Chemical Processes[M]. Philadelphia: Society for Industrial & Applied Mathematics,U.S., 2010

[19] Sakawa Y, Shindo Y. Optimal control of container cranes [J]., 1982, 18 (3): 257-266

[20] Hu Yunqing (胡云卿), Liu Xinggao (劉興高), Xue Anke (薛安克). A penalty method for solving inequality path constrained optimal control problems [J].(自動(dòng)化學(xué)報(bào)), 2013, 39 (12): 1996-2001

[21] Nishida N, Liu Y, Lapidus L, Hiratsuka S. An effective computational algorithm for suboptimal singular and/or bang-bang control (Ⅱ): Applications to nonlinear lumped and distributed systems [J]., 1976, 22 (3): 513-523

A variable time nodes control vector parameterization approach for solving optimal control problems

LI Guodong, LIU Xinggao

(State Key Laboratory of Industry Control Technology, Department of Control, Zhejiang University, Hangzhou 310027, Zhejiang, China)

Control vector parameterization (CVP) is a frequently used numerical method for solving optimal control problems, where the control vector is approximated by a group of parametric functions through time discretization. Usually, the discretized time grid is fixed, and its partition will affect accuracy and performance of the numerical solution of optimal control problem. To optimize both the control parameters and the time grid nodes, a CVP method with variable time nodes was proposed. Based on the derived relationship between the gradients of time nodes and the ones of interval lengths, the gradient equations for parameters were presented. The proposed method was demonstrated to have better approximation ability for the optimal control trajectories on two classic optimal control problems.

process control; control vector parameterization; variable time nodes; optimization; algorithm

2014-07-28.

Prof.LIU Xinggao, lxg@zju.edu.cn

10.11949/j.issn.0438-1157.20141128

TQ 021.8

A

0438—1157（2015）02—0640—07

國家自然科學(xué)基金項(xiàng)目（U1162130）。

2014-07-28收到初稿，2014-11-13收到修改稿。

聯(lián)系人：劉興高。第一作者：李國棟（1988—），男，博士研究生。

supported by the National Natural Science Foundation of China (U1162130).