disser1.pdf (2006 KB) - Ernst-Moritz-Arndt-Universität Greifswald

4.5. Bellman-Prinzip
genannt. 6
Zusammen mit den Endbedingungen entsteht eine Evolutionsgleichung, deren
globale Lösbarkeit, wie im Satz gefordert, im Allgemeinen nicht gesichert ist.
Satz 4.7 Hinreichende Bedingung.
Wenn es auf [t 0 , T ] × R n eine reelle, stetig differenzierbare Funktion V (t, x) gibt, die
die Hamilton-Jacobi-Bellman-Gleichung
erfüllt, und wenn die durch
−V t (t, x) = max
u∈Ω H(x, u, V x(t, x), t), (4.9)
V (T, x T ) = q(x(T ))
û(t, x) = arg max
u∈Ω H(x, u, V x(t, x), t) (4.10)
bestimmte (closed-loop) Steuerung zulässig ist, dann ist die entsprechende open-loop
Steuerung u ∗ (·) mit der zugehörigen Zustandstrajektorie x ∗ (·) eine optimale Lösung
von (4.1).
Beweis:
Die linke Seite von (4.9) ist unabhängig von u, daher kann diese Gleichung auch in
der Form
max [V t(t, x) + H(x, u, V x (t, x), t)] = 0 (4.11)
u∈Ω
dargestellt werden. Wir nehmen die zulässige Steuerung u ∗ (·) und wählen eine
beliebige (und auf [t 0 , T ] zulässige) Steuerung u − (·).
Seien x ∗ (·) und x − (·) die jeweils eindeutigen Zustandstrajektorien, die durch u ∗ (·)
beziehungsweise u − (·) auf dem Intervall [t 0 , T ] erzeugt werden, so dass x ∗ (t 0 ) =
x − (t 0 ) = x 0 gilt. Dann folgt aus (4.10) und (4.11):
0 =V t (t, x ∗ ) + H(x ∗ (t), u ∗ (t), V ∗
x (t, x ∗ ), t) ≥
V t (t, x − ) + H(x − (t), u − (t), V x (t, x − ), t).
Mit der Definition der Hamiltonfunktion H = g +V x ·f und unter Berücksichtigung
von
dV (t, x) ∂V (t, x) ∂V (t, x)
= + f(t, x, u)
dt ∂t ∂x
6 Der Name bezieht sich auf William Rowan Hamilton (1805-1865), der zur Entwicklung der
Variationsrechnung wesentliche Ergebnisse beitrug, auf Carl Gustav Jacobi (1804-1851), der in der
Variationsrechnung weitreichende Beiträge zur Theorie der hinreichenden Bedingungen geleistet
hat und auf Richard Bellman (1920-1984), der die dynamische Programmierung auf den Weg
brachte. Eigentlich stammt diese Gleichung von Constantin Carathéodory (1873-1950), dessen
Name nicht erwähnt wurde.
69