neue Endversion16112006.indd - ULV Leoben - Montanuniversität ...

mMINING METALLURGY MATERIALS
m m
WWW.UNILEOBEN.AC.AT
Pawlow‘sche Steuerungen
Universitätslehrerverband der
Montanuniversität Leoben (ULV)
Motiviert durch Beobachtungen der Konditionierung durch Belohnung und Bestrafung,
untersuchen wir Algorithmen für das Erlernen von optimalen Steuerungen mittels
„Reinforcement“.
Das Ziel unserer neuen Arbeit ist aber, eine hohe Qualität der
Steuerung auch während der Lernphase zu garantieren. Die
Schwierigkeit dabei ist zu entscheiden, wann es sich rentiert,
eine Steuerung weiter zu testen bzw. wann man sich mit den
bisher gefundenen Steuerungen zufrieden geben soll.
Bild rechts: Nach wenigen Schritten ist das Resultat noch
zufällig, während nach vielen Schritten fast alle Algorithmen
eine optimale Steuerung gefunden haben. Der Vorteil unseres
Algorithmus lässt sich im mittleren Bereich feststellen, wo die
durchschnittliche Performance signifikant über der der anderen
Algorithmen liegt.
Ronald Ortner
Informationstechnologie
an der MUL seit: 2003
Zur Person:
2000 – 2002 Produktionslogistiker bei Infineon Tech.
2002 Assistent am Inst. f. Mathematik C der TU Graz
Im sogenannten Reinforcement Learning gilt es, ein Steuerungsproblem
durch Auswerten von erfolgreichen und erfolglosen
Versuchen zu lösen. Das heißt, für verschiedene Steuerungen
erhält man positives bzw. negatives Feedback, das auch oft
einem zufälligen Einfluss unterliegt. Es ist nicht verwunderlich,
dass durch eine genügend große Anzahl von Versuchen eine
optimale Steuerung ermittelt werden kann.
Literatur:
[1] P. Auer and R. Ortner, Logarithmic Online Regret Bounds for Undiscounted Reinforcement
Learning, accepted for Neural Information Processing Systems (NIPS) 2006.
[2] P. Auer, R. Ortner, and T. Jaksch, Empirical Evaluation of a New Reinforcement
Learning Algorithm, Technical Report 2006.
Forschungsschwerpunkte:
Künstliche Intelligenz
Reinforcement Learning
Markov Decision Processes