Monte Carlo Optimization - Seminarium szkoleniowe

Eliza Bujnowska () Monte Carlo Optimization 28 lutego 2006 10 / 38Metody gradientowe (2)Przy ogólniejszych warunkach, ci¡g (θ j ) mo»e by¢ zmodykowany przezzakªócenia stochastyczne:θ j+1 = θ j + α j2β j∆h(θ j , β j ζ j )ζ j ,gdzie zmienne ζ j pochodz¡ z rozkªadu jednostajnego na sferze ||ζ|| = 1, a∆h(x, y) = h(x + y) − h(x − y) jest w przybli»eniu równe 2||y||∇h(x).Inaczej ni» w podej±ciu deterministycznym, algorytm nie koniecznie pod¡»aw kierunku najszybszego spadku w θ j . Pozwala to na unikni¦cie lokalnychmaksimów lub punktów siodªowych h.Zbie»no±¢ (θ j ) do rozwi¡zania θ ∗ zale»y od doboru ci¡gów (α j ) i (β j ).Wystarczaj¡co mocnym warunkiem zbie»no±ci ci¡gu (θ j ) jest zbie»no±¢ α jdo 0 oraz wyra»enia α jdo niezerowej staªej.βj