Klasické plánování

Klasické plánování 

Radek Maˇrík 

CVUT FEL, K13133 

16. dubna 2013 

Radek Maˇrík (marikr@felk.cvut.cz) Klasické plánování 16. dubna 2013 1 / 70

Obsah 

1 Pojem plánování 

Definice 

Koncepční model 

Typologie plánovač˚u 

2 Reprezentace 

STRIPS 

PDDL 

3 Metody plánování 

Logika a prohledávání 

Stavový prostor 


Koncept plánu [Nau09] 

Plán 

mnoho definic a pohled˚u .... 

Pojem plánování Definice 

Schéma, program nebo metoda pˇripravená dopˇredu k dosaˇzení 

nějakého cíle. 


Definice plánu 

[Nau09, Pec10] 


Plánování 

Uvaˇzování o hypotetické interakci mezi agentem a prostˇredím 

vzhledem k dané úloze. 

Motivací k procesu plánování je zd˚uvodnění, ˇze daná dle plánu 

provedená sada akcí změní prostˇredí tak, aby bylo dosaˇzeno vytčeného 

cíle či ˇreˇsení zadání úlohy. 



Plánování a rozvrhování [Nau09] 

Rozvrhování . . . pˇriˇrazuje ˇradě proces˚u zdroje s časovým omezením, 

Plánování . . . uvaˇzuje moˇzné interakce mezi komponentami plánu. 

Plánování 

Dáno: počáteční stav, cílový stav, operátory. 

Hledáme sekvenci operátor˚u, které dosáhnou na cílový stav z 

počátečního stavu 

výběr pˇrísluˇsných akcí, uspoˇrádáním akcí, zahrnutí kauzalit 

Rozvrhování 

Dáno: zdroje, akce, omezení. 

Hledáme rozvrh, který vyhovuje omezením 

uspoˇrádání akcí, pˇriˇrazení zdroj˚u, splnění omezení. 



Reálné aplikace - pr˚uzkum vesmíru [Nau09] 

Projekty 

Autonomní plánování, rozvrhování, ˇrízení 

NASA: JPL a Ames. 

Remote Agent Experiment (REX) 

Deep Space 1. 

Mars Exploration Rover (MER) 


Pojem plánování Koncepční model 

Koncepční model plánování I [Nau09] 

Prostˇredí 

Systém s pˇrechody mezi 

stavy 

Σ = (S, A, E, γ) 

S = {states} 

A = {actions} 

E = {exogenous events} 

γ = 

{state-transition function} 


Roboty v docích [Wic11] 

Ilustrace plánovacích procedur 

pˇrístav s několika místy (doky) 

lodě, 

sklady s kontejnery 

parkovací místa pro 

vlaky, 

nákladní auta 

cíl: 

vyloˇzit/naloˇzit lodě atd. 

pˇremíst’ovat kontejnery 

pomocí robot˚u 




Pˇríklad pˇrechodového systému [Nau09] 

Systém s pˇrechody mezi stavy 

Σ = (S, A, E, γ) 

S = {states} 

A = {actions} 

E = {exogenous events} 

γ = S × (A ∪ E) → 2 S 

Systém s pˇrechody mezi stavy 

S = {s0, s1, . . . , s5} 

A = {move1, move2, put, 

take, load, unload} 

E = {} 

γ = {viz ˇsipky} 



Koncepční model plánování I [Nau09] 

ˇRadič 

pozorovací funkce 

h : S → O 

za pozorování o ∈ O 

produkuje akci a ∈ A 

Plánovač 

produkuje plány 

instrukce pro ˇradič 


Plánovací úloha [Nau09] 


angl. Planning problem 

popis systému Σ 

počáteční stav nebo 

mnoˇzina stav˚u 

počáteční stav = s0 

Zadání úlohy 

cílový stav 

mnoˇzina cílových stav˚u 

mnoˇzina úloh, 

”trajektorie”stav˚u, 

hodnotící funkce 

cílový stav = s5 


Plán [Nau09] 


Klasický plán 

sekvence akcí 

< take, move1, load, move2 > 

Postup, taktika (angl. policy) 

částečná funkce z S do A 

{(s0, take), (s1, move1), 

(s3, load), (s4, move2)} 


Typy plánovač˚u [Nau09] 

Plánovače pro specifickou doménu 

Pojem plánování Typologie plánovač˚u 

navrˇzeny a vyladěny pro danou doménu 

nebudou pracovat dobˇre (jestli v˚ubec) v jiné doméně 

větˇsina úspěˇsných reálných plánovač˚u pracuje tímto zp˚usobem 

Plánovače nezávislé na doméně 

v principu pracuje v jakékoliv plánovací doméně 

nepouˇzívá ˇzádnou doménově specifickou znalost s vyjímkou definic 

základních akcí 

v praxi je neproveditelné, aby pracovalo pro kaˇzdou moˇznou doménu, 

zavedení ˇrady zjednoduˇsujících pˇredpoklad˚u 

klasické plánování 

zaměˇrena větˇsina výzkumu automatizovaného plánování 


Omezující pˇredpoklady [Nau09] 


A0: Konečný systém 

konečně mnoho stav˚u, akcí, událostí 

A1: Plně pozorovatelný 

ˇradič vˇzdy m˚uˇze pozorovat současný stav 

A2: Deterministický 

kaˇzdá akce má pouze jediný výstup 

A3: Statický (ˇzádné vnějˇsí události) 

změny jsou zp˚usobeny pouze akcemi ˇradiče 

A4: Dosaˇzitelnost cíl˚u 

existence mnoˇziny cílových stav˚u Sg 

A5: Sekvenční plány 

plán je lineárně uspoˇrádaná sekvence akcí < a0, a1, . . . , an > 

A6: Implicitní čas 

ˇzádné časové prodlevy, lineární sekvence okamˇzitých stav˚u 

A7: Off-line plánování 

plánovač nezná aktuální stav běhu 


Klasické plánování [Nau09] 


Vychází ze vˇsech 8 omezujících pˇredpoklad˚u 

Offline generování sekvencí akcí pro deterministické, statické, konečné 

systémy s úplnou znalostí, dosaˇzitelnými cíli a implicitním časem. 

Redukuje se na následující úlohu: 

Dáno (Σ, s0, Sg ) 

Nalezni sekvenci akcí π =< a0, a1, . . . , an >, která produkuje sekvenci 

pˇrechod˚u mezi stavu < s0, s1, . . . , sn > takovou, ˇze sn ∈ Sg . 

Metodou je vyhledávání cesty v grafu 

uzly = stavy 

hrany = akce 

Je to triviální? 



Klasické plánování - pˇríklad [Nau09] 

Realita 

Počet částic ve vesmíru je pouze okolo 10 87 

Výzkum automatizovaného plánování 

pˇreváˇzně klasické plánování 

existují desítky (stovky) r˚uzných algoritm˚u 

Pˇrevozy náklad˚u letadly 

10 letiˇst’ 

50 letadel 

200 kus˚u nákladu 

počet stav˚u 

50 10 ×200 50+10 ≈ 10 155 


Klasické representace [Wic11] 

Reprezentace STRIPS 

reprezentace pomocí výrok˚u 

stav světa je mnoˇzina výrok˚u 

akce obsahuje pˇredpoklady ve formě výrok˚u a efekty ve formě výrok˚u, 

které se pˇridávají či smaˇzou 

STRIPS reprezentace 

podobně jako výroková reprezentace 

místo výrok˚u se vˇsak pracuje s literály prvého ˇrádu 

reprezentace pomocí stavových proměnných 

stav je k-tice stavových proměnných {x1, . . . , xn} 

akce je parciální funkce nad stavy 



Rozloˇzená reprezentace stavu 

Reprezentace stavu světa 

atomická . . . stav je dále nedělitelný 

rozloˇzená . . . stav je kolekce proměnných 



STRIPS - reprezentace stav˚u [Wic11] 

Necht’ L je jazyk prvého ˇrádu 

s konečně mnoha predikátovými symboly, 

s konečným počtem konstatních symbol˚u, 

a ˇzádnými funkčními symboly 

stav STRIPS plánovací domény je mnoˇzina základních atom˚u z L: 

(základní) atom p platí ve stavu s ⇔ p ∈ s 

s splňuje mnoˇzinu (základních) literál˚u g (s |= g), jestliˇze 

kaˇzdý pozitivní literál v g je v s 

kaˇzdý negativní literál v g není v s 


Pˇríklad STRIPS stavu [Wic11] 

Stav v DWR doméně 


state = {attached(p1, loc1), 

attached(p2, loc1), 

in(c1, p1), in(c3, p1), 

top(c3, p1), on(c3, c1), 

on(c1, pallet), in(c2, p2), 

top(c2, p2), on(c2, pallet), 

belong(crane1, loc1), 

empty(crane1), 

adjacent(loc1, loc2), 


at(r1, loc2), 

occupied(loc2), 

unloaded(r1)} 



STRIPS - reprezentace operátor˚u a akcí 

[Wic11] 

plánovací operátor STRIPS plánovací domény je trojice 

o = (name(o), precond(o), effects(o)), 

kde jméno operátoru name(o) 

je syntaktický výraz tvaru n(x1, . . . , xk), 

kde n je (jednoznačný) symbol 

a x1, . . . , xk jsou vˇsechny proměnné, 

které se vyskytují v o, a 

vstupní podmínky precond(o) a efekty effects(o) operátoru jsou 

mnoˇziny literál˚u. 

akce STRIPS plánovací domény je uzavˇrená instance plánovacího 

operátor˚u. 



Pˇríklad STRIPS operátor˚u [Wic11] 

move(r, l, m) 

robot r se pˇresune z místa l do sousedního místa m 

precond: adjacent(l, m), at(r, l), ¬occupied(m) 

effects: at(r, m), occupied(m), ¬occupied(l), ¬at(r, l) 

load(k, l, c, r) 

jeˇráb k na místě l naloˇzí kontejner c na robot r 

precond: belong(k, l), holding(k, c), at(r, l), unloaded(r) 

effects: empty(k), ¬holding(k, c), loaded(r, c), ¬unloaded(r) 

put(k, l, c, d, p) 

jeˇráb k na místě l poloˇzí kontejner c na d v svazku p 

precond: belong(k, l), attached(p, l), holding(k, c), top(d, p) 

effects: 

¬holding(k, c), empty(k), in(c, p), top(c, p), on(c, d), ¬top(d, p) 



Aplikovatelnost a pˇrechody mezi stavy [Wic11] 

Necht’ L je mnoˇzina literál˚u 

L + je mnoˇzina atom˚u, které jsou pozitivní literály v L, 

L − je mnoˇzina vˇsech atom˚u, jejichˇz negace jsou v L 

Necht’ a je akce a s je stav. 

Potom a je aplikovatelná v s ⇔: 

precond + (a) ⊆ s; a 

precond − (a) ∩ s == {} 

Stavová pˇrechodová funkce y pro akci aplikovatelnou ve stavu s je 

definována jako: 

y(s, a) = (s − effects − (a)) ∪ effects + (a) 



STRIPS: plánovací domény [Wic11] 

Necht’ L je jazyk prvého ˇrádu bez funkcí. 

STRIPS plánovací doména na L omezený stavově-pˇrechodový 

systém Σ = (S, A, γ) takový, ˇze: 

Sje mnoˇzina STRIPS stav˚u, tj. mnoˇzina uzavˇrených atom˚u, 

A je mnoˇzina uzavˇrených instancí nějakých STRIPS plánovacích 

operátor˚u O 

y : S × A → S kde 

y(s, a) = (s − effects − (a)) ∪ effects + (a), jestliˇze a je aplikovatelná v s 

y(s, a) = nedefinovaná jinak 

S je uzavˇrená v rámci y 



STRIPS: plánovací úloha [Wic11] 

STRIPS plánovací úloha je trojice P = (Σ, si, g), kde: 

Σ = (S, A, γ) je STRIPS plánovací doména na daném jazyce prvého 

ˇrádu L 

si ∈ S je počáteční stav 

g je mnoˇzina uzavˇrených literál˚u popisující cíl tak, 

ˇze mnoˇzina cílových stav˚u je 

Sg = {s ∈ S|s |= g} 



Pˇríklad STRIPS plánovací úlohy [Wic11] 

Stav v DWR plánovací úloha 

Σ: STRIPS plánovací doména DWR 

si: jakýkoliv stav 

s0 = {attached(pile, loc1), 

in(cont, pile), top(cont, pile), 

on(cont, pallet), belong(crane, loc1), 

empty(crane), adjacent(loc1, loc2), 


at(robot, loc2), 

occupied(loc2), 

unloaded(robot)} 

g ⊂ L 

g = {¬unloaded(robot), 

at(robot, loc2)} 

tj. Sg = {s5} 


Základy PDDL [Wic11] 

Reprezentace PDDL 

Planning Domain Definition Language (PDDL) 

http://cs-www.cs.yale.edu/homes/dvm/ 

vlastnosti jazyka (verze 1.x): 

základní forma STRIPS akcí 

r˚uzná rozˇsíˇrení jako explicitní poˇzadavky 

pouˇzíván k definicím: 

plánovacích domén: 

poˇzadavk˚u, 

typ˚u, 

predikát˚u, 

moˇzných operátor˚u 

plánovacích problém˚u: 

objekty, 

rigidní a pr˚uběˇzné relace, 

počáteční situace, 

popis cíle. 

dnes jiˇz verze 3.x 



Plánovací doména ”Opice” 

(define (domain MONKEY) 

(:requirements :strips :typing) 

(:types monkey box location fruit) 

(:predicates 

(isClear ?b - box) (onBox ?m - monkey ?b - box) 

(onFloor ?m - monkey) (atM ?m - monkey ?loc - location) 

(atB ?b - box ?loc - location) (atF ?f - fruit ?loc - location) 

(hasFruit ?m - monkey ?fruit)) 

(:action GOTO 

:parameters (?m - monkey ?loc1 ?loc2 - location) 

:precondition (and (onFloor ?m) (atM ?m ?loc1)) 

:effect (and (atM ?m ?loc2) (not (atM ?m ?loc1)))) 

(:action PUSH 

:parameters (?m - monkey ?b - box ?loc1 ?loc2 - location) 

:precondition (and (onFloor ?m) (atM ?m ?loc1) (atB ?b ?loc1) (isClear ?b)) 

:effect (and (atM ?m ?loc2) (atB ?b ?loc2) 

(not (atM ?m ?loc1)) 

(not (atB ?b ?loc1)))) 

(:action CLIMB 

:parameters (?m - monkey ?b - box ?loc1 - location) 

:precondition (and (onFloor ?m) (atM ?m ?loc1) (atB ?b ?loc1) (isClear ?b)) 

:effect (and (onBox ?m ?b) (not (isClear ?b)) (not (onFloor ?m))) ) 

(:action GRAB-FRUIT 

:parameters (?m - monkey ?b - box ?f - fruit ?loc1 - location) 

:precondition (and (onBox ?m ?b) (atB ?b ?loc1) (atF ?f ?loc1)) 

:effect (and (hasFruit ?m ?f)))) 



Plánovací problém ”Opice” 

(define (problem MONKEY1) 

(:domain MONKEY) 

(:objects monkeyJudy - monkey 

bananas - fruit 

boxA - box 

locX locY locZ - location) 

(:init (and 

(onFloor monkeyJudy) 

(atM monkeyJudy locX) 

(atB boxA locY) 

(atF bananas locZ) 

(isClear boxA) 

) 

) 

) 

(:goal (and (hasFruit monkeyJudy bananas)) 



ˇReˇsení plánovacího problému ”Opice” 

Begin plan 

1 (goto monkeyjudy locx locy) 

2 (push monkeyjudy boxa locy locz) 

3 (climb monkeyjudy boxa locz) 

4 (grab-fruit monkeyjudy boxa bananas locz) 

End plan 


Metody plánování Logika a prohledávání 

STRIPS reprezentace - pˇríklad 

pocatecni stav: start 

cil: writeValue(a, 3) 

akce: 

startPlan: PAR [] 

PRE [start] 

ADD [declared(server, a), declared(server, b)] 

DEL [start] 

connectServer: PAR [A] 

PRE [declared(server, A)] 

ADD [bound(server,A)] 

DEL [declared(server, A)] 

writing: PAR [a, 3] 

PRE [bound(server,a)] 

ADD [writeValue(a, 3)] 

DEL [] 


Výsledek pˇríkladu 

cíl: writeValue(a,3); 

výsledná sekvence: 

1 start 

2 connectServer(a) 

3 writing(a, 3) 




Plánování - hledání logických formulí do hloubky 

% Depth first search 

% ================== 

depthFirstSearch(AnsPath) :initialState(Init), 

depthFirst([Init], AnsPath). 

depthFirst([S|_], [S]) :finalState(S), 

!. 

depthFirst([S|Path], [S|AnsPath]) :extend([S|Path], 

S1), 

depthFirst([S1, S |Path], AnsPath). 

extend([S|Path], S1) :nextState(S, 

S1), 

not(memberState(S1, [S|Path])). 

memberState(S, Path) :member(S,Path). 



Plánování - specifikace úlohy v Prologu 

% Farmer, Wolf, Goat, Cabbage 

% =========================== 

initialState([n,n,n,n]). 

finalState([s,s,s,s]). 

nextState(S, S1) :- move(S, S1), safe(S1). 

move([F, W, G, C], [F1, W, G, C]) :- cross(F, F1). 

move([F, F, G, C], [F1, F1, G, C]) :- cross(F, F1). 

move([F, W, F, C], [F1, W, F1, C]) :- cross(F, F1). 

move([F, W, G, F], [F1, W, G, F1]) :- cross(F, F1). 

safe([F, W, G, C]) :- F=G, !; F=W, F=C. 

cross(n,s). 

cross(s,n). 

%------t1(AnsPath) 

:- depthFirstSearch(AnsPath). 


Metody plánování Stavový prostor 

Prohledávání stavového prostoru [Wic11] 

hra Misionáˇri a kanibalové 

pˇrepravit 3 kanibaly a 3 misionáˇre pˇres ˇreku 

jakmile je někde více kanibal˚u neˇz misionáˇr˚u, jsou misionáˇri sněděni 



Plánování ve stavovém prostoru [Wic11] 

Myˇslenka: 

aplikace standardních prohledávacích algoritmu 

do ˇsíˇrky, 

do hloubky, 

A ∗ , atd. 

k ˇreˇsení plánovací úlohy 

prohledavaný prostor je podmnoˇzina stavového prostoru 

uzly odpovídají stav˚um světa 

hrany korespondují pˇrechod˚um mezi stavy 

cesta v prohledávaném prostoru odpovídá plánu 



Plánování ve stavovém prostoru - pˇríklad [Wic11] 

uzly: zavˇrené atomy 

hrany: akce (uzavˇrené instance operátor˚u) 


Progresivní hledání [Wic11] 

1 Forward-search(O, s0, g) 

1 s ← s0 

2 π ← the empty plan 

3 loop 


1 jestliˇze s |= g, potom vrat’ π 

2 E ← {a|a je uzavˇrená instance operátoru ∈ O 

a precond(a) je pravdivá v s} 

3 jestliˇze E == ∅, potom vrat’ FAILURE 

4 nedeterministicky vyber akci a ∈ E 

5 s ← γ(s, a) 

6 π ← π.a 



Pˇríklad prohledávání prostoru stav˚u 1 [Wic11] 














Relevantní akce [Nau09] 


Necht’ P = (Σ, si, g) je STRIPS plánovací úloha. 

Akce a je relevantní pro cíl g, jestliˇze 

a zp˚usobí, ˇze alespoň jeden z literál˚u g je pravdivý 

g ∩ effects(a) = ∅ 

a nezp˚usobí, ˇze ani jeden z literál˚u g je nepravdivý 

g + ∩ effects − (a) = ∅ g − ∩ effects + (a) = ∅ 

Regresní mnoˇzina cíle g pro relevatní akci a ∈ A je: 

γ −1 (g, a) = (g − effects(a)) ∪ precond(a) 


Zpětné hledání [Wic11] 

1 Backward-search(O, s0, g) 

1 π ← the empty plan 

2 loop 


1 jestliˇze s0 |= g, potom vrat’ π 

2 A ← {a|a je uzavˇrená instance operátoru ∈ O 

a γ −1 (g, a) je definováno } 

3 jestliˇze A == ∅, potom vrat’ FAILURE 

4 nedeterministicky vyber akci a ∈ A 

5 π ← a.π 

6 g ← γ −1 (s, a) 



Sussmanova anomálie 

interakce podcíl˚u, jejichˇz ˇreˇsení se musí proloˇzit, aby je bylo moˇzné 

splnit současně, 



Sussmanova anomálie - pˇríklad s kostkami I [Nau09] 



Sussmanova anomálie - pˇríklad s kostkami II [Nau09] 



Sussmanova anomálie - pˇríklad s kostkami III [Nau09] 



Sussmanova anomálie - pˇríklad s kostkami IV [Nau09] 


4 Pˇríloha 

PDDL Specifikace 

Pˇríloha 


PDDL domény [Wic11] 

Pˇríloha PDDL Specifikace 


PDDL typy [Wic11] 



PDDL pˇríklad: DWR typy [Wic11] 



PDDL predikáty: pˇríklad [Wic11] 



PDDL akce [Wic11] 



PDDL popis cíle [Wic11] 



PDDL efekty [Wic11] 



PDDL operátor: pˇríklad [Wic11] 



PDDL problém [Wic11] 




PDDL problém: DWR pˇríklad [Wic11] 


Literatura I 

Dana Nau. 

CMSC 722, ai planning (fall 2009), lecture notes. 

http://www.cs.umd.edu/class/fall2009/cmsc722/, 2009. 


Michal Pechoucek. 

A4m33pah, lecture notes. 

http://cw.felk.cvut.cz/doku.php/courses/a4m33pah/prednasky, February 2010. 

Gerhard Wickler. 

A4m33pah, lecture notes. 

http://cw.felk.cvut.cz/doku.php/courses/a4m33pah/prednasky, February 2011.

Klasické plánování

Create successful ePaper yourself

Delete template?

Save as template?