Folien (1Folie / Seite) 3.47MB - Lehrstuhl für Informatik IX - TUM
Folien (1Folie / Seite) 3.47MB - Lehrstuhl für Informatik IX - TUM Folien (1Folie / Seite) 3.47MB - Lehrstuhl für Informatik IX - TUM
Vorlesung Wissensbasierte Systeme Wissensbasierte Systeme WS 2003/04 Abschnitt 1: Einfuehrung Organisatorisches, Motivation, Geschichte, Herangehensweisen, Beispiele Michael Beetz Michael Beetz, TU München 1
- Page 2 and 3: § Vorlesungszeit und -ort: Vorlesu
- Page 4 and 5: Lernziele der heutigen Vorlesung §
- Page 6 and 7: Systemsthat think like humans. Reas
- Page 8 and 9: Systeme, Systeme, die menschlich de
- Page 10 and 11: Systeme, Systeme, die rational hand
- Page 12 and 13: Kuenstliche Intelligenz: Intelligen
- Page 14 and 15: Ueberraschungen in der KI Forschung
- Page 16 and 17: Vorlesung Wissensbasierte Systeme A
- Page 18 and 19: Artificial Intelligence: Where are
- Page 20 and 21: Vorlesung Wissensbasierte Systeme C
- Page 22 and 23: Vorlesung Wissensbasierte Systeme I
- Page 24 and 25: Agents: The AGILO RoboCuppers at Vo
- Page 26 and 27: Anwendungsfelder § Sprachverstehen
- Page 28 and 29: Lehrveranstaltungen am Lehrstuhl IX
- Page 30 and 31: Autonome Raumsonden und Rover Vorle
- Page 32 and 33: Remote Agent (RA) Architecture PS g
- Page 34 and 35: Vorlesung Wissensbasierte Systeme E
- Page 36 and 37: Beispiele: •Schach •Backgammon
- Page 38 and 39: Backgammon: TD-Backgammon TD Backga
- Page 40 and 41: Artificial Fish (Terzopoulous ( Ter
- Page 42 and 43: Vorlesung Wissensbasierte Systeme D
- Page 44 and 45: Vorlesung Wissensbasierte Systeme D
- Page 46 and 47: Vorlesung Wissensbasierte Systeme M
- Page 48 and 49: § John gave Pete a book. § John g
- Page 50 and 51: Knowledge Base Layers Arrangement,
Vorlesung Wissensbasierte Systeme<br />
Wissensbasierte Systeme<br />
WS 2003/04<br />
Abschnitt 1: Einfuehrung<br />
Organisatorisches, Motivation, Geschichte,<br />
Herangehensweisen, Beispiele<br />
Michael Beetz<br />
Michael Beetz, TU München 1
§ Vorlesungszeit und –ort:<br />
Vorlesung Wissensbasierte Systeme<br />
Organisatorisches<br />
§ Mo 11:00-12:00, MI 00.04.011<br />
§ Di 12:00-13:00, MI 00.08.011<br />
§ Uebung:<br />
§ Di 13:00-14:00, MI 00.04.01<br />
§ Dozent:<br />
§ Michael Beetz<br />
§ Webseite:<br />
§ http://wwwradig.in.tum.de/vorlesungen/wibas.WS03/<br />
Michael Beetz, TU München 2
Vorlesung Wissensbasierte Systeme<br />
Vorlesungsunterlagen<br />
o Die Vorlesung basiert auf:<br />
Artificial Intelligence<br />
-A Modern Approach<br />
Stuart Russell and Peter Norvig<br />
o In der Bibliothek. Im Buchladen ca 45<br />
Euro.<br />
o Kopien der Vorlesungsfolien und weitere<br />
Informationen ueber die WWW-Homepage<br />
Michael Beetz, TU München 3
Lernziele der heutigen Vorlesung<br />
§ Diskussion des Begriffes “Kuenstliche<br />
Intelligenz”<br />
§ Gefuehl fuer die Loesbarkeit von Problemen<br />
§ Beispiele fuer erfolgreiche KI Systeme<br />
Vorlesung Wissensbasierte Systeme<br />
Michael Beetz, TU München 4
Was ist Kuenstliche Intelligenz?<br />
Intelligenz<br />
§ Kuenstliche Intelligenz untersucht<br />
intelligente Entitaeten<br />
§ Im Gegensatz zur Philosophie und Psychologie:<br />
konstruktiv<br />
§ Untersuchung von intelligenten Systemen als<br />
Performanzsysteme<br />
§ Zentrale Fragestellung: Wie kann man mit einem<br />
kleinen und aeusserst langsamen (elektronischen)<br />
“Gehirn” eine komplexe Welt wahrnehmen, verstehen<br />
und in ihr kompetent handeln.<br />
Vorlesung Wissensbasierte Systeme<br />
Michael Beetz, TU München 5
Systemsthat think like humans.<br />
Reasoning<br />
Behavior<br />
Systems that act like humans.<br />
Vorlesung Wissensbasierte Systeme<br />
Sichtweisen der KI<br />
(Russell and Norvig) Norvig<br />
Human Performance Ideal Intelligence<br />
Systems that think rationally.<br />
Systems that act rationally.<br />
Michael Beetz, TU München 6
Systeme, Systeme,<br />
die menschlich handeln<br />
Alan Turing (1950) “Computing machinery and intelligence”<br />
§ “Can machine think?” -> “can machines behave<br />
intelligently?”<br />
§ Durchfuehrbarer Test: Imitationsspiel “Turing Test”<br />
§ Sah die wichtigsten Argumente gegen KI, die in den<br />
nachfolgenden 50 Jahren vorgebracht wurden,<br />
voraus<br />
§ Schlug folgende Komponenten der KI vor: Wissen,<br />
Schlussfolgern, Sprachverstehen, Lernen<br />
Problem: Turing Test ist nicht reproduzierbar,<br />
konstruktiv, oder zugaenglich mit mathematischen<br />
Modellen.<br />
Vorlesung Wissensbasierte Systeme<br />
Michael Beetz, TU München 7
Systeme, Systeme,<br />
die menschlich denken<br />
§ Welche kognitiven Faehigkeiten sind<br />
notwendig, um intelligente Leistungen zu<br />
erbringen?“<br />
§ Information processing psychology, cognitive<br />
science, cognitive neuro science<br />
§ Erfordert wissenschaftliche Theorien der<br />
internen Gehirnaktivitaeten<br />
§ Was ist die richtige Abstraktionsstufe?<br />
Wissen oder Neuronen<br />
§ Wie kann man die Theorien validieren?<br />
§ Vorhersage und Analyse des Verhaltens von Testpersonen<br />
§ Analyse neurologischer Daten<br />
Vorlesung Wissensbasierte Systeme<br />
Michael Beetz, TU München 8
Systeme, Systeme,<br />
die rational denken<br />
§ Wertend (oder vorschreibend) anstatt beschreibend<br />
§ Aristoteles: was sind die korrekten Gesetze des<br />
Denkens<br />
§ Einige griechische Philosophieschulen entwickeln<br />
Logiken: Schreibweisen und Ableitungsregeln des<br />
Schlussfolgerns<br />
§ Probleme:<br />
§ Nur ein Teil des intelligenten Verhaltens beruht auf<br />
korrekter logischer Ueberlegung<br />
§ Was ist der Zweck des Denkens?<br />
Vorlesung Wissensbasierte Systeme<br />
Michael Beetz, TU München 9
Systeme, Systeme,<br />
die rational handeln<br />
§ Rationale Agenten (oder rationale Akteure)<br />
§ Ein rationaler Agent agiert so, dass er seine<br />
gegebenen Ziele erreicht unter der Voraussetzung,<br />
dass seine Eindruecke von der Welt und seine<br />
Ueberzeugungen richtig sind.<br />
§ Das Richtige tun!!!<br />
§ Rationales Denken ist eine Voraussetzung fuer<br />
rationales Handeln, allerdings keine notwendige<br />
Voraussetzung.<br />
§ was z.B., wenn nicht genuegend Information<br />
vorliegt, um die richtige Entscheidung zu treffen?<br />
Vorlesung Wissensbasierte Systeme<br />
Michael Beetz, TU München 10
Vorlesung Wissensbasierte Systeme<br />
Diese Vorlesung…<br />
Vorlesung<br />
Systeme die rational agieren<br />
oder<br />
das Richtige tun!<br />
tun<br />
Michael Beetz, TU München 11
Kuenstliche Intelligenz: Intelligenz:<br />
Was ist<br />
Vorlesung Wissensbasierte Systeme<br />
machbar? machbar<br />
Kann derzeit …<br />
§ Ein autonomes Fahrzeug auf einer kurvigen<br />
Gebirgsstrasse oder mit 120km/h auf der Autobahn<br />
fahren?<br />
§ Ein Auto durch die Stadtmitte von Muenchen<br />
fahren?<br />
§ Ein Software-Agent Lebensmittel im WWW<br />
einkaufen?<br />
§ Ein autonomer Roboter im Supermarkt einkaufen?<br />
§ Ein Roboter akzeptables Tischtennis spielen?<br />
§ Ein Computerprogramm den Schachweltmeister<br />
schlagen? Weltklasse Backgammon spielen?<br />
§ Ein Computerprogramm in Echtzeit<br />
Deutsch/Japanisch uebersetzen?<br />
Michael Beetz, TU München 12
Kuenstliche Intelligenz: Intelligenz:<br />
Was ist<br />
Vorlesung Wissensbasierte Systeme<br />
machbar? machbar<br />
Kann derzeit …<br />
§ Ein Kontrollsystem eine Raumsonde steuern und<br />
wissenschaftliche Experimente durchfuehren?<br />
§ Ein Computerprogramm interessante mathematische<br />
Theoreme finden und beweisen?<br />
§ Ein Computerprogramm in spezialisierten<br />
Rechtsbereichen kompetent beraten? In<br />
medizinischen Bereichen mit Expertenkompetenz<br />
diagnostizieren?<br />
§ Ein Computerprogramm Satellitenbilder automatisch<br />
klassifizieren um interessante<br />
Wetterkonstellationen zu finden?<br />
§ Automatisches Sprachverstehen fuer einen<br />
Reiseberater<br />
Michael Beetz, TU München 13
Ueberraschungen in der KI Forschung<br />
Aufgaben, die fuer Menschen schwierig sind,<br />
haben sich als leicht herausgestellt<br />
§ Schach<br />
§ Dame, Othello<br />
§ Missionsplanung, Ablaufplanung fuer Space<br />
Shuttle Countdown<br />
§ Automatisches Beweisen<br />
§ Post sortieren<br />
Vorlesung Wissensbasierte Systeme<br />
Michael Beetz, TU München 14
Ueberraschungen in der KI Forschung<br />
Aufgaben, die fuer Menschen leicht sind, haben<br />
sich als schwierig herausgestellt<br />
§ Spracherkennung<br />
§ Gesichtserkennung<br />
§ Autonome Navigation<br />
§ Motorik<br />
§ Sprachverstehen<br />
§ Alltagsschliessen<br />
Vorlesung Wissensbasierte Systeme<br />
Michael Beetz, TU München 15
Vorlesung Wissensbasierte Systeme<br />
Artificial Intelligence<br />
addresses:<br />
§ The construction of intelligent machines<br />
(whether or not they act like humans)<br />
§ The formalization of knowledge and<br />
mechanization of reasoning (both common<br />
sense and expert)<br />
§ The use of computational models to<br />
understand the psychology and behavior of<br />
people, animals, and artificial agents<br />
§ Making working with computers as easy and<br />
helpful as with human experts<br />
From: Doyle,Dean, et al.<br />
Strategical Directions in AI<br />
Michael Beetz, TU München 16
Vorlesung Wissensbasierte Systeme<br />
What AI has done<br />
§ Spawned subfields<br />
§ Data mining, virtual agents, logic programming,<br />
program specification and verification, program<br />
synthesis, software development environments,<br />
deductive database systems, …<br />
§ Programming styles<br />
§ Functional programming, logical programming,<br />
object-oriented programming, constraint<br />
programming, …<br />
§ Systems<br />
§ Space shuttle scheduling, autonomous space craft,<br />
museum tourguide robots, computer chess, medical<br />
diagnosis systems, google, Microsoft Wizard, …<br />
Michael Beetz, TU München 17
Artificial Intelligence: Where are we<br />
Vorlesung Wissensbasierte Systeme<br />
now?<br />
§ The environment has changed:<br />
§ Computational power, embedded computing<br />
devices,<br />
§ Cheap sensors, multi media,<br />
§ Computer networks, World Wide Web<br />
§ Need for “intelligent” computer systems<br />
§ Information retrieval from the WWW, shopping<br />
agents, computer games, supply chain control and<br />
logistics, flood of data, …<br />
§ Many AI methods are usable<br />
§ Learning, data mining, probabilistic reasoning,<br />
description logics, probabilistic state estimation,<br />
…<br />
Michael Beetz, TU München 18
Artificial Intelligence: what lies ahead?<br />
Integrated intelligent systems<br />
Vorlesung Wissensbasierte Systeme<br />
Michael Beetz, TU München 19
Vorlesung Wissensbasierte Systeme<br />
Characteristics of<br />
Integrated Intelligent Systems<br />
§ Complete systems<br />
§ Extended existence<br />
§ Interacting with the environment<br />
§ Naturalistic tasks and everyday activity<br />
§ “AI completeness”<br />
Michael Beetz, TU München 20
Vorlesung Wissensbasierte Systeme<br />
The Concept of an Agent<br />
Working definition: An agent is anything that can be<br />
viewed as perceiving its environment through its<br />
sensors and acting upon it through its effectors.<br />
percepts<br />
Agent Environment<br />
actions<br />
Michael Beetz, TU München 21
Vorlesung Wissensbasierte Systeme<br />
Is a Thermostat an Agent?<br />
•... Yes, it perceives and acts!<br />
measured temperature<br />
open valve<br />
close valve<br />
no-op<br />
•… but not a very interesting one<br />
Michael Beetz, TU München 22
Agents: The AGILO RoboCuppers at<br />
Vorlesung Wissensbasierte Systeme<br />
percepts<br />
Intelligence =<br />
actions<br />
Play<br />
§Performing appropriate goal-directed action<br />
§Given uncertain and incomplete information<br />
§Using limited computational resources<br />
Michael Beetz, TU München 23
Agents: The AGILO RoboCuppers at<br />
Vorlesung Wissensbasierte Systeme<br />
Play<br />
Michael Beetz, TU München 24
Vorlesung Wissensbasierte Systeme<br />
Rational Agents<br />
An ideal rational agent performs actions that are expected to<br />
maximize its performance measure based on the evidence<br />
provided by the percept sequence and the built-in knowledge<br />
percepts<br />
Agent Environment<br />
actions<br />
State 3<br />
State 2<br />
State 1<br />
State t<br />
Michael Beetz, TU München 25
Anwendungsfelder<br />
§ Sprachverstehende und<br />
–generierende Systeme<br />
§ Bildverstehende<br />
Systeme<br />
§ Robotik<br />
§ Assistenzsysteme<br />
Vorlesung Wissensbasierte Systeme<br />
Die KI Landschaft<br />
Methoden<br />
§ Problemloesen und Suche<br />
§ Wissensrepraesentation<br />
und –verarbeitung<br />
§ Handlungsplanung<br />
§ Maschinelles Lernen<br />
§ Verarbeitung von<br />
unsicherem Wissen<br />
Michael Beetz, TU München 26
§ Einfuehrung<br />
§ Rationale Agenten<br />
Vorlesung Wissensbasierte Systeme<br />
Inhalt der Vorlesung: Vorlesung:<br />
§ Zielorientierte Agenten/<br />
Problemloesen d. Suche<br />
methodenorientiert!!!<br />
methodenorientiert!!!<br />
§ Heuristische Suche<br />
§ Constraintbasierte Suche<br />
§ Schlussfolgernde Agenten<br />
§ Syntax, Semantik, Kalkuel<br />
§ Wumpuswelt und ihre<br />
Axiomatisierung<br />
§ Situationskalkuel<br />
§ Planende Agenten<br />
§ POCL Planung<br />
§ Planung und Ausfuehrung<br />
§ Agieren unter<br />
Unsicherheit<br />
§ Bayes Netze<br />
§ Entscheidungsnetze<br />
§ Markov<br />
Entscheidungsprozesse<br />
§ Lernende Agenten<br />
§ Entscheidungsbaumlernen<br />
§ Reinforcement Lernen<br />
Michael Beetz, TU München 27
Lehrveranstaltungen am <strong>Lehrstuhl</strong> <strong>IX</strong><br />
Muster-<br />
erkennung<br />
Interpr.von<br />
Bildfolgen<br />
+ Seminare<br />
+ Praktika<br />
+ DAs & SEPs<br />
Vorlesung Wissensbasierte Systeme<br />
Bildver-<br />
verstehen<br />
Industr.<br />
BV<br />
intelligente<br />
Autonome<br />
Roboter<br />
WIBAS 1<br />
WIBAS 2<br />
WBS in<br />
Industriellen<br />
Anwendungen<br />
Michael Beetz, TU München 28
Vorlesung Wissensbasierte Systeme<br />
Anwendungen<br />
§ Autonome Raumsonden und Rovers<br />
§ Planungs- und Schedulinganwendungen:<br />
Space Shuttle scheduling and Golfkrieg-<br />
Logistik<br />
§ Spielprogramme: Schach und Backgammon<br />
§ Computeranimierte Charaktere<br />
§ Wissensbasierte Systeme (im WWW)<br />
§ Autonome Roboter: ROBOCUP<br />
§ Data Mining, Machine Learning<br />
§ Bayes Nets<br />
Michael Beetz, TU München 29
Autonome Raumsonden und Rover<br />
Vorlesung Wissensbasierte Systeme<br />
Michael Beetz, TU München 30
courtesy JPL
Remote Agent (RA) Architecture<br />
PS generates plan<br />
Exec expands &<br />
executes it<br />
MIR looks for<br />
failures.<br />
Exec can respond<br />
to fault locally...<br />
… or request a<br />
new plan.<br />
Vorlesung Wissensbasierte Systeme<br />
Smart<br />
Executive<br />
ESL<br />
Monitors<br />
Planner &<br />
Scheduler<br />
HSTS / IRS<br />
Mode ID &<br />
Reconfiguration<br />
MIR / Livingstone<br />
Real-time Execution<br />
Adaptive Control<br />
Spacecraft Hardware<br />
Mission<br />
Goals<br />
Michael Beetz, TU München 32
Vorlesung Wissensbasierte Systeme<br />
Rover Agents<br />
Michael Beetz, TU München 33
Vorlesung Wissensbasierte Systeme<br />
Europa Submersible<br />
Examples of of Unknowns and Impact on Planning<br />
–Thickness and composition of of ice-cap<br />
•energy expended to to penetrate surface<br />
•data volume and type collected<br />
•ability to to communicate while below cap<br />
–Properties of of underground ocean<br />
•energy and time cost to to move/explore<br />
•effectiveness of of sensors<br />
Michael Beetz, TU München 34
Planungs- Planungs und Schedulinganwendungen<br />
Vorlesung Wissensbasierte Systeme<br />
Michael Beetz, TU München 35
Beispiele:<br />
•Schach<br />
•Backgammon<br />
Vorlesung Wissensbasierte Systeme<br />
Spielprogramme<br />
Michael Beetz, TU München 36
“I could feel<br />
–I could<br />
smell – a<br />
new kind of<br />
intelligence<br />
across the<br />
table”<br />
Vorlesung Wissensbasierte Systeme<br />
Computer Schach: Schach:<br />
Deep Blue<br />
Saying Deep Blue<br />
doesn’t really think<br />
about chess is like<br />
saying an airplane<br />
doesn’t really fly<br />
because it doesn’t<br />
flap its wings.<br />
–Drew McDermott<br />
Michael Beetz, TU München 37
Backgammon: TD-Backgammon<br />
TD Backgammon<br />
Vorlesung Wissensbasierte Systeme<br />
Michael Beetz, TU München 38
Computeranimierte Charaktere<br />
A Bug’s Life (Pixar/Disney) Toy Story (Pixar/Disney)<br />
Vorlesung Wissensbasierte Systeme<br />
Antz(Dreamworks)<br />
Tomb Raider 3 (Eidos Interactive) The Legend of Zelda (Nintendo) Final Fantasy VIII (SquareOne)<br />
Michael Beetz, TU München 39
Artificial Fish (Terzopoulous<br />
( Terzopoulous et al.)<br />
Vorlesung Wissensbasierte Systeme<br />
Michael Beetz, TU München 40
Artificial Fish (Terzopoulous<br />
( Terzopoulous et al.)<br />
Vorlesung Wissensbasierte Systeme<br />
Michael Beetz, TU München 41
Vorlesung Wissensbasierte Systeme<br />
Das Dressieren von Hunden<br />
Michael Beetz, TU München 42
Vorlesung Wissensbasierte Systeme<br />
Erwartungen und Emotionen<br />
§ Emotional Autonomic variable<br />
§ Surprise (unexpected observation)<br />
§ Confusion (negated expectation)<br />
§ Proportional to amount of culled probability<br />
§ Frustration (consistently negated<br />
expectations)<br />
V a riab le V a lu e<br />
Duncan instructed to approach sheep<br />
Discovers sheep is not<br />
in last-observed location<br />
Confusion Frustration<br />
Sheep found in<br />
unexpected location.<br />
Surprise<br />
t<br />
inst<br />
p −pn<br />
(<br />
highest<br />
pn (<br />
Michael Beetz, TU Time München 43<br />
s<br />
x = αx +<br />
βx<br />
t t−1t inst<br />
=<br />
t<br />
cinst = p =∑<br />
culled pn ( )<br />
n∈V *<br />
)<br />
*<br />
f = kc<br />
)<br />
t t<br />
inst
Vorlesung Wissensbasierte Systeme<br />
Das Dressieren von Hunden<br />
(1)Movie: Duncan<br />
(2)Movie: maintaining belief states<br />
Michael Beetz, TU München 44
Vorlesung Wissensbasierte Systeme<br />
Computer Game Players<br />
Real-time Strategy Games<br />
(e.g. Age of Kings (Microsoft Games/Ensemble Studios), …<br />
Building Competitive AI/Computer Players is challenging<br />
Michael Beetz, TU München 45
Vorlesung Wissensbasierte Systeme<br />
Michael Beetz, TU München 46
Vorlesung Wissensbasierte Systeme<br />
Wissensrepraesentation<br />
§ Speech Recognition<br />
§ “word spotting” feasible today<br />
§ continuous speech – rapid progress<br />
§ turns out that “low level” signal not as<br />
ambiguous as we once thought<br />
§ Translation / Understanding<br />
§ very limited progress<br />
The spirit is willing but the flesh is weak. (English)<br />
The vodka is good but the meat is rotten. (Russian)<br />
Michael Beetz, TU München 47
§ John gave Pete a book.<br />
§ John gave Pete a hard time.<br />
§ John gave Pete a black eye.<br />
§ John gave in.<br />
§ John gave up.<br />
§ John’s legs gave out beneath him.<br />
§ It is 300 miles, give or take 10.<br />
Vorlesung Wissensbasierte Systeme<br />
Michael Beetz, TU München 48
Syntaktisches,<br />
Syntaktisches,<br />
Semantisches,<br />
Semantisches,<br />
Analoges<br />
Vorlesung Wissensbasierte Systeme<br />
Wissen<br />
§ Time flies like an arrow.<br />
§ Fruit flies like a banana.<br />
§ Fruit flies like a rock.<br />
Michael Beetz, TU München 49
Knowledge<br />
Base<br />
Layers<br />
Arrangement, by Generality<br />
Upper<br />
Ontology<br />
Core<br />
Theories<br />
Domain-Specific<br />
Theories<br />
Facts<br />
(Database)<br />
Upper Ontology: Abstract Concepts<br />
Core Theories: Space, Time, Causality, …<br />
Domain-Specific Theories<br />
Facts: Instances
Knowledge<br />
Base<br />
Layers<br />
Arrangement, by Generality<br />
EVENT ˝ TEMPORAL-THING ˝ INDIVIDUAL ˝ THING<br />
Upper<br />
Ontology<br />
Core<br />
Theories<br />
Domain-Specific<br />
Theories<br />
Facts<br />
(Database)<br />
Upper Ontology: Abstract Concepts
Knowledge<br />
Base<br />
Layers<br />
Arrangement, by Generality<br />
EVENT ˝ TEMPORAL-THING ˝ INDIVIDUAL ˝ THING<br />
Upper<br />
Ontology<br />
Core<br />
Theories<br />
Domain-Specific<br />
Theories<br />
Facts<br />
(Database)<br />
Upper Ontology: Abstract Concepts<br />
Core Theories: Space, Time, Causality, …<br />
For all events a and b, a causes b<br />
implies a precedes b
Knowledge<br />
Base<br />
Layers<br />
Arrangement, by Generality<br />
EVENT ˝ TEMPORAL-THING ˝ INDIVIDUAL ˝ THING<br />
Upper<br />
Ontology<br />
Core<br />
Theories<br />
Domain-Specific<br />
Theories<br />
Facts<br />
(Database)<br />
Upper Ontology: Abstract Concepts<br />
Core Theories: Space, Time, Causality, …<br />
For all events a and b, a causes b<br />
implies a precedes b<br />
Domain-Specific Theories<br />
For any mammal m and any anthrax bacteria a,<br />
m’s being exposed to a causes m to be infected by<br />
a.
Knowledge<br />
Base<br />
Layers<br />
Arrangement, by Generality<br />
EVENT ˝ TEMPORAL-THING ˝ INDIVIDUAL ˝ THING<br />
Upper<br />
Ontology<br />
Core<br />
Theories<br />
Domain-Specific<br />
Theories<br />
Facts<br />
(Database)<br />
Upper Ontology: Abstract Concepts<br />
Core Theories: Space, Time, Causality, …<br />
For all events a and b, a causes b<br />
implies a precedes b<br />
Domain-Specific Theories<br />
For any mammal m and any anthrax bacteria a,<br />
m’s being exposed to a causes m to be infected<br />
by a.<br />
Facts: Instances<br />
John is a person infected by<br />
anthrax.
Vorlesung Wissensbasierte Systeme<br />
Was das Web sein sollte! sollte<br />
§ "This is a pity, as in fact documents on the web describe real<br />
objects and imaginary concepts, and give particular relationships<br />
between them... For example, a document might describe a person.<br />
The title document to a house describes a house and also the<br />
ownership relation with a person. ... This means that machines, as<br />
well as people operating on the web of information, can do real<br />
things. For example, a program could search for a house and<br />
negotiate transfer of ownership of the house to a new owner. The<br />
land registry guarantees that the title actually represents reality.”<br />
§ Tim Berners-Lee plenary presentation at WWW Geneva, 1994<br />
Michael Beetz, TU München 55
Can’t we just use XML?<br />
This is what a web-page in natural language<br />
looks like for a machine
education><br />
< work><br />
< private><br />
XML helps<br />
XML allows “meaningful tags” to be added to<br />
parts of the text<br />
< CV><br />
< name>
< education><br />
XML „ machine accessible meaning<br />
But to your machine,<br />
the tags look like this….<br />
< work><br />
< private><br />
< CV ><br />
< name >
< education ><br />
< work><br />
< private ><br />
Schemas take a step in the right direction<br />
Schemas help….<br />
< CV ><br />
< name ><br />
<br />
< education ><br />
< work><br />
< private ><br />
< CV ><br />
< name ><br />
< CV > …by relating<br />
private<br />
common terms<br />
between documents
Vorlesung Wissensbasierte Systeme<br />
Web Semantics<br />
Semantic WebLayerCake (Berners-Lee, 99;Swartz-Hendler, 2001)<br />
Michael Beetz, TU München 61
Vorlesung Wissensbasierte Systeme<br />
Autonome Roboter<br />
Michael Beetz, TU München 62
Vorlesung Wissensbasierte Systeme<br />
Research in<br />
Image Understanding and<br />
Intelligent Autonomous Systems<br />
Michael Beetz<br />
Technische Universitat Munchen<br />
Michael Beetz, TU München 63
Vorlesung Wissensbasierte Systeme<br />
An Example from the Past<br />
The Robot Museums Tourguide Robot MINERVA<br />
•Smithsonian’s National Museum<br />
of American History<br />
•>94 hours, 13days<br />
Michael Beetz, TU München 64
Vorlesung Wissensbasierte Systeme<br />
Project FIPM:<br />
Football Interaction and Process Model<br />
Michael Beetz, TU München 65
§ A research group<br />
Vorlesung Wissensbasierte Systeme<br />
What is FIPM?<br />
§ Informal, embedded in <strong>Lehrstuhl</strong> <strong>Informatik</strong> <strong>IX</strong><br />
§ Goal: integrated intelligent information system<br />
§ Members: Michael Beetz, Christian Holzer, Donald<br />
Kossmann, Thomas Stammeier,<br />
Maximilian Leinweber, ???<br />
§ A proposed DFG research project<br />
§ Headed by: Prof. Radig, Prof. Beetz,<br />
Prof. Hartmann<br />
§ 2 researchers (CS) + 1 researcher (Sport)<br />
+ 2 student researchers<br />
§ Software application system<br />
§ Based on the Cairos sensor system<br />
§ Basic research in Intelligent Systems and Game Analysis<br />
Michael Beetz, TU München 66
Vorlesung Wissensbasierte Systeme<br />
The FIPM Vision<br />
§ We will develop an integrated intelligent<br />
software system that<br />
§ serves as a testbed for our basic research in<br />
§ Perception of intentional activity<br />
§ (probabilistic) sensor data interpretation<br />
§ Intelligent autonomous systems<br />
§ Automatic game analysis and assessment<br />
§ Databases<br />
§ …<br />
§ will be publicly demonstrated and evaluated<br />
§ eg at the World Cup 2006<br />
Michael Beetz, TU München 67
FIPM: computational problem<br />
§ Computational problem:<br />
§ Input: positional data<br />
§ Output: game analysis, game summary<br />
Vorlesung Wissensbasierte Systeme<br />
Michael Beetz, TU München 68
Competent game analysis – an example<br />
Beim Angriff ueberden rechten Fluegelhat der Spieler X einen<br />
Fehlpass gespielt, derallerdings zu Lasten des StuermersY geht, da<br />
dieser sich falsch freigelaufen hat. Durchden Fehlpass konnte die<br />
Mannschaft B einen schnellen Gegenangriff einleiten.<br />
§ Recognizing episodes (discretization)<br />
§ “Spielfaehigkeit”<br />
§ Interactions and situation context<br />
§ Concepts and key indices<br />
§ Expressive game representation<br />
§ Activity recognition, interpretation, and<br />
assessment<br />
Vorlesung Wissensbasierte Systeme<br />
Michael Beetz, TU München 69
Vorlesung Wissensbasierte Systeme<br />
Why Soccer is so difficult<br />
§ Control over ball and passing is technically<br />
difficult<br />
§ Game without ball<br />
§ Large field<br />
§ Many action options<br />
§ High failure rates<br />
§ …<br />
Michael Beetz, TU München 70
Vorlesung Wissensbasierte Systeme<br />
A Software Workbench for<br />
Motion Segmentation and Abstraction<br />
Michael Beetz, TU München 71
Vorlesung Wissensbasierte Systeme<br />
Football Home Cinema<br />
Michael Beetz, TU München 72
Assistant Coach’s Workbench<br />
Vorlesung Wissensbasierte Systeme<br />
Michael Beetz, TU München 73
Retrieving Information from the Web<br />
BL<br />
wrapper<br />
FCK<br />
Vorlesung Wissensbasierte Systeme<br />
wrapper<br />
Kicker<br />
wrapper<br />
DAML+OIL/XML<br />
Data base<br />
Michael Beetz, TU München 74
Vorlesung Wissensbasierte Systeme<br />
Project <strong>TUM</strong>BOT<br />
including Campus Guide<br />
Connected to the WWW<br />
using software agents<br />
Michael Beetz, TU München 75
Vorlesung Wissensbasierte Systeme<br />
Mapping in Orleanstrasse<br />
Michael Beetz, TU München 76
Object-oriented Object oriented Environment Maps:<br />
Regions & Gateways<br />
•Metric Map of 2D line segments<br />
•Feature vector (recognition/localization)<br />
-bounding rectangle<br />
-moments of (laser) point cloud<br />
-main axes, free space .....<br />
•Rectangles in 2D & 3D, cubes<br />
•Measureof accuracy/completeness<br />
•Connected gateways<br />
Vorlesung Wissensbasierte Systeme<br />
•Gateway points ( )<br />
•Crossing points (x)<br />
& traversal directions<br />
•Left/Right turn, X/Tjunction,<br />
narrow passage,<br />
open/close transition<br />
•Adjacent regions<br />
Michael Beetz, TU München 77
Vision-Based<br />
Vision Based<br />
3D<br />
Landmarks<br />
•rectangles, cubes, lines<br />
Vorlesung Wissensbasierte Systeme<br />
Michael Beetz, TU München 78
Vision-Based<br />
Vision Based<br />
3D<br />
Landmarks<br />
•rectangles, cubes, lines<br />
Vorlesung Wissensbasierte Systeme<br />
Door???<br />
Table ???<br />
Poster ???<br />
Michael Beetz, TU München 79
Vorlesung Wissensbasierte Systeme<br />
Project CCD<br />
The CCD Algorithm<br />
§DAGM 2002: Best Paper Award<br />
§RoboCup Engineering Award (2002)<br />
§CVPR Conference Paper<br />
§IJCV Article accepted<br />
§Implementation State<br />
Michael Beetz, TU München 80
Vorlesung Wissensbasierte Systeme<br />
Project: AGILO<br />
Semi-automatic Semi automatic Acquisition of<br />
Cooperative Visuo-motoric<br />
Visuo motoric Plans<br />
Michael Beetz, TU München 81
The AGILO Soccer Robots<br />
§ Pioneer 1 robots<br />
§ Off-the-shelf CCD<br />
cameras<br />
§ Simple differential drive<br />
§ No laser range finders<br />
§ No omni-directional vision<br />
Vorlesung Wissensbasierte Systeme<br />
Challenges:<br />
1. Restricted camera view<br />
Ł cooperation<br />
2. Vibrations,spot light,shadow<br />
Ł inaccuracies, uncertainty<br />
• Vibrations of 1-2 pixels may<br />
yield more than 0.5m<br />
inaccuracy in depth est.<br />
3. Opponents move quickly and<br />
unpredictably<br />
Ł iterate with high frequency<br />
4. Simple drive<br />
Ł difficult steering<br />
Michael Beetz, TU München 82
The AGILO RoboCuppers at Play<br />
Vorlesung Wissensbasierte Systeme<br />
Michael Beetz, TU München 83
Snapshots from the Episode (1)<br />
Vorlesung Wissensbasierte Systeme<br />
Michael Beetz, TU München 84
Snapshots from the Episode (2)<br />
Vorlesung Wissensbasierte Systeme<br />
Michael Beetz, TU München 85
Vorlesung Wissensbasierte Systeme<br />
The Project Title Revisited<br />
Semi-automatic Acquisition of<br />
Visuo-motoric<br />
Cooperative Plans<br />
§ Integration of programing and learning<br />
§ Programable hierarchical robot learning<br />
§ Robocup without color labeling<br />
§ Vision based probabilistic state estimation<br />
§ Robot control programs that can not only be<br />
executed but also reasoned about and manipulated<br />
Michael Beetz, TU München 86
Given: Given<br />
RoboCup: RoboCup:<br />
Game State Estimation<br />
§Fully implemented and empirically evaluated<br />
§Self localization transferred to Sony dogs<br />
§AAAI 2002 paper & plenary oral presentation<br />
§IEEE Journal article<br />
§etc<br />
Vorlesung Wissensbasierte Systeme<br />
Estimate: Estimate<br />
Michael Beetz, TU München 87
RoboCup: RoboCup:<br />
Robot Self-localization<br />
Self localization<br />
Given:<br />
Compute:<br />
Vorlesung Wissensbasierte Systeme<br />
Michael Beetz, TU München 88
Vorlesung Wissensbasierte Systeme<br />
RoboCup: RoboCup:<br />
Opponent Tracking<br />
Michael Beetz, TU München 89
RoboCup: RoboCup:<br />
Experience-based Experience based Learning<br />
not<br />
Vorlesung Wissensbasierte Systeme<br />
learn to play soccer<br />
but learn to solve critical reasoning tasks<br />
Robot becomes capable of inferring<br />
§ what happens if I set the voltage of the left motor to 2 volt?<br />
§ which control signal should i issue to arrive at (-2.0,1.0) with<br />
an orientation of 96° and a velocity of 0.6 m/sec ?<br />
§ how fast can I get the ball?<br />
§ how promising is it to dribble the ball into the goal?<br />
§ etc.<br />
•Full paper at AAMAS<br />
• Journal article submitted<br />
• Library for radial basis functions<br />
Robot controllers can call inference tasks as<br />
subroutines to select appropriate actions<br />
• Individual learning tasks at IROS, RoboCup<br />
Symposium,<br />
DARS, …<br />
Michael Beetz, TU München 90
Vorlesung Wissensbasierte Systeme<br />
Example Learning Task:<br />
the model of the robot´s dynamics<br />
Learning:<br />
1. record data: states ζ and commands ξ<br />
2. neural learning of the mapping ζ,ξ -> ζ<br />
< 2 hours of data<br />
acquisition<br />
< 2 hours of data<br />
acquisition<br />
> 330 hours of data<br />
acquisition<br />
training data<br />
10000 experiments<br />
in complex state space<br />
Michael Beetz, TU München 91
Project Camera-equipped Camera equipped Rooms<br />
Vorlesung Wissensbasierte Systeme<br />
Michael Beetz, TU München 92