Biosignal Augenaktivität - Cognitive Systems Lab
Biosignal Augenaktivität - Cognitive Systems Lab
Biosignal Augenaktivität - Cognitive Systems Lab
Erfolgreiche ePaper selbst erstellen
Machen Sie aus Ihren PDF Publikationen ein blätterbares Flipbook mit unserer einzigartigen Google optimierten e-Paper Software.
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Vorlesung WS 2012/2013<br />
<strong>Biosignal</strong>e und<br />
Benutzerschnittstellen<br />
<strong>Biosignal</strong>: <strong>Augenaktivität</strong><br />
Prof. Dr. Tanja Schultz<br />
Dipl. Math. Michael Wand<br />
1
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
K.-P. Hoffmann: Nystagmographie,<br />
Kapitel 13, pp. 185-192<br />
Literatur für diese Vorlesung<br />
in: Kramme (Hrsg.), Medizintechnik, Springer, 3. Auflage, 2006<br />
Silbernagl/Despopoulus: Dtv-Atlas der Physiologie<br />
Das visuelle System, Kapitel 12, pp. 242-270<br />
in: R. Schandry, Biologische Psychologie – Ein Lehrbuch,<br />
2. Auflage, 2006, BeltzPVU<br />
Papersammlung zur Vorlesung<br />
- Ordner<br />
- Verfügbar bei Frau Scherer<br />
- Sekretariat CSL<br />
- Fachschaft (geplant)<br />
2
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Nystagmographie<br />
• Nystagmus (griech.: nystázein = nicken, schlafen) sind unkontrollierbare,<br />
rhythmische Bewegungen eines Organs<br />
• Üblicherweise bezieht man sich bei diesem Organ auf das Auge<br />
• Nystagmus = „Augenzittern“<br />
• (klinisch) Nystagmus = schnellen Phase der Augenbewegung<br />
• Nystagmographie = elektrische od. optische Registrierung der<br />
Augenbewegung<br />
3
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Mechanische<br />
<strong>Biosignal</strong>e<br />
Gestik<br />
Mimik<br />
Bewegung<br />
Taxonomie <strong>Biosignal</strong>e<br />
Thermische<br />
<strong>Biosignal</strong>e<br />
Wärme<br />
Hirn<br />
EEG<br />
<strong>Biosignal</strong>e<br />
Elektrische<br />
<strong>Biosignal</strong>e<br />
Augen<br />
EOG<br />
Muskeln<br />
EMG<br />
4<br />
Chemische<br />
<strong>Biosignal</strong>e<br />
MEG/PET<br />
fMRI<br />
Herz<br />
EKG<br />
Nichtsprachl.<br />
Artikulation<br />
Akustische<br />
<strong>Biosignal</strong>e<br />
Körper-<br />
geräusche<br />
Sprache
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Anwendungen von Augenverfolgung<br />
• Entwicklungspsychologie<br />
• Industriedesign und Werbungsforschung<br />
• Kognitive Psychologie und Neuropsychologie<br />
• Mensch-Maschine Schnittstellen<br />
• Interface Design Forschung<br />
• Entertainment / Gaming<br />
• Lesestudien / Lernen<br />
• Das Auge als direkte Eingabemodalität<br />
Augenverfolgung statt Maus<br />
• Menschliche Interaktion / Kommunikation<br />
Focus of Attention<br />
5
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
• Das Auge<br />
• Augenbewegungen<br />
• Technik und Methodik<br />
• Geräte und Verfahren<br />
• Anwendungsbeispiele<br />
Überblick<br />
6
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Auge als optischer Apparat<br />
Kamera Auge<br />
Linsensystem mit variabler Brennweite Augenlinse<br />
Blende mit verstellbarer Öffnung Pupille<br />
Lichtempfindliche Fläche = Film Netzhaut<br />
Entfernungseinstellung Akkomodation<br />
Blendeneinstellung (Lichteinfall regulieren ) Pupillenweite (1,5 – 8mm)<br />
7<br />
Schandry, S.243
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Das Auge<br />
• Optischer Apparat des Auges: Hornhaut (Kornea), Kammerwasser, Linse, und<br />
Glaskörper<br />
• Einfallendes Licht durchdringt den optischen Apparat, bevor es die Netzhaut<br />
(Retina) mit den<br />
lichtempfindlichen Rezeptoren trifft<br />
• Dieser Apparat wirft ein<br />
(umgekehrtes) verkleinertes Bild<br />
der Umwelt auf die Netzhaut<br />
8<br />
dtv-Atlas, S.281
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Die Hornhaut (Kornea)<br />
• Die Hornhaut ist das (klare) Fenster<br />
zum Auge.<br />
• Durch sie gelangt Licht in das Auge.<br />
Hornhaut & Augenlinse<br />
9<br />
Die Augenlinse<br />
• Die Augenlinse ist ein kleiner,<br />
elastischer, aus durchsichtigen<br />
Fasern bestehender Körper.<br />
• Als „natürliche Lupe“ dient sie zur<br />
Scharfstellung des Bildes.<br />
Wikipedia - Auge
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
• Der Ziliarkörper liegt hinter der Iris.<br />
Der Ziliarkörper<br />
• Hier wird die Augenflüssigkeit gebildet die durch die Kammerwinkel abfließt.<br />
• Am Ziliarkörper sitzt auch der Muskel, der die Linse verformt und so das<br />
Nahsehen ermöglicht.<br />
10<br />
Wikipedia - Auge
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Die Iris<br />
• Die Iris ist eine farbige Blende, die<br />
durch ein Loch, die Pupille, Licht in<br />
das Innere des Auges lässt.<br />
• Bei starkem Lichteinfall zieht sie<br />
sich zusammen und die Pupille<br />
wird enger.<br />
Iris & Vorderkammer<br />
11<br />
Die Vorderkammer<br />
• Vorderkammer nennt man den<br />
Raum zwischen Iris und Hornhaut.<br />
• Sie enthält die Augenflüssigkeit, die<br />
die Hornhaut ernährt.<br />
Wikipedia - Auge
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Die Aderhaut<br />
• blutgefäßreiche Schicht die der<br />
Versorgung dient.<br />
Aderhaut & Lederhaut<br />
12<br />
Die Lederhaut<br />
• feste, weiße Hülle des Auges.<br />
• Vorne geht sie in die durchsichtige<br />
Hornhaut über.<br />
Wikipedia - Auge
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Die Netzhaut (Retina)<br />
• Die Netzhaut stellt die lichtempfindliche Innenauskleidung des Auges dar, in<br />
der verschiedene Sinneszellen sitzen.<br />
• Die Stäbchen sind für das Schwarz/Weiß-Sehen zuständig.<br />
• Die Zapfen sind für das Farbensehen zuständig.<br />
• Die Netzhaut wird mit eigenen Blutgefäßen versorgt.<br />
13<br />
Wikipedia - Auge
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Der Sehnerv (N. Opticus)<br />
• Der Sehnerv überträgt die Informationen von der Netzhaut mit ihren<br />
Sinneszellen an das Gehirn.<br />
• An der Stelle, an der er aus dem Auge austritt, befinden sich keine<br />
Sinneszellen.<br />
• Man spricht hier auch vom „blinden Fleck“.<br />
• Beim Eintritt ins Gehirn kreuzen sich die Sehnerven, so dass die Informationen<br />
des linken Auges an die rechte, und die Informationen des rechten Auges an<br />
die linke Hirnhälfte weitergegeben werden.<br />
14<br />
Wikipedia - Auge
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Die Augenmuskeln<br />
• Die sechs Augenmuskeln drehen die Augen und ändern damit die<br />
Blickrichtung.<br />
15<br />
Wikipedia - Auge
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Das Auge<br />
• Einwandfreie Bildwiedergabe setzt voraus:<br />
• Durchsichtigkeit<br />
• Formkonstanz<br />
• glatte Oberflächen der einzelnen Teile<br />
• Durchsichtigkeit:<br />
• Tränenflüssigkeit verbessert Eigenschaften der Kornea<br />
• Iris regelt Lichteintritt durch ringförmige und radiäre Muskelfasern, die die<br />
Pupille verengen oder erweitern<br />
• Formerhaltung des Augapfels:<br />
• Hülle des Auges (Lederhaut – Sklera)<br />
• Augeninnendruck<br />
(Produktion und Abfluss des Kammerwassers)<br />
16
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
• Äußere Augenmuskeln:<br />
• Horizontale Auslenkung<br />
• Vertikale Auslenkung<br />
• Rollen<br />
Muskeln am Auge<br />
17<br />
Wirkung der Muskeln,<br />
rechtes Auge<br />
Wikipedia<br />
wikipedia
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
• Inneren Augenmuskeln:<br />
Muskeln am Auge<br />
• Musculus sphincter pupillae: Pupillenverenger<br />
• Musculus dilatator pupillae: Pupillenerweiterer<br />
(beide zur Adaptation an die Lichtverhältnisse)<br />
• Musculus ciliaris:<br />
zur Akkommodation, d.h.<br />
Krümmung der Linse<br />
18<br />
Querschnitt durch den<br />
Ziliarkörper, die Linse<br />
und den Musculus<br />
sphincter pupillae<br />
Wikipedia
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Das Auge – ein Optisches System<br />
• Lichtstrahlen, die aus der Luft in ein anderes Medium übertreten, werden<br />
gebrochen<br />
• Bei kugelförmigen Grenzflächen entsteht eine Abbildung, d.h. alle von einem<br />
Punkt ausgehenden Strahlen treffen sich wieder in einem Punkt jenseits der<br />
Grenzfläche<br />
• Vorderer Brennpunkt F V (in der Luft), Hinterer Brennpunkt F H<br />
• Hauptpunkt H, Knotenpunkt K<br />
• Strahlen von entfernten Punkten<br />
werden als parallel betrachtet<br />
• Sie treffen sich in F H, wenn sie außerdem<br />
parallel zur optischen Achse eintreffen<br />
• Treffen sie schräg auf, werden sie neben<br />
F H in derselben Brennebene abgebildet<br />
• Strahlen von nahen Punkten sind nicht<br />
parallel und werden daher nicht in der<br />
Brennebene, sondern hinter F H abgebildet<br />
19<br />
dtv-Atlas, S.281
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Linse – Akkommodation<br />
• Linse ist bikonvex gekrümmt (vorne etwas schwächer als hinten)<br />
• Brechkraft der Linse wird verstellt durch Veränderung ihrer Wölbung<br />
• Ringförmiger Ziliarmuskel: Kontraktion bewirkt Verringerung des<br />
Durchmessers der Linse stärkere Krümmung (insbes. Vorne)<br />
• Ein System von winzigen Bändern Zonulafasern spannt Linse ein<br />
• Kinder können<br />
die Brechkraft<br />
bis 14 Dioptrien<br />
variieren<br />
• Im Alter nimmt Elastizität<br />
der Linse ab, verminderte<br />
Krümmung<br />
• 10-jährige: 12 D<br />
30-jährige: 7,5 D<br />
50-jährige: 2 D<br />
70-jährige: 0,5 D<br />
20<br />
dtv-Atlas, S.281
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Linse – Akkommodation<br />
• Fernakkommodation: die zueinander parallelen Strahlen, die von einem fernen<br />
Punkt herrühren, werden bei F H scharf abgebildet, genau bei F H liegt die<br />
Retina, so dass die Rezeptoren ein scharfes Bild erhalten (links, )<br />
• Nahe Punkte sind unscharf, da sie hinter der Retina abgebildet werden<br />
(links, )<br />
• Bei Nahakkommodation erhöht sich die Krümmung der Linse und damit die<br />
Brechkraft, nahe Punkte wandern in<br />
die Retinaebene (rechts, )<br />
21<br />
dtv-Atlas, S.282
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Retina<br />
• Innenseite der Bulbuswand ist von der Retina ausgekleidet<br />
• Ausgespart ist der Ausgang des Sehnervs<br />
• Gegenüber der Pupillenöffnung liegt das Zentrum des schärfsten Sehens (fovea<br />
centralis)<br />
• Retina enthält Stäbchen und Zapfen, Rezeptoren für Licht<br />
• Die zentralen<br />
Fortsätze<br />
verlassen als<br />
N. opticus den<br />
Bulbus (Augapfel)<br />
• Inversion der<br />
Retina<br />
22<br />
dtv-Atlas, S.281
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Sehschärfe<br />
• Unter guten Lichtverhältnissen kann das normale Auge zwei Punkte<br />
unterscheiden, wenn davon ausgehende Strahlen einen Winkel von einer<br />
Bogenminute (1‘ = 1/60 ) bilden<br />
• Wenn Sie aus 3,3 m die Öffnung des rechten Landolt-Ringes erkennen können,<br />
beträgt Ihr Visus 1,0<br />
23<br />
dtv-Atlas, S.285
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Sehfarbstoff<br />
• Stäbchen und Zapfen enthalten Sehfarbstoffe<br />
• Sie sind die Mittler bei der Umwandlung des Lichtreizes in eine elektrische<br />
Erregung des N.opticus<br />
• Rhodopsin: Proteinanteil (Opsin), Aldehyd (11-cis-Retinal)<br />
• Lichtreiz bewirkt Umlagerung am C-Atom 11 des Aldehyds<br />
Opsin + 11-trans-Retinal (dies bewirkt Erregung)<br />
dann zerfällt der Komplex und verliert rote Farbe<br />
(Bleichung)<br />
• Regenerierung<br />
Energieaufwand<br />
• Retinal ist das Aldehyd<br />
des Alkohols Retinol<br />
des Vitamin A1<br />
• Bei A1 Mangel<br />
Nachtblindheit<br />
24<br />
dtv-Atlas, S.285
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Anpassung an Helligkeit<br />
Mechanismen zur Adaption an Helligkeitsunterschiede:<br />
1. Pupille: kann Menge des einfallenden Lichtes um Faktor 16 verändern<br />
2. Chemische Anpassung: viel Licht Senkung der zytosolischen Ca 2+ -<br />
Konzentration der Sensoren über längere Zeit Verminderung der<br />
Verfügbarkeit von Rhodopsin und Transducin Wahrscheinlichkeit, dass<br />
Rhodopsinmolekül durch weiteres Licht getroffen wird sinkt<br />
3. Räumliche Summation: Retinafläche<br />
(= Sensorenzahl), aus der die Sehnerv-<br />
faser Erregung bekommt, kann<br />
verändert werden<br />
4. Zeitliche Summation: kurze unter-<br />
schwellige Reize können durch Reiz-<br />
verlängerung überschwellig werden<br />
25
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Farbensehen<br />
• Voraussetzung für Lichtempfindlichkeit der Photosensoren: Licht muss<br />
absorbiert werden<br />
• 3 Arten von Zapfen:<br />
• K-Zapfen: absorbieren kurzwelliges, blauviolettes Licht<br />
• M-Zapfen: absorbieren mittelwelliges, blaugrünes bis gelbes Licht<br />
• L-Zapen: absorbieren langwelliges, gelbes bis rotes Licht<br />
• Farbe auf Sehrinde wird konstruiert aus:<br />
• Meldungen der Zapfen<br />
• Umsetzung in einen<br />
Helligkeitskanal und in<br />
Gegenfarbkanäle in Retina<br />
und CGL<br />
• Bis zu 200 verschiedene<br />
Farbtöne<br />
26<br />
dtv-Atlas
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
• Gesichtsfeld: Ausschnitt aus der<br />
Umwelt, den unbewegtes Auge bei<br />
fixiertem Kopf sieht<br />
Gesichtsfeld, Sehbahn<br />
• Dinge in nasal gelegenen<br />
Gesichtsfeldhälften der Augen werden<br />
in temporal gelegenen<br />
Netzhauthälften abgebildet und<br />
umgekehrt<br />
• Fasern des Nervus Opticus bleiben auf<br />
gleicher Seite, Fasern im Chiasma<br />
Opticum laufen überkreuz<br />
27<br />
dtv-Atlas
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Plastisches Sehen und Entfernungssehen<br />
• Entfernungssehen und plastisches Sehen sind in erster Linie eine Leistung<br />
beider Augen gemeinsam. Daher spricht man vom binokulären (beidäugigen)<br />
Gesichtsfeld (Abb. A)<br />
• Fixiert man mit beiden Augen einen Punkt, wird dieser beidseitig auf der Fovea<br />
abgebildet (Al, Ar), nämlich auf den sog. korrespondierenden Stellen der<br />
Netzhaut<br />
• Gleiches gilt für die Punkte B, C, da sie auf einem Kreis liegen, der durch A und<br />
beide K gebildet ist (Horopterkreis)<br />
28<br />
dtv-Atlas, S.294
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Plastisches Sehen - Tiefensehen<br />
• Auf einem gedachten Mittelauge, das die beiden Netzhäute (im Sehzentrum)<br />
zur Deckung bringt, entsprechen korrespondierende Netzhautstellen einem<br />
Punkt A L+A R := A M<br />
• Für Punkte D außerhalb des Horopterkreises sieht das Mittelauge ein<br />
Doppelbild (D‘ und D‘‘), D‘ vom linken Auge<br />
• Liegen D und A nicht zu weit auseinander, entsteht durch zentrale<br />
Verarbeitung des Doppelbildes der<br />
Eindruck, D läge hinter A<br />
= Tiefenwahrnehmung<br />
• Analoges mit Punkt E, der näher als<br />
A erkannt wird (E‘ stammt vom<br />
rechten Auge)<br />
29<br />
dtv-Atlas, S.294
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Tiefensehen und Entfernungssehen<br />
• Bei einäugigem Sehen oder Sehen auf weite Entfernungen wird Wahrnehmung<br />
durch folgende Phänomene erzeugt<br />
• Konturenüberschneidungen (D1),<br />
• Dunst (D2), Schattenwurf (D3),<br />
• Größenunterschiede (D4), etc.<br />
• Nähere Gegenstände bewegen sich schneller im Gesichtsfeld als entferntere<br />
(Tiefenwahrnehmung durch Relativbewegungen)<br />
30<br />
dtv-Atlas, S.294
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
• Mittlere Dicke 1/5mm<br />
• 6 Schichten versch. Zelltypen<br />
1. Pigmentepithelzellen<br />
= Ernährung<br />
2. Photorezeptorzellen Z/S<br />
= Licht Signal Nerv<br />
3. Horizontalzellen schaffen Quer-<br />
verbindungen zwischen entfernt<br />
liegenden Z/S und Bipolarzellen<br />
4. Bipolarzellen Synapsen mit S/Z<br />
Axone mit Ganglienzellen<br />
5. Amakrine Zellen schaffen Quer-<br />
verbindungen zwischen BPZ und GZ<br />
6. Ganglienzellen<br />
Axone bilden Sehnerv<br />
Netzhaut<br />
31<br />
Schandry, S.246
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
• Stäbchen (S) / Zapfen (Z) mit<br />
„Stapel“ aus ca. 1000<br />
Membranscheiben / -einfaltungen<br />
• Diese enthalten die Sehfarbstoffe<br />
(Photopigmente)<br />
• S/Z Pigmente unterscheiden<br />
sich in chemischer Struktur<br />
• Pigment der Stäbchen:<br />
Rhodopsin<br />
• Lichtenergie verändert<br />
dieses Molekül in seiner<br />
räumlichen Struktur<br />
• Pigment der Zapfen:<br />
ähnlich aber 3 Zapfentypen<br />
für rot/grün/blau und<br />
entsprechend versch.<br />
photosensitiver Pigmente<br />
Molekulare Vorgänge<br />
32<br />
Schandry, S.247
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Photochemischer Prozess<br />
• Lichtenergie: 11-cis-Retinal Form geht über in all-trans-Form<br />
• Rhodopsin wird in Metarhodopsin II umgewandelt (wenige ms !)<br />
• M II verringert die Permeabilität der Stäbchenmembran für Natrium- und<br />
Kalziumionen<br />
• Bei Dunkelheit bleiben Na, Ka Kanäle auf durch zykl. Guanosinmonophosphat<br />
(cGMP)<br />
• Ständiger Strom positiver Ionen, das Zellinnere<br />
ist relativ depolarisiert<br />
• Licht Überschuss MetarhodopsinII<br />
cGMP wird umgewandelt in ein unwirk-<br />
sames Molekül zahlreiche Kanäle schließen<br />
sich weniger positive Ionen können ein-<br />
strömen negatives Zellinnnere weniger<br />
Transmitterausschüttung an Synapsen<br />
• Aktive Pumpe befördert Ca aus Zelle<br />
cGMP wird vermehrt gebildet<br />
Kanäle öffnen sich wieder<br />
• Anpassung an erhöhte Lichtzufuhr<br />
33
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Photochemischer Prozess<br />
• Schnelle Adaption der Stäbchenaktivität<br />
• Das Visuelle System ist in erster Linie ausgelegt, Veränderungen des Lichteinfalls zu<br />
registrieren<br />
• Lässt die Beleuchtungsstärke nach, wird sofort Synthese von Rhodopsin stattfinden<br />
und das System ist wieder reaktionsbereit<br />
• Vorgänge in den Zapfen sind ähnlich ABER<br />
• Drei Zapfentypen für die Farben ROT, GRÜN, BLAU<br />
• Adaption an ändernde Lichtverhältnisse: Pupillenweite,<br />
Unterdrückung Stäbchensehen wenn hell, Stäbchen wenn dunkel<br />
• Dunkeladaption:<br />
Helligkeit: Farbstoffaufspaltung<br />
ergibt All-Trans-Retinal<br />
Dunkelheit: bevorzugt 11-cis<br />
• Nachtblindheit: Vitamin A1 11-cis<br />
• Stäbchen sind lichtempfindlicher als Zapfen<br />
• Stäbchen brauchen bis 1 Stunde<br />
für komplette Dunkeladaption<br />
34
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Stäbchen vs. Zapfen<br />
• Die Stäbchen („rods“) für das skotopische Sehen in Dämmerung<br />
• Lichtsensitiv und aktiv bei wenig Licht, aber kein Farbensehen<br />
• Menschen, die keine Stäbchen haben, sind nachtblind.<br />
• Das Pigment der Stäbchen ist Rhodopsin;<br />
• Die Zapfen („cones“) für das<br />
photopische Sehen in Helligkeit<br />
• Farbsensitiv, aber nicht aktiv bei<br />
wenig Licht<br />
• Wenn sie fehlen, dann ist man tagblind.<br />
• Die 3 Pigmente der Zapfen (Photopsine) sind<br />
• Porphyropsin = Photopsin 1<br />
(L-Zapfen, Rot, langwellig empfindlich ~543nm, X-Chromosome)<br />
• Iodopsin = Photopsin 2<br />
(M-Zapfen, Grün, mittelwellig empfindlich ~522nm, X-Chromosom)<br />
• Cyanoposin = Photopsin 3<br />
(K-Zapfen, Blau, kurzwellig empfindlich ~420nm, Chromosom 7)<br />
35
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Exkurs 1: Inverse Retina – warum?<br />
• Diese Frage bis heute nicht eindeutig beantwortet<br />
• Siehe z.B. Klaus Neuhaus und Henrik Ullrich<br />
http://www.wort-und-wissen.de/index2.php?artikel=sij/sij71/sij71-1.html<br />
• … inverse Retina … aus evolutionstheoretischer Sicht als phylogenetisch<br />
bedingte Fehlkonstruktionen bewertet …<br />
• … dass plausible Erklärungsmodelle für die Evolution von Wirbeltieraugen bis<br />
heute nicht verfügbar sind<br />
• Sehr interessanter Artikel:<br />
• Denton MJ (1999) The inverted Retina:<br />
Maladaptation or Pre-adaptation?<br />
Origins & Design 4, 14-17.<br />
• http://www.arn.org/docs/odesign/<br />
od192/invertedretina192.htm<br />
36
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Erklärungsversuch von Denton<br />
• Photorezeptoren generieren Nervenimpuls aus einem einzigen eingefangenen<br />
Photon = Verstärkungsleistung von ca. 10 5 -10 6<br />
• Dafür brauchen die Photorezeptoren extrem viel Energie<br />
• Photorezeptoren sind die „sauerstoffhungrigsten“ Zellen<br />
• Die gute Blutversorgung wird durch das Pigment Ephitel (RPE) gewährleistet<br />
(sie transportiert auch abgenutzte Teile der Photozellen ab)<br />
• Blutgefäße zwischen den Photorezeptoren Lücken zwischen den Rezeptoren<br />
schlechtere Auflösung<br />
• Blutgefäße an die Oberseite behindert Lichteinfall<br />
• Blut absorbiert das Licht sehr gut!! (außer rot)<br />
• Im Gegensatz dazu ist das Zellengeflecht transparent<br />
• (interessante Frage: warum inverse Retina bei kaltblütigen Fischen? – Präadaption?)<br />
37
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Exkurs 2: Vitamin A1 Mangel<br />
• Warum führt A1 Mangel zu Nachtblindheit und nicht zu allgemein schlechter<br />
Sehkraft am Tag?<br />
• Das Pigment der Stäbchen ist das Rhodopsin (Sehpurpur)<br />
• Rhodopsin besteht aus dem Vitamin-A Aldehyd (11-cis-Retinal) und dem<br />
Eiweiß Opsin<br />
• Lichtreiz bewirkt Umlagerung am C-Atom 11 des Aldehyds<br />
Opsin + all-trans-Retinal, Opsin wird abgespalten<br />
• Dadurch wird eine Signalkaskade in Gang gesetzt, die letzten Endes zum<br />
Sehnerv führt.<br />
• Kein A1, kein 11-cis<br />
• Rhodopsin und Photopsin sind<br />
unterschiedlich in Regeneration<br />
• http://media.iupac.org/publications/<br />
pac/1991/pdf/6301x0171.pdf<br />
38
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
• Das Auge<br />
• Augenbewegungen<br />
• Technik und Methodik<br />
• Geräte und Verfahren<br />
• Anwendungsbeispiele<br />
Überblick<br />
39
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Das Okulo-motorische System<br />
Aufgaben des Okulo-motorischen <strong>Systems</strong>:<br />
• Binokuläre Zentrierung und Fixierung der interessierenden Bildabschnitte auf<br />
Stelle des schärfsten Sehens<br />
• Fovea centralis (ca. 0,8 des zentralen Gesichtsfeldes)<br />
• Vermeiden retinaler Bildverschiebungen bei Eigen- und Umweltbewegungen<br />
• Zur Lösung dieser beiden Aufgaben stehen schnelle und langsame<br />
Augenbewegungen zur Verfügung:<br />
• Sakkaden (visueller Greifreflex)<br />
• Langsame Folgebewegung<br />
• Vestibulärer und optokinetischer Nystagmus<br />
• Konvergenzbewegung<br />
• Fixation<br />
(Fixationsphase ist von Mikrosakkaden gekennzeichnet)<br />
40
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Augenbewegungen<br />
• Aufrechterhaltung des binokulären räumlichen Sehens wird sichergestellt<br />
durch:<br />
• Genauigkeit der sensomotorischen Verknüpfung<br />
• Möglichkeiten zur Kompensation von Störungen<br />
Bild: Schematische Darstellung der<br />
Augenbewegungen<br />
• Sakkaden<br />
• Folgebewegungen<br />
• Nystagmus<br />
• Konvergenz<br />
41<br />
K.-P. Hoffmann, S.186
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Sakkaden<br />
Definition: Sakkaden sind schnelle (ruckartige) Augenbewegungen, die dem<br />
Erfassen eines neuen Fixationspunktes dienen (z.B. Lesen einer Zeile)<br />
• Zerebelläre Kontrolle (Kleinhirn)<br />
• Generierung in der paramedianen pontinen Formatio reticularis<br />
• Maximale Geschwindigkeit: 700/s<br />
Geschwindigkeit nimmt mit der Größe der Bewegung zu<br />
• Dauer: 30 – 120ms<br />
• Latenz<br />
• Überschwingweite: prozentuale Abweichung vom Fixationsort nach einer<br />
Sakkade<br />
• Wird das neue Blickziel nicht erreicht, erfolgt nach etwa 100-300 ms eine<br />
Korrektursakkade<br />
42
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Sakkaden<br />
• Sakkaden lassen sich unterscheiden in:<br />
• Intern getriggerte Willkürsakkaden (Erinnerungssakkaden, Antisakkaden,<br />
Suchsakkaden)<br />
• Durch externe (visuelle oder akustische) Reize getriggerte automatisch<br />
ablaufende Reflexsakkaden<br />
• Spontane, scheinbar zufällige Sakkaden<br />
• Bildverschiebungen (etwa beim Lesen) werden im Moment der<br />
Augenbewegung zentral unterdrückt<br />
• Beispiel:<br />
Sieht man seine beiden Augen im Spiegel abwechselnd an, nimmt nur ein<br />
Dritter die Augenbewegungen wahr<br />
43
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Folgebewegungen<br />
Definition: Folgebewegungen konjugieren das Auge und führen es langsam einem<br />
bewegten Sehziel nach (Gegenstand „im Auge behalten“)<br />
• Konturen des Objektes können dabei zusätzlich durch Sakkaden abgetastet<br />
werden<br />
• Winkelgeschwindigkeiten im Schnitt bei 30-50/sec<br />
• Verfolgung und Stabilisierung des bewegten Sehziels auf der Retina<br />
44
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Nystagmen<br />
Definition: Nystagmen sind unwillkürliche, rhythmische, in zwei Phasen<br />
ablaufende okuläre Oszillationen<br />
• Ruck-Nystagmus: eine langsame und eine schnelle Phase, letztere bezeichnet<br />
die Richtung des Nystagmus<br />
• Pendel-Nystagmus: in beiden Richtungen gleichschnelle Augenbewegung<br />
• Optokinetischer Nystagmus = vestibulo-okulärer Reflex<br />
durch großflächige Reize ausgelöster Ruck-Nystagmus<br />
• Typisches Beispiel für Optokinetischen Nystagmus:<br />
Betrachten eines Baumes während einer Zugfahrt:<br />
• Langsame Phase entspricht der Bewegung des Zuges<br />
(Folgebewegung)<br />
• Schnelle Phase ist der Fixationswechsel (Sakkaden)<br />
45
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Nystagmen<br />
• Vestibulo-okulärer Reflex kann auftreten durch eine vestibuläre Reizung,<br />
Beispiele:<br />
• Mechanische Reizung durch Drehbewegung<br />
(Karusselfahren: während der Fahrt schlägt der Nytagmus in Drehrichtung,<br />
danach in Gegenrichtung)<br />
• Audiokinetische Reizung bei bewegten Schallquellen<br />
• …<br />
46
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Konvergenz- und Torsionsbewegungen<br />
Definition: Konvergenzbewegungen gleichen interretinale Bildfehler, die bei der<br />
Fixation auftreten können, aus.<br />
• Sehr langsam (10/sec)<br />
• Geringe Amplitude (maximal 15)<br />
Definition: Torsionsbewegungen sind Drehbewegungen um die Sehachse mit einer<br />
Amplitude bis 10 und einer Geschwindigkeit bis 200/sec<br />
• Können spontan oder aber optokinetisch auftreten (Anblick einer<br />
Rollbewegung der Umwelt) bzw. vestibulär bei Körper- und Kopfkippungen<br />
47
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Regelung von Augenbewegungen<br />
Prinzipieller Aufbau des okulo-motorischen <strong>Systems</strong><br />
48<br />
K.-P. Hoffmann, S.185
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
• Das Auge<br />
• Augenbewegungen<br />
• Technik und Methodik<br />
• Geräte und Verfahren<br />
• Anwendungsbeispiele<br />
Überblick<br />
49
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Messtechniken<br />
• Guter Übersichtsartikel über Techniken der Messung von<br />
• Blickrichtung und<br />
• Augenbewegungen<br />
G. Schneider; J. Kurt: Technische Prinzipien zur Messung der Blickrichtung und der<br />
Augenbewegungen<br />
http://www2.hu-berlin.de/reha/eye/Technische%20Prinzipien_Eye.pdf<br />
50
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Grundlagen<br />
• Hochmobiler Augapfel und komplexe Verarbeitung<br />
• Ziel ständig im Blick trotz Kopfbewegung<br />
• Daher benötigt man zur Messung des Blickzieles<br />
• Bestimmung der Augenstellung<br />
• Stellung der Pupille<br />
• Stellung des Kopfes<br />
• Bestimmung des objektiven Blickzieles<br />
Kalibrierung notwendig, um die Beziehung zwischen der Augenstellung, dem<br />
System Empfänger (oder Kamera) und der Umgebung herzustellen<br />
51
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Kalibrierung<br />
• Benötigt Punkte im Blickgebiet, die dem System in ihrem räumlichen<br />
geometrischen Verhältnis bekannt sind<br />
• … die von dem Betrachter im Vorfeld der Messung in einer Kalibrierung fixiert<br />
werden müssen<br />
• Bei dem Betrachten eines Bildes auf einem Monitor sind die Punkte durch die<br />
Bildgröße des Monitors festgelegt. Dabei wird entweder:<br />
1. der Infrarot-Empfänger (oder Kamera) in der Nähe<br />
der Augen (ca.5cm) durch eine Art Helm am Kopf<br />
geometrisch fest angeordnet oder<br />
2. Kameras werden mit dem zu betrachtenden Monitor in einem<br />
festen geometrischen Verhältnis angeordnet und nehmen die<br />
Bewegungen der Pupille berührungslos ohne<br />
Körperkontakt jedoch über einen größeren<br />
Abstand auf (ca. 60cm)<br />
52
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Berührungslose Verfahren<br />
• Künstliche Markierungen als Reflexpunkte an der Stirn (Eye-Maus)<br />
• Physiognomische Merkmale der Testperson, wie der Abstand der Augen (Tobii)<br />
• Augenbild im Gesicht über NN analysieren, um so die Blickrichtung bestimmen<br />
zu können.<br />
53
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Messverfahren Wunschliste<br />
• Kein direkter Kontakt mit Probanden, bzw. unbemerkt<br />
• Einsetzbar für alle Gruppen (Baby, Kinder, Erwachsene)<br />
• Setup Zeit, Kalibrierung, Marker<br />
• Uneingeschränkter Blick auf Kopf und Gesicht<br />
• Messung horizontaler, vertikaler (üblich) und Torsionsbewegungen<br />
(selten)<br />
• Sehr hohe räumliche Auflösung: 0,01°<br />
• Sehr hohe zeitliche Auflösung: ca. 2ms<br />
• Sehr weite Messdynamik: 600° pro sec<br />
• Geringe Reaktionsträgheit (Echtheitsfähigkeit)<br />
• Niedrige Kosten<br />
• Geringe Störeinflüsse bei Grimassen etc.<br />
• Derartige Systeme existieren noch nicht <br />
• Geeignete Auswahl hängt von Einsatzgebiet ab<br />
54
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
• Das Auge<br />
• Augenbewegungen<br />
• Technik und Methodik<br />
• Geräte und Verfahren<br />
• Anwendungsbeispiele<br />
Überblick<br />
55
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Verfahren<br />
1. Kontaktlinsen - elektromagn. Spulen-System<br />
2. Elektrookulogramm (EOG)<br />
3. Lichtreflektionen am Auge (IROG)<br />
• Kontaktlinsen - optische Reflexion<br />
• Cornea- und Pupillen-Reflektions-Beziehung,<br />
• Purkinje-Image-tracking<br />
4. Video-Okulographie (VOG)<br />
• Limbustracking<br />
• Pupillentracking<br />
5. Neuere Entwicklungen<br />
• Projektion von Text direkt auf der Retina<br />
• mobile Bestimmung der Blickrichtung<br />
• Nicht-Kopfgetragene VOG<br />
6. Spezialanwendungen<br />
56
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
• Optisches Verfahren<br />
1. Kontaktlinsen<br />
• Reflektion eines Lichtes wird durch kleine Spiegel in der Kontaktlinse<br />
aufgenommen<br />
• Magnetokulographie (MOG)<br />
• Messung der Potentialdifferenzen über Magnetfeldänderungen mit<br />
supraleitendem Quanteninferometer<br />
• Berührungslos<br />
• Auflösung derzeit noch nicht gut<br />
• Technisch und finanziell aufwändig<br />
(Abschirmung, Kühlung)<br />
• Elektromagnetische Technik (Search-Coil)<br />
• Kontaktlinse mit dünner Spule wird ins Auge gesetzt;<br />
Augenbewegung induziert in der Spule eine Spannung<br />
• Rauscharmes Signal, Auflösung gut<br />
57
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Magnetic Eye Coil / Search Coil<br />
• VT: hohe zeitliche und räumliche Auflösung<br />
• NT: unangenehm, Gefahr von Ödemen<br />
(< 20min Benutzung)<br />
• Hohe räumliche Auflösung (0.01°)<br />
• Gute zeitliche Auflösung, z.B. 1000 Hz kein<br />
Problem – aktuell wahrscheinlich die einzige geeignete Technologie für<br />
hochfrequente sakkadische Oszillationen<br />
• Vertikale Aufnahmen gut, Torsionale Aufnahmen ebenfalls möglich<br />
• Gute Linearität<br />
• Langsames Setup, Kalibrierung notwendig<br />
• Kosten: System ca. $ 15.000, Eye Coil ca. $ 100<br />
• Eye Coil hält im Schnitt für zwei Probanden<br />
• Risiken: Beschädigung der Kornea bzw. Übertragung von Krankheiten<br />
bei Mehrfachgebrauch<br />
58
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Prinzip:<br />
2. Elektrookulogramm (EOG)<br />
• Augenbewegungen erzeugen zwischen Hornhaut und Netzhaut elektrische<br />
Potentialdifferenz von 0,4 bis 1 mV<br />
• Aufzeichnen dieser (cornearetinalen) Potentiale durch Aufbringen von<br />
Hautelektroden nahe der Augen<br />
59
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
EOG (Konstantes Ruhepotential)<br />
Prinzip: Augapfel verhält sich wie ein Dipol, d.h. Netzhaut hat negative Polarität<br />
gegenüber der Hornhaut (wegen Konzentrationsdifferenzen versch. Ionen im<br />
Pigmentepithel der Netzhaut)<br />
Ruhelage: Pole liegen symmetrisch zwischen den Elektroden<br />
Augen nach links: linke Elektrode wird positiver<br />
Auge nach rechts: rechte Elektrode wird positiver<br />
Schandry, S.592<br />
60
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Elektrookulographie (EOG)<br />
• Elektroden über bzw. unter den Augen für vertikale Augenbewegung;<br />
Elektroden miteinander gekoppelt, um Messfehler zu minimieren<br />
• Seitliche Elektroden für horizontale Bewegungen<br />
• Messung der Augenbewegung<br />
• Durch Augenbewegungen nähern sich Vorderseite und Rückseite des<br />
Auges an Elektrode, Spannungsdifferenz<br />
• Spannungsdifferenz ist ungefähr proportional zu Blickwinkel<br />
• Messung der Ruhepotentialveränderung:<br />
• Änderung des Ruhepotentials durch Veränderung der<br />
Beleuchtungssituation<br />
• Proband schaut zwischen zwei festen Punkten hin und her<br />
• Dunkeladaption<br />
• Größe des Gleichstromes = Messung der Augenposition<br />
• Größe des Wechselstromes = Messung der Augenbewegung (auch<br />
Elektronystagmografie)<br />
61
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Vorteile:<br />
Vor- und Nachteile EOG<br />
• Routinemäßig in Klinik angewandt (Gleichgewichtsorgan)<br />
• Gute räumliche und zeitliche Genauigkeit<br />
• bis zu ±70° mit Genauigkeit von 1,5 - 2 Winkelgrad<br />
• Genauigkeit nimmt insbesondere bei vertikalen Augenbewegungen größer<br />
als 30° stark ab<br />
• Zeitliche Auflösung ca. 40Hz<br />
• EOG besitzt den größten Messbereich<br />
• Niedrige Kosten (ca. $500)<br />
Nachteile / Artefakte:<br />
• Setup braucht Zeit, Elektroden anbringen, Kalibrieren<br />
• Potentialschwankungen aufgrund von Muskelbewegungen<br />
• Verfälschungen durch Lidschläge und Schwankungen<br />
• Potentialänderung bei Hell-/Dunkel, Adaption des Auges<br />
62
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Corneareflexionsmethode<br />
3. Lichtreflektionen am Auge<br />
• Registrierung von (Infrarot-) Lichtreflexen auf der Hornhautoberfläche<br />
• Der Krümmungsradius der Hornhaut ist kleiner als der des Augapfels<br />
Cornea-Reflex wandert in Richtung der Augenbewegung.<br />
• Reflexionsort wird durch Infrarotdioden als analoges Signal aufgezeichnet<br />
• Oder über Diodenzeile durch CCD-Zeilenkameras oder Videokameras<br />
aufgezeichnet<br />
64
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Zwei prinzipielle Anordnungen<br />
3a. Cornea Reflex Methode<br />
• Kopfgestützte Apparatur oder ortsfeste Apparatur<br />
Nachteile der Cornea Reflex Methode<br />
• Benötigt künstliche Lichtquelle; Position Kopf – zu künstlicher Lichtquelle muss<br />
stabil sein<br />
• „Freie“ Beweglichkeit, falls Apparatur am Kopf aber das Gewicht der App.<br />
Beeinflusst die Kopfbewegungen<br />
• Blickrichtungsbestimmung erfordert Bestimmung Kopfrichtung<br />
• Kalibrierung mit integrierten Eichobjekten notwendig<br />
• Artefakte durch Passgenauigkeit der Brille, individuelle Verformungen der<br />
Hornhaut, fehlende Tränenflüssigkeit<br />
• Vertikale und horizontale Augenbewegungen bis ca. 15°<br />
Vorteile der Cornea Reflex Methode: Berührungslos<br />
65
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
• CCD = Charge-Coupled Device<br />
CCD-Kamera<br />
• Ein CCD-Sensor ist ein elektronisches Bauteil, das als Sensor ausgelegt ist<br />
• CCDs wurde im Jahr 1969 eigentlich zur Datenspeicherung entworfen<br />
• Willard Boyle und George E. Smith wurden für die Erfindung des CCD im Jahre<br />
2009 mit dem Nobelpreis für Physik ausgezeichnet<br />
• CCD Bauteile sind lichtempfindlich und geben ein zur eingestrahlten<br />
Lichtmenge proportionales Signal aus<br />
• Sensor bestehen meistens aus einer Matrix (seltener einer Zeile) mit<br />
lichtempfindlichen Fotodioden = Pixel, Kantenlängen 3-20 µm<br />
• Je größer die Fläche der Pixel, desto höher ist die Lichtempfindlichkeit, aber bei<br />
gleicher Sensorgröße ums kleiner die Bildauflösung<br />
• 1975: CCDs in Fernsehkameras<br />
• 1983: Einsatz der CCD-Sensoren als Bildsensoren in<br />
Astronomie und Satellitenfernerkundung<br />
• 2D CCD-Sensoren werden in Videokameras und<br />
Digitalkameras eingesetzt<br />
• 1D CCD Arrays in Faxgeräten, Spektrometern, Scannern und Barcodelesern<br />
• Quelle: Wikipedia<br />
66
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Beispiele<br />
Kopfgestützten Apparaturen - Cornea-Reflexion<br />
Microguide ExpressEye Optom Iota AB, EyeTrace<br />
http://www.eyemove.com http://www.optom.de/ (ehemals Permobil Meditech)<br />
67
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
3b. Purkinjebilder<br />
• Methode: Infrarot-Leuchtdioden reflektieren unterschiedlich auf den<br />
optischen Grenzflächen des Auges<br />
= Purkinjebilder<br />
• Treten in verschiedenen Tiefen des Auges auf<br />
• 1. Purkinjebild ist die Hornhautreflexion<br />
• 4. Purkinjebild tritt auf der Schnittstelle der Linse mit dem Glaskörper auf<br />
• Relation verändert sich während Augenbewegung<br />
68<br />
Purkinje-Tracker<br />
http://www.fourward.com<br />
Fourward Optical Tech., Inc
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Purkinjebilder<br />
• Manchmal auch zu finden unter Infrarotokulographie (IROG) oder<br />
Photoelektronystagmographie (PENG)<br />
Vorteile:<br />
• Wenig störanfällig<br />
• Derzeit die genauste Methode dabei rel. schnell<br />
• Messung von Augenbewegungen bis zu 0,1 möglich<br />
Nachteile:<br />
• Artefakte durch Lidbewegungen, Pupillenweite<br />
• Benötigt detailliertes Modell der Grenzflächen und optischen Systeme im Auge<br />
• Geht nur bei geöffneten Augen<br />
• 4.Perkinje-Reflexion sehr schwach<br />
• Hoher Justierungsaufwand<br />
• Kopf muss fixiert werden<br />
69
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Infrared Reflection<br />
• IR ist weniger geräuschbehaftet als EOG, funktioniert allerdings nur gut mit<br />
offenen Augen (i.e. +- 10 deg) vom Zentrum<br />
• Gute räumliche Auflösung: ca. 0,1°<br />
• Zeitliche Auflösung: typischerweise 100 Hz, auch größer möglich<br />
• Vertikale Aufnahmen möglich, allerdings ist es schwierig Blinzelartefakte von<br />
Augenbewegungen zu unterscheiden.<br />
• Schnelles Setup, Kalibrierung notwendig<br />
• Nicht-Linear! Signal kehrt sich zwischen +15 und +20° um<br />
• Moderate Kosten – ca. $4000.<br />
• Gut geeignet für Anwendungen wie Studien zu Mikroaugenbewegungen<br />
• Nicht geeignet für Messung von Folgebewegungen und Sakkaden wegen<br />
Nichtlinearität<br />
70
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
4. Videookulographie (VOG)<br />
• Miniaturvideokameras auf der Grundlage von infrarot-empfindlichen<br />
Sensoren, Bildfrequenzen von 250-500 Hz<br />
• Illumination durch Leuchtdioden auf Augen gerichtet<br />
• Pupille ist Ort geringster Lichtreflexion und als dunkelster Punkt im Bild<br />
lokalisierbar, repräsentiert Augenbewegung<br />
• Zeitliche Auflösung besser als MOG, schlechter als EOG<br />
• Nicht am geschlossenen Auge<br />
K.-P. Hoffmann, S.189<br />
71
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
• Zweidimensionale Ansicht des Auges<br />
VOG<br />
• Merkmalsselektion, Texturanalyse durch Bildverarbeitung<br />
• Pupille suchen<br />
• Pixelkoordinaten des Pupillenzentrums + Kallibrierung<br />
• Rücktransformation in horizontale und vertikale Augenposition<br />
Abbildung auf die Kameraebene durch Zentralprojektion (aus Gründen der<br />
Übersichtlichkeit ohne die Drehachsenverschiebung) [aus Schreiber 1999]<br />
72
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Limbus-Tracking<br />
VOG Techniken<br />
• Optische Registrierung des Überganges zwischen Iris und Bindehaut<br />
• VT: guter Kontrast<br />
• NT: Randfläche unscharf und keine vertikale Augenbewegungen erfassbar,<br />
weil Iris zu einem großen Teil vom Augenlid bedeckt ist<br />
Pupillen-Tracking<br />
• Registrierung des Überganges von der Pupille zur Iris<br />
• VT: Scharfe Grenzfläche, kleinere Pupille, so dass auch vertikale horizontale<br />
Augenbewegungen aufgenommen werden können<br />
• NT: Farbkontrast kleiner (auch abh. von Augenfarbe, zB braune Iris)<br />
• Artefakt: Helligkeitsanpassung der Pupille<br />
Alternativ:<br />
• Wie bei Corneareflexion wird Auge durch IR Lichtquelle beleuchtet<br />
• Pupille absorbiert IR, reflektierte Strahlen mit IR Kamera aufnehmen<br />
VOG liefert geringe zeitliche (Videonorm 50Hz oder Hochgeschwindigkeitskamera,<br />
10kHz!) und räumliche Auflösung<br />
73
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
[Shackel 1960] Kopfrichtung + EOG<br />
Beispiele<br />
74<br />
Messanordnung mit halbdurchlässigem<br />
Spiegeln, vor den Augen angebracht.<br />
Bildet das Infrarot-Bild des Auges auf die<br />
CCD-Kamera ab<br />
Kopfhautbewegungen können zu<br />
Artefakten führen
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
• Analyse des Fahrerverhaltens über eine Blickrichtungsanalyse. [SensoMotoric<br />
Instruments http://www.smi.de]<br />
• Spezifikation von diesem Eyetracker<br />
• Sampling Rate 50/60 Hz<br />
• Tracking Resolution, Pupil/CR 0.1 deg. (typ.)<br />
• Gaze Position Accuracy 0.5°-1.0 deg. (typ.)<br />
• Tracking Range +/- 30° horz., +/-25° vert.<br />
• Weight of head unit 450 g<br />
Beispiele<br />
75
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
VENG<br />
• Kombination Videobrille (Head Mounted Display) mit Kamerasystem<br />
• Keine Artefakte durch Kopfrichtung auf die Blickrichtung<br />
• Räumliche Auflösung (1 part in 1024) – gut genug.<br />
• Zeitliche Auflösung (30-60 hz) – gut genug.<br />
• Vertikale Aufnahmen (Torsion) möglich<br />
• Einfach anzuwenden, Kalibration ist oft unnötig<br />
• Abdeckungen können Sicht verdecken (sehr nützlich)<br />
• Gesamtkosten: etwa $18,000<br />
76
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
5a. Virtual Retina Displays (VRD)<br />
• Direkte Projektion von Text oder Bildern auf der Retina<br />
• VRD könnte Head Mounted Displays (HMDs) ablösen<br />
• HMD erzeugt virtuelles Bild, das über optische Systeme projiziert und aktiv<br />
vom Benutzer betrachtet wird<br />
• Bei VRD entsteht das Bild unmittelbar auf der Netzhaut<br />
• Pixel werden in einem Raster über einen Laser auf die Netzhaut gebracht,<br />
indem ein horizontaler Scanner den Laserstrahl auf der Retina reihen- und<br />
zeilenweise positioniert<br />
• lichtbrechende und lichtreflektierende Spiegel oder modulierbare Prismen<br />
lenken den Laser so auf die Netzhaut, dass beim Betrachter der Eindruck eines<br />
großen, virtuellen Bildes entsteht.<br />
• Die Systeme arbeiten mit niedrigen Lichtintensitäten, daher keine Gefahr für<br />
das menschliche Auge.<br />
77
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
5b. Virtual Retina Displays (VRD)<br />
Herkömmliche Methode (links) VRD (rechts)<br />
78<br />
"Nomad" von [Microvision 2004 ]<br />
SVGA Auflösung entspricht 19 Zoll<br />
Monitor<br />
Refresh-Rate von 60 Hertz<br />
Hauptauftraggeber – US ARMY
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
5c. Mobile Eyetracking<br />
79
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
• VT: Kopf frei beweglich, nicht invasiv<br />
Nicht kopfgetragene VOG<br />
• Aber: Augenposition muss bekannt sein<br />
• Nachführen der Kamera, große Brennweite<br />
• Beispiel www.Tobii.com, Specs:<br />
• Sampling Rate 50 Hz<br />
• Tracking Resolution 0.25 deg. (typ.)<br />
• Gaze Position Acc 0.5° deg. (typ.)<br />
• Head-Motion speed < 10 cm/s<br />
ERICA Incorporated http://www.ericainc.com/system.html<br />
80
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
• MRI + Eyetracking<br />
6. Spezialanwendungen<br />
• Z.B. MR-Eyetracker , Cambridge Research <strong>Systems</strong> http://www.crsltd.com/<br />
• Wegen MRI keine magnetischen Teile!!<br />
• Spiegelsysteme und Lichtleitkabel leiten die Informationen über die Augen-<br />
bewegungen nach<br />
draußen<br />
• Messprinzip IROG<br />
81
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
• Das Auge<br />
• Augenbewegungen<br />
• Technik und Methodik<br />
• Geräte und Verfahren<br />
• Anwendungsbeispiele<br />
Überblick<br />
82
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Anwendungen von Augenverfolgung<br />
• Entwicklungspsychologie<br />
• Industriedesign und Werbungsforschung<br />
• Kognitive Psychologie und Neuropsychologie<br />
• TC Hain<br />
• Mensch-Maschine Schnittstellen<br />
• Interface Design Forschung<br />
• Entertainment / Gaming<br />
• Lesestudien / Lernen<br />
• Das Auge als direkte Eingabemodalität<br />
Augenverfolgung statt Maus<br />
• Menschliche Interaktion / Kommunikation<br />
Focus of Attention<br />
83
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Entwicklungspsychologie<br />
• Augenverfolgung ist extrem nützlich, um das Verhalten von Säuglingen zu<br />
verstehen<br />
• Durch direkte Beobachtung dessen, worauf Kinder reagieren, kann man<br />
Einsichten in ihre kognitive Entwicklung gewinnen<br />
• Erfordert:<br />
• Unaufdringliche Testapparaturen<br />
• Schnelle und einfache Kalibrierung<br />
• Spezielle Kalibrierungsroutinen, um die Aufmerksamkeit von Babies zu<br />
erwecken<br />
• Einfaches Setup, Audio und Video Stimuli<br />
84
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Industrielles Design und Werbungsforschung<br />
• Durch Augenverfolgung kann man erfassen, welchen Eindruck ein Design oder<br />
Werbung auf den Zuschauer hat<br />
• Typische Fragestellungen sind:<br />
• Wieviel Beachtung schenkt der Beobachter den verschiedenen Elementen<br />
• Welche Verpackung ist am effektivsten?<br />
• Welche Verkaufsregale erfahren die meiste Beachtung?<br />
• Worauf achten Leute bei einer Werbung?<br />
• Wie erreicht man, dass Zuschauer die headline sehen?<br />
• Was braucht man:<br />
• Unaufdringliche Geräte<br />
• Tragbare Geräte<br />
85
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Kognitive Psychologie und Neurophysiologie<br />
• Augenbewegungsverfolgen ist eine etablierte Methode<br />
• Der experimentellen Psychologie<br />
• Augenforschung<br />
• Einsichten in die kognitiven neurologischen Abläufe<br />
• Was genau sieht die Person<br />
• Welche Reaktionen löst es aus<br />
• Studien wie<br />
• Autismus<br />
• ADHD (Attention-deficit hyperactivity disorder)<br />
• Neurologische und visuelle Defizite<br />
• Systematische und intuitive Strategien<br />
• …<br />
86
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Kognitive Psychologie und Neurophysiologie<br />
• Zwei Typen von Augenbewegungen<br />
• Willkürliche Augenbewegungen<br />
Steuerung und Kontrolle von Devices<br />
• Unwillkürliche Augenbewegungen gesteuert vom Gleichgewichtssystem<br />
• Daher wird die Analyse von Augenbewegungen eingesetzt<br />
• Zur Diagnose von Störungen des Augenbewegungsapparates aber auch des<br />
Gleichgewichtssystem<br />
• Außerdem bei Schlafanalyse zur Erfassung der REM-Phasen<br />
87
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
big nystagmus elicited by sound<br />
Videos from Thomas C Hain<br />
http://dizziness-and-balance.com Thomas C Hain<br />
88
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
nystagmus elicited by pressure<br />
Videos from Thomas C Hain<br />
http://dizziness-and-balance.com Thomas C Hain<br />
89
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Neurokinetics<br />
Klinische Bestimmung von Balanceproblemen<br />
90
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Mensch-Maschine Schnittstellen<br />
• Mensch-Maschine Schnittstellen<br />
• Interface Design Forschung<br />
• Entertainment / Gaming<br />
• Lesestudien / Lernen<br />
• Das Auge als direkte Eingabemodalität<br />
Augenverfolgung statt Maus<br />
• Menschliche Interaktion / Kommunikation<br />
Focus of Attention<br />
92
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Interface Design<br />
• Augenverfolgung erlaubt Einsicht, auf welche Weise Interface Designs das<br />
Benutzerverhalten beeinflussen<br />
• Beispiele von Fragen, die man mit Augenverfolgung zu beantworten sucht:<br />
• Sind Elemente der Interaktion verstanden und geeignet?<br />
• Welche Suchstrategien werden verwendet?<br />
• An welche Stelle sollen wichtige Inhalte platziert werden?<br />
• Was passiert, wenn die Interaktion zusammenbricht?<br />
• Was braucht man:<br />
• Einfache Datensammlung<br />
• Unaufdringliche Apparatur wegen Experimentartefakte<br />
• Softwareintegration für web, screen und Kamera<br />
• Kompensation von Kopfbewegungen<br />
93
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
• Wii-mote-ähnliche Devices<br />
Gaming / Entertainment<br />
• PC und andere Spiele werden interessanter<br />
• Biofeedback als zusätzlicher Eingabestrom in Spielen<br />
• Emotiv <strong>Systems</strong><br />
• CyberLearning<br />
• NeuroSky<br />
• Elektroden-<br />
Headsets<br />
EMG, EOG<br />
• Einschätzen<br />
der Benutzer<br />
auch online,<br />
remote<br />
• Marktforschung<br />
• …<br />
94<br />
http://gadgetsplanet.info
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Lesestudien / Lernen<br />
• Augenverfolgung bietet Einsichten in den Leseprozess<br />
• Kenntnis darüber, wohin der Leser genau sieht, erlaubt Analyse der Fragen:<br />
• Welche Passagen bereiten Probleme?<br />
• Wie kann die Lesefertigkeit verbessert werden?<br />
• Üben oder Veränderung der Texte/Darstellung<br />
• Kenntnisse über typische Muster der Fixations- und Sakkaden beim Lesen<br />
• Worüber ist der Leser gestolpert?<br />
• Was sind die optimale Textlänge und Bildkontraste?<br />
• Lernsoftware, Tutoren<br />
• Im Lesebereich: LISTEN, CHENGO, …<br />
• Hier wird meist Sprache als Indikator von Schwierigkeiten verwendet, aber<br />
…<br />
95
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Textverarbeitung<br />
• Lesen: Folge von Sakkaden und Fixationen, um die Tatsache auszugleichen,<br />
dass der Bereich des schärfsten Sehens sehr eng ist<br />
• Fixationen: Augen halten für ca. 250ms inne; große interindividuelle<br />
Unterschiede<br />
• Sakkaden umfassen ca. 8 Buchstabenabstände (Solso, Kognitive Psychologie),<br />
hängt nicht von der Textgröße ab<br />
• Regressionen: 10-15% der Zeit verbringt der Leser mit Augenrückbewegungen,<br />
um Material nochmal anzusehen<br />
• Gute Leser: gute Gestaltinformation über Wörter und Buchstaben in Bereich<br />
17-19 Buchstabenabstände zum Fixationspunkt (ca. 5 Grad Blickwinkel)<br />
• Hypothesen: peripheres Sehen wird zum Vorhersagen im Text benutzt<br />
• VS Zeit während der Fixation wird benutzt um Texteigenart zu bestimmen<br />
96
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
• BioKom – Fraunhofer Rostock, CG topics6/ 1997, Dr. Vatterrott<br />
• Ziel: Steuerung interaktiver Systeme<br />
hier insbesondere:<br />
• Alternative Eingabemethoden<br />
für Schwerstbehinderte<br />
• Basis: Augenbewegungen<br />
• Modularer Systemaufbau<br />
• Spezialanwendungen<br />
• Spezialtools zur Nutzung<br />
von Standardanwendungen<br />
• EMG: 1/0 angespannt/entspannt<br />
• EOG: Registrierung von Augen-<br />
bewegungen in 4 Richtungen<br />
• Einsatz in der Rehabilitation<br />
• Herausforderungen:<br />
• Benutzerspezifische Signale<br />
• Benutzerspezifische Vorlieben<br />
Auge statt Maus<br />
97
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
BioKom Beispiele<br />
• Augengesteuerte Lernsoftware<br />
• Bildbenennung<br />
• Mathetrainer<br />
• Virtuelle Tastatur für herkömmliche<br />
Editoren<br />
98
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Menschliche Interaktion: Focus of Attention<br />
Ansehen – Auge – Kopfbewegung<br />
Camera View Panoramic View<br />
Interactive <strong>Systems</strong> <strong>Lab</strong>s, Dr. Rainer Stiefelhagen<br />
99<br />
Perspective<br />
View
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
• Aufzeichnung von Sakkaden<br />
• Hier provoziert durch optische Reize<br />
Verfahren - Sakkaden<br />
100<br />
K.-P. Hoffmann, S.189
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Verfahren - Folgebewegungen<br />
• Proband folgt Punkt mit Geschwindigkeit von ca. 10-40/s<br />
• Bestimmt werden:<br />
• Geschwindigkeitssymmetrie<br />
• Verstärkungsfaktor (gain)<br />
(Reiz- Antwortamplidude)<br />
• Kohärenz<br />
• Phase<br />
• Mit zunehmender<br />
Geschwindigkeit<br />
zerfällt die glatten<br />
Folgebewegung<br />
Anteil an Sakkaden<br />
nimmt zu<br />
10/s = 0,15Hz<br />
20/s = 0,39Hz<br />
30/s = 0,45Hz<br />
101<br />
K.-P. Hoffmann, S.190
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Verfahren – Optokinetischer Nystagmus<br />
• Wird provoziert z.B. durch<br />
• rotierende Trommel mit aufgebrachten Streifen<br />
• Horizontal bewegende Muster auf Fernseher<br />
• Beispiel hier: Horizontale Muster mit 20/s, wechselnde<br />
Bewegungsrichtung<br />
102<br />
K.-P. Hoffmann, S.190
<strong>Biosignal</strong>e und Benutzerschnittstellen – <strong>Augenaktivität</strong><br />
Verfahren – Vestibulärer Nystagmus<br />
• Spülen des äußeren Gehörgangs mit warmem (44 C) oder kaltem (30 C)<br />
Wasser<br />
• Vestibulookulärer Reflex wird mit Drehstuhl getestet<br />
103