Hirn-Computer-Interface

Dr. Andrea Kübler
Jürgen Mellinger
Institut für Medizinische
Psychologie und
Verhaltensneurobiologie
Prof. Dr.
Niels
Birbaumer
Wadsworth Center,
Albany, USA
Theresa Vaughan
Dr. Jon Wolpaw
Miguel Jordan
Ursula Mochty Tamara Matuz Eric Sellers
Gerwin Schalk
Barbara Wilhelm
Slavica von Hartlieb
and all patients…
Dr. D. McFarland

Gehirn-Computer Schnittstelle
Brain-Computer Interface (BCI)
Definition
• Ein Steuerungssystem, das keine peripheren
Nerven und Muskeln einsetzt
• Nachrichten werden durch die elektrischen Signale
des Gehirns übermittelt

Das grundlegende Prinzip
• Interaktion dreier anpassungsfähiger
Steuerungseinheiten: die Benutzer, die Schnittstelle
und die Anwendung
• Die Benutzer produzieren Signale, in denen die
Nachricht verschlüsselt ist
• Die Schnittstelle verwandelt diese Signale in
Befehle zur Anwendungssteuerung
• Der BCI Gebrauch ist eine Fähigkeit, die die
Benutzer und die Schnittstelle bewältigen und
aufrechterhalten müssen

Messen des EEG
16 channels
Band pass – filtered: 0.01-70 HZ

Selbstkontrolle des EEGs
Bedingungen
• 1. Echtzeit-Feedback des EEG-Signals
• 2. Belohnung richtiger Antworten
sehr
gut!

imagined finger
movement
imagined tongue
movement
electrocorticogram
single neuron
firing rate
invasive
Types of BCIs
Sensorimotor
rhythm
.....
non-invasive
Amplitude [µV]
bottom target
Frequency [Hz]
top target
on off on off on
P300
Amplitude [µV]
-20
-10
0
10
20
slow cortical potentials
A....M
N....Z
30
0 1 2 3 4 5
Zeit [s]
37

Brain-Computer Interface
Langsame kortikale
Potentialverschiebungen
(slow cortical potentials, SCP)
• Kortikale
Spannungsveränderungen im
Bereich von 100ms bis zu
mehreren Sekunden
• Langsamer als die sonstigen EEG
Rhythmen
• Ihre Amplitude wird in erster Linie
bestimmt durch die
psychologischen Eigenschaften des
Stimulusmaterials
• Stellen kortikale Resourcen zur
Verfügung

TTD_short.AVI

imagined finger
movement
imagined tongue
movement
electrocorticogram
single neuron
firing rate
invasive
Types of BCIs
Sensorimotor
rhythm
.....
non-invasive
Amplitude [µV]
bottom target
Frequency [Hz]
top target
on off on off on
P300
Amplitude [µV]
-20
-10
0
10
20
slow cortical potentials
A....M
N....Z
30
0 1 2 3 4 5
Zeit [s]
37

Mü-Rhythmus
Patient has to modify the
amplitude of a SMR rhythm:
This can be done by
imagination of movement
e.g. imagination of kicking with
feet

Mü-Rhythmus
• 8-12 Hz Aktivität über
sensomotorischen
Arealen während
Entspannung
• Arkadenförmig
• Verschwindet bei
Bewegung und bei
Bewegungsvorstellung

mu training nice.AVI

imagined finger
movement
imagined tongue
movement
electrocorticogram
single neuron
firing rate
invasive
Types of BCIs
Sensorimotor
rhythm
.....
non-invasive
Amplitude [µV]
bottom target
Frequency [Hz]
top target
on off on off on
P300
Amplitude [µV]
-20
-10
0
10
20
slow cortical potentials
A....M
N....Z
30
0 1 2 3 4 5
Zeit [s]
37

P300 – eine Reaktion auf Bedeutsamkeit

Psychologische Faktoren und der
Gebrauch von BCI
BCI
Stimmung
Motivation
Lernen!
? Benutzer
Anwendung

Fear of Imcompetence
Fear Score
7
5
3
Fear of Incompetance during SMR training
1
1 5 9 13 17
Sessions

Accuracy (%)
90
80
70
60
50
40
30
20
10
0
Accuracy (%)
Incompetence Fear
3.5
3
2.5
2
1.5
1
0.5
0
Fear Score
1 5 9
Session

Patient A
7,1
90
7
80
Challenge Score
6,9
6,8
6,7
6,6
6,5
6,4
6,3
6,2
Challenge
Performance
1 5 9 13 17
70
60
50
40
30
20
10
0
Accuracy (%)
Session

90
7
Accuracy (%)
80
70
60
50
40
30
20
10
0
Accuracy (%)
interest
6
5
4
3
2
1
0
Interest Score
1 5 9 13 17
Session
Patient D während Mü-Training

imagined finger
movement
imagined tongue
movement
electrocorticogram
single neuron
firing rate
invasive
Types of BCIs
Sensorimotor
rhythm
.....
non-invasive
Amplitude [µV]
bottom target
Frequency [Hz]
top target
on off on off on
P300
Amplitude [µV]
-20
-10
0
10
20
slow cortical potentials
A....M
N....Z
30
0 1 2 3 4 5
Zeit [s]
37

Versuche mit Tieren
Aktivität im
motorischen
Cortex der Ratte
ersetzt
tatsächliche
Bewegung --
"Gedanke" an
Hebeldruck reicht
(Chapin et al. 1999)

ECoG Implantation

ECoG in a locked-in patient

ECoG : Vorläufige Ergebnisse
Bisher wurde BCI-Training bei 5 Epilepsiepatienten
und einer vollständig gelähmten Patientin
durchgeführt
Der Fortschritt der Leistung und die
Signalübertragungsrate sind generell
NICHT besser als mit EEG

Communication with pH modulation
Fig.1 pH electrode placed in the oral cavity inside the sulcus
between check and teeth.
Fig.2 pH electrode and digital pH meter

Communication with pH modulation
Patient A
0,20
0,16
***
with imagery of lemon
with imagery of milk
Patient A
Imagery of lemon
Imagery of milk
Salivary pH changes
0,12
0,08
0,04
0,00
-0,04
-0,08
***
Accuracy (%)
100
95
90
85
80
75
70
-0,12
65
-0,16
1 2 3 4 5 6
Sessions
-0,20
"Yes" Question
(n=18)
"No" Question
(n=18)
Agreement
(n=18)
Disagreement
(n=18)
Task

Wozu das eigentlich?
1 Kommunikation für Gelähmte
2 Prosthetik
3 .......?????
4 just for fun!

Das Locked-in-Syndrom
Ursachen
• Degenerative neurologische Erkrankungen wie
Amyotrophe Lateralsklerose (ALS)
• Schlaganfall
• Schädel-Hirn-Traumata
• Infantile Zerebralparese

Die längste Nachricht,
die mit bloßem Hirn geschrieben wurde
Neumann et al., Neuropsychologia, 2003

Mensch steuert FES
Video
Tom mit Graz BCI

BCI macht Spaß?