Faktorenanalyse

Dimensionsreduzierende Verfahren
Liegen Datensätze mit vielen Merkmalen (Variablen) – also
hochdimensionale Datensätze – vor, so stellt sich die
Frage, ob die wesentlichen Informationen, die diese Daten
enthalten, auch mit Hilfe von Datensätzen mit wenigen
Merkmalen – also niedrigdimensionalen Datensätzen –
dargestellt werden können.
Ein anderer Aspekt der Dimensionsreduktion ist die Suche
nach latenten Variablen/Merkmalen, die selbst nicht
direkt erhoben/beobachtet werden können und die in der
Lage sind, die wesentlichen in den Daten vorliegenden
Strukturen (Abhängigkeiten!) möglichst einfach zu erklären.
1

Beispiele:
– ALLBUS–Umfrage: Es liegt eine Vielzahl von Merkmalen
vor und die Daten weisen Strukturen auf, die sich u.a. in
Abhängigkeiten zwischen Gruppen von Merkmalen
widerspiegeln.
Frage: Kann das Antwortverhalten auf gewisse
Fragekomplexe auf wenige, evtl. nicht direkt beobachtbare
Merkmale (z.B. Feindlichkeit gegenüber AusländerInnen,
Politikverdrossenheit, Bildungsniveau) zurückgeführt
werden?
2

– Im Zusammenhang mit Intelligenztests (z.B. Eignungstests)
werden viele verschiedene Einzeltests durchgeführt,
die untereinander stark korrelieren.
Frage: Ist das Leistungsvermögen der Testpersonen auf
wenige, nicht direkt messbare (latente), evtl.
untereinander weitgehend unabhängige Merkmale wie z.B.
mathematische, sprachliche Intelligenz, Merkfähigkeit oder
räumliches Vorstellungsvermögen rückführbar?
3

– Beim Zehnkampf der Olympischen Spielen in Seoul 1988
mit 34 Startern, wurden deren Leistungen
(=Variablen/Merkmale) in den jeweiligen Disziplinen
erhoben.
Frage: Ist eine Charakterisierung des Leistungsvermögens
durch wenige, latente Variablen wie z.B. Schnellkraft,
Ausdauer oder Koordinationsvermögen möglich?
4

In Abhängigkeit vom Skalenniveau der einbezogenen
Merkmale und der Art, wie Strukturen (z.B. Ähnlichkeit,
Abhängigkeit) definiert werden, kommen verschiedene
dimensionsreduzierende Verfahren zum Einsatz, wie z.B.:
– Faktorenanalyse,
– Korrespondenzanalyse oder
– multidimensionale Skalierung.
5

Faktorenanalyse
Die Faktorenanalyse ist ein Verfahren zur Datenreduktion
und zur Ermittlung erklärender latenter Variablen für
hochdimensionale Datensätze mit beobachtbaren metrischen
Variablen, die untereinander hinreichend stark korreliert
(linear abhängig) sind.
6

Ausgangspunkt: Vielzahl von (untereinander korrelierten)
metrischen Variablen X 1 , . . . , X k
Korrelationsmatrix (Tabelle der Korrelationskoeffizienten
nach Pearson):
⎛
⎞
r(X 1 , X 1 ) . . . r(X 1 , X j ) . . . r(X 1 , X k )
.
.
.
r(X i , X 1 ) . . . r(X i , X j ) . . . r(X i , X k )
⎜ .
.
. ⎟
⎝
⎠
r(X k , X 1 ) . . . r(X k , X j ) . . . r(X k , X k )
7

Es gilt:
– r(X i , X i ) = 1 (d.h., auf der Diagonalen stehen Einsen)
– r(X i , X j ) = r(X j , X i ) (d.h., die Matrix ist symmetrisch)
– Sind X i und X j linear unabhängig, dann gilt
r(X i , X j ) = 0.
Bemerkung:
Die symmetrische Matrix der Korrelationskoeffizienten oder
die entsprechende Kovarianzmatrix beschreibt bei der
Faktorenanalyse die Ähnlichkeit/Unähnlichkeit von Variablen
(Merkmalen). Grundlage der Analyse sind also die linearen
Abhängigkeiten zwischen den erhobenen Variablen
(Merkmalen).
8

Mögliche Ursachen für Korrelationen zwischen zwei Variablen
X 1 und X 2 :
– Die Variable X 1 ist von der Variablen X 2 abhängig, oder
umgekehrt.
– Beide Variablen X 1 und X 2 hängen von einer dritten
Variablen F (Faktor, Komponente, latente Variable) ab
(→ Faktorenanalyse).
Modellvorstellung der Faktorenanalyse:
Wenige, nicht direkt beobachtbare (latente) Faktoren
beeinflussen die vielen beobachteten Variablen und erzeugen
dabei die registrierten Abhängigkeiten zwischen diesen
beobachtbaren Variablen.
9

Beispiel: Zehnkampf
Durch Inspektion der Korrelationsmatrix oder der Matrix
von Streudiagrammen ist eine Gruppenbildung (Bündelung
von Variablen) ablesbar:
– Lauf/Sprint und Weitsprung
– Wurf und Stoß
– Hochsprung (isoliert)
– Stabhochsprung (komplexe Abhängigkeiten)
10

Ziel:
Zurückführen der registrierten Abhängigkeiten auf einige
wenige, fiktive Variablen (Faktoren, latente gemeinsame
Ursachenkomplexe), die
– untereinander unkorreliert sein sollen,
– einen möglichst großen Teil der Varianz aller beobachteten
Variablen erklären können (wenig Informationsverlust).
11

Problem: Bei unterschiedlichen Maßstäben ergeben sich sehr
unterschiedliche Größenordnungen bei den Varianzen der
einbezogenen Variablen, daher ggf. Standardisieren
x i − ¯x
s
der Variablen (Daten) auf Mittelwert Null, Varianz Eins und
Verwenden dieser transformierten Variablen in der
Faktorenanalyse.
Hinweis: Die Verwendung standardisierter Variablen
entspricht der Verwendung der Korrelationsmatrix (und nicht
der Kovarianzmatrix) zur Beschreibung der Ähnlichkeit
zwischen Variablen.
12

Modell der Faktorenanalyse:
X 1 = a 11 F 1 + a 12 F 2 + . . . + a 1m F m + E 1
X 2 = a 21 F 1 + a 22 F 2 + . . . + a 2m F m + E 2
.
.
.
.
.
X k = a k1 F 1 + a k2 F 2 + . . . + a km F m + E k
X 1 ,. . . ,X k : beobachtbare (standardisierte) Variablen
F 1 ,. . . ,F m : fiktive, unkorrelierte Merkmale (Faktoren,
Komponenten) mit unbekannter Anzahl m < k
a 11 ,. . . ,a nm : reelle Koeffizienten (Faktorladungen)
E 1 ,. . . ,E k : variablenspezifische Reste (einschließlich
Messfehler)
13

Zwischen den vielen“ beobachteten (evtl. standardisierten)
”
Variablen und den wenigen“ nicht beobachtbaren
”
unkorrelierten Faktoren bestehen also lineare Beziehungen,
die die Abhängigkeiten (Korrelationen) zwischen den
beobachteten Variablen im wesentlichen erklären können.
Als mathematisches Verfahren zur Schätzung dieses Modells
aus den Daten verwenden wir die Hauptkomponentenanalyse
(PCA – principal component analysis).
14

Bei der PCA werden zunächst bis zu k unkorrelierte Faktoren
(Hauptkomponenten) aus den Daten bestimmt
(Extraktion der Faktoren; zunächst ohne
Dimensionsreduktion).
Geometrisch entspricht dies der Wahl eines neuen
Koordinatensystems, dessen Basis die Faktoren sind.
Neben den Faktoren werden die Koeffizienten a ij des Modells
der Faktorenanalyse geschätzt.
15

Die Hauptkomponenten liegen in geordneter Form vor. Die
erste Hauptkomponente hat die größte Bedeutung für die
Erklärung der Gesamtvarianz (Summe der Varianzen der
beobachteten Variablen), die zweite die zweitgrößte usw.
(siehe Eigenwerte).
Man entscheidet sich daher in Abhängigkeit von der durch
das Modell erklärten Gesamtvarianz für die Verwendung der
ersten m (m < k) Hauptkomponenten.
Die nicht erklärbare Varianz wird dann durch die
variablenspezifischen Reste (das sind Linearkombinationen
der nicht für das Modell berücksichtigten
Hauptkomponenten) beschrieben.
16

Hinweis:
Ist die Anzahl der ermittelbaren Hauptkomponenten kleiner
als k, dann liegen die beobachteten Daten nicht in einem
k–dimensionalen Raum, sondern in einem Raum kleinerer
Dimension. Dessen Dimension ˜k entspricht der Zahl der
maximal ermittelbaren Hauptkomponenten. In diesem Fall
bestehen zwischen den k beobachteten Variablen und den ˜k
ermittelten Hauptkomponenten k lineare Gleichungen, wobei
die variablenspezifischen Reste entfallen (siehe Modell der
Faktorenanalyse). D.h., (einzelne) beobachtbare Variablen
(im Datensatz) lassen sich exakt durch andere (linear)
erklären. Es liegt also strenge Redundanz in den Daten vor.
17

Bemerkung: Es gibt weitere Methoden zur Extraktion von
Faktoren bzw. zur Schätzung der Koeffizienten a ij und auch
andere Modelle der Faktorenanalyse (→ Literatur: z.B.
Maximum–Likelihood–Schätzungen bei
Normalverteilungsannahmen).
18

Bedeutung der Größen und Bezeichnungen
Faktorladungen:
r(X i , F j ) = a ij − 1 ≤ a ij ≤ 1
|a ij | groß heißt: ”Faktor F j erklärt viel von X i ”.
Eigenwert:
Zu jeder Hauptkomponente (Faktor) beschreibt der
zugehörige Eigenwert, wie viel von der Gesamtvarianz im
Datensatz durch die entsprechende Hauptkomponente erklärt
wird.
19

Extraktion:
Auswahl der Hauptkomponenten (Faktoren) mit den größten
Eigenwerten (z.B. > 1) so,
– dass die Anzahl der Hauptkomponenten möglichst klein
ist,
– und damit die Summe der zugehörigen Eigenwerte
möglichst groß wird.
Das entspricht einer Projektion der Daten in einen Raum
kleinerer Dimension.
Beispiel (Zehnkampf): ̂m = 2, Summe der ersten beiden
Eigenwerte entspricht einem erklärten Anteil an der
Gesamtvarianz von 71.034%.
20

Kommunalitäten:
Anteile der Varianz jeder einzelnen Variablen X i , die durch
die (extrahierten) Faktoren und damit das gewählte Modell
erklärt werden (multiples Bestimmtheitsmaß)
Kommunalität von X i :
Rotation:
̂m∑
a 2 ij
j=1
Aus den ̂m ermittelten Faktoren kann man ̂m neue Faktoren
bilden, die
– ebenfalls unkorreliert sind und
– den gleichen Anteil an der Gesamtvarianz erklären.
Das entspricht einer Drehung (Rotation) des
Koordinatensystems des ̂m–dimensionalen Unterraums.
21

Ziel der Rotation: Einfachstruktur
Die Variablen bilden Gruppen, derart dass die Variablen in
jeder Gruppe mit einigen Faktoren stark und mit den
anderen schwach korreliert sind (Bündel von Variablen
”gehören” zu entsprechenden Faktoren).
Dies bietet die Möglichkeit der Interpretation der Faktoren
durch Gemeinsamkeiten der Variablen/Merkmale in den
entsprechenden Gruppen. Diese Interpretation ist im
allgemeinen ein schwieriges inhaltliches Problem der
Fachwissenschaft.
Die bekannteste Methode zur Rotation ist Varimax.
Es existieren auch andere Methoden, die zum Teil zu nicht
mehr orthogonalen Faktoren führen.
22

Bemerkung:
Hauptkomponenten werden z.B. auch an Stelle von
korrelierten Einflussgrößen in multiplen linearen
Regressionsmodellen verwendet. Die Koeffizienten derartiger
Regressionsmodelle lassen sich dann wesentlich einfacher
interpretieren, da diese neuen Einflussgrößen unkorreliert
sind.
23