Kapitel 0: Grundbegriffe 0. Grundbegriffe 1. Endliche Automaten 2 ...

Kapitel 0: Grundbegriffe 

Gliederung 

0. Grundbegriffe 

1. Endliche Automaten 

2. Formale Sprachen 

3. Berechenbarkeitstheorie 

4. Komplexitätstheorie 

0/2, Folie 1 © 2013 Prof. Steffen Lange - HDa/FbI - Theoretische Informatik


Alphabete / Zeichenketten / Sprachen 

u Alphabet 

• Ein Alphabet Σ ist eine endliche Menge von Symbolen (/* Zeichen */). 

Σ = { a,b,c,...,z }; Σ 1 = { A,B,C,...,Z }; Σ 2 = { 0,1,...,9 } 

u Zeichenketten und ihre Länge 

• Eine Zeichenkette ist eine endliche Folge von Symbolen. 

anton (/* bzgl. Σ */), 123 (/* bzgl. Σ 2 */), ACHTUNG (/* bzgl. Σ 1 */) 

besondere Zeichenkette: ε (/* die leere Zeichenkette */) 

• Die Länge einer Zeichenkette u ist die Anzahl der Symbole von u. 

| anton | = 5 

| 123 | = 3 

| ε | = 0 




u Verkettung von zwei Zeichenketten 

• Das Ergebnis der Verkettung von zwei Zeichenketten u und v ist die 

Zeichenkette, die entsteht, wenn v an u angehängt wird. 

u Gebräuchliche Abkürzungen 

u = abc ; v = DEF ⇒ u°v = abc°DEF = abcDEF 

u 1 = aa ; v 1 = bb ⇒ u 1 °v 1 = aa°bb = aabb 

u 2 = aba; v 2 = ε ⇒ u 2 °v 2 = aba°ε = aba 

⇒ v 2 °u 2 = ε°aba = aba 

a 3 ⇒ aaa 

a 3 °b 3 bzw. a 3 b 3 ⇒ aaabbb 

a 2 °b 1 °c 2 bzw. a 2 b 1 c 2 ⇒ aabcc 




u Menge aller Zeichenketten (/* informell */) 

• Σ* ist die Menge aller Zeichenketten über dem Alphabet Σ. 

• es sei Σ = { a, b }; dann ist ... 

Σ* = { ε, a,b, aa,ab,ba,bb, 

aaa,...,bbb, aaaa,....,bbbb, 

... } 

... die Zeichenketten in Σ* sind „längen-lexikographisch“ aufgezählt 

... da in Σ* unendlich viele Zeichenketten vorkommen, kann man sie 

nicht „lexikographisch“ (/* wie etwa in einem Lexikon */) aufzählen 

(/* warum das wichtig ist, sehen Sie später */) 




u Menge aller Zeichenketten (/* formal; induktive Definition */) 

• es sei Σ das zugrunde liegende Alphabet 

• wir definieren für alle n ∈ N die Menge Σ n wie folgt: 

Induktionsanfang: Σ 0 = { ε } 

Induktionsschritt: Σ n+1 = { x°w | x ∈ Σ und w ∈ Σ n } 

(/* = { w°x | w ∈ Σ n und x ∈ Σ } */) 

• ... und verwenden Σ* als Abkürzung für: 

Σ* = ∪ Σ i (/* = Σ 0 ∪ Σ 1 ∪ Σ 2 ∪ ... */) 

i ∈ N 

... Σ* enthält alle Zeichenketten, die aufgrund von 

endlich vielen Anwendung des Induktionsschrittes 

aus den Zeichenkette in Σ 0 gebildet werden können 




u Präfix / Suffix (/* informell */) 

• Jedes Anfangsstück einer Zeichenkette u heißt Präfix von u. 

u = anton ⇒ ε, a, an, ant, anto, anton 

u 1 = 123 ⇒ ε, 1, 12, 123 

• Jedes Endstück einer Zeichenkette u heißt Suffix von u. 

u = anton ⇒ ε, n, on, ton, nton, anton 

u 1 = 123 ⇒ ε, 3, 23, 123 




u Präfix / Suffix (/* formal */) 

• es sei Σ das zugrunde liegende Alphabet 

• es sei u ∈ Σ* 

Eine Zeichenkette p ∈ Σ* ist ein Präfix von u, falls es eine Zeichenkette 

w ∈ Σ* mit p°w = u gibt. 

Eine Zeichenkette s ∈ Σ* ist ein Suffix von u, falls es eine Zeichenkette 

w ∈ Σ* mit w°s = u gibt. 




u Sprachen / Wörter 

• Jede Menge L ⊆ Σ* ist eine (/* formale */) Sprache. 

• Die Elemente einer Sprache nennt man Wörter. 

... mit solchen Sprachen werden wir uns in der ganzen Vorlesung intensiv 

beschäftigen 

... uns interessieren formale Sprachen, weil sie für Informatiker wichtig 

sind und „sehr einfache“ und „recht anschauliche“ Objekte sind (/* ... und 

man an allen Aspekten, die aus Sicht der Theoretischen Informatik 

relevant sind, vorbeikommt, wenn man sich mit ihnen beschäftigt */) 

... wir kümmern uns um unterschiedliche Möglichkeiten, formale Sprachen 

zu beschreiben, und diskutieren, ob und wie effizient man bestimmte 

(Klassen) von formalen Sprachen algorithmisch in den Griff bekommen 

kann 




u Aspekt „formale Sprachen sind für Informatiker wichtig“ (Teil 1) 

• die Menge aller „Quelltexte“ für Programme in einer von ihnen gewählten 

Programmiersprache, die sich mit einem Compiler für diese 

Programmsprache übersetzen lassen, bilden eine formale Sprache 

• die Menge aller „Quelltexte“ für Dokumente, die von einem der üblichen 

Internet-Browser dargestellt werden können, bilden eine formale Sprache 

• alle „Quelltexte“ für Dokumente, die sie mit einem herkömmlichen 

Textverarbeitungssystem verarbeiten können, bilden eine formale 

Sprache 

• ... 




u Aspekt „formale Sprachen algorithmisch in den Griff zu bekommen“ 

• es sei L eine formale Sprache über einem Alphabet Σ 

• dann kann man der Sprache L die wie folgt definierte Funktion f L (.) von 

der Menge Σ* in die Menge { 0,1 } zuordnen, wobei für alle Zeichenketten 

w ∈ Σ* gilt: 

• f L (w) = 1, falls w ∈ L gilt 

• f L (w) = 0, falls w ∉ L gilt 

... die L eindeutig zugeordnete Funktion f L (.) nennt man die 

charakteristische Funktion der Sprache L 

... die Sprache L bekommt man algorithmisch in den Griff, wenn 

man ein Programm angeben kann, das die charakteristische 

Funktion der Sprache L korrekt berechnet 




u Aspekt „formale Sprachen sind für Informatiker wichtig“ (Teil 2) 

• es sei irgendein algorithmisches Problem gegeben (und mit solchen 

beschäftigen wir uns ja als Informatiker) 

• dann gilt „grob“ gesagt folgendes: 

• man kann eine geeignete formale Sprache L definieren, so das 

die folgenden zwei Aufgabenstellungen äquivalent sind: 

• ein (effizientes) Programm anzugeben, mit dem man die 

charakteristische Funktion der Sprache L berechnen kann 

• einen (effizienten) Lösungsalgorithmus für das gegebene 

algorithmische Problem anzugeben 




u Beispiel (/* Problem der Existenz von Cliquen der Größe k */) 

... zur Erinnerung: es geht um folgendes algorithmische Problem 

zulässige Eingaben: • ein ungerichteter Graph G = (V,E) 

• eine Zahl k ∈ N 

zulässige Ausgaben: • die Zahlen 0 oder 1 

• die Zahl 1 soll ausgegeben werden, wenn 

es im Graphen G (mindestens) eine Clique 

der Größe größer gleich k gibt 

• die Zahl 0 soll ausgegeben werden, wenn 

es im Graphen G keine Clique der Größe 

größer gleich k gibt 




u Beispiel (/* Problem der Existenz von Cliquen der Größe k */) 

• Beschreibung von ungerichtete Graphen 

a 

b 

c 

w = #1#2#3#4#1-2#1-3#2-3#2-4#3-4# 

d 

... jedem ungerichteten Graph kann in analoger Weise eineindeutig 

eine Zeichenkette über dem Alphabet Σ = { #,0,1,...,9,- } zugeordnet 

werden 




u Beispiel (/* Problem der Existenz einer Clique der Größe k */) 

• es sei die Sprache L G ⊆ Σ* so gewählt, dass die Sprache L G genau 

diejenigen Zeichenketten aus Σ* enthält, die einen ungerichteten 

Graphen beschreiben 

• zu jedem k = 1,2,... sei die Sprache L k ⊆ L G derart gewählt, dass die 

Sprache L k diejenigen Zeichenketten aus L G enthält, die einen 

ungerichteten Graphen beschreiben, in dem es mindestens eine 

Clique der Größe k gibt 

... offenbar kann man jedes Programm, das die charakteristische 

Funktion der Sprache L k berechnet, als Lösungsalgorithmus für 

das interessierende graphentheoretische Problem verwenden 



Mengen / Relationen 

u Mengen 

• Eine Menge ist eine Zusammenfassung von Elementen. 

M = { n | n ∈ N und n mod 2 = 0 } 

M 1 = { v°111 | v ∈ Σ* }, wobei Σ = { 0,1 } gelte 

besondere Menge: ∅ 

u Teilmenge / Obermenge 

• A ⊆ B, d.h. jedes Element von A ist auch ein Element von B 

• A ⊇ B, d.h jedes Element von B ist auch ein Element von A 




u Durchschnitt / Vereinigung / Differenz / Potenzmenge 

A ∩ B 

• A ∪ B = { x | x ∈ A oder x ∈ B } 

• A ∩ B = { x | x ∈ A und x ∈ B } 

• A \ B = { x | x ∈ A und x ∉ B } 

• 2 A = { M | M ⊆ A } 

A ∪ B 

A 

B 

A 

A 

B 

B 

A \ B 

u Einfache Zusammenhänge 

• A ⊆ (A ∪ B), B ⊆ (A ∪ B) 

• (A ∩ B) ⊆ A, (A ∩ B) ⊆ B 

• (A \ B) ⊆ A 

• ∅ ∈ 2 A , A ∈ 2 A 




u Mächtigkeit von Mengen 

• zu einer Menge A bezeichnen wir mit |A| die Anzahl der Elemente 

der Menge A (/* d.h. die Mächtigkeit von A */) 

• es gibt endliche und unendliche Mengen 

• falls A eine endliche Menge ist, so enthält die Potenzmenge 2 A der 

Menge A genau 2 |A| viele Elemente (/* d.h. |2 A | = 2 |A| */) 

... bei unendlichen Mengen muß man ein wenig aufpassen 

... es gibt unendliche Mengen unterschiedlicher Mächtigkeit 




u Vergleich der Mächtigkeit von Mengen 

• es seien A und B Mengen 

• es gilt |A| = |B|, falls es gibt eine eineindeutige Abbildung f(.) der 

Menge A auf die Menge B 

A 

7 

5 

3 

f(.) 

B 

a 

b 

c 

• eine Menge A heißt abzählbar unendlich gdw. |A| = |N| gilt 

... dann gibt es auch eine eineindeutige Abbildung f(.) der 

Menge A auf die Menge N der natürlichen Zahlen 




u Beispiel und Begriff Aufzählung 

• es seien Σ = { a } und A = Σ* 

• wir betrachten die folgende eineindeutige Abbildung f(.) von A auf N 

mit: 

• f(ε) = 0 

• f(v°a) = f(v) + 1 für alle v ∈ Σ* 

... also ist die Menge A abzählbar unendlich 

• es sei f -1 (.) die Umkehrabbildung zu f(.) 

• dann nennen wir die unendliche Folge f -1 (0), f -1 (1), f -1 (2), ... eine 

Aufzählung der Menge A 

... in unserem Beispiel ist das die Folge ε,a,aa,aaa, ... 




u Beispiele für abzählbar unendliche Mengen 

• die Menge aller natürlichen Zahlen 

• die Menge aller nichtnegativen rationalen Zahlen 

• die Menge aller Zeichenketten über irgendeinem endlichen Alphabet 

• jede unendliche formale Sprache über irgendeinem endlichen Alphabet 

• ... 

u Beispiele für unendliche Mengen, die nicht abzählbar unendlich sind 

• die Menge aller reellen Zahlen 

• die Potenzmenge der natürlichen Zahlen 

• die Menge aller formalen Sprachen über irgendeinem endlichen 

Alphabet 

• ... 

... unendliche Mengen, die nicht abzählbar unendlich sind, 

nennt man überabzählbar unendliche Mengen 




u Ein Beispiel für eine überabzählbar unendliche Menge (/* mit Beweis */) 

• es sei N die Menge der natürlichen Zahlen 

• es sei 2 N die Potenzmenge der Menge N 

... wir werden uns überlegen, daß die Menge 2 N nicht abzählbar 

unendlich ist, d.h. es gibt mehr Teilmengen der natürlichen Zahlen 

als es natürliche Zahlen gibt 

wichtige Vorüberlegung: 

• es sei M irgendeine Teilenge der natürlichen Zahlen N 

• dann kann man der Menge M eindeutig einen unendlichen 0/1-Vektor 

r = ( r 0 ,r 1 ,r 2 ,... ) zuordnen 

M = { 0,1,2 } ⇒ r = ( 1,1,1,0,0,0,... ) 

M = { 0,2,4,... } ⇒ r = ( 1,0,1,0,1,0,... ) 





Annahme: die Potenzmenge 2 N sei aufzählbar 

• dann gibt es eine eineindeutige Abbildung f(.) von der Potenzmenge 2 N 

in die Menge der natürlichen Zahlen N 

• also ist die unendliche Folge f -1 (0), f -1 (1), f -1 (2), ... eine Aufzählung der 

Potenzmenge 2 N 

• um uns Schreibarbeit zu sparen, nennen wir die Menge f -1 (0) einfach 

M 0 , die Menge f -1 (1) einfach M 1 , die Menge f -1 (1) einfach M 2 , ... 

... um unsere Annahme zum Widerspruch zu führen, genügt es eine 

Teilmenge M ⊆ N anzugeben, die in der Aufzählung fehlt, d.h. für alle 

i = 0,1,2, ... muss gelten: M M i 





• zu jeder Menge M i in der angeblich existierenden Aufzählung der 

Potenzmenge 2 N bezeichnen wir mir r i = ( r i,0 ,r i,1 ,r i,2 ,... ) den dieser 

Menge M i zugeordneten unendlichen 0/1-Vektor 

• der der „fehlenden“ Menge M zugeordnete unendliche 0/1-Vektor 

r = ( r 0 ,r 1 ,r 2 ,... ) wird wie folgt definiert: 

• für alle i = 0,1,2, ... gilt: 

• r i = 1, falls r i,i = 0 (/* d.h. i ∈ M, falls i ∉ M i */) 

• r i = 0, falls r i,i = 1 (/* d.h. i ∉ M, falls i ∈ M i */) 





Illustration: 

0 1 2 3 4 ... 

M 0 

0 0 0 1 0 ... 

M 1 

1 1 1 1 1 ... 

M 2 

1 0 0 0 1 ... 

M 3 

0 0 0 0 1 ... 

M 4 

1 1 0 1 1 ... 

... ... 

0 1 2 3 4 ... 

M 1 0 1 1 0 ... 





• offenbar gilt per Definition der Menge M sofort M ⊆ N sowie: 

• M M 0 (/* da r 0 r 0,0 */) 

• M M 1 (/* da r 1 r 1,1 */) 

• M M 2 (/* da r 2 r 1,2 */) 

• ... 

• also fehlt die Menge M ⊆ N in der gemäß unserer Annahme gewählten 

Aufzählung M 0 ,M 1 ,M 2 , ... der Menge 2 N 

... die Idee zur Definition der „fehlenden“ Menge M ⊆ N nennt man 

Cantorsches Diagonalverfahren 

... mit derselben Idee kann man auch zeigen, dass die Menge aller 

formalen Sprachen über einem endlichen Alphabet nicht abzählbar 

unendlich ist (/* das ist für uns als Informatiker interessanter */) 




u Unterschiede zwischen abzählbar und überabzählbar unendlichen Mengen 

• es sei M eine abzählbar unendliche Menge 

Dann gilt: Jede unendliche Teilmenge M‘ von M ist abzählbar unendlich. 

• es sei M eine überabzählbar unendliche Menge 

Dann gilt: Jede unendliche Teilmenge M‘ von M ist entweder überabzählbar 

unendlich oder abzählbar unendlich. 




u binäre Relationen 

• Eine binäre Relation R über A und B ist eine Menge von geordneten 

Paaren, d.h. R ⊆ { (a,b) | a ∈ A und b ∈ B }. 

• aRb ist eine andere Schreibweise für (a,b) ∈ R 

• falls A = B gilt, so nennt man R eine Relation auf A 

u Beispiel 

... jeder Relation R auf A entspricht ein gerichteter Graph mit der 

Knotenmenge A 

A = { 0,1,2,3,4,5 } 

R = { (0,1),(0,3),(1,2),(1,3),(1,4),(1,5), 

(2,4),(2,5),(3,4),(4,5) } 

0 1 2 

3 

4 5 




u Reflexivität / Symmetrie / Transitivität 

• Eine Relation R auf A ist reflexiv gdw. für alle a ∈ A gilt: 

(a,a) ∈ R. 

• Eine Relation R auf A ist symmetrisch, falls für alle a,b ∈ A gilt: 

Wenn (a,b) ∈ R, so (b,a) ∈ R. 

• Eine Relation R auf A ist transitiv gdw. für alle a,b,c ∈ A gilt: 

Wenn (a,b) ∈ R und (b,c) ∈ R, so auch (a,c) ∈ R 




u Transitive Hülle 

• Die transitive Hülle Trans(R) einer Relation R über A ist die kleinste 

Relation mit folgenden Eigenschaften: 

• wenn (a,b) ∈ R, so (a,b) ∈ Trans(R) 

• wenn (a,b) ∈ Trans(R) und (b,c) ∈ Trans(R), so (a,c) ∈ Trans(R) 

... statt Trans(R) ist auch die Bezeichnung R + üblich 

u Reflexive Hülle 

• Die reflexive Hülle Refl(R) einer Relation R über A ist die wie folgt 

definierte Relation: Refl(R) = R ∪ { (a,a) | a ∈ A }. 




u Ein einfacher Zusammenhang 

• es sei R eine Relation R über A 

Dann gilt: Refl(Trans(R)) = Trans(Refl(R)). 

... es ist egal, ob man erst die transitive und dann die reflexive Hülle 

oder erst die reflexive und dann die transitive Hülle bildet 

u Reflexiv-transitive Hülle 

• Die reflexiv-transitive Hülle R* einer Relation R über A ist die wie folgt 

definierte Relation: R* = Refl(Trans(R)). 

... per Definition gilt: R* = R + ∪ { (a,a) | a ∈ A } 




u Beispiel 

A = { 0,1,2,3,4,5 } 

R = { (0,1),(0,3),(1,2),(1,3),(1,4),(1,5), 

(2,4),(2,5),(3,4),(4,5) } 

0 1 2 

3 

4 5 

R + = { (0,1),(0,3),(0,2),(0,4),(0,5), 

(1,2), (1,3),(1,4),(1,5),(2,4), 

(2,5),(3,4),(3,5),(4,5) } 

0 1 2 

3 

4 5

Kapitel 0: Grundbegriffe 0. Grundbegriffe 1. Endliche Automaten 2 ...

Erfolgreiche ePaper selbst erstellen

Template löschen?

Als Template speichern?