Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...

114 ANHANG A. MATHEMATISCHE WERKZEUGE
Aus ihr kann eine k-Massenverteilung konstuiert werden, indem p ′ i = p i/(1−p k+1 )
für i = 1, . . . , k gesetzt wird. Dann folgt,
∑k+1
p i f(x i ) = p k+1 f(x k+1 ) + (1 − p k+1 )
i=1
k∑
p ′ i f(x i)
i=1
≥ p k+1 f(x k+1 ) + (1 − p k+1 ) f(
≥ f(p k+1 x k+1 + (1 − p k+1 )
∑k+1
= f( p i x i ) .
i=1
k∑
p ′ i x i)
i=1
k∑
p ′ i x i)
i=1
(A.3)
Hierbei folgt die erste Ungleichung aus der Induktionshypothese und die zweite
aus der Voraussetzung, dass f convex ist.
Ist insbesondere f eine streng convexe Funktion, dann ist (A.3) eine echte
Ungleichung, und damit E [f(X)] > f(E [X]). Hieraus folgt, dass die Gleichheit
in Gl. (A.2) dann und nur dann gilt, wenn X fast sicher eine Konstante ist. ✷
Satz 2 (Log-Summen-Ungleichung) Für beliebige nichtnegative Zahlen
a 1 , . . . , a n und b 1 , . . . , b n gilt
(
n∑
n∑
)
a i log a ∑ n
i
i=1
≥ a i log
a i
∑
b n
i
i=1
i=1 b . (A.4)
i
i=1
Die Gleichheit ist dann und nur dann erfüllt, wenn a 1 /b 1 = . . . = a n /b n ist.
Beweis: Unter Einführung der Konventionen 0 log 0 = 0, a log(a/0) = ∞ falls
a > 0 und 0 log(0/0) = 0 kann ohne Beschränkung der Allgemeinheit angenommen
werden, dass a i > 0 und b i > 0 für i = 1, . . . , n ist.
Die Funktion f(t) = t log t, t > 0 ist streng convex, da f ′ (t) = log(t) + 1
und f ′′ (t) = 1/t > 0 für alle positiven t ist. Somit folgt aus der Jensenschen
Ungleichung [Bauer (1991), Billingsley (1995), Cover & Thomas (1991)] für die
diskreten Wahrscheinlichkeiten p i ≥ 0, ∑ n
i=1 p i = 1
n∑
n∑
p i f(t i ) ≥ f( p i t i ) .
i=1
Die Gleichheit gilt genau dann, wenn alle t i gleich sind. Wird nun p i = b i / ∑ n
i=1 b i
und t i = a i /b i gesetzt, so folgt
n∑
i=1
a
∑ i
n
i=1 b log a i
≥
i b i
n∑
i=1
i=1
a
∑ i
n
i=1 b log
i
n∑
i=1
a
∑ i
n
i=1 b .
i