Vectores Gaussianos e introducción a los procesos estocásticos. - Etb

Vectores Gaussianos e introducción a los procesos estocásticos.
Vectores Gaussianos e introducción a los procesos
estocásticos.
Diego A. Patino, M.Sc., Ph.D.
Pontificia Universidad Javeriana
1

Vectores Gaussianos e introducción a los procesos estocásticos.
1 Motivación
2 Vectores aleatorios gaussianos
3 Definición de procesos estocásticos
4 Caracterización de procesos estocásticos
2

Vectores Gaussianos e introducción a los procesos estocásticos.
Motivación
Motivación
Generalizar la fpd normal para un vector de variables
aleatorias.
Hasta ahora, procesos que no cambian en el tiempo:
Probabilidad. Cómo caracterizar un fenómeno aleatorio que
varia en el tiempo? ⇒ Procesos estocásticos.
Ejemplos: Señales de telecomunicación, señales biomédicas,
señales sísmicas, manchas solares año tras año, índice de la
bolsa segundo a segundo, tiempo de espera en cola de cada
uno de los usuarios que van llegando a una ventanilla, el clima.
3

Vectores Gaussianos e introducción a los procesos estocásticos.
Vectores aleatorios gaussianos
Vectores aleatorios gaussianos
Para una variable aleatoria x, la fpd gaussiana es N(m,σ 2 ) es:
f (x) =
1 (x−m)
e− 2
2
σ2 √
2πσ
Para un vector de variables aleatorias no correlacionado
x = [x1,... ,xn] T , entonces
f (x) =
e− 1
2 (x−m)T C −1 (x−m)
(2π) n/2√ detC
Donde C es la matriz de covarianzas.
Esta es la formulación general de la función de densidad de un
vector aleatorio gaussiano.
4

Vectores Gaussianos e introducción a los procesos estocásticos.
Vectores aleatorios gaussianos
Vectores aleatorios gaussianos
En general, un vector aleatorio X = [X1,... ,Xn] T es
gaussiano si todas las combinación lineales de sus
componentes
n
i=1
ciXi
resulta en una variable aleatoria gaussiana.
Del item anterior, se puede observar entonces que cualquier
subvector también es gaussiano. Entonces, todas las
combinaciones lineales de los componentes del subvector
[X1,X3,X5] T son gaussianas.
De ejercicios ya vistos, la suma de dos gaussianos es una
variable gaussiana. ⇒ Combinacion lineal de variables
gaussianas es una gaussiana.
5

Vectores Gaussianos e introducción a los procesos estocásticos.
Vectores aleatorios gaussianos
Vectores aleatorios gaussianos
Ejemplo: Sea X un vector aleatorio Gaussiano de tamaño 5 y
matriz de covarianza:
⎡
1 3 7 10
⎤
5
⎢ 3
⎢ 7
⎣10
10 17 9 15 ⎥
17 6 16 13 ⎥
9 16 60 53⎦
5 15 13 53 40
Encontrar la matriz de covarianzas de [X1,X3,X5] T
6

Vectores Gaussianos e introducción a los procesos estocásticos.
Vectores aleatorios gaussianos
Vectores aleatorios gaussianos
Si X es un vector aleatorio gaussiano, entonces AX + b para
cualquier matrix A [r × n] y cualquier vector B [r] también es
gaussiano:
X ∼ N(m,C) ⇒ AX + b ∼ N(Am + b,ACA T )
Entonces si X es Gaussiano, Y = AX también es Gaussiano.
Si Y es gaussiano, X es necesariamente Gaussiano?
7

Vectores Gaussianos e introducción a los procesos estocásticos.
Vectores aleatorios gaussianos
Vectores aleatorios gaussianos
Si X es un vector aleatorio gaussiano, entonces AX + b para
cualquier matrix A [r × n] y cualquier vector B [r] también es
gaussiano:
X ∼ N(m,C) ⇒ AX + b ∼ N(Am + b,ACA T )
Entonces si X es Gaussiano, Y = AX también es Gaussiano.
Si Y es gaussiano, X es necesariamente Gaussiano?
NO!
8

Vectores Gaussianos e introducción a los procesos estocásticos.
Vectores aleatorios gaussianos
Función característica de un vector gaussiano
Si X ∼ N(m,C) (vector aleatorio), su función característica
conjunta esta dada por:
ΦX(ν) = e jνT m−ν T Cν/2
Donde ν = [ν1,ν2,... ,νn] T .
PROBAR!
Calculemos la función característica cuando C es diagonal.
9

Vectores Gaussianos e introducción a los procesos estocásticos.
Vectores aleatorios gaussianos
Función característica de un vector gaussiano
Suponga la siguiente matriz de covarianzas (σ 2 i = Cii = var(Xi)):
entonces,
por lo tanto:
⎡
σ
⎢
C = ⎢
⎣
2 1 0 ... 0
0 σ2 ⎤
2 ... 0 ⎥
.
. . ..
⎥
. ⎦
0 0 ... σ 2 n
ν T Cν =
ΦX(ν) = e jνT m−ν T Cν/2 =
n
i=1
n
i=1
σ 2 i ν 2 i
e jνimi −σ 2 i ν2 i /2 =
n
i=1
ΦXi (νi)
10

Vectores Gaussianos e introducción a los procesos estocásticos.
Vectores aleatorios gaussianos
Función característica de un vector gaussiano
El resultado anterior quiere decir que variables aleatorias
gaussianas independientes implican que no estan
correlacionadas.
Esta afirmación es cierta para todo tipo de variables
aleatorias?
11

Vectores Gaussianos e introducción a los procesos estocásticos.
Vectores aleatorios gaussianos
Función característica de un vector gaussiano
El resultado anterior quiere decir que variables aleatorias
gaussianas independientes implican que no estan
correlacionadas.
Esta afirmación es cierta para todo tipo de variables
aleatorias?
NO. SOLAMENTE ES CIERTO PARA LAS GAUSSIANAS.
Ejemplo: Considerese X ∼ Uniforme(−1,1) y Y = X 2 . X y
Y NO son independientes, pero si son no correlacionados.
Independencia ⇒ No correlación.
No correlación Independencia.
12

Vectores Gaussianos e introducción a los procesos estocásticos.
Vectores aleatorios gaussianos
Esperanza condicional de vectores gaussianos
Si X y Y son vectores aleatorios [X T ,Y T ] T es un vector
aleatorio gaussiano, entonces
Donde ACY = CXY .
E[X |Y = y] = A(Y − mY ) + mX
Entonces, cuando X y Y son conjuntamente gaussianos, el
estimador MMSE es igual al estimador lineal MMSE.
13

Vectores Gaussianos e introducción a los procesos estocásticos.
Vectores aleatorios gaussianos
Probabilidad condicional de vectores gaussianos
Si [X T ,Y T ] T es un vector aleatorio Gaussiano, entonces dado
Y = y.
X ∼ N(E[X |Y = y],C X |Y)
donde CX |Y = CX − ACYX, E[X |Y = y] = A(y − mY ) + mX
y ACY = CXY . Si C −1
X |Y existe, entonces:
g(y) = E[X |Y = y]
fX |Y(x|y) = e
“
− 1
2 (x−g(y))T C −1
X |Y (x−g(y))
”
(2π) n/2detCX |Y
14

Vectores Gaussianos e introducción a los procesos estocásticos.
Vectores aleatorios gaussianos
Probabilidad condicional de vectores gaussianos
Ejemplo: Suponga una señal X ∼ N(0,1) se transmite en un canal
ruidoso. La medida del receptor es Y = X + W , W ∼ N(0,σ 2 ) es
independiente de X. Encontrar E[X |Y = y] y f X |Y(x|y)
15

Vectores Gaussianos e introducción a los procesos estocásticos.
Definición de procesos estocásticos
Introducción de procesos estocásticos
Un proceso estocástico (proceso aleatorio) es una familia de
variables aleatorias
En principio, esta definición se refiere a una familia finita de
variables aleatorias tales como {X,Y ,Z }.
En practica, los procesos estocásticos se refieren a familias
infinitas. Se trabaja con una cantidad infinita de variables
aleatorias.
Ejemplos: Enviar bits sobre un canal wireless donde no hay un
conjunto determinado de datos.
La potencia de la señal en un receptor de teléfono celular varia
continuamente en el tiempo aleatoriamente dependiendo de la
ubicación.
16

Vectores Gaussianos e introducción a los procesos estocásticos.
Definición de procesos estocásticos
Procesos en tiempo discreto
Un proceso aleatorio en tiempo discreto es una familia de
variables aleatorias {Xi} donde i ∈ Z.
{Xi,i = 1,2,...}, {Xi,i = 0,1,2,...}
Espacio muestral
Ω
Espacio muestral
X(ζ) = x
Variable aleatoria
Xi(ζ)
Proceso estocástico
17

Vectores Gaussianos e introducción a los procesos estocásticos.
Definición de procesos estocásticos
Procesos en tiempo discreto
Para un ζ fijo, entonces se puede obtener una secuencia
X1(ζ),X2(ζ),X3(ζ),.... Tal secuencia de variables aleatorias se
conoce como realización, o función muestral de un proceso
estocástico.
Ejemplo: (Bits enviados en un canal ruidoso). Al enviar una
secuencia de bits en un canal ruidoso, los bits llegan
independientemente e invertidos con probabilidad p. Sea Xi = 1 si
el i-ésimo bit está invertido y Xi = 0 de otra manera. Entonces
{Xi,i = 1,2,...} es una secuencia independiente de Bernoulli(p).
18

Vectores Gaussianos e introducción a los procesos estocásticos.
Definición de procesos estocásticos
Procesos en tiempo discreto
1
0.5
0
1
0.5
0
1
0.5
0
0 5 10 15 20 25
0 5 10 15 20 25
0 5 10 15 20 25
19

Vectores Gaussianos e introducción a los procesos estocásticos.
Definición de procesos estocásticos
Procesos en tiempo discreto
Ejemplo: Considere el amplificador de un radio-receptor. Todos los
amplificadores generan internamente ruido térmico. Entonces, aún
si el radio no está recibiendo ninguna señal, el voltaje a la salida
del amplificador no es cero. Este generalmente se se puede modela
como una variable Gaussiana cada vez que se toma una medida.
Suponga que medimos este voltaje cada segundo y denote la
medida i-ésima como Zi.
20

Vectores Gaussianos e introducción a los procesos estocásticos.
Definición de procesos estocásticos
Procesos en tiempo discreto
2
0
−2
2
0
−2
2
0
−2
5 10 15 20 25
5 10 15 20 25
5 10 15 20 25
21

Vectores Gaussianos e introducción a los procesos estocásticos.
Definición de procesos estocásticos
Procesos en tiempo continuo
Un proceso estocástico en tiempo continuo es una familia de
variables aleatorias X(t,ζ) donde t es un rango de tiempo
específico.
Espacio muestral
Ω
Espacio muestral
X(ζ) = x
Variable aleatoria
X(t,ζ)
Proceso estocástico
22

Vectores Gaussianos e introducción a los procesos estocásticos.
Definición de procesos estocásticos
Procesos en tiempo continuo
El proceso estocástico significa que cada resultado ζ de un
experimento se asigna una función del tiempo x(t).
Ejemplo: La variable aleatoria definida por:
X(t,ζ) = A(ζ)sinωt, t ≥ 0
Cada resultado de ζ del experimento, dentro del espacio
muestral Ω corresponde una función senosoidal con amplidud
diferente.
23

Vectores Gaussianos e introducción a los procesos estocásticos.
Definición de procesos estocásticos
Procesos en tiempo continuo
X(t,ζ)
1
0.5
0
−0.5
−1
1
2
3
ζ
4
5 0
x(t,ζ)=x(t)
0.5
t
1
1.5
2
24

Vectores Gaussianos e introducción a los procesos estocásticos.
Definición de procesos estocásticos
Procesos en tiempo continuo
x(t,ζ)
0.8
0.6
0.4
0.2
0
−0.2
−0.4
−0.6
x(t 1 ,ζ)
−0.8
0 0.2 0.4 0.6 0.8 1
t
1.2 1.4 1.6 1.8 2
25

Vectores Gaussianos e introducción a los procesos estocásticos.
Definición de procesos estocásticos
Procesos en tiempo continuo
Ejemplo: Considerese el proceso estocástico definido por:
X(t,ζ) = A(ζ)sinωt
Siendo A(ζ) ∼ uniforme(−1,1). Hallar la función de densidad de
X(t0,ζ).
Ejemplo: Considerese el proceso estocástico definido por:
X(t,θ) = cos(2πt + θ), −∞ < t < ∞
En donde θ es una variable uniformemente distribuida en (0,2π).
Hallar la función de densidad del proceso fX(x)
26

Vectores Gaussianos e introducción a los procesos estocásticos.
Definición de procesos estocásticos
Procesos en tiempo continuo (Movimiento Browniano o
proceso de Wiener)
Ejemplo: En 1827, Robert Brown observó que pequeñas partículas
en un líquido se mueven continuamente y siguen caminos
aleatorios. Los caminos posibles se denominan movimiento
Browniano.
27

Vectores Gaussianos e introducción a los procesos estocásticos.
Caracterización de procesos estocásticos
Caracterización de procesos estocásticos
Para una variable aleatoria X, si se conoce la fdp se puede
encontrar P[x ∈ B], E[g(X)] para cualquier conjunto B o
función g. De igual manera para dos variables aleatorias.
Kolmogorov mostró que un proceso estocástico X(t,ζ) es
completamente caracterízado cuando se puede calcular:
1 ≤ i < ∞ P[X(t1,ζ),X(t2,ζ),...,X(tn,ζ) ∈ B]
para conjuntos B arbitrarios y tiempos diferentes t1,... ,tn.
Esto no solo requiere estimar las funciones de densidad
conjunta, también estimar fX1 (x1), fX1X2 (x1,x2),
fX1X2X3 (x1,x2,x3).
28

Vectores Gaussianos e introducción a los procesos estocásticos.
Caracterización de procesos estocásticos
Caracterización de procesos estocásticos
Para un valor específico de t, X(t,ζ) es una variable aleatoria.
Entonces la fdp del proceso depende del tiempo. Para dos instantes
dados de tiempo t1 y t2:
FX(x;t) = P[X(t) ≤ x], fX(x;t) = ∂F(x;t)
∂x
La funcion conjunta (de segundo orden) es entonces:
F(x1,x2;t1,t2) = P[X(t1) ≤ x1,X(t2) ≤ x2]
y la función de densidad:
f (x1,x2;t1,t2) = ∂2 F(x1,x2;t1,t2)
∂x1∂x2
29

Vectores Gaussianos e introducción a los procesos estocásticos.
Caracterización de procesos estocásticos
Caracterización de procesos estocásticos
Entonces, las marginales son:
y la condicional:
fx1,t1 =
fx2,t2 =
∞
−∞
∞
−∞
f (x1,t1|x2,t2) =
f (x1,x2;t1,t2)dx2
f (x1,x2;t1,t2)dx1
f (x1,x2;t1,t2)
f (x2;t2)
Es muy díficil caracterizar un procesos estócastico con las
funciones de densidad
30

Vectores Gaussianos e introducción a los procesos estocásticos.
Caracterización de procesos estocásticos
Caracterización de procesos estocásticos
Es muy común caracterizarlo mediante los momentos.
Si X(t) es un proceso estocástico, entonces la función de
media
mX(t) = E[X(t)]
Si X(t1,ζ) y X(t2) son dos variables aleatorias de un proceso
X(t,ζ) entonces su correlación:
RX(t1,t2) = E[X(t1)X(t2)]
31

Vectores Gaussianos e introducción a los procesos estocásticos.
Caracterización de procesos estocásticos
Caracterización de procesos estocásticos
Ejemplo: En un sistema de comunicaciones, la portadora en el
receptor se modela como x(t) = cos(2πft + θ),
θ ∼ uniforme(−π,π). Encontrar la función de media y la función
de correlación de x(t).
Ejemplo: Encontrar la función de correlación de:
Xn = Z1 + ... + Zn, n = 1,2,...
si los Zi tienen media 0 y no están correlacionados. La varianza de
todas las variables es igual, i.e., σ 2 = var(Zi), ∀i
32

Vectores Gaussianos e introducción a los procesos estocásticos.
Caracterización de procesos estocásticos
Caracterización de procesos estocásticos
Ejemplo: Sea p y q dos variables aleatorias que satisfacen la
ecuación diferencial de primer orden
p dx
dt
Halle la función de densidad de x
+ qx(t) = 0.
Ejemplo: Considere el proceso estocástico X(t) de la forma
X(t) = A cos(100t + φ), A ∼ N(0,1) y φ ∼ U(−π,π). Hallar
E[X(t)] y RXX(t1,t2).
33