Clase 4 - Pedeciba

Procesos aleatorios Ejemplos Cadenas de MarkovMaestría en BioinformáticaProbabilidad y Estadística: Clase 4Gustavo Guerberoffgguerber@fing.edu.uyFacultad de IngenieríaUniversidad de la RepúblicaAbril de 2010

Procesos aleatorios Ejemplos Cadenas de MarkovProcesos aleatoriosInformalmente hablando, un proceso aleatorio se obtienecuando se repite un experimento aleatorio.Ejemplo: Tiramos una moneda sucesivas veces y registramoslos resultados:C C N C N N C N N N C N C N N N C C...Este es un proceso aleatorio independiente, ya que lasvariables aleatorias X i , i = 1, 2, . . ., que registran los sucesivosresultados de tirar la moneda, son independientes. (Podemospensar que estamos codificando la secuencia de tiradasdefiniendo X i = 1 si en la tirada i sale Cara, X i = 0 si en latirada i sale Número).

Procesos aleatorios Ejemplos Cadenas de MarkovPara introducir la definición general comenzamos considerandoel Espacio de estados:DefiniciónEl Espacio de estados, E = {s 1 , s 2 , . . . , s r }, es el conjunto deposibles valores que puede tomar cada una de las variablesaleatorias que definen el proceso.Observación: A lo largo del curso supondremos que elconjunto E es discreto (con una cantidad finita o infinita deelementos).DefiniciónUn Proceso aleatorio (en tiempo discreto) con espacio deestados E es una sucesión de variables aleatorias{X n : n = 0, 1, 2, . . .}, donde X n ∈ E para cada n ≥ 0.

Procesos aleatorios Ejemplos Cadenas de MarkovComentarios:A la variable X 0 se le llama Estado inicial del proceso.Decimos que los procesos están definidos a tiempodiscreto porque el índice n (el tiempo) toma valores en elconjunto de enteros no negativos. Sin embargo no siempreeste índice representa al tiempo: por ejemplo, las variables{X n } pueden caracterizar los nucleótidos en una cadenade ADN, y en tal caso el índice n representa los sitios de lacadena. Más adelante estudiaremos algunos procesos entiempo continuo.

Procesos aleatorios Ejemplos Cadenas de MarkovEjemplos1) La caminata del borracho con barreras absorbentes:Consideremos el espacio de estados E = {0, 1, 2, 3, 4, 5, 6, 7}.Cada uno de esos estados representa una esquina en unaciudad unidimensional. Consideremos un borracho que caminaaleatoriamente en esta ciudad de acuerdo con las siguientesreglas:Si en el tiempo n el borracho se encuentra en alguna delas esquinas intermedias, {1, 2, 3, 4, 5, 6}, entonces en eltiempo n + 1 avanza una cuadra con probabilidad 1 2 oretrocede una cuadra con probabilidad 1 2 .Toda vez que el borracho alcanza la esquina 0 (quecorresponde a su casa) o la esquina 7 (que corresponde aun bar), allí se queda. Decimos que 0 y 7 son estadosabsorbentes.El proceso {X n } registra las sucesivas esquinas por las quepasa el borracho.

Procesos aleatorios Ejemplos Cadenas de Markov2) La caminata del borracho con barreras reflectantes:Igual que en el ejemplo anterior, E = {0, 1, 2, 3, 4, 5, 6, 7}.Consideremos ahora que el borracho camina aleatoriamentede acuerdo con las siguientes reglas:Si en el tiempo n el borracho se encuentra en alguna delas esquinas intermedias, {1, 2, 3, 4, 5, 6}, entonces en eltiempo n + 1 avanza una cuadra con probabilidad 1 2 oretrocede una cuadra con probabilidad 1 2 .Toda vez que el borracho alcanza la esquina 0 esempujado hacia el estado 1 y toda vez que alcanza laesquina 7 es empujado hacia el estado 6. Decimos ahoraque 0 y 7 son estados reflectantes.

Procesos aleatorios Ejemplos Cadenas de MarkovAl estudiar este tipo de problemas surgen naturalmente unaserie de preguntas:En el Ejemplo 1: ¿Cuál es la probabilidad de que elsistema sea absorbido por el estado 0 antes de serabsorbido por el estado 7?En el Ejemplo 1: ¿Cuánto tiempo transcurre, en promedio,hasta que el sistema llega a un estado absorbente?En el Ejemplo 1: ¿Cuánto tiempo, en promedio, pasa elsistema en cada uno de los estados transitorios?En el Ejemplo 2: ¿Cómo se comporta el sistema cuandon → ∞?En el Ejemplo 2: ¿Cuánto tiempo, en promedio, pasa elsistema en cada uno de los estados?Estas y otras cuestiones serán analizadas en las próximasclases.

Procesos aleatorios Ejemplos Cadenas de Markov3) La ruina del apostador: Consideremos el conjuntoE = {0, 1, 2, . . . , G}, con G fijo, donde cada estado representael posible capital de un apostador que juega en un casino.Supongamos que la probabilidad de ganar en una apuesta esp y que la probabilidad de perder es q = 1 − p; suponemos queen cada apuesta el jugador gana o pierde una unidad dedinero. La variable X n registra el capital del apostador al tiempon. El proceso se define como sigue:Si en el tiempo n el capital es un número del conjunto{1, 2, 3, . . . , G − 1}, entonces en el tiempo n + 1 el capitaldel apostador aumenta una unidad con probabilidad p odisminuye una unidad con probabilidad q.El apostador deja de apostar cuando alcanza la gananciaG ó cuando su capital es 0. Estos estados pueden versecomo estados absorbentes.

Procesos aleatorios Ejemplos Cadenas de MarkovEjemplo de cálculo de las probabilidades de absorción:Denotamos: w j = probabilidad de que el jugador llegue a ganarG (antes de perder todo) si comienza con una ganancia inicialj.Las cantidades w 0 , w 1 , w 2 , . . . , w G satisfacen el siguientesistema de ecuaciones lineales:w j = pw j+1 + qw j−1 , para j = 1, 2, . . . , G − 1.w 0 = 0.w G = 1.Resolviendo ese sistema de ecuaciones y usando lascondiciones de contorno se obtiene:Caso 1: Si p = q = 1 2 , entonces: w j = j G, para cadaj = 1, 2, . . . , G − 1.Caso 2: Si p ≠ q, entonces: w j = (q/p)j −1, para cada(q/p) G −1j = 1, 2, . . . , G − 1.

Procesos aleatorios Ejemplos Cadenas de Markov4) Paseo aleatorio en Z: El espacio de estados es Z y ladinámica del proceso se define de la siguiente manera: Dado elestado al tiempo n, en el tiempo n + 1 el sistema avanza unaunidad con probabilidad 1 2 ó retrocede una unidad conprobabilidad 1 25) Paseo aleatorio en Z 2 : El espacio de estados es Z 2 y ladinámica del proceso se define de la siguiente manera: Dado elestado al tiempo n, en el tiempo n + 1 el sistema se desplazauna unidad hacia adelante ó hacia atrás ó hacia arriba ó haciaabajo con igual probabilidad ( 1 4 ).6) Paseo aleatorio en Z 3 : El espacio de estados es Z 3 y ladinámica del proceso se define de la siguiente manera: Dado elestado al tiempo n, en el tiempo n + 1 el sistema se desplazauna unidad hacia adelante ó hacia atrás ó hacia la izquierdaó hacia la derecha ó hacia arriba ó hacia abajo con igualprobabilidad ( 1 6 ).

Procesos aleatorios Ejemplos Cadenas de MarkovRealizaciones del paseo aleatorio en Z.

Procesos aleatorios Ejemplos Cadenas de MarkovRealización del paseo aleatorio en Z 2 .

Procesos aleatorios Ejemplos Cadenas de MarkovRealizaciones del paseo aleatorio en Z 3 .

Procesos aleatorios Ejemplos Cadenas de Markov7) Competencia de dos especies por un territorio:Consideremos un cuadrado con L × L casilleros. Cada casilleropuede estar ocupado por una especie vegetal (en tal caso lopintamos de negro) o por otra (en tal caso lo pintamos deblanco). En cada tiempo el estado del sistema quedacaracterizado especificando cuáles sitios son de un color ycuáles de otro; así que |E| = 2 L2 . La dinámica del proceso sedefine como sigue: Dado el estado al tiempo n, se elige uncasillero al azar y luego se elige al azar uno de los casillerosvecinos a ese; se pinta entonces el casillero elegidoinicialmente con el color del casillero vecino. Eso defineeventualmente un nuevo estado al tiempo n + 1.Se observa que hay dos estados absorbentes (todo blanco otodo negro), e interesa saber cuál es la probabilidad de queuna especie domine a la otra a partir de una configuracióninicial.

Procesos aleatorios Ejemplos Cadenas de Markov8) Proceso de Galton-Watson: Consideremos individuos quetienen un número aleatorio de hijos. En cada generación cadaindividuo tiene hijos independientemente de los otrosindividuos y con la misma distribución de probabilidad.Comenzando con un individuo, Z 0 = 1, el proceso Z n cuentacuántos descendientes hay en la generación n. Obviamente 0es un estado absorbente. Interesa estudiar paraqué condiciones el proceso se extingue con probabilidad 1 ypara qué condiciones sobrevive indefinidamente con algunaprobabilidad positiva.

Procesos aleatorios Ejemplos Cadenas de Markov9) Modelo de Ehrenfest de difusión de gases: ConsideremosN bolillas colocadas en una caja con dos compartimentos, A yB. X n cuenta la cantidad de bolillas que hay en elcompartimento A al tiempo n. La dinámica del proceso sedefine como sigue: Dado el estado del proceso al tiempo n, seelige una bolilla al azar y se la cambia de compartimento. Demanera que X n+1 aumentará o disminuirá en una unidad.En este modelo interesa saber cuál es el comportamientoasintótico cuando n → ∞.

Procesos aleatorios Ejemplos Cadenas de MarkovCondición de Markov¿Qué tienen en común todos estos procesos que acabamos dedescribir? Todos ellos cumplen la siguiente condición:Condición de MarkovP(X n+1 = j | X n = i, X n−1 = i n−1 , . . . , X 1 = i 1 , X 0 = i 0 )= P(X n+1 = j|X n = i),para todos los valores de n ≥ 0; i 0 , i 1 , . . . , i n−1 , i, j ∈ E.Los procesos {X n : n ≥ 0} que cumplen la Condición deMarkov se llaman Cadenas de Markov

Procesos aleatorios Ejemplos Cadenas de MarkovMatriz de transiciónSi las probabilidades de transición P(X n+1 = j|X n = i) nodependen de n decimos que la Cadena de Markov esHomogénea. Todos los ejemplos que vimos y los que veremosa lo largo del curso son de este tipo. En tal caso denotamos:Matriz de transiciónp ij = P(X n+1 = j|X n = i) = P(X 1 = j|X 0 = i).Agrupando las cantidades {p ij } en una matriz obtenemos lamatriz de transición de la cadena de Markov:⎛p 11 p 12 ... p 1r⎞p r1 p r2 ... p rr p 21 p 22 ... p 2rP =⎜ . . . .⎟⎝ . . . . ⎠

Procesos aleatorios Ejemplos Cadenas de MarkovNota: Hemos supuesto, para simplificar la notación, queE = {1, 2, . . . , r}.Observaciones:El tamaño de la matriz es |E| × |E|. (En los ejemplos 4), 5)y 6) el tamaño es infinito)p ij ≥ 0 para cada i, j ∈ E.∑j∈E p ij = 1 para cada i ∈ E.A una matriz que cumple con estas condiciones se le llamamatriz estocástica.

Procesos aleatorios Ejemplos Cadenas de MarkovEstado inicialEl segundo ingrediente que necesitamos para caracterizar unacadena de Markov es el estado inicial.Supongamos que para n = 0 conocemos las probabilidades deque el proceso esté en cada uno de los elementos del conjuntoE. Para simplificar suponemos como antes queE = {1, 2, . . . , r}. Denotamos:π (0)1= P(X 0 = 1)π (0)2= P(X 0 = 2)... = ...π (0)r = P(X 0 = r)

Procesos aleatorios Ejemplos Cadenas de MarkovEstado inicialEstado inicialAgrupando las cantidades {π (0)i} en un vector fila obtenemos elestado inicial de la cadena de Markov:π (0) = (π (0)1 , π(0) 2 , . . . , π(0) r ).