Université d'Angers L3 - Mathématiques (Parcours Math-Éco ...

Université d’Angers
L3 - Mathématiques
(Parcours Math- Éco-Finance)
Série d’exercices N ◦ 6
Chaînes de Markov
Année 2009 - 2010
Modélisation stochastique
Exercice 1 : À une probabilité quelconque p sur N∗ , on associe une chaîne de Markov Xn à valeurs
N, de loi initiale δ0 et de matrice de transition Q définie par :
Q(0, i) = p(i + 1) , Q(i, i − 1) = 1 , i ≥ 1 .
On pose σ = inf{n ≥ 1 : Xn = 0} , = +∞ , si ∅ . Quelle est la loi de σ ?
Exercice 2 :
Trois joueurs A, B et C jouent au jeu suivant: à chaque instant entier n, l’un des joueurs est
”leader”. On tire alors à pile où face et à l’instant n + 1 l’un des deux autres joueurs devient
leader, selon le résultat du tirage. On note Xn le joueur leader à l’instant n. On suppose enfin que
X0 = A, (donc A est leader au début du jeu).
1. Montrer que la suite (Xn)n≥0 est une chaîne de Markov homogène (à valeurs dans l’ensemble
à trois éléments {A, B, C}). Calculer sa matrice de transition et sa loi initiale.
2. Quelles sont la (ou les) probabilités invariantes, (s’il en existe) ?
Exercice 3 :
Soit une chaîne de Markov possédant 5 états notés 1, 2, , 5 et donnée par sa matrice de transition
⎛
⎜
⎝
1 0 0 0 0
0 1/2 1/2 0 0
1 0 0 0 0
0 1/2 0 1/2 0
0 3/4 0 0 1/4
Dessinez le graphe de la chaîne. Quelles sont les composantes connexes de ce graphe ? Qualifiez les
diffrents tats de la chaîne ? L’état initial de la chaîne est l’état 2. Quelle est la distribution des états
au bout d’un intervalle de temps, au bout de deux ? Combien de temps lui faut-il au minimum
pour parvenir dans l’état 1 ? Quelle est la probabilité de cet événement ? Donnez un autre exemple
de transitions d’états qui amènent de l’état 2 l’état 1. Combien de temps en moyenne faut-il pour
atteindre l’état 1 ?
Exercice 4 :
Un joueur fréquente 3 casinos numérotés 1, 2 et 3. Chaque jour il choisit l’un des deux casinos où il
n’est pas allé la veille, avec probabilité 1
2 . Le premier jour, (n = 0), il choisit l’un des trois casinos
avec la loi de probabilité µ sur {1, 2, 3}.
On note Xn la v.a. égale au numéro du casino fréquenté le jour n par le joueur.
1. Montrer que (Xn) est une chaîne de Markov et calculer sa matrice de transition Q.
2. Calculer Q n , n ≥ 1, puis limn→+∞ Q n .
3. Calculer limn→+∞ Pµ(Xn = j), j = 1, 2, 3.
4. Montrer que si µ = ( 1 1 1
3 , 3 , 3 ) alors (Xn) est une suite stationnaire.
1
⎞
⎟
⎠

Exercice 5 :
Soit X0 une v.a. à valeurs dans I. Soit Y1, Y2,... une suite i.i.d. de v.a. uniformément distribuées
sur [0,1]. Soit G : I × [0, 1] → I une fonction à deux variables. On définit la suite (Xn)n≥0 à l’aide
de la relation de récurrence Xn+1 = G(Xn, Yn+1). Montrer que (Xn)n≥0 est une chaîne de Markov.
Écrire sa matrice de transition en fonction de G. Peut-on réaliser toute chaîne de Markov sous
cette forme ? En déduire une manière de simuler un chaîne de Markov.
Exercice 6 :
Soit (Xn) une chaîne de Markov dont l’espace d’états est E = {1, 2, 3, 4} et de matrice de transition :
Q =
⎛
⎜
⎝
0 1 0 0
1/2 0 1/4 1/4
1/2 1/2 0 0
0 0 1 0
Montrer que (Xn) est irréductible, récurrente, positive et calculer sa probabilité invariante.
Exercice 7 :
Une souris effectue une suite de déplacements aléatoires, indépendants les uns des autres entre trois
pièces numérotées 1, 2 et 3. La règle des déplacements est alors la suivante :
· Lorsque la souris est dans la pièce 1, elle y reste avec la probabilité 1 ou bien passe dans l’une
des deux autres pièces suivant la même probabilié 1
3 .
· Lorsque la souris est dans la pièce 2, elle y reste avec la probabilité 1
3 avec la probabilité 1
2 .
· Lorsque la souris est dans la pièce 3, elle y reste.
⎞
⎟
⎠
3
2
ou passe dans la pièce
On note X0 le numéro de la pièce initialement occupée par la souris, (X0 peut être aléatoire), Xn,
n ≥ 1, le numéro de la pièce occupée par la souris après son n-ième déplacement.
1. Justifier que Xn est une chaîne de Markov à valeurs {1, 2, 3} et donner sa matrice de transition
Q.
2. Diagonaliser Q.
3. En déduire les limites des P (Xn = j), 1 ≤ j ≤ 3, quand n → +∞.
4. On pose τ = inf{n ≥ 0 : Xn = 3}. Montrer que P (τ < +∞) = 1.
Exercice 8 :
Une chaîne de Markov à valeurs dans {0, 1} a toujours une matrice de transition de la forme
1 − p p
M =
q 1 − q
1) Décrire la chaîne dans le cas où p = q = 0 puis dans le cas où p = q = 1. On supposera par la
suite que (p, q) = (0, 0).
2) Calculer M n .
3) Montrer qu’il y a une seule probabilité invariante µ = (µ0, µ1). Calculer µ0 et µ1.
4) Vérifier que
et que
lim
n→+∞ M n (0, 0) = lim
n→+∞ M n (1, 0) = µ0 ,
lim
n→+∞ M n (0, 1) = lim
n→+∞ M n (1, 1) = µ1 .
2

5) On suppose que (p, q) = (1, 1). Soit Nn(i, j) le nombre moyen de passages en j partant de i
pendant les n premiers pas. Montrer que
Exercice 9 :
Nn(i, j)
lim = µj .
n→+∞ n
Soit (Xn)n≥0 une chaîne de Markov de matrice de transition sur l’espace d’états {0, 1, 2, 3} :
M =
⎛
⎜
⎝
0 1 0 0
1/3 0 2/3 0
0 2/3 0 1/3
0 0 1 0
Monter que cette chaîne est irréductible. Déterminer sa période. Calculer les valeurs propres, la
limite de M n quand n → +∞. Rechercher le probabilité invariante. Conclusion.
Exercice 10 :
Soit (Xn)n≥0 une chaîne de Markov de matrice de transition sur l’espace d’états {0, 1, 2, 3} :
M =
⎛
⎜
⎝
1/2 1/2 0 0
1/6 1/2 1/3 0
0 1/3 1/2 1/6
0 0 1/2 1/2
Montrer que (Xn) est irréductible et déterminer sa période.
2) Vérifier que les valeurs propres sont 1/3, 2/3, 0 et 1.
Exercice 11 :
Soit (Xn)n≥0 une chaîne de Markov de matrice de transition sur l’espace d’état {0, 1, 2, 3, 4} :
⎛
⎜
M = ⎜
⎝
1) Monter qu’elle est irréductible.
2) Déterminer la probabilité invariante.
3) Trouver la période. Etudier M n .
0 1/3 2/3 0 0
0 0 0 1/4 3/4
0 0 0 1/4 3/4
1 0 0 0 0
1 0 0 0 0
3
⎞
⎟
⎠
⎞
⎟
⎠ .
⎞
⎟
⎠ .