Contribution to the estimation of VARMA models with time ...

Université Libre de BruxellesFaculté des SciencesDépartement de MathématiqueContribution to the estimation of VARMAmodels with time-dependent coefficients.Thèse présentée en vue de l’obtention dugrade de Docteur en Sciences, orientation statistiquePromoteurs: Guy Mélard et Siegfried HörmannAnnée académique 2011-2012Abdelkamel ALJ

Je dédie ce travail à ma chère famille.

REMERCIEMENTD’abord, je voudrais exprimer ma profonde gratitude et ma reconnaissance envers monsieurle professeur Guy Mélard qui m’a proposé le sujet de cette thèse. Sa modestie, sasympathie, sa patience et ses qualités humaines m’ont facilité la préparation de ce travail.La préparation de ce travail ne se serait pas réalisée sans ses conseils, ses encouragement,ses interventions et son aide continue. Je le remercie infiniment pour le grand honneur qu’ilm’a accordé.Je tiens à remercier très vivement monsieur le professeur Siegfried Hörmann mon codirecteurde thèse. Nos discussions ces derniers temps m’ont très bénéfiques. Il me fait ungrand honneur d’être mon co-promoteur de thèse.J’exprime ma gratitude à monsieur le professeur Davy Paindaveine pour sa gentillesseet aussi pour avoir accepté d’être le président du jury de soutenance.Un merci spécial revient à madame le professeur Rajae Azrak pour ses remmarquesJe remercie chaleureusement mesdames les professeurs Catherine Dehon et CatherineVermandele ainsi que monsieur le professeur Sébastien Van Bellegem d’avoir accepté defaire partie du jury de ma thèse.Je voudrais remercier mes collègues de bureau et amis Germain, Christophe, Nicolas,Rémi, Sarah, Maude et Christopher pour les très bons moments que nous avons vécusensemble ces dernières années. Je suis particulièrement redevable à Christophe pour les

discussions qui m’ont permis de voir plus clair dans certains problèmes.Une aide précieuse m’est venue de la part des secrétaires, mesdames Jacqueline Bottemanne,Patricia Semeraro et Valérie Baijot. Merci pour leur efficacité et leur dynamisme.Je tiens évidemment à remercier ma famille, et tout spécialement mes parents, mafemme Siham, mes frères et soeurs, pour leur soutien moral et matériel inconditionnel duranttoutes mes études et pour tous les moments forts et joyeux que j’ai pu passer aveceux.Enfin, je remercie mon trésor Kenza pour sa présence et son sourire qui m’a donné del’énergie pour terminer ma thèse.

RÉSUMÉDans cette thèse, nous étudions l’estimation de modèles autorégressif-moyenne mobilevectoriels ou VARMA, à coefficients dépendant du temps, et avec une matrice de covariancedes innovations dépendant du temps. Ces modèles sont appelés tdVARMA. Les élémentsdes matrices des coefficients et de la matrice de covariance sont des fonctions déterministesdu temps dépendant d’un petit nombre de paramètres. Une première partie de la thèseest consacrée à l’étude des propriétés asymptotiques de l’estimateur du quasi-maximumde vraisemblance gaussienne. La convergence presque sûre et la normalité asymptotiquede cet estimateur sont démontrées sous certaines hypothèses vérifiables, dans le cas où lescoefficients dépendent du temps t mais pas de la taille des séries n. Avant cela nous considéronsles propriétés asymptotiques des estimateurs de modèles non-stationnaires assezgénéraux, pour une fonction de pénalité générale. Nous passons ensuite à l’application deces théorèmes en considérant que la fonction de pénalité est la fonction de vraisemblancegaussienne (Chapitre 2). L’étude du comportement asymptotique de l’estimateur lorsqueles coefficients du modèle dépendent du temps t et aussi de n fait l’objet du Chapitre 3.Dans ce cas, nous utilisons une loi faible des grands nombres et un théorème central limitepour des tableaux de différences de martingales. Ensuite, nous présentons des conditionsqui assurent la consistance faible et la normalité asymptotique. Les principauxrésultats asymptotiques sont illustrés par des expériences de simulation et des exemplesdans la littérature. La deuxième partie de cette thèse est consacrée à un algorithme qui nouspermet d’évaluer la fonction de vraisemblance exacte d’un processus tdVARMA d’ordre(p, q) gaussien. Notre algorithme est basé sur la factorisation de Cholesky d’une matricebande partitionnée. Le point de départ est une généralisation au cas multivarié de Mélard(1982) pour évaluer la fonction de vraisemblance exacte d’un modèle ARMA(p, q) univarié.Aussi, nous utilisons quelques résultats de Jonasson et Ferrando (2008) ainsi queles programmes Matlab de Jonasson (2008) dans le cadre d’une fonction de vraisemblancegaussienne de modèles VARMA à coefficients constants. Par ailleurs, nous déduisons quele nombre d’opérations requis pour l’évaluation de la fonction de vraisemblance en fonction

de p, q et n est approximativement le double par rapport à un modèle VARMA à coefficientsconstants. L’implémentation de cet algorithme a été testée en comparant ses résultats avecd’autres programmes et logiciels très connus. L’utilisation des modèles VARMA à coefficientsdépendant du temps apparaît particulièrement adaptée pour la dynamique de quelquesséries financières en mettant en évidence l’existence de la dépendance des paramètres enfonction du temps.

CONTENTS1 Synopsis 11.1 Introduction et motivations . . . . . . . . . . . . . . . . . . . . . . . . . . 11.1.1 Définition et notations . . . . . . . . . . . . . . . . . . . . . . . . 31.1.2 Objectifs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41.2 Contributions de la thèse . . . . . . . . . . . . . . . . . . . . . . . . . . . 51.2.1 Résultats du chapitre 2 . . . . . . . . . . . . . . . . . . . . . . . . 51.2.2 Résultats du chapitre 3 . . . . . . . . . . . . . . . . . . . . . . . . 61.2.3 Résultats du chapitre 4 . . . . . . . . . . . . . . . . . . . . . . . . 62 Conclusion et perspectives 10Bibliography 12i

1 SYNOPSIS1.1 Introduction et motivationsDans la littérature de l’analyse des série chronologiques la classe des modèles autorégressifsmoyenne-mobile (ARMA), introduite par Box et Jenkins au début des années 70, a été aucentre d’intérêt de beaucoup des travaux de recherches ce qui lui a garanti un développementconsidérable et un grand succès dans de multiples domaines d’application. Dans le casscalaire ce modèle suit la spécification suivante :p∑q∑x t − A i x t−i = ɛ t + B j ɛ t−j , (1.1.1)i=1j=1où les coefficients A i et B j sont des constantes et ɛ t est un processus bruit blanc (les ɛ t sontdes variables aléatoires indépendantes, identiquement distribuées, telles que E(ɛ t ) = 0 etvar (ɛ t ) = σ 2 ). Le modèle défini en (1.1.1) est une fonction linéaire de valeurs passées de lavariable {x t ,t ∈ N} et des valeurs présente et passées des innovations {ɛ t ,t ∈ N}. Malgré, lasimplicité de cette modélisation, elle présente quelques limitations : (i) sa linéarité, (ii) elleest invariante dans le temps (les coefficients du modèle sont constants), des caractéristiquesdifficiles à justifier pour de longues périodes. Ces limitations du modèle ARMA stationnairesont à l’origine de nombreux travaux de recherche pendant les quatre dernières décenniesdans l’objectif de proposer des généralisations dans plusieurs directions. Par conséquent,cet intérêt a donné naissance à des modèles non linéaires avec une littérature abondante(voir, par exemple, Priestley, 1988; Hamilton, 1989; Tong, 1990; Granger et Teräsvirta,1993; Tsay, 2005) et des modèle non-stationnaires (voir, par exemple, Abdrabbo et Priestley,1967; Hallin et Ingenbleek, 1983; Priestley, 1988; Hallin, 1989).Dans le domaine de l’application statistique des modèles non-stationnaires, la littératures’est abondamment focalisée sur les modèles à coefficients périodiques (voir Tiao andGrupe, 1980; Anderson and Vecchia, 1993; Bentarzi and Hallin, 1993; Basawa and Lund,2001). Et ceci contrairement au modèle général à coefficients dépendant du temps qui1

a été peu étudié dans la littérature que ce soit du point de vue théorique ou du pointde vue pratique. L’une des difficultés est l’absence de la stationnarité et la présence del’hétéroscédasticité. Parmi les auteurs qui se sont intéressés à ces modèles nous citonsQuenouille (1957), Miller (1968, 1969), Subba Rao (1970), Wegman (1974), Hallin andMélard (1977), Mélard et Kiehm (1981), Mélard (1982), Hallin (1986).Les propriétés asymptotiques des modèles à coefficients dépendant du temps ont étépeu investiguées dans la littérature. Parmi les auteurs qui se sont intéressés à l’étude despropriétés asymptotiques des modèles à coefficients dépendant du temps, citons Tyssedalet Tjøstheim (1982), Tjøstheim et Paulsen (1983), Kwoun et Yajima (1986), Hamdoune(1995), Dahlhaus (1997), Bibi and Francq (2003), Francq and Gautier (2004a, b, c) etd’autres. Dahlhaus (1996c) a étudié les propriétés asymptotiques d’un estimateur d’unmodèle autorégressif à coefficients dépendant du temps (tdAR) mais localement stationnaire.Azrak et Mélard (2006) ont donné des conditions de convergence et de normalitéasymptotique de l’estimateur du quasi-maximum de vraisemblance (QMV) pour un modèleARMA à coefficients dépendant du temps (tdARMA) scalaire. Plus précisément ils onttraité des modèles dont les coefficients et la variance des erreurs sont des fonctions déterministesdu temps, et elles dépendent aussi de la taille de la série, ce qui est considérécomme une source supplémentaire de difficultés.Le problème d’estimation des modèles VARMA, la version multivariée de (1.1.1) àattiré l’attention de plusieurs auteurs et les travaux dans la littérature se sont focalisés souventsur la méthode de maximum de vraisemblance gaussienne citons par exemple Hillmeret Tiao (1979), Hall et Nicholls (1980), Shea (1984, 1987, 1989) et Mauricio (1995, 1996).Notons que les résultats d’Ansley et Newbold (1980) en utilisant des simulations de MonteCarlo montrent que pour des modèles ARMA scalaires et pour des séries courtes la méthodeexacte pour l’évaluation de la fonction de vraisemblance est meilleure que la méthode conditionnelleou la méthode des moindres carrés. D’autre part, il existe trois approches principalespour évaluer la fonction de vraisemblance exacte d’un modèle VARMA gaussien.Parmi ces trois approches, il y en a deux qui sont très connues : la première est baséesur la factorisation de Cholesky, la deuxième est basée sur le filtre de Kalman. Penzer etShea (1997) et Mauricio (2002) montrent que les méthodes basées sur la factorisation de2

Cholesky sont plus efficaces et plus rapides dans plusieurs cas.1.1.1 Définition et notationsSoit (Ω, F, P) un espace de probabilité. On considère un processus stochastique {x t ,t ∈ N}ou {x t ,t ∈ Z}, selon le cas, et à valeur dans R r avec r ≥ 1. Si r = 1 le processus est ditunivarié. Si r > 1 le processus est dit multivarié ou vectoriel. Dans cette section nous nouscontentons de rappeler la définition d’un processus tdARMA scalaire accompagnée d’unexemple sans introduire les détails (Mélard, 1985; Azrak, 1996; Azrak et Mélard, 2006).Processus ARMA(p, q) à coefficients dépendant du tempsUn processus ARMA scalaire {x t ,t ∈ N} à coefficients dépendant du temps (tdARMA) estsolution de l’équation aux différences stochastique suivante :x t =p∑A t,i x t−i + g t ɛ t +i=1q∑B t,j g t−j ɛ t−j , (1.1.2)où les coefficients A t,i et B t,j ainsi que g t sont des fonctions déterministes de temps, ɛ t estun bruit blanc, p et q sont des constantes. Des conditions initiales doivent être pécisées, parexemple que x t = ɛ t = 0 pour t < 1.Example 1.1.1 tdARMA(1,1)Le processus suivant représente un cas particulier de (1.1.2) avec p = 1 et q = 1 est appelétdARMA(1,1) :j=1x t = A t x t−i + g t ɛ t + B t g t ɛ t−j .avec ɛ t est un bruit blanc et les coefficients A t et B t ainsi que g t qui sont des fonctionsdéterministes dépendant d’un petit nombre de paramètres et du temps, définies, par exemple,par⎧⎪⎨⎪⎩A t = A ′ +n−1 1B t = B ′ +n−1 1g t = exp { 2 ηn−1n+1(t −n+1(t −2 )A′′ ,2 )B′′ ,n+1(t −2 )} .où A ′ , A ′′ , B ′ , B ′′ et η sont des paramètres réels. Le choix de ces fonction est faite pourque le processus ne soit pas explosif (|A t | < 1), et pour que les variances ne soient pas3

négatives. Si A ′′ , B ′′ et η sont assez petits, les coefficients varieront dans le temps mais pastrop.Ce modèle est donc une alternative réaliste au modèle à coefficients constants tout enpermettant une évolution lente. D’autres choix de fonctions sont possibles, y compris desfonctions présentant des ruptures ou des variations périodiques. Nous ne discutons pasdans ce travail de la spécification de ces fonctions ni d’ailleurs du choix de p et de q, pourlesquels les méthodes de spécification usuelles ne sont plus valides en toute rigueur.1.1.2 ObjectifsA notre connaissance l’estimation du modèles (1.1.2) dans le cas multivarié ou vectoriel(tdVARMA) n’a été jamais abordé sauf Mélard (1985, p. 35) qui l’a esquissée. Dansnotre travail, nous nous y intéressons en étudiant les propriétés asymptotiques des estimateursdu maximum de vraisemblance ce qui nous permet d’étendre au cas multivarié lesrésultats trouvés dans Azrak et Mélard (2006). Dans notre travail, nous étudions la théorieasymptotique en considérons deux modèles tdVARMA différents, (i) dans le premier lescoefficients dépendent d’un petit nombre des paramètres et du temps, (ii) dans le deuxièmenoté par tdVARMA (n) les coefficients dépendent aussi de la taille de la série n. Notons quel’approche suivie ici est différente de celle de Dahlhaus (1996a, b, c) qui se base sur des processuslocalement stationnaires. Ensuite, nous procédons à l’estimation des paramètres dumodèle tdVARMA en appliquant la méthode de quasi-maximum de vraisemblance. Nousproposons pour ce faire un algorithme qui permet d’évaluer la fonction de vraisemblanceexacte dans le cas où le processus des innovations est gaussien. Cet algorithme se base surla méthode de Cholesky et présente une généralisation de l’algorithme de Mélard (1982) ducas scalaire au cas multivarié et de Jonasson et Ferrando (2008) du cas stationnaire au casdépendant du temps.4

1.2 Contributions de la thèse1.2.1 Résultats du chapitre 2Les propriétés asymptotiques des estimateurs du maximum de vraisemblance des modèlesARMA à coefficients dépendant du temps sont très peu développées dans la littérature,étant donné les difficultés pour vérifier les conditions de convergence et de la normalitéasymptotique. Ces complications sont dues au fait que la difficulté est multiple :• les observations ne sont pas indépendantes;• les observations ne sont pas des réalisations d’un processus stationnaire et ergodique;• les observations ne sont pas identiquement distribuées, notamment par le fait que lescoefficients et la variance des erreurs dépendent du temps.Azrak et Mélard (2006) établissent des conditions permettant la convergence presquesûre et la normalité asymptotique des modèle tdARMA scalaire. Dans ce chapitre nousavons étendu ces résultats au cas multivarié. Pour cela nous considérons les propriétésasymptotiques des estimateurs de modèles non nécessairement stationnaires, pour une fonctionde pénalité générale (Klimko et Nelson, 1978). Ceci nous a permis de proposer deuxthéorèmes : le premier sur la convergence presque sûre et le deuxième sur la normalitéasymptotique de l’estimateur du quasi-maximum de vraisemblance (QMV) en considérantcomme fonction de pénalité la fonction de vraisemblance gaussienne. Ensuite, nous appliquonsces résultats à des modèles tdVARMA(p, q) en montrant dans un théorème laconvergence presque sûre et la normalité asymptotique sous certaines hypothèses relativementvérifiables. Notons que les démonstrations de tous les théorèmes proposés reposentessentiellement sur la théorie des martingales et mixingales. Nous terminons ce chapitrepar des exemples en généralisant l’exemple AR(1) à coefficients dépendant du temps donnépar Kwoun and Yajima (1985) à un modèle tdVAR(1). Des simulations qui confirment lesrésultats asymptotiques sont données.5

1.2.2 Résultats du chapitre 3Dans ce chapitre, nous prouvons la convergence en probabilité et la normalité asymptotiquede l’estimateur du QMV des modèles VARMA à coefficients dépendant du temps t et de lataille de la série n, notés VARMA (n) . En raison de la dépendance des coefficients de la taillede la série n, les théorèmes utilisées au chapitre 2 c’est-à-dire la loi forte des grands nombresde Stout (1974) et le théorème central limite de Basawa et Prakasa Rao (1980) pourles différences de martingale ne peuvent plus être utilisés dans ce cadre. En effet, les processustraités dans ce chapitre sont des tableaux de martingale. Par conséquent, nous avonsrecours à la théorie asymptotique pour des tableaux de martingale, ce qui n’a pas été facileà réaliser étant donné la rareté des théorèmes pour les tableaux de martingale qui s’adaptentà notre contexte. Finalement, sous certaines conditions, nous avons montré, sous formed’un théorème, la convergence faible et la normalité asymptotique de l’estimateur du QMVpour des processus tdVARMA (n) , et cela par l’utilisation d’une loi faible des grands nombreset d’un théorème central limite pour des tableaux de martingale. Nous avons montrédans ce chapitre à travers quelques exemples sous forme des cas particuliers et simplesdes modèles tdVARMA (n) que nos hypothèses sont relativement vérifiables. Nos résultatsnumériques : (i) des simulations de Monte Carlo pour des modèles tdVAR (n) et tdVMA (n)qui montrent que la théorie asymptotique développée dans ce chapitre s’applique approximativementpour des échantillons de petites tailles (n = 20,50,100), (ii) et des exemplesempiriques qui mettent en évidence la nécessité des modèles à coefficients dépendant dutemps.1.2.3 Résultats du chapitre 4Dans ce chapitre, nous nous intéressons à l’évaluation de la fonction de vraisemblanceexacte d’un modèle tdVARMA gaussien, d’ordre p et q. Cela nous permet d’estimer lesparamètres de ce modèle. Mélard (1982) a donné un algorithme qui permet le calcul dela fonction de vraisemblance exacte dans le cas d’un modèle tdARMA scalaire basé surla factorisation de Cholesky. Notre premier objectif était une généralisation de cet algorithmeaux modèles tdVARMA. Le point de départ de cet algorithme consiste à effectuerun changement de variables qui nous permet d’écrire la matrice de covariance des nou-6

velles variables sous forme d’une matrice bloc bande ou bande partitionnée dont les blocssont les matrices de covariances qui sont calculées par des récurrences. Le démarrage dela procédure d’estimation est basée sur des conditions initiales, et sur les hypothèses de lastationnarité et l’inversibilité dans le passé c’est-à-dire pour t ≤ 1. Jonasson et Ferrando(2008) ont donné un algorithme qui permet le calcul de la fonction de vraisemblance exactedans le cas d’un modèle VARMA stationnaire basé sur la factorisation de Cholesky. Deplus Jonasson (2008) l’a implémenté dans Matlab. Pendant l’implémentation de notre algorithmeintitulé AMJ (pour Alj, Mélard et Jonasson) nous avons utilisé quelques programmesMatlab de Jonasson (2008). L’exemple de la série bivariée des rendements logarithmiquesd’IBM et de l’indice Standard and Poor’s 500 (S&P 500 ) de Tsay (2005) traitée en détail dansce chapitre ainsi que les résultats des simulations montrent l’utilité des modèles tdVARMA.La dernière partie de ce chapitre est consacrée a la présentation d’une fiche technique desdifférentes fonctions Matlab utilisées dans AMJ.7

2 CONCLUSION ET PERSPECTIVESDans cette thèse, nous avons étudié la classe des modèles VARMA(p, q) à coefficientsdépendant du temps ou tdVARMA(p, q). La caractéristique principale de ces modèlesest leur non stationnarité : les coefficients ainsi que la matrice de covariance des innovationssont des fonctions déterministes du temps qui dépendent aussi d’un petit nombre desparamètres.Dans le chapitre 2, sous certaines hypothèses relativement vérifiables, nous avons établila convergence forte et la normalité asymptotique de l’estimateur du quasi-maximum devraisemblance (QMV) d’un modèle tdVARMA(p, q). D’après nos résultats de simulation,la théorie asymptotique semble applicable même pour des séries très courtes.Dans le chapitre 3, nous nous sommes intéressés à un modèle plus général que celuidu chapitre 2. C’est le modèle tdVARMA (n) (p, q) dont les coefficients dépendent nonseulement du temps mais aussi de la taille de la série n. Cette dépendance est la sourcede difficultés étant donné la rareté des outils asymptotiques pour les tableaux de martingaleou de mixingale. Malgré toutes ces difficultés nous avons finalement pu montrer souscertaines conditions la convergence faible et la normalité asymptotique de l’estimateur duQMV. De plus, à travers des exemples simples et des simulations il semble que les résultatsasymptotiques fonctionnent même pour des séries de petites tailles.Ensuite, nous avons abordé le problème de l’estimation des paramètres des modèlestdVARMA(p, q) ou tdVARMA (n) (p, q). Nous avons proposé un algorithme basé sur lafactorisation de Cholesky qui permet d’évaluer la fonction de vraisemblance gaussienned’une manière exacte. Cet algorithme présente une généralisation inédite d’un algorithmedans la littérature. Nous déduisons que le nombre d’opérations requis pour l’évaluation dela fonction de vraisemblance en fonction de p, q et n est approximativement le double parrapport à un modèle VARMA à coefficients constants. L’exemple empirique choisi dans cechapitre montre que (i) les coefficients des modèles dépendent effectivement du temps; (ii)et que les modèles à coefficients dépendant du temps sont plus adaptés à ces séries en sebasant sur quelques critères d’informations. Nos résultats numériques et les tests effectués9

sur notre programme AMJ montrent son efficacité malgré qu’il soit toujours moins rapideque les autres programmes.Ce travail comporte de nombreuses extensions possibles. Une voie de recherche futurepour le chapitre 2 est de trouver un ensemble plus large de fonctions qui vérifient les hypothèsesde la théorie asymptotique et s’adapte au type des séries chronologiques en question.Une extension possible du chapitre 3 est d’étendre les résultats asymptotiques (convergenceen probabilité) vers une convergence presque sûre. Cela nous laisse penser quela difficulté majeure dépend de l’existence d’une loi forte des grands nombres qui s’adapteà notre contexte. En outre, l’apparition récente de quelques travaux qui s’intéressent àl’estimation semi paramétrique des modèles à coefficients dépendent du temps mais localementstationnaire nous ouvre la porte pour étendre cela à des modèles tdVARMA.Dans le chapitre 4, nous avons proposé un algorithme pour l’évaluation de la fonction devraisemblance gaussienne d’un modèle tdVARMA basé sur la factorisation de Cholesky.Il pourrait être intéressant de développer un algorithme basé sur le filtre de Kalman engénéralisant Azrak et Mélard (1998) au cas multivarié. Cela devrait permettre de traiter lecas de données manquantes. Le programme AMJ proposé au chapitre 4 reste moins rapide.Une autre méthode d’optimisation basée sur les dérivées de la fonction objectif (ucminf)proposé par Nielsen (2000) pourrait être considérée comme une alternative à la fonctionfminunc de Matlab et pourrait réduire le temps de calcul. Cependant son intégration resteun champ de recherche à exploirer car cela nécessiterait de programmer toutes les dérivéesdes récurrences.10

BIBLIOGRAPHY[1] Aasnaes, H. and Kailath, T. (1973) An innovations approach to least-squares estimation,Pt. VII: Some applications of vector autoregressive moving average models, IEEETrans. Automatic Control 18(6), 601-607.[2] Abdrabbo, N. A. and Priestley, M. B. (1967) On the prediction of non-stationary processes,J. Roy. Statist. Soc. Ser. B 29, 570-585.[3] Akaike, H.(1974) A new look at the statistical model identification, IEEE Transactionson Automatic Control 19(6), 716723.[4] Akaike, H. (1976) Canonical correlation analysis of time series and the use of an informationcriterion, in R.K. Mehra, and D.G. Lainiotis (eds.) System Identification: Advancesand Case Studies, Academic Press, New York, NY., 27-96.[5] Alj, A., Azrak, R., Hörmann, S. and Mélard, G. (2012) An alternative central limittheorem for martingale difference arrays, in preparation.[6] Anderson, O. D. (1980) Analyzing time series, North-Holland, Amsterdam.[7] Anderson, O. D. and Vecchia, A. (1993) Asymptotic results for periodic autoregressivemoving average processes, J. Time Ser. Anal. 14, 1-18.[8] Andrews, D. W. K. (1988) Laws of large numbers for dependent non-identically distributedrandom variables, Econom. Theory 4, 458-467.[9] Ansley, C. F. (1979) An algorithm for the exact likelihood of a mixed autoregressivemoving average process, Biometrika 66, 59-65.[10] Ansley, C. F., and Newbold, P. (1980) Finite sample properties of estimators forautoregressive-moving average models, J. Econometrics 13, 159-183.[11] Ansley, C. F. and Kohn, R. (1983) Exact likelihood of vector autoregressive-movingaverage process with missing or aggregated data, Biometrika 70 (1), 275−278.11

[12] Atchadè, Y. F. (2009) A strong law of large numbers for martingale arrays, Technicalreport, Univ. of Michigan. Available at (http://www.stat.lsa.umich.edu/˜yvesa/).[13] Azrak, R. (1996) Contribution à l’estimation de modèles non-stationaires, Thesis presentedat Université Libre de Bruxelles.[14] Azrak, R. and Mélard, G. (1998) Exact quasi-likelihood of time-dependent ARMAmodels, J. Statist. Plann. Inference 68(1), 31−45.[15] Azrak, R. and Mélard, G. (2006) Asymptotic properties of quasi-likelihood estimatorsfor ARMA models with time-dependent coefficients, Statistical Inference for StochasticProcesses 9, 279-330.[16] Azrak, R. and Mélard, G. (2011) Autoregressive models with time-dependent coefficients- A comparison with Dahlhaus’ approach, ECARES working paper, UniversitéLibre de Bruxelles.[17] Azrak, R. and Mélard, G. (2012) Time series analysis by time dependent models,Chapter 4, book in preparation.[18] Bar-Shalom, Y. (1971) On the asymptotic properties of the maximum-likelihood estimateobtained from dependent observations, J. Roy. Statist. Soc. Ser. B 33, 72-77.[19] Basawa, I. V. and Prakasa Rao, B. L. S. (1980) Statistical Inference for StochasticProcesses, Academic Press, New York.[20] Basawa, I. V. and Lund, R. L. S. (2001) Large sample properties of parameter estimatesfor periodic ARMA models. J. Time Ser. Anal. 22, 651-663.[21] Bentarzi, M. and Hallin, M. (1993). On the invertibility of periodic moving-averagemodels, J. Time Ser. Anal. 15, 262-268.[22] Bhat, B. R. (1974), On the method of maximum-likelihood for dependent observations,J. Roy. Statist. Soc. Ser. B 36, 48-53.12

[23] Bibi, A. and Francq, C. (2003) Consistent and asymptotically normal estimators forcyclically time-dependent linear models, Ann. Inst. Statist. Math. 55, 41-68.[24] Boubacar Mainassara, Y. (2010) Estimation, validation et identification des modèlesARMA faibles multivariés, Thesis presented at Université Lille 3.[25] Boubacar Mainassara, Y. and Francq, C. (2011) Estimating structural VARMA modelswith uncorrelated but non-independent error terms. J. Multi. Anal. 102, 496-505.[26] Box, G. E. P. and Jenkins, G. M. (1976) Time series analysis, forecasting and control,Holden-Day, San Francisco (revised edition).[27] Box, G. E. P., Jenkins, G. M. and Reinsel, G. C. (1994) Time series analysis, forecastingand control, 3rd ed., Prentice Hall, Englewood Clifs.[28] Brown, B. M. (1971) Martingale central limit theorems, Ann. Math. Statist., 42, 59-66.[29] Brockwell, P. J. and Davis, R. A. (1991) Time series: theory and methods, Springer,Wiley.[30] Burnham, K. P. and Anderson, D. R. (2002) Model selection and multi-model inference:a practical information-theoretical approach, 2d ed. Springer Verlag, New York.[31] Crowder, J. (1976) Maximum-likelihood estimation for dependent observations, J.Roy. Statist. Soc. Ser. B 38, 45-53.[32] Caines, P. E. and Rissanen, J. (1974) Maximum likelihood estimation of parametersin multivariate Gaussian stochastic processes. IEEE Trans. Inf. Theory 20, 102-104.[33] Chow, Y. S. (1971) On the L p convergence for n 1/p S n , 0 < p < 2, Ann. Math. Statist.42, 393-394.[34] Coleman, T., Branch, M. A. and Grace, A. (1999) Optimization toolbox: user’s guide,The MathWorks, Inc., Natic, Ma.[35] Dahlhaus, R. (1996a) Maximum likelihood estimation and model selection for locallystationary processes, J. Nonparametr. Statist. 6, 171-191.13

[36] Dahlhaus, R. (1996b) On the Kullback-Leibler information divergence of locally stationaryprocesses, Stochastic Process. Appl. 62, 139-168.[37] Dahlhaus, R. (1996c) Asymptotic statistical inference for nonstationary processeswith evolutionary spectra, in Athens Conference on Applied Probability an Time SeriesAnalysis, P. M. Robinson and M. Rosenblatt, eds 2. Springer, New York, 145-159.[38] Dahlhaus, R. (1997) Fitting time series models to non-stationary processes, Ann.Statist. 25, 1-37.[39] Davidson, J. E. H. (1994) Stochastic limit theorems. An introduction for econometricians,Oxford University Press, Oxford.[40] de Jong, R. M. (1996) A strong law of large numbers for triangular mixingale arrays,Statistics and Probability Letters 27, 1-9.[41] Doob, J. L. (1953), Stochastic processes, Wiley, New York.[42] Francq, C. and Gautier, A. (2004 a) Estimation of time-varying ARMA models withMarkovian changes in regime, Statistics and Probability Letters 70, 243-251.[43] Francq, C. and Gautier, A. (2004 b) Estimation de modèles ARMA à changements derégime récurrents, C. R. Acad. Sci. Paris 339, 55-58.[44] Francq, C. and Gautier, A. (2004 c) Large sample properties of parameter least squaresestimates for time-varying ARMA models, J. Time Ser. Anal. 25, 765-783.[45] Francq, C. and Zakoïan, J-M. (2005) A Central limit theorem for mixing triangulararrays, Econometric Theory 21, 1165-1171.[46] Francq, C. and Raïssi, H. (2007) Multivariate portmanteau test for autoregressive modelswith uncorrelated but nonindependent errors, J. Time Ser. Anal. 28, 454-470.[47] Gaenssler, P., Strobel, J. and Stute, W. (1978) On central limit theorems for martingalearrays, Acta Mathematica Academiae Scientiarum Hungaricae 31, 205-216.14

[48] Golub, G. and van Loan, C. (1996) Matrix computations. 3rd edition. Johns HopkinsUniversity Press, Baltimore.[49] Granger, C. W. J. and Teräsvirta, T. (1993) Modeling nonlinear economic relations,Oxford University Press, Oxford.[50] Grillenzoni, C. (1990) Modeling time-varying dynamical systems, J. Amer. Statist.Assoc. 85, 499-507.[51] Györfi, L., Haerdle, W., Sarda, P., and Vieu, Ph. (1989) Nonparametric curve estimationfrom time series, Springer Verlag, Berlin.[52] Hall, P. and Heyde, C. C. (1980) Martingale limit theory and its application, AcademicPress, New York.[53] Hallin, M. (1978) Mixed autoregressive-moving average multivariate processes withtime-dependent coefficients, J. Multi. Anal. 8, 567-572.[54] Hallin, M. (1986) Non-stationary q-dependent processes and time-varying movingaverage models: invertibility properties and the forecasting problem, Adv. Appl. Probab.18, 170-210.[55] Hallin, M. and Ingenbleek, J. F. (1983) Nonstationary Yule-Walker equations, Statist.Probab. Lett. 1, 189-195.[56] Hallin, M. and Mélard, G. (1977) Indéterminabilité pure et inversibilité des processusautorégressifs moyenne mobile à coefficients dépendant du temps, Cahiers du Centred’Etude de Recherche Opérationnelle 19, 385-392.[57] Hamdoune, S. (1995) Etude des problèmes d’estimation de certains modèles ARMAévolutifs, Thesis presented at Université Henri Poincaré, Nancy 1.[58] Hamilton, J. D. (1989) A New approach to the economic analysis of non-stationarytime series and the business cycle, Econometrica 57(2), 357-84.[59] Hamilton, J. D. (1994) Time series analysis, Princeton University Press, PrincetonN.J.15

[60] Hannan, E. J. (1969) The estimation of mixed autoregressive moving average systems,Biometrika 56, 579-592.[61] Hannan, E. J. (1970) Multiple time series, J. Wiley, New York. NY.[62] Hannan, E. J., and B. G. Quinn (1979) The determination of the order of an autoregression,J. Roy. Statist. Soc. Ser. B 41, 190-195.[63] Hannan, E. J., Dunsmuir, W.T.M. and Deistler, M. (1980) Estimation of vector AR-MAX models, J. Multi. Anal. 10, 275-295.[64] Härdle,W., Lütkepohl, H. and Chen, R. (1997) A review of nonparametric time seriesanalysis, Int. Statist. Rev. 65, 49-72.[65] Harville, D. A. (1997) Matrix algebra from a statistician’s perspective, Springer-Verlag, New York.[66] Harvey, A. C. and Philips, G. D. A. (1979) Maximum likelihood estimation of regressionmodels with autoregressive-moving average disturbances, Biometrika 66, 49-58.[67] Hillmer, S.C. and Tiao, G.C. (1979) Likelihood function of stationary multiple autoregressivemoving average models, J. Amer. Statist. Assoc. 74, 652-660.[68] Hurvich, C. M. and Tsai, C. L. (1989) Regression and time series model selection insmall samples. Biometrika 76, 297-307.[69] Jonasson, K. (2008) Algorithm 878: Exact VARMA likelihood and its gradient forcomplete and incomplete data with Matlab. ACM Trans. Math. Softw. 35, 1.[70] Jonasson, K. and Ferrando, S. E. (2008) Evaluating exact VARMA likelihood and itsgradient when data are incomplete. ACM Trans. Math Softw. 35, 1.[71] Kiehm, J, L., Lefevre, C. and Mélard, G. (1980) Forme rétrospective d’un modèleFARIMAG, Cahiers du centre d’études de recherche opérationnelle 22, 375-383.[72] Klimko, L. A. and Nelson, P. I. (1978) On conditional least squares estimation forstochastic processes, Ann. Statist. 6, 629-642.16

[73] Kohn, R. (1979) Asymptotic estimation and hypothesis testing results for vector lineartime series models, Econometrica 47, 1005-1030.[74] Kollo, T. and von Rosen, D. (2005) Advanced multivariate statistics with matrices.,Springer Verlag, New York.[75] Kwoun, G. H. and Yajima, Y. (1986) On an autoregressive model with time-dependentcoefficients, Ann. Inst. Statist. Math. 38, Part A, 297-309.[76] Lanne, M. and Saikkonen, P. (2010) Noncausal vector autoregression. Research DiscussionPapers, Helsinki Center of Economic Research, Finland.[77] Lehmann, E. L. (1983) Theory of point estimation, Wiley.[78] Luceño, A. (1994) A fast algorithm for the exact likelihood of stationary and nonstationaryvector autoregressive-moving average processes, Biometrika 81 (3), 555-565.[79] Lindquist, A. (1974) A new algorithm for optimal filtering of discrete-time stationaryprocesses, Siam J. control , 12, 736-746.[80] Lüktepohl, H. (1993) Introduction to multiple time series analysis, Springer-Verlag,New-York.[81] Lüktepohl, H. (2005) New introduction to multiple time series analysis, Springer-Verlag, New-York.[82] Magnus, J. R. and Neudecker, H. (2007) Matrix differential calculus with applicationsin statistics and econometrics, Third Edition. John Wiley, Chichester, New York.[83] Mauricio, J.A. (1995) Exact maximum likelihood estimation of stationary vector autoregressivemoving average models, J. Amer. Statist. Assoc. 90, 282-291.[84] Mauricio, J.A. (1996) Some computational aspects of exact maximum likelihood estimationof time series models, in: Prat, A. (Ed.), Compstat 1996 Proceedings on ComputationalStatistics. Physica-Verlag, Heidelberg, 361-366.17

[85] Mauricio, J.A. (1997) Algorithm AS 311: The exact likelihood function of a vectorautoregressive moving average model, J. Roy. Statist. Soc. Ser. C. Appl. Statist. 46(1),157−171.[86] Mauricio, J.A. (2002) An algorithm for the exact likelihood of a stationary vectorautoregressive moving average model. J. Time Ser. Anal. 23(4), 473−486.[87] Mauricio, J.A., (2005) Additional material on exact maximum likelihood estimationof partially nonstationary vector ARMA models. ( http://www.ucm.es/info/ecocuan/jam).[88] Mélard, G. (1982) The likelihood function of a time-dependent ARMA model, in O.D.Anderson and M.R. Perryman (eds), App. Time Ser. Anal., North-Holland, Amsterdam,229-239.[89] Mélard, G. (1984) Algorithm AS197: A fast algorithm for the exact likelihood ofautoregressive moving average models. J. Roy. Statist. Soc. C Appl. Statist. 33, 104-114.[90] Mélard, G. (1985) Analyse de données chronologiques, Coll. Séminaire demathématiques supérieures - Séminaire scientifique OTAN (NATO Advanced Study Institute)89, Presses de l’Université de Montréal, Montréal.[91] Mélard, G. (1977) Sur une classe de modles ARIMA dépendant du temps, Cahier duCentre d’Etudes de Recherche Opérationnelle 19, 285-295.[92] Mélard, G. and Kiehm, J.-L. (1981) ARIMA models with time-dependent coefficientsfor economic time series, in O. D. Anderson and M. R. Perryman (eds) Time SeriesAnalysis, North-Holland, Amsterdam, 355-363.[93] Mélard, G. and Pasteels, J. M. (1997) Manuel d’utilisation de Time Series Expert (TSEversion 2.3), Institut de Statistique, Université libre de Bruxelles.[94] Mélard, G., Roy, R., and Saidi, A. (2006) Exact maximum likelihood estimation ofstructured or unit root multivariate time series models, Comput. Statist. Data Anal.50(11), 2957−2986.18

[95] Miller, K. S. (1968) Linear difference equations, Benjamin, New York, 1968.[96] Miller, K. S. (1969) Non-stationary autoregressive processes, I.E.E.E. Trans. Inform.Theory IT-15, 1969, 315-316.[97] Morf, M., G. Sidhu, and T. Kalaith (1974) Some new algorithms for recursive estimationin constant, linear, discrete-time systems, IEEE Transactions on Automatic Control19, 315-323.[98] Nicholls, D.F. and Hall, A.D. (1979) The exact likelihood function of multivariateautoregressive moving average models, Biometrika 66, 259-264.[99] Newbold, P. and Granger, C.W.J. (1974) Experience with forecasting univariate timeseries and the combination of forecasts, J. R. Statist. Sot. A 137, 131-146.[100] Nicholls, D.F. and Quinn, B.G. (1982) Random coefficient autoregressive models:an introduction. Springer Verlag, New York.[101] Pearlman, J. G. (1980) An algorithm for the exact likelihood of a high-order autoregressivemoving average process, Biometrika 67(1), 232-233.[102] Penzer, J. and Shea, B. L. (1997) The exact likelihood of an autoregressive-movingaverage model with incomplete data, Biometrika 84(4), 919−928.[103] Petrov, V. V. (1995) Limit theorems of probability theory: sequences of independentrandom variables, Oxford University Press, Oxford .[104] Phadke, M. S. and Kedem, G. (1978) Computation of the exact likelihood functionof multivariate moving average models, Biometrika 65, 511-519.[105] Pham, D. and Tran, T. (1985) Some mixing properties of time series models, StochasticProcess. Appl. 19, 297-303.[106] Poskitt, D. S. and Salau, M.O. (1995) On the relationship between generalized leastsquares and Gaussian estimation of vector ARMA models, J. Time Ser. Anal. 16(6),617-645.19

[107] Priestley, M. B. (1965) Evolutionary spectra and non-stationary processes, J. Roy.Statist. Soc. Ser. B 27, 204-237.[108] Priestley, M. B. (1988) Non-linear and non-stationary time series analysis, AcademicPress, New York.[109] Quenouille, M. H. (1957) The Analysis of multiple time series, Griffin, London.[110] Raïssi, H. (2007) Contribution l’inférence statistique des modèles vectoriels autorégressifset à correction d’erreurs, Thesis presented at Université Lille 3.[111] Reinsel, G. C. (1979) FIML estimation of the dynamic simultaneous equations modelwith ARMA disturbances, J. Econometrics 9, 263-281.[112] Reinsel, G. C. (1998) Elements of multivariate time series analysis, Springer-Verlag,New-York, 2nd edition.[113] Reinsel, G. C., Basu S. and Yap, S.F. (1992) Maximum likelihood estimators inthe multivariate autoregressive moving average model from a generalized lest squaresviewpoint, J. Time Ser. Anal. 13, 133-145.[114] Rissanen, J. (1978) Modelling by shortest data description, Automatica 14, 465-471.[115] Rissanen, J. and Barbosa, L. (1969) Properties of infinite covariance matrices andstability of optimum predictors, Inform. Sci. 1, 221-236.[116] Schneider, T. and Neumaier, A. (2001) Algorithm 808: ARfitA Matlab package forthe estimation of parameters and eigenmodes of multivariate autoregressive models,ACM Trans. Math. Softw. 27, 1, 58-65.[117] Schwarz, G. (1978) Estimating the dimension of a model, Ann. Stat. 6, 461-464[118] Schweppe, F. C. (1965) Evaluation of likelihood functions for Gaussian signals,IEEE Trans. Inform. Theory 11, 61-70.20

[119] Shea, B. L. (1984) Maximum likelihood estimation of multivariate ARMA processesvia the Kalman filter, in: Anderson, O.D. (Ed.), Time Series Analysis: Theory andPractice 5. North-Holland, Amsterdam, 91-101.[120] Shea, B. L. (1987) Estimation of multivariate time series, J. Time Ser. Anal. 8, 95-109.[121] Shea, B. L. (1988) A note on the generation of independent realizations of a vectorautoregressive moving average process, J. Time Ser. Anal. 9, 403-410.[122] Shea, B. L. (1989) Algorithm AS 242: The exact likelihood of a vector autoregressivemoving average model, J. Roy. Statist. Soc. Ser. C. Appl. Statist. 38(1), 161-204.[123] Shittu, O. I and Asemota, M. J (2009) Comparison of criteria for estimating the orderof autoregressive process: A Monte Carlo approach, European Journal of ScientificResearch 30(3), 409-416.[124] Siddiqui, M. M. (1958) On the inversion of the sample covariance matrix in a stationaryautoregressive process, Ann. Math. Statist. 29, 124-127.[125] Silvey, D. (1961) A note on maximum-likelihood in the case of dependent randomvariables, J. Roy. Statist. Soc. Ser. B 23, 444-452.[126] Steele, J. M. (2004) The Cauchy-Schwarz master class: An introduction to the art ofmathematical inequalities, Cambridge University Press and the Mathematical Associationof America, Cambridge UK and Washington DC.[127] Stout, W. F. (1974) Almost sure convergence, Academic Press, New York.[128] Subba Rao, T. (1970) The fitting of non-stationary time-series models with timedependent parameters, J. Roy. Statist. Soc. Ser. B 32, 312-322.[129] Taniguchi, M. and Kakizawa, Y. (2000) Asymptotic theory of statistical inference fortime Series, Springer Verlag, New York.[130] Terceiro, J. (1990) Estimation of dynamic econometric models with errors in variables,Springer-Verlag, Berlin.21

[131] Terceiro, J., Casals, J. M., Jerez, M., Serrano, G. R. and Sotoca, S. (2000) Timeseries analysis using Matlab, Available at (http://www.ucm.es/info/icae/e4/e4download.htm).[132] Tiao, G. C., Box, G. E. P. (1981) Modeling multiple time series with applications, J.Amer. Statist. Assoc 76, 802-816.[133] Tiao, G. C., and Grupe, M. R. (1980) Hidden periodic autoregressive-moving averagemodels in time series data, Biometrika 67, 365-373.[134] Tjøstheim, D. (1984) Estimation in linear time series models II: some non-stationaryseries, Department of Mathematics, University of Bergen 5000 Bergen , Norway andDepartment of Statistics, University of North Carolina Chapel Hill, North Carolina27514.[135] Tjøstheim, D. and Paulsen, J. (1983) Bias of some commonly used time series estimates,Biometrika 70, 389-399.[136] Tjøstheim, D. (1986) Estimation in nonlinear time series models, Stochastic Process.Appl. 21, 251-273.[137] Tjøstheim, D. (1994) Nonlinear time series, a selective review, Scand. J. Statist. 21,97-130.[138] Tsay, R. S. (2005) Analysis of financial time series, 2nd Edition, John Wiley, NewYork.[139] Tong, H. (1990) Non-linear time series: a dynamical system approach, OxfordUniversity Press, Oxford.[140] Tunnicliffe Wilson, G. (1973) The estimation of parameters in multivariate time seriesmodels, J. Roy. Statist. Soc. Ser. B 35, 76-85.[141] Tyssedal, J. S. and Tjøstheim, D. (1982) Autoregressive processes with a timedependentvariance, J. Time Series Anal. 3, 209-217.22

[142] Van Bellegem, S. and Dahlhaus, R (2006) Semiparametric estimation by model selectionfor locally stationary processes, J. Roy. Statist. Soc. Ser. B 68(5), 721-746.[143] Wegman, E. J. (1974) Some results on non-stationary first order auto-regression,Technometrics 16, 321-322.[144] White, H. (1984) Asymptotic theory for econometricians, Academic Press, NewYork.[145] Whittle, P. (1965) Recursive relations for predictors of non-stationary processes, J.Roy. Statist. Soc. Ser. B 27, 523-532.23