Stima di massima verosimiglianza di modelli ARMA

dove si è posto x t = (x 1 , . . . , x t ) ′ .Prima di mostrare con esempi concreti l’utilizzo di tale fattorizzazione si rammentaal lettore la seguente proprietà delle normale multivariata per poi applicarlaal caso di serie storiche generate da processi gaussiani.Proprietà 1 (Normale condizionata). Sia X un vettore casuale normale e si partizioniX, e il relativo vettore di medie µ e la matrice di covarianza Σ comesegue[ ] ([ ] [ ])X1 µ1 Σ11 Σ∼ N ,12.X 2 µ 2 Σ 21 Σ 22La variabile casuale condizionata X 2 |X 1 si distribuisce come una normale conmediaE(X 2 |X 1 ) = µ 2 + Σ 21 Σ −111 (X 1 − µ 1 ), (7)e varianzaVar(X 2 |X 1 ) = Σ 22 − Σ 21 Σ −111 Σ 12. (8)Il valore della densità della prima osservazione è dato dalla distribuzionemarginale del processo ARMA calcolata nel punto x 1 , cioè è data dalla densitàN ( µ, γ(0) ) in x 1 . Il valore delle densità condizionata di X t+1 |X 1 , . . . , X t pert = 1, . . . , n − 1 è dato dalla normale con mediae varianzaµ t+1|t = µ + γ ′ tΓ −1t (x t − µ)v t+1|t = γ(0) − γ ′ tΓ t γ t ,dove γ t = ( γ(1), . . . , γ(t) ) ′ , Γt = { γ(i − j) } te γ(k) è la funzione di autocovarianzadel processo ARMA. Il lettore avrà notato che anche queste formulei,j=1coinvolgono inverse di matrici di dimensioni potenzialmente molto grandi, tuttaviaesistono algoritmi (algoritmo di Durbin-Levinson, algoritmo delle innovazioni efiltro di Kalman) che riducono significativamente i conti. Il filtro di Kalman verràesposto più avanti nel corso.La funzione di log-verosimiglianza gaussiana è quindi data da{− 1 n∑n log(2π) + log v2t|t−1 + (x }t − µ t|t−1 ) 2v t|t−1t=1dove si è posto µ 1|0 = µ e v 1|0 = γ(0).Funzione di verosimiglianza di un AR(1)SiaX t = κ + φX t−1 + ε tun processo AR(1) stazionario gaussiano. Come noto, la media di X t è µ = κ/(1−φ) e la sua varianza γ(0) = σ 2 /(1 − φ 2 ), dove σ 2 è la varianza del white noise ε t .4

Proprietà 2 (Distribuzione asintotica delle stime ML di un modello ARMA). Sia{x 1 , . . . , x n } una serie storica generata da un processo ARMA stazionario, causalee invertibile e sia ˆβ n il vettore delle stime ML (o ML condizionata) dei parametriveri β 0 = (κ, φ 1 , . . . , φ p , θ 1 , . . . , θ q ). Allora√ n(ˆβn − β 0)→ d N ( 0, I(β 0 ) −1) ,dove I(β 0 ) è la metrice di informazione di Fisher.Se il processo ARMA è a media nulla, cioè κ = 0 e β 0 =(φ 1 , . . . , φ p , θ 1 , . . . , θ q ), allora la matrice d’informazione di Fisher è data daI(β 0 ) = σ −2 Γ p,q ,dove Γ p,q è una matrice (p + q × p + q) con forma[ ]Γφφ ΓΓ p,q =φθ.Γ θφ Γ θθ• Γ φφ è la matrice (p × p) contenente le autocovarianze del processoautoregressivo φ(B)Y t = ε t .• Γ θθ è la matrice (q × q) contenente le autocovarianze del processoautoregressivo θ(B)Z t = ε t .• Γ φθ = {γ yz (i − j)} è la matrice (p × q) contenente le cross-covarianze delprocesso Y t con il processo Z t : γ yz (h) = E[Y t+h Z t ].Proprietà delle stime di un AR(1) a media nullaDato che γ(0) = σ 2 /(1 − φ 2 ), allora σ 2 Γ −11,0 = (1 − φ) da cuiˆφ n ≈ N(φ, (1 − φ 2 )/n).Proprietà delle stime di un MA(1) a media nullaIl processo da prendere in considerazione è una AR(1) con i parametri del MA(1):Z t = −θZ t−1 + ε t . Tale processo ha varianza pari a σ 2 /(1 − θ 2 ) e quindi lavarianza asintotica di ˆθ n è (1 − θ 2 ) eˆθ n ≈ N(θ, (1 − θ 2 )/n).Proprietà delle stime di un ARMA(1,1) a media nullaI due processi rilevanti sono y t = φy t−1 + ε t e z t = −θz t−1 + ε t , le cui varianzesono state calcolate nei due precedenti esempi. Per completare la matrice dicovarianza asintotica è necessarioγ yz (0) = E[Y t Z t ] = E[(φY t−1 + ε t )(−θZ t−1 + ε t )] = φθγ yz (0) + σ 26

da cui γ yz (0) = σ 2 /(1 + φθ). La matrice di covarianza asintotica è quindi[ (1 − φ 2 ) −1 (1 + φθ) −1(1 + φθ) −1 (1 − θ 2 ) −1 ] −1===[1(1 − θ 2 ) −1 −(1 + φθ) −1 ](1 − φ 2 ) −1 (1 − θ 2 ) −1 − (1 + φθ) −2 −(1 + φθ) −1 (1 − φ 2 ) −1 =[1 (1 − φ 2 )(1 + φθ) 2 ]−(1 − φ)(1 − θ)(1 + φθ)(φ + θ) 2 −(1 − φ)(1 − θ)(1 + φθ) (1 − θ 2 )(1 + φθ) 2 .Purtroppo le proprietà per campioni finiti degli stimatori dei parametri dei modelliARMA sono virtualmente impossibili da derivare analiticamente. Tuttavia ènoto che le stime dei parametri autoregressivi sono distorte in maniera tale che leradici inverse dell’equazione caratteristica tendono a essere mediamente più piccoledelle radici vere. La distorsione cresce con il crescere delle radici inverse, e puòessere notevole quando i valori delle radici sono prossimi all’unità.Per esempio, per un AR(1) con media nulla e coefficiente autoregressivoφ = 0.9, la distorsione è circa −0.07 per un campione di 20 osservazioni e scendea circa −0.02 per un campione di 100 osservazioni. La distorsione aumentanotevolmente quando si stima anche la costante: −0.20 per un campione di 20osservazioni e −0.04 per un campione di 100 osservazioni. Quando φ = 0.99 ela costante viene stimata si ha una distorsione di −0.23 per n = 20 e −0.05 pern = 100.Per quanto riguarda la forma della distribuzione di ˆφ n per campioni finiti, siguardi la figura 1; è evidente l’asimmetria negativa (positiva quando φ < 0).4.03.53.02.52.01.51.00.5Approx.Monte CarloApprox.asintotica0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1.1 1.2 1.3Figura 1: Approssimazioni asintotica e Monte Carlo della distribuzione di ˆφ n pern = 20.7