IX - Méthode des Moindres Carrés - IIHE

IX - Méthode des Moindres Carrés17/08/2010 PHYS-F-301 G.Wilquet 1

Principe( )• Soit y = f x | θ une relation fonctionnelle entre les variables y et x( … )à k paramètres θ= θ , θ , , θ inconnus,1 2• Soient θ0les vraies valeurs de θ à estimer• Soit y la mesure de y en xi• La f.d.p. de yest uneiik2( ( θ0) σ )N f x | ,i i ioù l'écart type σ (erreur de mesure) est connu( 1 2…n )( … )• Soit une série de n> k mesures y = y ,y , ,yeffectuées enx = x,x , ,xEstimation θˆde θ: valeurs de θ qui minimiseX2( )θ =( ( )) 2n yi− f xi| θ∑2i=1σi2nétant donnésyChapitre IX 2

Détermination d'un domaine de confiance au niveau de confianceα2( ) X ( )*−2log L θ = θMaximum de vraisemblance:2rintersection de logavec hyperplan paral en dessous de2Moindres carré s:intersection de X2( )αL( θ) lèle à( θ) àMaxlogL( θ)( )22( θ) avec hyperplan parallèle à ( θ) à r au dessus de MinX ( θ)αrαtel que2αr0ra( r )2 2 2k( )= α our tel que N 0, 1 dx = α si k = 1α∫∫−raχdrChapitre IX 7

l = 10L∑( )Résolution analytique du modèle linéaire• Soit y = a x θ une relation fonctionnelle entre les variables y et xll( … )dépendant linéairement de L paramètres θ= θ , θ , , θ inconnus,• Soient θ les vraies valeurs de θ à estimer1 2• Soit N mesures y ± σ indépendantes de y en x , n = 1,Nn n nLL2L2⎛ ⎞ ⎛ ⎞( )N ⎜ yn −∑al xn θl ⎟ N ⎜ yn −∑anl θl⎟2l= 1 l=1X ( θ ) =⎝ ⎠ ⎝ ⎠∑= avec a2 ∑2nl= al xnn= 1 σnn=1 σn( )Chapitre IX 8

Exemples• polynôme de degré L - 1L2⎛l −1⎞N ⎜ yn −∑xn θl⎟2 l = 1l −1( θ ) =⎝⎠∑avec2l ( n)=nl=nn=1 σnX a x a x• développement en série de Fourierreprésentation d'une fonction périodique de fréquence f dans une base de fonctionexponentielles complexes orthogonales∞2⎛i2πlfx⎞nN ⎜ yn−∑e θl⎟2 ⎝ l =−∞ ⎠i2πfxX ( θ ) = ∑avec a2l ( xn)= anl= en=1 σnnChapitre IX 9

Recherche du minimumN n nl l2X⎝⎠∑a2nlal xnn=1 σnl = 1( θ ) = avec = ( )T−( θ ) = ( − θ) ( − θ)2 1X y A V y A( )yLa22⎛ a11 a1L⎞⎛σ10 0 ⎞⎜⎟⎜⎟A= et V = ⎜ 0 0 ⎟⎜ 2aN1a ⎟ ⎜NL0 0 σ ⎟⎝ ⎠ ⎝ N ⎠X∂θ⎛⎜T −1( )−∑2∂ θ =−T −1T −1T −12AV y A AV y+2θ( )−1ˆ T −1θ= AV A AV yˆ −1T −1θ= C c C = A V Ac =⎞⎟− θ = −2 AV Aθ = 0TA V−1yChapitre IX 10

Calcul d'erreur( 1 −1T −T −) 1( )θ= ˆ AV A AV y=f yV⎛∂θˆ⎞ ⎛∂θˆ⎞θ = V⎜ ∂y⎟ ⎜ ∂y⎟⎝ ⎠ ⎝ ⎠(ˆ)=(−( ) )−( )(ˆ T −θ ) = ( )T(−)1 1T 1 T −1 T −1 T −1A V A A V V A V A A V−11 −1V A V A = CTGénéralisation: mesures corréléesMéthode valable si corrélations entre les y n2⎛ σ1 σ ⎞1N⎜⎟V = ⎜ ⎟⎜2σ⎟⎝ N1 σN⎠Chapitre IX 11

Exemple: ajustement d’une droite (L=2) par N pointsy•• ••• •x( y −ax −b)2N2n nX ( a,b)= ∑θ21= b, θ2= an=1 σn∂X∂a∂X∂b22Nx=−2∑( yn−axn− b)= 0σn=1n=1n2nN1=−2∑( yn−axn− b)= 0σ2nx1Soit α= β= γ=N N Nnn∑ 2 ∑ 2 ∑ 2n= 1 σn n= 1 σn n=1 σnxx yδ= ε =D = δβ-αN 2Nn n n∑ 2 ∑ 2n= 1 σnn=1 σny2ab( εβ − γα)2= σa=D( γδ − εα)2= σb=DσβDδDChapitre IX 12ab= −αD

Exemple: fonction oscillante superposition de 10 sinusoïdes de fréquences connues10( ) ∑ ( l )• f x = x L=0 0| θ sin ω θl10l = 1• y ± σ , i = 1, N = 50 :ii( x)mesures de f en 50 pointsf( x)ff0( x|θ )y( x|ˆ θ )i± σi(ˆ)0ω θ θ σ θ1.0 0.040 0.034 0.0102.0 0.182 0.175 0.0103.0 0.026 0.028 0.0104.0 0.123 0.126 0.0095.0 0.041 0.028 0.0106.0 0.116 0.130 0.0107.0 0.174 0.178 0.0098.0 0.032 0.037 0.0109.0 0.158 0.149 0.00910.0 0.107 0.116 0.010ˆChapitre IX 13x

Généralisation: le modèle non linéaire avec contraintesSystème à M = N + L variables, dont( 1 2…N )( 1 2…N )( θ … θ )• N variables mesurables η= η , η , , ηestimations (mesures) η= ˆ ηˆ , ηˆ , ηˆet V la matrice de covariance• L variables non mesurables θ= θ , , ,1 2• K > L équations de contrainte entre lesM = N + L variables f η,θ = 0Lηˆ( )Utiliser les mesures et leurs erreurs et les contraintes pour:- réestimer les N variables mesurables : ηˆplus précises queηˆ- estimer les L variables non-mesurables ˆθ- calculer la matrice des variances et covariances sur les M=N+L variablesChapitre IX 14

ExempleAnalyse cinématique de la réaction I corps → F corpsI = 1 : désintégrationI = 2 : interation( j j)=( pj j j j)( )Nombre total de variables cinématiques: M = I + F × 4quadri-vecteurs p,E ,j 1,Mou, θ , φ ,E ,j = 1,MK = 4 équations de contrainte non linéaires: conservation de l'énergie-impulsionI∑p sinθ cosφ − p sinθ cosφ = 0i i i f f fi= 1 f = 1I∑F∑p sinθ sinφ − p sinθ sinφ = 0i i i f f fi= 1 f = 1I∑p cos θ − p cos θ = 0i i f fi= 1 f = 1I∑EF∑ii= 1 f = 1F− E = 0f∑F∑Si le nombre de variables non mesurablesL>K : système indéterminéL=K : système solubleL

Méthode des multiplicateurs de LagrangeT2−1T′ = ( η− ˆ η) Vˆ( ˆηη−η ) + 2 λ f ( η,θ) ( 2 )T2 −1( −η) Vηˆ( )( ηθ ) = 0Les nouvelles estimations ηˆ de η minimisent X = ηˆ η−η ˆ ⎫ ⎪⎬⎪⎭tout en vérifiant le système de K équations f ,Ce système est remplacé par la minimisation de la combinaison linéaireXavec K nouveaux paramètres inconnus: multiplicateurs de Lagrange λ2Minimisation de :∂X′∂η∂X′∂θ∂X′∂λ222avecX ′−1T⎫=−2Vˆ( ˆηη−η ) + 2 fηλ= 0 ( 3)⎪⎪N + K + L équations normalesT⎪= 2 fθλ = 0( 4)⎬ à N + K + L inconnues⎪⎪ηθλ , ,= 2 f = 0 ( 5)⎪⎪⎭⎧ ∂fk( fη) = matrice K × N des dérivées des contraintes par les ηkn⎪ ∂ηn⎨⎪ ∂fk( fθ) = matrice K × L des dérivées des contraintes par les θkl⎩⎪∂θl( 1)Chapitre IX 16

Recherche des estimations par itération( )ν ν( )( v+ 1) ( ν+ 1) ( ν+ 1)Développement en série de f ≡ f η , θ à l'itération ν+ 1( v) ( ) ( )autour de f ≡ f η , θ à l'itération ν( ν+ 1)( ν) T ( ν+ 1)( ˆ ) fη( ′)−1Vηˆη −η + λ = 0 3 ⎫( ν) T ( ν+ 1)⎪fθλ = 0 ( 4′) ⎬( v 1) ( v) ( ) ( 1) ( ) ( ) ( 1) ( )⎪+ ν ν+ ν ν ν+ νf = f + fη( η −η ) + fθ( θ −θ ) ( 5′) ⎪⎭N + K + L équations normalesà N + K + L inconnuesηθλ , ,( 0)( 0)( 0)( ν+ 1) ( ν+ 1) ( ν+ 1)inconnues : η , θ , λvaleurs de départ, itération 0 :ηθλ = 1 ∀ k = 1,Kk= ηˆ: résolution d'un sous-ensemble de L parmi les K équations de contrainteChapitre IX 17

Résolution du processus itératif( ν+ 1) ( ν+ 1)( ′)• extraire η en fonction de λ de 3( ν+ 1) ( ν+ 1)( ν+ 1) ( ν+ 1)( )( ′)( ′)( )ν+ 1 ν+ 1( ′)• remplacer η par sa fonction en λ dans 5• extraire λ en fonction de θ de 5• remplacer λ dans 4 pour obtenir θ• utiliser la relation entre( ν+ 1) ( ν+ 1)( ν+ 1) ( ν+ 1) ( ν+ 1)λ et θ pour obtenir λ( ′)• obtenir η en fonction de λ de 5 modifié(( ν) ( ν)T)η ηˆη(( ) T − ( ))( ν+ 1) ( ν) −1 ( ν)T −1H f S r ⎫ S = f V f matrice K×K ⎫θ = θ −θ⎪( )(( )( ( ) ( )))ν+ 1 −1 ν ν+ 1 ν ⎪ν 1 ν⎪λ = S r − fθ θ −θ ⎬ avec H = fθ S fθmatrice L× L ⎬⎪⎪⎪( ν+ 1) ( ν) T ( ν+ 1)( ν) ( ν) ( )η = ηˆ−Vηˆf⎪ηλ (ν)⎭ r = f + f ˆηη−η vecteur K⎭( 6)Chapitre IX 18

Arrêt du processus itératif⎧ ( ν+ 1) ( ν)θ( 1) ( )l−θl⎪ ν+ νθl −θlou( )ll 1,Lν ≤ ε ∀ =⎪θl( 1)( 1ˆ ν+⎪ν+ ) ( ν)θ=θ⎨η( 1) ( )n−ην+ νn( 7 ) si ou 1( 1) n n ( )nn ,Nν+⎪ η −η ≤ ε′∀ =νη=η ˆ⎪⎪′′η(( ν+ 1) ( ν+ 1))fkη , θ ≤ εk∀ k = 1,K⎪⎩nChapitre IX 19

Calcul de la matrice des variances/covariances( ˆ)( ˆ )( )Relations 7 :η= ˆ g ηθ= ˆ h ηet donc, à l'approximation linéaire:T⎛∂g⎞ ⎛∂g⎞⎫(−1TV ( ) )= Vˆηˆ = Vηˆ IN− G−FH F V ⎪ηˆ⎜ ˆ ⎟ ⎜ ˆ ⎟η⎝∂η ⎠ ⎝∂η ⎠⎪ν⎧⎪ S = f VˆfT⎪T −1⎛∂h⎞ ⎛∂h⎞⎪−1⎪H = fθS fVˆ= VηˆHθ ⎜ = ⎬ˆ ⎟ ⎜ ˆ ⎟avec ⎨ T −1⎝∂θ⎠ ⎝∂θ⎠⎪ ⎪G = fηS fT⎪ ⎪ T −1⎛∂g⎞ ⎛∂h⎞F = fηS f−1⎪ ⎩Cov ˆ ˆ= Vηˆ = VηˆFHηθ ⎜ ⎜ˆ ⎟ ˆ ⎟⎝∂η⎠ ⎝∂θ⎪⎠⎪⎭( ) ( ν)η η ηηθθTChapitre IX 20

Niveau de confianceLes méthodes d’estimation (maximum de vraisemblance, moindres carrés) sontdes algorithmes qui permettent de déterminer les meilleures valeurs des paramètresd’un modèle étant donné les mesures. Elles ne garantissent pas que le modèle est enadéquation avec les données. Elles peuvent être utilisées pour calculer « la meilleureexponentielle décroissante » en accord avec un échantillon issu d’une distributionnormale...L’adéquation entre modèle et données est vérifié après estimation par un testd’hypothèse ou, de manière équivalente, par le calcul d’un niveau de confiance,suivant la méthode en χ 2 de Pearson. La statistique X 2 de Pearson est distribuéesuivant une χ 2 N-1si N mesures et le modèle est complètement spécifié.Que devient le nombre de degrés de liberté si L paramètres θ 1…θ Ldéfinissant lemodèle sont estimés à partir des mesures?On montre que, pour N mesures et L paramètres estimés à partir des mesures:-par moindres carrés : nombre de degrés de liberté = N-1- L-par maximum de vraisemblance : nombre de degrés de liberté indéterminé entreN-1- L et N-1.Chapitre IX 21