You also want an ePaper? Increase the reach of your titles
YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.
<strong>IX</strong> - <strong>Méthode</strong> <strong>des</strong> <strong>Moindres</strong> <strong>Carrés</strong>17/08/2010 PHYS-F-301 G.Wilquet 1
Principe( )• Soit y = f x | θ une relation fonctionnelle entre les variables y et x( … )à k paramètres θ= θ , θ , , θ inconnus,1 2• Soient θ0les vraies valeurs de θ à estimer• Soit y la mesure de y en xi• La f.d.p. de yest uneiik2( ( θ0) σ )N f x | ,i i ioù l'écart type σ (erreur de mesure) est connu( 1 2…n )( … )• Soit une série de n> k mesures y = y ,y , ,yeffectuées enx = x,x , ,xEstimation θˆde θ: valeurs de θ qui minimiseX2( )θ =( ( )) 2n yi− f xi| θ∑2i=1σi2nétant donnésyChapitre <strong>IX</strong> 2
Détermination d'un domaine de confiance au niveau de confianceα2( ) X ( )*−2log L θ = θMaximum de vraisemblance:2rintersection de logavec hyperplan paral en <strong>des</strong>sous de2<strong>Moindres</strong> carré s:intersection de X2( )αL( θ) lèle à( θ) àMaxlogL( θ)( )22( θ) avec hyperplan parallèle à ( θ) à r au <strong>des</strong>sus de MinX ( θ)αrαtel que2αr0ra( r )2 2 2k( )= α our tel que N 0, 1 dx = α si k = 1α∫∫−raχdrChapitre <strong>IX</strong> 7
l = 10L∑( )Résolution analytique du modèle linéaire• Soit y = a x θ une relation fonctionnelle entre les variables y et xll( … )dépendant linéairement de L paramètres θ= θ , θ , , θ inconnus,• Soient θ les vraies valeurs de θ à estimer1 2• Soit N mesures y ± σ indépendantes de y en x , n = 1,Nn n nLL2L2⎛ ⎞ ⎛ ⎞( )N ⎜ yn −∑al xn θl ⎟ N ⎜ yn −∑anl θl⎟2l= 1 l=1X ( θ ) =⎝ ⎠ ⎝ ⎠∑= avec a2 ∑2nl= al xnn= 1 σnn=1 σn( )Chapitre <strong>IX</strong> 8
Exemples• polynôme de degré L - 1L2⎛l −1⎞N ⎜ yn −∑xn θl⎟2 l = 1l −1( θ ) =⎝⎠∑avec2l ( n)=nl=nn=1 σnX a x a x• développement en série de Fourierreprésentation d'une fonction périodique de fréquence f dans une base de fonctionexponentielles complexes orthogonales∞2⎛i2πlfx⎞nN ⎜ yn−∑e θl⎟2 ⎝ l =−∞ ⎠i2πfxX ( θ ) = ∑avec a2l ( xn)= anl= en=1 σnnChapitre <strong>IX</strong> 9
Recherche du minimumN n nl l2X⎝⎠∑a2nlal xnn=1 σnl = 1( θ ) = avec = ( )T−( θ ) = ( − θ) ( − θ)2 1X y A V y A( )yLa22⎛ a11 a1L⎞⎛σ10 0 ⎞⎜⎟⎜⎟A= et V = ⎜ 0 0 ⎟⎜ 2aN1a ⎟ ⎜NL0 0 σ ⎟⎝ ⎠ ⎝ N ⎠X∂θ⎛⎜T −1( )−∑2∂ θ =−T −1T −1T −12AV y A AV y+2θ( )−1ˆ T −1θ= AV A AV yˆ −1T −1θ= C c C = A V Ac =⎞⎟− θ = −2 AV Aθ = 0TA V−1yChapitre <strong>IX</strong> 10
Calcul d'erreur( 1 −1T −T −) 1( )θ= ˆ AV A AV y=f yV⎛∂θˆ⎞ ⎛∂θˆ⎞θ = V⎜ ∂y⎟ ⎜ ∂y⎟⎝ ⎠ ⎝ ⎠(ˆ)=(−( ) )−( )(ˆ T −θ ) = ( )T(−)1 1T 1 T −1 T −1 T −1A V A A V V A V A A V−11 −1V A V A = CTGénéralisation: mesures corrélées<strong>Méthode</strong> valable si corrélations entre les y n2⎛ σ1 σ ⎞1N⎜⎟V = ⎜ ⎟⎜2σ⎟⎝ N1 σN⎠Chapitre <strong>IX</strong> 11
Exemple: ajustement d’une droite (L=2) par N pointsy•• ••• •x( y −ax −b)2N2n nX ( a,b)= ∑θ21= b, θ2= an=1 σn∂X∂a∂X∂b22Nx=−2∑( yn−axn− b)= 0σn=1n=1n2nN1=−2∑( yn−axn− b)= 0σ2nx1Soit α= β= γ=N N Nnn∑ 2 ∑ 2 ∑ 2n= 1 σn n= 1 σn n=1 σnxx yδ= ε =D = δβ-αN 2Nn n n∑ 2 ∑ 2n= 1 σnn=1 σny2ab( εβ − γα)2= σa=D( γδ − εα)2= σb=DσβDδDChapitre <strong>IX</strong> 12ab= −αD
Exemple: fonction oscillante superposition de 10 sinusoï<strong>des</strong> de fréquences connues10( ) ∑ ( l )• f x = x L=0 0| θ sin ω θl10l = 1• y ± σ , i = 1, N = 50 :ii( x)mesures de f en 50 pointsf( x)ff0( x|θ )y( x|ˆ θ )i± σi(ˆ)0ω θ θ σ θ1.0 0.040 0.034 0.0102.0 0.182 0.175 0.0103.0 0.026 0.028 0.0104.0 0.123 0.126 0.0095.0 0.041 0.028 0.0106.0 0.116 0.130 0.0107.0 0.174 0.178 0.0098.0 0.032 0.037 0.0109.0 0.158 0.149 0.00910.0 0.107 0.116 0.010ˆChapitre <strong>IX</strong> 13x
Généralisation: le modèle non linéaire avec contraintesSystème à M = N + L variables, dont( 1 2…N )( 1 2…N )( θ … θ )• N variables mesurables η= η , η , , ηestimations (mesures) η= ˆ ηˆ , ηˆ , ηˆet V la matrice de covariance• L variables non mesurables θ= θ , , ,1 2• K > L équations de contrainte entre lesM = N + L variables f η,θ = 0Lηˆ( )Utiliser les mesures et leurs erreurs et les contraintes pour:- réestimer les N variables mesurables : ηˆplus précises queηˆ- estimer les L variables non-mesurables ˆθ- calculer la matrice <strong>des</strong> variances et covariances sur les M=N+L variablesChapitre <strong>IX</strong> 14
ExempleAnalyse cinématique de la réaction I corps → F corpsI = 1 : désintégrationI = 2 : interation( j j)=( pj j j j)( )Nombre total de variables cinématiques: M = I + F × 4quadri-vecteurs p,E ,j 1,Mou, θ , φ ,E ,j = 1,MK = 4 équations de contrainte non linéaires: conservation de l'énergie-impulsionI∑p sinθ cosφ − p sinθ cosφ = 0i i i f f fi= 1 f = 1I∑F∑p sinθ sinφ − p sinθ sinφ = 0i i i f f fi= 1 f = 1I∑p cos θ − p cos θ = 0i i f fi= 1 f = 1I∑EF∑ii= 1 f = 1F− E = 0f∑F∑Si le nombre de variables non mesurablesL>K : système indéterminéL=K : système solubleL
<strong>Méthode</strong> <strong>des</strong> multiplicateurs de LagrangeT2−1T′ = ( η− ˆ η) Vˆ( ˆηη−η ) + 2 λ f ( η,θ) ( 2 )T2 −1( −η) Vηˆ( )( ηθ ) = 0Les nouvelles estimations ηˆ de η minimisent X = ηˆ η−η ˆ ⎫ ⎪⎬⎪⎭tout en vérifiant le système de K équations f ,Ce système est remplacé par la minimisation de la combinaison linéaireXavec K nouveaux paramètres inconnus: multiplicateurs de Lagrange λ2Minimisation de :∂X′∂η∂X′∂θ∂X′∂λ222avecX ′−1T⎫=−2Vˆ( ˆηη−η ) + 2 fηλ= 0 ( 3)⎪⎪N + K + L équations normalesT⎪= 2 fθλ = 0( 4)⎬ à N + K + L inconnues⎪⎪ηθλ , ,= 2 f = 0 ( 5)⎪⎪⎭⎧ ∂fk( fη) = matrice K × N <strong>des</strong> dérivées <strong>des</strong> contraintes par les ηkn⎪ ∂ηn⎨⎪ ∂fk( fθ) = matrice K × L <strong>des</strong> dérivées <strong>des</strong> contraintes par les θkl⎩⎪∂θl( 1)Chapitre <strong>IX</strong> 16
Recherche <strong>des</strong> estimations par itération( )ν ν( )( v+ 1) ( ν+ 1) ( ν+ 1)Développement en série de f ≡ f η , θ à l'itération ν+ 1( v) ( ) ( )autour de f ≡ f η , θ à l'itération ν( ν+ 1)( ν) T ( ν+ 1)( ˆ ) fη( ′)−1Vηˆη −η + λ = 0 3 ⎫( ν) T ( ν+ 1)⎪fθλ = 0 ( 4′) ⎬( v 1) ( v) ( ) ( 1) ( ) ( ) ( 1) ( )⎪+ ν ν+ ν ν ν+ νf = f + fη( η −η ) + fθ( θ −θ ) ( 5′) ⎪⎭N + K + L équations normalesà N + K + L inconnuesηθλ , ,( 0)( 0)( 0)( ν+ 1) ( ν+ 1) ( ν+ 1)inconnues : η , θ , λvaleurs de départ, itération 0 :ηθλ = 1 ∀ k = 1,Kk= ηˆ: résolution d'un sous-ensemble de L parmi les K équations de contrainteChapitre <strong>IX</strong> 17
Résolution du processus itératif( ν+ 1) ( ν+ 1)( ′)• extraire η en fonction de λ de 3( ν+ 1) ( ν+ 1)( ν+ 1) ( ν+ 1)( )( ′)( ′)( )ν+ 1 ν+ 1( ′)• remplacer η par sa fonction en λ dans 5• extraire λ en fonction de θ de 5• remplacer λ dans 4 pour obtenir θ• utiliser la relation entre( ν+ 1) ( ν+ 1)( ν+ 1) ( ν+ 1) ( ν+ 1)λ et θ pour obtenir λ( ′)• obtenir η en fonction de λ de 5 modifié(( ν) ( ν)T)η ηˆη(( ) T − ( ))( ν+ 1) ( ν) −1 ( ν)T −1H f S r ⎫ S = f V f matrice K×K ⎫θ = θ −θ⎪( )(( )( ( ) ( )))ν+ 1 −1 ν ν+ 1 ν ⎪ν 1 ν⎪λ = S r − fθ θ −θ ⎬ avec H = fθ S fθmatrice L× L ⎬⎪⎪⎪( ν+ 1) ( ν) T ( ν+ 1)( ν) ( ν) ( )η = ηˆ−Vηˆf⎪ηλ (ν)⎭ r = f + f ˆηη−η vecteur K⎭( 6)Chapitre <strong>IX</strong> 18
Arrêt du processus itératif⎧ ( ν+ 1) ( ν)θ( 1) ( )l−θl⎪ ν+ νθl −θlou( )ll 1,Lν ≤ ε ∀ =⎪θl( 1)( 1ˆ ν+⎪ν+ ) ( ν)θ=θ⎨η( 1) ( )n−ην+ νn( 7 ) si ou 1( 1) n n ( )nn ,Nν+⎪ η −η ≤ ε′∀ =νη=η ˆ⎪⎪′′η(( ν+ 1) ( ν+ 1))fkη , θ ≤ εk∀ k = 1,K⎪⎩nChapitre <strong>IX</strong> 19
Calcul de la matrice <strong>des</strong> variances/covariances( ˆ)( ˆ )( )Relations 7 :η= ˆ g ηθ= ˆ h ηet donc, à l'approximation linéaire:T⎛∂g⎞ ⎛∂g⎞⎫(−1TV ( ) )= Vˆηˆ = Vηˆ IN− G−FH F V ⎪ηˆ⎜ ˆ ⎟ ⎜ ˆ ⎟η⎝∂η ⎠ ⎝∂η ⎠⎪ν⎧⎪ S = f VˆfT⎪T −1⎛∂h⎞ ⎛∂h⎞⎪−1⎪H = fθS fVˆ= VηˆHθ ⎜ = ⎬ˆ ⎟ ⎜ ˆ ⎟avec ⎨ T −1⎝∂θ⎠ ⎝∂θ⎠⎪ ⎪G = fηS fT⎪ ⎪ T −1⎛∂g⎞ ⎛∂h⎞F = fηS f−1⎪ ⎩Cov ˆ ˆ= Vηˆ = VηˆFHηθ ⎜ ⎜ˆ ⎟ ˆ ⎟⎝∂η⎠ ⎝∂θ⎪⎠⎪⎭( ) ( ν)η η ηηθθTChapitre <strong>IX</strong> 20
Niveau de confianceLes métho<strong>des</strong> d’estimation (maximum de vraisemblance, moindres carrés) sont<strong>des</strong> algorithmes qui permettent de déterminer les meilleures valeurs <strong>des</strong> paramètresd’un modèle étant donné les mesures. Elles ne garantissent pas que le modèle est enadéquation avec les données. Elles peuvent être utilisées pour calculer « la meilleureexponentielle décroissante » en accord avec un échantillon issu d’une distributionnormale...L’adéquation entre modèle et données est vérifié après estimation par un testd’hypothèse ou, de manière équivalente, par le calcul d’un niveau de confiance,suivant la méthode en χ 2 de Pearson. La statistique X 2 de Pearson est distribuéesuivant une χ 2 N-1si N mesures et le modèle est complètement spécifié.Que devient le nombre de degrés de liberté si L paramètres θ 1…θ Ldéfinissant lemodèle sont estimés à partir <strong>des</strong> mesures?On montre que, pour N mesures et L paramètres estimés à partir <strong>des</strong> mesures:-par moindres carrés : nombre de degrés de liberté = N-1- L-par maximum de vraisemblance : nombre de degrés de liberté indéterminé entreN-1- L et N-1.Chapitre <strong>IX</strong> 21