Eric Chaumette 1
Eric Chaumette 1 Eric Chaumette 1
DEMR/TSI - 02/06/2010 - Séminaire Farman - ENS Cachan 1
- Page 2 and 3: Bornes Inférieures de l’EQM pour
- Page 4 and 5: Estimation de paramètres détermin
- Page 6 and 7: Estimation de paramètres détermin
- Page 8 and 9: Estimation de paramètres détermin
- Page 10 and 11: Estimation de paramètres détermin
- Page 12 and 13: Estimation de paramètres détermin
- Page 14 and 15: Estimation de paramètres détermin
- Page 16 and 17: Estimation de paramètres détermin
- Page 18 and 19: ¢ ¢ ¢ ¡ Estimation de paramètr
DEMR/TSI - 02/06/2010 - Séminaire Farman - ENS Cachan<br />
1
Bornes Inférieures de l’EQM pour<br />
l’estimation de paramètres déterministes<br />
<strong>Eric</strong> <strong>Chaumette</strong><br />
DEMR/TSI - 02/06/2010 - Séminaire Farman - ENS Cachan
Estimation de paramètres déterministes<br />
Introduction<br />
• Objectif : mesure de la précision d’estimation des paramètres déterministes<br />
d'un signal d'intérêt s en présence d'un environnement permanent n (additif par<br />
exemple) :<br />
x = s (θ s ) + n (θ n ) = s θs + n θn<br />
• Exemple Fondateur : la cisoïde (sinusoïde complexe) en présence de bruit<br />
complex blanc normé (gaussien centré circulaire). Estimation d’un seul paramètre<br />
inconnu θ s<br />
= θ 0 (fréquence pure).<br />
DEMR/TSI - 02/06/2010 - Séminaire Farman - ENS Cachan<br />
x = (x 1 , . . . , x M ) T = s θ 0 +n, s θ = aψ(θ), ψ(θ) =<br />
p (x; θ) = e−‖x−aψ(θ)‖2<br />
π M , θ ∈ ]−0.5, 0.5[ , a > 0, C x = Id<br />
[1, e j2πθ , ..., e j2π(M−1)θ] T
Estimation de paramètres déterministes<br />
Introduction<br />
• Stratégie d’Estimation : la méthode du Maximum de Vraisemblance<br />
̂θ 0 MV = arg<br />
θ<br />
max {p (x; θ)} = arg<br />
θ<br />
⎧<br />
[<br />
⎨<br />
ψ(θ) H<br />
max<br />
⎩∣ a ψ ( θ 0) ] [<br />
+<br />
‖ψ(θ)‖<br />
ψ(θ) H n<br />
‖ψ(θ)‖<br />
]∣ ∣∣∣∣<br />
2 ⎫ ⎬<br />
⎭<br />
-10<br />
θ 0 = 0, M = 8, MC = 10 4<br />
30<br />
Intercorrélation<br />
Filtre Adapté<br />
σ 2 n<br />
DEMR/TSI - 02/06/2010 - Séminaire Farman - ENS Cachan<br />
REQM EN DECIBELS<br />
-15<br />
-20<br />
-25<br />
-30<br />
-35<br />
-40<br />
-45<br />
a priori<br />
transitoire<br />
EMV<br />
BCR Sans Biais<br />
-50<br />
-15 -10 -5 0 5 10<br />
RSB EN DECIBELS<br />
asymptotique<br />
DECIBELS<br />
25<br />
20<br />
15<br />
10<br />
5<br />
0<br />
-5<br />
-10<br />
-15<br />
RSB = -10 dB<br />
RSB = 3 dB<br />
RSB = 20 dB<br />
-20<br />
-0.5 -0.4 -0.3 -0.2 -0.1 0 0.1 0.2 0.3 0.4 0.5<br />
Fréquence Réduite
Estimation de paramètres déterministes<br />
Introduction<br />
• Stratégie d’Estimation : la méthode du Maximum de Vraisemblance (suite)<br />
0<br />
-5<br />
20<br />
REQM EN DECIBELS<br />
DEMR/TSI - 02/06/2010 - Séminaire Farman - ENS Cachan<br />
-10<br />
-15<br />
-20<br />
a priori<br />
-25<br />
15<br />
transitoire<br />
10<br />
5<br />
0<br />
asymptotique<br />
EMV<br />
-5<br />
BCR Sans Biais<br />
-10<br />
θ 0 = 0, M = 2, MC = 10 4 -0.5 -0.4 -0.3 -0.2 -0.1 0 0.1 0.2 0.3 0.4<br />
-30<br />
-15 -10 -5 0 5 10<br />
RSB EN DECIBELS<br />
DECIBELS<br />
Cas marginal<br />
RSB = -10 dB<br />
RSB = 3 dB<br />
RSB = 20 dB<br />
Fréquence Réduite
Estimation de paramètres déterministes<br />
Introduction<br />
• Dans les problèmes d’estimation non-linéaires, l’EMV présente un phénomène<br />
de décrochement relativement à la BCR (rapide détérioration de son EQM) à partir<br />
d’un certain RSB (rapport signal à bruit (a 2 )) (et/ou du nombre d’observations<br />
indépendantes T).<br />
-10<br />
DEMR/TSI - 02/06/2010 - Séminaire Farman - ENS Cachan<br />
REQM EN DECIBELS<br />
-15<br />
-20<br />
-25<br />
-30<br />
a priori<br />
• Problèmes - en général - :<br />
-35<br />
-40<br />
-45<br />
transitoire<br />
EMV<br />
BCR Sans Biais<br />
-50<br />
-15 -10 -5 0 5 10<br />
RSB EN DECIBELS<br />
asymptotique<br />
on ne sait pas calculer l’EQM de l’EMV, ∀ RSB / T!<br />
x = aψ(θ) + n,<br />
les résultats asymptotiques sur la convergence EQM(EMV)<br />
permettent pas de caractériser l’EMV ∀ RSB / T !<br />
C x = Id<br />
BCR ne
Estimation de paramètres déterministes<br />
Introduction<br />
• Sous problèmes :<br />
Peut-on modéliser le comportement de l’EQM de l’EMV <br />
Peut-on prédire la zone de décrochement, et définir la zone où la BCR est utile<br />
DEMR/TSI - 02/06/2010 - Séminaire Farman - ENS Cachan<br />
• Solution 1 : modèle comportemental de l’EQM (méthode des intervalles<br />
d’erreurs)<br />
Avantage : prédit plutôt bien le comportement de l’EQM (si …)<br />
Inconvénient :<br />
nécessite une bonne approximation de EQM asymp et de P outlier (calculs non triviaux)<br />
<br />
( )<br />
EQM ̂θ0 MV = EQM asymp (1 − P outlier ) + EQM apriori P outlier<br />
(<br />
P outlier = P ̂θ0 MV /∈ lobe principal de |intercorrelation| 2)<br />
EQM asymp et P outlier dépendent de l’algorithme considéré<br />
ne permet pas d’étudier les limites de performances d’un problème d’estimation donné.
Estimation de paramètres déterministes<br />
Introduction<br />
DEMR/TSI - 02/06/2010 - Séminaire Farman - ENS Cachan<br />
• Solution 2 : utilisation des approximations de la Borne de Barankin (BB). La BB<br />
est l’EQM de l’estimateur localement le meilleur et uniformément sans biais :<br />
min<br />
{<br />
EQM θ<br />
0<br />
Avantage :<br />
est la solution d’un problème de minimisation d’une norme sous contraintes linéaires<br />
(simple à comprendre)<br />
définit une limite de performance (la plus grande des bornes inférieures) d’un problème<br />
d’estimation donné (fournit un outil de conception)<br />
met en évidence le phénomène de décrochement de performance<br />
Inconvénient :<br />
[ ̂θ0]}<br />
[ ] ∫<br />
sous E θ ̂θ0 (x) =<br />
conduit à une équation intégrale sans solution analytique évidente!<br />
peut être approximée mais par des solutions coûteuses en calcul (implémentation)<br />
ne prend pas en compte le domaine de définition des paramètres dans le calcul de l’EQM<br />
(totalement fausse dans la zone a priori)<br />
ne peut être utilisée en pratique que pour les estimateurs sans biais<br />
Ω<br />
̂θ 0 (x) p (x; θ) dx = θ, ∀θ ∈ Θ
• Les Bornes inférieures de l’EQM sont :<br />
Estimation de paramètres déterministes<br />
Bornes Inférieures de l’EQM<br />
des approximations de la Borne de Barankin (BB) : approximation de la<br />
contrainte uniformément sans biais<br />
la solution d’un problème de minimisation d’une norme (EQM)<br />
EQM θ<br />
0<br />
[ ̂θ0]<br />
=<br />
∥ ̂θ 0 (x) − θ 0 ∥ ∥∥<br />
2<br />
θ 0 , 〈g (x) | h (x)〉 θ<br />
0 = E θ<br />
0<br />
[<br />
g (x) h (x)<br />
∗ ]<br />
DEMR/TSI - 02/06/2010 - Séminaire Farman - ENS Cachan<br />
sous contraintes linéaires (hypothèse localement sans biais en θ n ) :<br />
E θ n<br />
[ ̂θ0 (x)]<br />
= θ n ⇔<br />
∣<br />
E θ 0<br />
ν θ 0 (x; θ n ) = p (x; θn )<br />
p (x; θ 0 )<br />
[( ) ]<br />
̂θ0 (x) − θ 0 ν θ 0 (x; θ n ) = θ n − θ 0<br />
〈 ̂θ0 (x) − θ 0 | ν θ 0 (x; θ )〉<br />
n = θ θn − θ 0<br />
0<br />
où représente le rapport de vraisemblance.
Estimation de paramètres déterministes<br />
Bornes Inférieures de l’EQM<br />
• Lemme de minimisation d’une norme sous contraintes linéaires :<br />
min { u H u sous c H n u = v n , 1 ≤ n ≤ N } = v H G −1 v<br />
N∑<br />
u opt = α n c n , α = G −1 v, G n,k = c H n c k<br />
n=1<br />
les contraintes déterminent le minimum de la norme<br />
DEMR/TSI - 02/06/2010 - Séminaire Farman - ENS Cachan<br />
• Toutes les approximations « classiques » de la BB résultent de combinaisons<br />
linéaires de la contrainte localement sans biais en en θ n prise en un vecteur de<br />
N « points test » :<br />
( ) θ N = ( θ 1 , . . . , θ N) T<br />
( )<br />
x; θ N = (. . . , ν θ 0 (x; θ n ) , . . .) T , ξ θ N = (. . . , ξ (θ n ) , . . .) T , ξ (θ) = θ−θ 0<br />
ν θ 0<br />
E θ 0<br />
E θ 0<br />
[( ̂θ0 (x) − θ 0) ν θ 0<br />
(<br />
x; θ N)] = ξ<br />
(θ N)<br />
⇓<br />
[( ̂θ0 (x) − θ 0) (<br />
h T k ν θ 0 x; θ N)] (<br />
= h T k ξ θ N) , h k ∈ R N , k ≤ K ≤ N
• Toutes le bornes classiques de l’EQM s’écrivent :<br />
EQM θ 0<br />
[ ̂θ0]<br />
≥ ξ<br />
Estimation de paramètres déterministes<br />
Bornes Inférieures de l’EQM<br />
(<br />
θ N) T ( )<br />
HK H<br />
T −1<br />
K R ν H K H<br />
T<br />
K ξ<br />
(θ N)<br />
H K = [h 1 . . . h K ] , (R ν ) n,m<br />
= E θ<br />
0 [ν θ<br />
0 (x; θ n ) ν θ<br />
0 (x; θ m )]<br />
DEMR/TSI - 02/06/2010 - Séminaire Farman - ENS Cachan<br />
[ ]<br />
CRB : lim EQM θ ̂θ0<br />
dθ→0 0<br />
HCRB : supEQM θ 0<br />
dθ<br />
[<br />
̂θ0]<br />
θ N = θ 2 = ( θ 0 , θ 0 + dθ )<br />
[ ]<br />
lorsque<br />
1 1<br />
∣ H K = H 2 =<br />
0 −1<br />
θ N = θ 2 = ( θ 0 , θ 0 + dθ )<br />
[ ]<br />
lorsque<br />
1 1<br />
∣ H K = H 2 =<br />
0 −1<br />
HCRB ≥ CRB
Estimation de paramètres déterministes<br />
Bornes Inférieures de l’EQM<br />
• Exemple : la cisoïde<br />
x = (x 1 , . . . , x M ) T = s θ 0 +n, s θ = aψ(θ), ψ(θ) =<br />
[1, e j2πθ , ..., e j2π(M−1)θ] T<br />
5<br />
DEMR/TSI - 02/06/2010 - Séminaire Farman - ENS Cachan<br />
MEAN SQUARE ERROR IN DECIBELS<br />
0<br />
−5<br />
−10<br />
−15<br />
−20<br />
−25<br />
−30<br />
−35<br />
−40<br />
−45<br />
CRB<br />
HCRB<br />
MSB<br />
AB<br />
CGQLB<br />
TTB<br />
MLE<br />
−50<br />
−10 −5 0 5<br />
SIGNAL TO NOISE RATIO IN DECIBELS
Estimation de paramètres déterministes<br />
Bornes Inférieures de l’EQM<br />
• Challenge : trouver la « meilleure » approximation de la BB afin de prédire au mieux<br />
le début de la zone de décrochement<br />
• Mais quelle est la meilleure C’est un compromis entre :<br />
la plus proche (tightest) de la BB<br />
la plus facilement implémentable dans le cas général multi-paramètres.<br />
DEMR/TSI - 02/06/2010 - Séminaire Farman - ENS Cachan<br />
• Solution :<br />
trouver la meilleure transformation linéaire de la contrainte sans biais<br />
trouver d’autres transformations de la contrainte sans biais : certaines<br />
transformations non linéaires de la forme<br />
∫<br />
t θ (p (x; θ)) = k (θ, t θ ) p (x; γ (θ, t θ )) , k (θ, t θ ) = t θ (p (x; θ)) dx
Estimation de paramètres déterministes<br />
Bornes Inférieures de l’EQM<br />
∫<br />
t θ (p (x; θ)) = k (θ, t θ ) p (x; γ (θ, t θ ))<br />
⇓<br />
∫<br />
̂θ 0 (x) t θ (p (x; θ)) dx = k (θ, t θ ) ̂θ 0 (x) p (x; γ (θ, t θ )) dx = k (θ, t θ ) γ (θ, t θ )<br />
E θ 0<br />
⇓<br />
[ ( ̂θ0 (x) − θ 0) t θ (p (x; θ))<br />
p (x; θ 0 )<br />
]<br />
= k (θ, t θ ) [ γ (θ, t θ ) − θ 0]<br />
DEMR/TSI - 02/06/2010 - Séminaire Farman - ENS Cachan<br />
généralisation de la contrainte localement sans biais en θ :<br />
E θ 0<br />
[ ( ̂θ0 (x) − θ 0) ]<br />
p (x; θ)<br />
p (x; θ 0 )<br />
= θ − θ 0<br />
extension de toutes les approximations existantes de la BB
• Applicable au modèle gaussien :<br />
Estimation de paramètres déterministes<br />
Bornes Inférieures de l’EQM<br />
C(ζ) −1 (x−m(ε))<br />
p (x; θ) = e−(x−m(ε))H π M , C (ζ) = Ψ (ζ) C s Ψ (ζ) H + C n<br />
|C (ζ)|<br />
[<br />
]<br />
θ = ε T , ζ T , vec (C s ) T , vec (C n ) T , t θ (y) = t q (y) = y q<br />
DEMR/TSI - 02/06/2010 - Séminaire Farman - ENS Cachan<br />
• Exemple : la cisoïde<br />
MEAN SQUARE ERROR IN DECIBELS<br />
5<br />
0<br />
−5<br />
−10<br />
−15<br />
−20<br />
−25<br />
−30<br />
−35<br />
−40<br />
−45<br />
CRB<br />
MSB with Linear Transformation<br />
MSB with Non−Linear Transformation<br />
MLE<br />
−50<br />
−10 −5 0 5<br />
SIGNAL TO NOISE RATIO IN DECIBELS
Estimation de paramètres déterministes<br />
Bornes Inférieures de l’EQM<br />
• Perspective : trouver la « meilleure » approximation de la BB afin de prédire<br />
au mieux le début de la zone de décrochement :<br />
la plus proche (tightest) de la BB<br />
la plus facilement implémentable dans le cas général multi-paramètres.<br />
DEMR/TSI - 02/06/2010 - Séminaire Farman - ENS Cachan
¡<br />
£<br />
£ ¢<br />
Estimation de paramètres déterministes<br />
Bornes Inférieures conditionnelles de l’EQM<br />
Lower Bounds on the MSE are solutions of a norm minimization problem under<br />
different sets of appropriate linear constraints :<br />
• Principal merit: explicit formulation of pertinent constraints which then determine<br />
the value of the lower bound on the MSE<br />
• Secondary merit: proof of existence of conditional lower bounds. If the observations<br />
set is restricted to a subset D of , then :<br />
∫<br />
p (x; θ) dx = P (D) = P D (θ)<br />
DEMR/TSI - 02/06/2010 - Séminaire Farman - ENS Cachan<br />
D<br />
p (x; θ) → p (x | D; θ) =<br />
p (x; θ)<br />
P D (θ)<br />
〈g (x) | h (x)〉 θ0<br />
= E θ0 [g (x) h (x)] → 〈g (x) | h (x)〉 θ0 |D = E θ 0<br />
[g (x) h (x) | D]<br />
whatever lower bound solution of a norm minimization problem under linear<br />
constraints, its conditional formulation will be obtained by substituting D and<br />
p(x D; ) for and p(x; ) in the various expressions.
¢<br />
¢<br />
¢<br />
¡<br />
Estimation de paramètres déterministes<br />
Bornes Inférieures conditionnelles de l’EQM<br />
A wide variety of processing (Radar, Sonar, Telecom, ...) requires a binary detection step<br />
(decision rule) designed to decide if a signal is present (H ) or not (H ) in noise:<br />
H 0 : x = n ↔ {P (H 0 ) , p (x | H 0 )} , H 1 : x = s θ +n ↔ {P (H 1 ) , p (x | H 1 )}<br />
If {P(H i<br />
),p(x H i<br />
)} are known, the optimal detector is the Bayes criterion. If only<br />
{p(x H i<br />
)} are known, the optimal detector in the Neyman-Pearson sense is the Likelihood<br />
Ratio Test (LRT):<br />
DEMR/TSI - 02/06/2010 - Séminaire Farman - ENS Cachan<br />
LRT : p (x | H 1)<br />
p (x | H 0 )<br />
H 1<br />
≷<br />
H 0<br />
T −→ D ⊂ Ω such as:<br />
max {P D = D p (x | H 1 ) dx} under P F A = D p (x | H 0 ) dx<br />
• Problem: LRT are generally clairvoyant since they almost always depend at least on<br />
certain of unknown parameters of s .<br />
• Solution to design realizable tests: replace the unknown parameters by estimates<br />
function of observations, the detection problem becoming a Composite Hypothesis<br />
Testing Problem (CHTP).<br />
• Possible estimates: Maximum Likelihood Estimators (MLEs), so obtaining the<br />
Generalized Likelihood Ratio Test (GLRT):
¡<br />
¡<br />
LRT : p ϕ (x | H 1 )<br />
p ψ (x | H 0 )<br />
Estimation de paramètres déterministes<br />
Bornes Inférieures conditionnelles de l’EQM<br />
H 1<br />
≷<br />
H 0<br />
T → GLRT :<br />
max {p ϕ (x | H 1 )}<br />
ϕ<br />
max {p ψ (x | H 0 )} = p ̂ϕ ML (x) (x | H 1 )<br />
p<br />
ψ<br />
̂ψML (x) (x | H 0)<br />
• In non-linear estimation problems three distinct regions of operation of MSE of MLEs:<br />
asymptotic region: predominance of signal, MSE small and close to CRB<br />
a priory region: predominance of noise, the MSE only depends on noise properties<br />
transition region: ambiguity region, MSE deteriorates rapidly with respect to CRB<br />
and generally exhibits a threshold behavior highlighted by Large-Error bounds (BB<br />
approximations).<br />
H 1<br />
≷<br />
H 0<br />
T<br />
DEMR/TSI - 02/06/2010 - Séminaire Farman - ENS Cachan<br />
• Expectations on the influence of a detection step: to select instances with relatively high<br />
signal energy - above detection threshold - and to disregard instances mainly consisting of<br />
noise<br />
•<br />
•<br />
decrease of MSE of MLE in the transition region,<br />
improvement of the tightness of the Unbiased CRB in the transition region.