Borne FDCR

Un article de Wikipédia, l'encyclopédie libre.

En statistique, la borne FDCR (autrement appelé inégalité de Cramér-Rao), appelée ainsi en l'honneur de Fréchet, Darmois, Cramer et Rao, exprime une borne inférieur sur la variance d'un estimateur sans biais, basée sur l'Information de Fisher.

Elle énonce que l'inverse de l'information de Fisher, \mathcal{I}(\theta), d'un paramètre θ, est une borne inférieure de la variance d'un estimateur sans biais de ce paramètre. (noté \widehat{\theta}).

\mathrm{var} \left(\widehat{\theta}\right) \geq \frac{1}{\mathcal{I}(\theta)} = \frac{1} { \mathrm{E} \left[ \left[ \frac{\partial}{\partial \theta} \log f(X;\theta) \right]^2 \right] }

Dans certains cas, aucun estimateur non biaisés n'atteint la borne inférieure.

[modifier] Exemple

Supposons X est une distribution normale d'une variable aléatoire avec une moyenne connue μ et une espérance inconnue σ2. Considérons:

T=\frac{\sum_{i=1}^n\left(X_i-\mu\right)^2}{n}.

Alors T est non biaisé pour σ2, car E(T) = σ2. Quelle est la variance de T?

\mathrm{Var}(T) = \frac{\mathrm{var}(X-\mu)^2}{n}=\frac{1}{n} \left[ E\left\{(X-\mu)^4\right\}-\left(E\left\{(X-\mu)^2\right\}\right)^2 \right]

Le premier terme est le quatrième moment central et vaut 3(σ2)2; le second est le carré de la variance, soit (σ2)2. Donc

\mathrm{var}(T)=\frac{2(\sigma^2)^2}{n}.

Quelle est l'information de Fisher de cet exemple? Le score V est défini par

V=\frac{\partial}{\partial\sigma^2}\log L(\sigma^2,X)

avec L étant la Fonction de vraisemblance. Donc, dans ce cas,

V=\frac{\partial}{\partial\sigma^2}\log\left[\frac{1}{\sqrt{2\pi\sigma^2}}e^{-(X-\mu)^2/{2\sigma^2}}\right] =\frac{(X-\mu)^2}{2(\sigma^2)^2}-\frac{1}{2\sigma^2}

L'information de nn évènement indépendant étant seulement n fois l'information d'un seul évènement, soit \frac{n}{2(\sigma^2)^2}.

L'Inégalité de Cramér-Rao donne :

\mathrm{var}(T)\geq\frac{1}{I}.

Dans ce cas, on a donc égalité, ce qui montre que l'estimateur est efficace.

[modifier] Conditions de régularité

Cette inégalité repose sur 2 conditions faibles de régularité des densité de probabilité, f(x;θ), et l'estimateur T(X):

  • L'information de Fisher est toujours définie; de manière équivalente, pour tout x tel que f(x;θ) > 0,
\frac{\partial}{\partial\theta} \ln f(x;\theta)
soit fini.
  • L'intégration par rapport à x et la différentiation par rapport à θ peuvent être échangé dans le calcul de T; soit encore,
\frac{\partial}{\partial\theta} \left[ \int T(x) f(x;\theta) \,dx \right] = \int T(x) \left[ \frac{\partial}{\partial\theta} f(x;\theta) \right] \,dx
si le second membre est fini.

Dans certains cas, un estimateur biaisé peut avoir une variance et une erreur quadratique moyenne en dessous de la borne de Cramér-Rao (cette borne ne s'appliquant que pour les estimateur non biaisés).

Si la régularité permet d'atteindre la dérivée seconde, alors l'information de Fisher peut se mettre sous une autre forme, et l'inégalité de Cramér-Rao donne:

\mathrm{var} \left(\widehat{\theta}\right) \geq \frac{1}{\mathcal{I}(\theta)} = \frac{1} { -\mathrm{E} \left[ \frac{d^2}{d\theta^2} \log f(X;\theta) \right] }