p6e7p7/intro_to_ml
1
0
Fork 0
Code Issues Pull Requests Projects Releases Wiki Activity

Corrections mineures pour la partie qui introduit les notions de biais et de variance.

Browse Source
This commit is contained in:
Pierre-Edouard Portier 2021-12-06 09:26:19 +01:00
parent 8928da32be
commit 6725971bb9
2 changed files with 6 additions and 5 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

1
.gitignore vendored
View File

@ -17,3 +17,4 @@
13_puissance_iteree_par_blocs.pdf
14_geometrie_ridge_svd.pdf
15_loocv.pdf
16_biais_variance_estimateur.pdf

10
16_biais_variance_estimateur.Rmd
View File

@ -69,13 +69,13 @@ Supposons que la moyenne $\hat{\mu}$ du modèle soit connue. Calculons alors l'e
= \{& \text{Factorisation pour faire apparaître } s\} \\
& (n/2) s^{-2} \left[ \left( 1/n \sum_i (x_i - \hat{\mu})^2 \right) - s \right] = 0 \\
\Rightarrow \{& \text{Pour une variance finie, le second facteur doit s'annuler.} \} \\
& \hat{s}_{ML} \triangleq \hat{\sigma}^2_{ML} = 1/n \sum_i (x_i - \hat{\mu})^2
& \hat{s}_{ML} = \hat{\sigma}^2_{ML} = 1/n \sum_i (x_i - \hat{\mu})^2
\end{align*}
Quel est le biais de cet estimateur ?
\begin{align*}
& E\left[ \hat{\sigma^2_{ML}} \right] \\
& E\left[ \hat{\sigma}^2_{ML} \right] \\
= \{& \text{Voir dérivation ci-dessus.} \} \\
& E\left[ n^{-1} \sum_i (x_i - \hat{\mu})^2 \right] \\
= \{& \text{Linéarité de l'opérateur espérance E.} \} \\
@ -91,7 +91,7 @@ Quel est le biais de cet estimateur ?
Cet estimateur est sans biais. On peut montrer qu'un estimateur non biaisé obtenu par l'approche du maximum de vraissemblance est également de variance minimale.
Considérons maintenant que la moyenne ne soit pas connue et calculons les estimateurs par maximum de vraissemblance de la maoyenne et de la variance.
Considérons maintenant que la moyenne ne soit pas connue et calculons les estimateurs par maximum de vraissemblance de la moyenne et de la variance.
\begin{align*}
& \hat{\mu}_{ML} \\
@ -137,7 +137,7 @@ Quel est le biais de cet estimateur de la variance ?
= \{& \text{Voir dérivation ci-dessus.} \} \\
& E \left[ n^{-1} \sum_i x_i^2 \; - \left( n^{-1} \sum_i x_i \right)^2 \right] \\
= \{& \text{Linéarité de l'opérateur E.} \} \\
& n^{-1} \sum_i E[x_i^2] \; - n^{-2} E \left[ (\sum_i x_i)^2 \right] \\
& n^{-1} \sum_i E[x_i^2] \; - n^{-2} E \left[ \left( \sum_i x_i \right)^2 \right] \\
= \{& \hat{s} = E[x_i^2] - E[x_i]^2 \} \\
& \hat{s} + \hat{\mu}^2 - n^{-2} E \left[ \sum_i x_i^2 \; + \sum_i \sum_{j\neq i} x_i x_j \right] \\
= \{& \text{Linéarité de l'opérateur E.} \} \\
@ -154,7 +154,7 @@ Quel est le biais de cet estimateur de la variance ?
L'estimateur de la variance $\hat{s}_{ML}$ est maintenant biaisé. Nous pouvons construire un estimateur sans biais :
$$
s' = \left( \frac{n-1}{n} \right)^{-1} \hat{s}_{ML} = \frac{1}{n-1} \sum_i (x_i - \mu)^2
s' \; = \; \left( \frac{n-1}{n} \right)^{-1} \hat{s}_{ML} \; = \; \frac{1}{n-1} \sum_i (x_i - \mu)^2
$$
$s'$ est alors sans biais mais n'est plus de variance minimale (bien que, parmi les estimateurs non biaisés, il soit de variance minimale).