Corrections mineures pour la partie qui introduit les notions de biais et de variance.

.gitignore

@@ -17,3 +17,4 @@
 13_puissance_iteree_par_blocs.pdf
 14_geometrie_ridge_svd.pdf
 15_loocv.pdf
+16_biais_variance_estimateur.pdf

16_biais_variance_estimateur.Rmd

@@ -69,13 +69,13 @@ Supposons que la moyenne $\hat{\mu}$ du modèle soit connue. Calculons alors l'e
 =  \{& \text{Factorisation pour faire apparaître } s\} \\
  & (n/2) s^{-2} \left[ \left( 1/n \sum_i (x_i - \hat{\mu})^2 \right) - s \right] = 0 \\
 \Rightarrow \{& \text{Pour une variance finie, le second facteur doit s'annuler.} \} \\
- & \hat{s}_{ML} \triangleq \hat{\sigma}^2_{ML} = 1/n \sum_i (x_i - \hat{\mu})^2
+ & \hat{s}_{ML} = \hat{\sigma}^2_{ML} = 1/n \sum_i (x_i - \hat{\mu})^2
 \end{align*}
 
 Quel est le biais de cet estimateur ?
 
 \begin{align*}
- & E\left[ \hat{\sigma^2_{ML}} \right] \\
+ & E\left[ \hat{\sigma}^2_{ML} \right] \\
 = \{& \text{Voir dérivation ci-dessus.} \} \\
  & E\left[ n^{-1} \sum_i (x_i - \hat{\mu})^2 \right] \\
 = \{& \text{Linéarité de l'opérateur espérance E.} \} \\
@@ -91,7 +91,7 @@ Quel est le biais de cet estimateur ?
 
 Cet estimateur est sans biais. On peut montrer qu'un estimateur non biaisé obtenu par l'approche du maximum de vraissemblance est également de variance minimale.
 
-Considérons maintenant que la moyenne ne soit pas connue et calculons les estimateurs par maximum de vraissemblance de la maoyenne et de la variance.
+Considérons maintenant que la moyenne ne soit pas connue et calculons les estimateurs par maximum de vraissemblance de la moyenne et de la variance.
 
 \begin{align*}
  & \hat{\mu}_{ML} \\
@@ -137,7 +137,7 @@ Quel est le biais de cet estimateur de la variance ?
 = \{& \text{Voir dérivation ci-dessus.} \} \\
  & E \left[ n^{-1} \sum_i x_i^2 \; - \left( n^{-1} \sum_i x_i \right)^2 \right] \\
 = \{& \text{Linéarité de l'opérateur E.} \} \\
- & n^{-1} \sum_i E[x_i^2] \; - n^{-2} E \left[ (\sum_i x_i)^2 \right] \\
+ & n^{-1} \sum_i E[x_i^2] \; - n^{-2} E \left[ \left( \sum_i x_i \right)^2 \right] \\
 = \{& \hat{s} = E[x_i^2] - E[x_i]^2 \} \\
  & \hat{s} + \hat{\mu}^2 - n^{-2} E \left[ \sum_i x_i^2 \; + \sum_i \sum_{j\neq i} x_i x_j \right] \\
 = \{& \text{Linéarité de l'opérateur E.} \} \\
@@ -154,7 +154,7 @@ Quel est le biais de cet estimateur de la variance ?
 
 L'estimateur de la variance $\hat{s}_{ML}$ est maintenant biaisé. Nous pouvons construire un estimateur sans biais : 
 $$
-s' = \left( \frac{n-1}{n} \right)^{-1} \hat{s}_{ML} = \frac{1}{n-1} \sum_i (x_i - \mu)^2
+s' \; = \;  \left( \frac{n-1}{n} \right)^{-1} \hat{s}_{ML} \; = \; \frac{1}{n-1} \sum_i (x_i - \mu)^2
 $$
 
 $s'$ est alors sans biais mais n'est plus de variance minimale (bien que, parmi les estimateurs non biaisés, il soit de variance minimale).