From 6725971bb9dc5eeaa0d71c1a70cdfdb597a38109 Mon Sep 17 00:00:00 2001 From: Pierre-Edouard Portier Date: Mon, 6 Dec 2021 09:26:19 +0100 Subject: [PATCH] Corrections mineures pour la partie qui introduit les notions de biais et de variance. --- .gitignore | 1 + 16_biais_variance_estimateur.Rmd | 10 +++++----- 2 files changed, 6 insertions(+), 5 deletions(-) diff --git a/.gitignore b/.gitignore index d2b98c6..07db000 100644 --- a/.gitignore +++ b/.gitignore @@ -17,3 +17,4 @@ 13_puissance_iteree_par_blocs.pdf 14_geometrie_ridge_svd.pdf 15_loocv.pdf +16_biais_variance_estimateur.pdf diff --git a/16_biais_variance_estimateur.Rmd b/16_biais_variance_estimateur.Rmd index 774d932..25039d4 100644 --- a/16_biais_variance_estimateur.Rmd +++ b/16_biais_variance_estimateur.Rmd @@ -69,13 +69,13 @@ Supposons que la moyenne $\hat{\mu}$ du modèle soit connue. Calculons alors l'e = \{& \text{Factorisation pour faire apparaître } s\} \\ & (n/2) s^{-2} \left[ \left( 1/n \sum_i (x_i - \hat{\mu})^2 \right) - s \right] = 0 \\ \Rightarrow \{& \text{Pour une variance finie, le second facteur doit s'annuler.} \} \\ - & \hat{s}_{ML} \triangleq \hat{\sigma}^2_{ML} = 1/n \sum_i (x_i - \hat{\mu})^2 + & \hat{s}_{ML} = \hat{\sigma}^2_{ML} = 1/n \sum_i (x_i - \hat{\mu})^2 \end{align*} Quel est le biais de cet estimateur ? \begin{align*} - & E\left[ \hat{\sigma^2_{ML}} \right] \\ + & E\left[ \hat{\sigma}^2_{ML} \right] \\ = \{& \text{Voir dérivation ci-dessus.} \} \\ & E\left[ n^{-1} \sum_i (x_i - \hat{\mu})^2 \right] \\ = \{& \text{Linéarité de l'opérateur espérance E.} \} \\ @@ -91,7 +91,7 @@ Quel est le biais de cet estimateur ? Cet estimateur est sans biais. On peut montrer qu'un estimateur non biaisé obtenu par l'approche du maximum de vraissemblance est également de variance minimale. -Considérons maintenant que la moyenne ne soit pas connue et calculons les estimateurs par maximum de vraissemblance de la maoyenne et de la variance. +Considérons maintenant que la moyenne ne soit pas connue et calculons les estimateurs par maximum de vraissemblance de la moyenne et de la variance. \begin{align*} & \hat{\mu}_{ML} \\ @@ -137,7 +137,7 @@ Quel est le biais de cet estimateur de la variance ? = \{& \text{Voir dérivation ci-dessus.} \} \\ & E \left[ n^{-1} \sum_i x_i^2 \; - \left( n^{-1} \sum_i x_i \right)^2 \right] \\ = \{& \text{Linéarité de l'opérateur E.} \} \\ - & n^{-1} \sum_i E[x_i^2] \; - n^{-2} E \left[ (\sum_i x_i)^2 \right] \\ + & n^{-1} \sum_i E[x_i^2] \; - n^{-2} E \left[ \left( \sum_i x_i \right)^2 \right] \\ = \{& \hat{s} = E[x_i^2] - E[x_i]^2 \} \\ & \hat{s} + \hat{\mu}^2 - n^{-2} E \left[ \sum_i x_i^2 \; + \sum_i \sum_{j\neq i} x_i x_j \right] \\ = \{& \text{Linéarité de l'opérateur E.} \} \\ @@ -154,7 +154,7 @@ Quel est le biais de cet estimateur de la variance ? L'estimateur de la variance $\hat{s}_{ML}$ est maintenant biaisé. Nous pouvons construire un estimateur sans biais : $$ -s' = \left( \frac{n-1}{n} \right)^{-1} \hat{s}_{ML} = \frac{1}{n-1} \sum_i (x_i - \mu)^2 +s' \; = \; \left( \frac{n-1}{n} \right)^{-1} \hat{s}_{ML} \; = \; \frac{1}{n-1} \sum_i (x_i - \mu)^2 $$ $s'$ est alors sans biais mais n'est plus de variance minimale (bien que, parmi les estimateurs non biaisés, il soit de variance minimale).