diff --git a/15_loocv.Rmd b/15_loocv.Rmd index 3517c9a..8d30b9a 100644 --- a/15_loocv.Rmd +++ b/15_loocv.Rmd @@ -67,7 +67,7 @@ En notant $\mathbf{S(\lambda)}$ la matrice diagonale qui compresse les dimension Nous pouvons en particulier exprimer les valeurs $h_i$ en fonction du SVD de $\mathbf{X}$ : \[ -h_i = \sum_{d_j>0} \frac{d_j^2}{d_j^2 + \lambda} \mathbf{U}_{ij} +h_i = \sum_{d_j>0} \frac{d_j^2}{d_j^2 + \lambda} u_{ij} \] Observons la trace de $\mathbf{H(\lambda)}$, c'est-à-dire la somme de ses éléments diagonaux, l'expression se simplifie car, comme $\mathbf{U}$ est orthogonale, $\mathbf{u_i}^T\mathbf{u_i}=1$ et $\mathbf{u_i}^T\mathbf{u_j}=0$ pour $i \neq j$ : @@ -91,7 +91,7 @@ Nous utilisons ce résultat pour exprimer l'inversion nécessaire au calcul d'un =\{& \text{Par définition de } \mathbf{X^{(-i)}} \} \\ &\left( \mathbf{X^T}\mathbf{X} + \lambda\mathbf{I} - \mathbf{x_i}\mathbf{x_i}^T \right)^{-1} \\ =\{& \text{Formule de Morrison et définition de } h_i \} \\ - &\left( \mathbf{X^T}\mathbf{X} + \lambda\mathbf{I} \right)^{-1} + + &\left( \mathbf{X^T}\mathbf{X} + \lambda\mathbf{I} \right)^{-1} + \frac{\left( \mathbf{X^T}\mathbf{X} + \lambda\mathbf{I} \right)^{-1} \mathbf{x_i}\mathbf{x_i}^T \left( \mathbf{X^T}\mathbf{X} + \lambda\mathbf{I} \right)^{-1}}{1 - h_i} \end{align*} @@ -124,7 +124,7 @@ Finalement, nous avons découvert une expression de l'erreur LOOCV basée sur le \begin{align*} &LOO_\lambda = \frac{1}{n} \sum_{i=1}^{n} \left( \frac{y_i - \hat{y}_{\lambda i}}{1 - h_i} \right)^2 \\ - &\text{avec } h_i = \sum_{d_j>0} \frac{d_j^2}{d_j^2 + \lambda} \mathbf{U}_{ij} + &\text{avec } h_i = \sum_{d_j>0} \frac{d_j^2}{d_j^2 + \lambda} u_{ij} \end{align*} Nous remarquons que cette mesure de l'erreur peut être instable quand au moins l'un des $h_i$ est proche de $1$. Une solution est de remplacer dans cette expression chaque $h_i$ par la moyenne de tous les $h_i$, c'est-à-dire $\frac{1}{n} tr(\mathbf{H}(\lambda))$. Nous obtenons une nouvelle mesure de l'erreur appelée *validation croisée généralisée* (GCV pour "Generalized Cross Validation").