minor error correction

15_loocv.Rmd

@@ -67,7 +67,7 @@ En notant $\mathbf{S(\lambda)}$ la matrice diagonale qui compresse les dimension
 Nous pouvons en particulier exprimer les valeurs $h_i$ en fonction du SVD de $\mathbf{X}$ :
 
 \[
-h_i = \sum_{d_j>0} \frac{d_j^2}{d_j^2 + \lambda} \mathbf{U}_{ij}
+h_i = \sum_{d_j>0} \frac{d_j^2}{d_j^2 + \lambda} u_{ij}
 \]
 
 Observons la trace de $\mathbf{H(\lambda)}$, c'est-à-dire la somme de ses éléments diagonaux, l'expression se simplifie car, comme $\mathbf{U}$ est orthogonale, $\mathbf{u_i}^T\mathbf{u_i}=1$ et  $\mathbf{u_i}^T\mathbf{u_j}=0$ pour $i \neq j$ :
@@ -91,7 +91,7 @@ Nous utilisons ce résultat pour exprimer l'inversion nécessaire au calcul d'un
 =\{& \text{Par définition de } \mathbf{X^{(-i)}} \} \\
    &\left( \mathbf{X^T}\mathbf{X} + \lambda\mathbf{I} - \mathbf{x_i}\mathbf{x_i}^T \right)^{-1} \\
 =\{& \text{Formule de Morrison et définition de } h_i \} \\
-   &\left( \mathbf{X^T}\mathbf{X} + \lambda\mathbf{I} \right)^{-1} + 
+   &\left( \mathbf{X^T}\mathbf{X} + \lambda\mathbf{I} \right)^{-1} +
     \frac{\left( \mathbf{X^T}\mathbf{X} + \lambda\mathbf{I} \right)^{-1} \mathbf{x_i}\mathbf{x_i}^T \left( \mathbf{X^T}\mathbf{X} + \lambda\mathbf{I} \right)^{-1}}{1 - h_i}
 \end{align*}
 
@@ -124,7 +124,7 @@ Finalement, nous avons découvert une expression de l'erreur LOOCV basée sur le
 
 \begin{align*}
  &LOO_\lambda = \frac{1}{n} \sum_{i=1}^{n} \left( \frac{y_i - \hat{y}_{\lambda i}}{1 - h_i} \right)^2 \\
- &\text{avec } h_i = \sum_{d_j>0} \frac{d_j^2}{d_j^2 + \lambda} \mathbf{U}_{ij}
+ &\text{avec } h_i = \sum_{d_j>0} \frac{d_j^2}{d_j^2 + \lambda} u_{ij}
 \end{align*}
 
 Nous remarquons que cette mesure de l'erreur peut être instable quand au moins l'un des $h_i$ est proche de $1$. Une solution est de remplacer dans cette expression chaque $h_i$ par la moyenne de tous les $h_i$, c'est-à-dire $\frac{1}{n} tr(\mathbf{H}(\lambda))$. Nous obtenons une nouvelle mesure de l'erreur appelée *validation croisée généralisée* (GCV pour "Generalized Cross Validation").