corrections mineures à l'occasion de l'édition des slides
This commit is contained in:
parent
52f4ea14a2
commit
9517fb8458
|
@ -28,14 +28,14 @@ Avec moins d'observations que de fonctions de base ($n<p$), le système $\mathbf
|
|||
1 \\ 0.99
|
||||
\end{array} \right)
|
||||
\]
|
||||
Sa solution est $\boldsymbol\beta^T = (1001,-1000)$. Cependant, la solution approchée $\boldsymbol\beta^T = (0.5,0.5)$ semble préférable. En effet, la solution optimale a peu de chance de bien s'adapter à de nouvelles observations (par exemple, l'observation $(1,2)$ serait projetée sur l'étiquette -999).
|
||||
Sa solution est $\boldsymbol\beta^T = (1001,-1000)$. Cependant, la solution approchée $\boldsymbol\beta^T = (0.5,0.5)$ semble préférable. En effet, la solution optimale a peu de chance de bien s'adapter à de nouvelles observations (par exemple, l'observation $(1,2)$ serait projetée sur l'étiquette $-999$).
|
||||
|
||||
# Ajout de contraintes de régularité
|
||||
|
||||
Ainsi, lorsqu'il faut choisir entre plusieurs solutions, il peut être efficace d'exprimer une préférence envers celles dont les coefficients (ou paramètres) ont de faibles valeurs. Cela consiste par exemple à minimiser $|\beta_1|+|\beta_2|+\dots$ (aussi noté $\|\boldsymbol\beta\|_1$, la "norme 1") ou encore $\beta_1^2+\beta_2^2+\dots$ (aussi noté $\|\boldsymbol\beta\|_2^2$, le carré de la "norme 2"). Dans ce dernier cas, il s'agit de résoudre un nouveau problème de minimisation :
|
||||
|
||||
\begin{align*}
|
||||
\min_{\boldsymbol\beta} \|\mathbf{X}\boldsymbol\beta-\mathbf{y}\|^2_2 + \lambda \|\boldsymbol\beta|^2_2 \\
|
||||
\min_{\boldsymbol\beta} \|\mathbf{X}\boldsymbol\beta-\mathbf{y}\|^2_2 + \lambda \|\boldsymbol\beta\|^2_2 \\
|
||||
avec \quad 0 \leq \lambda
|
||||
\end{align*}
|
||||
|
||||
|
@ -114,7 +114,7 @@ Prenons l'exemple d'un modèle linéaire : $F(\mathbf{X}) = \mathbf{W}^T\mathbf{
|
|||
& |F(\mathbf{X}) - F(\mathbf{X^*})| \\
|
||||
= \{& F(\mathbf{X}) = \mathbf{W}^T\mathbf{X} + b \} \\
|
||||
& |\mathbf{W}^T\mathbf{X} - \mathbf{W}^T\mathbf{X^*}| \\
|
||||
= \phantom{\{}& \\
|
||||
= \{& \text{Algèbre linéaire} \} \\
|
||||
& |\mathbf{W}^T(\mathbf{X}-\mathbf{X^*})| \\
|
||||
= \{& \mathbf{X^*} = \mathbf{X} + \mathbf{\epsilon} \} \\
|
||||
& |\mathbf{W}^T \mathbf{\epsilon}| \\
|
||||
|
|
Loading…
Reference in New Issue