L’apprentissage profond - chapitre 2

Travail classique avec les matrices.

Norme de Frobenius d’une matrice : $$$ \Vert A\Vert _ F= \sqrt{\sum\limits_{i,j} A^2_{i,j}}=\sqrt{Tr ( A\ ^TA)}$$$ ( écrit avec \ Vert )

Décomposition en éléments propres : si A possède n vecteurs propres $$$(v_1 \ldots v_n)$$$ de valeurs propres $$$(\lambda_1 \ldots \lambda_n)$$$ et si
$$$V=\begin{pmatrix} v_1^{(1)} &\cdots& v_n^{(1)} \\ \vdots && \vdots \\ v_1^{(n)} &\cdots& v_n^{(n)} \\ \end{pmatrix}$$$ alors $$$A = V diag( (\lambda_i)_{i=1..n} ) V^{-1}$$$ (2.40)

Décomposition d’une matrice symétrique $$$A=Q\ D\ ^TQ$$$. Q est une matrice orthogonale composée de vecteurs propres de A et D est diagonale. La valeur propre $$$\lambda_i$$$ est associée au vecteur propre de la colonne i de Q.

Décomposition en valeurs singulières de matrices non carrées A(m,n) : $$$A=U\ D\ ^TV$$$ ; U et V orthogonales, D(m,n)

Pseudo inverse de Moore-Penrose
$$$ A^{+}=\lim\limits_{\alpha\rightarrow 0} \left( ^TA \ A + \alpha I \right)^{-1}\ ^TA$$$ (2.46)
$$$ A^{+}=V D^{+}\ ^TU$$$ où $$$ A =U D ^TV$$$ est la décomposition en valeurs singulières de A et D+ est est le pseudo inverse de D, obtenu par transposition de la mtrice obtenue en ivnersant les éléments non nuls.
Si A(m,n>m) , Y=AX donne la solution $$$X=A^{+}Y$$$ telle que $$$ \Vert X\vert_2$$$ min ; il en existe d’autres.
Si A(m,n<m) , Y=AX donne $$$X=A^{+}Y$$$ qui minimise , $$$\Vert AX-Y \Vert_2$$$ mais pas forcément solution.

2.12 analyse en composantes principales : recherche de D et A optimums
tels que d(X,DAX) minimum

LAP : compression avec perte