Intelligence artificielle

• Classification : chaque x est catégorisé :
• Classification avec entrées manquantes : ensemble de fonctions . Par exemple ; si on connaît ; on crée Il faut "apprendre une distribution de probabilités sur toutes les variables pertinentes, puis de résoudre la tâche en marginalisant les variables manquantes.
• régression : prévoir une valeur
• transcription : texte à partir d’un objet complexe ( ocr , par exemple )
• traduction automatique : texte -> texte
• sortie structurée : objet complexe -> (...)

méthode de la plus grande pente( descente de gradient ) :
Pour trouver un extrèmum , avec un pas
avec
On peut choisir si positif ???? (4.10)
méthode de newton Lorsque les pentes sont très directionnelles, on choisit qui trouve le minimum si f quadratique ( polynôme second degré )
optimisation sous contraintes - KKT Lagrangien :
Et progiciel theano p 101.

Chapitre 3
Lois de proba classiques. Loi marginale
P(a,b,c)=P(a|b,c)P(b|c)P(c)
x,y indépendantes : p(x,y)=p(x)p(y)
x,y conditionnellement indépendantes étant donné z : p(x,y|z)=p(x|z)p(y|z) Covariance : Loi normale multivariée :
3.10 sigmoïde logistique softplus
Jacobien
3.13 théorie de l’information unité nat ( bit = log2 ) Entropie de Shannon : différences de deux lois de probabilités sur la même variable aléatoire : divergence de Kullback-Leibler (KL) : entropie croisée : ]
modèle (...)

Travail classique avec les matrices.
Norme de Frobenius d’une matrice : ( écrit avec \ Vert )
Décomposition en éléments propres : si A possède n vecteurs propres de valeurs propres et si alors (2.40)
Décomposition d’une matrice symétrique . Q est une matrice orthogonale composée de vecteurs propres de A et D est diagonale. La valeur propre est associée au vecteur propre de la colonne i de Q.
Décomposition en valeurs singulières de matrices non carrées A(m,n) : ; U et V orthogonales, D(m,n) (...)

https://www.deeplearningbook.org/contents/ml.html
@bookGoodfellow-et-al-2016, title=Deep Learning, author=Ian Goodfellow and Yoshua Bengio and Aaron Courville, publisher=MIT Press, note=\urlhttp://www.deeplearningbook.org, year=2016