L’apprentissage profond - chapitre 3

Chapitre 3

Lois de proba classiques.
Loi marginale $$$ P(X=x)=\sum\limits_y P(X=x;Y=y)\ ou \ =\int p(x,y)dy$$$

P(a,b,c)=P(a|b,c)P(b|c)P(c)

x,y indépendantes : p(x,y)=p(x)p(y)

x,y conditionnellement indépendantes étant donné z : p(x,y|z)=p(x|z)p(y|z)
Covariance : $$$ Cov( f(x),g(y) ) = E\left[ (f(x)-E[f(x)])\times (g(y)-E[g(y)]) \right]$$$
Loi normale multivariée : $$$ N(x;\mu ;\Sigma )=\sqrt{\frac{1}{(2\pi )^n\ det(\Sigma )}} exp \left( -\frac{1}{2}(\ ^T(x-\mu)\ \Sigma^{-1}\ (x-\mu) \right)$$$

3.10 sigmoïde logistique $$$\sigma(x)=\frac{1}{1+exp(-x)}$$$
softplus $$$\zeta(x)=log (1+exp(x))$$$

Jacobien $$$ J_{ij}=\left( \frac{\partial x_i}{\partial y_j} \right)$$$

3.13 théorie de l’information
$$$ I(x)=-ln( P(X=x) )$$$ unité nat ( bit = log2 )
Entropie de Shannon : $$$ H(x)=\mathbb{E}_{x\sim P} [I(x)] =- E_{x\sim P} [log P(x)]$$$
différences de deux lois de probabilités sur la même variable aléatoire :
divergence de Kullback-Leibler (KL) :
$$$D_{KL}( P \Vert Q ) = E_{x\sim P} [log \frac{P(x)}{Q(x)}]$$$
entropie croisée : $$$ H(P,Q)=H(P)+D_{KL}( P \Vert Q ) = - E_{x\sim P} [log Q(x)$$$]

modèle dirigé : p(a,b,c,d,e) = p(a) p(b|a)p(c|a,b)p(d|b)p(e|c)

modèle non dirigé : $$$ p(a,b,c,d,e) = \frac{1}{Z} \phi^{(1)}(a,b,c) \phi^{(2)}(b,d) \phi^{(3)}(c,e)$$$