L’apprentissage profond - chapitre 4

méthode de la plus grande pente( descente de gradient ) :

Pour trouver un extrèmum , avec un pas $$$\varepsilon : x_{n+1}=x_{n}-\varepsilon \nabla_xf(x_n)$$$

$$$ f(x)\approx f(x_0)+ ^T(x-x_0) \nabla f +\frac{1}{2} ^T(x-x_0) H (x-x_0)$$$

avec $$$ Hessienne : H(f)(x)_{i,j}=\frac{\partial^2}{\partial x_i \partial x_j}f(x)$$$

$$$f(x_{n}-\varepsilon \nabla_xf(x_n)) \approx f(x_n) -\varepsilon ^T( \nabla f) \nabla f +\frac{1}{2} ^T( \nabla f) H ( \nabla f) (x_n)$$$

On peut choisir $$$ \varepsilon^* = \frac{^T( \nabla f) \nabla f}{^T( \nabla f) H ( \nabla f)}$$$ si $$$^T( \nabla f) H H( \nabla f)$$$ positif ???? (4.10)

méthode de newton

Lorsque les pentes sont très directionnelles, on choisit
$$$ x_{n+1}=x_n-( H(x_n) )^{-1} \nabla_x f (x_n)$$$ qui trouve le minimum si f quadratique ( polynôme second degré )

optimisation sous contraintes - KKT

$$$ {S}=\{ x\ tq\ \forall i, g_i(x)=0 ; \forall j, h_j(x)\leq 0 \}$$$
Lagrangien : $$$ L(x,\lambda,\alpha) = f(x) + \sum\limits_i \lambda_i g_i(x) +\sum\limits_j \alpha_j h_j(x)$$$

Et $$$ { min \atop x}{ max \atop \lambda}{ max \atop {\alpha,\alpha \geq 0}} L(x,\lambda,\alpha) \equiv { min \atop {x \in S }} f(x)$$$
progiciel theano p 101.