Direction de descente

Un article de Wikipédia, l'encyclopédie libre.
Cet article est une ébauche concernant les mathématiques.
Vous pouvez partager vos connaissances en l’améliorant. (Comment ?).

La direction de descente est une forme de généralisation de la descente de gradient.

En optimisation, une direction de descente est un vecteur \mathbf{p}\in\mathbb R^n tel que, permet de rapprocher d'un minimum local \mathbf{x}^* de la fonction f:\mathbb R^n\to\mathbb R.

Supposons que nous calculons \mathbf{x}^* par une méthode itérative, telle que la recherche linéaire. Nous définissons une direction de descente \mathbf{p}_k\in\mathbb R^n à l'itération kth comme ténat n'importe quel \mathbf{p}_k tel que \langle\mathbf{p}_k,\nabla f(\mathbf{x}_k)\rangle < 0, où \langle , \rangle dénote le produit scalaire. La motivation de cette approche est que n'importe quel pas, même petit, le long de \mathbf{p}_k garantit que f diminuera, en utilisant le Théorème de Taylor.

Avec cette définition, l'opposé d'un gradient non-nul est toujours une direction de descente, puisque \langle -\nabla f(\mathbf{x}_k), \nabla f(\mathbf{x}_k) \rangle = -\langle \nabla f(\mathbf{x}_k), \nabla f(\mathbf{x}_k) \rangle < 0 .

Il existe de nombreuses méthodes permettant de calculer une direction de descente, chacune avec ses propres caractéristiques. Par exemple, on peut utiliser la descente de gradient ou la méthode du gradient conjugué.