Boosting

Un article de Wikipédia, l'encyclopédie libre.
Cet article est une ébauche concernant les probabilités et les statistiques.
Vous pouvez partager vos connaissances en l’améliorant. (Comment ?).

Sommaire

[modifier] Généralités

Le boosting est un domaine de l'apprentissage automatique (branche de l'intelligence artificielle). C'est un principe qui regroupe de nombreux algorithmes qui s'appuient sur des ensembles de classifieurs binaires : le boosting optimise leurs performances.

Le principe est issu de la combinaison de classifieurs (appelés également hypothèses). Par itérations successives, la connaissance d'un classifieur faible - weak classifier - est ajoutée au classifieur final - strong classifier.

On appelle apprenant faible un algorithme qui fournit des classifieurs faibles, capables de reconnaitre 2 classes au moins aussi bien que le hasard ne le ferait (c’est-à-dire qu'il ne se trompe pas plus d'une fois sur deux en moyenne). Le classifieur fourni est pondéré par la qualité de sa classification : plus il classe bien, plus il sera important. Les exemples mal classés sont boostés pour qu'ils aient davantage d'importance vis à vis de l'apprenant faible au prochain tour, afin qu'il pallie le manque.

Un des algorithmes les plus utilisés en boosting s'appelle AdaBoost, qui signifie adaptative boosting.

Le boosting est basé sur le Cadre PAC.

[modifier] Principales méthodes liées au boosting

  • Bootstraping
  • Bagging
  • Boosting
  • AdaBoost
  • DiscreteAB
  • RealAB
  • GentleAB
  • WeightBoost
  • BrownBoost
  • LogitBoost
  • AsymBoost
  • KLBoost
  • FloatBoost
  • GloBoost

[modifier] Autres méthodes apparentées

  • ADDEMUP
  • arcing: adaptive recombination of classifiers
  • bagging: bootstrap aggregation
  • bag-stacking: bagging plus stacking
  • cascading
  • combination of classifiers
  • committees of networks
  • consensus theory
  • cragging: cross aggregation (like k-fold cross validation)
  • dagging: disjoint-sample aggregation
  • dag-stacking: dagging plus stacking
  • divide and conquer classifiers
  • hagging: half-sample aggregation
  • mixture of experts
  • multiple classifier systems:
  • multi-stage and multi-level classifiers
  • OLC: optimal linear combination
  • pandemonium of reflective agents
  • sieving algorithms
  • stacking: feeding outputs of several models (and possibly the the

original inputs) into a second-level model

  • voting

[modifier] Liens

Autres langues