Entropie différentielle
Un article de Wikipédia, l'encyclopédie libre.
L'Entropie différentielle est un concept de la théorie de l'information qui étend le concept de l'entropie de Shannon aux distributions de probabilités continue.
[modifier] Definition
Pour une variable aléatoire X avec une distribution de probabilité f et définie sur un ensemble on définie l'entropie différentielle h(X) par:
[modifier] Entropie différentielle pour plusieurs distributions
Distribution | Fonction de distribution de probabilités | Entropie |
---|---|---|
Loi uniforme continue | pour | |
Loi normale | ||
Loi exponentielle | ||
Loi de Cauchy | ||
Loi du χ² | ||
Distribution Gamma | ||
Loi logistique | ||
Statistique de Maxwell-Boltzmann | ||
Distribution de Pareto | ||
Loi de Student | ||
Distribution de Weibull | ||
Loi normale multidimensionnelle |