Un article de Wikipédia, l'encyclopédie libre.

Sommaire 1 Commentaires généraux sur la nouvelle page 1.1 Entropie = absence d'information 2 Commentaires sur l ancienne page 2.1 Commentaires sur les modifications 2.2 Discussion sur l'ambiguité 2.3 Motivation pour refaire la page 2.4 Symmetrisation de la KL Distance

[modifier] Commentaires généraux sur la nouvelle page

Voici une nouvelle version de cette page a prendre comme une nouvelle base de départ.Dangauthier 12 septembre 2005 à 17:25 (CEST)

[modifier] Entropie = absence d'information

Attention au fait que l'entropie d'une distribution - sigma[i](p(i) x log2 p(i)) est toujours négative, puisque toutes les probabilités sont par définition inférieures à 1. Le gain d'information ne se mesure pas par le gain d'entropie, mais au contraire par sa réduction. Cette entropie sera même nulle si sans la distribution une possibilité se retrouve avoir une probabilité de 1 et donc toutes les autres de 0 : on a alors l'information parfaite, entropie = 0. 81.65.27.14 14 septembre 2005 à 22:32 (CEST)

Votre remarque est tres intéressante, car elle montre qu'on se melange vite les pinceaux avec ces notions. D'abord laisser moi corriger que, pour des variables 'discretes', l entropie est toujours positive (il y a un signe moins dans la definition). Comme vous le dites elle est nulle pour le dirac (000...00010...0000), mais elle est maximale pour une uniforme (si j ai N cas : Hmax =- sigma[i](1/N x log2 1/N)= - log 1/N >0 ). Par contre, ce qui est intéressant, c est de bien faire attention a ce qu on appelle information, et sa relation a l entropie. Pour le dirac, vous dites que l information est 'parfaite' (maximale) car on sait exactement quelle est la realisation. Mais, dans la théorie de l information, (Shannon) on dit que ce cas est le moins informatif ! Car on considere que si une source envoie un message selon une distribution de dirac, le message n apporte strictement aucune information au recepteur, car il était completement prévisible. Donc, en théorie de l information, source a grande entropie == source tres informative.

Et pour l'information mutuelle ?? Si elle est grande, cela signifie que X et Y sont tres dependantes, donc que si j ai Y, je sais beaucoup mieux quelle est la valeur de X. P(X|Y) est tres 'piquée', donc H(X|Y) est petite, donc I(X,Y) est grande (ca marche, ouf). Donc quand je dit que I mesure le gain d'information, je parle du premier type d information, et je n entend pas ce terme au sens de Shannon.

Ainsi l'information mutuelle mesure bien la reduction d incertitude sur X connaisant Y. Donc un gain d information mutuelle est bien egal comme vous les dites a une reduction d entropie conditionelle. Il faudrait certainement mettre ca bien au clair dans l article. En fait, pour ne pas se perdre, il faut bien distinguer information=plein_d_entropie en theorie de shannon, et information=Peu_d_entropie en appoche subjectiviste. J enleve d ailleur la reference a la theorie de l information, car justement je m etais trompé la dessus. Dangauthier 23 septembre 2005 à 17:59 (CEST)

[modifier] Commentaires sur l ancienne page

[modifier] Commentaires sur les modifications

Je l'avoue volontiers, ce n'est pas très clair. J'y travaille. julien2512 23/03/05 18:18

Je crois avoir clarifié les choses , je compte faire l'article information commune. julien2512 31/05/05 19:19

L'ambiguité entre information mutuelle et information commune me dérange. julien2512 20/08/05 15:30

[modifier] Discussion sur l'ambiguité

Une ambiguité se présente entre information mutuelle et information commune. La littérature semble donner pour définition de l'information mutuelle l'intersection des sources d'information. Je trouve qu'il s'agit là plutôt d'information commune, et je définit l'information mutuelle comme l'information fournie au total par différentes sources d'information. julien2512 20/08/05 15:30

[modifier] Motivation pour refaire la page

Cette page et cette facon de presenter l information mutuelle ne va pas du tout ;-) Enfin, il y a un domaine ou cette notion est bien définie, c'est les probas. La page anglaise se situe dans ce cadre. http://en.wikipedia.org/wiki/Mutual_information

De plus, on sent que votre intuition sur ces notions est bonne, mais la formalisation en terme d'ensemble est simplement fausse ! Par exemple, dire que 2 evenements A et B sont indépendants lorsque leur intersection est nulle est faux. Cela veut dire qu'il sont incompatibles. Il ne faut pas confondre incompatibilité et indépendance. Par exemple "Il pleut" et "mon pull est rouge" sont indépendants, mais pas incompatibles (ils peuvent se realiser en meme temps). Il faut se placer dans le cadre de la théorie de l information de Shannon et parler de probabilités.

Je me propose de vous sousmettre une autre version prochainement. Cordialement Dangauthier 9 septembre 2005 à 18:58 (CEST)

Merci pour cette correction tant attendue. Auriez-vous une définition précise de ce qu'est un évènement en terme d'ensemble? Je pense aussi que ma confusion entre incompatibilité et indépendance vient de là. De plus les quelques articles que j'ai pu lire sur le sujet sont très évasifs, et se contentent de survoler les notions de base pour tout de suite fournir les formules et passer à des cas pratiques 'qui marchent bien'. Encore Merci. Julien2512 9 octobre 2005 13:22

Les définitions que vous cherchez peuvent être trouvées dans une introduction quelconque à la théorie des probabilité (cours de math niveau BAC+1). Sans entrer dans les détails (mathématiquement, il faut utiliser la théorie de la mesure), dans l'axiomatisation des probabilités (faite par Kolmogorov), on considère une expérience aléatoire donnant un "résultat". Chaque résultat possible est appelé éventualité. Par exemple, pour le lancé d'un dé, on a 6 éventualité "faire un 1", "faire un 2", "faire un 3" etc. un évènement est une union d'éventualité. Par exemple "faire un nombre pair" est l'union de "faire un 2", "faire un 4" et "faire un 6". On appelle souvent Oméga l'ensemble des éventualités (aussi appelé univers des possibles). Un évènement est donc un sous ensemble de Oméga. Dangauthier 14 novembre 2005 à 17:25 (CET)

Merci, je vais rependre mes formules avec cette définition. NB: Je trouve tout de même cet article bien trop compliqué pour une notion si intuitive. C'est cette approche intuitive que j'essayais de mettre en place.

Julien2512 22 janvier 2006 19:10 (+1)

[modifier] Symmetrisation de la KL Distance

Pourrait-t-on mentionner rapidement la version "symmetrisee" de la distance de Kullback-Leibler, et en l'occurence la divergence de Jeffrey ?