DEFT

Un article de Wikipédia, l'encyclopédie libre.

DEFT ou Défi fouille de Texte est une campagne d'évaluation scientifique organisée depuis 2005 par le LIMSI (Laboratoire d'informatique pour la mécanique et les sciences de l'ingénieur, CNRS) avec le soutien du consortium European Language Resources Association (ELDA/ELRA).

L'intérêt d'une campagne d'évaluation est de permettre de confronter, sur un même corpus, des méthodes et logiciels d'équipes différentes. L'atelier d'évaluation DEFT propose chaque année depuis sa création des thèmes relevant de la fouille de textes en langue française. Ainsi les objectifs sont de fédérer les équipes de recherches francophones en fouille de textes et de mettre des corpus étiquetés à la disposition de la communauté scientifique.

Lors de cette conférence, des corpus de textes de provenances très variées (journal Le Monde, débats de l'Assemblée Nationale, sites internet éditoriaux, Wikipédia) sont assemblés et soumis aux laboratoires participants aux défi. Une thématique de recherche d'information particulière est proposée: reconnaitre dans des phrases mélangées l'auteur d'un discours politique (campagne 2005), ou où encore détecter une opinion bonne, neutre ou mauvaise dans des documents (campagne 2007).

Reprenant le principe des conférences nord américaines (notamment TREC Novelty), cette campagne francophone réunit chaque année depuis ses débuts une dizaine de laboratoires participants qui proposent des solutions algorithmiques originales pour tenter de répondre à la problématique proposée.

Des mesures de performances (précision, rappel, F-score) sont réalisées sur les résultats fournis, et permettent de dégager un classement des systèmes proposées par les participants. Un classement jeune chercheurs est également proposé pour les contributions d'équipes composées de doctorants (ou docteurs de moins d'un an).

Les retombées de ce type de campagnes sont nombreuses dans le domaine de l'industrie du service et la recherche d'information (moteurs de recherche spécifiques, fouille de texte, classification automatique).

[modifier] Campagnes

  • DEFT'05 (Dourdan) TALN Recital 2005, identification du locuteur d'un discours.
  1. Classement :
    • 1er Laboratoire Informatique d'Avignon (LIA);
    • 2ème ENST;
    • 3ème LORIA.
    • Classement :
    • 1er LIMSI ;
    • 2ème CLIPS-IMAG;
    • 3ème Laboratoire GRDS.
  • DEFT'07 (Grenoble) AFIA 2007, détection de l'opinion exprimée dans un texte.
  1. Classement :
  1. Classement « jeunes chercheurs » :
    • 1er LIP6;
    • 2ème Laboratoire Informatique d'Avignon (LIA);
    • 3ème Laboratoire Lattice.
  1. Classement :
    • 1er Ex equo entre le Laboratoire Informatique d'Avignon (équipes Senior et Junior) et le LIP6;

[modifier] Liens externes

[1] Site officiel