Moteur de recherche
Un article de Wikipédia, l'encyclopédie libre.
Cet article est une ébauche concernant l’informatique.
Vous pouvez partager vos connaissances en l’améliorant. (Comment ?).
|
Un moteur de recherche est un logiciel permettant de retrouver des ressources (pages web, forums Usenet, images, vidéo, etc.) associées à des mots quelconques.
Certains sites web offrent un moteur de recherche comme principale fonctionnalité ; on appelle alors moteur de recherche le site lui-même (Dailymotion, YouTube, Google Video, etc. sont des moteurs de recherche vidéo).
Outil de recherche sur le web constitué de « robots », encore appelés spiders, crawlers ou agents qui parcourent les sites à intervalles réguliers et de façon automatique (sans intervention humaine, ce qui les distingue des annuaires) pour découvrir de nouvelles adresses (URL). Ils suivent les liens hypertextes (qui relient les pages les unes aux autres) rencontrés sur chaque page atteinte. Chaque page identifiée est alors indexée dans une base de données, accessible ensuite par les internautes à partir de mots-clés.
Par abus de langage, on appelle également moteurs de recherche :
- des sites web proposant des annuaires de sites web : dans ce cas, ce sont des ressources humaines qui répertorient et classifient des sites web jugés dignes d'intérêt et non des robots d'indexation — on peut citer par exemple Voilà et Yahoo!, etc. ;
- des logiciels installés sur un ordinateur personnel : ce sont des moteurs dits desktop qui combinent la recherche parmi les fichiers stockés sur le PC et la recherche parmi les sites web — on peut citer par exemple Google Desktop et Copernic Desktop Search, etc.
On trouve également des métamoteurs, c'est-à-dire des sites web où une même recherche est lancée simultanément sur plusieurs moteurs de recherche (les résultats étant ensuite fusionnés pour être présentés à l'internaute) — on peut citer Mamma, Kartoo, Seek.fr, etc.
Plus récemment, on trouve également des annuaires qui exploitent des systèmes de folksonomie à base de tags (ou étiquettes) positionnés par les internautes.
Sommaire |
[modifier] Fonctionnement
Le fonctionnement d'un moteur de recherche se décompose en trois étapes principales.
- L'exploration ou crawl : le web est systématiquement exploré par un robot d'indexation suivant récursivement tous les hyperliens qu'il trouve et récupérant les ressources jugées intéressantes. L'exploration est lancée depuis une ressource pivot, comme une page d'annuaire web. Un moteur de recherche est d'abord un outil d'indexation, c'est à dire qu'il dispose d'une technologie de collecte de documents à distance sur les sites web, via un outil que l'on appelle robot ou bot. Un robot d'indexation dispose de sa propre signature (comme chaque navigateur web). Googlebot est le user agent (signature) du crawler de Google
- L'indexation des ressources récupérées consiste à extraire les mots considérés comme significatifs (pratiquement tous) correspondant à chaque ressource. Les mots extraits sont enregistrés dans une base de données organisée comme un gigantesque dictionnaire inverse ou, plus exactement, comme l'index terminologique d'un ouvrage, qui permet de retrouver rapidement dans quel chapitre de l'ouvrage se situe un terme significatif donné. Les termes non significatifs s'appellent des mots vides.
- La recherche correspond à la partie requêtes du moteur, qui restitue les résultats. Un algorithme gardé secret est généralement appliqué pour donner un poids variable aux correspondances, afin de pouvoir présenter les résultats des recherches par ordre de pertinence supposée. L'algorithme tient généralement compte du contexte du mot clé (titre, paragraphe, hyperlien...) et de la ressource (ressources liées, popularité du site...)
[modifier] Optimisation des moteurs de recherche
Afin d'optimiser les moteurs de recherche, les webmestres insérent des métaéléments (métatags) dans les pages web, dans l'en-tête HTML (head). Ces informations permettent d'optimiser les recherches d'information sur les sites web.
[modifier] Financement
Les sites dont la recherche est le principal service se financent par la vente de technologie et de publicité.
Le financement par la publicité consiste à présenter des publicités correspondant aux mots recherchés par le visiteur. L'annonceur achète des mots-clés : par exemple une agence de voyage peut acheter des mots-clés comme « vacances », « hôtel » et « plage » ou « Cannes », « Antibes » et « Nice » si elle est spécialisée dans cette région. Cet achat permet d'obtenir un référencement dit "référencement payant" à distinguer du référencement dit "référencement naturel".
Le moteur de recherche peut afficher la publicité de deux manières : en encart séparé ou en l'intégrant aux résultats de la recherche. Pour le visiteur, l'encart séparé se présente comme une publicité classique. L'intégration aux résultats se fait en revanche au détriment de la pertinence des résultats et peut avoir des retombées négatives sur la qualité perçue du moteur. De ce fait, tous les moteurs ne vendent pas de placement dans les résultats.
Les moteurs de recherche constituent un enjeu économique. La valeur boursière de Google, principal moteur de recherche, est de 165 milliards d'euros en janvier 2008.
[modifier] Techniques de détournement
L'importance des enjeux économiques a généré des techniques de détournement malhonnêtes des moteurs de recherche pour obtenir des référencements "naturels", le spamdexing.
Les deux techniques les plus pratiquées de spamdexing sont :
- Le cloaking, qui est une technique permettant de fournir une page différente aux moteurs de recherche de celle visible par un internaute.
- Les sites miroirs, qui sont des copies exactes d'un site internet mais sous une autre adresse.
Les techniques de spamdexing sont pourchassées par les éditeurs de moteurs de recherches, qui constituent des "blacklists" provisoires ou définitives.
On distingue le spamdexing, détournement malhonnête, du SEO, Search Engine Optimisation. Les techniques de SEO sont commercialisées par des sociétés spécialisées.
[modifier] Vente de technologie
Les grandes organisations (entreprises, administrations) disposent généralement de très nombreuses ressources informatiques dans un vaste intranet. Leurs ressources n'étant pas accessibles depuis Internet, elles ne sont pas couvertes par les moteurs de recherche du web. Elles doivent donc installer leur propre moteur si elles veulent mener des recherches dans leurs ressources. Elles constituent donc un marché pour les développeurs de moteurs de recherche.
Il arrive également que des sites web publics utilisent les services d'un moteur de recherche pour étoffer leur offre. On parle alors de SiteSearch. Ces logiciels permettent la recherche de contenus dans un ou plusieurs groupes de sites. Ces technologies sont particulièrement exploitées sur les sites de contenus et les sites de vente en ligne. La particularité de ces outils est souvent la complexité de mise en oeuvre et les ressources techniques nécessaires disponibles.
Il arrive aussi que les grands portails exploitent la technologie des moteurs de recherche. Ainsi Yahoo!, spécialiste de l'annuaire web, a utilisé pendant quelques années la technologie de Google pour la recherche, jusqu'à ce qu'elle lance son propre moteur de recherche Yahoo Search Technology en 2004, dont les fondations proviennent de Altavista, Inktomi et Overture, sociétés fondatrices des moteurs de recherche et rachetées par Yahoo!.
[modifier] Évolution vers le web sémantique
Dans la mesure où les producteurs de contenu indexent les bases avec des métadonnées ou des taxinomies (ontologies), les moteurs de recherche vont devoir s'adapter aux analyses sémantiques. Par rapport aux recherches plein texte, les recherches dans le web sémantique sont beaucoup plus efficaces.
Quelques exemples de moteurs de recherche sémantiques :
- CORESE, développé à l'INRIA
- KartOO et Ujiko
- Lingway KM est une plateforme linguistique et sémantique multilingue permettant le développement de moteurs de recherche spécialisés
- Seek de Verticrawl, logiciel de recherche en mode webservice (www.verticrawl.com)
- Pertimm
- Sinequa CS de Sinequa
- Zoom, d'Acetic
[modifier] Principaux moteurs de recherche
Selon une étude du cabinet Comscore réalisée en août 2007[1]:
- Google (environ 60%[réf. nécessaire] des 61 milliards de recherches sur internet)
- Exalead, moteur de recherche français de nouvelle génération
- MozDex, moteur de recherche libre
- Yahoo (8,5 milliards de recherches[réf. nécessaire], soit 14% du total)
- Live Search (Microsoft) (2,1 milliards de recherches[réf. nécessaire], 3,4%)
- Baidu, "le Google chinois" qui monte en puissance (3,3 milliards de requêtes[réf. nécessaire], soit 5,4% du total),
- Naver, moteur de recherche coréen du groupe NHN (2 milliards de recherches[réf. nécessaire]).
- Ask.com
- Voila
- Sharelook moteur de recherche, entre autres intégré dans les Lycos
- Wikia (moteur de recherche sur les logiciels libres)
- guruji , moteur de recherche indien
[modifier] Multi-moteurs
On désigne par Multi-moteurs (ou plus rarement, "super moteur"[2]) une page web proposant un ou plusieurs formulaires permettant d'interroger plusieurs moteurs.
Le choix d'un des moteurs peut se faire par bouton, bouton radio, onglet, liste déroulante ou autre.
Les premières pages de ce type recopiaient le code des formulaires de plusieurs moteurs. Avec l'apparition du Javascript il est devenu possible de n'avoir plus qu'un seul formulaire. On peut citer par exemple Creative Commons Search, A9.com, Alpha de Yahoo!, Hotbot de Lycos, le module recherche de Netvibes ou Meta (qui permet d'interroger plus de 140 moteurs). Voir la catégorie correspondante de l'annuaire DMOZ (en anglais) pour d'autres exemples.
[modifier] Voir aussi
[modifier] Articles connexes
- Combinatoire sémantique
- Métamoteur, Annuaire web, Référencement, Positionnement, Spamdexing
- Page de résultats d'un moteur de recherche
- Recherche d'information (IR), Système de recherche d'information, Indexation, Exploration (robot d'indexation), Analyse sémantique
- Recherche plein texte
- Smart bookmark
[modifier] Liens externes
- Comment déterminer la fiabilité d'une information trouvée sur Internet
- Sapristi !, guide pour la recherche de l'information scientifique et technique sur l'internet (depuis 1996). Un manuel présentant les méthodes et outils de recherche.
[modifier] Notes et références
- ↑ AFP, "Google leader écrasant de la recherche sur internet mondial", 10 octobre 2007 afp.google.com
- ↑ Hooseek et FindForward se désignent comme des supermoteurs et Supermoteur est le nom d'un multi-moteur