Pour les articles homonymes, voirSpider.
Cet articlene cite pas suffisamment ses sources().
Si vous disposez d'ouvrages ou d'articles de référence ou si vous connaissez des sites web de qualité traitant du thème abordé ici, merci de compléter l'article en donnant lesréférences utiles à savérifiabilité et en les liant à la section « Notes et références ».
En pratique :Quelles sources sont attendues ?Comment ajouter mes sources ?
Unrobot d'indexation[1] (enanglaisweb crawler ouweb spider, littéralementaraignée du Web) est unlogiciel qui explore automatiquement leWeb. Il est généralement conçu pour collecter lesressources (pages Web,images,vidéos, documentsWord,PDF ouPostScript, etc.), afin de permettre à unmoteur de recherche de lesindexer.
Fonctionnant sur le même principe, certains robots malveillants (spambots) sont utilisés pour archiver les ressources ou collecter desadresses électroniques auxquelles envoyer descourriels.
En français, depuis 2013,crawler est remplaçable par le motcollecteur[2].
Il existe aussi des collecteurs analysant finement les contenus afin de ne ramener qu'une partie de leur information.
Pourindexer de nouvelles ressources, un robot procède en suivantrécursivement leshyperliens trouvés à partir d'une page pivot. Par la suite, il est avantageux de mémoriser l'URL de chaque ressource récupérée et d'adapter la fréquence des visites à la fréquence observée de mise à jour de la ressource. Toutefois, si le robot respecte les règles du fichier robots.txt, alors de nombreuses ressources échappent à cette exploration récursive. Cet ensemble de ressources inexploré est appeléWeb profond ou Web invisible.
Unfichier d'exclusion (robots.txt) placé dans la racine d'un site Web permet de donner aux robots une liste de ressources à ignorer. Cette convention permet de réduire la charge duserveur Web et d'éviter des ressources sans intérêt. Toutefois, certains robots ne se préoccupent pas de ce fichier.
Deux caractéristiques duWeb compliquent le travail du robot d'indexation : le volume de données et labande passante. Les capacités de traitement et de stockage des ordinateurs ainsi que le nombre d'internautes ayant fortement progressé, cela lié au développement d'outils de maintenance de pages de typeWeb 2.0 permettant à n'importe qui de mettre facilement en ligne des contenus, le nombre et la complexité des pages et objetsmultimédia disponibles, et leur modification, s'est considérablement accru dans la première décennie duXXIe siècle. Le débit autorisé par la bande passante n'ayant pas connu une progression équivalente, le problème est de traiter un volume toujours croissant d'information avec un débit relativement limité. Les robots ont donc besoin de donner des priorités à leurs téléchargements.
Le comportement d'un robot d'indexation résulte de la combinaison des principes suivants :
Sur les autres projets Wikimedia :
| Permettant leP2P | |
|---|---|
| Méthodes | |
|---|---|
| Services | |
| Exploration de données | |
| Outils | |
| Organismes | |
