Google Met à Jour la Documentation sur les Robots et les Fetchers Déclenchés par l’Utilisateur
Google a récemment apporté plusieurs mises à jour à la documentation de ses robots d’indexation et fetchers déclenchés par l’utilisateur, en réorganisant l’ancien document en plusieurs pages distinctes. En plus de cette réorganisation, Google a précisé les produits concernés par chaque robot d’indexation et a ajouté des exemples de fichiers robots.txt pour illustrer l’utilisation des tokens d’agent utilisateur.
Objectifs de ces changements
Dans une annonce, Google a expliqué ces modifications en disant : « Nous avons réorganisé la documentation de nos robots d’indexation et fetchers déclenchés par l’utilisateur. Nous avons également ajouté des notes explicites sur les produits affectés par chaque robot et inclus des exemples de fichiers robots.txt. Le contenu n’a pas fondamentalement changé. » L’objectif était de rendre la documentation moins longue, facilitant ainsi son extension future.
Nouveautés Principales
Outre la réorganisation du contenu, Google a ajouté des sections « Produits affectés » et « Exemple de groupe robots.txt » pour chaque robot d’indexation. Voici un aperçu des modifications :
| Robot | Produits Affectés |
|---|---|
| Googlebot | Google Search, Google Images, Google Vidéo, Google News, Discover |
| Googlebot Image | Google Images, Discover, Google Vidéo, Google Search (images, logos, favicons) |
| Googlebot Vidéo | Fonctionnalités de Google Search liées aux vidéos |
| Googlebot News | Google News, onglet Actualités de Google Search, application Google News |
Pourquoi c’est Important
Comprendre comment chaque robot affecte différents produits de Google peut vous aider à mieux gérer votre site web pour le référencement. Certains robots n’ont aucun impact sur Google Search, tandis que d’autres y sont essentiels.
Exemple de robots.txt
Les nouveaux exemples de fichiers robots.txt peuvent s’avérer très utiles pour vous et vos équipes de développement afin de configurer correctement les préférences de crawling.
Conclusion
Ces mises à jour simplifient la compréhension et l’utilisation des robots d’indexation de Google et offrent des outils supplémentaires pour optimiser la présence en ligne. Assurez-vous de revoir ces modifications pour voir comment elles peuvent influencer votre stratégie de référencement.