Le fichier robots.txt est une nécessité pour tous les sites ou les blogs.
Il sert à définir les zones dans lequelles les robots des moteurs de recherche peuvent se déplacer, l’emplacement du fichier sitemap, etc…
De nombreux blogueurs WordPress oublient de créer ce fichier, ce qui influe grandement sur la qualité d’optimisation de leur blog. Lorsqu’un moteur de recherche parcoure votre blog, il vérifie tous les liens qu’il peut trouver et indexe le contenu des pages, afin qu’il puisse savoir quel est le thème du blog. Ce point est très important puisque c’est celui qui va vous permettre d’apparaître dans les résultats des recherches.
Qu’est ce qu’un fichier Robots.txt
Le fichier robots.txt est une sorte de laisser passer ou d’interdiction de passage que vous attribuez aux moteurs de recherche. En définissant ces règles, vous indiquez aux robots des moteurs de recherche les pages qu’ils ne doivent pas indexer. Pourquoi agir ainsi ? Tout simplement parce que vous ne souhaitez pas voir les moteurs indexer plusieurs pages ayant le même contenu, ou alors vous ne souhaitez pas que certaines pages soient indexées.
Le fichier robots.txt est une simple fichier texte (créé avec Notepad, WordPad ou tout autre éditeur de texte), qui est placé à la racine de votre blog, afin que les robots des moteurs de recherche le consulte.
Configurer le fichier robots.txt
Copier le texte ci-dessous et coller le dans un fichier texte que vous appellerez robots.txt
User-agent: * Disallow: Sitemap: http://www.VotreDomaine.com/sitemap.xml
Ce code signifie que tous les robots peuvent parcourir la totalité du blog sans aucune restriction.
Si vous souhaitez placer certaines restrictions sur une page ou un répertoire; le code sera :
User-agent:* Disallow: /feed/ Disallow: /wp- Disallow: /cgi-bin/ Sitemap: http://VotreDomaine.com/sitemap.xml
N’oubliez pas de remplacer VotreDomaine.com par l’adresse de votre blog. Ensuite placez ce fichier à la racine de votre blog, afin qu’il soit accessible en utilisant cet appel : www.VotreDomaine.com/robots.txt
Google met a votre disposition, un outil de génération de fichier robots.txt qu’il suffira d’installer sur votre blog.
Voici quelques adresses de générateurs de fichier robots.txt parmi bien d’autres :
- Robots.txt Generator
- Robots.txt Syntax Checker
- Iniseo
- Robots.txt Generator
Une chose importante à noter, Google est le premier moteur de recherche qui publie un générateur de fichier robots.txt, ce n’est probablement pas dû au hasard.
Le fichier robots.txt sert aux robots des moteurs de recherche à référencer vos articles, aussi n’oubliez pas de l’inclure à la racine de votre blog, après l’avoir bien configuré, bien entendu.
Publié à l'origine le : 22 avril 2011 @ 10 h 42 min
