Menu
Adwi
Agence Web & SEO
  • Site Internet
    • Site Vitrine
    • Site One-Page
    • Site E-Commerce
    • Site sur mesure
    • Refonte de Site
  • Application Mobile
  • Référencement Naturel
    • Site Internet
    • Google My Business
    • Réseaux Sociaux
  • Articles
  • Contact
Close Menu
Internet Planets Drinks Computers - GibetMoll / Pixabay

Qu’est ce que le robots.txt ?

Site Internet

Sommairemasquer
1Le robots.txt, qu’est ce que c’est ?
2Utilité du Robots.txt
3Où placer le fichier robots.txt ?
4Comment créer un fichier robots.txt pour un site Web ?
5Règles de formatage et d’utilisation
6Meilleures pratiques

Si vous êtes un développeur Web, vous avez probablement entendu parler de robots.txt, mais de quoi s’agit-il exactement ?

 

Le robots.txt, qu’est ce que c’est ?

En bref, robots.txt est un fichier qui vous permet de contrôler la façon dont les moteurs de recherche et autres robots interagissent avec votre site Web. Vous pouvez l’utiliser pour bloquer ou autoriser l’accès des robots à certains fichiers et répertoires, ou pour leur donner des instructions spécifiques sur la façon d’explorer votre site. Continuez à lire pour en savoir plus sur cet outil pratique ! 

La norme d’exclusion des robots, également connue sous le nom de protocole d’exclusion des robots ou simplement de robots.txt, est une norme utilisée par les sites Web pour communiquer avec les robots d’exploration et autres robots Web. La norme précise comment informer le robot web des zones du site web qui ne doivent pas être traitées ou analysées.

 

Utilité du Robots.txt

Les fichiers robots.txt contrôlent l’accès des robots à certaines zones de votre site. Bien qu’il puisse être très dangereux d’interdire accidentellement à Googlebot d’explorer l’ensemble de votre site, il existe certaines situations dans lesquelles un fichier robots.txt peut être très utile.

Les cas d’utilisation courants comprennent :

  • Éviter le crawling de contenu dupliqué.
  • Empêcher l’exploration d’un moteur de recherche interne.
  • Empêcher les moteurs de recherche d’indexer certaines images sur votre site.
  • Spécifier l’emplacement du sitemap.
  • Spécifier un délai d’analyse pour éviter que vos serveurs ne soient surchargés lorsque les crawlers chargent plusieurs éléments de contenu simultanément.

 

Où placer le fichier robots.txt ?

Vous ne savez pas si vous avez un fichier robots.txt ?

Il suffit de taper votre domaine racine,
puis ajoutez /robots.txt à la fin de l’URL. Par exemple, le fichier robots de « Adwi » se trouve sur le domaine « https://www.adwi.fr/robots.txt« .
Si aucune page .txt n’apparaît, cela signifie que vous n’avez pas de page robots.txt (en direct).

Si vous n’avez pas de fichier robots.txt :

En avez-vous besoin ? Vérifiez que vous n’avez pas de pages de faible valeur qui en ont besoin. Exemple : panier d’achat, pages de recherche de votre moteur de recherche interne, etc.
Si vous en avez besoin, créez le fichier en suivant les directives mentionnées ci-dessus.


Comment créer un fichier robots.txt pour un site Web ?

Un fichier robots.txt est constitué d’une ou plusieurs règles. Suivez les règles de base des fichiers robots.txt, c’est-à-dire les règles de formatage, de syntaxe et d’emplacement énoncées ci-dessus pour créer le fichier robots.txt.

En ce qui concerne le format et l’emplacement, vous pouvez utiliser pratiquement n’importe quel éditeur de texte pour créer un fichier robots.txt. L’éditeur de texte doit être capable de créer des fichiers texte standard ASCII ou UTF-8. N’utilisez pas de traitement de texte, car ces programmes enregistrent souvent les fichiers dans un format propriétaire et peuvent ajouter des caractères inattendus (par exemple, des guillemets), ce qui peut perturber les robots.

 

Règles de formatage et d’utilisation

  • Le fichier robots.txt est un fichier texte qui doit être placé à la racine du serveur/site, par exemple https://smartkeyword.io/robots.txt.
  • Il ne peut pas être placé dans un sous-répertoire (par exemple, dans http://example.com/pages/robots.txt), mais peut être appliqué aux sous-domaines (par exemple, http://website.example.com/robots.txt).
  • Le nom du fichier robots.txt doit être en minuscules (pas de Robots.txt ou ROBOTS.TXT).
  • Votre site ne peut contenir qu’un seul fichier robots.txt.
  • S’il est absent, une erreur 404 s’affichera et les robots considéreront qu’aucun contenu n’est interdit.


Meilleures pratiques

  • Assurez-vous que vous ne bloquez pas le contenu ou les sections de votre site Web que vous souhaitez faire ramper.
  • Les liens sur les pages bloquées par robots.txt ne seront pas suivis.
  • N’utilisez pas robots.txt pour empêcher l’affichage de données sensibles dans les SERP. Comme d’autres pages peuvent renvoyer directement à la page contenant des informations privées, elles peuvent quand même être indexées. Si vous souhaitez bloquer votre page dans les résultats de recherche, utilisez une autre méthode, comme la protection par mot de passe ou la directive méta noindex.
  • Certains moteurs de recherche ont plusieurs utilisateurs. Par exemple, Google utilise Googlebot pour la recherche organique et Googlebot-Image pour la recherche d’images. La plupart des agents utilisateurs d’un même moteur de recherche suivent les mêmes règles. Il n’est donc pas nécessaire de spécifier des directives pour les différents robots des moteurs de recherche, mais cela vous permet d’affiner la façon dont le contenu de votre site est analysé.
  • Un moteur de recherche met en cache le contenu du fichier robots.txt, mais il met généralement à jour le contenu du cache au moins une fois par jour. Si vous modifiez le fichier et souhaitez le mettre à jour plus rapidement, vous pouvez envoyer votre URL robots.txt à Google.
Page CGV : que mettre dessus ? Persona : modèles et conseils pour les concevoir

Related Posts

Hands Ipad Tablet Technology - fancycrave1 / Pixabay

Site Internet

Site Vitrine : les avantages et inconvénients

Online Shopping Ecommerce - Tumisu / Pixabay

Site Internet

Site E-Commerce : les avantages et inconvénients

Wordpress Blogging Blogger Editor - pixelcreatures / Pixabay

Site Internet

Site One-page : les avantages et inconvénients

Nos catégories d'articles

  • CMS (Content Management System)
  • Site Internet
  • WordPress

Nos derniers articles

  • Quel page builder choisir sur WordPress ?
  • WordPress qu’est-ce que c’est ?
  • Site Vitrine : les avantages et inconvénients
  • Site E-Commerce : les avantages et inconvénients
  • Site One-page : les avantages et inconvénients
Back To Top
Adwi

Création Site Internet

Création d'un Site Vitrine

Création d'un Site One-Page

Création d'un Site E-Commerce

Création d'un Site sur Mesure

Refonte d'un Site Internet

Référencement Naturel - SEO

Optimisation des fiches Google My Business (GMB)

Optimisation des Réseaux Sociaux

Optimisation d'un Site Internet

Sites Partenaires

NinjaLink2

Top10Gift

Site Internet Ville

Site Internet Mariage

OniDream

Islande Guide

Indonésie Guide

Portugal Guide

Thaïlande Guide

© Adwi - Tous droits réservés
Plan du Site - CGU - CGV
Site Internet fait par ... Adrien GUEGAND de Adwi évidemment !