Robots d’IA sur votre site : les laisser passer ou les bloquer ?

20 Nov 2026 | Blog, IA & Digital, Référencement, WordPress | 0 commentaires

Depuis que ChatGPT, Gemini, Claude ou Perplexity répondent directement aux questions des internautes, de nouveaux visiteurs passent sur votre site : les robots des sociétés d’intelligence artificielle. Ils ne remplissent pas de formulaire, mais ils lisent vos pages. Certains dirigeants veulent les bloquer par principe, d’autres n’en ont jamais entendu parler. La bonne réponse dépend de ce que vous attendez de votre site, et elle se règle en grande partie dans un petit fichier que peu de gens ouvrent : le robots.txt.

Qui sont ces robots et que viennent-ils chercher ?

Un robot d’exploration, ou « crawler », est un programme qui parcourt le web page après page pour en récupérer le contenu. Googlebot fait ce travail depuis des années pour alimenter le moteur de recherche. Les acteurs de l’IA ont ajouté leurs propres robots, et il faut distinguer deux usages très différents. Le premier est l’entraînement : le texte de vos pages est collecté pour nourrir de futurs modèles de langage. Le second est la recherche en temps réel : quand un utilisateur pose une question à un assistant, celui-ci va consulter des pages récentes pour construire sa réponse, et peut alors citer votre site avec un lien.

Chez OpenAI, par exemple, ces rôles sont séparés : GPTBot sert à collecter des données pour l’entraînement, tandis qu’OAI-SearchBot sert à faire apparaître des sites dans les résultats de recherche de ChatGPT. Anthropic utilise ClaudeBot, Perplexity a PerplexityBot, et Common Crawl, une base de données ouverte réutilisée par de nombreux projets, passe avec CCBot. Google, de son côté, propose un identifiant particulier, Google-Extended, qui permet de refuser que vos contenus servent à entraîner ses modèles Gemini, sans toucher à Googlebot ni à votre présence dans la recherche classique.

Ce point mérite d’être souligné, car il crée beaucoup de confusion : les résumés générés par IA qui s’affichent en haut des résultats Google s’appuient sur l’index de la recherche classique. Bloquer Google-Extended ne vous en retire pas ; bloquer Googlebot, en revanche, vous ferait disparaître de Google tout court. La liste évolue d’ailleurs régulièrement : mieux vaut consulter la documentation officielle des éditeurs que copier une liste trouvée au hasard.

Bloquer ou autoriser : les vrais arguments pour une PME

Pour un artisan, un commerce ou un cabinet de la région d’Aix-en-Provence, l’enjeu est rarement la protection d’un contenu à forte valeur. Vos pages décrivent vos services, vos horaires, votre zone d’intervention, vos réalisations. Vous avez plutôt intérêt à ce que ces informations soient bien comprises et reprises correctement quand quelqu’un demande à un assistant « un plombier sérieux à Venelles » ou « une boutique de déco ouverte le dimanche à Aix ». Bloquer tous les robots d’IA revient alors à se rendre invisible sur un canal que de plus en plus de clients utilisent pour préparer leurs choix, sans gain réel en retour.

La situation est différente si votre site contient un contenu qui constitue votre fonds de commerce : des guides détaillés, des formations, des fiches techniques rédigées à la main, des articles d’expertise que vous ne souhaitez pas voir digérés et reformulés sans jamais recevoir de visite. Dans ce cas, une position intermédiaire est souvent la plus raisonnable : refuser les robots d’entraînement, qui emportent votre texte sans contrepartie directe, tout en laissant passer les robots de recherche, qui peuvent citer votre page et renvoyer du trafic. C’est précisément ce que permet la séparation entre GPTBot et OAI-SearchBot, ou entre Google-Extended et Googlebot.

Le robots.txt : comment le régler, et ses limites

Le fichier robots.txt se trouve à la racine de votre site (par exemple votre-domaine.fr/robots.txt). Il contient des consignes adressées aux robots, nom par nom. Sur WordPress, il est souvent généré automatiquement, ou géré par votre extension SEO, ce qui permet de le modifier sans accès technique au serveur. Une règle tient en deux lignes : on nomme le robot dans une ligne « User-agent », puis on indique ce qui lui est interdit dans une ligne « Disallow ». Pour une politique « citer oui, entraîner non », on cible les robots d’entraînement et on laisse les autres tranquilles.

Trois précautions évitent les mauvaises surprises :

  • ne jamais écrire de règle générale qui bloquerait aussi Googlebot ou Bingbot ;
  • vérifier le résultat en affichant le fichier dans votre navigateur après modification ;
  • contrôler dans Google Search Console que vos pages importantes restent bien explorables.

Il faut aussi connaître la limite majeure de l’exercice : le robots.txt est une demande, pas un verrou. Les grands acteurs déclarent le respecter, mais rien n’oblige techniquement un robot à le lire, et un programme malveillant l’ignorera. De plus, un blocage ne s’applique qu’aux visites futures : ce qui a déjà été collecté ne sera pas effacé. Pour un contrôle plus ferme, il faut passer par des règles côté serveur ou par un pare-feu applicatif, qui filtrent réellement les requêtes. C’est plus efficace, mais plus délicat à régler sans bloquer des visiteurs légitimes.

Une décision à prendre, puis à revoir régulièrement

La pire situation n’est ni le blocage ni l’ouverture totale, c’est de ne pas savoir ce qui est en place. Beaucoup de sites ont aujourd’hui un robots.txt hérité d’un ancien thème, d’une extension désinstallée ou d’un développeur parti depuis longtemps, avec parfois des règles qui pénalisent le référencement sans que personne ne s’en rende compte. Commencez donc par ouvrir le vôtre, lire ce qu’il contient, et vous demander si cela correspond à ce que vous voulez vraiment. Si vous utilisez la Search Console, notre guide sur l’utilisation de Google Search Console vous aidera à vérifier que vos pages clés restent accessibles.

Ensuite, formulez une position simple, en une phrase, que toute l’équipe peut comprendre : « nous voulons être cités par les assistants IA », ou « nous refusons que nos guides servent à l’entraînement ». Cette phrase guide les réglages techniques, et elle vous servira de repère quand un nouveau robot apparaîtra. Notez la date de la décision et la personne qui a modifié le fichier, comme pour toute intervention sur le site ; un journal d’activité WordPress permet justement de garder la trace de ce type de changement.

Enfin, prévoyez de revoir ce choix une ou deux fois par an. Les usages évoluent vite, les éditeurs d’IA ajoutent ou renomment leurs robots, et la part de vos clients qui passe par un assistant pour vous trouver peut changer. Si vous souhaitez faire le point sur votre robots.txt, votre référencement et la manière dont votre site est perçu par les moteurs et les assistants IA, l’équipe Digisense peut vous accompagner : contactez-nous pour en parler.

« Notre article combine la puissance de l’intelligence artificielle pour la création de contenu et l’expertise humaine pour la correction et l’amélioration. »

Autres Articles

0 commentaires

Soumettre un commentaire

Ce site utilise Akismet pour réduire les indésirables. Découvrez comment les données de vos commentaires sont traitées.

Support & Assistance
✕

Décrivez votre problème, notre équipe vous répond rapidement.

✅

Ticket envoyé !
Vous recevrez une confirmation par email.

Support
💬
Support Digisense