Bloquer ou autoriser les crawlers IA ? Le guide de décision

Le vrai sujet n'est pas « faut-il bloquer », c'est « qu'avez-vous déjà bloqué »

Le débat public sur les crawlers IA est écrit par des éditeurs de presse pour des éditeurs de presse. Leur calcul est légitime : quand votre contenu est votre produit, le laisser aspirer gratuitement revient à offrir votre stock.

Ce calcul n'est presque jamais celui d'une PME de services. Vos pages ne sont pas un actif à protéger, ce sont vos arguments commerciaux. Les bloquer, c'est retirer la plaque de votre porte pour éviter qu'on recopie votre nom.

Surtout, la décision a rarement été prise par vous. Depuis le 1er juillet 2025, Cloudflare bloque les crawlers IA par défaut sur les nouveaux domaines qui rejoignent son réseau, et beaucoup d'agences web l'activent en routine lors d'une refonte. Ajoutez les plugins de sécurité WordPress qui embarquent une case « bloquer les bots IA » précochée, et vous obtenez la situation la plus fréquente chez les sites que nous auditons : un blocage subi, jamais décidé, jamais vérifié.

Qui sont ces robots, et lequel compte vraiment pour vous

L'erreur la plus coûteuse consiste à traiter « les IA » comme un bloc. Chaque éditeur fait tourner plusieurs robots aux métiers différents : certains entraînent un modèle, d'autres constituent l'index où le moteur ira chercher sa réponse. Ce sont ces derniers qui décident si votre nom sort quand un prospect pose une question.

La distinction est explicite dans la documentation d'OpenAI, qui écrit que les sites ayant refusé OAI-SearchBot « ne seront pas montrés dans les réponses de recherche de ChatGPT ». Une ligne dans un fichier texte, et vous disparaissez du moteur. C'est exactement le genre de décision qui ne devrait jamais être prise par défaut.

Vérifier en trois minutes, sans être technicien

Trois contrôles, du plus rapide au plus fiable.

1. Lisez votre robots.txt. Tapez votre adresse suivie de /robots.txt dans un navigateur. Cherchez les noms du tableau ci-dessus. Si vous voyez Disallow: / sous l'un d'eux, il est bloqué. Demandez à votre prestataire qui a écrit ces lignes et quand.

2. Testez la réponse réelle de votre serveur. Le robots.txt est déclaratif ; votre pare-feu, lui, est contraignant. Cette commande interroge votre site en se présentant comme GPTBot :

curl -I -A "GPTBot" https://votre-site.ch/

Un HTTP/2 200 signifie que vous êtes accessible. Un 403 signifie que vous êtes bloqué, quoi que dise votre robots.txt.

3. Ouvrez le tableau de bord Cloudflare. Si votre site y est hébergé, l'écran AI Crawl Control montre quels robots IA se présentent, à quelle fréquence, et lesquels repartent bredouilles. C'est là que se corrige le réglage.

Bloquer ou autoriser : l'arbitrage réel

Posez-vous une seule question : est-ce que je vends mon contenu, ou est-ce que mon contenu me vend ?

Autorisez l'indexation si vous vendez des services, des produits ou une expertise, et que vos pages servent à convaincre. Vous voulez être cité. Bloquer ici, c'est payer pour un site que personne ne peut plus lire.

Bloquez l'entraînement, gardez l'indexation si vous avez du contenu original coûteux à produire (études, méthodes, bases de données) mais que vous voulez rester visible. C'est la position la plus équilibrée, et elle est techniquement simple puisque les robots sont séparés.

Bloquez largement si votre contenu est votre produit facturé : médias, cours en ligne, bases documentaires payantes. Vous pouvez alors regarder le pay-per-crawl de Cloudflare, qui permet de facturer l'accès aux robots plutôt que de simplement fermer la porte, et qui évolue vers un modèle de paiement à l'usage.

Un chiffre pour nourrir la décision plutôt que la trancher : Cloudflare Radar mesurait au 21 juillet 2026 2 237 pages explorées par ClaudeBot pour un seul visiteur renvoyé, et 217 pour un chez GPTBot. Ces ratios sont très volatils d'un mois à l'autre. Ils ne disent pas ce que vaut une citation ; ils disent que le troc « je te donne mon contenu, tu m'envoies du trafic » n'est pas équilibré.

Le cas Google-Extended : sortir de Gemini sans toucher à votre SEO

C'est la confusion la plus répandue, et elle marche dans les deux sens.

Google-Extended contrôle l'usage de votre contenu pour entraîner les modèles Gemini et pour appuyer leurs réponses sur vos pages. Google écrit noir sur blanc qu'il « n'a pas d'impact sur l'inclusion d'un site dans la recherche Google et n'est pas utilisé comme signal de classement ». Vous pouvez donc le bloquer sans aucun risque pour votre référencement.

Mais l'inverse est vrai aussi, et c'est là que beaucoup se trompent : bloquer Google-Extended ne vous retire pas des AI Overviews. Ces réponses générées en haut des résultats font partie de la recherche Google et sont alimentées par Googlebot. Le seul moyen d'en sortir serait de vous retirer de Google entièrement. Personne de sensé ne le recommande.

Ce qui change le 15 septembre 2026

Le 1er juillet 2026, Cloudflare a cessé de traiter le trafic IA comme un bloc unique et l'a découpé en trois usages : Search (collecter et indexer pour répondre plus tard), Agent (agir en temps réel pour le compte de quelqu'un) et Training (entraîner un modèle). Vous pouvez désormais autoriser l'un et refuser l'autre.

À partir du 15 septembre 2026, pour les nouveaux domaines arrivant sur Cloudflare, les catégories Training et Agent seront bloquées par défaut sur les pages qui affichent de la publicité, tandis que Search restera autorisée. La presse spécialisée indique que la mesure touchera aussi les comptes de l'offre gratuite et les nouveaux sites créés par des clients existants.

C'est le vrai risque de cette échéance, et il ne pèse pas sur les opérateurs de robots mais sur les propriétaires de sites qui n'auront pas relu leurs réglages.

Corriger, pas à pas

1. Faites les trois contrôles ci-dessus et notez l'état de départ.
2. Ouvrez AI Crawl Control dans Cloudflare et vérifiez le réglage par catégorie (Search, Agent, Training). Autorisez Search dans tous les cas.
3. Vérifiez les réglages de sécurité annexes : Bot Fight Mode, mode « Under Attack », règles WAF héritées, et les options anti-bots de votre plugin de sécurité WordPress.
4. Nettoyez votre robots.txt. Une base saine pour une PME de services ressemble à ceci :

# Indexation pour les réponses IA : autorisée
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# Entraînement des modèles : refusé (sans effet sur le SEO)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Googlebot : jamais bloqué
User-agent: Googlebot
Allow: /

5. Retestez avec la commande curl, puis surveillez le retour des robots dans AI Crawl Control ou dans vos logs. Comptez quelques jours à quelques semaines.

Un dernier point d'honnêteté : un site accessible n'est pas encore un site cité. Être lisible est la condition d'entrée, pas le résultat. La suite consiste à structurer vos pages pour qu'elles soient reprises comme source, et c'est l'objet de notre travail de référencement naturel et de référencement IA.