Les trois métiers
Indexer. Le robot lit vos pages à l’avance pour que le moteur puisse les citer. OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot.
Lire à la demande. Un utilisateur pose une question et le robot ouvre votre page à ce moment-là. ChatGPT-User, Claude-User, Perplexity-User, MistralAI-User.
Entraîner. Vos pages peuvent alimenter l’entraînement de modèles. GPTBot, ClaudeBot, Applebot-Extended, CCBot. Google-Extended couvre en plus l’ancrage des réponses de Gemini.
L’annuaire classe les 32 robots que Vigie teste, avec la documentation de leur éditeur quand elle existe.
Ce que disent les éditeurs
| Robot | Ce que dit l’éditeur |
|---|---|
OAI-SearchBot | Les sites qui le ferment n’apparaissent pas dans les réponses de la recherche de ChatGPT, mais peuvent rester en liens de navigation. OpenAI |
GPTBot | Le fermer indique que le contenu ne doit pas servir à entraîner les modèles. OpenAI |
ChatGPT-User | Actions déclenchées par un utilisateur : robots.txt peut ne pas s’appliquer. Il ne sert pas à décider de l’apparition dans la recherche. OpenAI |
Claude-SearchBot | Le fermer peut réduire votre visibilité dans les résultats de recherche. Anthropic |
Claude-User | Le fermer empêche de récupérer votre contenu pour répondre à un utilisateur. Anthropic |
ClaudeBot | Collecte pouvant servir à l’entraînement. Le fermer écarte vos futurs contenus. Anthropic |
Perplexity-User | La visite étant demandée par un utilisateur, ce robot ignore en général robots.txt. Perplexity |
Google-Extended | Sans effet sur la présence dans la recherche Google ni sur le classement. Il couvre l’entraînement de Gemini et l’ancrage de ses réponses, dans l’application Gemini et Vertex AI. Google |
Applebot-Extended | Le fermer retire vos pages de l’entraînement. Elles restent visibles dans Siri et Spotlight via Applebot. Apple |
MistralAI-User | Actions des utilisateurs de Vibe, pas de collecte automatique ni d’entraînement. Mistral AI |
Comment un robot lit le fichier
Le fonctionnement est fixé par la RFC 9309.
- Les groupes à son nom. Le robot suit les groupes qui le nomment. S’il n’y en a aucun, il suit
*. Plusieurs groupes au même nom sont fusionnés, mais un groupe à son nom lui fait ignorer*. - La règle la plus longue gagne. Dans ce groupe, on applique la règle dont le chemin est le plus long.
- À égalité, Allow gagne.
Conséquence fréquente : un groupe qui nomme un robot lui fait oublier toutes les règles de *, y compris vos interdictions sur /admin/.
User-agent: *
Disallow: /admin/
# Ce robot ne suit plus le groupe du dessus
User-agent: OAI-SearchBot
Allow: /
Disallow: /admin/Les erreurs fréquentes
- Une liste unique. Mettre GPTBot et OAI-SearchBot dans le même groupe
Disallow: /ferme l’entraînement et la recherche d’un seul coup. C’est le cas de Libération dans notre étude. - Un modèle copié. Des listes anti-IA circulent et mêlent les trois métiers. Vérifiez chaque nom dans l’annuaire avant de les reprendre.
- Une page HTML à la place du fichier. Certains sites répondent à
/robots.txtpar une page web. Aucune règle n’est lue, y compris celles que vous pensiez actives. - Une erreur serveur. La RFC impose au robot de considérer le site entier comme fermé en cas de réponse 5xx sur le fichier. Après une longue période, 30 jours par exemple, il peut le traiter comme absent ou garder sa copie en cache.
Le pare-feu passe avant le fichier
Le robots.txt est une consigne publique. Un pare-feu ou un CDN peut refuser un robot que le fichier autorise, sans laisser de trace visible. OpenAI comme Perplexity publient les adresses IP de leurs robots pour permettre de les autoriser précisément.
La lecture d’une page compare la réponse de votre serveur à une demande de navigateur et à des demandes au nom de robots. Un écart est un indice à vérifier dans vos règles.