- Accueil
- Annuaire des robots
11 robots indexent pour citer, 7 lisent à la demande, 14 servent surtout à l’entraînement. Pour chacun : son éditeur, son rôle et l’effet d’une fermeture dans le robots.txt.
| Robot | Éditeur | Rôle | Usage | Si vous le fermez dans robots.txt |
|---|---|---|---|---|
Amzn-SearchBot | Amazon | Indexe pour citer | Recherche dans les produits Amazon, dont Alexa | Vos pages ne peuvent plus apparaître dans les recherches d’Amazon, dont Alexa. |
Claude-SearchBot | Anthropic | Indexe pour citer | Claude, recherche web | Claude ne peut pas vous indexer pour ses réponses sourcées. |
Applebot | Apple | Indexe pour citer | Siri, Spotlight, Safari | Apple ne peut plus lire votre page pour Siri, Spotlight et Safari. |
Googlebot | Indexe pour citer | Recherche Google, AI Overviews, AI Mode | Google ne peut plus lire votre page pour sa recherche ni pour ses réponses IA. | |
PetalBot | Huawei | Indexe pour citer | Petal Search | Petal Search ne peut pas lire votre page. |
bingbot | Microsoft | Indexe pour citer | Bing, Copilot | Bing ne peut plus lire votre page, et Copilot s’appuie sur son index. |
MistralAI-Index | Mistral AI | Indexe pour citer | Recherche de Vibe, chez Mistral AI | Mistral ne peut pas vous indexer pour la recherche de Vibe. |
OAI-SearchBot | OpenAI | Indexe pour citer | ChatGPT, recherche web | ChatGPT ne peut pas indexer votre page pour ses réponses. |
PerplexityBot | Perplexity | Indexe pour citer | Index Perplexity | Perplexity ne peut pas indexer votre page pour ses réponses. |
Timpibot | Timpi | Indexe pour citer | Timpi | Timpi ne peut pas lire votre page. |
YouBot | You.com | Indexe pour citer | You.com | You.com ne peut pas lire votre page pour ses réponses. |
Amzn-User | Amazon | Lit à la demande | Alexa, lecture à la demande | Amazon précise que ce robot peut ne pas suivre toutes les règles de robots.txt, car c’est un utilisateur qui déclenche la visite. La règle n’est donc pas une garantie. |
Claude-User | Anthropic | Lit à la demande | Claude, navigation à la demande | Claude ne peut pas ouvrir votre page quand un utilisateur le lui demande. |
DuckAssistBot | DuckDuckGo | Lit à la demande | DuckDuckGo, réponses assistées | DuckDuckGo ne peut pas lire votre page pour ses réponses. |
meta-externalfetcher | Meta | Lit à la demande | Meta AI, lecture à la demande | Meta indique que ce robot peut ignorer robots.txt, car c’est un utilisateur qui déclenche la visite. Pour le bloquer, il faut passer par le pare-feu. |
MistralAI-User | Mistral AI | Lit à la demande | Vibe, l’assistant de Mistral AI (ex-Le Chat) | Vibe ne peut pas lire votre page pendant une conversation. |
ChatGPT-User | OpenAI | Lit à la demande | ChatGPT, lecture à la demande | OpenAI précise que robots.txt peut ne pas s’appliquer à ces visites, car c’est un utilisateur qui les déclenche. La règle n’est donc pas une garantie. |
Perplexity-User | Perplexity | Lit à la demande | Perplexity, lecture à la demande | Perplexity indique que ce robot ignore en général robots.txt, car c’est un utilisateur qui déclenche la visite. Pour le bloquer, il faut passer par le pare-feu. |
Amazonbot | Amazon | Entraînement | Produits Amazon, entraînement possible de ses modèles | Aucun effet direct sur vos citations. La recherche d’Amazon passe par Amzn-SearchBot. |
anthropic-ai | Anthropic | Entraînement | Ancien nom, encore présent dans beaucoup de robots.txt | Absent de la documentation actuelle d’Anthropic, qui décrit ClaudeBot, Claude-User et Claude-SearchBot. |
Claude-Web | Anthropic | Entraînement | Ancien nom, encore présent dans beaucoup de robots.txt | Absent de la documentation actuelle d’Anthropic, qui décrit ClaudeBot, Claude-User et Claude-SearchBot. |
ClaudeBot | Anthropic | Entraînement | Entraînement des modèles Anthropic | Aucun effet direct sur vos citations. |
Applebot-Extended | Apple | Entraînement | Entraînement des modèles Apple | Aucun effet sur Siri ni sur Spotlight. |
Bytespider | ByteDance | Entraînement | Entraînement de Doubao et TikTok | Aucun effet direct sur vos citations. |
cohere-ai | Cohere | Entraînement | Entraînement des modèles Cohere | Aucun effet direct sur vos citations. |
CCBot | Common Crawl | Entraînement | Archive publique utilisée par de nombreux modèles | Aucun effet direct sur vos citations, mais vos pages sortent de cette archive. |
Diffbot | Diffbot | Entraînement | Graphe de connaissances revendu à des acteurs de l’IA | Aucun effet direct sur vos citations. |
Google-Extended | Entraînement | Entraînement et ancrage des réponses de Gemini | Sans effet sur la recherche Google ni sur le classement. Google indique que ce réglage couvre aussi l’ancrage des réponses de l’application Gemini et de Vertex AI : vos contenus peuvent en sortir. | |
meta-externalagent | Meta | Entraînement | Entraînement de Meta AI | Aucun effet direct sur vos citations. |
MistralAI-Training | Mistral AI | Entraînement | Entraînement des modèles Mistral | Mistral indique que ce robot ne sert ni à la recherche ni aux réponses en direct. |
GPTBot | OpenAI | Entraînement | Entraînement des modèles OpenAI | Aucun effet direct sur vos citations. Le bloquer est un choix défendable. |
omgilibot | Webz.io | Entraînement | Collecte de données web, nom présent dans de nombreux robots.txt | Aucun effet direct connu sur vos citations. |
Catalogue relu le 1er novembre 2026 sur les pages des éditeurs, quand elles existent. Un éditeur peut ajouter ou renommer un robot à tout moment. Le lien sur le nom d’un éditeur ouvre sa documentation. Un nom sans lien signale qu’il n’en a pas de connue ici.
Vous voulez un plan écrit pour votre site ?
Un audit GEO par Elie LISSODA : votre fichier, vos pages et ce que les IA répondent sur votre marché, avec un plan d’actions écrit pour votre site. 890 € HT.
Voir ce que comprend l’audit