- Accueil
- Pour qui
- Médias et éditeurs
Entraînement, recherche, lecture à la demande : un robots.txt peut traiter chaque usage à part. Vous pouvez décider ligne par ligne, et voir ce que font déjà trois quotidiens français.
Quatre décisions distinctes.
- L’entraînementGPTBot, ClaudeBot, Applebot-Extended, CCBot. Les fermer est un choix défendable : OpenAI et Apple séparent ces réglages de leur recherche. Google-Extended touche aussi l’ancrage des réponses de Gemini.
- La rechercheOAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot. Les fermer vous retire des réponses sourcées de ces moteurs.
- La lecture à la demandeChatGPT-User, Claude-User, Perplexity-User. OpenAI et Perplexity préviennent que robots.txt peut ne pas s’appliquer à leur robot : pour les bloquer, passez par le pare-feu.
- Les rubriquesUne règle peut viser un chemin. Le Figaro ouvre ainsi certaines rubriques à ChatGPT-User et ferme le reste.
Avant de décider
- Lisez ce que font les autres
Notre étude montre trois fichiers réels, ligne par ligne.
- Contrôlez votre fichier actuel
Le test montre les robots fermés et les groupes qui les ferment.
- Vérifiez le pare-feu
La lecture d’une page signale un écart entre le fichier et le serveur.
- Écrivez la règle
Le générateur sépare les trois usages et prépare le fichier.
Regardons votre site
Un fichier de presse se discute ligne par ligne. Indiquez votre titre, Elie vous répond par écrit.
Voir ce que comprend l’audit