CATALOGUE / 2026-10-04.1
Un profil n’est pas
un simple nom.
12 profils sourcés. Le rôle déclaré, la résolution du jeton et la décision de règles restent séparés.
Couverture « documentée » : famille Google avec modèle de référence. « Modélisée » : rôle documenté, calcul générique sans prétendre reproduire l’implémentation interne de l’opérateur. « Partielle » : décision finale indéterminée, même si le modèle donne un résultat exploratoire.
Empreinte SHA-256 du catalogue : 04b606d5eb3643a0732caf99c45c209769529eabc98d4ad85da694c3a82f1883
openai / crawl
GPTBot
Collecte pouvant contribuer à l’entraînement. Simulation de règles, sans preuve de respect effectif.
- Nature
- crawler
- Jetons
- GPTBot
- Résolution
- Jeton dédié, puis groupe * selon le modèle générique ; aucun autre repli inventé.
- Couverture
- modeled
Documentation primaire (nouvel onglet)↗
Consultée le 2026-10-04T06:38:35Z. Les rôles peuvent évoluer.
openai / crawl
OAI-SearchBot
Recherche OpenAI. Une autorisation ne garantit pas un affichage dans les résultats.
- Nature
- crawler
- Jetons
- OAI-SearchBot
- Résolution
- Jeton dédié, puis groupe * selon le modèle générique ; aucun autre repli inventé.
- Couverture
- modeled
Documentation primaire (nouvel onglet)↗
Consultée le 2026-10-04T06:38:35Z. Les rôles peuvent évoluer.
openai / crawl
ChatGPT-User
Requêtes déclenchées par un utilisateur. Le modèle peut calculer une règle sans conclure à son application.
- Nature
- user-request
- Jetons
- ChatGPT-User
- Résolution
- Jeton dédié, puis groupe * selon le modèle générique ; aucun autre repli inventé.
- Couverture
- partial
La documentation précise que robots.txt peut ne pas s’appliquer à ces requêtes.
Documentation primaire (nouvel onglet)↗
Consultée le 2026-10-04T06:38:35Z. Les rôles peuvent évoluer.
google / crawl
Googlebot
Exploration pour Google Search. Résultat du modèle Google, pas une observation du robot.
- Nature
- crawler
- Jetons
- Googlebot
- Résolution
- Jeton dédié, puis groupe * selon le modèle générique ; aucun autre repli inventé.
- Couverture
- documented
Documentation primaire (nouvel onglet)↗
Consultée le 2026-10-04T06:38:34Z. Les rôles peuvent évoluer.
google / crawl
Googlebot-Image
Préférence au groupe Googlebot-Image ; repli Googlebot si aucun groupe spécifique.
- Nature
- crawler
- Jetons
- Googlebot-Image → Googlebot
- Résolution
- Repli vers Googlebot si le groupe spécifique est absent et ce groupe existe.
- Couverture
- documented
Documentation primaire (nouvel onglet)↗
Consultée le 2026-10-04T06:38:34Z. Les rôles peuvent évoluer.
google / usage
Google-Extended
Contrôle l’utilisation pour entraîner les futurs modèles Gemini et le grounding documenté. Ne contrôle pas Google Search et ne possède pas de User-Agent HTTP distinct.
- Nature
- usage-control
- Jetons
- Google-Extended
- Résolution
- Jeton dédié, puis groupe * selon le modèle générique ; aucun autre repli inventé.
- Couverture
- documented
Documentation primaire (nouvel onglet)↗
Consultée le 2026-10-04T06:38:34Z. Les rôles peuvent évoluer.
apple / crawl
Applebot
Repli vers Googlebot si Applebot est absent. L’exemple Apple combine spécifique et général sans préciser son algorithme.
- Nature
- crawler
- Jetons
- Applebot → Googlebot
- Résolution
- Repli vers Googlebot si le groupe spécifique est absent et ce groupe existe.
- Couverture
- partial
L’exemple Apple est ambigu sur le cumul des groupes : calcul générique exploratoire seulement.
Documentation primaire (nouvel onglet)↗
Consultée le 2026-10-04T06:38:35Z. Les rôles peuvent évoluer.
apple / usage
Applebot-Extended
Contrôle l’usage des données collectées par Applebot pour entraîner des modèles. Ne visite pas lui-même les pages.
- Nature
- usage-control
- Jetons
- Applebot-Extended
- Résolution
- Jeton dédié, puis groupe * selon le modèle générique ; aucun autre repli inventé.
- Couverture
- modeled
Documentation primaire (nouvel onglet)↗
Consultée le 2026-10-04T06:38:35Z. Les rôles peuvent évoluer.
anthropic / crawl
ClaudeBot
Collecte pour l’entraînement ; respect de robots.txt déclaré par Anthropic.
- Nature
- crawler
- Jetons
- ClaudeBot
- Résolution
- Jeton dédié, puis groupe * selon le modèle générique ; aucun autre repli inventé.
- Couverture
- modeled
Documentation primaire (nouvel onglet)↗
Consultée le 2026-10-04T06:38:35Z. Les rôles peuvent évoluer.
anthropic / crawl
Claude-SearchBot
Recherche ; respect de robots.txt déclaré par Anthropic.
- Nature
- crawler
- Jetons
- Claude-SearchBot
- Résolution
- Jeton dédié, puis groupe * selon le modèle générique ; aucun autre repli inventé.
- Couverture
- modeled
Documentation primaire (nouvel onglet)↗
Consultée le 2026-10-04T06:38:35Z. Les rôles peuvent évoluer.
anthropic / crawl
Claude-User
Requêtes à la demande ; Anthropic déclare le respect de robots.txt aussi pour ce profil.
- Nature
- user-request
- Jetons
- Claude-User
- Résolution
- Jeton dédié, puis groupe * selon le modèle générique ; aucun autre repli inventé.
- Couverture
- modeled
Documentation primaire (nouvel onglet)↗
Consultée le 2026-10-04T06:38:35Z. Les rôles peuvent évoluer.
perplexity / crawl
PerplexityBot
Recherche Perplexity, pas entraînement des modèles fondamentaux. Prise en compte annoncée jusqu’à 24 h.
- Nature
- crawler
- Jetons
- PerplexityBot
- Résolution
- Jeton dédié, puis groupe * selon le modèle générique ; aucun autre repli inventé.
- Couverture
- modeled
Documentation primaire (nouvel onglet)↗
Consultée le 2026-10-04T06:38:35Z. Les rôles peuvent évoluer.
Jeton libre
Utilisez profile: custom, genericToken: MonRobot et dimension: crawl. Caractères admis : lettres ASCII, tiret et underscore. Aucun repli, rôle ou respect effectif n’est inféré. Les profils inconnus ne sont pas convertis silencieusement en jeton libre.
Réserves documentaires
L’exemple Apple associe des restrictions spécifiques et génériques sans établir le modèle de cumul ; Applebot demeure indéterminé. OpenAI avertit que les règles peuvent ne pas s’appliquer à ChatGPT-User. Anthropic affirme le respect des règles pour Claude-User : le suffixe User n’entraîne donc pas une conclusion commune.
Pour Anthropic, la consultation via l’outil de lecture a abouti ; la tentative de copie HTTP indépendante du 4 octobre a reçu 429. Le manifeste de sources conserve cette limite d’archivage.