Robots IA : les crawlers qui parcourent votre site
Depuis 2023, une nouvelle generation de robots explore le web pour alimenter les modeles d'intelligence artificielle. Trois categories, trois decisions differentes pour votre visibilite.
Trois usages, trois impacts differents. Bloquer un robot d'entrainement protege votre contenu sans rien vous couter en visibilite. Bloquer un robot d'indexation vous retire des reponses IA. Bloquer un robot de visite empeche vos lecteurs d'acceder a votre page via un assistant.
Entrainement des modeles
Ces robots collectent du contenu pour alimenter l'entrainement des grands modeles de langage. Les bloquer protege votre contenu sans impact sur votre visibilite.
- GPTBot (OpenAI) : collecte du contenu pour l'entrainement des modeles GPT. Documentation officielle
- ClaudeBot (Anthropic) : collecte du contenu pour l'entrainement des modeles Claude. Documentation officielle
- Google-Extended (Google) : determine si Google peut utiliser vos pages pour entrainer Gemini, sans affecter votre presence dans la recherche. Documentation officielle
- GoogleOther (Google) : usages internes de Google, hors recherche publique. Documentation officielle
- CCBot (Common Crawl) : robot de l'archive publique Common Crawl, dont les donnees servent de source a de nombreux modeles. Documentation officielle
- Applebot-Extended (Apple) : controle l'usage de vos pages pour entrainer les modeles Apple, sans sortir de Siri. Documentation officielle
- Meta-ExternalAgent (Meta) : collecte pour l'entrainement des modeles Llama. Documentation officielle
- Bytespider (ByteDance) : collecte pour les modeles de ByteDance, repute peu respectueux du robots.txt
- cohere-ai (Cohere) : collecte pour les modeles de Cohere
- Diffbot (Diffbot) : transforme les pages en donnees structurees, revendues notamment pour l'entrainement. Documentation officielle
- omgili (Webz.io) : indexe forums et discussions, revendus comme corpus d'entrainement
Indexation pour les reponses IA
Ces robots indexent le web pour que les assistants IA puissent citer vos pages dans leurs reponses. Les bloquer vous fait disparaitre des resultats des assistants IA.
- OAI-SearchBot (OpenAI) : indexe le web pour la recherche de ChatGPT, sans impact sur l'entrainement. Documentation officielle
- Claude-SearchBot (Anthropic) : indexe le web pour les reponses de Claude. Documentation officielle
- Googlebot (Google) : robot principal de la recherche Google, alimente aussi les AI Overviews. Documentation officielle
- PerplexityBot (Perplexity) : indexe le web pour le moteur de reponses Perplexity. Documentation officielle
- bingbot (Microsoft) : robot de Bing, alimente aussi les reponses de Copilot. Documentation officielle
- Applebot (Apple) : alimente Siri et les suggestions Spotlight. Documentation officielle
- Amazonbot (Amazon) : alimente Alexa et les services Amazon. Documentation officielle
- DuckAssistBot (DuckDuckGo) : alimente les reponses assistees de DuckDuckGo. Documentation officielle
- YouBot (You.com) : indexe le web pour You.com. Documentation officielle
Visite a la demande
Ces robots vont chercher une page precise quand un utilisateur la demande dans un assistant IA. Les bloquer empeche vos visiteurs de lire votre contenu via leur assistant.
- ChatGPT-User (OpenAI) : visite une page quand un utilisateur de ChatGPT la demande. Documentation officielle
- Claude-User (Anthropic) : visite une page a la demande d'un utilisateur de Claude. Documentation officielle
- Perplexity-User (Perplexity) : visite une page quand un utilisateur clique sur une source dans Perplexity. Documentation officielle
- MistralAI-User (Mistral) : visite une page a la demande d'un utilisateur du Chat Mistral
Ce qu'il faut retenir
Trois categories, trois decisions differentes. Bloquer l'entrainement protege votre contenu sans consequence sur votre visibilite. Bloquer l'indexation vous retire des reponses des assistants IA. Bloquer les visites a la demande empeche vos lecteurs d'acceder a votre page.
Chaque editeur publie sa documentation avec les regles a appliquer dans votre fichier robots.txt. Les liens ci-dessus pointent directement vers ces documentations officielles.
Pour aller plus loin : decouvrez notre catalogue de formations ou rejoignez l'Academie BusinessDigital.
Article redige par Franck PARIENTI, fondateur de BusinessDigital.fr, organisme de formation certifie Qualiopi specialise en Intelligence Artificielle.