Pourquoi Search Console ne te dit pas toute la vérité
Google Search Console te montre des impressions, des clics, des positions. Ce qu'elle ne te montre jamais : ce que les bots ont réellement fait sur ton serveur, requête par requête. Combien de fois Googlebot a tapé sur ta page produit hier. Si GPTBot a scanné ta documentation ce matin. Si PerplexityBot a bien récupéré ton dernier article avant de le citer — ou pas.
Cette information existe. Elle dort déjà sur ton serveur, dans un fichier que presque personne ne regarde : le log d'accès (access.log). Chaque ligne enregistre une requête HTTP réelle, sans filtrage, sans échantillonnage, sans délai de traitement. C'est la seule source qui montre le comportement brut des crawlers — humains exclus, bots inclus, y compris ceux que Google Analytics ignore superbement.
En 2026, cette source de vérité devient stratégique pour une raison précise : le nombre de bots qui visitent ton site a explosé, et ils ne se comportent plus tous pareil. Ton robots.txt déclare des règles. Tes logs montrent ce qui s'est réellement passé.
Les trois familles de bots que tu dois distinguer
Avant d'ouvrir un seul fichier de log, il faut savoir ce que tu cherches. Le trafic bot de 2026 se répartit en trois catégories aux enjeux radicalement différents.
| Catégorie | Exemples | Ce qu'ils font | Impact si bloqués |
|---|---|---|---|
| Indexation | Googlebot, Bingbot | Explorent pour construire l'index de recherche | Disparition des résultats de recherche |
| Entraînement | GPTBot, ClaudeBot, meta-externalagent | Collectent du contenu pour entraîner de futurs modèles | Absence des futures versions de modèles (impact différé) |
| Récupération temps réel | OAI-SearchBot, PerplexityBot, ChatGPT-User | Vont chercher une page précise pour répondre à une question posée là, maintenant | Invisibilité immédiate dans les réponses IA |
Confondre ces trois familles est l'erreur la plus fréquente. Bloquer GPTBot n'a aucun effet sur ce que ChatGPT répond aujourd'hui — cet effet ne se verra que dans une future version du modèle. Bloquer PerplexityBot, en revanche, te rend invisible dans Perplexity immédiatement, parce que ce bot va chercher la page en direct au moment de la requête utilisateur.
Ce que révèlent vraiment les logs : un exemple chiffré
Un cas documenté début 2026 : un éditeur de contenu SaaS B2B a analysé trois semaines de logs et découvert que ChatGPT-User avait visité 138 URLs différentes sur son site, avec 353 requêtes uniquement sur la page d'accueil pendant cette fenêtre. Rien de tout cela n'apparaissait dans Google Analytics — ni dans Search Console, qui ne rapporte que Googlebot.
Ce type de donnée change une stratégie de contenu. Si ChatGPT-User revient régulièrement sur trois pages précises de ton site, ce sont probablement celles qui alimentent le plus de réponses citées — et donc celles à enrichir en priorité (chiffres à jour, structure claire, réponses directes en tête de section).
Autre chiffre à connaître, cité par plusieurs analyses 2025-2026 : le ratio crawl-to-citation varie énormément d'un bot à l'autre. ClaudeBot peut explorer plusieurs milliers de pages pour chaque visite réelle générée vers le site d'origine, alors que Googlebot reste sur un ratio nettement plus proche de 5 pages explorées pour 1 clic entrant. Comprendre ce ratio, bot par bot, te permet d'arbitrer : vaut-il la peine de laisser un crawler consommer de la bande passante s'il ne génère quasiment aucun retour direct ?
Les champs à extraire de tes logs
Un log serveur brut (Apache, Nginx) contient, ligne par ligne, tout ce qu'il faut pour cette analyse. Voici les champs indispensables :
| Champ | Exemple | Utilité |
|---|---|---|
timestamp | 01/Jul/2026:14:32:07 | Détecte les pics ou les baisses de fréquence de crawl |
client_ip | 66.249.66.1 | Sert à vérifier l'identité réelle du bot |
user_agent | Googlebot/2.1 | Identifie le bot déclaré (attention : falsifiable) |
uri | /blog/mon-article/ | Montre quelles pages sont explorées ou ignorées |
status_code | 200, 404, 429, 500 | Signale les erreurs qui gaspillent le budget de crawl |
Le champ le plus mal utilisé est le user_agent. Une chaîne User-Agent: GPTBot dans une requête ne prouve rien : n'importe quel script peut se déclarer GPTBot. Un cas documenté fin 2024 a montré un crawler furtif se faisant passer pour un moteur de recherche légitime tout en ignorant les règles de robots.txt. La seule vérification fiable croise deux méthodes : la résolution DNS inversée de l'IP (elle doit correspondre au domaine officiel du bot, ex. googlebot.com) et la comparaison avec les listes d'IP publiées par chaque opérateur (obligatoire pour ClaudeBot, qui ne propose pas toujours un DNS inversé fiable).
Méthode en 5 étapes pour ton premier audit de logs
- Exporte une fenêtre de 2 à 4 semaines de logs (
access.log), au format brut ou via le dashboard de ton CDN (Cloudflare, Fastly, AWS CloudFront proposent tous une vue "AI traffic" ou "bot analytics" depuis 2025). - Filtre et vérifie : isole les lignes contenant "bot", "crawler", "spider" dans le user-agent, puis vérifie l'IP des bots stratégiques (Googlebot, GPTBot, ClaudeBot, PerplexityBot) par résolution DNS inversée ou liste IP officielle.
- Segmente par bot et par catégorie (indexation / entraînement / temps réel) pour comparer les volumes de requêtes.
- Croise avec les codes de statut : repère les URLs qui reçoivent des 404, 410 ou 5xx en boucle — ce sont des crawls gaspillés qui n'apportent ni indexation ni citation.
- Identifie les pages orphelines crawlées : si un bot visite une URL qu'aucun lien interne ne pointe vers, cette page n'apparaît dans aucun outil classique — seul le log la révèle.
Pour une analyse ponctuelle sur un petit site, un tableur ou un script de parsing suffit. Sur un volume mensuel de plusieurs milliers de lignes, l'outil de référence reste le Log File Analyser de Screaming Frog, qui automatise la vérification IP et le regroupement par template d'URL. Pour un site à très fort volume (plusieurs millions de lignes), des plateformes comme Botify ou Oncrawl permettent de croiser logs et données de crawl à grande échelle.
Le tableau de décision robots.txt par catégorie de bot
Une fois ton audit de logs terminé, tu sais qui crawle vraiment ton site. Reste à décider qui autoriser. Ce tableau récapitule les tokens à utiliser dans ton robots.txt selon la catégorie et l'effet du blocage :
| Catégorie | Bot exemple | Token robots.txt | Effet du blocage |
|---|---|---|---|
| Indexation | Googlebot | Googlebot | Retrait de l'index de recherche |
| Entraînement | GPTBot, ClaudeBot | GPTBot, ClaudeBot | Exclusion des futurs modèles (différé) |
| Récupération temps réel | OAI-SearchBot, PerplexityBot | OAI-SearchBot, PerplexityBot | Invisibilité immédiate dans les réponses IA |
Une étude portant sur les principaux domaines du web a estimé qu'une large majorité d'entre eux n'a aucune règle spécifique pour les crawlers IA dans leur robots.txt — soit ils bloquent tout indistinctement (perdant en visibilité GEO), soit ils autorisent tout sans discernement (laissant filer de la bande passante sans aucun retour). Ton analyse de logs te permet de sortir de ces deux extrêmes et de configurer une stratégie sélective, comme détaillé dans le guide crawl budget et indexation.
Les erreurs les plus fréquentes
- Faire confiance au user-agent sans vérification IP — trivialement falsifiable, surtout pour les crawlers IA récents.
- Mélanger toutes les IA dans le même bucket — un bot d'entraînement (impact différé) et un bot de récupération temps réel (impact immédiat) appellent des décisions opposées.
- Utiliser
noindexpour économiser du budget de crawl — cette directive contrôle l'indexation, pas le crawl. Le bot continue de consommer des ressources même si la page ne sera jamais indexée. - Ignorer la navigation à facettes — les combinaisons de filtres e-commerce peuvent générer des millions d'URLs, absorbant l'essentiel du budget de crawl sur les gros catalogues.
- Ne jamais revisiter l'analyse — les nouveaux crawlers IA apparaissent en continu ; une analyse figée en 2025 rate déjà les nouveaux venus de 2026.
Ce type d'analyse a surtout un intérêt concret pour les sites de grande taille (plusieurs milliers de pages, catalogues e-commerce, volume élevé de nouvelles pages). Pour un petit site vitrine, la priorité reste l'audit SEO complet avant l'analyse fine des logs.
À retenir
- Les logs serveur sont la seule source qui montre l'activité réelle des crawlers, sans filtrage — contrairement à Search Console qui ne rapporte que Googlebot, et à Google Analytics qui exclut les bots.
- Distingue systématiquement les trois familles de bots : indexation, entraînement, récupération temps réel. Leur impact diffère radicalement en cas de blocage.
- Ne fais jamais confiance au seul user-agent : vérifie l'IP par résolution DNS inversée ou liste officielle avant de prendre une décision de configuration.
- Un audit de logs révèle des angles morts invisibles ailleurs : pages orphelines crawlées, gaspillage de budget sur des URLs à facettes, bots IA qui consomment de la bande passante sans jamais renvoyer de trafic.
- Cette analyse a le plus de valeur sur les sites volumineux ou à fort renouvellement de contenu — pas nécessaire pour un site de quelques dizaines de pages.
FAQ — Analyse de logs serveur SEO et GEO
Ai-je besoin d'un outil payant pour analyser mes logs ?
Non, pas au départ. Pour un premier audit sur un site modeste, un export de logs et une commande de filtrage (grep, awk) suffisent pour isoler les user-agents contenant "bot". Les outils comme Screaming Frog Log File Analyser deviennent utiles à partir de plusieurs milliers de lignes par mois.
Quelle est la différence entre GPTBot et ChatGPT-User ?
GPTBot crawle pour entraîner les futurs modèles OpenAI — son blocage n'affecte pas les réponses actuelles de ChatGPT. ChatGPT-User récupère une page en temps réel pour répondre à une question précise — son blocage a un effet immédiat sur ta visibilité dans les réponses du jour.
Les bots IA exécutent-ils le JavaScript comme Googlebot ?
En général, non. La plupart des crawlers d'entraînement et de récupération IA lisent le HTML brut sans exécuter de JavaScript côté client. Un site fortement dépendant du rendu client (CSR) peut donc être bien indexé par Google tout en restant invisible pour plusieurs crawlers IA — voir notre guide JavaScript SEO.
À quelle fréquence faut-il analyser ses logs ?
Une revue mensuelle est un bon rythme pour un site à forte activité. Pour un site plus petit, un audit trimestriel suffit généralement, sauf en cas de chute de trafic organique inexpliquée.
Cette analyse remplace-t-elle Google Search Console ?
Non, elle la complète. Search Console reste indispensable pour le suivi côté Google. L'analyse de logs apporte ce que Search Console ne montrera jamais : le comportement réel de tous les autres bots, dont les crawlers IA qui pèsent de plus en plus dans ta visibilité GEO.
Envie de savoir si ton site laisse filer du budget de crawl sans le savoir ? Obtiens ton score /100 — l'audit SeAudit analyse ta crawlabilité, ton robots.txt et tes signaux techniques SEO et GEO en quelques minutes. Pour aller plus loin avec une analyse complète incluant les recommandations détaillées, découvre le rapport complet PDF.