Cloudflare affine le blocage des bots IA sur mesure

Résumé

Cloudflare introduit des contrôles fins pour les bots d’IA, séparant recherche, entraînement et agents, avec blocage par défaut des bots d’entraînement et d’agents sur les pages financées par la publicité.

Les faits

Cloudflare introduit de nouveaux outils pour permettre à tous ses clients de contrôler plus finement l’accès des bots d’intelligence artificielle à leurs sites web. L’entreprise explique que les propriétaires de sites peuvent désormais gérer séparément les bots de type « Search », « Training » et « Agent », au lieu de les bloquer tous d’un seul coup. Cette évolution prolonge une fonctionnalité disponible depuis juillet 2024, qui permettait de bloquer tous les crawlers IA en un clic. Le nouveau système distingue trois catégories : la catégorie « Search » couvre l’indexation par les moteurs de recherche, la catégorie « Training » concerne la collecte de données pour l’entraînement des modèles d’IA, et la catégorie « Agent » regroupe les bots agissant pour le compte des utilisateurs, comme ceux utilisés par des services de type ChatGPT. Cloudflare précise que ces options sont désormais accessibles aussi aux utilisateurs de l’offre gratuite. À partir du 15 septembre 2026, Cloudflare appliquera des règles par défaut plus strictes sur les pages financées par la publicité. Les bots « Training » et « Agent » y seront automatiquement bloqués, l’entreprise considérant que la présence de publicité signifie qu’un site souhaite avant tout des visiteurs humains. Les crawlers de recherche resteront autorisés. Les crawlers à usage multiple comme Googlebot, qui servent à la fois la recherche et l’entraînement, seront soumis à la règle la plus stricte applicable. Pour ses clients entreprises, Cloudflare lance également BotBase, une base de données consultable de tous les bots connus, intégrée au tableau de bord. Cet outil indique la classification de chaque bot et la manière dont il utilise le contenu des sites, qu’il se contente de faire des liens vers les pages ou qu’il les reproduise intégralement. Cloudflare revoit en parallèle les règles applicables aux bots « vérifiés » : ils n’auront plus automatiquement accès aux sites. Désormais, c’est la catégorie du bot qui déterminera ses droits d’accès, et les opérateurs devront démontrer qu’ils s’identifient honnêtement et n’abusent pas des autorisations obtenues. Cloudflare pousse aussi les opérateurs de bots à séparer plus clairement leurs crawlers selon leur usage. Son directeur général Matthew Prince a déjà critiqué Google pour avoir fusionné son crawler de recherche avec son crawler d’IA. En juin 2026, il a indiqué que le trafic généré par les bots avait dépassé pour la première fois le trafic humain sur Internet, une étape qu’il ne s’attendait pas à voir franchie avant la fin 2027.

Pourquoi c’est important

Cette évolution marque un tournant dans la régulation du trafic automatisé à l’ère de l’IA générative. En donnant aux éditeurs la possibilité de différencier l’indexation de recherche de l’entraînement de modèles et des agents conversationnels, Cloudflare répond directement aux inquiétudes sur la captation massive de contenus sans contrôle et sur la concurrence entre robots et visiteurs humains, en particulier sur les sites financés par la publicité. La pression exercée sur les opérateurs de bots pour qu’ils segmentent leurs crawlers et respectent des règles plus transparentes pourrait influencer fortement les pratiques des grands acteurs technologiques. La création de BotBase et le durcissement des critères pour les bots vérifiés renforcent la capacité des entreprises à surveiller et encadrer l’usage de leurs contenus par les systèmes d’IA, dans un contexte où le trafic des bots a désormais dépassé celui des humains sur Internet.

Questions fréquentes

Qu’apporte le nouveau contrôle des bots IA de Cloudflare ?

Il permet de gérer séparément les bots de recherche, d’entraînement de modèles et les agents, plutôt que de les bloquer tous globalement.

Que se passera-t-il sur les pages avec publicité à partir du 15 septembre 2026 ?

Les bots d’entraînement et les agents y seront bloqués par défaut, tandis que les crawlers de recherche resteront autorisés.

: Comment Cloudflare traite les crawlers multi-usages comme Googlebot ?

Ils sont soumis à la règle la plus stricte parmi celles applicables à la recherche et à l’entraînement.

Qu’est-ce que BotBase pour les clients entreprises ?

C’est une base de données consultable de tous les bots connus, intégrée au tableau de bord, qui détaille leur classification et l’usage du contenu.

Les bots vérifiés auront-ils encore un accès automatique ?

Non, leur accès dépendra désormais de leur catégorie et du respect d’une identification honnête et d’un usage non abusif.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.