Cloudflare révolutionne Internet : un coup dur pour les géants de l'IA
Cloudflare, l'un des principaux réseaux de diffusion de contenu (CDN) d'Internet, a déclaré la guerre aux entreprises d'intelligence artificielle. À partir du 1er juillet, Cloudflare bloque par défaut les robots d'IA qui accèdent au contenu des sites web sans autorisation ni compensation. Ce changement répond à un problème réel : de nombreux propriétaires de sites, dont l'auteur de cet article, ont constaté que leurs sites étaient considérablement ralentis par les robots d'IA comme GPTBot d'OpenAI et ClaudeBot d'Anthropic. Ces robots génèrent un volume massif de requêtes automatisées, bien plus agressif que les robots des moteurs de recherche traditionnels.
Cloudflare agit au nom de ses deux millions de clients, représentant 20 % du web. Désormais, pour tout nouveau site inscrit à ses services, les robots d'IA seront automatiquement bloqués, sauf autorisation explicite du propriétaire. De plus, Cloudflare promet de détecter les robots "fantômes" qui tentent d'échapper à la détection grâce à l'analyse comportementale et au machine learning.
Cette mesure inverse la situation précédente, où les propriétaires de sites devaient explicitement refuser l'accès aux robots d'IA. Désormais, le blocage est la norme, et les entreprises d'IA doivent demander l'accès et préciser leurs intentions (formation de modèles, recherche, etc.) avant d'être autorisées. Cette décision fait suite aux plaintes des éditeurs, comme The Associated Press ou Condé Nast, qui accusent les entreprises d'IA d'exploiter leur contenu sans compensation ni consentement, parfois en ignorant les protocoles standards comme robots.txt.
Parallèlement, Cloudflare a lancé son programme "Pay Per Crawl", permettant aux éditeurs de fixer leurs tarifs pour les entreprises d'IA souhaitant scraper leur contenu. Ce système, actuellement en version bêta privée, utilise le code HTTP 402 ("Paiement requis") pour faciliter son intégration. Cette initiative vise à créer un modèle économique équitable pour tous : créateurs, consommateurs et entreprises d'IA.
Cette décision de Cloudflare pourrait rendre une grande partie du web inaccessible aux entreprises d'IA, à moins qu'elles ne négocient des licences. Nicholas Thompson, PDG de The Atlantic, souligne que les entreprises d'IA devront désormais négocier, alors qu'elles ont longtemps exploité le contenu sans conséquences. Cependant, des dirigeants comme Nick Clegg (Meta) estiment que payer pour le contenu pourrait "tuer l'industrie de l'IA".
Cette politique intervient alors que le trafic des sites d'actualités a chuté drastiquement avec l'essor de l'IA. Par exemple, Business Insider a perdu 55 % de son trafic entre 2022 et 2025. Sans action, The Atlantic pourrait voir son trafic Google tomber à zéro. Reste à voir si d'autres CDN, comme Akamai, suivront l'exemple de Cloudflare. Pour l'instant, l'ère du scraping illimité semble toucher à sa fin, du moins pour le cinquième du web transitant par Cloudflare.
