Istock / Getty Images Plus
A principal rede de entrega de conteúdo da Internet (CDN), Cloudflaredeclarou guerra às empresas de IA. A partir de 1º de julho, Cloudflare agora bloqueia os rastreadores da Web AI padrão Acessando o conteúdo de seus sites sem permissão ou compensação.
A mudança aborda um problema real. Meu próprio site pequeno, onde rastreio todas as minhas histórias, Tecnologia práticafoi desacelerado dramaticamente às vezes pelos rastreadores da AI. Não sou só eu. Inúmeros proprietários de sites relataram que a IA rastreadores, como GPTBOT da Openai e Claudebot do Anthrópicogerar Volumes maciços de solicitações automatizadas que obstruem sites Então eles são tão lentos quanto o lodo. Googlebot Somente relata que o serviço de hospedagem em nuvem Vercel relata isso Somente o Googlebot bombardeia os sites que ele hospeda com mais de 4,5 milhões de solicitações por mês.
Esses robôs de IA geralmente rastejam muito mais agressivamente do que os rastreadores tradicionais de mecanismos de busca. Eles às vezes revisitam as mesmas páginas a cada poucas horas ou até atingir sites com centenas de solicitações por segundo. Enquanto as empresas de IA negam que seus bots sejam os culpados, as evidências contam uma história diferente.
Além disso: o Senado remove a proibição dos regulamentos estaduais da IA da conta de impostos de Trump
Assim, em nome de seu Mais de dois milhões de clientes20% da web, o CloudFlare agora bloqueia os rastreadores AI. Para qualquer novo site se inscrevendo em seus serviços, a AI Crawlers será automaticamente impedida de acessar seu conteúdo, a menos que o proprietário do site conceda permissão explícita. Além disso, o CloudFlare promete detectar raspadores “sombras” – bots que tentam evitar a detecção – usando análise comportamental e aprendizado de máquina. O que é bom para o ganso da AI é bom para o Gander.
Esse movimento reverte o status quo anterior, onde os proprietários de sites tiveram que não optar por sair da AI rastejando. Agora, o bloqueio é o padrão, e os fornecedores de IA devem solicitar acesso e esclarecer suas intenções, seja para treinamento de modelo, pesquisa ou outros usos, antes de serem permitidos.
Essa mudança surge não apenas por causa de proprietários de sites frustrados. Inúmeras empresas editoras, como a Associated Press, Condé Nast e a própria empresa controladora da ZDNET, Ziff Davisestão irritados com o fato de as empresas de IA terem “mineração” na web por conteúdo. Com muita frequência, isso foi feito sem compensação ou consentimento e, às vezes, ignorando protocolos padrão como robots.txt que devem bloquear os rastreadores.
(Divulgação: Ziff Davis, empresa controladora da ZDNET, entrou com um processo de abril de 2025 contra o Openai, alegando que ele violou a Ziff Davis Copyrights em treinamento e operação de seus sistemas de IA.)
Além disso, casos judiciais recentes decidiram a favor de meta e antropia, descobrindo que o uso de obras protegidas por direitos autorais era legal sob a doutrina do uso justo. Escusado será dizer que escritores, artistas e editores não gostam disso. Os editores ainda estão preocupados com o fato de o governo federal dar a IA livre para fazer o que quiser com seu conteúdo. Powerhouses de IA, como OpenAI e Google, continuam fazendo lobby no governo para classificar o treinamento de IA em dados protegidos por direitos autorais como uso justo.
Também vale a pena notar que depois que o escritório de direitos autorais divulgou uma versão pré-publicação de seu Relatório de direitos autorais e IA de 108 páginasque atingiu um meio termo apoiando essas duas indústrias de classe mundial que contribuem muito para o nosso avanço econômico e cultural. No entanto, acrescentou que, embora alguma IA generativa provavelmente constitua um uso “transformador”, a raspagem em massa de todos os dados não se qualificou como uso justo. No dia seguinte, o governo Trump demitiu o chefe do escritório de direitos autorais e a substituiu por um advogado sem experiência anterior na lei de direitos autorais.
Além disso: a nova decisão do escritório de direitos autorais dos EUA na arte da IA está aqui – e pode mudar tudo
Dado tudo isso, não é de admirar que os editores tenham procurado um aliado em tecnologia.
Como o CEO da Cloudflare, Matthew Prince, disse em comunicado, sua nova política deve “dar aos editores o controle que eles merecem e construir um novo modelo econômico que funcione para todos – criadores, consumidores, fundadores da IA de amanhã e o futuro da própria web”.
Para complementar a mudança para bloquear os rastreadores de AI, o CloudFlare também lançou seu Programa “Pay Per Crawl”. Isso permite que os editores defina suas próprias taxas para empresas de IA que desejam raspar seu conteúdo.
Além disso: as imagens geradas pela IA são uma bagunça legal – e ainda é um processo muito humano
Atualmente, este sistema está em beta privado e tem como objetivo criar uma estrutura em que as empresas de IA possam pagar pelo acesso ou ser negado se recusarem. Tecnicamente, isso será feito ao tirar o pó de uma resposta antiga e principalmente não utilizada do servidor, HTTP 402que responde com uma mensagem de erro “pagamento exigido”. Isso significa que deve ser simples de implementar e compatível com os sites existentes e sua infraestrutura.
No geral, isso é um grande negócio. Graças ao Cloudflare que alimenta uma parte tão grande da Internet, uma quantidade significativa de conteúdo da Web pode se tornar inacessível às empresas de IA, a menos que negociem acesso ou paguem taxas de licenciamento. Como Nicholas Thompson, CEO da O Atlânticoobservou: “Até agora, as empresas de IA não precisam pagar pelas licenças de conteúdo porque poderiam simplesmente levá -lo sem repercussões. Agora Eles precisarão negociar.”
Até este ponto, a maioria das empresas de IA tem sido ativamente contra pagar pelo conteúdo. Como Sir Nick Clegg, ex -vice -primeiro -ministro e meta executivo, disse recentemente, apenas pedindo à permissão dos artistas antes de eles O conteúdo protegido por direitos autorais “basicamente matará a indústria da IA”.
Além disso: CloudFlare bloqueia o maior ataque de DDoS – veja como se proteger
A nova política da Cloudflare é uma resposta direta a essa abordagem e ao crescente volume e intrusividade dos rastreadores de IA que a vieram. É também uma tentativa de interromper o desvio do tráfego que, de outra forma, iria aos editores.
Desde a ascensão da IA, o tráfego para sites de notícias mergulhou. Por exemplo, O tráfego do Business Insider caiu mais da metade55% de abril de 2022 a abril de 2025. Deixou -se desmarcado, Thompson recentemente previu que, graças à IA, a equipe do Atlântico deveria esperar Tráfego do Google para cair para zero.
O que vai acontecer a seguir? O outro CDN, como Akamaisiga o exemplo? Fique atento. Por enquanto, a era da Ai Rastrenadora irrestrita parece estar terminando, bem, pelo menos para o quinto da Internet que flui pelos tubos do Cloudflare.
Pegue as principais histórias da manhã em sua caixa de entrada todos os dias com nosso Tecnologia hoje boletim.
