A Cloudflare agora bloqueará os raspadores da Web com IA que não pagam pelos dados

Declarando o "Dia da Independência do Conteúdo", o CEO da Cloudflare, Matthew Prince, anunciou grandes mudanças na infraestrutura de serviços da Web da empresa, que agora bloqueará todos os bots rastreadores da Web de IA por padrão.

Em uma postagem no blog https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/prince explicou que o cenário moderno de pesquisa na Web está cada vez mais definido por chatbots de IA, como o Gemini do Google ou o ChatGPT da OpenAI. Embora sejam úteis, eles também coletam livremente dados disponíveis on-line sem nenhuma repercussão e não compensam os criadores originais.

Prince argumentou que, devido às mudanças recentes na Pesquisa do Google, agora é dez vezes "mais difícil para um criador de conteúdo obter o mesmo volume de tráfego" do que há dez anos.

"Em vez de ser um comércio justo", disse Prince. "A Web está sendo minada por rastreadores de IA, e os criadores de conteúdo não veem quase nenhum tráfego e, portanto, quase nenhum valor."

Prince disse que o conteúdo extraído "é o combustível que alimenta os mecanismos de IA", e é justo que os criadores originais sejam compensados por isso.

A Cloudflare também anunciou planos para um mercado que reunirá criadores e empresas de IA em um só lugar. O mercado classificará o conteúdo disponível não apenas pelo tráfego que ele gera, mas "pelo quanto ele promove o conhecimento" Prince acredita que isso ajudará os mecanismos de IA a ficarem mais rápidos e "potencialmente facilitará uma nova era de ouro da criação de conteúdo de alto valor"

Prince admitiu que ainda não tem todas as respostas, mas a empresa estava trabalhando com "os principais cientistas da computação e economistas para descobri-las"

Recentemente, a SourceHut, um serviço de hospedagem git de código aberto https://status.sr.ht/issues/2025-03-17-git.sr.ht-llms/disse que sofreu interrupções devido "a rastreadores LLM agressivos" e bloqueou vários provedores de nuvem, incluindo o Google Cloud e o Microsoft Azure, devido a grandes volumes de tráfego de entrada de suas redes.

Em janeiro, a DoubleVerify, uma plataforma de análise da Web, relatou um aumento de 86% no tráfego inválido geral (GIVT) de raspadores de IA e outras ferramentas automatizadas on-line em comparação com 2024.

Apesar das promessas anteriores, o GPTbot da OpenAI também encontrou maneiras de ignorar ou contornar o o robot.txt de um site, causando um enorme aumento no tráfego para os proprietários de domínios e contas caras.