Cloudflare declara guerra a bots que rastreiam sites para treinar IA

Não é de hoje que a Cloudflare demonstra certa resistência a serviços de inteligência artificial generativa, mas digamos que a guerra a esses mecanismos acabou de ser declarada: a companhia decidiu bloquear, por padrão, bots de IA que rastreiam os sites de seus clientes.

A Cloudflare fornece serviços de otimização e segurança para milhões de sites e serviços online. Os recursos que a companhia oferece permitem que páginas web carreguem mais rapidamente em seu navegador ou sejam protegidas em caso de ataques de negação de serviço (DDoS), por exemplo.

Esses serviços permitem que a Cloudflare saiba quando os sites de seus clientes estão sendo rastreados por bots. Até um passado recente, esses rastreadores eram operados principalmente pelo Google e a Microsoft para indexar páginas para aparecerem em seus mecanismos de busca.

Hoje, porém, há uma enormidade de bots atuando em prol de serviços de IA generativa, como ChatGPT e Google Gemini. O problema é que, ao contrário dos rastreadores dos buscadores convencionais, os serviços de inteligência artificial coletam os dados de páginas web para gerar respostas às consultas dos usuários, mas proporcionam pouca ou nenhuma visita aos sites que as hospedam.

Vem daí a decisão da Cloudflare de bloquear rastreadores para serviços de inteligência artificial. A novidade começa a valer a partir desta terça-feira (01/07) como parte de uma campanha que a companhia batizou de “Dia da Independência do Conteúdo”.

Como funciona o novo bloqueio de IA da Cloudflare?

Basicamente, a Cloudflare perguntará a novos clientes se eles querem que os bots de IA rastreiem os seus sites. Clientes já existentes também poderão fazer esse tipo de configuração.

Será possível inclusive bloquear determinados rastreadores e liberar outros, bem como aplicar o bloqueio apenas em páginas que exibem anúncios, por exemplo.

A Cloudflare já oferece ferramentas que permitem bloquear ou limitar a ação de bots de IA. A diferença é que, agora, os clientes terão uma gama de opções maior para fazer esse controle.

Nesse sentido, a Cloudflare oferecerá ainda o recurso Pay Per Crawl, que permitirá que os administradores de sites definam um preço para que serviços de IA rastreiem as suas páginas. Esses serviços poderão, então, decidir se aceitam ou não pagar pelo rastreamento.

Inicialmente, o Pay Per Crawl será oferecido a um número restrito de sites, mas a Cloudflare pretende ampliar o acesso ao recurso em etapas futuras.

CEO da Cloudflare fala em “morte da web”

Esse movimento não é inesperado. Matthew Prince, CEO da Cloudflare, já havia declarado que a web como a conhecemos está morrendo por causa da IA.

Prince se refere principalmente ao crescimento do chamado “zero clique”, comportamento que ocorre quando o usuário encontra o que precisa ao fazer uma busca ou consulta sem ter que clicar em links nos resultados.

Se os links não são clicados, os sites relacionados a eles não são acessados. Logo, essas páginas deixam de gerar receita com publicidade online ou com vendas, por exemplo. “Hoje, 75% das buscas são respondidas sem que você saia do Google”, explica o executivo. Esse cenário pode fazer um número gigantesco de sites simplesmente se tornarem inviáveis.

Com informações de MIT Technology Review