Cloudflare vai bloquear robôs que coletam conteúdo de sites para treinar IA

A empresa de serviços de internet Cloudflare lançou uma ferramenta para bloquear robôs que coletam textos e imagens de sites. Estas ferramentas são usadas treinar modelos de inteligência artificial. Nas últimas semanas, empresas jornalísticas acusaram startups de IA de não respeitar o robots.txt, arquivo com instruções que deveriam impedir o acesso de crawlers e scrapers.

A ferramenta é gratuita e bloqueia automaticamente robôs de IA, usando a análise do tráfego no site. A Cloudflare diz que este tipo de ação deixa “impressões digitais”. Graças a elas, é possível identificar e bloquear os robôs, mesmo se eles tentarem simular o comportamento de um visitante humano.

“Os consumidores não querem bots de IA visitando seus sites, especialmente aqueles que agem de maneira desonesta”, diz a empresa. “Suspeitamos que algumas empresas de IA estão tentando burlar as regras para acessar conteúdo e vão tentar se adaptar para escapar da detecção de robôs.”

Empresas de IA estão usando conteúdo sem autorização

Atualmente, uma das opções para bloquear os scrapers e crawlers é colocar instruções em um arquivo robots.txt. Este método, porém, apenas sinaliza aos robôs que aquele site não deseja ser acessado, mas não impede a ação de ferramentas deste tipo.

Este problema ganhou evidência nas últimas semanas. Forbes e Wired acusaram a Perplexity AI de não respeitar a sinalização contra robôs que foi colocada seus sites. O chatbot da startup reproduziu quase na íntegra reportagens exclusivas, sem dar os devidos créditos.

O problema pode ser ainda mais amplo. Segundo a empresa de licenciamento de conteúdo TollBit, muitos agentes de IA estão ignorando o padrão robots.txt. Atualmente, entre os 1.000 sites mais visitados da web, 26% bloqueiam os robôs da OpenAI.

Antes disso, o jornal The New York Times entrou com um processo contra a OpenAI, acusando a desenvolvedora do ChatGPT de não respeitar direitos autorais ao usar matérias da publicação no treinamento dos modelos de IA.

Enquanto o veredito não sai, a OpenAI tem fechado acordos de licenciamento de conteúdo com várias empresas jornalísticas, como Axel Springer, Vox Media e Associated Press.

Mesmo assim, vai ser difícil escapar da IA. A ferramenta AI Overviews, do Google, que cria respostas automáticas e as coloca no topo dos resultados da busca, não pode ser bloqueada de maneira independente. A única maneira é bloquear totalmente a indexação do Google, o que é um problema, já que o buscador é a principal fonte de tráfego de muitos sites.

Com informações: Cloudflare, TechCrunch

Leia | Como usar a máquina do tempo do Internet Archive [Wayback Machine]