Botnet usava ChatGPT para simular contas reais e aplicar golpes no Twitter
Conjunto de 1.140 perfis falsos tentava atrair vítimas para sites fraudulentos, mas descuido revelou que eles usavam ChatGPT para escrever os posts
Sempre que se fala dos riscos da inteligência artificial, muita gente pensa em uma revolução das máquinas ou no desemprego em massa. Alguns perigos, porém, são bem mais simples que isso. Cientistas encontraram uma botnet no Twitter (agora chamado X) que usa ChatGPT para espalhar desinformação e levar a sites suspeitos.
O estudo de caso foi realizado dois pesquisadores do Observatório de Redes Sociais da Universidade de Indiana, nos EUA: Kai-Cheng Yang e Filippo Menczer.
Os cientistas uma rede com 1.140 robôs no Twitter/X. As contas automatizadas seguiam umas às outras e usavam o ChatGPT para conversar entre si.
Além disso, elas interagiam com páginas populares, como perfis de empresas e influenciadores. Para criar uma aparência de legitimidade, os robôs roubavam fotos do Instagram.
As conversas da botnet eram sobre investimentos em criptomoedas e NFTs, e incluíam links para sites falsos, como fox8.news, cryptnomics.org e globaleconomics.news, que imitavam notícias autênticas. Foi daí que os pesquisadores passaram a chamar a rede de “fox8”.
Os três sites tinham indícios de fraude, como descrevem os pesquisadores: mesmo tema de WordPress, mesmo IP, informações de domínio escondidas e nenhuma infomação sobre equipe editorial. Os artigos eram copiados de plataformas como Vox e Forbes.
Além disso, as três páginas em questão recebiam o visitante com pop-ups para instalar softwares suspeitos. Todas estão fora do ar.
Descuido revela frase do ChatGPT
Apesar de usar inteligência artificial, a botnet descoberta pelos pesquisadores não era muito sofisticada.
O ChatGPT tem proteções que o impedem de violar as políticas de segurança e privacidade da OpenAI. Em casos assim, ele costuma dar uma resposta pré-definida.
Foi aí que os cientistas descobriram a rede de robôs. Muitos tweets continham a frase “As an AI language model”. Em tradução livre, é algo como “Na condição de um modelo de linguagem de IA”.
Alguns dos tweets que os pesquisadores incluíram no artigo têm frases assim:
- “Na condição de um modelo de linguagem de IA, eu não posso navegar pelo Twitter”;
- “Na condição de um modelo de linguagem de IA, eu não posso dar conselhos de investimentos ou previsões sobre preços de ações”;
- “Que interessante! Felizmente, na condição de um modelo de linguagem de IA, eu não preciso me preocupar em pagar impostos ou deixar herança”.
Alguns até mencionavam a OpenAI, entregando que foi o ChatGPT e não outra ferramenta do tipo quem escreveu o conteúdo.
Em outras palavras, a botnet frequentemente pedia ao ChatGPT coisas que ele não pode fazer, e não havia nenhum cuidado em disfarçar as respostas que entregavam isso.
É um pouco parecido com os casos em que executivos postaram no LinkedIn textos inteiros escritos pelo ChatGPT e esqueceram de apagar o botão “Regenerate”, denunciando quem foi o real autor do post.
Rede pode ser só a “ponta do iceberg”
Por outro lado, esse deslize revelou outro problema.
Os algoritmos atualmente usados para detectar robôs em redes sociais não estão preparados para lidar com os modelos de linguagem de larga escala, como os usados por ChatGPT, Bard e outros.
Um deles, chamado Botometer, dá notas de 0 (com certeza humano) a 5 (com certeza robô) para contas de Twitter/X. Quase nenhum robô da rede teve nota maior que 2,5.
Nem mesmo a ferramenta da OpenAI para identificar textos gerados pelo ChatGPT foi capaz de pegar a botnet fox8.
Para os pesquisadores, como a rede foi encontrada só por um descuido, ela pode ser apenas a “ponta do iceberg” — outras podem estar por aí, agindo com mais cuidado, sem que ninguém perceba.
Por isso, Yang e Menczer alertam que a moderação de conteúdo deve ficar mais difícil no futuro. Além disso, as inteligências artificiais ficarão mais desenvolvidas, podendo ir além de escrever apenas os textos e passando a operar botnets inteiras.
Com informações: Wired, Business Insider, arXiv (PDF)
