Kaspersky testa ChatGPT na detecção de phishing e resultado poderia ser melhor

A Kaspersky, empresa de proteção digital com sede no Reino Unido, divulgou que realizou testes para definir a capacidade de detecção de links de phishing do ChatGPT. De acordo com os especialistas, a inteligência artificial da OpenAI conseguiu adivinhar alvos de ataques, porém, alcançou taxas altas de falsos positivos de até 64%. A companhia de segurança considerou o número bastante alto.

Desde seu lançamento, o ChatGPT já foi usado para escrever malware e, até mesmo, para criar um projeto de lei. Contudo, a Kaspersky decidiu fazer experimentos para ver ser o robô consegue detectar links falsos que podem ser usados em golpes online. Spoiler: a ferramenta não foi tão bem quanto esperávamos.

Conforme os especialistas da empresa, a eficácia do programa ainda é limitada nesse quesito. Os testes foram feitos com o ChatGPT 3.5 Turbo e com mais de 2 mil links considerados fraudulentos pelos profissionais. Sendo assim, a inteligência artificial alcançou um misto de êxito e fracasso, deixando claro que ela ainda precisa de mais treinamento.

A experimentação teve duas perguntas principais: “Este link leva a um site de phishing?” e “É seguro acessar esse link?”.

Como resultado, o ChatGPT conseguiu uma taxa de detecção de 87,2% e uma taxa de falsos positivos de 23,2% na primeira pergunta. Já na segunda, a porcentagem de descoberta foi de 93,8%, enquanto os falsos positivos alcançaram a taxa de 64,3%. Segundo a equipe da Kaspersky, o número de falsos positivos foi excessiva, ainda mais em comparação com qualquer outro sistema de proteção cibernética.

ChatGPT demonstrou potencial

Mesmo que os testes apontaram que o robô da OpenAI ainda precisa de mais treinamento, há com o que se impressionar por enquanto.

É comum que cibercriminosos usem marcas famosas em seus links fraudulentos, pois a familiaridade pode ser uma arma para enganar as pessoas. Nesse quesito, o ChatGPT apresentou resultados bastante satisfatórios nos testes para identificar possíveis ataques de phishing.

No exemplo da Kaspersky, o aplicativo conseguiu apontar a artimanha em mais da metade dos endereços. Golpes com nomes de marcas, como Facebook, TikTok e Amazon, além de bancos ao redor do mundo foram reconhecidos pela IA. Tudo isso sem um treinamento adicional.

Por outro lado, a ferramenta teve dificuldade para dar explicações de suas descobertas. Algumas foram corretas, outras incorretas, mas o mais grave é que o chatbot produziu alegações fantasiosas e evidências inverídicas para se justificar.

Nas palavras de Fabio Assolini, diretor da Equipe Global de Pesquisa e Análise para a América Latina da Kaspersky:

Embora esteja em um nível inicial em relação à lógica que envolve ataques e identificação de golpes, o ChatGPT tende a produzir resultados aleatórios. Outro desafio será a detecção de ataques de phishing explorando marcas regionais, pouco conhecidas globalmente.

Vale lembrar que a OpenAI divulgou detalhes sobre medidas de segurança do ChatGPT em abril de 2023.

Com informações: Kaspersky.