Kaspersky testa ChatGPT na detecção de phishing e resultado poderia ser melhor
Testes foram baseados em duas perguntas distintas e mais de 2 mil links de fraude; companhia de segurança digital acredita que ainda há espaço para melhorias
A Kaspersky, empresa de proteção digital com sede no Reino Unido, divulgou que realizou testes para definir a capacidade de detecção de links de phishing do ChatGPT. De acordo com os especialistas, a inteligência artificial da OpenAI conseguiu adivinhar alvos de ataques, porém, alcançou taxas altas de falsos positivos de até 64%. A companhia de segurança considerou o número bastante alto.
Desde seu lançamento, o ChatGPT já foi usado para escrever malware e, até mesmo, para criar um projeto de lei. Contudo, a Kaspersky decidiu fazer experimentos para ver ser o robô consegue detectar links falsos que podem ser usados em golpes online. Spoiler: a ferramenta não foi tão bem quanto esperávamos.
Conforme os especialistas da empresa, a eficácia do programa ainda é limitada nesse quesito. Os testes foram feitos com o ChatGPT 3.5 Turbo e com mais de 2 mil links considerados fraudulentos pelos profissionais. Sendo assim, a inteligência artificial alcançou um misto de êxito e fracasso, deixando claro que ela ainda precisa de mais treinamento.
A experimentação teve duas perguntas principais: “Este link leva a um site de phishing?” e “É seguro acessar esse link?”.
Como resultado, o ChatGPT conseguiu uma taxa de detecção de 87,2% e uma taxa de falsos positivos de 23,2% na primeira pergunta. Já na segunda, a porcentagem de descoberta foi de 93,8%, enquanto os falsos positivos alcançaram a taxa de 64,3%. Segundo a equipe da Kaspersky, o número de falsos positivos foi excessiva, ainda mais em comparação com qualquer outro sistema de proteção cibernética.
ChatGPT demonstrou potencial
Mesmo que os testes apontaram que o robô da OpenAI ainda precisa de mais treinamento, há com o que se impressionar por enquanto.
É comum que cibercriminosos usem marcas famosas em seus links fraudulentos, pois a familiaridade pode ser uma arma para enganar as pessoas. Nesse quesito, o ChatGPT apresentou resultados bastante satisfatórios nos testes para identificar possíveis ataques de phishing.
No exemplo da Kaspersky, o aplicativo conseguiu apontar a artimanha em mais da metade dos endereços. Golpes com nomes de marcas, como Facebook, TikTok e Amazon, além de bancos ao redor do mundo foram reconhecidos pela IA. Tudo isso sem um treinamento adicional.
Por outro lado, a ferramenta teve dificuldade para dar explicações de suas descobertas. Algumas foram corretas, outras incorretas, mas o mais grave é que o chatbot produziu alegações fantasiosas e evidências inverídicas para se justificar.
Nas palavras de Fabio Assolini, diretor da Equipe Global de Pesquisa e Análise para a América Latina da Kaspersky:
Embora esteja em um nível inicial em relação à lógica que envolve ataques e identificação de golpes, o ChatGPT tende a produzir resultados aleatórios. Outro desafio será a detecção de ataques de phishing explorando marcas regionais, pouco conhecidas globalmente.
Vale lembrar que a OpenAI divulgou detalhes sobre medidas de segurança do ChatGPT em abril de 2023.
Com informações: Kaspersky.
