Era inevitável: deepfake usado como ferramenta de bullying

Desde que o deepfake surgiu anos atrás, de início como uma "brincadeira" para incluir fotos de atrizes e celebridades em vídeos adultos, ou trocar os rostos de atores entre filmes, pesquisadores e legisladores alertam para a perigosa e inevitável banalização do recurso, que vem sendo tratado como ferramenta de pr0n de vingança e infratora de direitos autorais.

• CGi, deepfake e o jabá dos mortos-vivos
• Relatório da UCL classifica deepfakes como o mais grave crime de IA

Agora, um caso ocorrido nos Estados Unidos ilustra esse perigo de forma didática: uma mãe foi presa ao usar o deepfake para favorecer a filha frente a outras garotas de um grupo de líderes de torcida, compartilhando ao largo imagens e vídeos comprometedores falsos das supostas rivais.

Reconhecimento facial (Crédito: teguhjatipras/Pixabay)

O caso aconteceu em Chalfont, no estado da Pensilvânia, e os primeiros relatos datam do mês de junho de 2020. Segundo a polícia, uma das vítimas entrou em contato sobre uma imagem supostamente sua que recebeu de um contato, alegando que embora tivesse o seu rosto, não era verdadeira. A denúncia fez com que outras garotas também apresentassem queixas similares.

Não demorou muito para a polícia local identificar um padrão: todas as vítimas pertenciam a um time de cheerleaders do distrito, chamado Victory Vipers, todas alegavam que as imagens eram falsas, levantando a suspeita de deepfake, e todas foram originalmente mandadas para os técnicos do grupo, em que as garotas apareciam nuas, fumando ou bebendo, comportamentos incompatíveis com líderes de torcida.

A investigação procurou rastrear a origem das fotos e chegou até um site de telemarketing, de onde elas teriam sido disparadas para os números registrados, e ao cruzarem as informações, chegaram a um endereço IP comum como a fonte das imagens, que apontava para a residência de Raffaela Spone, moradora do mesmo distrito e que "coincidentemente" era mãe de uma das garotas do time... que não havia sido um alvo das fotos.

Com um mandado, a polícia encontrou no celular evidências que comprovam ter sido ela quem enviou as fotos para os contatos. Spone foi presa e responderá por assédio online e outras acusações ligadas à ocorrência. A filha não foi indiciada, por não haverem provas indicando que ela fosse parte do esquema, ou mesmo soubesse dos atos da mãe para favorecê-la frente às outras garotas do time.

Quando o deepfake surgiu, muita gente dizia que ele seria uma modinha passageira por ser complicado de produzir e exigir um hardware de respeito para apresentar resultados minimamente convincentes, mas os mais entendidos sabiam que o aprimoramento da tecnologia seria uma questão de tempo, e pouco tempo depois scripts de automação do processo começaram a surgir.

Em questão de meses, a ferramenta de substituição de rostos foi massivamente otimizada, deixando de exigir computadores de última geração, e hoje qualquer celular é capaz de usar apps como o pioneiro chinês Zao, que processam as modificações localmente ou na nuvem.

A brincadeira "Nicolas Cage em todos os papéis" se recusa a morrer, mas ela também infringe copyrights (Crédito: Reprodução/Warner Bros. Entertainment)

Por conta da banalização do deepfake como um recurso que qualquer um pode usar, e dadas as inúmeras formas que ele pode ser usado para o mal, como no caso didático da mãe da cheerleader, que a ferramenta foi classificada em um estudo do UCL (Colégio Universitário de Londres) como o mais grave crime que usa recursos de IA, por ser extremamente fácil de usar, difícil de identificar e de combater.

O relatório alerta que o deepfake pode ser usado não apenas como uma ferramenta de bullying, mas também como uma arma contra indivíduos em posições de poder, incluindo líderes políticos, que podem ser desacreditados, ou pior, por conta de um vídeo falso em que aparecem dizendo e fazendo coisas controversas, ou mesmo cometendo crimes. Na época, os pesquisadores já haviam mencionado o óbvio poder do deepfake de destruir reputações, como as jovens que foram alvos de Spone.

Este é um caso cuja solução não é tão simples. O deepfake pode ser tanto usado de formas divertidas quanto para cometer crimes, assédio e bullying, e sua simplicidade é encarada como uma ameaça aos detentores de direitos autorais, e uma dor de cabeça para a justiça. Isso posto, ele vem sendo tratado como um facilitador de crimes e por isso, muitos defendem que ele seja completamente criminalizado e banido.

Pode não fazer com que o deepfake e seus abusos sumam por completo, mas vai restringir seu acesso, o que pode evitar que casos como o de Pensilvânia se repitam.

Fonte: The Philadelphia Inquirer, Engadget