IA que cria voz foi lançada recentemente e já causa problemas com deepfakes

Usuários de fórum criaram vídeos com vozes parecidas com as de celebridades para espalhar conteúdo falso e com discurso de ódio; empresa está criando medidas de proteção

Felipe Freitas
Por
• Atualizado há 9 meses
Como identificar deepfake (imagem original: Mohamed Hassan/PxHere)
Como identificar deepfake (imagem original: Mohamed Hassan/PxHere)

A ElvenLabs lançou a sua plataforma de criação de voz por inteligência artificial no meio de janeiro. Alguns dias depois, a ferramenta causou problemas ao ser usada no fórum 4Chan para a criação de deepfakes com pessoas públicas e personagens. Joe Rogan, Emma Watson e Rick Sanchez (Rick and Morty) foram alguns dos alvos.

No Twitter, a ElvenLabs divulgou está desenvolvendo contramedidas para combater o mau uso da sua plataforma de criação de voz. Entre as ferramentas que a empresa está criando está a verificação de contas usando mais etapas e de direitos autorais na funcionalidade de clonar vozes. A plataforma da ElvenLabs tem versões pagas e gratuitas.

Deepfakes usam IA que cria vozes

No Twitter, a ElvenLabs não mostrou exemplos dos usos indevidos de sua tecnologia, mas o site Motherboard revelou que membros do 4Chan estavam usando as vozes criadas pela plataforma para gravar deepfakes com discursos de ódio.

Em um dos vídeos, a imagem da atriz Emma Watson foi usada com uma voz parecida com a original para simular que ela estava lendo o livro Mein Kampf. Em outro deepfake, Rick Sanchez, protagonista de Rick & Morty, aparecia falando que bateria na esposa. Justin Roiland, um dos criadores da série e dublador dos protagonistas, é réu em um processo de violência doméstica.

Ferramenta Voice Lab permite que usuários clonem vozes através de amostras. (Imagem: Reprodução/Tecnoblog)
Ferramenta Voice Lab permite que usuários clonem vozes através de amostras. (Imagem: Reprodução/Tecnoblog)

A criação desses deepfakes foi facilitada pela função de clonagem de voz da ElvenLabs. Com amostras de mais de 1 minuto, o sistema cria uma voz similar ao original. O recurso está disponível na versão gratuita do ElvenLabs.

ElvenLabs fará mudanças em seus serviços para combater deepfakes

No Twitter, a ElvenLabs anunciou as alterações que desenvolverá para evitar o uso da sua tecnologia na criação de conteúdo falso.

No futuro, para usar a ferramenta de clonagem de voz, a ElvenLabs pretende adicionar outras etapas de verificação da conta. Ela usa como exemplo o preenchimento de dados de pagamento e cita a possibilidade de uma verificação completa de identidade.

A outra proposta é analisar se a amostra de áudio para clonagem não viola direitos autorais. Essa medida deve ser complementado com a transcrição do texto falado na amostra.

A última opção, a mais “radical” e trabalhosa, é abandonar a ferramenta Voice Lab, onde a clonagem é feita automaticamente, e avaliar todos os pedidos de clonagem individualmente.

No Twitter, a empresa fala que está aberta a ouvir mais ideias dos seus seguidores e usuários do serviço.

Relacionados