IA que cria voz foi lançada recentemente e já causa problemas com deepfakes
Usuários de fórum criaram vídeos com vozes parecidas com as de celebridades para espalhar conteúdo falso e com discurso de ódio; empresa está criando medidas de proteção
A ElvenLabs lançou a sua plataforma de criação de voz por inteligência artificial no meio de janeiro. Alguns dias depois, a ferramenta causou problemas ao ser usada no fórum 4Chan para a criação de deepfakes com pessoas públicas e personagens. Joe Rogan, Emma Watson e Rick Sanchez (Rick and Morty) foram alguns dos alvos.
No Twitter, a ElvenLabs divulgou está desenvolvendo contramedidas para combater o mau uso da sua plataforma de criação de voz. Entre as ferramentas que a empresa está criando está a verificação de contas usando mais etapas e de direitos autorais na funcionalidade de clonar vozes. A plataforma da ElvenLabs tem versões pagas e gratuitas.
Deepfakes usam IA que cria vozes
No Twitter, a ElvenLabs não mostrou exemplos dos usos indevidos de sua tecnologia, mas o site Motherboard revelou que membros do 4Chan estavam usando as vozes criadas pela plataforma para gravar deepfakes com discursos de ódio.
Em um dos vídeos, a imagem da atriz Emma Watson foi usada com uma voz parecida com a original para simular que ela estava lendo o livro Mein Kampf. Em outro deepfake, Rick Sanchez, protagonista de Rick & Morty, aparecia falando que bateria na esposa. Justin Roiland, um dos criadores da série e dublador dos protagonistas, é réu em um processo de violência doméstica.
A criação desses deepfakes foi facilitada pela função de clonagem de voz da ElvenLabs. Com amostras de mais de 1 minuto, o sistema cria uma voz similar ao original. O recurso está disponível na versão gratuita do ElvenLabs.
ElvenLabs fará mudanças em seus serviços para combater deepfakes
No Twitter, a ElvenLabs anunciou as alterações que desenvolverá para evitar o uso da sua tecnologia na criação de conteúdo falso.
No futuro, para usar a ferramenta de clonagem de voz, a ElvenLabs pretende adicionar outras etapas de verificação da conta. Ela usa como exemplo o preenchimento de dados de pagamento e cita a possibilidade de uma verificação completa de identidade.
A outra proposta é analisar se a amostra de áudio para clonagem não viola direitos autorais. Essa medida deve ser complementado com a transcrição do texto falado na amostra.
A última opção, a mais “radical” e trabalhosa, é abandonar a ferramenta Voice Lab, onde a clonagem é feita automaticamente, e avaliar todos os pedidos de clonagem individualmente.
No Twitter, a empresa fala que está aberta a ouvir mais ideias dos seus seguidores e usuários do serviço.
