Dall-E se une a mais inteligências artificiais para criar roupas em vídeo
Em vídeo, diretora de criação Karen X. Cheng muda de roupas várias vezes ao andar; efeito foi gerado via Dall-E e outras ferramentas de IA
O Dall-E não serve apenas para gerar imagens divertidas. A ferramenta pode ser útil em aplicações do dia a dia. A diretora de criação Karen X. Cheng tirou a prova. Nesta semana, ela usou o Dall-E junto com outros recursos de inteligência artificial para recriar roupas dela mesma em um vídeo.
No tal vídeo, Cheng anda em uma calçada como se estivesse em um desfile de moda. A cada passo que ela dá, a sua roupa muda. É como se ela tivesse provado cada combinação e feito uma montagem com todas elas.
Bom, é uma montagem, de fato. Mas esse trabalho não foi feito por meio de ferramentas tradicionais de edição de vídeo. Em uma thread no Twitter, Cheng conta que só usou inteligência artificial para isso.
Tudo começa com a filmagem dela caminhando, obviamente. Depois, Cheng usou o Dall-E para gerar as combinações de roupa. Só que esse não foi um processo fácil.
O Dall-E é interessante porque pode gerar imagens a partir de instruções simples. No experimento, Cheng apagou a sua roupa em uma imagem e pediu para a ferramenta modificar a parte resultante, que ficou em branco.
Vale relembrar que o Dall-E é capaz de gerar imagens de praticamente qualquer tipo. Ciente disso, Cheng instruiu a ferramenta a gerar roupas na área indicada. Mas ela notou que os resultados são interessantes para fotos individuais, não para vídeos.
Durante o experimento, a diretora de criação constatou que o Dall-E gerava roupas diferentes em cada quadro (ou frame). No entanto, ela queria que cada combinação gerada persistisse por mais alguns quadros para haver um efeito de transição.
As ferramentas EbSynth e Dain entram em ação
Por ser focado em imagens estáticas, o Dall-E não é capaz (pelo menos até o momento) de manter o mesmo resultado para uma sequência de frames. Mas, após uma longa pesquisa, Karen X. Cheng descobriu que o EbSynth é.
Esse é o nome de uma ferramenta, também baseada em inteligência artificial, que aplica um efeito de pintura sobre vídeos. Cheng se perguntou se o EbSynth não poderia ser usado para gerar os efeitos de transição de roupas, com persistência nos quadros, que ela tanto almejava.
Não é que deu certo? Cheng reconhece que o resultado não ficou perfeito. “Se você olhar de perto, verá que há muitos artefatos, mas isso foi bom o suficiente para mim neste projeto”, completa.
Faltava só o “acabamento”. Cheng usou o algoritmo Dain (para interpolação de quadros de vídeos, também por meio de inteligência artificial) de forma a finalizar o efeito de transição. Ao mesmo tempo, a ferramenta serviu para dar um ar de câmera lenta justamente no momento da mudança de roupa.
Por ora, tudo não passa de um interessante experimento. Mas é fácil imaginar o quanto uma ideia como essa pode ser aperfeiçoada para ajudar lojas de roupa a divulgarem suas coleções nas redes sociais, por exemplo.
O vídeo completo pode ser visto no Instagram de Cheng.
