O Photoshop tem uma ferramenta bem impressionante chamada Content-Aware Fill (preenchimento sensível ao conteúdo). Você pode mover ou retirar elementos de fotos, e o plano de fundo é preenchido automaticamente.

Há algumas limitações: por exemplo, se você remover o olho de uma pessoa, o Photoshop não saberá substituí-lo por outro — mas a inteligência artificial da Nvidia sabe.

Pesquisadores da Nvidia criaram uma tecnologia chamada “image inpainting” que pode reconstruir imagens com buracos. Mesmo se você remover metade de uma foto, a IA será capaz de preencher o restante.

Como isso funciona? Um algoritmo foi treinado com 55.116 combinações de fotos originais e com “máscara”, isto é, com buracos aleatórios que cobrem parte da imagem. Dessa forma, ele aprendeu a reconstruir os pixels ausentes.

Para medir a precisão do algoritmo, os pesquisadores fizeram o teste com outras 25.000 máscaras, mas sem mostrar a imagem original. Ele teve que reconstruir, por conta própria, as partes da imagem que faltavam.

Você pode conferir o algoritmo em ação no vídeo abaixo. Ele poderia se sair melhor em algumas situações — o olho que ele coloca nos rostos não é convincente — mas, no geral, o resultado é bem realista:

“Nosso modelo pode lidar com buracos de qualquer formato, localização ou distância das bordas da imagem. As abordagens anteriores se concentram em regiões retangulares localizadas próximo ao centro da imagem, e muitas vezes dependem de pós-processamento que exige muitos recursos”, dizem os pesquisadores da Nvidia no estudo.

O algoritmo rodou em chips gráficos Tesla V100 e, segundo a Nvidia, “poderia ser implementado em software de edição de imagem para remover conteúdo indesejado”. Será que a Adobe tem interesse?

Com informações: Nvidia, Bleeping Computer.

Comentários

Envie uma pergunta

Os mais notáveis

Comentários com a maior pontuação

Felipe Xavier
Se vc se basear só nos exemplos mostrados


Você viu algum outro vídeo, ou teve acesso à ferramenta? Infelizmente, eu não tive nenhum dos dois, por este motivo posso comentar com base no conteúdo do vídeo, pois as imagens estáticas não querem dizer absolutamente nada. Uma coisa é o potencial da ferramenta, outra é o uso prático.

Felipe Xavier
Se vc se basear só nos exemplos mostrados


Você viu algum outro vídeo, ou teve acesso à ferramenta? Infelizmente, eu não tive nenhum dos dois, por este motivo posso comentar com base no conteúdo do vídeo, pois as imagens estáticas não querem dizer absolutamente nada.
Uma coisa é o potencial da ferramenta, outra é o uso.

Rodrigo Dias Carvalho

Se vc utilizar o removedor do Photoshop por exemplo, para retirar um pedaço de uma cerca, será impossível ele refazer ela, ele vai borrar fundo com a falta de informção. De outra forma a rede convolucional mostrada é capaz de inferir que falta um pedaço de cerca e a refaz. Se vc se basear só nos exemplos mostrados, realmente só o do ser humano se destaca, mas quando vc pensa na capacidade única de inferir que foi mostrada é impressionante.

Felipe Xavier

Eu sei exatamente o que o Healing Brush faz, e reafirmo, o mostrado pela Nvidia entrega resultado de uma das primeiras versões desta ferramenta.
Talvez eu não tenha explicado direito esta parte: Somente a parte onde ela reconhece as partes do corpo humano e sugere as mudanças, que mostra um avanço significativo.

Rodrigo Dias Carvalho

Amigo, oq o photoshop faz é interpolar os pixels proximos do local que vc removel. Nesse caso tem-se uma rede neural que "inventa" os pixels que teriam que estar ali. O avanço tecnológico entre eles é brutal. Um é dependente de leitura, o outro já é capaz de realizar inferência, por isso aqueles olhos aparecem ali.

dflopes

Affinity?

Alex Ribeiro

Eu queria saber se o arquivo de saída fica com o mesmo ruído de edição da imagem no mapa de pixels ou se ele deixa tudo parecendo original.

Kodos Otros

Tiraram as taturanas que moravam em cima dos olhos do velho.

Felipe Xavier

Não achei grandes coisas. Somente a parte onde ela reconhece as partes do corpo humano e sugere as mudanças. De resto, tudo já está disponível no Photoshop (e algumas até mais refinadas), que sequer exige um Tesla V100.
Acredito que o Adobe Sensei em breve conseguirá resultados bem mais convincentes.

Lucas Santos

Nudes censurados, aí vamos nós!

DeadPull

Olha, gente. É a filha do Nestor Cerveró na abertura do vídeo?

Carlin

Excepcional! A capacidade do algoritmo em reconhecer e entender partes do corpo humano é fascinante!!!!

Shrueak

Né HUAEHEUHAE

Carlos Cabral

Os olhos do velho no vídeo. AUEHAUHUEHAUEHUEAHUEHUAEHUAEHUaeh

Shrueak

"Será que a Adobe tem interesse?" Só pensava nela e no photoshop o vídeo inteiro. Com certeza, seria um Healing Brush (ou Fill) mais "potente".