Meio Bit » Arquivo » Fotografia » Rede neural está aprendendo a colorir fotos em preto-e-branco

Rede neural está aprendendo a colorir fotos em preto-e-branco

Brincando de colorir: pesquisadores de Berkeley estão ensinando uma rede neural a adicionar cores corretamente em fotos preto-e-branco

8 anos atrás

colorful-image-colorization

Brincar com cores é legal, e as máquinas estão aprendendo isso também. O Google já apresentou uma viagem lisérgica com o DeepDream, um experimento de Realidade Virtual compatível com o Cardboard que transformas paisagens capturadas em 360º nos sonhos mais pirados do Van Gogh..

Por outro lado, pesquisadores sempre tentaram fazer com qua máquinas aprendam as manhas de reconhecer as cores originais de elementos fotografados ou filmados em preto-e-branco, sem a necessidade de intervenção humana. E uma nova rede neural desenvolvida por pesquisadores de Berkeley está conseguindo isso.

O processo descrito neste artigo (cuidado, PDF) é bem similar ao utilizado naquele estudo do Google desenvolvido para quebrar todos os CAPTCHAs, no caso na capacidade do Street View de reconhecer com precisão os números de quaisquer residências. Desenvolvido pelo time composto do doutorando de Ciência da Computação Richard Zhang, pelo pós-doutorando dr.Phillip Isola e pelo prof. Alexei A. Efros, esta rede neural convolutiva se baseia em um extenso banco de dados e experiências repetidas para "adivinhar" as cores que não estão presentes em uma foto P&B, por tentativa e erro.

Milhares de fotos foram analisadas pelo algoritmo e com o tempo ele internalizou uma ideia de que cores certos elementos presentes em uma foto pode ter. A partir daí ele foi ficando cada vez mais preciso e costuma agora atribuir padrões mais reais, embora não seja 100% preciso. Essa aliás não é a ideia, e sim a capacidade da rede neural abstrair quais as cores que um determinado elemento deve ter, e não realmente tem.

Por exemplo: a rede sabe que o Sol é amarelo e que um morango é vermelho, assim como já aprendeu o padrão de cores de uma borboleta-monarca (como demonstado na foto acima). Por outro lado, em uma foto com pessoas ele pode presumir uma cor de uma gravata erroneamente, porque a temperatura do tom de cinza pode indicar mais de uma opção para o mesmo elemento. Ele possui alguns problemas para colorizar vegetais mais complexos, mas com o tempo ele ficará mais preciso.

Ele inclusive demonstrou bons resultados ao colorir fotos de Henri Cartier-Bresson:

cartier-bresson

E aqui temos um bom exemplo de como a rede ainda tem um longo caminho pela frente; as fotos originais foram descoloridas e submetidas para análise, e o resultado...

military-fails

O estudo é muito interessante e com o tempo obviamente ficará melhor, é injusto apontar o dedo e falar "FAIL". Além de ser uma excelente forma de permitir que sistemas informatizados tentem descobrir como eram as cores do passado, a rede neural ainda permite uma série de brincadeiras.

Sim, porque é possível baixá-lo e testá-lo por conta própria. Divirta-se.

Fonte: GitHub.

relacionados


Comentários