Início » Inteligência Artificial » IA da DeepMind supera humanos em 57 jogos do Atari 2600

IA da DeepMind supera humanos em 57 jogos do Atari 2600

DeepMind cria inteligência artificial Agent57 melhor que humanos em jogos como Montezuma’s Revenge, Pitfall, Solaris e Skiing

Felipe Ventura Por

A inteligência artificial já conseguia vencer humanos em diversos jogos do Atari 2600, como Asteroids, Ms. Pac-Man, Pong e Space Invaders. Desta vez, a DeepMind desenvolveu uma tecnologia que consegue superar jogadores tradicionais em 57 títulos do mesmo console, incluindo os mais difíceis para IA: Montezuma’s Revenge, Pitfall, Solaris e Skiing.

Jogos de Atari 2600

Foto por Kreg Steppe/Flickr

A DeepMind desenvolveu um agente de aprendizado profundo (deep learning) chamado Agent57: ele consegue superar a pontuação de humanos em todos os 57 jogos do Arcade Learning Environment, também chamado de Atari 2600 Learning Environment.

Outras inteligências artificiais têm dificuldade com Montezuma’s Revenge e Pitfall porque ambos exigem bastante exploração para obter um bom desempenho. Existe um dilema central para o aprendizado profundo: o algoritmo deve continuar realizando comportamentos que certamente vão funcionar, ou tentar algo novo para descobrir estratégias que possam ter ainda mais sucesso?

Solaris e Skiing, por sua vez, apresentam um desafio diferente: o algoritmo precisa coletar informações durante um período muito longo para obter o feedback necessário e aprender a jogar, então fica difícil sinalizar se um comportamento é bem-sucedido ou não.

DeepMind cria Agent57 para jogos de Atari

Para lidar com isso, o Agent57 consegue aprender quando é melhor manter as mesmas ações de sempre, e quando é melhor descobrir algo novo. A DeepMind uniu um algoritmo anterior chamado Never Give Up (NGU), que conseguia superar humanos em 51 dos 57 jogos de Atari, com um novo algoritmo chamado “meta-controlador”.

“Para chegar ao Agent57, combinamos nosso agente de exploração anterior, Never Give Up, com um meta-controlador”, afirma a DeepMind. “Esse agente calcula uma mistura de motivação intrínseca de longo e curto prazo para explorar e aprender uma família de políticas, na qual a escolha da política é selecionada pelo meta-controlador.”

O meta-controlador permite escolher entre desempenho de curto prazo e de longo prazo. Dessa forma, ele consegue resolver o dilema entre explorar ou não em Montezuma’s Revenge e Pitfall; e consegue aprender melhor mesmo quando é necessário um tempo maior, caso de Solaris e Skiing.

DeepMind quer inteligência artificial geral

Por que treinar a inteligência artificial com jogos de Atari? O objetivo da DeepMind é criar algoritmos que se saiam bem em uma ampla variedade de tarefas, e jogos são um meio ótimo para testar o aprendizado profundo: eles trazem um conjunto variado de tarefas que exigem estratégias comportamentais sofisticadas para dominar, e possuem uma forma simples de acompanhar o desempenho — a pontuação.

“O objetivo não é desenvolver sistemas que se destacam nos jogos, e sim usar os jogos como um trampolim para o desenvolvimento de sistemas que aprendam a se destacar em um amplo conjunto de desafios”, explica a DeepMind.

Estes são os 57 jogos de Atari nos quais o Agent57 supera a pontuação-base de humanos:

  1. Alien
  2. Amidar
  3. Assault
  4. Asterix
  5. Asteroids
  6. Atlantis
  7. Bank Heist
  8. Battlezone
  9. Beamrider
  10. Berzerk
  11. Bowling
  12. Boxing
  13. Breakout
  14. Centipede
  15. Chopper Command
  16. Crazy Climber
  17. Defender
  18. Demon Attack
  19. Double Dunk
  20. Enduro
  21. Fishing Derby
  22. Freeway
  23. Frostbite
  24. Gopher
  25. Gravitar
  26. H.E.R.O.
  27. Ice Hockey
  28. James Bond 007
  29. Kangaroo
  30. Krull
  31. Kung-Fu Master
  32. Montezuma’s Revenge
  33. Ms. Pac-Man
  34. Name This Game
  35. Phoenix
  36. Pitfall II
  37. Pong
  38. Private Eye
  39. Q*bert
  40. River Raid
  41. Road Runner
  42. Robot Tank
  43. Seaquest
  44. Skiing
  45. Solaris
  46. Space Invaders
  47. Stargunner
  48. Surround
  49. Tennis
  50. Time Pilot
  51. Tutankham
  52. Up’n Down
  53. Venture
  54. Video Pinball
  55. Wizard Of Wor
  56. Yars’ Revenge
  57. Zaxxon

Comentários da Comunidade

Participe da discussão
4 usuários participando

Os mais notáveis

Comentários com a maior pontuação

Anayran Pinheiro de Azevedo (@oggvaldo)

Amadores, não conseguiram superar o Todd Rodgers no jogo Dragster ainda… :v

Fábio Laurindo (@Fabio_Laurindo)

Acho que no Enduro deve estar até hoje jogando a tal inteligência artificial, aquilo não tem fim kkkk.

Lucas Santos (@Lucas_Santos)

Daqui alguns anos a inteligência artificial vai estar fazendo speedrun, uma vez que vai detectar os caminhos mais curtos possíveis.