IA que pode ser usada na Alexa está jogando Pokémon na Twitch

Um projeto iniciado nesta terça-feira (25) na Twitch está fazendo a IA Claude, da Anthropic, jogar Pokémon Red. A IA está aprendendo em tempo real como jogar o primeiro game da franquia. O LLM do Claude é cotado como a tecnologia que será usada na nova geração da Alexa, que ganhará ferramentas de IA generativa.

Nesta quarta-feira a Amazon realizará um evento no qual pode apresentar o Claude na Alexa. Ainda que a Twitch seja da Amazon e esta esteja investindo na Anthropic, o projeto não foi desenvolvido pela empresa de IA, mas aparentemente por apenas uma única pessoa. Na descrição da conta, o autor diz ser fã do Claude e de Pokémon.

Como funciona o Claude Plays Pokémon?

O projeto Claude Plays Pokémon utiliza ferramentas para que o Claude análise a imagem do jogo, identificando o cenário, encontre localizações de interesse. A IA generativa também ganhou um sistema de navegação para tentar encontrar caminhos até os pontos de interesse — mas ele não é perfeito.

O desenvolvedor do projeto instalou dois mods para melhorar a coloração do jogo. Como ele explicou na descrição do projeto, isso ajuda o Claude a enxergar melhor o que está na tela.

Mesmo com essas ajudas, Claude ainda não aprendeu que existem elementos que bloqueiam o caminho ou a real localização de uma porta. Antes de entrar no ginásio de Pewter, ele ficou na frente de uma parede lateral acreditando que estava na frente da porta. Ou seja, ele identificou uma porta no cenário, mas não conseguiu reconhecer a diferença na posição.

A stream é dividida em duas telas. Na esquerda vemos o raciocínio do Claude, na segunda o jogo em si. É interessante ver como a IA vai calculando estratégia de batalhas. Só que isso não vem só de aprender com jogo.

Ainda que nunca tenha jogado Pokémon antes, o Claude sabe bastante sobre Pokémon. A IA foi treinada com bilhões de conteúdos da internet, então é provável que ele tenha praticamente todo o conteúdo da Bulbapedia, a maior wiki de Pokémon, no seu banco de dados.

Em poucos minutos de live, alguns acontecimentos engraçados ocorreram. Ao entrar no ginásio de Pewter, o Claude identificou um NPC como Brock. Aqui é o raciocínio não mostrado deve ter sido esse: no ginásio eu enfrentarei o Brock, logo aquele é o Brock.

Demorou um tempo até a IA entender que o NPC com quem ela estava conversando era responsável por dar dicas sobre o combate no ginásio. O Claude aprendeu que a ordem do time mostra qual pokémon será o primeiro ao iniciar uma batalha.

Claude tem acesso a recursos inacessíveis por humanos

Ainda que esteja aprendendo a jogar Pokémon sozinho, o Claude tem informações privilegiadas. Por exemplo, ele tem acesso ao RAM state, o que o ajuda a entender a localização que ele está.

Isso pode parecer um cheat, mas é importante para que a IA receba o feedback da tarefa. Assim como nós, é importante que o Claude seja “parabenizado” por realizar as tarefas.

Como o seu sistema de identificação de imagem é fraco, o acesso aos dados do jogo atua como complementos ao processo de aprendizagem.

Projeto é inspirado em Twitch Plays Pokémon

O projeto Claude Plays Pokémon é inspirado no famoso Twitch Plays Pokémon, no qual os espectadores comentavam qual movimento ou ação deveria ser realizada no Pokémon Red.

Contudo, se você gostou do Twitch Plays Pokémon, pode se incomodar com a lentidão do Claude Plays Pokémon — pelo menos por enquanto. Enquanto essa notícia é feita, temos apenas 20 horas de live e o Claude nem passou para a segunda cidade. A tendência é que ele fique mais ágil conforme aprende mais sobre o jogo.

Com informações de The Verge

IA que pode ser usada na Alexa está jogando Pokémon na Twitch