Andrea Ricci conseguiu fazer o DOOM ser jogado pelo Claude Sonnet, transmitindo ao modelo imagens capturadas da tela do jogo. Para isso, Ricci portou o jogo para o SCINTIX P4 e enviou as imagens ao modelo por WebSockets; o modelo, por sua vez, analisou o que via e deu comandos de movimento e disparo.
O jogo roda no ESP32-P4, em um painel MIPI DSI com resolução de 1024×600. O sistema utiliza uma varredura de profundidade no campo de visão para detectar paredes e um automapa em ASCII para acompanhar os locais visitados anteriormente. Sem ajuda adicional, o Claude Sonnet avança pelos corredores, abre portas e dispara contra os inimigos.
Por que isso é importante
Este experimento mostra que um modelo de linguagem não está limitado apenas à geração de texto, podendo processar entradas visuais e orientar ações em um sistema físico de jogo. Para os desenvolvedores, o principal valor está na possibilidade de estabelecer a comunicação entre o modelo e o hardware integrado por meio de uma conexão como WebSockets, além de utilizar camadas auxiliares que facilitam a compreensão do mundo do jogo. Essa abordagem oferece um exemplo concreto de como modelos de inteligência artificial podem ser conectados a softwares e dispositivos existentes. No entanto, permanece em aberto até que ponto o modelo conseguiria manter esse desempenho em jogos diferentes, interfaces mais complexas ou ambientes visuais menos estruturados; a demonstração atual, por si só, não revela esse alcance.
Contexto
Claude não é um nome novo no arquivo do FikirPilot: nos últimos 90 dias, publicamos uma notícia em que esse nome é mencionado; o texto é datado de 26 de agosto de 2026. A novidade apresentada aqui se soma aos registros do nosso arquivo; o leitor pode acompanhar a linha do tempo de forma completa consultando no arquivo os textos anteriores que levam o mesmo nome.