Andrea Ricci logró que Claude Sonnet jugara a DOOM enviándole imágenes capturadas de la pantalla del juego. Para ello, Ricci portó el juego a SCINTIX P4 y envió las imágenes al modelo mediante WebSockets; el modelo analizó lo que veía y dio órdenes de movimiento y disparo.
El juego se ejecuta en ESP32-P4, en un panel MIPI DSI con una resolución de 1024×600. El sistema utiliza un escaneo de profundidad en el campo de visión para detectar paredes y un mapa automático ASCII para hacer un seguimiento de los lugares visitados anteriormente. Claude Sonnet avanza por los pasillos, abre puertas y dispara a los enemigos sin ayuda adicional.
Por qué es importante
Este experimento demuestra que un modelo de lenguaje no se limita a generar texto, sino que también puede procesar entradas visuales y dirigir acciones en un sistema físico de juego. Para los desarrolladores, el principal valor reside en que la comunicación entre el modelo y el hardware integrado se establece mediante una conexión como WebSockets y en que pueden utilizarse capas auxiliares que facilitan la comprensión del mundo del juego. Este enfoque ofrece un ejemplo práctico concreto de cómo los modelos de inteligencia artificial pueden conectarse a programas y dispositivos existentes. Sin embargo, sigue sin estar claro hasta qué punto el modelo podría mantener este rendimiento en distintos juegos, en interfaces más complejas o en entornos visuales menos estructurados; la demostración actual no permite determinar por sí sola ese alcance.
Antecedentes
Claude no es un nombre nuevo en el archivo de FikirPilot: en los últimos 90 días publicamos una noticia en la que aparecía este nombre; ese artículo está fechado el 26 de agosto de 2026. Este desarrollo se añade a esos registros de nuestro archivo; el lector puede consultar allí los artículos anteriores con el mismo nombre para ver la cronología completa.