Andrea Ricci est parvenu à faire jouer DOOM à Claude Sonnet en lui transmettant des images capturées depuis l’écran du jeu. Pour cela, Ricci a porté le jeu sur SCINTIX P4 et a envoyé les images au modèle via WebSockets ; le modèle a ensuite analysé ce qu’il voyait et donné des commandes de déplacement et de tir.
Le jeu fonctionne sur une dalle MIPI DSI d’une résolution de 1024×600, sur ESP32-P4. Le système utilise un balayage de profondeur dans le champ de vision pour détecter les murs, ainsi qu’une carte automatique ASCII pour suivre les endroits déjà visités. Claude Sonnet progresse dans les couloirs, ouvre les portes et tire sur les ennemis sans assistance supplémentaire.
Pourquoi c’est important
Cette expérience montre qu’un modèle de langage peut aller au-delà de la simple génération de texte et orienter des actions dans un système de jeu physique en traitant des entrées visuelles. Pour les développeurs, l’intérêt principal réside dans la possibilité d’établir la communication entre le modèle et le matériel embarqué via une connexion comme WebSockets, ainsi que d’utiliser des couches auxiliaires facilitant la compréhension du monde du jeu. Cette approche constitue un exemple concret de la manière dont des modèles d’intelligence artificielle peuvent être connectés à des logiciels et des appareils existants. Toutefois, la question de savoir dans quelle mesure le modèle pourrait maintenir cette performance dans différents jeux, avec des interfaces plus complexes ou dans des environnements visuels moins structurés, reste ouverte ; la démonstration actuelle ne permet pas à elle seule de déterminer cette portée.
Contexte
Claude n’est pas un nouveau nom dans les archives de FikirPilot : nous avons publié au cours des 90 derniers jours un article dans lequel ce nom apparaissait ; cet article est daté du 26 août 2026. Cette évolution s’ajoute aux précédents articles de nos archives ; le lecteur peut suivre depuis les archives les articles antérieurs portant le même nom afin de reconstituer l’ensemble de la chronologie.