Andrea Ricci è riuscito a far giocare DOOM a Claude Sonnet trasmettendogli immagini acquisite dallo schermo di gioco. Dopo aver portato il gioco su SCINTIX P4, Ricci ha inviato le immagini al modello tramite WebSockets; il modello ha quindi analizzato ciò che vedeva, impartendo comandi di movimento e di fuoco.
Il gioco gira su ESP32-P4, su un pannello MIPI DSI con risoluzione 1024×600. Il sistema utilizza una scansione della profondità nel campo visivo per rilevare le pareti e un’automappa ASCII per tenere traccia dei luoghi già visitati. Claude Sonnet avanza nei corridoi, apre le porte e spara ai nemici senza ulteriore assistenza.
Perché è importante
Questo esperimento dimostra che un modello linguistico non è limitato alla sola generazione di testo, ma può elaborare input visivi e guidare azioni in un sistema di gioco fisico. Per gli sviluppatori, il valore principale risiede nella possibilità di stabilire la comunicazione tra il modello e l’hardware embedded tramite una connessione come WebSockets e di utilizzare livelli ausiliari che facilitino la comprensione del mondo di gioco. Questo approccio offre un esempio concreto di come i modelli di intelligenza artificiale possano essere collegati a software e dispositivi esistenti. Resta però da capire fino a che punto il modello possa mantenere queste prestazioni in giochi diversi, con interfacce più complesse o in ambienti visivi meno strutturati; la dimostrazione attuale, da sola, non chiarisce questo aspetto.
Contesto
Claude non è un nome nuovo nell’archivio di FikirPilot: negli ultimi 90 giorni abbiamo pubblicato una notizia in cui compariva questo nome; quell’articolo è datato 26 agosto 2026. Lo sviluppo descritto qui si aggiunge a quei contenuti nel nostro archivio; il lettore può ricostruire l’intera linea temporale consultando nell’archivio gli articoli precedenti con lo stesso nome.