Andrea Ricci gelang es, Claude Sonnet DOOM spielen zu lassen, indem er dem Modell Aufnahmen vom Spielbildschirm übermittelte. Dafür portierte Ricci das Spiel auf SCINTIX P4 und sendete die Bilder über WebSockets an das Modell; dieses analysierte das Gesehene und gab Bewegungs- und Feuerbefehle.
Das Spiel läuft auf ESP32-P4 auf einem MIPI DSI-Panel mit einer Auflösung von 1024×600. Das System nutzt einen Tiefenscan im Sichtfeld, um Wände zu erkennen, sowie eine ASCII-Automap, um bereits besuchte Orte nachzuverfolgen. Claude Sonnet bewegt sich ohne zusätzliche Hilfe durch die Korridore, öffnet Türen und schießt auf Gegner.
Warum das wichtig ist
Dieses Experiment zeigt, dass ein Sprachmodell nicht auf die Erzeugung von Text beschränkt ist, sondern visuelle Eingaben verarbeiten und damit Aktionen in einem physischen Spielsystem steuern kann. Für Entwickler liegt der eigentliche Wert darin, dass die Kommunikation zwischen dem Modell und der eingebetteten Hardware über eine Verbindung wie WebSockets hergestellt wird und Hilfsebenen eingesetzt werden können, die das Verständnis der Spielwelt erleichtern. Dieser Ansatz bietet ein konkretes Anwendungsbeispiel dafür, wie Modelle künstlicher Intelligenz mit bestehender Software und Geräten verbunden werden können. Offen bleibt jedoch, in welchem Maße das Modell diese Leistung in anderen Spielen, bei komplexeren Benutzeroberflächen oder in weniger strukturierten visuellen Umgebungen aufrechterhalten kann; die aktuelle Demonstration zeigt diesen Umfang für sich genommen nicht auf.
Hintergrund
Claude ist im Archiv von FikirPilot kein neuer Name: In den vergangenen 90 Tagen haben wir einen Artikel veröffentlicht, in dem dieser Name vorkam; dieser Beitrag ist vom 26. August 2026. Die hier beschriebene Entwicklung ergänzt jene Einträge in unserem Archiv; Leser können frühere Artikel mit demselben Namen im Archiv verfolgen und so die gesamte Zeitleiste überblicken.