Andrea Ricci通过向Claude Sonnet传输从游戏画面中截取的图像，成功让其玩起了DOOM。为此，Ricci将游戏移植到SCINTIX P4上，通过WebSockets把图像发送给模型；模型则分析所看到的内容，并发出移动和射击指令。
游戏在ESP32-P4上运行，使用分辨率为1024×600的MIPI DSI面板。该系统利用视野内的深度扫描检测墙壁，并使用ASCII自动地图追踪此前到过的位置。Claude Sonnet无需额外帮助便可在走廊中前进、开门并向敌人射击。
为何重要
这项实验表明，语言模型并非只能生成文本，还能处理视觉输入并控制实体游戏系统中的操作。对开发者而言，其核心价值在于，模型与嵌入式硬件之间可通过WebSockets等连接方式进行通信，同时还可使用有助于理解游戏世界的辅助层。这种方法为人工智能模型如何接入现有软件和设备提供了一个具体应用案例。不过，尚未明确的是，模型能在多大程度上将这种表现延续到不同游戏、更复杂的界面或结构化程度更低的视觉环境中；目前的演示本身并不足以说明这一适用范围。
背景
Claude在FikirPilot档案中并不是一个新名字：过去90天内，我们发布过一篇提及该名称的新闻；那篇文章的日期为2026年8月26日。此次进展将被补充到我们档案中的相关记录旁；读者可以通过档案查看名称相同的往期文章，从而完整了解其时间线。