Andrea Ricci удалось заставить Claude Sonnet играть в DOOM, передавая модели изображения с игрового экрана. Для этого Ricci портировал игру на SCINTIX P4 и отправлял изображения модели через WebSockets; модель анализировала увиденное и отдавала команды движения и стрельбы.
Игра работает на ESP32-P4 с панелью MIPI DSI разрешением 1024×600. Для обнаружения стен система использует сканирование глубины в поле зрения, а для отслеживания ранее посещённых мест — ASCII-автокарту. Claude Sonnet без дополнительной помощи перемещается по коридорам, открывает двери и стреляет по врагам.
Почему это важно
Этот эксперимент показывает, что языковая модель может не только генерировать текст, но и обрабатывать визуальные данные, управляя действиями в физической игровой системе. Для разработчиков основная ценность заключается в том, что связь между моделью и встраиваемым оборудованием устанавливается через такое соединение, как WebSockets, а также могут использоваться вспомогательные слои, облегчающие понимание игрового мира. Этот подход представляет собой конкретный пример того, как модели искусственного интеллекта могут подключаться к существующему программному обеспечению и устройствам. Однако остаётся открытым вопрос, в какой степени модель сможет сохранять такую производительность в других играх, более сложных интерфейсах или менее структурированных визуальных средах; текущая демонстрация сама по себе не позволяет определить эти границы.
Предыстория
Claude — не новое имя в архиве FikirPilot: за последние 90 дней мы опубликовали одну новость, в которой упоминалось это имя; материал датирован 26 августа 2026 года. Эта разработка дополняет соответствующие записи в нашем архиве; читатель может проследить предыдущие материалы с тем же названием в архиве и увидеть хронологию целиком.