Andrea Ricciは、ゲーム画面から取得した画像をClaude Sonnetに送ることで、DOOMをプレイさせることに成功した。そのためにゲームをSCINTIX P4へ移植したRicciは、画像をWebSockets経由でモデルに送信し、モデルは見た内容を分析して移動と射撃のコマンドを出した。
ゲームはESP32-P4上の1024×600解像度のMIPI DSIパネルで動作している。システムは壁を検出するために視野内の深度スキャンを行い、以前に訪れた場所を追跡するためにASCIIオートマップを使用している。Claude Sonnetは追加の支援なしに廊下を進み、ドアを開け、敵に向けて発砲している。
なぜ重要か
この実験は、言語モデルがテキストを生成するだけにとどまらず、視覚入力を処理して物理的なゲームシステム上の動作を指示できることを示している。開発者にとって本当の価値は、WebSocketsのような接続を介してモデルと組み込みハードウェアの間の通信を確立し、ゲーム世界の理解を容易にする補助レイヤーを利用できる点にある。このアプローチは、AIモデルを既存のソフトウェアやデバイスにどのように接続できるかについて、具体的な実装例を示している。ただし、モデルがこの性能を異なるゲーム、より複雑なインターフェース、または構造化の度合いが低い視覚環境でもどの程度維持できるのかは未解決のままであり、今回のデモだけではその範囲は明らかになっていない。
背景
Claudeは、FikirPilotのアーカイブにおいて新しい名前ではない。過去90日間にこの名前が登場するニュースを1本掲載しており、その記事の日付は2026年8月26日だ。今回の進展は、アーカイブにあるそれらの記録に加わることになる。読者は、同じ名前を持つ過去の記事をアーカイブでたどることで、時間の流れを全体として確認できる。