Andrea Ricci, Claude Sonnet’e oyun ekranından alınan görüntüleri aktararak DOOM oynatmayı başardı. Bunun için oyunu SCINTIX P4’e taşıyan Ricci, görüntüleri WebSockets üzerinden modele gönderdi; model de gördüklerini analiz ederek hareket ve ateş komutları verdi.
Oyun, ESP32-P4 üzerinde 1024×600 çözünürlüklü MIPI DSI panelde çalışıyor. Sistem, duvarları algılamak için görüş alanında derinlik taraması ve daha önce gidilen yerleri takip etmek için ASCII otomap kullanıyor. Claude Sonnet, ek yardım olmadan koridorlarda ilerleyip kapıları açıyor ve düşmanlara ateş ediyor.
Neden önemli
Bu deney, bir dil modelinin yalnızca metin üretmekle sınırlı kalmayıp görsel girdileri işleyerek fiziksel bir oyun sistemindeki eylemleri yönlendirebildiğini gösteriyor. Geliştiriciler açısından asıl değer, model ile gömülü donanım arasındaki iletişimin WebSockets gibi bir bağlantı üzerinden kurulması ve oyun dünyasının anlaşılmasını kolaylaştıran yardımcı katmanların kullanılabilmesi. Bu yaklaşım, yapay zekâ modellerinin mevcut yazılımlara ve cihazlara nasıl bağlanabileceği konusunda somut bir uygulama örneği sunuyor. Ancak açık kalan nokta, modelin bu performansı farklı oyunlarda, daha karmaşık arayüzlerde veya daha az yapılandırılmış görsel ortamlarda ne ölçüde sürdürebileceği; mevcut gösterim, bu kapsamı tek başına ortaya koymuyor.
Arka plan
Claude, FikirPilot arşivinde yeni bir ad değil: son 90 günde bu adın geçtiği bir haber yayımladık; o yazı 26 Ağustos 2026 tarihli. Buradaki gelişme arşivimizdeki o kayıtların yanına eklenir; okur aynı adı taşıyan önceki yazıları arşivden izleyerek zaman çizgisini bütün görebilir.