نجح Andrea Ricci في جعل Claude Sonnet يلعب DOOM عبر تزويده بصور مأخوذة من شاشة اللعبة. ولتحقيق ذلك، نقل Ricci اللعبة إلى SCINTIX P4، وأرسل الصور إلى النموذج عبر WebSockets؛ فيما حلّل النموذج ما يراه وأصدر أوامر الحركة وإطلاق النار.
تعمل اللعبة على ESP32-P4 ضمن لوحة MIPI DSI بدقة 1024×600. ويستخدم النظام مسحًا للعمق في مجال الرؤية لاكتشاف الجدران، وخريطة تلقائية ASCII لتتبّع الأماكن التي سبق المرور بها. ويتقدّم Claude Sonnet عبر الممرات ويفتح الأبواب ويطلق النار على الأعداء من دون مساعدة إضافية.
لماذا هذا مهم
تُظهر هذه التجربة أن نموذجًا لغويًا لا يقتصر على إنتاج النصوص فحسب، بل يستطيع أيضًا معالجة المدخلات البصرية وتوجيه الإجراءات داخل نظام ألعاب مادي. وبالنسبة إلى المطورين، تكمن القيمة الأساسية في إقامة الاتصال بين النموذج والعتاد المضمّن عبر رابط مثل WebSockets، وإمكانية استخدام طبقات مساعدة تسهّل فهم عالم اللعبة. ويقدّم هذا النهج مثالًا تطبيقيًا ملموسًا على كيفية ربط نماذج الذكاء الاصطناعي بالبرمجيات والأجهزة الحالية. لكن النقطة التي لا تزال مفتوحة هي مدى قدرة النموذج على الحفاظ على هذا الأداء في ألعاب مختلفة، أو واجهات أكثر تعقيدًا، أو بيئات بصرية أقل تنظيمًا؛ إذ لا يكشف العرض الحالي وحده عن هذا النطاق.
خلفية
Claude ليس اسمًا جديدًا في أرشيف FikirPilot: فقد نشرنا خلال آخر 90 يومًا خبرًا ورد فيه هذا الاسم؛ وكان ذلك المقال مؤرخًا في 26 أغسطس 2026. ويُضاف التطور هنا إلى جانب تلك السجلات في أرشيفنا؛ ويمكن للقارئ متابعة المقالات السابقة التي تحمل الاسم نفسه عبر الأرشيف لرؤية التسلسل الزمني كاملًا.