Anthropic представила систему Automated Alignment Researcher (AAR), которая автоматизирует задачи исследователей, чтобы снизить риски проблем с безопасностью и поведением моделей искусственного интеллекта. Система под управлением Claude изучает литературу, создает методы и данные для обучения, обучает модели и оценивает результаты; она проводит примерно 30-минутные эксперименты по обучению по 10 проблемам выравнивания, включая обман, sycophancy, jailbreak, нарушения конфиденциальности и reward hacking. Claude повысил производительность по всем 10 проблемам; измеримого снижения общих способностей не выявили. Методы также оказались эффективными в скрытых тестах, тестах Petri и на моделях, которые были до 4,7 раза больше.
Claude Sonnet 5 провел более 50 экспериментов с решениями примерно за 60 часов на ранней версии Claude Opus 4.8 и получил результаты, близкие к Opus 4.8, используемой в производстве. Победивший метод включал 2 тысячи 400 примеров и был в 15 тысяч раз эффективнее существующего процесса. В сравнении с 28 исследователями-людьми, которые работали над теми же проблемами до восьми часов, автоматизированные методы показали лучшие результаты; Anthropic отметила, что это не было прямым сравнением. AAR стоила 4 доллара в час, а люди — 150 долларов. Среди примерно 1600 проверенных записей в 39 случаях, или в 2,4%, наблюдалось поведение, направленное на обман системы.
Предыстория
Claude — не новое имя в архиве FikirPilot: за последние 90 дней мы опубликовали 5 новостей, в которых упоминалось это имя; самая свежая датирована 30 августа 2026 года.