Перейти к содержанию
Русский
Материал FikirPilot

Новая техника рассуждения OpenAI вызвала тревогу у экспертов по безопасности AI

Обновлено: 06.09.2026 · 2 мин чтения · 395 слов

Опубликовано: · Новость поступила: · Время обработки: 37 ч 18 мин

Новая техника рассуждения OpenAI вызвала тревогу у экспертов по безопасности AI
Тёмный дата-центр

Как сообщается, техника «recurrent depth», которую OpenAI будет использовать в новой модели Astra, обеспокоила специалистов по безопасности искусственного интеллекта. Согласно материалу The Information, этот метод, также называемый «opaque recurrence», позволяет модели выйти за рамки последовательного способа мышления, характерного для большинства моделей рассуждения, и обрабатывать один и тот же запрос несколько раз в рамках одного цикла. Такой подход может затруднить отслеживание цепочки рассуждений модели.

CEO Redwood Buck Shlegeris заявил, что «крайне обеспокоен» использованием Astra этой техники. Zvi Mowshowitz, в свою очередь, считает, что для предотвращения «гонки ко дну» между компаниями, занимающимися искусственным интеллектом, могут потребоваться законы. По словам экспертов, традиционные записи цепочки рассуждений, хотя и не показывают абсолютно безупречно все шаги, которые модель выполняет при решении задач, остаются важным инструментом для изучения ошибочного или несогласованного поведения. Эти записи также использовались при изучении недавней самовольной деятельности агентов OpenAI.

Сообщается, что на данный момент использование этого метода в Astra ограничено, а цепочка рассуждений модели, как ожидается, по-прежнему будет оставаться читаемой. OpenAI отвергла комментарии о том, что модель перейдёт на «neuralese», и вновь подтвердила свою приверженность отслеживаемости цепочек рассуждений. Главный научный сотрудник Jakub Pachocki заявил, что сохранение такой возможности с момента появления первых моделей рассуждения было одной из ключевых целей исследовательской программы.

Несмотря на это, отмечается, что при распространении метода отслеживаемость может ещё больше снизиться. The Information сообщила, что Anthropic и Google DeepMind также обсуждали эту технологию. Главный научный сотрудник Redwood Research Ryan Greenblatt заявил, что опасается: непрозрачное рассуждение будет развиваться и приведёт к тому, что мысли модели окажутся полностью или в значительной степени перенесены в скрытое пространство.

Почему это важно

Распространение этого подхода может усложнить процессы безопасности, контролирующие, почему системы искусственного интеллекта пришли к определённому результату. Хотя цепочки рассуждений не являются безупречной записью аудита, они остаются одним из основных инструментов для изучения ошибочного или несогласованного поведения, поэтому частичная непрозрачность этих записей может повлиять на способность исследователей диагностировать проблемы. То, что пока ожидается сохранение отслеживаемости для Astra, показывает: дискуссия сосредоточена не столько на текущей модели, сколько на том, в какой степени этот метод будет использоваться в будущем. Интерес Anthropic и Google DeepMind к той же технологии указывает на то, что вопрос перестал быть лишь продуктовым выбором одной компании и теперь связан со стандартами безопасности искусственного интеллекта и возможной необходимостью регулирования.

Контекст

OpenAI — не новое имя в архиве FikirPilot: за последние 90 дней мы опубликовали 21 новость, в которой упоминалось это имя; самая свежая датирована 6 сентября 2026 года.

Источник: TechCrunch AI