OpenAI опубликовала инструмент оценки MentalHealthBench для анализа ответов моделей искусственного интеллекта в разговорах о психическом здоровье. В рамках исследования изучаются ответы на сообщения конечных пользователей в 1 215 вымышленных разговорах, оценённые по критериям более 80 лицензированных специалистов в области психического здоровья.
- 53,5% составляют неэкстренные, 18,2% — сценарии высокого риска, а 28,3% — экстренные сценарии.
- 21,2% представляют профили пользователей-подростков.
При оценке используются такие критерии, как запрос необходимого контекста, предоставление применимых рекомендаций, клиническая точность, сохранение за человеком права принимать решения, непоощрение нереалистичных убеждений и правильное определение уровня срочности. Наличие в наборе данных 13 разговоров на турецком языке не считается достаточным для всестороннего сравнения с реальными службами помощи в Türkiye.
Почему это важно
Это исследование предлагает подход к оценке ответов искусственного интеллекта в сфере психического здоровья не только по их беглости или общей полезности, но и по отдельным критериям, таким как распознавание уровня риска и безопасное общение. Наличие экстренных и высокорисковых примеров, а также профилей подростков создаёт основу для анализа, показывающего, что один и тот же подход к ответам может быть недостаточным для пользователей с разным уровнем уязвимости. Вместе с тем результаты основаны на оценке ответов на вымышленные разговоры по критериям специалистов и сами по себе не показывают, какая картина складывается во взаимодействиях с реальными пользователями. Небольшое количество примеров на турецком языке также ограничивает возможность прямого сравнения с точки зрения служб помощи и потребностей пользователей в Türkiye. Поэтому открытым остаётся вопрос о том, как результаты измерения будут меняться на других языках и в условиях реального использования.
Предыстория
OpenAI — не новое имя в архиве FikirPilot: за последние 90 дней мы опубликовали 54 новости с упоминанием этого имени; самая свежая датирована 24 сентября 2026 года.