OpenAI представила публичный бенчмарк MentalHealthBench, который включает 1215 синтетических диалогов на темы ментального здоровья и 5262 критерия оценки, разработанных совместно с более чем 80 лицензированными психологами и психиатрами из 22 стран на 19 языках. В тесте участвовали ведущие модели, включая GPT-6 Astra, Claude Opus 5.5 и Gemini 2.5 Pro. Лидером стала GPT-6 Astra с результатом 57,3%, тогда как более старые модели показали значительно меньшие значения. Бенчмарк создан для стандартизации оценки безопасности и качества ИИ-систем в чувствительной сфере ментального здоровья. OpenAI выпустила публичный бенчмарк MentalHealthBench, предназначенный для оценки поведения языковых моделей в сценариях, связанных с ментальным здоровьем. Набор данных включает 1215 синтетических диалогов, охватывающих три категории: неострые ситуации (53,5%), случаи высокой остроты (18,2%) и экстренные сценарии (28,3%). Для каждого диалога разработано в среднем более четырёх критериев оценки, всего 5262 рубрицированных критерия. Их создавали совместно более 80 лицензированных психологов и психиатров из 22 стран, работа охватывает 19 языков. Цель бенчмарка — дать исследователям и регуляторам единый инструмент для проверки того, насколько безопасно и адекватно модели реагируют на запросы о тревоге, депрессии, суицидальных мыслях и других чувствительных темах. В первом раунде тестирования участвовали ведущие модели нескольких лабораторий. Лидером стала GPT-6 Astra с результатом 57,3% по совокупному показателю. За ней следуют GPT-6 Sol (53,9%), Claude Opus 5.5 (52,4%) и GPT-6 Luna (50,2%). Более старые системы показали заметно меньшие значения: GPT-4o набрала 32,1%, а Gemini 2.5 Pro — 29,5%. Такие различия подчёркивают, что даже внутри одного поколения моделей есть существенный разброс по качеству работы в ментально-здоровьевых сценариях. OpenAI позиционирует MentalHealthBench как открытый ресурс, который могут использовать независимые исследователи, регуляторы и сами разработчики для сравнения подходов и выявления слабых мест. Значение бенчмарка выходит за рамки простого рейтинга моделей. Ментальное здоровье — одна из самых чувствительных сфер применения ИИ, где ошибки могут иметь серьёзные последствия для пользователей. MentalHealthBench позволяет оценивать не только точность ответов, но и соответствие клиническим рекомендациям, способность распознавать кризисные состояния, корректно направлять к специалистам и избегать вредных советов. Для регуляторов это потенциальная основа для будущих требований к валидации ИИ-систем перед допуском к работе в медицине и ментальном здоровье. Для разработчиков — сигнал о том, что просто «общей разговорчивости» модели уже недостаточно: нужны специализированные тесты, обучение на релевантных данных и встроенные механизмы безопасности, которые можно объективно измерить и сравнить.