Anthropic описала методику оценки безопасности ИИ, в которой проверяется не один ответ, а весь диалог целиком. В тесте отдельная модель Claude играет пользователя: первая реплика задана заранее, а каждая следующая зависит от того, что ответила проверяемая модель, поэтому один и тот же сценарий можно прогнать несколько раз и получить разные разговоры. После завершения диалога модель-судья оценивает его полностью. Достаточно одного ответа, нарушившего критерии безопасности, чтобы весь тест считался проваленным. Авторы объясняют, почему подсчёта отказов недостаточно. Если человек сообщает, что ему плохо, сухое «я не могу помочь» тоже может быть провалом: в таком сценарии от модели ждут поддержки и своевременной рекомендации обратиться за живой помощью. В одноходовых тестах Anthropic отдельно измеряет, как часто модель отвечает на опасные запросы и как часто отказывает в помощи по обычным запросам на ту же тему. Набор одноходовых тестов охватывает 16 категорий риска на семи языках и в разных интерфейсах. Исследователи советуют проверять именно ту конфигурацию, которую получат пользователи: доступ к инструментам и системный промпт способны изменить поведение одной и той же модели.