Команда Allen AI опубликовала в блоге Hugging Face описание нового бенчмарка XYBench, посвящённого проблеме, которая скрывается за самим вопросом. XYBench предлагает оценивать модели не только по точности ответа, но и по тому, насколько хорошо они улавливают исходную задачу, стоящую за формулировкой запроса. Подробности методики, наборов задач и метрик приводятся в публикации Allen AI в блоге Hugging Face.