Метрика ROUGE широко используется для оценки качества текстов, которые создают нейросети: кратких пересказов, ответов на вопросы, описаний документов и других задач генерации естественного языка. Ее основная идея проста: сравнить сгенерированный текст с эталонным и измерить, насколько сильно они совпадают по словам, фразам или последовательностям. Благодаря этому ROUGE стала одним из стандартных инструментов в исследованиях NLP и при тестировании языковых моделей. Название ROUGE расшифровывается как Recall-Oriented Understudy for Gisting Evaluation. Изначально метрика разрабатывалась для автоматической оценки суммаризации, когда система должна сжать большой текст до короткого содержания. В таких задачах важно понять, сохранила ли модель ключевые фрагменты исходной информации. ROUGE помогает оценить это количественно, не полагаясь только на ручную проверку экспертов. Существует несколько вариантов ROUGE. ROUGE-N измеряет совпадение n-грамм, то есть отдельных слов или цепочек из нескольких слов. ROUGE-1 учитывает совпадения отдельных слов, ROUGE-2 — пар слов, а более длинные n-граммы позволяют строже проверять близость формулировок. ROUGE-L основана на самой длинной общей подпоследовательности и лучше отражает сохранение структуры предложения. Есть и другие модификации, но именно эти варианты чаще всего встречаются в отчетах по моделям и научных статьях. В контексте ИИ ROUGE удобна тем, что дает быстрый числовой результат и позволяет сравнивать разные модели на одном наборе данных. Если одна нейросеть стабильно получает более высокий ROUGE на тестовом корпусе, это может говорить о лучшем совпадении с эталонными ответами. Поэтому метрика часто используется при разработке систем автоматического реферирования, чат-ботов, поисковых ассистентов и сервисов анализа документов. При этом ROUGE не оценивает смысл так глубоко, как человек. Два текста могут выражать одну и ту же мысль разными словами, но получить низкий балл из-за слабого лексического совпадения. Обратная ситуация тоже возможна: текст содержит много похожих слов, но искажает смысл или теряет важный контекст. Особенно заметно это при оценке больших языковых моделей, которые умеют переформулировать информацию гибко и не всегда повторяют эталонные выражения. Поэтому ROUGE обычно рассматривают не как окончательный показатель качества, а как один из элементов оценки. Ее сочетают с другими метриками, например BLEU, METEOR, BERTScore, а также с ручной проверкой фактической точности, связности и полезности ответа. В современных задачах генеративного ИИ такой комбинированный подход важен, потому что качество текста зависит не только от совпадения слов, но и от полноты, логики, стиля и отсутствия ошибок.