Knowledge distillation, или дистилляция знаний, стала одним из ключевых подходов в современном машинном обучении. Суть метода заключается в передаче знаний от большой и сложной модели, называемой учителем, к более компактной модели, которую принято называть учеником. Такой подход позволяет сохранить значительную часть точности крупной нейросети, одновременно резко снижая требования к вычислительным ресурсам и памяти. Идея дистилляции была впервые широко представлена в работах исследователей, заметивших, что обученная модель содержит не только финальные предсказания, но и более тонкую информацию о распределении вероятностей между классами. Эти так называемые мягкие метки несут больше смысла, чем простые жёсткие ответы. Например, изображение собаки модель-учитель может с небольшой вероятностью отнести к кошке, и эта информация о сходстве классов помогает ученику обучаться эффективнее, чем при работе только с правильными ответами. Существует несколько разновидностей дистилляции знаний. Классический вариант основан на передаче выходных вероятностей учителя. Дистилляция на основе признаков предполагает, что ученик повторяет промежуточные представления внутренних слоёв учителя. Существует также дистилляция отношений, при которой передаётся информация о связях между разными примерами данных. Отдельно выделяют самодистилляцию, когда модель обучает сама себя, и онлайн-дистилляцию, где учитель и ученик обучаются одновременно. Практическая ценность knowledge distillation особенно заметна в условиях, где важна скорость работы и ограничены ресурсы. Мобильные устройства, встраиваемые системы, голосовые помощники и приложения реального времени выигрывают от использования компактных моделей-учеников. Дистилляция активно применяется в обработке естественного языка, где громоздкие языковые модели сжимаются до версий, пригодных для запуска на обычных серверах и даже смартфонах. В компьютерном зрении метод помогает создавать лёгкие сети для классификации, детекции и сегментации изображений. Среди преимуществ подхода стоит отметить уменьшение размера модели, ускорение вывода, снижение энергопотребления и упрощение развёртывания. При этом дистилляция не лишена сложностей. Качество ученика сильно зависит от выбора архитектуры, баланса между функциями потерь и грамотной настройки температуры, которая управляет мягкостью распределения вероятностей. Кроме того, разрыв в размерах между учителем и учеником не должен быть слишком большим, иначе передача знаний теряет эффективность. В последние годы knowledge distillation тесно переплетается с другими методами оптимизации, такими как квантизация и прунинг. Совместное применение этих техник позволяет добиться ещё более впечатляющих результатов в сжатии моделей. Развитие больших языковых моделей сделало дистилляцию ещё более востребованной, ведь именно она помогает превращать дорогие в эксплуатации системы в доступные продукты.