Prefix tuning — это метод тонкой настройки нейросетевых языковых моделей, при котором основная модель остается замороженной, а обучаются только дополнительные векторы-префиксы, подаваемые на вход внутренних слоев. Такой подход относится к параметрически эффективной адаптации и появился как ответ на рост размеров трансформеров, где полное дообучение становится дорогим, медленным и неудобным для хранения множества версий модели. Идея prefix tuning связана с архитектурой трансформеров и механизмом внимания. Вместо изменения миллиардов параметров модель получает небольшой набор обучаемых представлений, которые направляют ее поведение для конкретной задачи. Эти префиксы не являются обычным текстовым промптом: они существуют в виде непрерывных векторных параметров и оптимизируются во время обучения. Поэтому метод занимает промежуточное положение между prompt engineering и полноценным fine-tuning. Главное преимущество prefix tuning — экономия ресурсов. Для каждой задачи можно хранить не отдельную копию большой модели, а компактный набор префиксов. Это особенно важно в инфраструктурах, где одна базовая LLM используется для разных сценариев: суммаризации, классификации, генерации ответов, обработки специализированных доменов. В таких условиях метод уменьшает требования к памяти и упрощает управление версиями. По качеству prefix tuning часто показывает хорошие результаты на задачах генерации текста, особенно когда базовая модель уже достаточно сильна. Метод может быть полезен для адаптации к стилю, формату ответа или предметной области без глубокого вмешательства в веса модели. При этом эффективность зависит от размера модели, объема данных, длины префикса и характера задачи. На некоторых задачах полное дообучение или другие PEFT-подходы, например LoRA, могут давать более высокую точность. Ограничения у prefix tuning тоже есть. Поскольку основная модель не меняется, метод не всегда хорошо справляется с задачами, требующими существенного изменения знаний или сложной перестройки поведения. Кроме того, подбор длины префикса и схемы его подключения требует экспериментов. Слишком короткий префикс может быть недостаточно выразительным, а слишком длинный увеличивает вычислительные расходы и усложняет оптимизацию.