Технология LoRA fine tuning заняла прочное место среди методов адаптации крупных языковых и визуальных моделей под конкретные задачи. Аббревиатура расшифровывается как Low-Rank Adaptation, и за этим названием стоит идея, которая позволила сделать дообучение моделей с миллиардами параметров доступным для исследователей, небольших команд и даже энтузиастов с одной видеокартой. Классический подход к fine tuning предполагает обновление всех весов исходной модели. Для современных архитектур это означает колоссальные затраты памяти, времени и вычислительных ресурсов. LoRA предлагает иной маршрут: исходные веса замораживаются, а рядом с ними добавляются небольшие обучаемые матрицы низкого ранга. Именно они впитывают знания о новой задаче, домене или стиле, а основная модель остаётся нетронутой. В результате количество обучаемых параметров сокращается в десятки и сотни раз по сравнению с полным дообучением. Подобный приём оказался особенно востребованным в работе с трансформерами. В языковых моделях LoRA-адаптеры обычно подключают к слоям внимания, реже к полносвязным блокам. В диффузионных моделях, например в Stable Diffusion, технология стала фактическим стандартом для обучения новых стилей, персонажей и визуальных концепций. Файл адаптера весит от нескольких мегабайт до пары сотен, что несравнимо с полноценной копией модели и удобно для распространения. Среди очевидных преимуществ метода стоит отметить экономию видеопамяти, скорость обучения и возможность хранить десятки разных адаптеров под одну базовую модель. Пользователь может подключать их по необходимости, комбинировать между собой и регулировать силу влияния. Это создаёт гибкую экосистему, в которой одна тяжёлая модель обслуживает множество узких сценариев — от юридической ассистентуры до генерации иллюстраций в определённой манере. Существуют и развития исходной идеи. QLoRA добавляет квантизацию базовой модели до четырёх бит, что позволяет дообучать модели с десятками миллиардов параметров на потребительском оборудовании. DoRA, LoHa, LoKr и другие варианты экспериментируют со структурой адаптеров, стремясь повысить качество без потери компактности. Параллельно развиваются инструменты — библиотеки PEFT, Diffusers, Kohya, а также интерфейсы для тренировки без написания кода. При всей привлекательности подхода у него есть ограничения. LoRA хорошо справляется с относительно узкими задачами, но уступает полному fine tuning, когда требуется глубокая перестройка поведения модели. Качество результата зависит от выбора целевых слоёв, ранга, скорости обучения и данных, а слишком агрессивные настройки приводят к переобучению и потере общих способностей базовой модели.