Технология LoRA, или Low-Rank Adaptation, стала одним из самых заметных прорывов в области адаптации больших нейросетей под конкретные задачи. Этот метод был предложен исследователями Microsoft в 2021 году и быстро превратился в стандарт индустрии, поскольку позволил радикально удешевить процесс дообучения моделей. Сегодня LoRA активно применяется в работе с языковыми моделями, генераторами изображений и мультимодальными системами. Суть подхода заключается в том, что при дообучении большой модели не требуется изменять все её параметры. Вместо этого LoRA добавляет к существующим слоям небольшие матрицы низкого ранга, которые и берут на себя задачу адаптации. Основные веса нейросети при этом остаются замороженными, а обучаются только эти компактные надстройки. В результате количество настраиваемых параметров сокращается в сотни и даже тысячи раз по сравнению с классическим файнтюнингом. Главное преимущество технологии — экономия ресурсов. Если полноценное дообучение крупной языковой модели может требовать десятков мощных видеокарт и многих часов работы, то с LoRA аналогичный результат достигается на одном потребительском GPU. Файлы с обученными адаптерами весят от нескольких мегабайт до пары сотен мегабайт, тогда как полноценные модели занимают десятки гигабайт. Это открыло возможность дообучения нейросетей для энтузиастов, небольших студий и независимых разработчиков. Особую популярность LoRA приобрела в сообществе пользователей Stable Diffusion. С её помощью художники и любители создают адаптеры, обучающие модель рисовать в определённом стиле, воспроизводить конкретного персонажа или передавать узнаваемую эстетику. В мире языковых моделей подход используется для тонкой настройки на корпоративные данные, специфические домены вроде юриспруденции или медицины, а также для создания чат-ботов с заданным характером общения. Помимо экономии, LoRA даёт ещё одно важное достоинство — модульность. Несколько адаптеров можно подключать к одной базовой модели, переключаться между ними или даже комбинировать. Это удобно для платформ, обслуживающих разных клиентов с разными задачами, поскольку нет необходимости хранить множество полноразмерных копий нейросети. Также существуют развитие идеи в виде QLoRA, где квантизация позволяет дообучать ещё более крупные модели, и DoRA, улучшающая качество адаптации. Конечно, у технологии есть и ограничения. LoRA лучше всего работает там, где требуется адаптация, а не радикальное изменение поведения модели. Для глубокой переработки знаний или существенного расширения возможностей нейросети по-прежнему может потребоваться полноценное обучение. Кроме того, качество результата сильно зависит от выбора ранга, скорости обучения и подготовки датасета.