Локальный запуск ИИ на персональном компьютере всё чаще рассматривают как альтернативу облачным сервисам, и выбор движка в такой схеме влияет на скорость работы, требования к памяти и удобство настройки. Об этом рассуждает Симоне Риццо. При локальном запуске модель работает на железе пользователя, поэтому данные не отправляются на сторонние серверы. Однако итоговый опыт зависит не только от самой модели, но и от программного движка, который её исполняет: разные решения по-разному распределяют нагрузку между процессором и видеокартой и предъявляют разные требования к объёму памяти. Смена движка может заметно изменить скорость генерации и объём модели, который удаётся разместить на конкретной машине. Часть решений проще настроить, другие дают больше гибкости в параметрах квантизации и оптимизации под доступное оборудование. Для пользователя практический вывод сводится к тому, что одну и ту же модель стоит проверять в нескольких движках, прежде чем делать выводы о её производительности. Выбор зависит от конфигурации ПК, задачи и готовности разбираться с настройками.