В блоге Hugging Face разобрали, почему фактическое время задания на дообучение модели часто оказывается больше, чем следует из простого расчёта по числу операций с плавающей запятой. Автор объясняет, что оценка по FLOPs учитывает лишь вычислительную часть работы, тогда как в реальном пайплайне заметную долю времени занимают подготовка данных, загрузка батчей, обмен между устройствами и служебные операции фреймворка. В материале перечислены факторы, которые стоит измерять отдельно: пропускную способность ввода-вывода, простои из-за ожидания данных, накладные расходы распределённого обучения и эффективность использования ускорителей. Практический вывод прост: планировать длительность дообучения надёжнее по эмпирическим замерам и профилированию, а не только по теоретическому числу FLOPs.