Группа исследователей Tufa Labs представила TufaZip — компрессор текста без потерь, в котором всю работу выполняет один обычный трансформер, обучающийся прямо в процессе сжатия. На стандартном тесте enwik9 (гигабайт англоязычной Википедии) метод ужал данные до 105,4 МБ. Классические компрессоры вроде gzip, bzip2 и xz не используют нейросети: они ищут повторы, строят словари и кодируют частые символы короче редких, но не понимают язык. Авторы TufaZip опираются на то, что сжатие по сути является предсказанием: чем точнее модель угадывает следующий токен, тем меньше бит нужно на его запись. Схема работает так. Берётся архитектура со случайными начальными весами и фиксированным сидом, модель читает текст токен за токеном и после каждого шага дообучается на увиденном. Арифметический кодер тратит тем меньше бит, чем увереннее было предсказание, поэтому к середине файла токены обходятся всё дешевле. Сохранять нужно только поток бит: для декодирования достаточно знать исходный сид и архитектуру. При распаковке пустая сеть с тем же сидом генерирует те же распределения вероятностей и после каждого восстановленного токена делает тот же шаг обучения, что и кодировщик, — так цепочка восстанавливается точно. Ограничения существенные: сжатие гигабайта занимает около недели и требует примерно 74 ГБ памяти, так что gzip это не заменит. Тем не менее в рейтинге enwik9 подход занял 13-е место, отстав от лидеров примерно на 20 МБ.