vqvae, или Vector Quantized Variational Autoencoder, — это архитектура нейросети, которая соединяет идеи автоэнкодеров, вариационного подхода и дискретного представления данных. Ее основная особенность заключается в том, что модель кодирует входные данные не в непрерывный вектор, а в набор дискретных кодов из обучаемого словаря. Такой подход оказался полезен в задачах генерации изображений, речи, музыки и других типов данных, где важно сохранить структуру, но при этом получить компактное представление. Классический автоэнкодер сжимает данные в латентное пространство и затем восстанавливает их через декодер. В vqvae между кодировщиком и декодером появляется этап векторного квантования. Кодировщик создает набор векторов, каждый из которых заменяется ближайшим элементом из кодовой книги. Декодер работает уже с этими дискретными индексами. Благодаря этому модель учится представлять данные как последовательность символов, что делает ее совместимой с авторегрессионными моделями и трансформерами. В истории генеративного ИИ vqvae особенно заметен благодаря работам DeepMind. Архитектура использовалась в проектах, связанных с генерацией аудио и изображений, включая VQ-VAE-2, где иерархическое кодирование позволило получать более качественные визуальные результаты. Вместо прямой генерации пикселей модель могла сначала описывать изображение через компактные дискретные коды, а затем восстанавливать детали на уровне декодера. Это снижало сложность задачи и делало обучение более управляемым. Сильная сторона vqvae — разделение представления и генерации. Один модуль учится превращать данные в дискретные токены, другой может моделировать распределение этих токенов. Такой принцип позже стал важным для систем, где изображения, звук или видео представляются как последовательности, похожие на текстовые токены. В этом смысле vqvae повлиял на развитие мультимодальных моделей, хотя современные системы часто используют более сложные токенизаторы и диффузионные методы. У архитектуры есть и ограничения. Качество результата сильно зависит от размера кодовой книги, устойчивости обучения и способности декодера восстанавливать детали. Возможны проблемы с неиспользуемыми кодами, потерей мелких признаков и артефактами при реконструкции. Кроме того, vqvae сам по себе не всегда является полноценной генеративной системой: для создания новых образцов обычно требуется отдельная модель, которая учится предсказывать последовательности дискретных кодов.