DeiT, или Data-efficient Image Transformer, стал важной вехой в развитии нейросетей для компьютерного зрения. Эта модель появилась как ответ на практическую проблему vision transformer: высокое качество на изображениях обычно требовало огромных датасетов и значительных вычислительных ресурсов. DeiT показал, что трансформерная архитектура может быть конкурентоспособной не только в лабораторных условиях с гигантскими наборами данных, но и при более умеренном масштабе обучения. Ключевая идея DeiT связана с эффективным использованием данных. В отличие от ранних vision transformer, которые зависели от предварительного обучения на очень больших коллекциях изображений, DeiT обучался на ImageNet и при этом достигал результатов, сопоставимых с сильными сверточными сетями. Это сделало модель заметной для исследователей и инженеров, которым важно соотношение точности, стоимости обучения и удобства внедрения. Особое место в DeiT занимает дистилляция знаний. Авторы модели использовали учителя, обычно сверточную сеть, чтобы передавать трансформеру более устойчивые признаки. Для этого в архитектуру добавили специальный distillation token, который помогает модели учитывать сигналы от обучающей сети. Такой подход оказался удачным компромиссом между преимуществами трансформеров и накопленным опытом CNN в задачах распознавания изображений. DeiT важен еще и потому, что он ускорил интерес к компактным vision transformer. До его появления многие воспринимали трансформеры в компьютерном зрении как решения для крупных исследовательских центров с большими вычислительными бюджетами. После публикации DeiT стало очевидно, что такие модели можно адаптировать для более широкого круга задач: классификации, анализа визуального контента, промышленного контроля, медицинских изображений и систем автоматической модерации. При этом DeiT не отменил сверточные сети и не стал универсальной заменой всем архитектурам. Его значение скорее в другом: он показал, что трансформеры могут быть обучены рациональнее, если грамотно настроить режим обучения, аугментации, регуляризацию и дистилляцию. В практических проектах выбор между DeiT, CNN и более новыми гибридными моделями зависит от датасета, требований к скорости, доступного оборудования и допустимой сложности пайплайна.