Image captioning — это направление искусственного интеллекта, в котором нейросети автоматически создают текстовые описания изображений. Такая система получает картинку на входе и формирует фразу или несколько предложений о том, что на ней изображено: объекты, действия, сцена, иногда контекст и отношения между элементами. Технология находится на пересечении компьютерного зрения и обработки естественного языка, поэтому ее развитие тесно связано с прогрессом мультимодальных моделей. Ранние подходы к image captioning опирались на отдельное распознавание объектов и шаблонную генерацию текста. Такие решения могли определить, что на фото есть человек, собака или автомобиль, но описания часто выглядели сухими и плохо учитывали смысл сцены. Современные модели работают иначе: они связывают визуальные признаки с языковыми представлениями и генерируют более гибкие подписи. Важную роль здесь сыграли трансформеры, большие наборы данных с изображениями и подписями, а также модели, обученные понимать несколько типов информации одновременно. Практическое значение image captioning заметно в цифровых продуктах. Автоматические подписи помогают индексировать изображения в поисковых системах, сортировать медиатеки, улучшать доступность сайтов для людей с нарушениями зрения. В редакционных системах такие модели ускоряют первичное описание фотоматериалов, в e-commerce помогают дополнять карточки товаров, а в системах видеонаблюдения могут кратко фиксировать происходящее в кадре. При этом качество результата зависит не только от архитектуры модели, но и от данных, на которых она обучалась. У технологии есть ограничения. Нейросеть может корректно распознать отдельные предметы, но ошибиться в отношениях между ними или приписать сцене несуществующие детали. Особенно сложны изображения с редкими объектами, культурными контекстами, текстом на картинке и неоднозначными действиями. Еще одна проблема — предвзятость данных: если обучающая выборка была несбалансированной, модель может воспроизводить стереотипные или неточные описания. Поэтому в ответственных сферах автоматические подписи требуют проверки человеком или дополнительных механизмов контроля.