Исследователи из Центра практического искусственного интеллекта Сбера создали технологию, которая помогает нейросетям лучше распознавать человеческие эмоции — не только простые вроде радости или злости, но и сложные, смешанные чувства. Например радостное удивление или печальный испуг. Свои результаты команда представила на престижной конференции ECCV 2024, и они уже впечатляют. Новая система определяет эмоции точнее и работает прямо на мобильных устройствах — без отправки видео в облако. Как это работает Учёные разработали легковесную модель MT-EmotiMobileFaceNet, которая анализирует лицо человека и выделяет ключевые признаки эмоций. Затем применяется специальная обработка — например, сглаживание результатов с помощью гауссовых фильтров. Это помогает убрать "шум" и повысить точность. Такой подход увеличил метрику F1 (один из главных показателей точности в машинном обучении) на 4,5 процентных пункта. С этим результатом Сбер занял второе место на международном конкурсе Compound Expression Recognition (ABAW-7). Главное преимущество метода в том, что модель не нужно дообучать на новых данных, чтобы она распознавала сложные эмоции. Это делает технологию гораздо проще в применении. Универсальный ИИ для эмоций Во второй работе команда Сбера пошла дальше — создала серию моделей, которые умеют выполнять сразу несколько задач: Модели MT-EmotiDDAMFNet и MT-EmotiEffNet стали основой нового подхода. Их комбинация дала отличный результат — точность распознавания эмоций выросла на 7 процентных пунктов, а общее качество — в 1,25 раза. Благодаря этому Сбер снова взял серебро в категории Multi-Task Learning Challenge. Почему это важно Новая технология не только точнее, но и безопаснее. Она способна работать непосредственно на смартфонах — без необходимости передавать изображения лиц в облако. Это снижает риски утечки данных и экономит ресурсы. Кроме того, Сбер выложил все модели и код в открытый доступ через библиотеку EmotiEffLib, чтобы другие исследователи могли использовать и развивать решение.