Специалисты Центра практического искусственного интеллекта Сбера разработали систему, способную анализировать сложные эмоциональные состояния человека по изображениям и видео. Технология распознает составные эмоции, такие как «радостно удивленный» или «печально испуганный» которые преобладают в реальной жизни.
В основе разработки лежат легковесные нейросетевые модели, включая MT-EmotiMobileFaceNet и MT-EmotiEffNet. Алгоритм использует метод сглаживания предсказаний с применением усреднения и гауссовских фильтров, что повысило точность распознавания на 4,5 процентных пункта по F1-мере.
Система способна одновременно определять выражения лица, эмоциональную валентность и интенсивность, а также анализировать лицевую мышечную активность по системе Пола Экмана. Технология работает непосредственно на мобильных устройствах без передачи данных в облако, что обеспечивает конфиденциальность информации.
Разработка заняла второе место в международном конкурсе Compound Expression Recognition на конференции ECCV 2024. Исходный код моделей доступен в открытой библиотеке EmotiEffLib для дальнейшего развития технологии.
Потенциальное применение системы включает цифровой маркетинг, мониторинг состояния водителей и создание диагностических инструментов в психологии.