ПРОГРАММНАЯ СИСТЕМА ДЛЯ МУЛЬТИМОДАЛЬНОГО АНАЛИЗА ЭМОЦИОНАЛЬНОГО СОСТОЯНИЯ ЧЕЛОВЕКА НА ОСНОВЕ АНСАМБЛЕВЫХ МЕТОДОВ КЛАССИФИКАЦИИ

Аннотация

Данная статья посвящена разработке и исследованию программной системы для комплексного распознавания эмоциональных состояний человека на основе анализа видео, аудио и текстовых данных. Предложена архитектура, ориентированная на работу в условиях реального времени и использующая ансамблевые методы классификации для повышения надежности итоговых прогнозов. Архитектура системы построена на распределенном трехуровневом принципе, включающий клиентское приложение, высокопроизводительный API на базе FastAPI и изолированную сеть вычислительных узлов под управлением Celery и Redis. Методология исследования опирается на параллельное извлечение признаков: визуальных – через сверточную нейронную сеть ResNet-50, акустических характеристик с помощью энкодера LSTM и MFCC и семантических векторов с помощью Multilingual BERT. Ключевым элементом решения является стратегия слияния данных (Late Fusion) на основе ансамбля моделей, таких как: Stacking, Voting, Adaboost и CatBoost. Также внимание уделено механизму временной синхронизации на основе временных меток модели Faster-Whisper, что позволяет сопоставлять видеокадры, фрагменты речи и текстовую расшифровку, и минимизировать ошибки из-за задержек в обработке разных модальностей. В экспериментальной части проведено сравнение разработанного программного решения с классическими нейросетевыми архитектурами мультимодального сентимент-анализа Tensor Fusion Network (TFN) и Multi-attention Recurrent Network (MARN). Результаты апробации на реальных данных показывают, что предложенный подход на основе градиентного бустинга превосходит указанные аналоги по точности и устойчивости к внешним шумам. Реализованный подход обладает широким спектром применения, например, для мониторинга эмоционального климата в распределенных командах, что помогает своевременно выявлять риски выгорания и предупреждать конфликты. Также предложенная программная система позволяет автоматизировать аудит качества клиентского сервиса и оценку вовлеченности учащихся в рамках образовательных платформ.