Гетероскедастическая функция потерь

Гетероскедастическая функция потерь — это статистический инструмент в машинном обучении, адаптированный для задач регрессии, где неопределённость предсказания не является постоянной, а варьируется в зависимости от входных наблюдений. Термин «гетероскедастичность» происходит из эконометрики и статистики, где он описывает ситуацию с непостоянной дисперсией ошибок в модели. В контексте глубокого обучения такие функции позволяют нейронной сети обучаться предсказывать два параметра распределения целевой переменной одновременно: её среднее значение (математическое ожидание) и дисперсию.

Математически, в простейшем и наиболее распространённом случае, гетероскедастическая функция потерь строится на предположении, что целевая переменная y при данном входе x распределена нормально: y ~ N(μ(x), σ²(x)). Нейронная сеть обучается предсказывать оба параметра: μ (среднее) и σ (стандартное отклонение, или дисперсию σ²). Функция потерь представляет собой негативное логарифмическое правдоподобие (Negative Log-Likelihood, NLL) для этого нормального распределения: L = (1/2) * log(2πσ²) + (y - μ)² / (2σ²). Ключевой аспект — второй член (y - μ)² взвешивается на предсказанную дисперсию σ². В областях с высокой предсказанной неопределённостью (большим σ) ошибка в предсказании среднего штрафуется меньше, что позволяет модели «доверять» своему предсказанию меньше там, где данные зашумлены или неоднозначны.

В современных приложениях, таких как робототехника, автономные системы и компьютерное зрение, эта функция стала важным инструментом для обучения моделей, оценивающих собственную уверенность. Например, в работе RAVN по аудиовизуальной навигации (arXiv:2604.02391) гетероскедастическая функция потерь с гауссовым NLL используется для обучения модуля Acoustic Geometry Reasoner (AGR). Модуль обучается предсказывать не только геометрическую информацию об источнике звука, но и «дисперсию» этого предсказания, которая интерпретируется как практическая мера надёжности аудиосигнала в данный момент. Эта оценка надёжности затем используется для динамического взвешивания вклада аудиомодальности относительно визуальной, что повышает robustness системы.

Основное ограничение классической гетероскедастической функции потерь с гауссовым предположением заключается в его чувствительности к выбросам и потенциальной неадекватности нормальной аппроксимации для многомодальных или тяжёлых распределений. Перспективы развития связаны с использованием более сложных параметрических распределений (например, смесей Гауссовых, лапласовских) или непараметрических методов для моделирования неопределённости. Кроме того, активно исследуется интеграция таких функций в архитектуры для более точной калибровки уверенности модели, что критически важно для развёртывания систем искусственного интеллекта в условиях неопределённости реального мира.