Геометрический прокси-супервизор

Геометрический прокси-супервизор (Geometric Proxy Supervision) — это метод обучения нейронных сетей, предложенный в рамках архитектуры RAVN для задачи аудиовизуальной навигации (Audio-Visual Navigation, AVN). Его происхождение связано с необходимостью преодоления ключевой проблемы в AVN: ненадежности бинауральных звуковых сигналов в сложных акустических средах, особенно при работе с ранее не встречавшимися категориями звуков. Прямая оценка надежности звука требует точных геометрических меток (например, расстояния до источника, угла прихода), которые зачастую недоступны или сложны для получения в реальных условиях. Геометрический прокси-супервизор предлагает обходной путь, используя косвенные сигналы для обучения.

Механика метода основана на обучении специализированного модуля — Acoustic Geometry Reasoner (AGR). Вместо того чтобы предсказывать явные геометрические параметры, AGR обучается предсказывать неопределенность (дисперсию) своих собственных оценок местоположения звука. Это достигается с помощью функции потерь на основе гетероскедастического гауссовского отрицательного логарифмического правдоподобия (heteroscedastic Gaussian NLL). В процессе обучения модель вынуждена учиться внутреннему представлению о том, насколько надежны ее наблюдения в данный момент: высокая предсказанная дисперсия соответствует низкой надежности аудиосигнала (например, из-за реверберации или помех), низкая дисперсия — высокой надежности. Таким образом, сама предсказанная дисперсия становится практическим прокси-сигналом (заместителем) для истинной, но неизвестной геометрической надежности.

Практическое применение этого метода наиболее ярко продемонстрировано в задаче эмбодимент-навигации, где агенту необходимо двигаться к источнику звука. Обученный с геометрическим прокси-супервизором модуль AGR генерирует карту надежности звука. Эта карта затем используется в модуле Reliability-Aware Geometric Modulation (RAGM) для динамической калибровки слияния модальностей: визуальные признаки модулируются (ослабляются или усиливаются) в зависимости от локальной надежности аудиоданных. Это позволяет системе автоматически уделять больше внимания зрению в те моменты, когда звуковые сигналы зашумлены или ненадежны, и наоборот, эффективно смягчая межмодальные конфликты.

Основное ограничение метода заключается в его зависимости от качества и репрезентативности данных, на которых обучается прокси-задача. Если в обучающей выборке не представлены все возможные сценарии акустической ненадежности, модель может некорректно оценивать дисперсию в новых условиях. Перспективы развития связаны с расширением идеи прокси-супервизора на другие модальности и задачи, где прямое получение меток надежности затруднено, например, в робототехнике при сенсорном слиянии или в автономных системах для оценки уверенности в восприятии окружающей среды. Метод открывает путь к созданию более робастных и самокалибрующихся мультимодальных систем.