Протокол QA (Question-Asking)

Определение и происхождение

Протокол QA (Question-Asking) представляет собой интерактивный метод сжатия и передачи знаний между моделями искусственного интеллекта. Концепция была формализована в исследовательской работе, представленной на arXiv (2604.02343v1), как развитие идей эффективного сжатия текста, генерируемого большими языковыми моделями (LLM). Протокол является частью более широкого исследования компромисса между степенью сжатия и вычислительными затратами (compression-compute frontier). Его дизайн напрямую вдохновлен логической игрой «20 вопросов», где цель — идентифицировать объект за минимальное количество вопросов, на которые можно ответить «да» или «нет».

Механика процесса

Механика протокола строится на взаимодействии двух агентов: малой модели (агента-исполнителя) и большой, более мощной модели (оракула). Агент инициирует процесс, формулируя исходный ответ на задачу. Затем он начинает итеративный цикл уточнения, задавая оракулу серию бинарных (да/нет) вопросов, касающихся корректности или улучшения своего ответа. Каждый ответ оракула несет ровно один бит информации. На основе этого бита агент модифицирует свой ответ, сужая пространство возможных решений. Этот цикл повторяется заданное количество раз (например, 10 итераций), после чего агент выдает финальный, уточненный ответ.

Практическое применение

Основное применение протокола QA лежит в области эффективного дистилляции знаний и компрессии информации в системах ИИ. Он позволяет развертывать компактные модели на edge-устройствах или в средах с ограниченными ресурсами, которые могут «консультироваться» с мощной облачной моделью, передавая минимальный объем данных. В исследовании показано, что 10 бинарных вопросов позволяют малой модели восстановить от 23% до 72% разрыва в качестве (capability gap) с большой моделью на стандартных бенчмарках по математике, естественным наукам и программированию. Это достигается при экстремально низких коэффициентах сжатия — от 0.0006 до 0.004, что более чем в 100 раз эффективнее предыдущих методов сжатия на основе LLM.

Ограничения и перспективы

Ключевое ограничение протокола — его интерактивный характер, требующий множества последовательных запросов к оракулу, что увеличивает задержку (latency). Эффективность протокола критически зависит от способности малой модели формулировать информативные, стратегически верные вопросы. Перспективы развития связаны с автоматизацией и оптимизацией стратегии задавания вопросов, возможно, с использованием reinforcement learning. Также исследуется интеграция протокола в более сложные схемы взаимодействия, включающие не только бинарные, но и множественные или структурированные ответы, для еще более эффективной передачи знаний в распределенных гетерогенных системах ИИ.