Интерактивный lossy-протокол
Протокол сжатия данных, при котором приемник (маломощная модель) активно взаимодействует с источником (мощной моделью), задавая уточняющие вопросы для реконструкции ответа. В процессе часть информации теряется (lossy), но достигается экстремально высокая степень сжатия за счет передачи минимального количества битов.
Интерактивный lossy-протокол — это метод сжатия информации, предложенный в контексте передачи знаний между языковыми моделями разного масштаба. Его концепция заимствована из парадигмы игры «20 вопросов» (Twenty Questions). Протокол относится к классу lossy (с потерями), поскольку конечный результат является приближенной, а не точной копией исходных данных. Ключевое отличие от классических методов — активная роль декодера (приемника), который не пассивно получает сжатый поток, а управляет процессом через интерактивные запросы.
Механика протокола основана на итеративном уточнении. Маломощная модель-приемник, стремясь реконструировать ответ мощной модели-источника, формулирует серию бинарных (да/нет) вопросов. Каждый ответ источника передает ровно один бит информации. На основе полученного ответа приемник обновляет свое внутреннее представление и генерирует следующий вопрос, максимально сокращающий неопределенность. Этот процесс повторяется фиксированное число раундов, после чего приемник формирует итоговый ответ на основе накопленных битов. Эффективность определяется способностью вопросов извлекать наиболее информативные биты.
Практическое применение в современных исследованиях сосредоточено на области эффективного дистилляции знаний между большими (LLM) и малыми языковыми моделями. В работе arXiv:2604.02343v1 протокол, названный Question-Asking (QA) compression, продемонстрировал возможность передачи ключевых смысловых элементов ответа при экстремально низких объемах передаваемых данных. Например, 10 бинарных вопросов (10 бит) позволили малой модели восстановить от 7% до 72% разрыва в качестве ответов между ней и большой моделью на различных тестах, достигая коэффициентов сжатия порядка 0.0006–0.004.
Основное ограничение протокола — принципиальная невозможность точного (lossless) восстановления исходного контента из-за потерь информации. Его эффективность критически зависит от способности малой модели формулировать содержательные вопросы, что требует дополнительных вычислительных затрат на стороне приемника. Кроме того, протокол интерактивен и требует устойчивого канала связи с низкой задержкой между моделями. Перспективы развития связаны с оптимизацией стратегий задавания вопросов, интеграцией протокола в архитектуры нейросетевого вывода и расширением на небинарные форматы взаимодействия для более плотной передачи информации.
Хотите знать больше?
Мы постоянно пополняем нашу Википедию будущего новыми терминами из передовых исследований.