06.04.2026 • 3 мин чтения
Чтобы сжать ИИ, его нужно сначала растянуть
Impact8/10
Wow Factor4/10
«Предложен метод сжатия больших предобученных моделей с использованием рандомизированной итерации подпространств, который превосходит стандартные рандомизированные методы по качеству аппроксимации и точности предсказаний при агрессивном сжатии.»
Гигантские ИИ-модели вроде GPT-4 невозможно запустить на обычном компьютере.
Но стандартный способ их «похудеть» незаметно убивает их интеллект.
Стоп, что?
Математика, которая всё портила.
Представьте, что вы пытаетесь упаковать в чемодан пушистое зимнее пальто. Если просто с силой его придавить — оно скомкается и будет выглядеть ужасно. Так же и с ИИ: грубое сжатие рушит тонкие связи, в которых и живёт его «понимание».
Исследователи обнаружили проблему:
- Что ломается: Классический метод сжатия (RSVD) плохо работает с современными ИИ, потому что их «память» устроена сложно — важная информация не сконцентрирована в нескольких точках, а размазана.
- Что предложили: Вместо одного грубого сжатия — метод рандомизированной итерации подпространств (RSI). Это как несколько раз аккуратно встряхнуть и разгладить то самое пальто перед упаковкой, чтобы оно заняло меньше места, но не помялось.
- Результат: Новая техника позволяет сильнее сжимать модели (например, трансформеры и свёрточные сети), сохраняя при этом их практически исходную точность. RSVD с такой нагрузкой не справлялся.
Что это значит для вас
Значит ли это, что скоро мощный ИИ сможет работать на вашем смартфоне, не отправляя каждую запрос в облако?