Все открытия
06.04.20263 мин чтения

Чтобы сжать ИИ, его нужно сначала растянуть

Impact8/10
Wow Factor4/10

«Предложен метод сжатия больших предобученных моделей с использованием рандомизированной итерации подпространств, который превосходит стандартные рандомизированные методы по качеству аппроксимации и точности предсказаний при агрессивном сжатии.»

Гигантские ИИ-модели вроде GPT-4 невозможно запустить на обычном компьютере. Но стандартный способ их «похудеть» незаметно убивает их интеллект.

Стоп, что?

Математика, которая всё портила.

Представьте, что вы пытаетесь упаковать в чемодан пушистое зимнее пальто. Если просто с силой его придавить — оно скомкается и будет выглядеть ужасно. Так же и с ИИ: грубое сжатие рушит тонкие связи, в которых и живёт его «понимание».

Исследователи обнаружили проблему:

  • Что ломается: Классический метод сжатия (RSVD) плохо работает с современными ИИ, потому что их «память» устроена сложно — важная информация не сконцентрирована в нескольких точках, а размазана.
  • Что предложили: Вместо одного грубого сжатия — метод рандомизированной итерации подпространств (RSI). Это как несколько раз аккуратно встряхнуть и разгладить то самое пальто перед упаковкой, чтобы оно заняло меньше места, но не помялось.
  • Результат: Новая техника позволяет сильнее сжимать модели (например, трансформеры и свёрточные сети), сохраняя при этом их практически исходную точность. RSVD с такой нагрузкой не справлялся.

Что это значит для вас

Значит ли это, что скоро мощный ИИ сможет работать на вашем смартфоне, не отправляя каждую запрос в облако?

📚 Глоссарий этого выпуска

Низкоранговое сжатие
Метод уменьшения размера модели, оставляющий только самые важные математические «оси» данных.
Сингулярное разложение (SVD)
Математический способ разложить матрицу (например, слой нейросети) на основные компоненты, чтобы найти, что можно выкинуть.
Рандомизированная итерация подпространств (RSI)
Умный итеративный алгоритм, который находит эти основные компоненты точнее и быстрее, чем классические методы.