В эпоху, когда большие языковые модели (LLMs) работают с десятками тысяч токенов, размер их кеша ключ-значение превращается в узкое место. Обычные трансформеры, такие как Llama1-65B при 128 тысячах токенов, занимают сотни гигабайт памяти, что ограничивает скорость и масштабируемость. Неудивительно, что инженеры ищут способы уменьшить объём данных для обработки.
Существовали методы архитектурного сжатия, например, группировка запросов или генерирование с меньшими размерами ключей, но они не меняли последовательность данных и не устраняли самые объемные блоки. Другие техники — выборки и спарринг-обattention — помогали уменьшить память, но сохраняли все токены и требовали дорогостоящей очистки или фильтрации. В итоге наиболее перспективным стал подход, ориентированный на удаление «незначимых» элементов кеша.
Разработка и идеи NVIDIA: от oracle-скоров до предиктивных моделей
NVIDIA создала KVpress — платформу, объединяющую десятки методов очистки кеша и тестирующую их на едином бенчмарке. Лучшие результаты демонстрируют KVzip и его расширенная версия KVzip+. Этот метод оценивает важность каждой записи через «оракульский» сценарий — пропуская ранее пройдённый длинный променад и анализируя, насколько важна каждая ключ-значение паре для воспроизведения исходного контекста. Три шага дают возможность падения объёма кеша в 4-6 раз без смысленных потерь.
Но такой метод чрезвычайно тяжёл для вычислений при генерации — он требует восстановления всей истории для определения важности каждого блока. Решение от NVIDIA — KVzap — аналитическая модель, которая учится предсказывать важность по скрытым состояниям трансформера. Быстро и просто, она берет внутренний вектор устройства и выдаёт значение, показывающее, насколько эта часть важна для будущего ответа.
Как работает KVzap и почему это важно для индустрии
KVzap реализована двумя архитектурами: линейной и MLP (многослойным перцептроном). Обучается она на сотни тысяч примеров, где модель учится предсказывать важность элементов кеша, основываясь на скрытом виде токенов. После обучения она способна в реальном времени назначать важности прямо по внутренним векторным представлениям, позволяя динамически отсеивать незначимые части кеша без существенной потери точности.
Эксперименты показали, что такая предикция снижает нагрузку на память в 2-3 раза — а иногда и более — без существенного ухудшения работы модели. Время вычисления очень мало: дополнительные FLOPs — около 1% от внимания. При этом все остаётся на открытом исходнике и интегрируется в существующие системы обработки длинных текстов.
Области применения не ограничиваются теоретикой. От моделирования научных текстов до диалоговых систем — KVzap помогает ускорить обработку, снизить затраты и расширить возможности масштабирования. В будущем ожидается, что алгоритмы предсказания важности станут стандартом при работе с длинными последовательностями, заменяя долгие и дорогостоящие эвристики.
Эта идея — часть общего тренда: индустрия всё сильнее склоняется к интеллектуальной предикции и адаптивной компрессии. В течение ближайших месяцев мы увидим новые релизы с интеграцией подобных методов, а крупные компании конкурируют за то, кто лучше сбалансирует скорость и точность. KVzap — яркий пример, что даже у классического подхода — кеширования — появился качественный конкурент.
