Революционные трансформеры используют механизмы внимания и архитектуры Mixture-of-Experts, чтобы масштабировать вычисления, но у них отсутствует встроенный способ поиска знаний. Обычно они перепрорабатывают одни и те же паттерны, что ведёт к неэффективности.
Компания DeepSeek представила модуль Engram, который добавляет условную память, дополняющую MoE и позволяющую быстро искать статичные фразы и сущности через обновлённую версию N-грамм. Такой подход превращает классические embedding в масштабируемый и постоянный по времени поиск памяти, интегрированный прямо в ядро трансформера.
Engram — это память, которая хранит статичные паттерны, что позволяет модели сосредоточиться на сложных рассуждениях и долгосрочных связях. Она использует хешированные таблицы N-грамм, многоголовое хеширование и контекстное управление активацией, чтобы быстро доставать нужные знания.
На больших моделях типа Engram-27B и Engram-40B она делит параметры с MoE-бэкбоном и использует до 18,5 миллиарда параметров памяти. Исследования показывают, что при делении ресурсов на память и экспертов модели получают преимущества в качестве, выигрывая у чистого MoE, даже выделяя лишь 25% параметров на память.
Эксперименты на предобучении на 100 миллиардов токенов выявили, что увеличение таблицы памяти продолжает снижать ошибку по мере роста — память становится всё более ценным ресурсом без увеличения вычислительных затрат.
При обучении моделей на 262 миллиарда токенов Engram и MoE демонстрируют разные показатели. Engram-27B показывает лучшую перплексию и точность на задачах типа MMLU, CMMLU и логических тестах, а также в задачах программирования и математики, показывая, что добавление статической памяти реально повышает качество. Особенно хорошо заметно улучшение при выполнении задач, связанных с фактологическими знаниями и глубокой логикой.
После тренировки инженеры расширили окно контекста до 32 тысяч токенов, использовав YaRN. Исследования показывают, что Engram-27B быстрее стабилизирует свои представления и лучше взаимодействует с глубинными слоями MoE, что говорит о том, что память фактически увеличивает глубину модели, помогая ей лучше фиксировать и использовать статичные знания.
Постоянные абляции и настройки показывают необходимость правильной ранней интеграции Engram и мультигнучных связей для максимальной эффективности. Анализы через LogitLens и сравнение Kernel Alignment подтверждают, что Engram усиливает фукции памяти внутри модели и способствует фиксации фактических знаний, а не случайных шумов.
Главное — Engram добавляет мощную статичную память, которая позволяет динамически сосредоточиться на reasoning и генерации, перераспределяя 20-25% параметров ресурсов. Этот подход превосходит чистый MoE по многим задачам, требующим фактических знаний, и помогает расширять контекст и глубину модели без разрушения эффективности.
