Рекурсивные языковые модели (RLM) показывают, как преодолеть лимиты контекстных окон, перенося задачу из рамок одной длинной обработки в обработку через код и вспомогательные функции. Этот подход предполагает загрузку всего входного текста в интерпретатор Python — так называемый REPL — где модель как бы инспектирует его, пишет вспомогательные функции, вызывает под-модели и собирает итог. В итоге длина запроса перестает иметь значение: RLM разбивает задачу на части и сам управляет обработкой. Эта идея уже доказала эффективность на тестах: в CodeQA GPT-5 с классической точностью 24%, RLM достиг 62%, а без рекурсии — 66%. Аналоги показывают схожие результаты на сложных задачах, таких как задачи на длинный текст или обработку миллионов документов. В перспективе, эта технология позволяет агентам работать с массивами объемом в десятки миллионов токенов при приемлемой стоимости.
Компании уже внедряют RLM в свои системы: Prime Intellect создала RLMEnv — среду, использующую Python REPL, которая управляет вызовами суб-моделей и собирает ответы. В тестах в DeepDive, решении математических задач и копировании больших объемов информации их модели показали заметное улучшение успешности и надежности. Несмотря на пока что не полностью оптимизированные реализации и ограничения по глубине рекурсии, перспективы ясны: сочетание RLM, укрепленного обучения и автоматизации управления вызовами сделает возможным работу с миллионами и даже десятками миллионов токенов без деградации качества.
Что показывает этот тренд
- Модель больше не ограничена внутренним контекстом, а работает как программа, управляемая кодом
- Инференс на основе рекурсии и программных вызовов позволяет преодолевать 10-миллионный предел токенов
- Преимущество получают те, кто внедряет механизмы chunking, рекурсию и мультиинструментальность
- Внутренний рынок уже показывает, что системы с хорошей структурой данных и управлением вызовами — это будущее больших ЛЛМ
На ближайшие 12 месяцев ожидается, что тренд на автоматизированное управление памятью и вызовами под-моделей станет стандартом. Те команды, что научатся правильно управлять рекурсией, достигнут успеха в исследовательских задачах и коммерческих кейсах. В то же время, неизбежна борьба за оптимизацию стоимости и скорости, а создание универсальных фронтендов к подобным системам — важный этап. В целом, RLM превращаются в надежное решение для работы с по-настоящему большими объемами информации — так что индустрия движется к тому, чтобы превратить текстовые модели в полноценные программные агентства.
