Большие языковые модели прекрасно разбираются в тексте, но… иногда спотыкаются на простейших математических задачах. Знакомо? MIT‑ученые тоже заметили этот парадокс и предложили нестандартную «тренировку» для LLM: встречайте CodeSteer.
Незаметный помощник
CodeSteer – это компактная нейросеть, которая выступает своего рода «коучем» для больших моделей. Представьте, что вы решаете головоломку: иногда проще взять калькулятор, а иногда – положиться на логику. CodeSteer определяет, когда стоит писать код, а когда хватит обычного описания, и шаг за шагом ведёт LLM к верному ответу.
Проверка на практике
В тестах на 37 разных заданий – от умножения чисел до игры в судоку и планирования маршрутов – CodeSteer поднял точность более чем на 30 %. Простой пример: модель путалась при сравнении 9.11 и 9.9, а Python‑скрипт решал вопрос без ошибок. В итоге средняя точность выросла с 53,3 % до 86,4 %.
Планы на горизонте
Команда MIT не останавливается: готовится ускоренный вариант CodeSteer и попытка слить «коуча» с основной LLM в единую систему. Как говорит Чучу Фан, важно дать моделям инструменты, а не гнаться за бесконечным наращиванием их «мышц». Кажется, LLM к этому готовы.
