Hugging Face представила новую языковую модель SmolLM-3B, сочетающую компактность, поддержку длинного контекста и многоязычные возможности.
Модель SmolLM-3B обладает 3 миллиардами параметров и способна обрабатывать до 64 000 токенов контекста. Она была разработана на базе архитектуры Transformer с улучшениями, обеспечивающими высокую скорость и эффективность, в том числе благодаря использованию метода Flash Attention v2.
Основной акцент в SmolLM сделан на универсальность: модель может работать с 20 языками, включая английский, испанский, китайский, немецкий и французский. Обучение проходило на открытом датасете RefinedWeb, а также на многоязычных корпусах и синтетических инструкциях.
В Hugging Face подчёркивают, что SmolLM показывает уверенные результаты в задачах рассуждения и понимания инструкций, несмотря на относительно малый объём параметров. В тестах MMLU и ARC модель продемонстрировала сопоставимые показатели с более крупными LLM.
Разработчики также подчеркивают прозрачность процесса: весь код, веса модели и логи обучения выложены в открытом доступе, что способствует развитию исследовательского сообщества и возможности дообучения под специфические задачи.
По мнению аналитиков, SmolLM-3B может занять нишу в системах, где требуется сбалансированное соотношение между производительностью, стоимостью и поддержкой длинного контекста. Модель особенно интересна для многоязычных чат-ботов, корпоративных агентов и задач, требующих локального развертывания.
