4 марта 2026 года YuanLab AI объявила о выходе Yuan 3.0 Ultra — крупной мультимодальной модели с архитектурой Mixture-of-Experts (MoE), насчитывающей 1 триллион параметров.
Главная инновация — алгоритм LAEP (Layer-Adaptive Expert Pruning), который выявляет и убирает неэффективных экспертов во время предобучения, а не после. Исследования показали, что в моделях происходит две фазы нагрузки экспертов: начальный стадий с высокой нестабильностью и потом стабильная, когда нагрузка выравнивается.
В процессе LAEP модель сокращалась со 1.5 трлн до 1 трлн параметров, снизив их на треть, осталась эффективной по всем доменам, при этом уменьшились требования к памяти для развертывания. Например, в конфигурации 1 трлн параметров число экспертов на слой снизилось с 64 до 48.
Чтобы решить проблему дисбаланса нагрузки между устройствами, Yuan 3.0 Ultra внедрила алгоритм Rearranging Experts, который сортирует экспертов по нагрузке и перераспределяет их по GPU, повышая эффективность на 49%.
В области обучения с подкреплением модель использует RIRM — механизм наград, который дорабатывает нюансы рефлексии: за увеличение времени размышления снижается награда за правильный ответ, а неправильные варианты штрафуются жестче. Это повысило точность обучения на 16%, а длину ответа сократило на 14%.
По сравнению с лидерами индустрии вроде GPT-5.2 и Gemini 3.1 Pro, Yuan 3.0 Ultra показывает лучшие результаты по основным бенчмаркам: 67,4% в multimodal retrieval, 68,2% в текстовом поиске, 62,3% в табличных задачах, 62,8% в суммировании и более. Это доказывает, что модель не только мощная и универсальная, но и впереди планеты всей по эффективности.
В дальнейшем YuanLab планирует расширение возможностей модели, улучшение алгоритмов оптимизации и продолжение внедрения инновационных методов в архитектуру MoE. Все показатели указывают, что индустрия переходит от простого масштабирования к умной оптимизации — и Yuan 3.0 Ultra является ярким примером этого тренда.
