Представьте себе модель, которая не просто распознаёт речь или классифицирует звуки, но понимает их, рассуждает и ведёт полноценный диалог — и всё это в открытом доступе. Именно такой шаг сделала NVIDIA, выпустив Audio Flamingo 3.
Audio Flamingo 3 – это полностью открытая Large Audio Language Model (LALM) с прорывными возможностями в аудиопонимании и логическом анализе более чем по 20 бенчмаркам. Забудьте о простом «что сказал человек» или «это музыка или шум»: новая модель умеет вникать в контекст, формулировать цепочку рассуждений и отвечать на многократные запросы по разным аудиофайлам.
Ключевые возможности Audio Flamingo 3
Во‑первых, модель поддерживает диалоги на нескольких аудиовходах: передали ей запись концерта, подкаста и шум вокруг — и она поспешит ответить на уточняющие вопросы. Во‑вторых, «on-demand thinking» позволяет получать поэтапные рассуждения (chain-of-thought) в ответ на сложные задания. И, наконец, аудиоконтекст может длиться до 10 минут, что позволяет разбирать длинные записи полностью.
AF3-Chat и экосистема данных
Помимо базовой модели NVIDIA представила AF3-Chat – вариант, настроенный специально для многопользовательского голосового чата «голос-в-голос». А чтобы сообщества разработчиков и исследователей могли быстро запустить свои эксперименты, NVIDIA выложила код, рецепты обучения и целых 4 новых датасета: AudioSkills‑XL (10 млн пар «вопрос-ответ»), LongAudio‑XL, AF‑Think и AF‑Chat.
В основе Audio Flamingo 3 лежат инновации в представлении аудио (единая энкодерная архитектура для речи, звуков и музыки) и оптимизированные стратегии обучения, а декодерная часть опирается на Qwen2.5‑7B — популярную LLM с открытым исходным кодом.
Открытость проекта гарантирует, что каждый сможет проверить идеи, предложить улучшения и встроить Audio Flamingo 3 в свои продукты — от интеллектуальных голосовых помощников до инструментов анализа музыки и длинных подкастов. Готовы к звуковой революции?
