Китайские ученые представили Stream-Omni — революционную мультимодальную AI-систему, способную одновременно понимать и обрабатывать текст, изображения и речь в реальном времени. Новая архитектура обещает повысить естественность и эффективность взаимодействия человека и искусственного интеллекта.
В Институте вычислительной техники Китайской академии наук разработали инновационную модель искусственного интеллекта Stream-Omni, которая впервые объединяет три ключевые способности: "видеть", "слышать" и "говорить". В отличие от предыдущих AI-ассистентов, которые обычно специализируются только на одной из этих задач, Stream-Omni реализует комплексный подход к обработке информации разных типов.
Главная особенность Stream-Omni — уникальная стратегия "поиска соответствий" между различными модальностями. Для обработки изображений и текста система использует параллельное выравнивание, что позволяет максимально точно связывать визуальные объекты с их описаниями. Для работы с речью применяется двухуровневая интеграция: на входе и выходе языкового центра, что обеспечивает быструю и точную конвертацию между устной и письменной формами.
Одна из ключевых проблем в развитии мультимодальных AI — нехватка качественных обучающих данных, одновременно содержащих текст, изображения и звук. Команда решила этот вопрос с помощью генерации собственных датасетов: к существующим парам "текст-изображение" добавлялись синтезированные аудиодорожки, что позволило создать полноценную обучающую базу.
В тестах Stream-Omni показал выдающиеся результаты: по визуальному пониманию модель не уступает лучшим специализированным системам, а по распознаванию и генерации речи превосходит многие современные аналоги, используя при этом меньше обучающих данных. В задачах, где требуется одновременное понимание изображения и устного запроса, система демонстрирует высокую точность и скорость отклика.
Эксперты отмечают, что появление Stream-Omni знаменует собой новый этап в развитии AI-ассистентов. Благодаря гибкой архитектуре и открытости исходного кода, технология может стать основой для будущих коммерческих и исследовательских решений, способных сделать взаимодействие с искусственным интеллектом еще более естественным и удобным для пользователей.
