Nim
Открыть сайтNIM — это набор ускоренных микросервисов для вывода AI-моделей на NVIDIA GPU с низкой задержкой и высокой пропускной способностью, обеспечивающий масштабируемый и безопасный AI-инференс как в облаке, так и на собственной инфраструктуре.Подробнее
Что такое NIM
NIM — это платформа микросервисов для AI-инференса, разработанная NVIDIA. Она включает оптимизированные движки на базе TensorRT, Triton Inference Server, vLLM и других фреймворков, упрощающие развёртывание моделей.
Как использовать NIM
Для работы с NIM достаточно скачать контейнеры Docker или Helm-чарты, подключить их к вашей инфраструктуре NVIDIA GPU и вызывать API-эндпойнты микросервисов в приложениях через REST или gRPC.
Ключевые возможности NIM
- Низкая задержка и высокая пропускная способность инференса
- Поддержка популярных фреймворков: TensorRT, Triton, vLLM, SGLang
- Масштабирование через Kubernetes и Helm-чарты
- Облачное и on-premise развёртывание
- Метрики наблюдаемости и мониторинга
Где чаще используется NIM
NIM применяется в enterprise-сервисах, облачных и собственных ЦОД для чат-ботов, копилотов, мультимодального RAG, обработки видео и речи в реальном времени и аналитики на больших объёмах данных.
Новости
