На конференции GTC компания Nvidia представила новую программную платформу Nvidia NIM, предназначенную для упрощения запуска пользовательских и предварительно обученных моделей искусственного интеллекта в производственных средах. NIM объединяет оптимизированные модели и движок вывода в контейнер, делая их доступными в виде микросервисов.
Ранее разработка подобных контейнеров занимала разработчикам недели, а то и месяцы. С NIM компания стремится создать экосистему готовых к использованию микросервисов для ускорения разработки и реализации проектов искусственного интеллекта.
Платформа уже поддерживает модели от различных компаний, таких как NVIDIA, A121, Adept, Cohere, Getty Images и других, а также открытые модели от Google, Hugging Face, Microsoft и других.
Nvidia планирует интегрировать NIM с SageMaker от Amazon, Kubernetes Engine от Google и Azure AI от Microsoft, а также с различными фреймворками.
В рамках NIM компания предоставляет ряд микросервисов, включая Riva для настройки моделей речи и перевода, cuOpt для оптимизации маршрутизации и модель Earth-2 для симуляций погоды и климата.