Nvidia在其GTC大会上宣布推出Nvidia NIM，这是一个旨在简化将定制和预训练的AI模型部署到生产环境中的新软件平台。NIM将Nvidia围绕推理和优化模型所做的软件工作结合起来，通过将给定模型与优化的推理引擎结合，并将其打包成一个容器，使其作为微服务可供使用。
Nvidia在其GTC大会上宣布推出了一项重要举措：Nvidia NIM。这一新的软件平台旨在简化将定制和预训练的AI模型部署到生产环境中的过程。据悉，NIM将Nvidia围绕推理和优化模型所做的软件工作结合起来，使其易于访问。这是通过将给定模型与优化的推理引擎相结合，然后将其打包成一个容器，使其作为微服务可供使用。
通常情况下，开发人员需要花费几周甚至几个月的时间才能发布类似的容器。而有了NIM，Nvidia显然旨在创建一个AI准备就绪的容器生态系统，这些容器使用其硬件作为基础层，并以这些经过筛选的微服务作为公司加速AI路线图的核心软件层。
当前，NIM已经支持来自NVIDIA、A121、Adept、Cohere、Getty Images和Shutterstock的模型，以及来自Google、Hugging Face、Meta、Microsoft、Mistral AI和Stability AI的开放模型。Nvidia已经与亚马逊、谷歌和微软合作，将这些NIM微服务集成到了SageMaker、Kubernetes Engine和Azure AI等框架中。
“我们相信Nvidia GPU是运行这些模型推理的最佳地方，而且我们认为NVIDIA NIM是开发人员构建之上的最佳软件包，最佳运行时，以便他们可以专注于企业应用程序——并且只需让Nvidia以最有效的企业级方式为他们生产这些模型，这样他们就可以完成其余工作。”Nvidia企业计算负责人Manuvir Das在今天的发布会上表示。
至于推理引擎，Nvidia将使用Triton Inference Server、TensorRT和TensorRT-LLM。通过NIM可用的一些Nvidia微服务包括用于定制语音和翻译模型的Riva、用于路由优化的cuOpt以及用于天气和气候模拟的Earth-2模型。
该公司计划随着时间的推移增加额外的功能，例如将Nvidia RAG LLM操作器作为NIM提供，从而承诺使构建生成式AI聊天机器人，并能够拉取自定义数据变得更加容易。
这次发布会少不了一些客户和合作伙伴的宣布。目前，NIM的部分用户包括Box、Cloudera、Cohesity、Datastax、Dropbox和NetApp等企业平台。
NVIDIA创始人兼CEOJensen Huang表示：“已建立的企业平台拥有可以转化为生成式AI副驾驶的数据宝库。与我们的合作伙伴生态系统共同创建，这些容器化的AI微服务是各行各业企业成为AI公司的基石。”
