英伟达:DeepSeek-R1 模型现已上线 NIM 微服务平台

英伟达今日宣布,DeepSeek-R1 模型现已在 build.nvidia.com 上作为 NVIDIA NIM 微服务预览版提供。DeepSeek-R1 NIM 微服务可以在单个 NVIDIA HGX H200 系统上每秒提供多达 3,872 tokens。
感谢英伟达今日宣布,DeepSeek-R1 模型现已在 build.nvidia.com 上作为 NVIDIA NIM 微服务预览版提供。DeepSeek-R1 NIM 微服务可以在单个 NVIDIA HGX H200 系统上每秒提供多达 3,872 tokens。

英伟达:DeepSeek-R1 模型现已上线 NIM 微服务平台

据介绍,开发人员可以测试和试验应用程序编程接口(API),该接口预计将很快作为可下载的 NIM 微服务提供,这是 NVIDIA AI Enterprise 软件平台的一部分。

DeepSeek-R1 NIM 微服务通过支持行业标准 API 简化了部署。企业可以通过在其首选的加速计算基础设施上运行 NIM 微服务来最大限度地提高安全性和数据隐私。将 NVIDIA AI Foundry 与 NVIDIA NeMo 软件结合使用,企业还将能够为专用 AI 代理创建自定义的 DeepSeek-R1 NIM 微服务。

AI在线注意到,为方便各种规模的企业部署 AI 服务,英伟达于 2024 年 3 月 3 月推出了 NIM(Nvidia Inference Microservices)云原生微服务。

NIM 是一套经过优化的云原生微服务,旨在缩短上市时间,并简化生成式 AI 模型在云、数据中心和 GPU 加速工作站的任何位置的部署。它使用行业标准 API,抽象化 AI 模型开发和生产包装的复杂性,从而扩展开发者池。

相关资讯

英伟达点赞DeepSeek:是“出色的人工智能进步”

国产大模型公司DeepSeek的应用登顶苹果中国地区和美国地区应用商店免费APP下载排行榜,超越了ChatGPT。 这一成就不仅引起了市场的广泛关注,也对AI芯片龙头英伟达的股价产生了重大影响。 尽管如此,英伟达发言人仍然对DeepSeek给出了高度评价,称其为AI领域的一项卓越进步,并指出DeepSeek的工作展示了如何利用测试时间缩放技术、广泛可用的模型以及符合出口管制的计算资源来创建新型号。

英伟达 CEO 黄仁勋首次公开回应 DeepSeek:投资者误解,AI 发展仍需强大算力

在周四的一场线上活动中,英伟达公司首席执行官黄仁勋(Jensen Huang)表示,投资者对 DeepSeek 在人工智能领域取得的进展存在误解,这导致了市场对英伟达股票的错误反应。

黄仁勋怒怼市场 “你们都搞错了!”:DeepSeek R1 不是来砸场子, 反而是 Nvidia 的 “神助攻”

“你们都搞错了!” 近日, 英伟达掌门人 罕见 “ 动怒 ” , 公开回应了市场对中国 AI 创企 DeepSeek 发布 R1模型的 “ 过度 ” 反应。 在黄仁勋看来, DeepSeek R1的 横空出世非但不是 对 Nvidia 的 “ 饭碗 ” 构成 威胁, 反而是加速AI发展的重大利好, 对英伟达而言 更是 “ 神助攻 ” 一般的存在。 事情起因于今年1月 DeepSeek 发布 R1模型 后, 市场普遍认为 R1的高效性意味着未来AI发展将不再需要如此庞大的算力资源, 这直接导致Nvidia股价单日暴跌16.9%, 市值瞬间蒸发数百亿美元。