AIGC宇宙 AIGC宇宙

DeepSeek推理引擎开源新路径,助力vLLM生态再升级

作者:AI在线
2025-04-16 02:01
最近,DeepSeek 宣布了一项重要决定:将其自研的推理引擎进行开源,但并不会直接向公众开放完整的代码库。 相反,他们选择与现有的开源项目 vLLM 合作,致力于分享核心的优化成果。 这一举动旨在解决开源社区中普遍存在的代码库分歧、基础设施依赖及维护资源有限等难题。

最近,DeepSeek 宣布了一项重要决定:将其自研的推理引擎进行开源,但并不会直接向公众开放完整的代码库。相反,他们选择与现有的开源项目 vLLM 合作,致力于分享核心的优化成果。这一举动旨在解决开源社区中普遍存在的代码库分歧、基础设施依赖及维护资源有限等难题。

DeepSeek

图源备注:图片由AI生成,图片授权服务商Midjourney

DeepSeek 计划提取出可复用的特性,并将这些优化细节贡献给 vLLM,从而推动整个社区项目的性能提升。值得一提的是,早在此前,vLLM 就已经吸收了 DeepSeek 的一些优化,导致其性能有了显著的提升。通过这样的合作,DeepSeek 和 vLLM 将共同确保,在新模型发布时,社区用户能够享受到最先进的推理支持。

DeepSeek 的这一决策不仅显示了其开放的态度,也反映了当前开源领域的发展趋势。许多企业意识到,单靠闭源的方式已无法满足市场对创新和灵活性的需求。通过合作与共享,能够更有效地解决技术挑战,同时促进整个行业的发展。

未来,DeepSeek 与 vLLM 的持续协作将为广大的开发者和研究者提供更多的资源和支持。两者的紧密合作,预示着在推理技术的道路上,社区将迎来更多的进步与创新。

相关标签:

相关资讯

Pipeshift推出模块化推理引擎,实现AI推理GPU使用率降低75%

近日,初创公司 Pipeshift 推出了一款全新的端到端平台,旨在帮助企业更高效地训练、部署和扩展开源生成式 AI 模型。 该平台不仅可以在任何云环境或本地 GPU 上运行,还能够显著提升推理速度和降低成本。 随着 AI 技术的迅猛发展,许多企业面临着如何在多种模型之间高效切换的挑战。
1/24/2025 10:04:00 AM
AI在线

从本地部署到企业级服务:十种主流LLM推理框架的技术介绍与对比

大语言模型(Large Language Models, LLMs)的部署是一项具有技术挑战性的工作。 随着模型架构日益复杂,以及硬件需求不断提升,部署过程变得愈发复杂。 业界已经发展出多种解决方案,使LLM的部署和扩展变得更加便捷。
12/2/2024 2:41:00 PM
Gautam Chutani

使用 VLLM 部署 DeepSeek:基于 Ubuntu 22.04 + RTX 4090 + Docker 的完整指南

最近,大语言模型(LLM)的部署已经成为 AI 开发者绕不开的核心技能。 而 VLLM 作为一款高性能、低延迟的推理引擎,在大模型推理领域迅速崛起。 今天,我就带大家从零开始,在 Ubuntu 22.04 RTX 4090 Docker 环境下,部署 DeepSeek模型,并让它跑起来!
3/12/2025 12:37:50 PM
写代码的中年人