美团开源

美团开源首发 INT8 无损满血版 DeepSeek R1,部署 A100 实现 50% 吞吐提升

目前,量化代码已经合入到了开源 LLM 推理框架 SGLang,量化模型已经发布到了 Hugging Face 社区,方便用户使用。
  • 1