AIGC宇宙 AIGC宇宙

显存

4090单卡跑满血版DeepSeek-R1,清华团队开源项目再破大模型推理门槛

DeepSeek-R1火遍海内外,但推理服务器频频宕机,专享版按GPU小时计费的天价成本更让中小团队望而却步。 而市面上所谓“本地部署”方案,多为参数量缩水90%的蒸馏版,背后原因是671B参数的MoE架构对显存要求极高——即便用8卡A100也难以负荷。 因此,想在本地小规模硬件上跑真正的DeepSeek-R1,被认为基本不可能。
2/12/2025 12:45:59 PM

阿里开源 支持10万亿模型的自研分布式训练框架EPL(Easy Parallel Library)

最近阿里云机器学习PAI平台和达摩院智能计算实验室一起发布“低碳版”巨模型M6-10T,模型参数已经从万亿跃迁到10万亿,规模远超业界此前发布的万亿级模型,成为当前全球最大的AI预训练模型。
3/30/2022 6:08:00 PM
阿里云大数据AI技术
  • 1