AIGC宇宙 AIGC宇宙

Comet

万卡集群真实部署，已节省数百万 GPU 小时！MoE 通信优化技术 COMET 开源

万卡集群真实部署，已节省数百万 GPU 小时！MoE 通信优化技术 COMET 开源
当前，MoE 架构是业界拓展模型规模的重要方向，然而，其在分布式训练中存在的大量通信开销，仍严重制约了训练效率和成本。 为攻克这一瓶颈，豆包大模型团队提出了一个全新的通信优化系统 COMET，通过更精准、细粒度的计算-通信重叠技术，在大规模 MoE 模型上可达到单层 1.96 倍加速，端到端平均 1.71 倍效率提升，且在不同并行策略、输入规模及硬件环境下均表现稳定。 目前，COMET 已实际应用于万卡级生产集群，助力 MoE 模型高效训练，并已累计节省了数百万 GPU 小时资源。
4/3/2025 12:00:00 AM
豆包大模型团队
大模型效率狂飙：字节COMET技术开源，提速1.7倍

大模型效率狂飙：字节COMET技术开源，提速1.7倍
字节跳动旗下豆包大模型团队近日宣布，成功攻克混合专家模型（MoE）架构的关键瓶颈，并开源一项名为COMET的重大优化技术。 该技术显著提升了大模型的训练效率，实现了高达1.7倍的效率提升，并有效降低了40%的训练成本。 图源备注:图片由AI生成，图片授权服务商Midjourney据介绍，COMET技术已在字节跳动的万卡集群训练中得到实际应用，累计节省了数百万GPU小时的训练算力。
3/10/2025 5:59:00 PM
AI在线
  • 1