Meta 发布新一代 AI 训练与推理芯片,性能为初代芯片三倍

Meta Platforms 当地时间 10 日发布了其训练与推理加速器项目(MTIA)的最新版本,MTIA 是 Meta 专门为 AI 工作负载设计的定制芯片系列。据介绍,此次发布的新一代 MTIA 与第一代 MTIA 相比,显著改进了性能,并有助于强化内容排名和推荐广告模型。其架构从根本上侧重于提供计算、内存带宽和内存容量的适当平衡。该芯片还可帮助提高训练效率,使推理(即实际推理任务)变得更容易。Meta 在其官方博客文章中表示,“实现我们对定制芯片的雄心壮志,意味着我们不仅要投资于计算芯片,还要投资于内存带宽

Meta Platforms 当地时间 10 日发布了其训练与推理加速器项目(MTIA)的最新版本,MTIA 是 Meta 专门为 AI 工作负载设计的定制芯片系列。

Meta 发布新一代 AI 训练与推理芯片,性能为初代芯片三倍

Meta 发布新一代 AI 训练与推理芯片,性能为初代芯片三倍

据介绍,此次发布的新一代 MTIA 与第一代 MTIA 相比,显著改进了性能,并有助于强化内容排名和推荐广告模型。其架构从根本上侧重于提供计算、内存带宽和内存容量的适当平衡。

Meta 发布新一代 AI 训练与推理芯片,性能为初代芯片三倍

该芯片还可帮助提高训练效率,使推理(即实际推理任务)变得更容易。Meta 在其官方博客文章中表示,“实现我们对定制芯片的雄心壮志,意味着我们不仅要投资于计算芯片,还要投资于内存带宽、网络和容量以及其他下一代硬件系统。”

目前,MTIA 主要训练排名和推荐算法,但 Meta 表示,其目标是最终扩展芯片功能,开始训练生成式人工智能,如其 Llama 语言模型。

此次发布的新一代 MTIA 芯片据悉将“从根本上”侧重于提供计算、内存带宽和内存容量之间的适当平衡。该芯片拥有 256MB 的片上内存和 1.35GHz 的主频,采用台积电 5nm 工艺制造,相较于第一代产品的 128MB 和 800MHz 实现了显著提升。

Meta 发布新一代 AI 训练与推理芯片,性能为初代芯片三倍

Meta 公司的早期测试结果显示,在该公司评估的四种型号中,新芯片的性能达到第一代的三倍。IT之家附该芯片详细参数与前代产品的对比如下图:

Meta 发布新一代 AI 训练与推理芯片,性能为初代芯片三倍

当前该芯片已在数据中心部署,并为 AI 应用提供服务。

相关资讯

用什么tricks能让模型训练得更快?先了解下这个问题的第一性原理

深度学习是门玄学?也不完全是。

7nm制程,比GPU效率高,Meta发布第一代AI推理加速器

近日,Meta 透露了其在人工智能方面取得的最新进展。

Meta宣布全新训推一体加速器:完全集成PyTorch 2,性能3倍提升

Meta 疯狂砸入数十亿美元,一部分招揽人才,一部分造芯片。Meta 正在不遗余力地想要在生成式 AI 领域赶上竞争对手,目标是投入数十亿美元用于 AI 研究。这些巨资一部分用于招募 AI 研究员。但更大的一部分用于开发硬件,特别是用于运行和训练 Meta AI 模型的芯片。在英特尔宣布其最新人工智能加速器硬件的第二天,Meta 便迅速公布了关于芯片研发的最新成果:下一代 MTIA(Meta Training and Inference Accelerator),其中 MTIA 是专为 Meta AI 工作负载而设