通义千问 Qwen 2.5-Max 超大规模 MoE 模型发布:号称优于 Deepseek V3 等竞品,暂未开源

据介绍,通义千问 Qwen 2.5-Max 使用超过 20 万亿 token 的预训练数据及精心设计的后训练方案进行训练。
感谢新年之际,阿里云公布了其全新的通义千问 Qwen 2.5-Max 超大规模 MoE 模型,大家可以通过 API 的方式进行访问,也可以登录 Qwen Chat 进行体验,例如直接与模型对话,或者使用 artifacts、搜索等功能。

通义千问 Qwen 2.5-Max 超大规模 MoE 模型发布:号称优于 Deepseek V3 等竞品,暂未开源

据介绍,通义千问 Qwen 2.5-Max 使用超过 20 万亿 token 的预训练数据及精心设计的后训练方案进行训练。

性能

阿里云直接对比了指令模型的性能表现(AI在线注:指令模型即我们平常使用的可以直接对话的模型)。对比对象包括 DeepSeek V3、GPT-4o 和 Claude-3.5-Sonnet,结果如下:

通义千问 Qwen 2.5-Max 超大规模 MoE 模型发布:号称优于 Deepseek V3 等竞品,暂未开源

在 Arena-Hard、LiveBench、LiveCodeBench 和 GPQA-Diamond 等基准测试中,Qwen2.5-Max 的表现超越了 DeepSeek V3,同时在 MMLU-Pro 等其他评估中也展现出了极具竞争力的成绩。

在基座模型的对比中,由于无法访问 GPT-4o 和 Claude-3.5-Sonnet 等闭源模型的基座模型,阿里云将 Qwen2.5-Max 与目前领先的开源 MoE 模型 DeepSeek V3、最大的开源稠密模型 Llama-3.1-405B,以及同样位列开源稠密模型前列的 Qwen2.5-72B 进行了对比。对比结果如下图所示:

通义千问 Qwen 2.5-Max 超大规模 MoE 模型发布:号称优于 Deepseek V3 等竞品,暂未开源

我们的基座模型在大多数基准测试中都展现出了显著的优势。我们相信,随着后训练技术的不断进步,下一个版本的 Qwen2.5-Max 将会达到更高的水平。

相关资讯

AI 发现16万种新RNA病毒成果登上《Cell》后,我们和阿里云算法专家贺勇聊了聊

近期,AI for Science 领域的惊喜不断,持续在物理、化学、生物领域开花结果。 不仅诺贝尔物理和化学奖双双颁给 AI 领域的科学家,阿里云与中山大学的科研也带来了RNA病毒寻找的突破,国际顶级学术期刊《Cell》收录了这一研究论文。 《基于人工智能探索和记录隐藏的RNA病毒世界》论文提出深度学习模型"LucaProt",用于快速准确判别RNA病毒,颠覆传统病毒发现方法。

720亿参数大模型都拿来开源了!通义千问开源全家桶,最小18亿模型端侧都能跑

目前,通义千问开源全家桶已经有了 18 亿、70 亿、140 亿、720 亿参数量的 4 款基础开源模型,以及跨语言、图像、语音等多种模态的多款开源模型。「Qwen-72B 模型将于 11 月 30 日发布。」前几天,X 平台上的一位网友发布了这样一则消息,消息来源是一段对话。他还说,「如果(新模型)像他们的 14B 模型一样,那将是惊人的。」有位网友转发了帖子并配文「千问模型最近表现不错」。这句话里的 14B 模型指的是阿里云在 9 月份开源的通义千问 140 亿参数模型 Qwen-14B。当时,这个模型在多个权

闭源赶超GPT-4 Turbo、开源击败Llama-3-70B,歪果仁:这中国大模型真香

在发布一周年之际,阿里云通义千问大模型在闭源和开源领域都交上了一份满意的答卷。国内的开发者们或许没有想到,有朝一日,他们开发的 AI 大模型会像出海的网文、短剧一样,让世界各地的网友坐等更新。甚至,来自韩国的网友已经开始反思:为什么我们就没有这样的模型?这个「别人家的孩子」就是阿里云的通义千问(英文名为 Qwen)。在过去的一年里,我们经常能够在 X 等社交平台上看到它的身影。这些帖子一般有两个主题:通义千问又开源新模型了!通义千问新模型还挺好用!还有人以通义千问为例,反驳中国在人工智能方面落后的说法。而且,这一反