AIGC宇宙 AIGC宇宙

LLaMA

扎克伯格：联想基于 Meta Llama 大模型构建个人 AI 智能体 AI Now

扎克伯格：联想基于 Meta Llama 大模型构建个人 AI 智能体 AI Now
感谢联想集团今日在美国西雅图召开年度 Tech World 大会。联想 CEO 杨元庆在主题演讲中，与 Meta 创始人兼 CEO 马克・扎克伯格一道宣布，联想与 Meta 合作基于 Llama 大模型推出面向 PC 的个人 AI 智能体 ——AI Now。扎克伯格通过视频在主题演讲上表示，联想与 Meta 已经合作多年，推出了许多卓越的创新成果，将突破性的 AI 和混合现实技术带给更多人，共同构建一个更加智能的未来。
10/16/2024 7:33:12 AM
-
Sebastian Raschka最新博客：从头开始，用Llama 2构建Llama 3.2

Sebastian Raschka最新博客：从头开始，用Llama 2构建Llama 3.2
十天前的 Meta Connect 2024 大会上，开源领域迎来了可在边缘和移动设备上的运行的轻量级模型 Llama 3.2 1B 和 3B。两个版本都是纯文本模型，但也具备多语言文本生成和工具调用能力。Meta 表示，这些模型可让开发者构建个性化的、在设备本地上运行的通用应用 —— 这类应用将具备很强的隐私性，因为数据无需离开设备。近日，机器学习研究员 Sebastian Raschka 光速发布长篇教程《Converting Llama 2 to Llama 3.2 From Scratch》。博文链接：《
10/6/2024 7:00:00 PM
机器之心
AMD 推出自家首款小语言 AI 模型“Llama-135m ”，主打“推测解码”能力可减少 RAM 占用

AMD 推出自家首款小语言 AI 模型“Llama-135m ”，主打“推测解码”能力可减少 RAM 占用
AMD 在 Huggingface 平台公布了自家首款“小语言模型”AMD-Llama-135m，该模型具有推测解码功能，拥有 6700 亿个 token，采用 Apache 2.0 开源许可，AI在线附模型地址如下（点此访问）。据介绍，这款模型主打“推测解码”能力，其基本原理是使用小型草稿模型生成一组候选 token，然后由更大的目标模型进行验证。这种方法允许每次前向传递生成多个 token，而不会影响性能，从而显著减少 RAM 占用，实现效率提升。AMD 表示，这款模型在四个 AMD Instinct MI25
9/29/2024 5:08:32 PM
漾仔
刚刚，Llama 3.2 来了！支持图像推理，还有可在手机上运行的版本

刚刚，Llama 3.2 来了！支持图像推理，还有可在手机上运行的版本
今天凌晨，大新闻不断。一边是 OpenAI 的高层又又又动荡了，另一边被誉为「真・Open AI」的 Meta 对 Llama 模型来了一波大更新：不仅推出了支持图像推理任务的新一代 Llama 11B 和 90B 模型，还发布了可在边缘和移动设备上的运行的轻量级模型 Llama 3.2 1B 和 3B。不仅如此，Meta 还正式发布了 Llama Stack Distribution，其可将多个 API 提供商打包在一起以便模型方便地调用各种工具或外部模型。此外，他们还发布了最新的安全保障措施。真・Open AI
9/26/2024 2:33:00 PM
机器之心
端侧最强开源 AI 模型 Llama 3.2 登场：可在手机运行，从 1B 纯文本到 90B 多模态，挑战 OpenAI 4o mini

端侧最强开源 AI 模型 Llama 3.2 登场：可在手机运行，从 1B 纯文本到 90B 多模态，挑战 OpenAI 4o mini
Meta 公司昨日（9 月 25 日）发布博文，正式推出了 Llama 3.2 AI 模型，其特点是开放和可定制，开发者可以根据其需求定制实现边缘人工智能和视觉革命。Llama 3.2 提供了多模态视觉和轻量级模型，代表了 Meta 在大型语言模型（LLMs）方面的最新进展，在各种使用案例中提供了更强大的功能和更广泛的适用性。其中包括适合边缘和移动设备的中小型视觉 LLMs （11B 和 90B），以及轻量级纯文本模型（1B 和 3B），此外提供预训练和指令微调（instruction-tuned）版本。AI在线附
9/26/2024 7:01:35 AM
故渊
英伟达发布 Llama-3.1-Nemotron-51B AI 模型：创新神经架构搜索等技术让单 H100 GPU 运行 4 倍以上负载

英伟达发布 Llama-3.1-Nemotron-51B AI 模型：创新神经架构搜索等技术让单 H100 GPU 运行 4 倍以上负载
英伟达 9 月 23 日发布博文，宣布推出 Llama-3.1-Nemotron-51B AI 模型，源自 Meta 公司的 Llama-3.1-70B，不过创新使用神经架构搜索（NAS）方法，建立了一个高度准确和高效的模型。Llama-3.1-Nemotron-51B 简介Llama-3.1-Nemotron-51B AI 模型基于 Meta 公司 2024 年 7 月发布的 Llama-3.1-70B 模型，共有 510 亿参数。该 AI 模型主要采用了神经架构搜索（NAS）技术微调，平衡性能和效率，在高工作负
9/25/2024 1:40:33 PM
故渊
Meta 公布 Llama AI 模型家族下载量数据：全球超 3.5 亿、3.1-405B 模型最受欢迎

Meta 公布 Llama AI 模型家族下载量数据：全球超 3.5 亿、3.1-405B 模型最受欢迎
Meta 公司昨日发布新闻稿披露了旗下 Llama 开源 AI 模型家族在 Hugging Face 的下载量情况，仅在上个月（8 月 1 日- 8 月 31 日），相关模型的下载次数就超过了 2000 万次，截至 9 月 1 日，Llama 模型家族全球下载量已突破 3.5 亿次。参考AI在线报道，Meta 公司在今年 4 月发布了 LLM Llama 3，于今年 7 月推出了 Llama 3.1，将上下文长度扩展至 128K，新增支持 8 种语言，并首次提供了 405B 参数版本，Meta 提到，目前“Llam
9/3/2024 9:50:06 PM
漾仔
一年翻番，OpenAI 称 ChatGPT AI 聊天机器人全球周活跃用户数量破 2 亿

一年翻番，OpenAI 称 ChatGPT AI 聊天机器人全球周活跃用户数量破 2 亿
科技媒体 Axios 今天（8 月 30 日）发布博文，报道称 OpenAI 的 AI 聊天机器人目前周活跃用户数量已经超过 2 亿，短短 1 年时间实现翻倍。OpenAI 还表示在全球财富 500 强企业中，92% 正在使用其产品；自 7 月份发布 GPT-4o mini 以来，其自动 API 的使用量已翻了一番。首席执行官山姆・阿尔特曼（Sam Altman）在给该媒体的一份声明中表示：人们正在使用我们的工具，将其融入到日常生活中，在医疗保健和教育等领域发挥着真正的作用，可以帮助完成日常任务、解决棘手问题，还是
8/30/2024 6:22:49 AM
故渊
Meta 部署新网络爬虫机器人，为其 AI 模型收集大量数据

Meta 部署新网络爬虫机器人，为其 AI 模型收集大量数据
北京时间 8 月 21 日，近日，Meta 悄悄地发布了一款新的网络爬虫，用于搜索互联网并收集大量数据，为其人工智能模型提供支持。据三家追踪网络抓取器的公司称，Meta 新网络爬虫机器人 Meta External Agent 于上月推出，类似于 OpenAI 的 GPTBot，可以抓取网络上的人工智能训练数据，例如新闻文章中的文本或在线讨论组中的对话。根据使用档案历史记录显示，Meta 确实在 7 月底更新了一个面向开发者的公司网站，其中一个标签显示了新爬虫的存在，但 Meta 至今还没有公开宣布其新爬虫机器人。
8/21/2024 1:10:05 PM
余青
小而强，英伟达剪枝、蒸馏出 Llama-3.1-Minitron 4B AI 模型

小而强，英伟达剪枝、蒸馏出 Llama-3.1-Minitron 4B AI 模型
英伟达公司联合 Meta 公司发布了最新的 Llama-3.1-Minitron 4B AI 模型，主要通过结构化权重剪枝、知识提炼等尖端技术，成功蒸馏（Distill）出 40 亿参数的“小而强”模型。图源：英伟达Llama-3.1-Minitron 4B 模型在 Llama-3.1-Minitron 8B 基础上蒸馏而来，英伟达在深度和宽度方向上使用了结构化剪枝技术。AI在线注：剪枝是一种删除网络中不那么重要的层或神经元的技术，保留其性能的情况下，目的是减小模型的大小和复杂度。英伟达通过从模型中删除 16 层来
8/17/2024 7:21:02 AM
故渊
手机跑大模型提速 4-5 倍：微软亚研院开源新技术 T-MAC，有 CPU 就行

手机跑大模型提速 4-5 倍：微软亚研院开源新技术 T-MAC，有 CPU 就行
有 CPU 就能跑大模型，性能甚至超过 NPU / GPU！没错，为了优化模型端侧部署，微软亚洲研究院提出了一种新技术 —— T-MAC。这项技术主打性价比，不仅能让端侧模型跑得更快，而且资源消耗量更少。咋做到的？？在 CPU 上高效部署低比特大语言模型一般来说，要想在手机、PC、树莓派等端侧设备上使用大语言模型，我们需要解决存储和计算问题。常见的方法是模型量化，即将模型的参数量化到较低的比特数，比如 4 比特、3 比特甚至更低，这样模型所需的存储空间和计算资源就会减少。不过这也意味着，在执行推理时，需要进行混合精
8/9/2024 12:58:46 PM
汪淼
小扎自曝砸重金训 Meta Llama 4 模型：24 万块 GPU 齐发力，预计 2025 年发布

小扎自曝砸重金训 Meta Llama 4 模型：24 万块 GPU 齐发力，预计 2025 年发布
Llama 3.1 刚发布不久，Llama 4 已完全投入训练中。这几天，小扎在二季度财报会上称，Meta 将用 Llama 3 的十倍计算量，训练下一代多模态 Llama 4，预计在 2025 年发布。这笔账单，老黄又成为最大赢家十倍计算量，是什么概念？要知道，Llama 3 是在两个拥有 24,000 块 GPU 集群完成训练。也就是说，Llama 4 训练要用 24 万块 GPU。那么，Meta 存货还够不够？还记得小扎曾在年初宣布，计划到年底要部署 35 万块英伟达 H100。他还透露了更多的细节，Meta
8/5/2024 1:30:22 PM
汪淼
Llama3.1 训练平均 3 小时故障一次，H100 万卡集群好脆弱，气温波动都会影响吞吐量

Llama3.1 训练平均 3 小时故障一次，H100 万卡集群好脆弱，气温波动都会影响吞吐量
每 3 个小时 1 次、平均 1 天 8 次，Llama 3.1 405B 预训练老出故障，H100 是罪魁祸首？最近有人从 Meta 发布的 92 页超长 Llama 3.1 论文中发现了华点：Llama 3.1 在为期 54 天的预训练期间，经历了共 466 次任务中断。其中只有 47 次是计划内的，419 次纯属意外，意外中 78% 已确认或怀疑是硬件问题导致。而且 GPU 问题最严重，占了 58.7%。Llama 3.1 405 模型是在一个含 16384 块 Nvidia H100 80GB GPU 集群
7/29/2024 5:54:34 PM
清源
为什么AI数不清Strawberry里有几个 r？Karpathy：我用表情包给你解释一下

为什么AI数不清Strawberry里有几个 r？Karpathy：我用表情包给你解释一下
让模型知道自己擅长什么、不擅长什么是一个很重要的问题。还记得这些天大模型被揪出来的低级错误吗？不知道 9.11 和 9.9 哪个大，数不清 Strawberry 单词里面有多少个 r…… 每每被发现一个弱点，大模型都只能接受人们的无情嘲笑。嘲笑之后，大家也冷静了下来，开始思考：低级错误背后的本质是什么？大家普遍认为，是 Token 化（Tokenization）的锅。在国内，Tokenization 经常被翻译成「分词」。这个翻译有一定的误导性，因为 Tokenization 里的 token 指的未必是词，也可以
7/27/2024 11:22:00 PM
机器之心
开源是未来 AI 之路，扎克伯格：Meta 要将 Llama 打造成为“AI 界的 Linux”

开源是未来 AI 之路，扎克伯格：Meta 要将 Llama 打造成为“AI 界的 Linux”
Meta 创始人兼首席执行官马克・扎克伯格（Mark Zuckerberg）昨日（7 月 23 日）发布博文，表达了他对开源 AI 生态系统的愿景，认为 Llama 有潜力成为“AI 界的 Linux”。扎克伯格表示 Linux 凭借着开源特性，近乎成为通过其开源特性已成为云计算和移动操作系统的行业标准，而 Meta 公司希望将 Llama 打造成 AI 领域的 Linux。扎克伯格阐述了开源人工智能为何有利于开发者和行业的理由，AI在线简要梳理如下：训练、微调和蒸馏自己的 AI 模型每个组织都有不同的需求，而满足
7/24/2024 1:51:07 PM
故渊
Llama 3.1 上线就被攻破：大骂小扎，危险配方张口就来，指令遵循能力强了更容易越狱

Llama 3.1 上线就被攻破：大骂小扎，危险配方张口就来，指令遵循能力强了更容易越狱
最强大模型 Llama 3.1，上线就被攻破了。对着自己的老板扎克伯格破口大骂，甚至知道如何绕过屏蔽词。设计危险病毒、如何黑掉 Wifi 也是张口就来。Llama 3.1 405B 超越 GPT-4o，开源大模型登顶了，副作用是危险也更多了。不过也不全是坏事。Llama 系列前几个版本一直因为过度安全防护，还一度饱受一些用户批评：连一个 Linux 进程都不肯“杀死”，实用性太差了。现在，3.1 版本能力加强，也终于明白了此杀非彼杀。Llama 3.1 刚上线就被攻破第一时间把 Llama 3.1 破防的，还是越狱
7/24/2024 1:02:10 PM
汪淼
Meta 发布 Llama 3.1 开源大语言模型：128K 上下文长度，405B 版可与 GPT-4o 和 Claude 3.5 Sonnet 媲美

Meta 发布 Llama 3.1 开源大语言模型：128K 上下文长度，405B 版可与 GPT-4o 和 Claude 3.5 Sonnet 媲美
感谢Meta 今晚正式发布 Llama 3.1 开源大语言模型，提供 8B、70B 及 405B 参数版本。据介绍，Llama 3.1 系列改进了推理能力及多语言支持，上下文长度提升至 128K，首次推出 405B 参数的旗舰模型。Meta 称 4050 亿参数的 Llama 3.1-405B 在常识、可引导性、数学、工具使用和多语言翻译等一系列任务中，可与 GPT-4、GPT-4o、Claude 3.5 Sonnet 等领先的闭源模型相媲美。此外，8B 与 70B 参数的 Llama 3.1 模型与其他参数量相似
7/23/2024 11:38:18 PM
泓澄（实习）
开源 AI 模型挑战闭源里程碑？Meta Llama 3.1-405B 多项跑分超越 OpenAI GPT-4o

开源 AI 模型挑战闭源里程碑？Meta Llama 3.1-405B 多项跑分超越 OpenAI GPT-4o
网友在 LocalLLaMA 子 Reddit 板块中发帖，分享了 4050 亿参数的 Meta Llama 3.1 信息，从该 AI 模型在几个关键 AI 基准测试的结果来看，其性能超越目前的领先者（OpenAI 的 GPT-4o）。这是开源人工智能社区的一个重要里程碑，标志着开源模型可能首次击败目前最先进的闭源 LLM 模型。如基准测试所示，Meta Llama 3.1 在 GSM8K、Hellaswag、boolq、MMLU-humanities、MMLU-other、MMLU-stem 和 winograd
7/23/2024 7:26:36 AM
故渊