大模型
大模型训练算力利用率达60%，蚂蚁开源分布式训练扩展库ATorch
近日，蚂蚁集团宣布开源大模型分布式训练加速扩展库ATorch。ATorch可针对不同模型和硬件资源，实现深度学习自动资源动态优化和分布式训练稳定性提升，帮助提升深度学习的智能性。据了解，在大模型训练中，ATorch千亿模型千卡级别训练的算力利用率可达60%，相当于为跑车装上了强劲的引擎。图：ATorch致力于让大模型训练更高效、可复现随着生成式大模型的爆发，模型训练的数据集和参数规模成指数级增长，要带动如此庞然大物，并且满足模型的快速迭代，分布式训练就成为了解题之道。在大模型开发工作中，很多开发者和研究人员采用Py
OpenLAM | 深度势能预训练大模型DPA-2发布
在迈向通用大原子模型（Large Atomic Model，LAM）的征途上，深度势能核心开发者团队面向社区，发起 OpenLAM 大原子模型计划。OpenLAM 的口号是“征服元素周期表！”，希望通过建立开源开放的围绕微尺度大模型的生态，为微观科学研究提供新的基础设施，并推动材料、能源、生物制药等领域微尺度工业设计的变革。经过北京科学智能研究院、深势科技、北京应用物理与计算数学研究所等 29 家单位的 42 位合作者的通力协作，深度势能团队近日面向社区发布了深度势能预训练大模型 DPA-2，将成为 OpenLAM
大模型+机器人，详尽的综述报告来了，多位华人学者参与
大模型的出色能力有目共睹，而如果将它们整合进机器人，则有望让机器人拥有一个更加智能的大脑，为机器人领域带来新的可能性，比如自动驾驶、家用机器人、工业机器人、辅助机器人、医疗机器人、现场机器人和多机器人系统。预训练的大型语言模型（LLM）、大型视觉 - 语言模型（VLM）、大型音频 - 语言模型（ALM）和大型视觉导航模型（VNM）可以被用于更好地处理机器人领域的各种任务。将基础模型整合进机器人是一个快速发展的领域，机器人社区最近已经开始探索将这些大模型用于感知、预测、规划和控制等机器人领域。近日，斯坦福大学和普林斯
2023年科研领域「 科学ChatGPT」有哪些？LLM for Science有哪些探索......
作者 | 凯霞2023 年，人工智能领域最具影响的莫过于 GPT-4、ChatGPT 了。ChatGPT 凭一己之力掀起了 AI 领域的热潮，火爆全球，似乎开启了第四次工业革命。ChatGPT 入选《Nature》2023 年度十大人物（Nature’s 10），这是有史以来第一次「计算机程序」——首个非人类实体入选。《Nature》表示这一做法旨在认可模仿人类语言的 AI 系统在科学发展和进步中所发挥的作用。同时，ChatGPT 在内的 AI 工具也被《Nature》评为 2024 年值得关注的科学事件之一。期待
做大模型时代的最佳云底座，百度智能云打出三套「组合拳」
不破不立，重构云计算这件事，百度智能云公布了最新进展。
谷歌Gemini技术报告出炉，作者多达900余人
从此以后，Google Scholar 数据该出问题了。备受期待的谷歌 Gemini 技术报告完整版，今天终于出炉了。两周前，人们兴奋于谷歌提出的「原生多模态大模型」Gemini，其宣称超越 GPT-4 的强大性能，以及对于图像、视频等领域的理解能力让人们似乎看到了未来。不过由于谷歌演示的 demo 涉嫌夸大效果，Gemini 又很快陷入了争议。但作为生成式 AI 领域最近的重要进展，人们对于 Gemini 的期待越来越高，有团队很快进行研究发了测试论文。今天发布的 64 页技术报告，或许可以为我们的许多疑惑进行更
4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%
机器之心报道机器之心编辑部PowerInfer 使得在消费级硬件上运行 AI 更加高效。上海交大团队，刚刚推出超强 CPU/GPU LLM 高速推理引擎 PowerInfer。项目地址：：？在运行 Falcon (ReLU)-40B-FP16 的单个 RTX 4090 (24G) 上，PowerInfer 对比 llama.cpp 实现了 11 倍加速！PowerInfer 和 llama.cpp 都在相同的硬件上运行，并充分利用了 RTX 4090 上的 VRAM。在单个 NVIDIA RTX 4090 GPU
摸底谷歌Gemini：CMU全面测评，Gemini Pro不敌GPT 3.5 Turbo
谷歌的 Gemini 到底几斤几两？和 OpenAI 的 GPT 模型相比表现如何？CMU 这篇论文测明白了。前段时间，谷歌发布了对标 OpenAI GPT 模型的竞品 ——Gemini。这个大模型共有三个版本 ——Ultra（能力最强）、Pro 和 Nano。研究团队公布的测试结果显示，Ultra 版本在许多任务中优于 GPT4，而 Pro 版本与 GPT-3.5 不相上下。尽管这些对比结果对大型语言模型研究具有重要意义，但由于确切的评估细节和模型预测尚未公开，这限制了对测试结果的复现、检测，难以进一步分析其隐含
人形机器人+LLMs=? 答案就在这个2分钟视频里
机器之能报道编辑：Sia你可以用自然语言与机器人交谈，并要求它完成一项任务。未来对机器人的控制可能会像骑马，你可以把AI看作是骑手，机器人的物理智能就是马。当生成 AI 被植入数千个系统中时，迟早有一天也会来到人形机器人身上。不过，Agility Robotics CEO Damion Shelton 最初并不相信它们的双足机器人需要这玩意儿。就我们的用例而言，还没有让大型语言模型（ LLM ）控制机器人的需求。客户不需要和自己的机器人进行有趣的对话，他们需要借助机器人的物理原理替代重复性劳作。当亚马逊于 10 月
连看好莱坞大片都学会了！贾佳亚团队用2token让大模型卷出新境界
家人们谁懂，连大模型都学会看好莱坞大片了，播放过亿的GTA6预告片大模型还看得津津有味，实在太卷了！而让LLM卷出新境界的办法简单到只有2token——将每一帧编码成2个词即可搞定。等等！这种大道至简的方法有种莫名的熟悉感。不错，又是出自香港中文大学贾佳亚团队。这是贾佳亚团队自8月提出主攻推理分割的LISA多模态大模型、10月发布的70B参数长文本开源大语言模型LongAlpaca和超长文本扩展术LongLoRA后的又一次重磅技术更新。而LongLoRA只需两行代码便可将7B模型的文本长度拓展到100k token
全面超越GPT-4？一文详解Google新模型Gemini
大家好我是花生~
最近 Google 发布了一个新的多模态大模型 Gemini，在 AI 模型领域掀起了一轮新的讨论热潮，风头一时间甚至盖过了 GPT-4。那么 Gemini 的具体功能有哪些，相比其他大模型又有何特点呢？今天我们就一起来看看。
了解 GPT-4：一、 Gemini 的功能
Google 称 Gemini 是其历史上最强大、最通用的模型，在许多基准测试中都具有最先进的性能。Google DeepMind 的 CEO Demis Hassabis 称 Gemini 可以像人类一样理解我们周围的世界，并
Gemini上线首日：用户褒贬不一，演示被质疑「造假」，谷歌承认了
又不求融资，怎么也给 demo 加美颜？「谷歌，这就有点尴尬了。」没有想到，Gemini 上线头一天，热门评论会是这个样子。本周三，谷歌的 Gemini 让生成式 AI 进入了原生多模态时代。人们第一时间涌入新模型加持的 Bard 想要试试 AI 的能力，结果给出的评价褒贬不一。其中最值得注意的是有人指出，Gemini 在发布时，谷歌给出的一系列 Demo 中最令人眼花缭乱的部分是伪造的。名为《Hands-on with Gemini: Interacting with multimodal AI》的视频现在的播放
谷歌发布Gemini，负责人：原生多模态大模型是AI「新品种」
机器之能报道编辑：吴昕又是一个不眠之夜，神仙扎堆献技。当地时间 12 月 6 日，谷歌 CEO Sundar Pichai 官宣 Gemini 1.0 版正式上线。在此之前，这款被谷歌寄予厚望对抗 OpenAI 的武器，发布时间一直被拖延。未曾料到，来得如此猝不及防。研发负责人、谷歌 DeepMind CEO Demis Hassabis 代表 Gemini 团队在发布会上正式推出大模型 Gemini，它拥有「视觉」和「听觉」，还有学习和推理能力。作为谷歌迄今为止最强大、最全面的模型，在大多数基准测试中， Gemi
谷歌大杀器终于来了，最大规模Gemini震撼发布：真超GPT4，三大版本，手机直接可用
时代变了？迄今为止规模最大，能力最强的谷歌大模型来了。当地时间 12 月 6 日，谷歌 CEO 桑达尔・皮查伊官宣 Gemini 1.0 版正式上线。这次发布的 Gemini 大模型是原生多模态大模型，是谷歌大模型新时代的第一步，它包括三种量级：能力最强的 Gemini Ultra，适用于多任务的 Gemini Pro 以及适用于特定任务和端侧的 Gemini Nano。现在，谷歌的类 ChatGPT 应用 Bard 已经升级到了 Gemini Pro 版本，实现了更为高级的推理、规划、理解等能力，同时继续保持免费
Meta教你5步学会用Llama2：我见过最简单的大模型教学
本文是 Meta 官网推出的 Llama2 使用教学博客，简单 5 步教会你如何使用 Llama2。在这篇博客中，Meta 探讨了使用 Llama 2 的五个步骤，以便使用者在自己的项目中充分利用 Llama 2 的优势。同时详细介绍 Llama 2 的关键概念、设置方法、可用资源，并提供一步步设置和运行 Llama 2 的流程。Meta 开源的 Llama 2 包括模型权重和初始代码，参数范围从 7B 到 70B。Llama 2 的训练数据比 Llama 多了 40%，上下文长度也多一倍，并且 Llama 2 在
OpenAI内斗时，Karpathy在录视频：《大型语言模型入门》上线
赶紧学习起来吧！OpenAI 的风波暂时告一段落，员工也忙着「干活了」。年初回归 OpenAI 的 Andrej Karpathy 最近做了一场关于大型语言模型（LLM）的 30 分钟入门讲座，但该讲座当时没录制。因此，他基于这场讲座重新录制了一个长达 1 小时的视频，希望让更多人看到和学习。视频的主题为《大型语言模型入门》，涵盖了 LLM 的推理、训练、微调以及新出现的 LLM 操作系统和 LLM 安全。视频主打「非技术性」，偏科普，所以更加容易理解。
腾讯Angel机器学习框架升级，支持单任务万卡级别超大规模训练，超300个腾讯产品及场景接入内测
腾讯披露最新大模型训练方法，可节省50%算力成本。
230页长文，涵盖5大科学领域，微软团队使用GPT-4探索LLM对科学发现的影响
编辑 | 紫罗前不久，微软 DeepSpeed 团队启动了一个名为 DeepSpeed4Science 的新计划，旨在通过 AI 系统优化技术实现科学发现。11 月 13 日，微软团队在 arXiv 预印平台发表题为《大型语言模型对科学发现的影响：使用 GPT-4 的初步研究》（「The Impact of Large Language Models on Scientific Discovery: a Preliminary Study using GPT-4」）的文章。文章篇幅长达 230 页。论文链接：，自然