训练
番茄小说被曝要求网文作者同意将作品用于训练 AI，引发作者联合抵制
据蓝鲸新闻今晚报道，近期有不少网文作者发帖称，字节跳动网文平台“番茄小说”的签约协议中增加了“AI 训练补充协议”，要求作者同意给平台“喂”作品，用于“内容开发”。觉察到这一情况的作者前往同为字节系的“豆包”AI 进行验证，不少人通过和豆包的对话获得了自己已发表作品的故事梗概和大纲。抖音集团方对此回应称，豆包是基于公开搜索结果呈现作品及概述，不存在盗用信息行为。番茄小说对于已经签署补充协议、或签约条款中包含 AI 条款的作者，已开放相关通道，将协助作者尽快解除相关 AI 条款约定。但是故事到这并没结束。报道称，有网
科技巨头被曝未经授权用 YouTube 内容训练 AI，苹果、英伟达在列
据 Wired 报道，包括苹果在内的一些科技巨头未经 YouTube 视频创作者同意，就使用了他们视频的字幕文件来训练人工智能模型。AI在线注意到，此次事件影响到的创作者包括知名科技博主 MKBHD (Marques Brownlee)、MrBeast、PewDiePie、以及脱口秀主持人斯蒂芬・科尔伯特、约翰・奥利弗和吉米・坎摩尔等。这些被用于训练 AI 的字幕文件相当于视频的文本转录内容。调查记者披露，一些世界上最富有的科技公司一直在利用来自成千上万个 YouTube 视频的素材来训练 AI，而这违反了 You
模型训练成本“平民化”，前特斯拉 AI 总监 24 小时仅用 672 美元“重现”GPT-2
GPT-2 是 OpenAI 于 2019 年推出的模型，其训练费用一度为每小时 256 美元，那么 5 年过后的 GPT-4 时代，软硬件和数据的进步，是否意味着训练同一模型所需的时间和成本会随之减少呢？答案是肯定的。据 Tom's Hardware 今日报道，前特斯拉 AI 总监、OpenAI 联合创始人、项目开发者 Andrej Karpathy 使用 llm.c“重现”了 GPT-2，其成本降到了每小时仅 28 美元（AI在线备注：当前约 204 元人民币），在短短 5 年内降低了近 90%。图源 Pixa
人形机器人将当上银行“大堂经理”，国内首个场景训练基地在上海浦东启用
据“上海金融官微”公众号，国内首个人形机器人银行大堂经理场景训练基地在建行上海浦东分行正式启用。银行大堂经理场景训练基地是业内首个商业银行场景应用训练基地，其首次采用开放式的创新训练模式，有助于加快提升人形机器人的能力，推动关键技术、重点产品和重点场景应用。据介绍，此次参训的机器人拥有高度仿生的躯干构型和拟人化的运动控制，结合视觉、听觉、语音等人工智能技术，科学家可以通过具身智能的推理和规划等对其进行训练。目前，该银行已对智能人形机器人开展银行大堂业务咨询、业务分流、智慧柜员机个性化操作指南、反欺诈宣传等面向客户的
北大千问团队推出数学专用版 CriticGPT，“找茬”让大模型进步更快
批评不仅能让人进步，也能让大模型的能力提升。OpenAI 就用这个思路造了个“找茬模型”CriticGPT。非常巧合的是，就在 CriticGPT 放出的前几天，北大联合千问等团队以类似的思路设计出了“数学专用版”CriticGPT。在无需训练的设置下，验证器能够在推理时辅助模型在 GSM8K 上的准确率从 86.6% 提升到 88.2%。在 GSM8K 数据集上，它可以让模型的准确率从 86.6% 提升到 88.2%。CriticGPT 的核心思路是在代码中故意设置 bug 并进行详细标注，然后用得到的数据训练出
Anthropic 首席执行官：未来三年内，AI 大模型训练成本将上升至百亿甚至千亿美元
据 Tom's Hardware 今日报道，AI 初创公司 Anthropic 的首席执行官 Dario Amodei 近期接受播客节目采访时表示，目前像 GPT-4o 这样的模型训练成本约为 1 亿美元，而目前正在开发的 AI 大模型训练成本可能高达 10 亿美元（AI在线备注：当前约 72.94 亿元人民币）。当然，10 亿美元还不是“终点”。Dario Amodei 作出预测，未来三年内，AI 大模型的训练成本将上升至 100 亿美元甚至 1000 亿美元（当前约 7294.28 亿元人民币）。Dario A
巴西政府机构出手，禁止 Meta 公司使用用户数据训练生成式 AI 模型
感谢据美联社报道，巴西国家数据保护局当地时间周二（2 日）认定，拥有 Facebook、Instagram、WhatsApp 等平台的社交网络巨头 Meta 将不得使用来自巴西的数据来训练其生成式 AI 模型。Meta 近期更新了隐私政策，允许公司可将人们的公开帖子用于训练其模型。根据巴西国家数据保护局的公报，Meta 此举将会对受影响数据主体的基本权利造成严重的、不可挽回的或难以修复的损害，此次下达的禁令是“预防性措施”。巴西是 Meta 的最大市场之一。在该国 2.03 亿的总人口（IT之家注：数据来自 202
从零开始，用英伟达T4、A10训练小型文生视频模型，几小时搞定
很翔实的一篇教程。OpenAI 的 Sora、Stability AI 的 Stable Video Diffusion 以及许多其他已经发布或未来将出现的文本生成视频模型，是继大语言模型 (LLM) 之后 2024 年最流行的 AI 趋势之一。在这篇博客中，作者将展示如何将从头开始构建一个小规模的文本生成视频模型，涵盖了从理解理论概念、到编写整个架构再到生成最终结果的所有内容。由于作者没有大算力的 GPU，所以仅编写了小规模架构。以下是在不同处理器上训练模型所需时间的比较。作者表示，在 CPU 上运行显然需要更长
Yandex 开源 LLM 训练工具节省高达 20% 的 GPU 资源
跨国科技公司 Yandex 最近推出了 YaFSDP，这是一种用于训练大型语言模型 (LLM) 的开源方法。YaFSDP 是目前最有效的公开可用工具，用于增强 GPU 通信并减少 LLM 训练中的内存使用量，与 FSDP 相比，其训练速度提升最高可达 26%，具体取决于架构和参数数量。通过使用 YaFSDP 减少 LLM 的训练时间可以节省高达 20% 的 GPU 资源。Yandex 承诺为全球人工智能社区的发展做出贡献，将YaFSDP开源提供给全球的 LLM 开发人员和人工智能爱好者即是履行此承诺的其中一步。“目
视觉语言模型导论：这篇论文能成为你进军VLM的第一步
近些年，语言建模领域进展非凡。Llama 或 ChatGPT 等许多大型语言模型（LLM）有能力解决多种不同的任务，它们也正在成为越来越常用的工具。这些模型之前基本都局限于文本输入，但现在也正在具备处理视觉输入的能力。如果能将视觉与语言打通，那么势必能造就多种多样的应用 —— 这实际上也正是当前 AI 技术革命的关键方向。即便现在已有不少研究将大型语言模型扩展到了视觉领域，但视觉与语言之间的连接尚未被彻底打通。举些例子，大多数模型都难以理解空间位置关系或计数 —— 这还需要复杂的工程设计并依赖额外的数据标注。许多视
夺冠！卓世AI斩获全球顶会AAMAS 2024 CE 竞赛冠军
近日，在全球瞩目的AAMAS 2024 Computational Economics Competition（计算经济学挑战赛）上，卓世科技人工智能前沿实验室团队“Zhuoshi Technology AI Cutting-edge Laboratory”一举夺得两个核心赛道的冠军和亚军，展现出其在计算经济学和人工智能领域的强大竞争力。冠军证书亚军证书AAMAS 2024 是第23届国际自主智能体和多智能体系统会议（International Conference on Autonomous Agents and
2024智源大会议程公开丨大语言模型
2024年6月14日-15日，第6届北京智源大会将以线下与线上结合的形式召开，线下会场设在中关村国家自主创新示范区会议中心。2024智源大会再次以全球视野，汇聚年度杰出工作研究者，交流新思想，探讨新思路，引领新前沿。目前已正式开放报名渠道。大语言模型 论坛丨6月14日下午近年来，大语言模型取得了重要的技术进展，成为了人工智能领域最受社会关注的研究方向之一，其应用范围逐渐覆盖了信息产业的多个领域。对其底层原理与训练方法的探索也成为了学术界与工业界的共同关注焦点。本次论坛针对大语言模型相关的基础问题展开相关探讨，主要包
ChatGPT 真能记住你的话吗？DeepMind 与开源大佬揭示 LLM 记忆之谜
【新智元导读】LLM 有记忆能力吗？有，也没有。虽然 ChatGPT 聊天时好像可以记住你之前说的话，但实际上，模型在推理时记不住任何内容，而且它们在训练时的记忆方式也不像我们想象的那么简单。Django 框架的创始人之一、著名开发者 Simon Willison 最近发表了一篇博客文章，核心观点是 —— 虽然很多 LLM 看起来有记忆，但本质上是无状态函数。文章地址： 和 FireFox 的联合创始人、JavaScript 发明者 Brendan Eich 也在推特上称赞这篇博客。似乎有记忆的 LLM从计算机科学
OpenAI 重启机器人团队，联合多方回归老赛道
感谢福布斯报道称，随着对人工智能机器人投资的升温，OpenAI 正式重启其先前放弃的机器人团队，OpenAI 随后确认了这一消息。OpenAI 成立初期，机器人技术就是其主攻方向之一，联合创始人沃伊切赫・扎伦巴领导的团队最初试图打造一个“通用机器人”。2019 年，十多位 OpenAI 研究人员联合发表了一篇论文，描述了他们如何训练神经网络使用单只机械手复原魔方，并声称这是朝着训练机器人系统执行各种日常任务迈出的基础性一步。但在 2020 年 10 月，OpenAI 放弃了这一努力，扎伦巴将此归咎于缺乏训练数据。过
绕过直接数值模拟或实验，生成扩散模型用于湍流研究
编辑 | 绿罗了解湍流平流粒子的统计和几何特性是一个具有挑战性的问题，对于许多应用的建模、预测和控制至关重要。例如燃烧、工业混合、污染物扩散、量子流体、原行星盘吸积和云形成等。尽管过去 30 年在理论、数值和实验方面做出了很多努力，但现有模型还不能很好地再现湍流中粒子轨迹所表现出的统计和拓扑特性。近日，意大利罗马第二大学（University of Rome Tor Vergata）的研究人员，提出了一种基于最先进的扩散模型的机器学习方法，可以在高雷诺数的三维湍流中生成单粒子轨迹，从而绕过直接数值模拟或实验来获得可
为确保训练数据公开透明，英国政府将加快制定人工智能相关规则
据《金融时报》报道，近日，英国政府文化大臣露西・弗雷泽宣布将加快制定有关人工智能透明度的规则，以帮助保护内容创作者。她表示，这些规则的出台将意味着 AI 公司必须更加公开、透明地披露训练模型所用的数据情况，用户也可以自己选择哪些数据可被 AI 公司用来训练，作品被用于训练模型的创作者也将获得报酬。图源 Pexels不仅仅是英国，欧盟当前也正在根据其人工智能法案制定类似的规则。根据该法案，AI 开发者将需要提供一份足够详细的培训内容概要，并实施相关政策，以确保自身操作符合欧盟版权法的规定。作为回应的一部分，OpenA
索尼音乐集团警告 AI 公司不得使用自家资产进行模型训练
感谢根据彭博社的一份新报告，索尼音乐集团正在通知各大 AI 公司不得“未经授权使用公司旗下的资产进行模型训练”。IT之家获悉，索尼音乐目前已经向 700 多家公司发送了信件，以保护其知识产权，索尼提到，任何 AI 公司未经明确许可，不得使用索尼旗下的专辑封面艺术、音乐作品和歌词等内容。在 AI 模型的训练上，版权一直是一项令人“头大”的问题，如今业界举着牌子声称“某某模型侵犯原始作者版权”的事件已经屡见不鲜，参考IT之家此前报道，今年 4 月美国众议员 Adam Schiff 提出了一项新的法案，建议 AI 公司应
多功能RNA分析，百度团队基于Transformer的RNA语言模型登Nature子刊
编辑 | 萝卜芯预训练语言模型在分析核苷酸序列方面显示出了良好的前景，但使用单个预训练权重集在不同任务中表现出色的多功能模型仍然存在挑战。百度大数据实验室（Big Data Lab，BDL）和上海交通大学团队开发了 RNAErnie，一种基于 Transformer 架构，以 RNA 为中心的预训练模型。研究人员用七个数据集和五个任务评估了模型，证明了 RNAErnie 在监督和无监督学习方面的优越性。RNAErnie 超越了基线，分类准确率提高了 1.8%，交互预测准确率提高了 2.2%，结构预测 F1 得分提高