AIGC宇宙 AIGC宇宙

数据

扩散模型=流匹配？谷歌DeepMind博客深度详解这种惊人的等价性

扩散模型=流匹配？谷歌DeepMind博客深度详解这种惊人的等价性
扩散模型和流匹配实际上是同一个概念的两种不同表达方式吗？ 从表面上看，这两种方法似乎各有侧重：扩散模型专注于通过迭代的方式逐步去除噪声，将数据还原成清晰的样本。 而流匹配则侧重于构建可逆变换系统，目标是学习如何将简单的基础分布精确地映射到真实数据分布。
12/13/2024 12:07:15 PM
机器之心
白话告诉你大模型到底是怎么工作的

白话告诉你大模型到底是怎么工作的
图片本文转载自微信公众号「程序反思录」，作者程序反思录 。 转载本文请联系程序反思录公众号。 前言2022年底“大模型”在国内突然遍地开花，不管你身处什么行业，都或多或少听说或使用过大模型相关的工具，也听说过大模型训练是一件超级烧钱的事情。
12/9/2024 9:55:25 AM
程序反思录
陶哲轩对谈OpenAI高管：AI也能做数据稀疏推理，“也许很快OpenAI就能证明陶哲轩是错的”

陶哲轩对谈OpenAI高管：AI也能做数据稀疏推理，“也许很快OpenAI就能证明陶哲轩是错的”
“也许很快OpenAI将能证明陶哲轩是错的。 ”好家伙！ 隔着屏幕都能闻到“硝烟”味了(bu shi~事情是这样的。
12/9/2024 9:35:00 AM
量子位
全球最大商业图库 Getty Images 推出免费高画质照片 AI 训练集：含 3750 张照片、分 15 项类别

全球最大商业图库 Getty Images 推出免费高画质照片 AI 训练集：含 3750 张照片、分 15 项类别
以提供新闻、体育和娱乐照片授权闻名的全球最大的商业图库 Getty Images 上周宣布推出高画质照片样本训练数据集，供开发者开发和训练 AI 模型使用。AI在线获悉，该样本数据集包含 3,750 张照片，分为商业、教育、医疗健康、运动与健身、物品与物体、插图、图标等 15 个类别。数据集提供多种主题的高质量视觉内容，可用于训练机器学习和 AI 模型，开发多种应用场景。▲ 相关图片选集目前，这一数据集已在 Hugging Face 上线（点此访问），不过用户需同意服务条款并提供联系方式，才能免费访问该数据集。Ge
9/9/2024 2:03:16 PM
漾仔
迈向「多面手」医疗大模型，上交大团队发布大规模指令微调数据、开源模型与全面基准测试

迈向「多面手」医疗大模型，上交大团队发布大规模指令微调数据、开源模型与全面基准测试
编辑 | ScienceAI近日，上海交通大学、上海 AI Lab、中国移动等机构的联合研究团队，在 arXiv 预印平台发布文章《Towards Evaluating and Building Versatile Large Language Models for Medicine》，从数据、测评、模型多个角度全面分析讨论了临床医学大语言模型应用。文中所涉及的所有数据和代码、模型均已开源。GitHub:   Link:  :  ，大型语言模型（LLM）取得了显著的进展，并在医疗领域取得了一定成果。这些模型在医学多
9/3/2024 7:09:00 PM
ScienceAI
美国加州通过人工智能训练数据透明度法案，要求企业披露 AI 模型数据来源

美国加州通过人工智能训练数据透明度法案，要求企业披露 AI 模型数据来源
今日，美国加州立法机构通过了一项颇具争议的法案 —— 人工智能训练数据透明度法案，该法案将提交给州长加文・纽瑟姆，但其尚未对此法案表态。图源 Pexels该法案旨在要求人工智能公司在开发和训练模型时，对其使用的数据集进行更加透明的披露。AI在线注意到，这项由议员雅克・欧文提出的法案（AB 2013）原本适用范围更广，但在 8 月 20 日范围缩小至仅适用于生成式人工智能，即能生成文本、图像和类似内容的人工智能，例如 Open AI 的 ChatGPT 这类。该法案要求人工智能公司公开其训练模型的关键信息，如数据来源
8/28/2024 2:35:06 PM
远洋
明确了：文本数据中加点代码，训练出的大模型更强、更通用

明确了：文本数据中加点代码，训练出的大模型更强、更通用
代码知识原来这么重要。如今说起大语言模型（LLM），写代码能力恐怕是「君子六艺」必不可少的一项。在预训练数据集中包含代码，即使对于并非专门为代码设计的大模型来说，也已是必不可少的事。虽然从业者们普遍认为代码数据在通用 LLM 的性能中起着至关重要的作用，但分析代码对非代码任务的精确影响的工作却非常有限。在最近由 Cohere 等机构提交的一项工作中，研究者系统地研究了代码数据对通用大模型性能的影响。论文链接：「预训练中使用的代码数据对代码生成以外的各种下游任务有何影响」。作者对范围广泛的自然语言推理任务、世界知识任
8/22/2024 6:20:00 PM
机器之心
Meta 部署新网络爬虫机器人，为其 AI 模型收集大量数据

Meta 部署新网络爬虫机器人，为其 AI 模型收集大量数据
北京时间 8 月 21 日，近日，Meta 悄悄地发布了一款新的网络爬虫，用于搜索互联网并收集大量数据，为其人工智能模型提供支持。据三家追踪网络抓取器的公司称，Meta 新网络爬虫机器人 Meta External Agent 于上月推出，类似于 OpenAI 的 GPTBot，可以抓取网络上的人工智能训练数据，例如新闻文章中的文本或在线讨论组中的对话。根据使用档案历史记录显示，Meta 确实在 7 月底更新了一个面向开发者的公司网站，其中一个标签显示了新爬虫的存在，但 Meta 至今还没有公开宣布其新爬虫机器人。
8/21/2024 1:10:05 PM
余青
Nature 曝惊人内幕：论文被天价卖出喂 AI，作者 0 收入

Nature 曝惊人内幕：论文被天价卖出喂 AI，作者 0 收入
Nature 的一篇文章透露：你发过的 paper，很可能已经被拿去训练模型了！有的出版商靠卖数据，已经狂赚 2300 万美元。然而辛辛苦苦码论文的作者们，却拿不到一分钱，这合理吗？全球数据告急，怎么办？论文来凑！最近，Nature 的一篇文章向我们揭露了这样一个事实：连科研论文，都被薅去训 AI 了……据悉，很多学术出版商，已经向科技公司授权访问自家的论文，用来训练 AI 模型。一篇论文从酝酿 idea 到成稿，包含了多少作者日日夜夜的心血，如今很可能在不知情的情况下，就成为训 AI 的数据。这合理吗？更可气的是
8/15/2024 12:53:16 PM
汪淼
最强 AI 程序员 Genie 砸饭碗：84 秒跑通代码，像人一样思考，团队仅 5 人

最强 AI 程序员 Genie 砸饭碗：84 秒跑通代码，像人一样思考，团队仅 5 人
继 Devin 之后，又一个 AI 软件工程师被刷屏了 —— 它叫 Genie，号称目前地表最强，已经可以像人一样思考和行动了！那么这个“地表最强”，到底强到什么程度？先来看下评测分数。在权威榜单 SWE-Bench 中，Genie 以解决了 30.07% 问题的成绩夺得榜首。（SWE-Bench 是一个用来评估大模型解决现实中软件问题的基准。）而这个成绩可谓是遥遥领先第二名 19.27%，解锁了提升 SOTA 的最大增幅 —— 57%！至于 Genie 的实际效果，用团队的话来说就是：它可以做到像人类工程师一样解
8/13/2024 2:00:40 PM
汪淼
OpenAI 宣布改变开发者大会举办形式，不会公布 GPT-5

OpenAI 宣布改变开发者大会举办形式，不会公布 GPT-5
8 月 6 日消息，去年，人工智能初创公司 OpenAI 在旧金山举办了首次开发者大会，声势浩大，并推出了包括最终未能成功的 GPT Store（类似苹果应用商店）在内的多款新产品和工具。然而，今年的活动将相对低调。本周一，OpenAI 宣布，将其 DevDay 开发者大会转型为一系列聚焦开发者的参与式会议。公司还确认，在 DevDay 期间不会发布下一代主旗舰模型，而是将重点放在其 API 和开发者服务的更新上。OpenAI 发言人透露：“我们不打算在开发者大会上宣布我们的下一个模型。我们将更多地专注于向开发者介
8/6/2024 12:15:05 PM
小小
英伟达最新技术分享：手把手教你用 Llama 3.1 合成数据改进模型！附代码

英伟达最新技术分享：手把手教你用 Llama 3.1 合成数据改进模型！附代码
适逢 Llama 3.1 模型刚刚发布，英伟达就发表了一篇技术博客，手把手教你如何好好利用这个强大的开源模型，为领域模型或 RAG 系统的微调生成合成数据。Epoch AI 上个月刚刚发文预言「数据墙」迫近，结果英伟达转头就甩出了 340B 开源巨兽 Nemotron。真实数据稀缺可能不再是问题了，Nemotron 9T token 的预训练预料中，98% 都是合成数据。也许你还对合成数据存在顾虑，或者不知道如何应用 LLM 驱动数据生成。或许，英伟达的这篇博客可以提供答案。原文地址：，用 LLM 合成数据的本质究
7/29/2024 4:20:08 PM
清源
AI 训 AI 遭投毒 9 次后大崩溃，牛津剑桥等发现登 Nature 封面

AI 训 AI 遭投毒 9 次后大崩溃，牛津剑桥等发现登 Nature 封面
感谢AI在线网友 刺客 的线索投递！用 AI 生成的数据训练 AI，模型会崩溃？牛津、剑桥、帝国理工、多伦多大学等机构的这篇论文，今天登上了 Nature 封面。如今，LLM 已经强势入侵了人类的互联网，极大地改变了在线文本和图像的生态系统。如果网络上的大部分文本都是 AI 生成的，我们用网络数据训练出的 GPT-n，会发生什么？论文地址：，如果在训练中不加区别地使用 AI 产生的内容，模型就会出现不可逆转的缺陷 —— 原始内容分布的尾部（低概率事件）会消失！这种效应，被称为「模型崩溃」。换句话说，合成数据就像是近
7/25/2024 4:41:11 PM
汪淼
ChatGPT用于科学，如何与你的数据对话？LLM帮你做科研

ChatGPT用于科学，如何与你的数据对话？LLM帮你做科研
编辑 | 白菜叶「计算机，分析。」在科幻小说中，人物不需要编程技能来从数据中提取有意义的信息，他们只是简单地提出要求而已。现在，越来越多的公司正尝试利用大型语言模型 (LLM) 将这一幻想变成现实。这些功能强大的人工智能（AI）工具让研究人员能够用自然语言询问数据问题，例如「对照组和实验组有什么区别？」。但与科幻小说中的人工智能不同，这些人工智能给出的答案仍然需要谨慎对待，并经过仔细检查才能安全使用。想想 ChatGPT 的数据。使用这些工具的原因很简单：筛选和确定生物数据的优先顺序是一项费力且具有挑战性的工作，需
7/25/2024 2:02:00 PM
ScienceAI
北大千问团队推出数学专用版 CriticGPT，“找茬”让大模型进步更快

北大千问团队推出数学专用版 CriticGPT，“找茬”让大模型进步更快
批评不仅能让人进步，也能让大模型的能力提升。OpenAI 就用这个思路造了个“找茬模型”CriticGPT。非常巧合的是，就在 CriticGPT 放出的前几天，北大联合千问等团队以类似的思路设计出了“数学专用版”CriticGPT。在无需训练的设置下，验证器能够在推理时辅助模型在 GSM8K 上的准确率从 86.6% 提升到 88.2%。在 GSM8K 数据集上，它可以让模型的准确率从 86.6% 提升到 88.2%。CriticGPT 的核心思路是在代码中故意设置 bug 并进行详细标注，然后用得到的数据训练出
7/8/2024 11:30:24 PM
清源
有望发力搜索领域，OpenAI 收购数据库分析公司 Rockset

有望发力搜索领域，OpenAI 收购数据库分析公司 Rockset
当地时间 6 月 21 日，OpenAI 宣布完成了对数据库检索和分析公司 Rockset 的收购。公司将整合 Rockset 的技术和人员，强化各项产品的检索基础设施。OpenAI 在新闻稿中强调，AI 将有机会改变人们组织、利用自身数据的方式，这便是公司收购 Rockset 的原因。后者是一个提供“世界级”的数据索引、查询功能的实时分析数据库。据悉，Rockset 将使用户、开发人员和企业能够更好地利用自己的数据，并在使用 AI 产品和构建更智能的应用程序时访问实时信息。OpenAI 首席运营官 Brad Li
6/22/2024 9:33:34 AM
清源
欧盟数据保护委员会：ChatGPT 的“数据准确性”仍未达标

欧盟数据保护委员会：ChatGPT 的“数据准确性”仍未达标
据路透社报道，欧盟数据保护委员会的一个特别工作组近期表示，尽管 OpenAI 在减少 ChatGPT 输出信息的错误率上做出了一定努力，但它仍然不足以确保“完全符合”欧盟的数据规则。当地时间周五，该工作组发布了一份报告并指出，“为了遵守透明度的原则，OpenAI 采取了一些措施，也有利于避免 ChatGPT 输出错误信息，但这些措施仍然不足以遵守数据准确性的原则。”图源 PexelsIT之家注：以意大利政府为首的国家监管机构此前对广泛使用的 AI 服务提出了担忧，欧盟数据保护委员会随后成立了“ChatGPT 特别工
5/25/2024 3:24:55 PM
清源
绕过直接数值模拟或实验，生成扩散模型用于湍流研究

绕过直接数值模拟或实验，生成扩散模型用于湍流研究
编辑 | 绿罗了解湍流平流粒子的统计和几何特性是一个具有挑战性的问题，对于许多应用的建模、预测和控制至关重要。例如燃烧、工业混合、污染物扩散、量子流体、原行星盘吸积和云形成等。尽管过去 30 年在理论、数值和实验方面做出了很多努力，但现有模型还不能很好地再现湍流中粒子轨迹所表现出的统计和拓扑特性。近日，意大利罗马第二大学（University of Rome Tor Vergata）的研究人员，提出了一种基于最先进的扩散模型的机器学习方法，可以在高雷诺数的三维湍流中生成单粒子轨迹，从而绕过直接数值模拟或实验来获得可
5/20/2024 4:54:00 PM
ScienceAI