大模型
明确了:文本数据中加点代码,训练出的大模型更强、更通用
代码知识原来这么重要。如今说起大语言模型(LLM),写代码能力恐怕是「君子六艺」必不可少的一项。在预训练数据集中包含代码,即使对于并非专门为代码设计的大模型来说,也已是必不可少的事。虽然从业者们普遍认为代码数据在通用 LLM 的性能中起着至关重要的作用,但分析代码对非代码任务的精确影响的工作却非常有限。在最近由 Cohere 等机构提交的一项工作中,研究者系统地研究了代码数据对通用大模型性能的影响。论文链接:「预训练中使用的代码数据对代码生成以外的各种下游任务有何影响」。作者对范围广泛的自然语言推理任务、世界知识任
发布三个月,豆包大模型综合能力提升20.3%,应用落地再提速
8月21日,火山引擎AI创新巡展在来到上海。 此次巡展会,火山引擎发布了豆包大模型的一系列产品升级,并携手多点 DMALL 成立零售大模型生态联盟。 火山引擎总裁谭待表示,较3个月前,最新版豆包大语言模型的综合能力提升了20.3%,在智源、上海AI Lab等权威机构的多项评测中位列榜首。
Meta 部署新网络爬虫机器人,为其 AI 模型收集大量数据
北京时间 8 月 21 日,近日,Meta 悄悄地发布了一款新的网络爬虫,用于搜索互联网并收集大量数据,为其人工智能模型提供支持。据三家追踪网络抓取器的公司称,Meta 新网络爬虫机器人 Meta External Agent 于上月推出,类似于 OpenAI 的 GPTBot,可以抓取网络上的人工智能训练数据,例如新闻文章中的文本或在线讨论组中的对话。根据使用档案历史记录显示,Meta 确实在 7 月底更新了一个面向开发者的公司网站,其中一个标签显示了新爬虫的存在,但 Meta 至今还没有公开宣布其新爬虫机器人。
AI在用 | AI卷起「穷鬼健身」,15天涨粉上万
机器之能报道编辑:杨文以大模型、AIGC为代表的人工智能浪潮已经在悄然改变着我们生活及工作方式,但绝大部分人依然不知道该如何使用。因此,我们推出了「AI在用」专栏,通过直观、有趣且简洁的人工智能使用案例,来具体介绍AI使用方法,并激发大家思考。我们也欢迎读者投稿亲自实践的创新型用例。投稿邮箱:[email protected]日本国民女神天海佑希有句名言:男人会背叛你,但肌肉不会。网友纷纷评论:女王发言、人间清醒……视频链接:,健身圈也卷到不行。什么直角肩、马甲线、双开门…… 为了练出好身材,年轻人们拼了
Nature子刊,上智院、复旦、中国气象局研发次季节AI大模型「伏羲」,突破「可预报性沙漠」
编辑 | ScienceAI作者 | 伏羲团队国务院印发的《气象高质量发展纲要(2022—2035 年)》明确提出要「提前一个月预报重大天气过程」,而这离不开 15 天以上的次季节气候预测技术。次季节气候预测关注的是未来 15~60 天的气候异常,可以为农业、水利、能源等领域的生产安排提供重要支撑。相比时效在两周以内的中短期天气预报,次季节气候预测的不确定性更大。它不仅需要考虑初值问题,还要考虑边界强迫的影响,预测来源更为复杂,预测技巧也较少。因此,次季节气候预测一直被称为「可预报性沙漠」,由于其复杂性,甚至连 A
小而强,英伟达剪枝、蒸馏出 Llama-3.1-Minitron 4B AI 模型
英伟达公司联合 Meta 公司发布了最新的 Llama-3.1-Minitron 4B AI 模型,主要通过结构化权重剪枝、知识提炼等尖端技术,成功蒸馏(Distill)出 40 亿参数的“小而强”模型。图源:英伟达Llama-3.1-Minitron 4B 模型在 Llama-3.1-Minitron 8B 基础上蒸馏而来,英伟达在深度和宽度方向上使用了结构化剪枝技术。AI在线注:剪枝是一种删除网络中不那么重要的层或神经元的技术,保留其性能的情况下,目的是减小模型的大小和复杂度。英伟达通过从模型中删除 16 层来
Nature 曝惊人内幕:论文被天价卖出喂 AI,作者 0 收入
Nature 的一篇文章透露:你发过的 paper,很可能已经被拿去训练模型了!有的出版商靠卖数据,已经狂赚 2300 万美元。然而辛辛苦苦码论文的作者们,却拿不到一分钱,这合理吗?全球数据告急,怎么办?论文来凑!最近,Nature 的一篇文章向我们揭露了这样一个事实:连科研论文,都被薅去训 AI 了……据悉,很多学术出版商,已经向科技公司授权访问自家的论文,用来训练 AI 模型。一篇论文从酝酿 idea 到成稿,包含了多少作者日日夜夜的心血,如今很可能在不知情的情况下,就成为训 AI 的数据。这合理吗?更可气的是
古尔曼:苹果在 AI 领域至少落后谷歌两到三年
昨天谷歌提前召开新品发布会,抢在苹果 iPhone 16 系列发布前展示了 Pixel 9 系列搭载的全新 AI 功能,引发业内广泛关注。彭博社记者马克・古尔曼称,苹果在 AI 技术方面至少落后谷歌两三年。谷歌在本次发布会上全面展示了 Gemini AI 的强大功能,将其深度整合到了 Android 和 Pixel 手机中。相比之下,苹果虽然在 WWDC 上公布了 Apple Intelligence,但实际应用尚不成熟,消息称部分功能甚至无法在 iPhone 16 发布时及时推出。此外,谷歌还强调 Gemini
AI在用 | 穿越了!3款AI工具让梵高、莫扎特们「活」在当下
机器之能报道编辑:杨文以大模型、AIGC为代表的人工智能浪潮已经在悄然改变着我们生活及工作方式,但绝大部分人依然不知道该如何使用。因此,我们推出了「AI在用」专栏,通过直观、有趣且简洁的人工智能使用案例,来具体介绍AI使用方法,并激发大家思考。 我们也欢迎读者投稿亲自实践的创新型用例。最近,有博主将一堆世界名人的自画像制成了动画,吸引了不少网友围观。例如,文森特・梵高略带忧郁地抚摸着红色的络腮胡子:一副贵族气质的莫扎特摆弄起礼服:写出《傲慢与偏见》的简・奥斯汀坐在椅子上露出微笑:贝多芬忘我地拉着小提琴:还有达芬
谷歌版 Her 大翻车:试了 3 次且换手机才成功… 网友:我手动只需 10 秒
翻车,大翻车。就在今天凌晨,谷歌版 Her——Gemini Live 正式发布。毕竟明显是对标 OpenAI 家的 GPT-4o,可以说是吸足了科技圈的眼球。在官网发布的 demo 中,拍照问答功能的效果是这样的:它大致实现的功能,是用手机拍摄演唱会的海报,并让 Gemini 查看用户的日历,看看行程是否适合参加。以及还可以基于此进行一系列后续的操作,包括定时间查票价等等。然而…… 当来到发布会现场演示环节的时候,画风却 180° 大变样。请看 VCR: 第一次:失败了。第二次:失败了。第三次:换手机,成功了。嗯…
谷歌发布 Gemini Live:支持 AI 语音聊天,可模拟面试场景、推荐演讲技巧
谷歌在今天召开的 Pixel 9 系列手机发布会上,发布了 Gemini Live 服务,将于今天开始率先面向使用英语的 Gemini Advanced 订阅用户开放。 推动自然、流畅的对话交流谷歌表示 Gemini Live 提供了一种移动对话体验,让用户和 Gemini 展开自由流畅的对话。Gemini Live 可以说是对标 OpenAI ChatGPT 最新上线的 Advanced Voice 模式(限量 Alpha 测试),采用了增强型语音引擎,可以展开更连贯、更有情感表达力、更逼真的多轮对话。谷歌表示用
最强 AI 程序员 Genie 砸饭碗:84 秒跑通代码,像人一样思考,团队仅 5 人
继 Devin 之后,又一个 AI 软件工程师被刷屏了 —— 它叫 Genie,号称目前地表最强,已经可以像人一样思考和行动了!那么这个“地表最强”,到底强到什么程度?先来看下评测分数。在权威榜单 SWE-Bench 中,Genie 以解决了 30.07% 问题的成绩夺得榜首。(SWE-Bench 是一个用来评估大模型解决现实中软件问题的基准。)而这个成绩可谓是遥遥领先第二名 19.27%,解锁了提升 SOTA 的最大增幅 —— 57%!至于 Genie 的实际效果,用团队的话来说就是:它可以做到像人类工程师一样解
谷歌I/O开发者大会中国站:大模型技术进入全生态
本周三,谷歌在北京召开了中国开发者大会。除 5 月加州山景城的 I/O 大会之外,今年的 I/O Connect 环球之旅从德国柏林开始、到印度班加罗尔,也已来到中国北京。在这次活动中,来自多个不同领域的专家为国内开发者深入分享了谷歌在 AI、Web、移动端、云技术等领域的最新技术进展、开发工具和全球服务平台等内容。「中国是全球最大的开发者市场之一,我们的开发者一直是全球舞台上不可或缺的先锋力量,」谷歌大中华区总裁陈俊廷在开幕演讲中表示。「过去一年,来自中国的 25 个开发团队共有 31 款游戏和应用,在全球不同的
小米旗舰设备国际版将接入谷歌 Gemini 大模型,OPPO 此前已接入
感谢小米创办人雷军 8 月 7 日宣布,小米旗舰设备国际版将接入谷歌 AI 大模型 Google Gemini。小米目前已在国行机型中推出了自家的 AI 功能,7 月 30 日,小米小爱同学「大模型小爱」宣布全量升级,支持自然问答、图片编辑、车外唤醒防御等,覆盖核心品类设备。8 月 5 日,小米 14、Redmi K70 等机型推澎湃 OS 全 AI 功能,包括小爱输入助手、AI 写真、AI 搜图、实时字幕、端侧小爱同学文生图、端侧相册 AI 编辑等。AI在线查询获悉,2024 Google 开发者大会于 8 月
手机跑大模型提速 4-5 倍:微软亚研院开源新技术 T-MAC,有 CPU 就行
有 CPU 就能跑大模型,性能甚至超过 NPU / GPU!没错,为了优化模型端侧部署,微软亚洲研究院提出了一种新技术 —— T-MAC。这项技术主打性价比,不仅能让端侧模型跑得更快,而且资源消耗量更少。咋做到的??在 CPU 上高效部署低比特大语言模型一般来说,要想在手机、PC、树莓派等端侧设备上使用大语言模型,我们需要解决存储和计算问题。常见的方法是模型量化,即将模型的参数量化到较低的比特数,比如 4 比特、3 比特甚至更低,这样模型所需的存储空间和计算资源就会减少。不过这也意味着,在执行推理时,需要进行混合精
消息称马斯克 X 平台同意不使用部分欧盟用户数据来训练 AI
感谢路透社今天(8 月 9 日)报道,马斯克旗下的 X 平台同意不使用部分欧盟用户数据,来训练其 AI 聊天机器人。爱尔兰一家法院周四表示,社交媒体平台 X 同意在欧盟用户选择撤销同意之前,暂时不使用从他们那里收集的个人数据来训练其 AI 系统。爱尔兰数据保护委员会本周寻求一项命令,要求暂停或限制 X 公司,不得处理用户数据来开发、训练或改进其人工智能系统。AI在线曾于 7 月报道,X 用户发现他们已“自动选择”将其帖子以及与 xAI 旗下 Grok 聊天机器人的互动用于“训练和微调”xAI 系统,此举是在未事先获
AI 搜索向左,搜索 OG 向右
作为 AI 世界的领头羊,OpenAI 发布的 SearchGPT 再次给 AI 搜索加了一把火。 这把火原本由 Perplexity 引燃,在美国烧及 Google 和微软,在中国引发了百度、360 的追随,又带动一批创业者跟上,已然成为当下最时髦的热词。 如果大模型之争能够被称为百模大战的话,那么 AI 搜索之争,就可以步其后尘,称之为“百搜大战”了。
马斯克 X 平台因抓取用户数据训练 AI 在爱尔兰被起诉
感谢爱尔兰数据保护委员会(DPC)向高等法院提起诉讼,指控马斯克旗下的 X 平台擅用用户数据,用于训练 Grok AI 模型等增强型搜索工具。DPC 已委托 Remy Farrell SC 律师事务所提交诉讼,指控 Twitter International Unlimited Company 公司没有遵守 GDPR 规定的义务,使用用户数据训练 Grok。DPC 表示 X 平台虽然已提供了退出等缓解措施,但该公司仍收集大量欧盟用户数据,在诉讼中,DPC 寻求法院下令禁止或限制 X 使用用户个人数据来开发、训练或改