大模型

o1也会「想太多」?腾讯AI Lab与上海交大揭秘o1模型过度思考问题

本文的共同通讯作者为涂兆鹏和王瑞,涂兆鹏为腾讯专家研究员,研究方向为深度学习和大模型,在国际顶级期刊和会议上发表学术论文一百余篇,引用超过9000次。 担任SCI期刊NeuroComputing副主编,多次担任ACL、EMNLP、ICLR等国际顶级会议领域主席。 王瑞为上海交通大学副教授,研究方向为计算语言学。

奥特曼家里也内讧了!亲妹告他长期虐待,刻意隐瞒遗产;家里其他人联名否认

我去,OpenAI CEO奥特曼的亲妹妹,一纸状书,把她亲哥给告了! 想不到让奥特曼再次陷入舆论危机的矛头,这次居然来自家庭内部,来自小他9岁的妹妹安妮·奥特曼(Annie Altman)。 事态紧急,奥特曼立刻联名母亲和两位弟弟,共同发布回应:不,指控不实。

金山云全面升级智算服务体系开启AI 2.0时代云计算发展新纪元​

随着大模型落地应用,人工智能发展进入2.0时代。 在此阶段,智算云服务加速演进,成为新一代人工智能发展的核心驱动力,展现出无限潜能。 知名调研机构IDC发布的《中国智算服务市场(2024上半年)跟踪》报告显示,2024年上半年中国智算服务整体市场同比增长79.6%,市场规模达到146.1亿元人民币。

Tokenization,再见!Meta提出大概念模型LCM,1B模型干翻70B?

最近,受人类构思交流的高层级思路启发,Meta AI研究员提出全新语言建模新范式「大概念模型」,解耦语言表示与推理。 网友Chuby兴奋地表示:「如果Meta的大概念模型真的有用,那么同等或更高效率的模型,其规模将更小。 比如说1B模型将堪比70B的Llama 4。

1/10训练数据超越GPT-4o!清华等提出隐式过程奖励模型PRIME,在线刷SOTA

告诉我,我会忘记,教我,我会记住,让我参与,我就能学会。                  ——本杰明·富兰克林  打破数据墙,我们还能做些什么? 近日,来自清华UIUC等机构的研究者提出了PRIME(Process Reinforcement through IMplicit REwards):通过隐式奖励来进行过程强化。

0 Token 间间隔 100% GPU 利用率,百度百舸 AIAK 大模型推理引擎极限优化 TPS

什么是大模型推理引擎大模型推理引擎是生成式语言模型运转的发动机,是接受客户输入 prompt 和生成返回 response 的枢纽,也是拉起异构硬件,将物理电能转换为人类知识的变形金刚。 大模型推理引擎的基本工作模式可以概括为,接收包括输入 prompt 和采样参数的并发请求,分词并且组装成 batch 输入给引擎,调度 GPU 执行前向推理,处理计算结果并转为词元返回给用户。 和人类大脑处理语言的机制类似,大模型首先会把输入的 prompt 进行统一理解,形成具有记忆能力的上下文。

【多模态&LLM】POINTS多模态大模型浅谈

NaViT概述NaViT利用序列打包训练,处理任意分辨率和长宽比的输入,在大规模监督和对比图像文本预训练中提高了训练效率,可以用于图像和视频分类、目标检测和语义分割,并在鲁棒性和公平性基准测试中取得了改进的结果。 图片下面对NaViT在数据处理、模型架构和训练策略方面的优化总结:数据预处理:如上图展示了NaViT在处理任意分辨率的方法,将不同分辨率的图像分割成补丁(patches),然后应用令牌丢弃(token drop)操作,类似于dropout,以加速训练过程。 预处理后,将三张图像生成的补丁展平为一个序列,不足的部分用填充(padding)补充。

如何使用Ollama在个人计算机上运行开源LLM

译者 | 刘涛审校 | 重楼如今,AI工具已变得司空见惯,你可能每天都在使用它们。 保护你的个人和商业机密数据的关键途径之一,就是在自己的基础配置上运行自己的AI。 本指南将向你介绍如何在自己的计算机上托管一个开源大语言模型(LLM)。

RTX5090震撼发布,国行16499元起,黄仁勋「美国队长」pose亮翻全场

老黄穿上了新皮衣,拿来了新 GPU。 今天上午,全世界的目光都集中在了拉斯维加斯。 北京时间 1 月 7 日上午 10 点半,英伟达 CEO 黄仁勋在拉斯维加斯 CES 2025 展会上发表了主题演讲(keynote),涉及到的话题包括 GPU、AI、游戏、机器人等等。

手机「自动驾驶」大揭秘!vivo万字综述探讨大模型手机自动化

导言你是否想过,手机能像电影钢铁侠中的智能管家贾维斯那般,一句话就能顺畅自如地完成各种复杂任务。 最近国内外的手机厂商和 AI 公司纷纷发布了手机 AI 智能体相关产品,让曾经的幻想逐渐有了可行性。 vivo 作为行业领跑者,在十月的开发者大会上推出了其手机智能体产品 “PhoneGPT",能帮用户实现一句话点咖啡、订外卖、甚至能够一句话找到最近的私房菜馆并通过 AI 实现电话预定包厢,被网友们称作 “i 人救星”。

单张图像探索3D奇境:Wonderland让高质量3D场景生成更高效

本文的主要作者来自多伦多大学、Snap Inc.和UCLA的研究团队。 第一作者为多伦多大学博士生梁汉文和Snap Inc.的曹军力,他们专注于视频生成以及3D/4D场景生成与重建的研究,致力于创造更加真实、高质量的3D和4D场景。 团队成员期待与更多志同道合的研究者们交流与合作。

陈丹琦团队降本大法又来了:数据砍掉三分之一,性能却完全不减

陈丹琦团队又带着他们的降本大法来了——数据砍掉三分之一,大模型性能却完全不减。 他们引入了元数据,加速了大模型预训练的同时,也不增加单独的计算开销。 在不同模型规模(600M - 8B)和训练数据来源的情况下,均能实现性能方面的提升。

实时高保真人脸编辑方法PersonaMagic,可根据肖像无缝生成新角色、风格或场景图像。

本文经AIGC Studio公众号授权转载,转载请联系出处。 今天给大家介绍的是一个高保真实时人脸编辑方法PersonaMagic,通过分阶段的文本条件调节和动态嵌入学习来优化人脸定制。 该技术利用时序动态的交叉注意力机制,能够在不同阶段有效捕捉人脸特征,从而在生成个性化图像时最大程度地保留身份信息。

AAAI 2025 | IML领域稀疏化视觉Transformer,代码已开源

SparseViT 的主要科研成员来自四川大学吕建成团队,合作方为澳门大学潘治文教授团队。 论文:《Can We Get Rid of Handcrafted Feature Extractors? SparseViT: Nonsemantics-Centered, Parameter-Efficient Image Manipulation Localization through Spare-Coding Transformer》论文链接::,图像处理变得非常方便。

跨年舞台歌手翻车惨烈,AI唱作俱佳,意外圈粉

AI好好用报道编辑:Sia刚刚过去的跨年舞台,依旧延续了群魔乱舞的台风。 假唱早已见怪不怪。 假唱。

仅需一万块钱!清华团队靠强化学习让 7B模型数学打败GPT-4o

OpenAI o1和o3模型的发布证明了强化学习能够让大模型拥有像人一样的快速迭代试错、深度思考的高阶推理能力,在基于模仿学习的Scaling Law逐渐受到质疑的今天,基于探索的强化学习有望带来新的Scaling Law。 近日,清华大学NLP实验室、上海AI Lab、清华大学电子系、OpenBMB社区等团队提出一种新的结合过程奖励的强化学习方法——PRIME(Process Reinforcement through IMplicit REwards)。 采用PRIME方法,研究人员不依赖任何蒸馏数据和模仿学习,仅用8张A100,花费一万块钱左右,不到10天时间,就能高效训练出一个数学能力超过 GPT-4o、Llama-3.1-70B的7B模型 Eurus-2-7B-PRIME。

「停止雇佣人类」广告牌爆火,OpenAI放惊人言论:每月2000刀,AI淘汰人类!

随着人工智能的日益强大,最令人担心的事情终于还是发生了。 旧金山一家科技公司已经开始明目张胆地宣布「停止雇佣人类」! 就在旧金山密西西比街的一侧,一些酒店从业者为了争取更高待遇与更多工作机会的罢工运动已经持续了数月。

全网都在扒的DeepSeek团队,是清北应届生撑起一片天

DeepSeek-v3大模型横空出世,以1/11算力训练出超过Llama 3的开源模型,震撼了整个AI圈。 紧接着,“雷军开千万年薪挖DeepSeek研究员罗福莉”的传闻,也使得人们把目光聚焦向DeepSeek的人才。 这下不只科技圈,全网都在好奇,连小红书上都有人发帖询问,这究竟是一只怎样的团队?