模型
微软发明全新「LLM语言」，AI智能体交互效率翻倍！
在《星球大战》中，机器人R2-D2和其他机器人使用特殊的语言进行交流。 这种语言主要由蜂鸣声和口哨声组成，被称为「二进制语」（Binary）或「机器人语」（Droidspeak）。 Droidspeak是专门为机器人之间的交流设计的，只有机器人能够完全理解其精确含义。
仅用5M数据超过 OpenAI？快手最新 Code Embedding 模型 OASIS(绿洲)发布
出品 | 51CTO技术栈（微信号：blog51cto）最近，快手Kwaipilot 团队正式宣布开源 OASIS（Optimized Augmentation Strategy for Improved code Search）Code Embedding模型。 快手 Kwaipilot 团队在代码表征领域实现了突破性进展，仅仅使用 5M Tokens数据大幅领先 OpenAI，在多个 Code Search benchmark 中显著超越现有最佳水平。 1.什么是代码表征?随着代码库规模的持续扩大，开发者越来越依赖高效的代码检索系统来提升开发效率。
上海AI实验室版o1已上线！数学竞赛题、Leetcode赛题全拿下，还会玩24点
国产o1新选手登场！ 它能快速解决更复杂的数学解题、代码编程、数字游戏等任务。 这就是上海AI实验室版o1——强推理模型书生InternThinker，刚刚正式开放试用！
1行代码改进大模型训练，Llama训练速度提升至1.47倍，全华人团队出品
只要改一行代码，就能让大模型训练效率提升至1.47倍。 拥有得州大学奥斯汀分校背景四名华人学者，提出了大模型训练优化器Cautious Optimizers。 在提速的同时，Cautious能够保证训练效果不出现损失，而且语言和视觉模型都适用。
遗憾不？原来百度2017年就研究过Scaling Law，连Anthropic CEO灵感都来自百度
在追求 AGI 的道路上，Scaling Law 是绕不开的一环。 如果 Scaling Law 撞到了天花板，扩大模型规模，增加算力不能大幅提升模型的能力，那么就需要探索新的架构创新、算法优化或跨领域的技术突破。 作为一个学术概念，Scaling Law 为人所熟知，通常归功于 OpenAI 在 2020 年发的这篇论文：论文标题：Scaling Laws for Neural Language Models论文链接：、数据量、计算资源增加而指数提升。
UC伯克利：给大模型测MBTI，Llama更敢说但GPT-4像理工男
如果你经常在不同大模型之间来回切换，或许会发现不同模型的回复语气有细微差异，如同有不同的性格。 那么，LLM究竟有没有「性格」这种维度的特征？ 最近加州大学伯克利分校发表的新研究VibeCheck就证实了这种推测。
OpenAI怒斥Scaling撞墙论！o1已产生推理直觉潜力巨大
最近，OpenAI高级研究副总裁Mark Chen在炉边谈话中，正式否认「Scaling Law撞墙论」。 他表示，并没有看到Scaling Law撞墙，甚至OpenAI还有两个范例——o系列和GPT系列，来保持这种Scaling。 用他的话说，「我们准确地掌握了需要解决的技术挑战」。
腾讯混元大模型核心论文曝光：Scaling law、MoE、合成数据以及更多
随着 ChatGPT 的横空出世，大语言模型能力开始在各项领域（传统 NLP、数学、代码等）得到广泛验证，目前已经深刻影响到腾讯混元团队日常生活的方方面面。 腾讯混元团队长期致力于大语言模型的探索之路，大模型生产的各个环节开展研究创新以提升其基础能力，并将混元大模型的能力跟业务做深度结合，让生成式 AI 成为业务增长的放大器。 大语言模型的设计、训练和优化是一项复杂的系统工程，涉及到模型结构创新、训练范式优化、数据获取和评测设计、关键能力提升和挑战性问题的解决等方方面面。
史上最严“中文真实性评估”：OpenAI o1第1豆包第2，其它全部不及格
新的大语言模型（LLM）评估基准对于跟上大语言模型的快速发展至关重要。 近日，淘宝天猫集团的研究者们提出了中文简短问答（Chinese SimpleQA），这是首个全面的中文基准，具有“中文、多样性、高质量、静态、易于评估”五个特性，用于评估语言模型回答简短问题的真实性能力。 研究人员表示，中文简短问答能够指导开发者更好地理解其模型的中文真实性能力，并促进基础模型的发展。
收敛速度最高8倍，准确率提升超30%！华科发布MoE Jetpack框架 | NeurIPS 2024
混合专家模型（MoE, Mixture of Experts）是一种通过动态激活网络的部分结构来提升计算效率的架构，可以在保持相对稳定的计算成本的前提下大幅增加参数量，从而有效提升模型性能。 这一特性使得MoE能够兼顾模型的规模与效率，已广泛应用于各种大规模任务。 然而，MoE模型通常需要在大型数据集上预训练以获得理想性能，导致其对时间和计算资源的需求极高，这也限制了其在深度学习社区中的普及性。
年度世界互联网科技大奖公布，腾讯Angel机器学习平台获领先科技奖
11月19日，2024年世界互联网大会领先科技奖在乌镇发布，腾讯Angel机器学习平台凭借其卓越的技术积累、创新的关键技术和广泛的应用场景，荣获本年度领先科技奖。 腾讯Angel 机器学习平台，突破了万亿级模型分布式训练和推理以及大规模应用部署等难题，率先实现大模型技术从底层硬件到关键软件技术的自主研发，在业务场景广泛应用，显著推动实体产业和数字经济发展，提升社会效率。 世界互联网大会领先科技奖由世界互联网大会主办，旨在奖励全球年度最具领先性的互联网科技成果，倡导互联网技术国际交流合作。
Nature:「人类亲吻难题」彻底难倒LLM，所有大模型全部失败！LLM根本不会推理，只是工具
LLM究竟是否拥有类似人类的符合理解和推理能力呢？ 许多认知科学家和机器学习研究人员，都会认为，LLM表现出类人（或「接近类人」）的语言能力。 然而，来自帕维亚大学、柏林洪堡大学、得克萨斯大学休斯顿健康科学中心、纽约大学、巴塞罗那自治大学的研究者却提供了一些最全面的证据，表明目前它们基本没有！
新Scaling Law浮出水面！OpenAI内部员工爆料下一代模型Orion性能堪忧；量化Llama3困难，这些都有了新解
编辑 | 言征出品 | 51CTO技术栈（微信号：blog51cto）Scaling Law 最近被业内不少人士唱衰，一方面以OpenAI为代表大模型厂商们，基本上还是围绕着GPT-4在探索周边，虽说不是原地打转，但单就性能提升而言，就连OpenAI自家的员工都爆料说非常有限。 1.OpenAI内部人士：Orion性能提升遇到瓶颈昨天，外媒媒体曝出消息称，奥特曼一直吊胃口的下一代模型“Orion”，也被自家的两位知情人士，坦承：GPT-4与Orion之间的质量差距明显小于GPT-3与GPT-4之间的差距，并透露截止到夏末，Orion在回答未经训练的编码问题时表现不佳，仅在语言处理能力方面显示出提升。 这可影响大了，业界都在向着OpenAI学习、追赶，OpenAI的放缓自然也就意味着大模型进展在放缓。
Ilya认错，Scaling Law崩了？自曝SSI秘密技术路线取代OpenAI
昨天，The Information爆料，传统的大模型Scaling Law已经撞墙，OpenAI下一代旗舰Orion遭遇瓶颈。 就在刚刚，路透社也发文表示，由于当前方法受到限制，OpenAI和其他公司正在寻求通向更智能AI的新途径。 有趣的是，昨天拱火的The Information，今天又急忙发出一篇文章来灭火。
哈佛推出全新类ChatGPT癌症诊断AI，登上Nature！准确率高达96%
近日，来自哈佛医学院等机构的科学家们开发了一种名为CHIEF（Clinical Histopathology Imaging Evaluation Foundation，临床组织病理学成像评估基础）的多功能AI癌症诊断模型。 并于9月4日登上「Nature」。 论文地址：，尽管最近出现了其他用于医学诊断的病理图像基础AI模型，但CHIEF是第一个能够预测患者预后并在多个国际患者群体中验证的模型。
多模态模型免微调接入互联网，即插即用新框架，效果超闭源商用方案
一个5月份完成训练的大模型，无法对《黑神话·悟空》游戏内容相关问题给出准确回答。 这是大模型的老毛病了。 因为《黑神话》8月才上市，训练数据里没有它的相关知识。
我为什么离开OpenAI？六年元老发离职长文：AGI将至，我们远没准备好
OpenAI的「员工叛逃」还没有结束。 近日，OpenAI又有一位6年元老、研究主管Miles Brundage发表长文官宣离职，并详细解释了自己为何「出走」。 作为一家年轻的AI独角兽，成立于2015年的OpenAI如今刚刚9岁，因此在公司待了6年之久的Brundage足以被称为「元老」，见证了OpenAI如何一路起伏、筚路蓝缕地走到今天。
免训练加速DiT！Meta提出自适应缓存新方法，视频生成快2.6倍
现在，视频生成模型无需训练即可加速了？ ！ Meta提出了一种新方法AdaCache，能够加速DiT模型，而且是无需额外训练的那种（即插即用）。