理论 - AIGC宇宙

UC伯克利：给大模型测MBTI，Llama更敢说但GPT-4像理工男

如果你经常在不同大模型之间来回切换，或许会发现不同模型的回复语气有细微差异，如同有不同的性格。那么，LLM究竟有没有「性格」这种维度的特征？最近加州大学伯克利分校发表的新研究VibeCheck就证实了这种推测。

提示词：怎样与大模型沟通

同前面讲大模型特点类似，关于如何使用 GPT，我们也会分成两个视角：用户视角和技术视角。这一讲，我们先从用户视角来看看如何用好 GPT。用好 GPT若要充分发挥 GPT 的效用，需遵循以下步骤：首先是定义任务目标。

【RAG】浅看引入智能信息助理提升大模型处理复杂推理任务的潜力-AssisTRAG

AssisTRAG通过集成一个智能信息助手来提升LLMs处理复杂推理任务的能力。该框架由两个主要组件构成：一个冻结的主语言模型和一个可训练的助手语言模型。 AssisTRAG与之前的RAG对比1.

OpenAI怒斥Scaling撞墙论！o1已产生推理直觉潜力巨大

最近，OpenAI高级研究副总裁Mark Chen在炉边谈话中，正式否认「Scaling Law撞墙论」。他表示，并没有看到Scaling Law撞墙，甚至OpenAI还有两个范例——o系列和GPT系列，来保持这种Scaling。用他的话说，「我们准确地掌握了需要解决的技术挑战」。

Claude 3.5两小时暴虐50多名专家，编程10倍速飙升！但8小时曝出惊人短板

AI智能体离自主研发，还有多远？ Nature期刊的一篇研究曾证明了，GPT-4能自主设计并开展化学实验，还能阅读文档学习如何使用实验室设备。另有Transformer作者之一研发的「世界首个AI科学家」，一口气肝出10篇论文，完全不用人类插手。

滴滴ChatBI技术实践：智能数据分析的前沿探索与应用

一、ABI 方向的演进及 ChatBI 领域现状1. BI 产品的演进方向BI 产品的发展经历了从报表式 BI 到自助式 BI 的演变，而当前智能 BI 则吸引了大家的广泛关注与大量投入。无论是早期的增强分析技术，还是如今新兴的 ChatBI 产品形态，其核心目的都在于降低用户利用数据的门槛与成本。

火山引擎基于大模型 ChatBI 的演进与实践

一、背景与趋势1. BI 平台演进 - 全面进入智能化在探讨火山引擎 BI 工具的发展历程时，可以清晰地划分为几个关键阶段，这些阶段亦与市面上主流 BI 工具的演进过程相吻合。最初，传统 BI 工具主要聚焦于报表平台，由业务方提出需求，产研团队作为数据的主要生产者，负责制造简单的报表，以辅助经营仪表盘的制作。

写给小白的大模型入门科普

什么是大模型？大模型，英文名叫Large Model，大型模型。早期的时候，也叫Foundation Model，基础模型。

没有思考过 Embedding，谈何 RAG，更不足以谈 AI大模型

今天，我们来聊聊 AI 大模型，有一个非常重要概念 "Embedding"。你可能听说过它，也可能对它一知半解。如果你没有深入了解过 Embedding，那你就无法真正掌握 RAG 技术，更不能掌握 AI 大模型精髓所在。

OpenAI薪酬大曝光！奥特曼身价145亿，年薪只有55万

刚刚，一份新发布的税务申报文件显示，奥特曼去年仅领取了76001美元（约55万人民币）的薪酬。相比起2022年的73546美元，略有增加。 2022年数据身为OpenAI的CEO，年薪仅为55万。

史上最严“中文真实性评估”：OpenAI o1第1豆包第2，其它全部不及格

新的大语言模型（LLM）评估基准对于跟上大语言模型的快速发展至关重要。近日，淘宝天猫集团的研究者们提出了中文简短问答（Chinese SimpleQA），这是首个全面的中文基准，具有“中文、多样性、高质量、静态、易于评估”五个特性，用于评估语言模型回答简短问题的真实性能力。研究人员表示，中文简短问答能够指导开发者更好地理解其模型的中文真实性能力，并促进基础模型的发展。

收敛速度最高8倍，准确率提升超30%！华科发布MoE Jetpack框架 | NeurIPS 2024

混合专家模型（MoE, Mixture of Experts）是一种通过动态激活网络的部分结构来提升计算效率的架构，可以在保持相对稳定的计算成本的前提下大幅增加参数量，从而有效提升模型性能。这一特性使得MoE能够兼顾模型的规模与效率，已广泛应用于各种大规模任务。然而，MoE模型通常需要在大型数据集上预训练以获得理想性能，导致其对时间和计算资源的需求极高，这也限制了其在深度学习社区中的普及性。

405B大模型也能线性化！斯坦福MIT最新研究，0.2%训练量让线性注意力提分20+

生产级大模型应用线性注意力的方法，来了。线性Attention（包括RNN系列），再也不用困在几B参数的范围内娱乐了。一套方法，即可线性化现有各种量级的Transformer模型，上至Llama 3.1 405B，也只需要十来张显卡在两天内搞定！

微调大型语言模型（LLM）的五个技巧

译者 | 李睿审校 | 重楼数据质量、模型架构以及偏见缓解方面的专家建议开发人员可以掌握LLM微调来提高人工智能开发的性能和效率。为什么微调至关重要大型语言模型（LLM）配备了处理广泛任务的通用能力，包括文本生成、翻译、提取摘要和回答问题。尽管LLM的性能表现非常强大，但它们在特定的任务导向型问题或特定领域（例如医学和法律等）上仍然效果不佳。

ChatGPT付费功能免费用！Mistral把Canvas、Artifact全复制了

欧洲的OpenAI，把ChatGPT功能都复制了。 Mistral AI大模型平台Le Chat新增Canvas、联网搜索、上传PDF等ChatGPT同款功能，而且全都免费！三大主流大模型产品的功能，现在可以一站式访问。

LLM为何频频翻车算术题？研究追踪单个神经元，「大脑短路」才是根源

由于缺少对运行逻辑的解释，大模型一向被人称为「黑箱」，但近来的不少研究已能够在单个神经元层面上解释大模型的运行机制。例如Claude在2023年发表的一项研究，将大模型中大约500个神经元分解成约4000个可解释特征。而10月28日的一项研究，以算术推理作为典型任务，借鉴类似的研究方法，确定了大模型中的一个模型子集，能解释模型大部分的基本算术逻辑行为。

研究发现ChatGPT在疾病诊断方面优于医生

随着AI技术的飞速发展，其在医疗保健领域的应用也日益广泛。近期，一项由波士顿贝斯以色列女执事医疗中心(BethIsrael Deaconess Medical Center)的研究团队发表在《美国医学会网络开放》(JAMA Network . Open)上的研究，引发了广泛关注。

AlphaFold3级性能、开源、可商用，MIT团队推出生物分子预测模型Boltz-1

图示：来自测试集的靶标上的 Boltz-1 的示例预测。（来源：论文）编辑 | 萝卜皮2024 年 11 月 18 日，麻省理工学院（MIT）的研究人员宣布推出 Boltz-1，这是一个开源模型，旨在准确模拟复杂的生物分子相互作用。 Boltz-1 是第一个完全商业化的开源模型，在预测生物分子复合物的 3D 结构方面达到 AlphaFold3 级精度。