LLM
图像领域再次与LLM一拍即合！idea撞车OpenAI强化微调，西湖大学发布图像链CoT
OpenAI最近推出了在大语言模型LLM上的强化微调（Reinforcement Finetuning，ReFT），能够让模型利用CoT进行多步推理之后，通过强化学习让最终输出符合人类偏好。 无独有偶，齐国君教授领导的MAPLE实验室在OpenAI发布会一周前公布的工作中也发现了图像生成领域的主打方法扩散模型和流模型中也存在类似的过程：模型从高斯噪声开始的多步去噪过程也类似一个思维链，逐步「思考」怎样生成一张高质量图像，是一种图像生成领域的「图像链CoT」。 与OpenAI不谋而和的是，机器学习与感知（MAPLE）实验室认为强化学习微调方法同样可以用于优化多步去噪的图像生成过程，论文指出利用与人类奖励对齐的强化学习监督训练，能够让扩散模型和流匹配模型自适应地调整推理过程中噪声强度，用更少的步数生成高质量图像内容。
Scaling Law不总是适用！尤其在文本分类任务中，vivo AI Lab提出数据质量提升解决方法
Scaling Law不仅在放缓，而且不一定总是适用！ 尤其在文本分类任务中，扩大训练集的数据量可能会带来更严重的数据冲突和数据冗余。 要是类别界限不够清晰，数据冲突现象就更明显了。
专治大模型“套壳”！上海AI实验室等给LLM做“指纹识别”，剪枝合并也无所遁形
大模型“套壳”事件防不胜防，有没有方法可以检测套壳行为呢？ 来自上海AI实验室、中科院、人大和上交大的学者们，提出了一种大模型的“指纹识别”方法——REEF（Representation Encoding Fingerprints）。 在不改变模型性能的前提下，利用REEF就可以精准识别未经授权的后续开发行为。
使用小型视觉语言模型（VLM）进行物体识别与计数
今天的重点是一个具有无数实际应用的功能：在边缘设备（如智能手机、物联网设备和嵌入式系统）上运行小型视觉语言模型（VLM）。 这些模型在识别和指出物体方面越来越出色。 具体来说，它们在检测制造缺陷、计数可用停车位或发现癌细胞方面表现优异。
专治大模型“套壳”！上海AI实验室等给LLM做“指纹识别”，模型剪枝、合并等也无所遁形
大模型“套壳”事件防不胜防，有没有方法可以检测套壳行为呢？ 来自上海AI实验室、中科院、人大和上交大的学者们，提出了一种大模型的“指纹识别”方法——REEF（Representation Encoding Fingerprints）。 在不改变模型性能的前提下，利用REEF就可以精准识别未经授权的后续开发行为。
豆包 Marscode 优秀实践
毫无疑问，Marscode 能解决非常多基础问题，特别对于编程新手而言，它能相对准确地生成各种代码，完成编程任务，但其底层并不神秘，本质上就是在传统 IDE 基础上，搭配足够好的交互与足够好的 LLM，从而超越传统 IDE。 交互方面，它在 VS Code 基础上，补充提供了：提供了几乎毫无门槛的代码自动补全能力，并且支持多行编辑，这在一些场景，如修改变量名时，非常好用。 行内、独立问答面板，可用于快速解答问题。
如何在安卓手机上本地安装和运行LLM?
译者 | 布加迪审校 | 重楼了解如何将AI的力量径直带入到你的安卓手机上：没有云，没有互联网，只有纯粹的设备端智能！ 在安卓手机上本地运行大语言模型（LLM）意味着你可以在不依赖云服务器或互联网连接的情况下访问人工智能（AI）模型。 这种本地环境通过确保数据安全、并在设备端来确保隐私。
NeurIPS 2024 | LLM智能体真能模拟人类行为吗？答案有了
AIxiv专栏是AI在线发布学术、技术内容的栏目。 过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。 如果您有优秀的工作想要分享，欢迎投稿或者联系报道。
RARE: 提升LLM推理准确性和事实完整性的检索增强框架思路浅尝
MCTS & rStar蒙特卡洛树搜索（MCTS）蒙特卡洛树搜索（MCTS）是一种用于解决复杂决策问题的算法，常用于游戏等领域。 它的基本思想是通过构建一棵搜索树并模拟各种可能的行动来估计每个行动的价值。 MCTS的过程可以分为四个主要步骤：选择（Selection）：从根节点开始，根据某种策略（如UCT）遍历子节点，直到找到一个叶节点。
LLM很难变成AGI？科学家：创造AGI理论上可行
今年9月份OpenAI对外宣称，AI能力达到新等级，相比之前的LLM，新AI更接近人类的思考能力。 OpenAI的断言引起争论：到底还要等多久机器才能具备人类大脑一样的认知能力?大家争论的智能就是所谓的AGI，它可以帮助人类解决复杂问题，比如气候变化、大流行、癌症治疗等等。 AGI充满不确定，它也会给人类带来风险。
五款小型多模态AI模型及其功能
译者 | 晶颜审校 | 重楼在过去几年里，我们已经见证了大型语言模型（LLM）的飞速发展，数十亿个参数的基础助力它们成为分析、总结和生成文本及图像，或者创建聊天机器人等任务的强大工具。 所有这些功能都有一些明显的限制，特别是如果用户没有足够的资金或硬件来容纳这些LLM所需的大量计算资源。 在这种情况下，小型语言模型（SLM）应运而生，为资源受限的用户提供了所需服务。
打破GNN与语言模型间壁垒，图辅助多模态预训练框架用于催化剂筛选，登Nature子刊
编辑 | KX吸附能是一种反应性描述符，必须准确预测，才能有效地将机器学习应用于催化剂筛选。 该过程涉及在催化表面上的不同吸附构型中找到最低能量。 尽管图神经网络在计算催化剂系统的能量方面表现出色，但它们严重依赖原子空间坐标。
微软：两个AI相互纠错，数学再涨5分
提升LLM数学能力的新方法来了——一个大模型不行，那就两个。 让他们彼此合作，纠正对方的错误。 这就是来自加州大学和微软研究院的最新研究成果：Flow-DPO。
微软发明全新「LLM语言」，AI智能体交互效率翻倍！
在《星球大战》中，机器人R2-D2和其他机器人使用特殊的语言进行交流。 这种语言主要由蜂鸣声和口哨声组成，被称为「二进制语」（Binary）或「机器人语」（Droidspeak）。 Droidspeak是专门为机器人之间的交流设计的，只有机器人能够完全理解其精确含义。
将大语言模型集成到现有软件系统的完整指南
译者 | 布加迪审校 | 重楼随着最近应用迅速普及开来、人工智能（AI）得到广泛采用，大语言模型（LLM）已变得备受广大公司企业、开发人员和非开发人员的欢迎，因为它们为用户提供了诸多好处。 它们帮助开发人员调试代码并生成代码片段，还帮助澄清看似复杂的编程概念和任务，从而提高生产力。 只要用于训练的数据集涵盖主题，使用LLM的非开发人员就可以受益于对问题做出快速且定制的响应和答复。
清华新VLA框架加速破解具身智能止步实验室“魔咒”，LLM开销节省4-6倍 | NeurIPS'24
计算、存储消耗高，机器人使用多模态模型的障碍被解决了！ 来自清华大学的研究者们设计了DeeR-VLA框架，一种适用于VLA的“动态推理”框架，能将LLM部分的相关计算、内存开销平均降低4-6倍。 （VLA：视觉-语言-动作模型，代表一类用于处理多模态输入的模型）简单来说，DeeR-VLA就像人的决策系统：简单任务快速思考，复杂任务仔细思考。
关于 Meta Llama 3，你知道多少？
2024年，对于人工智能领域来说可谓意义非凡。 继 OpenAI 推出备受赞誉的 GPT-4o mini后，Meta 的 Llama 3.1 模型亦在 . 7月23日 惊艳亮相，再一次掀起了新一轮人工智能热潮。
OpenAI API：LLM编程的事实标准
当下，大模型领域已然步入 “百模大战” 时期，形形色色的大模型如雨后春笋般不断涌现。 那么，若我们打算学习大模型的 API，是否真的需要逐一去钻研呢？ 答案无疑是否定的。