模型
全球最长开源！元象开源大模型XVERSE-Long-256K，无条件免费商用！
元象发布全球首个上下文窗口长度256K的开源大模型XVERSE-Long-256K，支持输入25万汉字，让大模型应用进入“长文本时代”。该模型全开源，无条件免费商用，且附带手把手训练教程，让海量中小企业、研究者和开发者更早一步实现“大模型自由”。全球主流长文本大模型图谱 参数量和高质量数据量决定了大模型的计算复杂度，而长文本技术（Long Context）是大模型应用发展“杀手锏”，因技术新、研发难度高，目前多为闭源付费提供。 XVERSE-Long-256K支持超长文本输入，可用于大规模数据分析、多文档阅读理解
大模型训练算力利用率达60%，蚂蚁开源分布式训练扩展库ATorch
近日，蚂蚁集团宣布开源大模型分布式训练加速扩展库ATorch。ATorch可针对不同模型和硬件资源，实现深度学习自动资源动态优化和分布式训练稳定性提升，帮助提升深度学习的智能性。据了解，在大模型训练中，ATorch千亿模型千卡级别训练的算力利用率可达60%，相当于为跑车装上了强劲的引擎。图：ATorch致力于让大模型训练更高效、可复现随着生成式大模型的爆发，模型训练的数据集和参数规模成指数级增长，要带动如此庞然大物，并且满足模型的快速迭代，分布式训练就成为了解题之道。在大模型开发工作中，很多开发者和研究人员采用Py
OpenLAM | 深度势能预训练大模型DPA-2发布
在迈向通用大原子模型（Large Atomic Model，LAM）的征途上，深度势能核心开发者团队面向社区，发起 OpenLAM 大原子模型计划。OpenLAM 的口号是“征服元素周期表！”，希望通过建立开源开放的围绕微尺度大模型的生态，为微观科学研究提供新的基础设施，并推动材料、能源、生物制药等领域微尺度工业设计的变革。经过北京科学智能研究院、深势科技、北京应用物理与计算数学研究所等 29 家单位的 42 位合作者的通力协作，深度势能团队近日面向社区发布了深度势能预训练大模型 DPA-2，将成为 OpenLAM
2023年科研领域「 科学ChatGPT」有哪些？LLM for Science有哪些探索......
作者 | 凯霞2023 年，人工智能领域最具影响的莫过于 GPT-4、ChatGPT 了。ChatGPT 凭一己之力掀起了 AI 领域的热潮，火爆全球，似乎开启了第四次工业革命。ChatGPT 入选《Nature》2023 年度十大人物（Nature’s 10），这是有史以来第一次「计算机程序」——首个非人类实体入选。《Nature》表示这一做法旨在认可模仿人类语言的 AI 系统在科学发展和进步中所发挥的作用。同时，ChatGPT 在内的 AI 工具也被《Nature》评为 2024 年值得关注的科学事件之一。期待
OpenAI发布新安全框架，董事会有权否决CEO发布新模型
机器之能报道编辑：吴昕人类正在进入生成式 AI 新时代。而 OpenAI 在引导新技术朝着符合人类价值观和安全标准的方向所做的努力，也被视为行业的路标。还记得 Sam Altman 回归 OpenAI 时提到的「三个当务之急」吗？首当其冲的就是险些将他踢出公司的安全问题。现在，OpenAI 正力图系统化他们的安全思维。「我们的准备团队正在开展开创性工作，将安全发展成为一门定量科学。」 OpenAI 总裁 Greg Brockman 在社交平台上表示。本周一，公司在其网站上公布的一项计划，制定了一个框架来解决其最先
连看好莱坞大片都学会了！贾佳亚团队用2token让大模型卷出新境界
家人们谁懂，连大模型都学会看好莱坞大片了，播放过亿的GTA6预告片大模型还看得津津有味，实在太卷了！而让LLM卷出新境界的办法简单到只有2token——将每一帧编码成2个词即可搞定。等等！这种大道至简的方法有种莫名的熟悉感。不错，又是出自香港中文大学贾佳亚团队。这是贾佳亚团队自8月提出主攻推理分割的LISA多模态大模型、10月发布的70B参数长文本开源大语言模型LongAlpaca和超长文本扩展术LongLoRA后的又一次重磅技术更新。而LongLoRA只需两行代码便可将7B模型的文本长度拓展到100k token
Meta教你5步学会用Llama2：我见过最简单的大模型教学
本文是 Meta 官网推出的 Llama2 使用教学博客，简单 5 步教会你如何使用 Llama2。在这篇博客中，Meta 探讨了使用 Llama 2 的五个步骤，以便使用者在自己的项目中充分利用 Llama 2 的优势。同时详细介绍 Llama 2 的关键概念、设置方法、可用资源，并提供一步步设置和运行 Llama 2 的流程。Meta 开源的 Llama 2 包括模型权重和初始代码，参数范围从 7B 到 70B。Llama 2 的训练数据比 Llama 多了 40%，上下文长度也多一倍，并且 Llama 2 在
OpenAI内斗时，Karpathy在录视频：《大型语言模型入门》上线
赶紧学习起来吧！OpenAI 的风波暂时告一段落，员工也忙着「干活了」。年初回归 OpenAI 的 Andrej Karpathy 最近做了一场关于大型语言模型（LLM）的 30 分钟入门讲座，但该讲座当时没录制。因此，他基于这场讲座重新录制了一个长达 1 小时的视频，希望让更多人看到和学习。视频的主题为《大型语言模型入门》，涵盖了 LLM 的推理、训练、微调以及新出现的 LLM 操作系统和 LLM 安全。视频主打「非技术性」，偏科普，所以更加容易理解。
腾讯Angel机器学习框架升级，支持单任务万卡级别超大规模训练，超300个腾讯产品及场景接入内测
腾讯披露最新大模型训练方法，可节省50%算力成本。
可跨学科理解、多尺度建模，MIT LAMM发布微调的大语言模型 MechGPT
编辑 | 萝卜皮几个世纪以来，研究人员一直在寻找连接不同领域知识的方法。随着人工智能的出现，我们现在可以探索跨领域（例如，力学-生物学）或不同领域（例如，失效力学-艺术）的关系。为了实现这一目标，麻省理工学院（MIT）原子与分子力学实验室 （Laboratory for Atomistic and Molecular Mechanics，LAMM）的研究人员使用了经过微调的大型语言模型 (LLM)，来获取多尺度材料失效的知识子集。该方法包括使用通用 LLM 从原始来源中提取问答对，然后进行 LLM 微调。由此产生的
MIT 开发深度化学模型的神经尺度策略，发现「神经尺度」定律
编辑 | 绿萝在数据可用性和计算方面，大规模使得自然语言处理和计算机视觉等深度学习关键应用领域取得了重要突破。越来越多的证据表明，规模可能是科学深度学习的关键因素，但物理先验在科学领域的重要性使得规模化的策略和收益变得不确定。近日，来自 MIT 的研究团队通过将模型和数据集大小改变多个数量级来研究大型化学模型中的神经尺度（neural-scaling）行为，研究具有超过 10 亿个参数的模型，并在多达 1000 万个数据点的数据集上进行预训练。研究考虑用于生成化学的大型语言模型和用于机器学习原子间势的图神经网络。研
GPT-4 Turbo更强更便宜，GPTs、GPT商店最大亮点，这是OpenAI首个开发者日
机器之心报道机器之心编辑部真如 Sam Altman 此前所言，OpenAI 首届开发者大会为人们带来了一些非常棒的新东西。继今年春天发布 GPT-4 之后，OpenAI 又创造了一个不眠夜。过去一年，ChatGPT 绝对是整个科技领域最热的词汇。OpenAI 也依靠 ChatGPT 取得了惊人的成绩：总结来说，OpenAI 证实 ChatGPT 目前每周有超过 1 亿活跃用户，超过 200 万开者使用 API 等进行开发，与超过 92% 的财富 500 强公司合作。作为备受期待的首届开发者大会，Altman 今天
斯坦福马腾宇创业，大模型方向，Manning、 Christopher Ré是顾问
机器之能报道编辑：吴昕10月31日，清华大学 2012 届姚班校友，现任斯坦福大学助理教授马腾宇在社交媒体上宣布创业消息，成立 Voyage AI ——一家致力于构建嵌入/矢量化模型，帮助大型语言模型（ LLM ）获得更好检索质量的初创。Voyage AI 联合创始人兼 CEO 马腾宇介绍道，Voyage 团队由一群才华横溢的人工智能研究人员组成，包括斯坦福大学教授以及来自斯坦福大学、MIT的博士。公司希望赋能客户构建更好的 RAG 应用程序，也提供定制化服务，将客户LLM产品准确率提升「10-20% 。」检索增强
千亿规模参数，阿里云通义千问进化到2.0：性能超GPT-3.5，加速追赶GPT-4
10 月 31 日，阿里云正式发布千亿级参数大模型通义千问 2.0。在 10 个权威测评中，通义千问 2.0 综合性能超过 GPT-3.5，正在加速追赶 GPT-4。当天，通义千问 APP 在各大手机应用市场正式上线，所有人都可通过 APP 直接体验最新模型能力。过去 6 个月，通义千问 2.0 在性能上取得巨大飞跃，相比 4 月发布的 1.0 版本，通义千问 2.0 在复杂指令理解、文学创作、通用数学、知识记忆、幻觉抵御等能力上均有显著提升。目前，通义千问的综合性能已经超过 GPT-3.5，加速追赶 GPT-4。
效率暴涨！5 款设计师必备的 Stable Diffusion WebUI 模型（三）
大家好，这里是和你们一起探索 AI 绘画的花生~
今天继续为大家推荐 5 款优质的设计类 Stable Diffusion WebUI 风格模型，包含电商设计、产品摄影、矢量扁平插画、古风工笔等多种风格。一、设计 | 电商展台
一款非常优秀的电商展台设计模型，包含极简、国风、科技、风景等多种风格，适用范围很广，质感也很棒，生成的图像非常适合作为电商、产品的背景设计素材。模型类型：XL Lora （安装路径：models\Lora）
下载地址： （附件有资源包）
推荐设置：生成步数：35-40；尺寸 768-128
MIT研究人员将Transformer与图神经网络结合，用于设计全新蛋白质
编辑 | 萝卜皮凭借其复杂的排列和动态功能，蛋白质通过采用简单构建块的独特排列（其中几何形状是关键）来执行大量的生物任务。将这个几乎无限的排列库转化为各自的功能，可以方便研究人员设计用于特定用途的定制蛋白质。麻省理工学院（MIT）的 Markus Buehler 提出了一种灵活的基于语言模型的深度学习策略，将 Transformer 与图神经网络结合起来，以更好地理解和设计蛋白质。「通过这种新方法，我们可以通过对基本原理进行建模，利用大自然发明的一切作为知识基础。」Buehler 说，「该模型重新组合了这些自然构建
700 亿参数 LLaMA2 训练加速 195%，基础大模型最佳实践再升级
提供开箱即用的8到512卡LLaMA2训练、微调、推理方案。
致命幻觉问题、开发GPU替代品，大模型还面临这10大挑战
ChatGPT、GPT-4 等的发布，让我们在见识到大模型（LLM）的魅力后，伴随而来的是其所面临的各种挑战。如何让 LLM 变得更好？面对大模型，到底有哪些需要解决的问题？成为 AI 领域重要的研究课题。