mit-xue-zhe-jiang-shu-sheng-cheng-shi-ai-de-gu-shi-ta-hui-yue-lai-yue-le-jie-ni-ni-ye-bu-de-bu-le-jie-ta 的搜索结果
405B大模型也能线性化！斯坦福MIT最新研究，0.2%训练量让线性注意力提分20+
生产级大模型应用线性注意力的方法，来了。 线性Attention（包括RNN系列），再也不用困在几B参数的范围内娱乐了。 一套方法，即可线性化现有各种量级的Transformer模型，上至Llama 3.1 405B，也只需要十来张显卡在两天内搞定！
可跨学科理解、多尺度建模，MIT LAMM 团队发布微调的大语言模型 MechGPT
编辑 | 萝卜皮 几个世纪以来，研究人员一直在寻找连接不同领域知识的方法。随着人工智能的出现，我们现在可以探索跨领域（例如，力学-生物学）或不同领域（例如，失效力学-艺术）的关系。为了实现这一目标，麻省理工学院（MIT）原子与分子力学实验室 （Laboratory for Atomistic and Molecular Mechanics，LAMM）的研究人员使用了经过微调的大型语言模型 (LLM)，来获取多尺度材料失效的知识子集。该方法包括使用通用 LLM 从原始来源中提取问答对，然后进行 LLM 微调。由此产生
- 1