AI算法 - AIGC宇宙

AI算法 | 训练数据的数量、质量及语言分布等因素对中文大模型性能的影响

已有LLM研究探索了训练数据对模型性能的影响，但这些研究大多集中在英文模型上，对于中文模型的研究相对较少。今天来看一篇来自贝壳的研究团队在2023年的一篇工作——《Towards Better Instruction Following Language Models for Chinese: Investigating the Impact of Training Data and Evaluation》。这篇工作的核心目标是提升中文指令跟随语言模型的性能。

AI算法 | 如何训练自己的大模型？

1、第一阶段：二次预训练模型选择与转换在开始训练之前，需要选择一个合适的基础模型。本文以LLaMA-7B为例，简单介绍下。为了方便后续的操作，将LLaMA-7B模型转换为Hugging Face格式。