GPT-3 是 2020 年 OpenAI 推出的具有 1750 亿参数的自回归语言模型，它在许多自然语言基准上都取得了出色的成绩。GPT-3 能够执行答题、翻译、写文章等任务，甚至还带有一些数学计算的能力。
不同于 GPT-2 和 GPT-1，OpenAI 选择不开源 GPT-3，而是通过商业 API 来提供该模型的能力及训练数据集。该公司通过选择将 GPT-3 独家许可给与 OpenAI 有业务关联的微软来进一步限制访问。
尽管如此，既然论文已经放出，人们对于 GPT-3「野生版」的开发没有止步。其中开源 AI 研究机构 EleutherAI 的 GPT-Neo 项目是 GPT-3 的复现与开源中最优秀的项目之一。3 月 22 日，EleutherAI 的开源项目 GPT-Neo 宣布放出复现版 GPT-3 的模型参数（1.3B 和 2.7B 级别），并将其更新在了 Colab notebook 上。
虽然是 1750 亿参数模型 GPT-3 的复现，此次开源的模型里较大的版本也只达到了 GPT-3 商用版里最小模型的参数量，不过 Eleuther AI 表示未来会进一步开源 10B 版本和原始大小版本的 GPT-3 模型参数。这一项目一经发布，就受到了 AI 社区的关注，目前该项目已收获 2.9K star 量。
项目地址：https://github.com/EleutherAI/gpt-neo/
训练数据集
EleutherAI 承认，由于 OpenAI 决定不发布 GPT-3 架构的一些关键细节，因此 GPT-Neo 与原版 GPT-3 相比必然会存在一些偏差。此外，还有一些偏差可能来自 EleutherAI 计划使用的训练数据集，该数据集是由来自 EleutherAI 的 10 人小组策划的。
像 GPT-3 这样的语言模型通常会放大数据中存在的偏见。例如，OpenAI 指出在数据集中女性和 sucked 这样的词汇可能会存在关联，著名预训练语言模型 BERT 也曾被指存在偏见。
EleutherAI 小组表示他们已对 GPT-Neo 训练数据集进行了「广泛偏见分析」，并做出了一些消除偏见的决定，以排除他们认为对某些群体或观点「造成不可接受的负面偏见」的某些数据集。该项目使用一个 825 GiB 的多样开源语言建模数据集，它对于大型语言模型的训练和基准测试都很有效。
数据集：https://pile.eleuther.ai/
GPT-3 可以变得更小吗？
EleutherAI 计划利用项目团队使用的架构来训练 GPT-Neo，使其达到和 GPT-3 在相同模型大小时「相同」的性能。在未来，他们还计划将模型减小一个数量级甚至更多。
如果这样的模型被认为具备实用化的条件，其效率的提高将会抵消不断膨胀的算力需求。根据 OpenAI 的一项调查，自 2012 年以来在著名数据集 ImageNet 之上将图像分类模型训练成相同的识别准确度，其所需的算力每 16 个月减少两倍。但是与更多参数的新模型相比，算力的使用仍然是个开放问题。
「要想让性能继续提高，模型的尺寸还会不可避免地增加」项目团队成员之一 Leahy 说道。「大模型的能力对于小模型来说是遥不可及的，这可能就是残酷的现实。我们看起来没有其他解决的方法——如果更大的模型意味着更好的性能，拥有算力的公司就会具备优势，就这么简单。」
EleutherAI 是一个致力于开源 AI 研究的团队。Leahy 表示：「我们致力于允许更多资源匮乏的用户（尤其是研究者）使用相关技术，以期在相关领域涌现更多更好的研究，并在此基础上进行我们以安全为重点的研究，而不是将其锁定在行业实验室内。毕竟，这些技术仍然在发展阶段，当此类模型在生产中按原样使用而没有进行更广泛的调查时，自然会产生存在偏见等问题，我们希望这些模型能够开放更多的可用性。」
参考内容：
https://venturebeat.com/2021/01/15/ai-weekly-meet-the-people-trying-to-replicate-and-open-source-openais-gpt-3/
