错误
北大千问团队推出数学专用版 CriticGPT,“找茬”让大模型进步更快
批评不仅能让人进步,也能让大模型的能力提升。OpenAI 就用这个思路造了个“找茬模型”CriticGPT。非常巧合的是,就在 CriticGPT 放出的前几天,北大联合千问等团队以类似的思路设计出了“数学专用版”CriticGPT。在无需训练的设置下,验证器能够在推理时辅助模型在 GSM8K 上的准确率从 86.6% 提升到 88.2%。在 GSM8K 数据集上,它可以让模型的准确率从 86.6% 提升到 88.2%。CriticGPT 的核心思路是在代码中故意设置 bug 并进行详细标注,然后用得到的数据训练出
专给 ChatGPT“找茬”,OpenAI 训练 CriticGPT 模型以检索输出内容错误
感谢当地时间 27 日,OpenAI 宣布基于 GPT-4 训练了一个名为 CriticGPT 的模型,用于查找 ChatGPT 聊天机器人输出内容中的错误。它可以撰写评论,强调 ChatGPT 生成答案中不准确的地方。据介绍,CriticGPT 旨在协助人类 AI 训练员完成工作 —— 使用一种名为“从人类反馈中强化学习(IT之家注:Reinforcement Learning from Human Feedback,RLHF)”的技术来训练、改进 GPT-4 的回答。然而随着 ChatGPT 的准确性日益提升,
- 1