语义 - AIGC宇宙

聊天机器人胡说八道？牛津研究人员利用语义熵来识破 AI“幻觉”

近年来，人工智能蓬勃发展，聊天机器人等应用逐渐普及，人们可以通过简单的指令从这些聊天机器人（例如 ChatGPT）获取信息。然而，这些聊天机器人仍然容易出现“幻觉”问题，即提供错误的答案，有时甚至是危险的信息。图源 Pexels造成“幻觉”的原因之一是训练数据不准确、泛化能力不足以及数据采集过程中的副作用。不过，牛津大学的研究人员另辟蹊径，在最新出版的《自然》杂志上详细介绍了一种他们新开发的方法，用于检测大型语言模型 (LLMs) 的“捏造” (即任意生成的不正确信息) 问题。LLM 通过在训练数据中寻找特定模式来

有证据了，MIT表明：大型语言模型≠随机鹦鹉，确实能学到语义

大型语言模型能否捕捉到它们所处理和生成的文本中的语义信息？这一问题在计算机科学和自然语言处理领域一直存在争议。然而，MIT的一项新研究表明，仅基于文本形式训练、用于预测下一个token的语言模型确实能学习和表示文本的意义。