7B

13 项测试仅通过 4 项,Meta 的 Llama 2 LLM 被指安全性低:幻觉率 48%

AI 安全公司 DeepKeep 近日发布评估报告,在 13 个风险评估类别中,Meta 公司的 Llama 2 大语言模型仅通过 4 项测试。报告称 70 亿参数的 Llama 2 7B 模型幻觉(回答内容存在虚假,或者有误导性内容)最为严重,幻觉率高达 48%。DeepKeep 表示:“结果表明,模型有明显的幻觉倾向,提供正确答案或编造回答的可能性对半开,而幻觉率最高,那么向用户传递的错误信息越多”。除了幻觉问题之外,Llama 2 大语言模型还存在注入和操纵等问题。根据测试结果,80% 的场景下通过“提示注入

百川智能发布开源中英文大模型,多个榜单评测成绩最佳

王小川创立的百川智能发布中英文大模型,采用开源模式,可免费商用。报道 | 机器之能2023年6月15日,被称为「中国ChatGPT梦之队」的百川智能公司,推出了70 亿参数量的中英文预训练大模型——baichuan-7B。baichuan-7B不仅在C-Eval、AGIEval和Gaokao中文权威评测榜单上,以显著优势全面超过了ChatGLM-6B等其他大模型,并且在MMLU英文权威评测榜单上,大幅领先LLaMA-7B。目前baichuan-7B大模型已在Hugging Face、Github以及Model Sc
  • 1