Voyage-3 系列嵌入式 AI 模型登场:1/2.2 成本、1/3 嵌入维度下性能超 OpenAI v3 Large 模型 7.55%

科技媒体 marktechpost 昨日(9 月 27 日)发布博文,报道称 Voyage AI 公司推出了 Voyage-3 和 Voyage-3-Lite 两个嵌入式(Embedding)模型。这两个模型在技术、法律、金融、多语言应用和长文本理解等方面,均表现出超出同类模型的优势,在保持较小模型规模和较低的资源消耗情况下,为开发者提供更高效、更易于集成的解决方案。AI在线援引 Voyage AI 官方数据,在技术文档、代码、法律、金融、网页内容、多语言数据集、长文档和对话数据等方面,Voyage-3 以 1/2

科技媒体 marktechpost 昨日(9 月 27 日)发布博文,报道称 Voyage AI 公司推出了 Voyage-3 和 Voyage-3-Lite 两个嵌入式(Embedding)模型。

这两个模型在技术、法律、金融、多语言应用和长文本理解等方面,均表现出超出同类模型的优势,在保持较小模型规模和较低的资源消耗情况下,为开发者提供更高效、更易于集成的解决方案。

AI在线援引 Voyage AI 官方数据,在技术文档、代码、法律、金融、网页内容、多语言数据集、长文档和对话数据等方面,Voyage-3 以 1/2.2 更低成本、1/3 更小嵌入纬度,显著降低了向量数据库(vectorDB)的成本,且综合跑分超越 OpenAI 的 v3 Large 模型 7.55%。

Voyage-3-Lite 在检索准确性方面比 OpenAI 的 v3 Large 模型高出 3.82%,同时成本降低至 1/6 ,嵌入维度也降至 1/6 。

嵌入式 AI 模型

嵌入式模型(Embedding)是一种广泛应用于自然语言处理(NLP)和计算机视觉(CV)等领域的机器学习模型,它可以将高维度的数据转化为低维度的嵌入空间(embedding space),并保留原始数据的特征和语义信息,从而提高模型的效率和准确性。

Voyage-3 在质量上不妥协,提高成本效益

成本效益是新 Voyage-3 系列模型的核心。

Voyage-3 的上下文长度为 32000 个 tokens,是 OpenAI 产品的 4 倍,是需要高质量检索的企业的成本效益解决方案,且价格亲民。

Voyage-3 系列嵌入式 AI 模型登场:1/2.2 成本、1/3 嵌入维度下性能超 OpenAI v3 Large 模型 7.55%

Voyage-3 的成本为每百万个 tokens 0.06 美元,比 Cohere English V3 便宜 1.6 倍,远比 OpenAI 的 v3 Large 模型更为实惠。

此外,Voyage-3 较小的嵌入维度(1024 对比 OpenAI 的 3072),因此实现更低的向量数据库成本,让公司能够有效扩展应用程序。

Voyage-3 系列嵌入式 AI 模型登场:1/2.2 成本、1/3 嵌入维度下性能超 OpenAI v3 Large 模型 7.55%

Voyage-3-Lite,这款模型的轻量版,经过优化以实现低延迟操作。每百万个标记的费用为 0.02 美元,是 OpenAI 的 v3 Large 模型 1/6.5,并且嵌入维度是 1/6~1/8 (512 对比 OpenAI 的 3072)。这让 Voyage-3-Lite 成为希望以较低成本维持高检索质量的组织的可行选择。

Voyage-3 系列嵌入式 AI 模型登场:1/2.2 成本、1/3 嵌入维度下性能超 OpenAI v3 Large 模型 7.55%

Voyage AI

Voyage AI 是一家由斯坦福大学助理教授马腾宇于 2023 年 11 月创立的 AI 公司,专注于构建嵌入 / 矢量化模型,以提高数据处理的效率。

公司由多名 AI 研究者组成,包括斯坦福大学教授马腾宇和 MIT 博士,并获得了斯坦福人工智能实验室主任 Christopher Manning 和 AI 领域著名华人学者李飞飞等人的学术顾问支持。

Voyage AI 提供的 API 端点能够接收用户数据并返回嵌入或相关性分数,这些模型可以与 RAG 堆栈的其他部分无缝集成,包括向量存储和生成式大型语言模型 (LLMs)。

相关资讯

斯坦福马腾宇创业,大模型方向,Manning、 Christopher Ré是顾问

机器之能报道编辑:吴昕10月31日,清华大学 2012 届姚班校友,现任斯坦福大学助理教授马腾宇在社交媒体上宣布创业消息,成立 Voyage AI ——一家致力于构建嵌入/矢量化模型,帮助大型语言模型( LLM )获得更好检索质量的初创。Voyage AI 联合创始人兼 CEO 马腾宇介绍道,Voyage 团队由一群才华横溢的人工智能研究人员组成,包括斯坦福大学教授以及来自斯坦福大学、MIT的博士。公司希望赋能客户构建更好的 RAG 应用程序,也提供定制化服务,将客户LLM产品准确率提升「10-20% 。」检索增强

知识图谱增强下的智能推荐系统与应用-于敬

基于知识图谱的推荐系统在推荐精准度和推荐结果可解释性方面具有诸多优势。

Karpathy称赞,从零实现LLaMa3项目爆火,半天1.5k star

项目中代码很多很全,值得细读。一个月前,Meta 发布了开源大模型 llama3 系列,在多个关键基准测试中优于业界 SOTA 模型,并在代码生成任务上全面领先。此后,开发者们便开始了本地部署和实现,比如 llama3 的中文实现、llama3 的纯 NumPy 实现等。十几个小时前,有位名为「Nishant Aklecha」的开发者发布了一个从零开始实现 llama3 的存储库,包括跨多个头的注意力矩阵乘法、位置编码和每个层在内都有非常详细的解释。该项目得到了大神 Karpathy 的称赞,他表示项目看起来不错,