百川行业首创领域自约束训练方案,Baichuan4-Finance金融场景能力领先GPT-4o近20%

12 月 23 日,百川智能发布全链路领域增强大模型 Baichuan4-Finance。 在高质量金融数据的基础上,通过行业首创的领域自约束训练方案,Baichuan4-Finance 实现了金融能力和通用能力同步提升的效果,极大提高了金融场景的整体可用性。 其金融专业能力和场景应用能力大幅领先 GPT-4o,在中国人民大学财政金融学院新近发布的评测体系 FLAME 以及国内主流开源金融评测基准 FinancelQ 上均登上榜首。

12 月 23 日,百川智能发布全链路领域增强大模型 Baichuan4-Finance。在高质量金融数据的基础上,通过行业首创的领域自约束训练方案,Baichuan4-Finance 实现了金融能力和通用能力同步提升的效果,极大提高了金融场景的整体可用性。其金融专业能力和场景应用能力大幅领先 GPT-4o,在中国人民大学财政金融学院新近发布的评测体系 FLAME 以及国内主流开源金融评测基准 FinancelQ 上均登上榜首。

Baichuan4-Finance API 现已在百川智能官网正式上线,网址:https://platform.baichuan-ai.com/finPage  

整体准确率领先 GPT-4o 近 20%,多个金融评测榜单第一

FLAME(Financial Large-Language Model Assessment and Metrics Evaluation)是中国人民大学财政金融学院 12 月 17 日发布的金融评测体系(github 地址:https://github.com/FLAME-ruc/FLAME/tree/main)。

作为金融领域最新的评测体系,FLAME 兼顾专业性和实用性,由两个方向的评测基准组成。其中,FLAME-Cer 主要面向模型的专业金融能力评测,覆盖了 CPA、CFA、FRM 等 14 类权威金融资格认证;FLAME-Sce 则侧重模型的场景应用能力,包含 10 个一级核心金融业务场景,21 个二级细分金融业务场景,近百个三级金融应用任务。

FLAME-Cer 评测结果显示,Baichuan4-Finance 在银行、保险、基金、证券等多个资格认证领域的准确率均突破了 95%,整体准确率 93.62%,大幅领先 GPT-4o 和 XuanYuan3-70B-Chat,超出 GPT-4o 近 20%。GPT-4o 是金融领域公认的综合实力最强的通用模型之一,而 XuanYuan3-70B-Chat 则是国内首个开源中文金融大模型。

百川行业首创领域自约束训练方案,Baichuan4-Finance金融场景能力领先GPT-4o近20%

在 FLAME-Sce 评测中,Baichuan4-Finance 一级核心金融业务场景的整体可用率达 84.15%,其金融数据计算、金融知识理论等场景的可用率更是超过 90%,实际应用场景中的表现非常优秀。

百川行业首创领域自约束训练方案,Baichuan4-Finance金融场景能力领先GPT-4o近20%

不仅如此,在国内主流开源金融评测基准 FinanceIQ 上 Baichuan4-Finance 同样超越了 GPT-4o 和 XuanYuan3-70B,整体准确率达到 79.23%,领先 GPT-4o 近 13%。

百川行业首创领域自约束训练方案,Baichuan4-Finance金融场景能力领先GPT-4o近20%

行业首创领域自约束训练方案,模型金融专项能力和通用能力同步提升

如何让模型在提升专业能力的同时不损失通用能力,是当下大模型落地具体场景最大的阻碍。为解决这一问题,百川智能打造了一套全链路领域增强方案,该方案覆盖了高质量数据集构建、模型预训练、微调、强化学习等从模型研发到场景应用的全流程。

百川行业首创领域自约束训练方案,Baichuan4-Finance金融场景能力领先GPT-4o近20%

在模型训练阶段,通过行业首创的领域自约束训练技术,百川智能实现了模型专项能力和通用能力同步提升的效果,极大提升了模型多元场景的可用性。而 Baichuan4-Finance 正是这一方案的最新成果,全链路金融领域增强让其既掌握了扎实的金融理论基础,又具备了丰富的多场景实践应用能力。

具体而言,Baichuan4-Finance 的高质量金融数据集全面且严谨,既包含金融专业教材与学术著作、顶级金融期刊论文、监管机构政策文件、金融法律法规等核心专业金融知识数据,也覆盖了金融专业问答集、企业财报与年度报告、金融类研究分析报告等实践应用类数据,为提升模型金融能力提供了良好的底层支撑。

百川行业首创领域自约束训练方案,Baichuan4-Finance金融场景能力领先GPT-4o近20%

在此基础上,Baichuan4-Finance 还在领域自约束训练过程中引入了更高精的通用数据,与高质量金融数据一起进行混合训练,最终实现了模型通用能力不下降,金融能力稳定增长的效果。

百川行业首创领域自约束训练方案,Baichuan4-Finance金融场景能力领先GPT-4o近20%

此外,百川智能在后训练环节也做了大量增强工作,如:通过合成数据、指令数据对模型进行有监督的微调;在强化学习策略中,针对数学计算等金融领域特别关注的场景进行样本增强等,进一步提升了模型性能。

值得一提的是,为了更好地助力金融企业将大模型应用到各种真实场景,百川智能还在官网发布了 Baichuan4-Finance 全链路领域增强的技术报告,详细阐述了包括 “领域自约束训练” 在内的各项技术细节。此举不仅将极大增强金融行业对大模型的认知,还将有效提升金融企业部署大模型的能力与意愿。

全方位助力金融机构智能化升级和业务创新

攻克了专项能力和泛化能力平衡问题这一模型落地应用的最大阻碍后,Baichuan4-Finance 能够在效率提升、风控合规、客服、决策支持等诸多层面为金融行业带来全方位的价值提升。例如,它能够帮助金融从业者处理文档审核、客户咨询、产品营销等大量日常工作,还能依托深厚的金融专业知识和法律法规理解能力,为机构提供精准的风险识别和合规保障。此外,还可以凭借强大的数据分析能力为管理层提供专业的市场洞察和决策建议。

用友表示,Baichuan4-Finance 凭借其海量的金融专业知识储备,在财税知识问答场景中,准确率较 Baichuan4-Turbo 提升了 20%,较 GPT-4o 提升了 10%,表现尤为亮眼。

软通动力表示,我们的客户在实际应用中既要求大模型具备通用能力,又希望其在金融场景中有所专长。经过对比测试,我们发现 Baichuan4-Finance 完美契合这一需求,不仅通用能力出色,金融专业能力也得到了增强。自部署 Baichuan4-Finance 以来,我们的客户满意度提升了 20%。

据介绍,目前百川智能已经服务了数千家客户,包括北电数智、完美世界游戏、爱奇艺、360 集团、生学教育、爱学堂等各行业的领军企业,并且与信雅达、用友、软通动力、新致软件、达观数据、华胜天成等多家行业生态伙伴,以及华为、中科曙光等硬件厂商,中国移动、中国电信、中国联通等运营商达成合作,携手构建百川大模型生态。

相关资讯

数智上海 2023 峰会 | 如何做好数字金融大文章?这些金融机构、科技企业以及数字供应链企业这么说

2023 年 10 月的中央金融工作会议首次系统提出了金融「五篇大文章」,其中「数字金融」占据重要篇幅。基于此,日前圆满落幕的数智上海 2023 峰会上,特别举办了「数智说」金融科技与数实融合论坛。工行科创企业金融服务中心(上海)总经理方奇,星环科技金融行业助理副总裁张晓明,中电金信研究院副院长、中国电子自主计算体系专家组成员陈书华,数库科技创始人兼总裁沈鑫,海通证券投资银行部高级副总裁朱威进行了主题演讲。圆桌环节,上海大学经济学院副教授巫景飞主持,工行科创企业金融服务中心(上海)总经理方奇,道口金科联合创始人、C

百川智能发布超千亿大模型Baichuan 3,中文评测水平超GPT-4

1 月 29 日,百川智能正式发布千亿参数的大语言模型 Baichuan 3。在多个权威通用能力评测如 CMMLU、GAOKAO 和 AGI-Eval 中,Baichuan 3 都展现了出色的能力,尤其在中文任务上更是超越了 GPT-4。而在数学和代码专项评测如 MATH、HumanEval 和 MBPP 中同样表现出色,证明了 Baichuan 3 在自然语言处理和代码生成领域的强大实力。不仅如此,其在对逻辑推理能力及专业性要求极高的 MCMLE、MedExam、CMExam 等权威医疗评测上的中文效果同样超过了

全球最强长文本大模型,一次可读35万汉字:Baichuan2-192K上线

大模型看书,从来没有这么快过。国内大模型创业公司,正在技术前沿创造新的记录。10 月 30 日,百川智能正式发布 Baichuan2-192K 长窗口大模型,将大语言模型(LLM)上下文窗口的长度一举提升到了 192K token。这相当于让大模型一次处理约 35 万个汉字,长度达到了 GPT-4(32K token,约 2.5 万字)的 14 倍,Claude 2.0(100K token,约 8 万字) 的 4.4 倍。换句话说,Baichuan2-192K 可以一次性读完一本《三体 2》,是全球处理上下文窗口