• FinBen综合评测体系构建，涵盖7大金融任务类别：信息抽取(IE)、文本分析(TA)、问答(QA)、文本生成(TG)、风险管理(RM)、预测(FO)、决策(DM)，包含36个数据集，24个任务，为金融LLM能力提供全面评估[page::1][page::2][page::4]。

• 数据来源多样，包括公开数据、现有金融评测基准数据集改编及三项新建数据集（EDTSum新闻摘要、FinTrade股票交易、Regulations法规QA），新数据集占比10.32%，支持更复杂金融场景模拟[page::2][page::3][page::4]。

- 信息抽取任务中，GPT-4在命名实体识别等基础任务表现突出，InternLM在因果分类表现最佳，但复杂任务（因果检测、数值理解）均存在较大提升空间，指令微调模型如FinMA有限提升[page::6]。

• 文本分析领域，FinMA在情感分析表现优异，但面对多样任务表现不稳定，GPT-4、Gemini等通用大模型显示更强泛化能力；中文微调模型CFGPT对英文任务提升有限甚至负面影响[page::6][page::7]。

- 问答与文本生成上，闭源模型GPT-4、Gemini整体领先，FinMA改进有限且受限模型规模。Gemini在抽象文本摘要（EDTSUM）表现最佳，但各模型均难以胜任抽取式总结[page::7]。

• 预测任务中，所有LLM表现均不足，表现仅略优于随机，传统方法依然优于LLM，反映LLM在金融时序预测的显著不足[page::7]。

- 风险管理任务数据高度不平衡，给LLM带来巨大挑战。若模型指令理解弱，容易出现全部分类为单一类的情况，表明目前金融领域表格和风险类任务仍是难点[page::7]。

• 决策任务以股票交易为代表，GPT-4展现最高夏普比率(约1.5)和最小最大回撤，优于强化学习基线和其他LLM，展现较优风险调整收益表现，Gemini排名第二[page::7][page::8].

• 细粒度交易收益曲线展示（苹果、亚马逊、谷歌等多支股票）各模型交易策略累计收益，GPT-4和Gemini总体优于持有策略及其他模型，70B及以下参数规模模型在策略执行一致性上存在不足[page::20][page::21][page::22].

• 基于FinBen举办的FinLLM挑战赛设三大子任务：金融分类、文本摘要、单股交易，参赛团队超35队，顶尖团队部分指标超越GPT-4、LLaMA3-8B，体现出FinBen作为金融LLM创新和评测平台价值[page::19][page::22][page::23].

- 传统非LLM模型在股票运动预测任务性能普遍低迷（准确率50%左右），表明金融领域复杂预测需求亟待LLM能力提升[page::24]。

FinBen: An Holistic Financial Benchmark for Large Language Models —— 深度分析报告

---

1. 元数据与概览

报告标题： FinBen: An Holistic Financial Benchmark for Large Language Models
作者及机构： 本报告由Qianqian Xie等众多学者联合完成，团队成员横跨多所国际知名学府与研究机构，包括武汉大学、曼彻斯特大学、佛罗里达大学、哥伦比亚大学、中国香港中文大学等等。
发布时间： 未显式标注，但报告包含2024年的研讨会数据，推断为2024年初或中期。
主题聚焦： 本报告围绕大型语言模型（LLMs）在金融领域的评估展开，重点提出并构建了FinBen——首个覆盖金融领域大规模评测任务的全面开源基准。

核心论点：
报告主张以往金融领域的LLM评测“任务范围狭窄、数据和评测维度有限”，难以充分体现LLM在金融复杂业务的表现。为填补空白，FinBen推出一个含36个数据集、覆盖24种金融任务的全面Benchmark，涵盖信息抽取、文本分析、问答、文本生成、风险管理、预测及决策七大模块。实测包括GPT-4、ChatGPT、Gemini等15款模型，揭示了LLM在信息抽取和文本分析上表现优异，但在复杂推理及生成型任务上表现有限。
报告不仅提供多样化任务评测框架，还附带新颖的股票交易任务与评测机制，推动金融领域LLM研究向前发展。

FinBen评级无传统投资评级，更多聚焦能力评测。目标是展示当前SOTA模型优势与不足，并引导研究热点。FinBen已成为IJCAI 2024 FinNLP-AgentScen研讨会金融LLM共享任务的基石，吸引12支团队参与，出现超越GPT-4的创新方案，表现其科研价值。

---

2. 逐节深度解读

2.1 报告摘要和引言（Abstract & Introduction）

• 摘要总结：

FinBen针对金融领域LLM评估尚缺乏大规模、多维度与多任务环境的问题，设计了包括36个数据集和24个任务的宏大框架，覆盖从键实体识别到复杂交易决策等金融核心技能。此外引入代理评测及检索增强生成（RAG）方法，提升真实环境中的检测能力。目前对包括GPT-4、ChatGPT、Gemini等15款模型的零样本表现进行了系统测评，结果显示LLM在信息抽取与文本分析有强能力，但生成类任务和推理复杂任务仍存瓶颈。

• 引言：

LLM已在多领域展现变革能力，金融领域受限于缺乏完善评测体系与金融任务复杂性难度，尚未被深入开发，促使FinBen诞生。[page::0]

2.2 现有基准与FinBen创新点（篇章1）

• 现有基准缺陷：

PIXIU等虽然覆盖一定数量任务，但每个任务类别通常只涵盖一个，缺乏多维度、量化全面的评测，难以评估LLM的多场景实际能力。表1清晰展示了市面主流基准任务数和数据集覆盖范围的局限，FinBen在各方面均明显领先（任务数36、数据集24任务全覆盖7大类别），实现覆盖股票交易等实际金融决策场景。

• 创新要点：

1. 任务和数据集数量显著扩充。
2. 涵盖7大金融核心领域，全方位能力评估。
3. 首次引入股票交易任务评测，结合时间序列和文本情感，为真实交易场景做模拟。
4. 首创代理与检索增强生成（RAG）评测，反映动态交互和信息提取能力。
5. 推出文本摘要、问答、股票交易三个开源新数据集。
[page::1]

2.3 任务分类与数据来源详细说明（篇章2-3）

• 任务分类（Table 2+正文详述）：

- 信息抽取（IE）：涵盖命名实体识别、关系抽取、因果分类、数字标签、文本类比解析等6项细分任务，使用多种财经文档及新闻数据集。评测指标有F1、Entity F1和严格匹配准确率。
- 文本分析（TA）：8个分类任务，含情感分析、新闻判价、论点划分、环境社会治理（ESG）识别等，评估模型在不同财报文本推断能力。指标为准确率、F1分数。
- 问答（QA）：涵盖多步数值推理、对话问答和长文本法规问答，测试模型综合理解与推理能力。
- 文本生成（TG）：着重财报会议纪要和新闻摘要生成，配合ROUGE、BERTScore、BARTScore衡量生成质量。
- 风险管理（RM）：信用评分、欺诈检测、财务困境识别、理赔分析四大任务，注重模型处理不平衡表格数据的能力。
- 预测（FO）：关注股票涨跌方向预测，是时间序列和文本多模态融合的难点。
- 决策制定（DM）：模拟股票交易决策，结合FinMem代理模型和FinTrade数据集评估，指标囊括收益、波动率、夏普比率等综合风险收益特征。

• 数据来源：结合已有开源数据集、现有基准数据和作者新开发数据集（EDTSum文本摘要、FinTrade股票交易、Regulations法规问答）。强调数据经领域专家设计，均格式化为指令-响应对以适配零样本LLM评估。

[page::2][page::3][page::4][page::5]

2.4 评测设置（篇章3）

• 评测对象包括15款通用及金融领域的LLM，涵盖闭源SOTA（GPT-4、Gemini）、开源指令调优模型（LLaMA系列、FinMA、FinGPT等），模型规模从6B到70B不等。

- 实验规模庞大，求解过程耗时约600小时，费用约5.1万美元，采用16块NVIDIA A100 80GB显卡。

• 测评策略结合零样本及少样本，全面反映模型实际应用潜力。

[page::5]

2.5 评测结果分析（篇章4）

信息抽取&文本分析

• GPT-4在命名实体识别（NER, FINER-ORD, FinRED）任务表现优异。

- InternLM 7B在因果分类（SC）、FinMA 7B在情感分析类任务表现优异，但后者对多样的文本分析任务泛化能力有限，部分任务上表现不及更大的通用模型（如LLaMA2 70B）。

• 复杂信息抽取任务（因果检测CD、数字理解FNXL及文本类比FSRL）整体模型表现不佳，均低分徘徊，凸显复杂信息理解弱点。

- 中文金融模型CFGPT在英文任务上表现不佳，表明多语言及跨语种调整面临严峻挑战。
[page::6][page::7]

问答&文本生成

• 闭源模型GPT-4、Gemini问答表现优越，FinMA虽有提升但受限模型容量和数值推理能力。

- Gemini在财新闻摘要（EDTSUM）文本生成任务领跑，开源模型LLaMA2 70B紧随，其余模型表现波动。

• 抽取式文本生成仍是难点，多模型面临挑战。

[page::7]

预测&风险管理

• 所有模型在股票走势预测等任务表现远低于传统方法，接近随机猜测，显示现阶段LLM在此类数值预测上的不足。

- 风险管理任务数据严重不平衡（低信用、欺诈交易、濒临破产公司比例小），多数模型分类趋向单一类别，导致MCC低至0。此类以表格为主的不均衡任务对LLM是巨大挑战。
[page::7]

决策（股票交易）

• GPT-4在股市交易表现明显优于其他LLM，夏普比率(SR)达1.51，最大回撤(MD)最低，体现风险与收益均衡的优越能力。

- Gemini次之，风险控制能力优于多数模型，但收益稍逊。

• Open-source大型模型如LLaMA 70B表现出低波动但收益较低。

- 传统强化学习方法（DQN，PPO，A2C）普遍表现差于GPT-4，高风险、低收益，凸显LLM模式的结构优势。

• 小模型（<70B）受限于理解深度和长上下文处理能力，难以完成稳定交易指令展现。

[page::7][page::8]

---

3. 图表深度解读

表1：金融基准任务数量对比

• 展示FinBen在任务类别与数据集数量上远超同类benchmark，如PIXIU和BizBench。FinBen所有7大领域均覆盖，突出“决策”和“股市交易”任务的新增。

- 支持报告论点：FinBen为目前最全面金融LLM评测框架。

图1：FinBen评价数据集事件规模分布（环形图）

• 颜色梯度展示数据集规模从100到4000条不等，涵盖多种任务。

- 中心环为7大主题，外圈数据集标注，体现FinBen数据覆盖广且分布均匀。

表2：FinBen任务与数据统计汇总

• 列出每数据集测试集大小及评估指标。

- 细分任务间的评估指标差异合理（如实体识别用EntityF1，生成用ROUGE/BERTScore等），确保评测多元化和准确性。

• 财经任务覆盖面宽广且数据规模充足，有效支撑零样本评测。

表3：LLMs信息抽取与文本分析表现

• 数据显示GPT-4多项任务领跑（信息抽取如NER）且数据稳定。

- 多项复杂任务指标极低（诸如因果检测CD、数值标注FNXL均接近零），揭示当前模型能力瓶颈。

• 量化了FinMA/FinGPT等金融细分模型在基础任务上的微弱提升，同时指出其在复杂任务和英语任务上的局限。

表4：大规模模型股票交易指标比较

• GPT-4领先显著，高SR和低MD表明其风险调整后收益卓越。

- Gemini居次，表现稳健。

• 传统Buy&Hold策略亏损严重且夏普比率极低，证明主动决策策略的必要性。

[page::8][page::9]

表5：传统强化学习股票交易模型表现

• 所有强化学习模型均表现不佳，CR负值，SR为负，提示强化学习策略当前并不适合基于有限数据的股票决策，强调FinBen LLM模型评测独特优势。

图2-11：不同股票的累计收益时间序列

• 以AAPL、AMZN、GOOG、TSLA等多只股票为例，展示FinBen大模型交易策略的累积收益轨迹。

- GPT-4与Gemini多次超过基准Buy & Hold，整体趋势优异，部分股票（COIN、NIO）收益差异显著。

• 小模型表现波动大，收益不及基准且亏损尤为严重。

- 充分显示FinBen对实际金融操作策略的监测能力和区分力。

---

4. 估值分析

本报告非公司股票投资报告，未涉及具体估值模型计算，但利用多维指标系统（夏普比率、最大回撤、年化波动率等）反映LLM在金融风险收益管理能力的“估值”，其中：

• 夏普比率用以衡量单位风险的超额收益，是金融投资领域标准衡量指标。

- 最大回撤体现策略在特定历史区间遭遇的最大亏损幅度。

• 该综合指标体系为金融LLM能力提供量化参考，支持更全面的性能判定。

---

5. 风险因素评估

报告明确指出多项风险因素：

• 数据集规模限制：部分任务数据集规模不足，影响模型泛化。

- 模型容量限制：仅评估至LLaMA 70B，未覆盖更大模型，潜在能力未展示。

• 市场地域限制：所有数据集中多基于美股市场和英文文本，应用于全球市场尚需扩展。

- 潜在滥用：金融信息错误或误导报告可能引发金融风险，强调责任使用和安全防范。

---

6. 批判性视角与细微差别

• 评测发现FinMA等专业金融模型针对英文任务表现受限，可能因训练数据语言和规模不匹配，暗示多语种模型开发难度。

- 各模型在复杂推理与数字理解任务完全不足，是金融LLM未来重点突破方向。

• 强化学习策略表现较差，LLM以其语言理解优势突显，但金融实战与智能决策中仍缺乏完备的端到端建模能力。

- 交易模拟中，模型风险控制与收益之间仍存权衡，模型设计需兼顾绩效与稳健性。

---

7. 结论性综合

FinBen 为金融领域的语言模型能力评测建立了前所未有的系统化、多层次标准，囊括36个数据集、24个任务，涵盖七大关键金融环节，从基础抽取到复杂决策均有覆盖。大规模模型如GPT-4和Gemini分别在信息抽取与文本生成、预测类任务显示不同优势，整体远超传统方法和小型模型，展示现代商业和学术界对金融LLM巨大发展潜力。但也暴露出诸多挑战：复杂的因果推理、数字理解能力尚且匮乏，股票走势预测效果不佳，模型稳定性有待提升，多语言适应能力欠缺。

FinBen不仅是开源工具箱，更是推动金融NLP和AI建模研究的催化剂，已被用于顶级国际会议共享任务，激发创新方案，并为未来基准体系的扩展奠定基础。作者同时对其局限性和风险保持清醒认知，强调负责任的使用原则。

通过详尽图表和广泛任务覆盖，FinBen系统揭示了金融LLM当前的边界和突破空间，为学术界和工业界提供权威参考。

---

关键图表索引：

• —— FinBen数据集结构与规模

- 等若干图 —— 不同股票的累积交易收益对比
（详见正文及附录）[page::1,20,21,22]

---

参考文献标注例：

（Brown等, 2020）[page::0]，（Xie等, 2023a,b）[page::0,1]，（Liu等, 2023a,b）[page::15]，（OpenAI, 2023）[page::0,5] 等。

---

综合以上，FinBen无疑是当前金融大语言模型评测领域的里程碑作品，为模型能力的系统评价及后续改进提供了坚实基础。

报告