FinBen: An Holistic Financial Benchmark for Large Language Models
创建于 更新于
摘要
本报告提出FinBen，首个针对金融领域大型语言模型的开源综合评测基准，涵盖36个数据集、24项任务，覆盖信息抽取、文本分析、问答、文本生成、风险管理、预测与决策七大方向[page::0][page::1][page::2]。评测15款代表性LLM显示：GPT-4在信息抽取与股票交易表现优异，Gemini在文本生成与预测具优势，开源金融LLM在复杂任务表现受限[page::6][page::7]。此外，基于FinBen举办的FinLLM挑战赛吸引多支团队，产生超越GPT-4的创新方案[page::19][page::22]，为金融领域LLM发展提供重要推动力。
