UCFE: A User-Centric Financial Expertise Benchmark for Large Language Models
创建于 更新于
摘要
本报告介绍了UCFE基准，一个用户中心化的金融专业能力测试框架，旨在评估大型语言模型（LLMs）处理复杂现实金融任务的能力。通过结合804名参与者调研反馈与17类多轮任务设计，构建涵盖分析师、金融专业人士、监管人员及普通公众多样需求的数据集。基于LLM-as-Judge方法对11款模型进行评测，并采用Elo评分动态评定性能，结果显示金融领域专用模型显著优于通用模型，且模型评分与人类偏好高度相关（Pearson相关系数0.78），验证了评估方法的有效性。该基准突出用户交互体验与模型适应动态金融环境的能力，为金融领域LLMs的性能衡量和优化提供了开创性框架 [page::0][page::1][page::3][page::5][page::6][page::7]
