FinReflectKG - MultiHop: Financial QA Benchmark for Reasoning with Knowledge Graph Evidence
创建于 更新于
摘要
本报告提出FinReflectKG-MultiHop，一个基于结构化金融知识图谱的多跳问答基准，涵盖S&P100公司多文件、多年份间的财务披露。与传统文本窗口检索相比，KG精确检索提升问答准确率约24%，减少输入令牌使用约84.5%，显著提高推理效率。实验基于多型号LLM验证在不同证据检索策略下的表现，强调KG在多跳金融推理中的关键作用，且发布了含555条高质量问答的子集推动社区研究发展[page::0][page::1][page::4][page::6][page::8][page::9]。
