FinReflectKG - EvalBench: Benchmarking Financial KG with Multi-Dimensional Evaluation
创建于 更新于
摘要
本报告提出FinReflectKG - EvalBench，针对SEC 10-K文件中的金融知识图谱提取任务，设计了首个多维度评价基准和框架。通过对单述、复述及反思三种提取模式在忠实性、精确性、相关性和全面性方面的对比评测，发现反思模式在全面性、精确性和相关性上表现最好，单述模式忠实性最高。报告还创新采用严格偏差控制和提交-说明评判协议提升评估稳定性和可解释性，为金融知识图谱在合规、风险管理等应用提供可信赖的研究基础 [page::0][page::1][page::2][page::3]。
