FinRank: An Evidence-Grounded Benchmark for Financial Question Answering and Retrieval over SEC Filings
创建于 更新于
摘要
本文提出FinRank，一个面向SEC 10-K与10-Q文件金融问答和检索的证据 grounded 基准。数据集包含来自22家公司、三个行业的1185条人工构造问答记录，每条记录均配有支持性段落及人工筛选的高混淆负样本。研究将检索、重排序和困难负样本判别分开评估，结果显示最强的7B指令调优嵌入模型在全局证据池上的Recall@10也仅为44.8%，而困难负样本使模型两两判别准确率较随机负样本下降13.0–20.5个百分点，说明金融问答的核心挑战不仅是回答正确，更在于证据归属和披露语境的准确识别。[page::0][page::3][page::8][page::10]
