All That Glisters Is Not Gold: A Benchmark for Reference-Free Counterfactual Financial Misinformation Detection
创建于 更新于
摘要
本报告提出 RFC-BENCH：一个面向金融段落级、reference-free 的反事实误导检测基准，包含多类最小扰动（方向翻转、数值扰动、情感放大、因果歪曲）并由专家验证构建，支持单段检测与原文-扰动对比两项任务。大规模评测 14 款开/闭源 LLM 显示：在仅给单段的 Reference-free Detection 中性能接近随机（≈52% 左右），而在 Comparative Diagnosis（给出原文对比）中准确率激增至 0.85–0.97，揭示 LLM 在无外部对照时存在“先接纳再解释”的系统性弱点，为提高金融场景下的参考自由可判定性指明研究方向 [page::1][page::5]
