Wrong and More Confident: A Field Experiment on Language Models Taking a Graduate Economics Exam
创建于 更新于
摘要
本研究提出 GERB（Graduate Economic Reasoning Benchmark），在60道 graduate-level 微观经济学题目中通过引入无关的红鲱鱼来区分模型的推理能力与记忆能力，结果显示红鲱鱼使正确率下降约12个百分点，约占平均正确率的1/4，并且解释输出的存在与否并未抵消这一损失，推理过程仍然连贯但被错误的线索引导。研究还表明推理能力并不对抗这类内容干扰，且不同模型类型表现出普遍的损害效应，尽管开放权重模型在成本上更具优势。GERB 设计、评分规则、分析代码及部分结果实现了可重复性与私密性相结合的公私混合评估框架，便于未来对新模型的公平对比与扩展评估 [page::2][page::7]。
