STEER: Assessing the Economic Rationality of Large Language Models
创建于 更新于
摘要
本报告提出了STEER基准，系统且可调控地评估大语言模型（LLM）在经济理性决策方面的表现，通过设计细化的64个理性元素及层次结构，生成24500多道多项选择题，覆盖金融、医疗等多领域与13个难度等级。通过对14款不同规模LLM的大规模实验，结果表明模型性能显著受参数量影响，大模型（如GPT-4 Turbo）在低难度题上表现优异，但高级推理题表现趋近随机，且适当提示技术和自我解释能提升模型表现。此外，模型在避免认知偏差和多领域鲁棒性方面表现不一，展现当前技术的潜力与局限 [page::0][page::1][page::5][page::11][page::18][page::19][page::20][page::21]
