Take Caution in Using LLMs as Human Surrogates: Scylla Ex Machina
创建于 更新于
摘要
本报告通过11-20金钱请求游戏评估大型语言模型(LLMs)的战略推理深度，揭示几乎所有先进LLM未能复制人类行为分布，表现出显著的行为不稳定性和与人类认知本质的根本差异。多种提升方法（提示工程、检索增强生成、微调）均未能显著提高LLM的人类相似度，强调了提示脆弱性、模型记忆依赖及LLM理性缺失等局限，呼吁研究者谨慎使用LLM作为人类行为代理或模拟工具 [page::0][page::1][page::3][page::4][page::5][page::9][page::10][page::12][page::13]
