Assessing Consistency and Reproducibility in the Outputs of Large Language Models: Evidence Across Diverse Finance and Accounting Tasks
创建于 更新于
摘要
本研究首次系统评估大型语言模型（LLMs）在金融和会计任务中的输出一致性和可复现性。通过对GPT-3.5-turbo、GPT-4o-mini和GPT-4o三种模型，执行了五项常见任务（分类、情感分析、摘要、文本生成和预测）的50次独立运行，生成超过340万条输出，覆盖多类金融文本。结果显示，二元分类和情感分析一致性极高，复杂任务则波动更大，且模型升级并不总带来一致性提升。聚合3-5次运行输出可显著提高一致性和部分任务准确率。下游统计推断表现稳健，显著缓解了“G-hacking”（多次运行挑选有利结果）的担忧，为金融和会计领域LLM应用的可靠性提供了权威支持[page::0][page::1][page::2][page::3][page::4][page::5][page::15][page::21][page::22]
