Large Language Models as Financial Data Annotators: A Study on Effectiveness and Efficiency
创建于 更新于
摘要
本报告评估了GPT-4、PaLM 2和MPT Instruct三款大型语言模型（LLMs）作为金融领域关系抽取数据标注工具的效果和效率。研究显示，GPT-4和PaLM 2显著优于非专家众包标注者，能够替代一部分人工标注工作，结合引入的可靠性指数（LLM-RelIndex）可有效筛选需专家复核的样本。此外，通过多种prompt设计和多轮实验，分析了模型性能、标注一致性、错误类型与成本时间，对未来金融领域自动标注任务提供了实践建议 [page::0][page::1][page::2][page::3][page::4][page::5][page::6][page::7]。
