基于大模型外部评价体系框架介绍
创建于 更新于
摘要
本报告构建了面向金融领域的专业问答能力评价基准，由188道涵盖金融计算、财务分析等9类高质量单项选择题组成，配备清晰的推理链条，用于系统评估国产主流大模型（如DeepSeek、混元、Qwen、GLM）在零样本、思维链、少样本及复合提示情景下的表现。实验表明，思维链提示显著提升模型准确率，单模型最高提升超15%，而样本提示效果有限。模型在处理逻辑复杂、概念相近题目时易出现误判，提示了当前金融大模型推理能力的瓶颈与未来优化方向 [page::0][page::13][page::15]
