GUESSARENA: Guess Who I Am? A Self-Adaptive Framework for Evaluating LLMs in Domain-Specific Knowledge and Reasoning
创建于 更新于
摘要
本报告提出GUESSARENA，一个灵活自适应的评估框架，通过将“Guess Who I Am?”游戏机制引入大语言模型（LLM）评价，实现领域知识建模与多轮交互推理评估的融合，覆盖金融、医疗、制造等五大垂直行业。实验证明该框架在区分模型领域知识覆盖和推理效率上具备显著优势，并可通过不同提示策略揭示模型推理与知识能力差异，有效推动领域特定LLM的定量评估研究和应用实践 [page::0][page::2][page::4][page::7][page::8]
