A Multi-Task Evaluation of LLMs’ Processing of Academic Text Input
创建于 更新于
摘要
本报告设计了一个系统的多任务评估框架，针对学术文本输入，全面考察大型语言模型（LLMs）在内容再现、比较、评分及反思四大任务上的性能。以谷歌Gemini为测试对象，使用信息系统领域246篇高质量论文，结果显示：LLM在摘要及关键词生成上表现出可接受的可靠性，但在文本排序时的可扩展性较弱，评分具有偏倚且判别力不足，质性反思虽自洽却缺乏洞见。综合内外部指标和人类评价，这些限制在多种提示语下均具鲁棒性，提示当前LLM辅助学术同行评审存在显著不足，且不推荐不加限制地应用于完整的同行评审流程[page::0][page::5][page::17][page::19][page::21][page::25][page::28]
