The Benchmark Ceiling: Human Judgment, Evaluation Scarcity, and the Political Economy of AI Capability Measurement
创建于 更新于
摘要
本研究提出基准上限问题，指出随着前沿模型在现有评估集上的表现趋于极限，评测信号逐步集中在困难尾部的高判断力项。这些项由稀缺的顶尖评估者设计，替代成本高且难以规模化，因此评估有效性随 frontier 提升而贬值。论文给出经济学框架、对评估劳动市场的实证证据，以及治理与公共品建设的政策建议，主张以受保护的活体题库、透明治理、独立监管和持续投入来提升前沿评估基础设施的长期可持续性 [page::0][page::2]
