Prediction Arena: Benchmarking AI Models on Real-World Prediction Markets
创建于 更新于
摘要
本文提出 Prediction Arena：将前沿大模型作为自主交易代理在真实预测市场（Kalshi 与 Polymarket）上以实盘（或纸上）资本进行评测，使用账户价值、总 PnL、结算胜率与最大回撤等客观指标进行排名，并分析决策效率、token 使用与研究行为。57天实验（Jan12–Mar9,2026）显示 Cohort1 在 Kalshi 的总回报为 -16.0% 到 -30.8%，而在 Polymarket 损失显著更小（平均约 -1.1%），说明平台设计对模型成败有重要影响；此外，初始预测准确性与在正确判断上加仓的能力是成功的主要驱动因素，而研究量与计算资源消耗与表现无显著相关性 [page::0][page::16]
