PolyBench: Benchmarking LLM Forecasting and Trading Capabilities on Live Prediction Market Data
创建于 更新于
摘要
本论文提出 PolyBench：一个基于 Polymarket 的大规模多模态基准，按时间点同步记录 38,666 个二元市场快照，包含精确 CLOB 状态与实时新闻，用以评估 LLM 在现场预测市场中的方向性判断与实际交易可行性。报告设计了新的金融度量（Confidence-Weighted Return, CWR）并通过真实订单簿执行模拟测算收益与风险，结果显示仅 MiMo-V2-Flash 与 Gemini-3-Flash 获得正收益（分别为 17.6% 和 6.2% CWR），其余模型尽管置信度普遍偏高仍表现亏损，揭示语言流畅性与真实概率推理之间的差距 [page::0][page::8][page::10]
