Anticipatory Reinforcement Learning: From Generative Path-Laws to Distributional Value Functions
创建于 更新于
摘要
本文提出Anticipatory Reinforcement Learning (ARL)：通过将历史路径提升到signature增强流形并构造Self-Consistent Field (SCF) 的路径法代理，实现在单条轨迹下对路径依赖回报的确定性“Single‑Pass”评估，从而将高方差的蒙特卡洛分支问题转化为O(1)的线性投影并显著降低估计方差 [page::1][page::2][page::13]. 报告还给出Marcus‑compliant Neural CDE、Anticipatory TD‑Error的代数形式、Nyström压缩的实现细节及理论收敛/泛化保证，适用于跳扩散与重尾噪声的高频金融环境 [page::2][page::10][page::19].
