Continuous-time reinforcement learning for optimal switching over multiple regimes
创建于 更新于
摘要
本文提出并分析了连续时间熵正则化下的多状态最优切换的探索性（exploratory）表述：以控制有限状态CTMC的生成元实现对切换时刻和目标状态的随机化，导出并证明了对应的耦合HJB PDE系统的良定性与验证定理；基于值函数的显式最优策略形式，设计了基于鞅正交条件的策略评估与策略迭代算法并给出收敛率与误差界，且证明随着温度参数λ→0，探索性解收敛到经典变分不等式的解；数值实验（含神经网络参数化）验证了算法收敛与策略从平滑随机化向阈值型确定性策略的转变 [page::2][page::12][page::17][page::20][page::24][page::25]
