Continuous-time Risk-sensitive Reinforcement Learning via Quadratic Variation Penalty
创建于 更新于
摘要
本文提出在熵正则化的连续时间探索扩散框架下的风险敏感（指数型）强化学习：将原始指数型目标通过指数鞅与伊藤引理等价地转化为普通加法型目标并加入价值过程的二次变差（QV）惩罚，从而得到关于value与q-function的线性鞅表征，便于用q-learning方法学习并避免策略梯度的偏差；并给出在Merton投资问题与线性二次（LQ）案例上的收敛论证与数值验证（包括参数收敛速率与ERWL/Regret阶的理论界） [page::0][page::3][page::13][page::22][page::25]
