A hierarchical resource-efficient deep policy gradient method for continuous-time optimal control problems
创建于 更新于
摘要
本文提出一种面向连续时间随机最优控制的分层深度策略梯度方法，通过在不同时间尺度动态配置时间离散粒度、样本轨迹数量和神经网络复杂度，避免全区间直接采用细网格，从而降低训练成本并保持较高精度。方法利用轨迹分布变化与价值函数差异识别需要细化的区间，并通过价值函数代理网络逐级训练细粒度策略；理论结果给出了相对暴力式PGM实现任意加速比的资源配置条件。在线性二次随机控制和随机价格冲击下的最优执行实验中，该方法在接近基准精度的同时显著提升运行效率。[page::0][page::4][page::13][page::17][page::20][page::26]
