EVALUATION OF DEEP REINFORCEMENT LEARNING ALGORITHMS FOR PORTFOLIO OPTIMISATION
创建于 更新于
摘要
本文使用基于相关几何布朗运动与Bertsimas-Lo市场冲击模型的模拟数据，评估了深度强化学习算法在组合优化中的表现。发现离策略算法DDPG、TD3和SAC因奖励噪声难以正确学习Q函数表现不佳，而近策略算法PPO和A2C利用广义优势估计成功收敛至接近最优策略。PPO的裁剪机制能防止策略偏离最优，结合隐马尔可夫模型可适应参数变化的市场环境。训练样本需求极高，约需200万步训练，反映出现实应用中的样本效率问题[page::0][page::16][page::23]。
