Can Reinforcement Learning Efficiently Discover Price Manipulation?
创建于 更新于
摘要
本研究在非线性永久冲击、线性临时冲击的单资产市场（Almgren–Chriss 框架）下，探究模型无关的强化学习（RL，DDPG）是否能在有限样本下发现并利用价格操纵机会，并与基于模型、需参数估计的传统策略进行对比。理论上证明在离散时间、存在非线性永久冲击的情形下存在“动态套利/操纵”策略；通过全信息下的 SLSQP 求解给出基准最优解，并比较两种学习路径：一是基于 TWAP 参数估计的模型法，二是直接在等量数据上训练的无模型 RL。结果表明，在中等波动性下，RL 能在训练数据相对有限的情况下识别盈利性操纵策略；且当参数估计存在抽样误差时，RL 往往优于模型法，尽管后者在参数估计充分准确时可与真DGP等价。相反，在高波动性时三者均难以捕捉操纵机会；在低波动性下，模型法往往占优但 RL 仍具竞争力。以上发现强调 RL 在复杂控制问题中的有效性，同时提示在金融市场部署学习算法时需加强奖励设计与监管约束以防范潜在操纵行为。 [page::1]
