Unified continuous-time q-learning for mean-field game and mean-field control problems
创建于 更新于
摘要
本文针对在缺乏人口分布直观信息的连续时间环境下的 mean-field game (MFG) 与 mean-field control (MFC) 问题，提出了一个解耦的 Iq 函数并给出其鞅刻画，为两类问题提供统一的策略评估框架。通过引入探索性 decoupled 形式并将人口流与代表性代理的过程分离，我们实现了一个不依赖环境直接提供人口分布信息的统一参数化 q-learning 算法，并能在不同任务中分别刻画 MEF 策略与 MFO 策略的最优性条件。进一步地，论文将检验性策略与平均鞅正交性条件结合，设计出一个可在跳跃扩散模型及非线性场景中应用的统一学习流程。理论方面，给出 decoupled Iq-function 的动态规划与鞅特征，以及在 MFG/MFC 框架下的统一收敛性与一致性结论；数值方面，通过均值-方差投资组合优化与 crowd-aversion 传输等两类应用，展示了方法在无人口分布信号条件下的有效性与鲁棒性，并给出参数敏感性与收敛性分析结果 [page::0][page::1][page::6].
