• 研究基于Jiang等（2017）提出的深度强化学习组合管理框架，采用EIIE（Ensemble of Identical Independent Evaluators）结构，由独立但参数共享的评估器组成，分别以CNN、RNN和LSTM构建策略网络，输入资产价格张量和前一时期组合权重，输出新的组合权重向量，实现投资组合的动态调整 [page::7][page::25][page::26]

• 框架增设Portfolio-Vector Memory（PVM）以存储历时组合权重，有效控制交易成本并提升训练效率；采用Online Stochastic Batch Learning（OSBL）方案，基于几何分布抽样mini-batch实现在线滚动训练，适应金融市场实时动态 [page::27][page::28]

- 交易成本通过递归公式建模，考虑买卖佣金影响，显著影响实际回报，框架设计有效降低因交易频繁带来的损耗 [page::16][page::17][page::44]

• 实验1（加密货币市场）：选择市值前11个非现金资产构建组合，训练期间2015-07-01至2017-05-03，测试期至2017-07-01。三网络均显著优于传统算法（包括Best Stock, UCRP等），表现出优越的最终累计组合价值和夏普比率。具体来看，RNN和LSTM表现优于CNN，交易成本降低组合表现但仍保持领先 [page::30][page::31][page::32]

| 网络 | fAPV | Log Mean | Log Mean Free | Backtest fAPV | 训练时间(s) |
|-------|-----------|-------------|---------------|---------------|-------------|
| CNN | 8.94 | 0.000789 | 0.00313 | 56.99 | 590 |
| RNN | 25.48 | 0.001166 | 0.00265 | 59.49 | 1203 |
| LSTM | 42.90 | 0.001354 | 0.00286 | 52.49 | 3751 |

- 三EIIE模型均大幅跑赢传统在线组合算法，特别是fAPV和夏普比率显著领先。传统Follow-the-Loser类算法整体表现较差，部分因交易成本影响严重。 [page::31][page::32]

• 实验2（股票市场）：选取市值前11股票，同样训练和测试划分，时间段为2017-12-12至2019-12-11。结果显示所有EIIE策略表现与等权重策略(UCRP)相仿且与Best Stock算法（买入持有市场最佳股票）相较差距有限，且Follow-the-Loser类策略表现不佳，表明强化学习未能显著挖掘股票市场的潜在收益或过拟合等权重逻辑 [page::33][page::34][page::35][page::36]

| 网络 | fAPV | Log Mean | Log Mean Free | Backtest fAPV | 训练时间(s) |
|-------|-----------|--------------------|--------------------|---------------|-------------|
| CNN | — | 1.0813e+00 (2.83e-5)| 2.85e-5 | 1.079 | 613 |
| LSTM | — | 1.0815e+00 (2.83e-5)| 2.86e-5 | 1.079 | 4629 |
| RNN | — | 1.0816e+00 (2.83e-5)| 2.86e-5 | 1.079 | 1905 |

• 两个市场的表现差异说明该深度强化学习框架适用于波动性较大或机会丰富的资产市场（如加密货币），在相对成熟且均值回复较弱的股票市场效果有限。强化学习策略逐渐趋于保持均匀配置以降低交易频率，以规避交易成本风险。 [page::37][page::38]

- 投资组合管理数学模型精确定义：价格时间序列离散化，收益率、交易成本递归计算，投资组合权重归一化约束，交易假设零滑点与零市场影响，模型参数和假设令框架能在高流动性市场中稳定使用 [page::14][page::15][page::16][page::17]

• 实现细节包括：资产选取基于30日均值交易量规避幸存者偏差，数据预处理归一化形成价格张量输入，策略网络映射市场状态和上期组合权重至组合权重输出，reward函数基于对数累计收益最大化，采用确定性策略梯度法优化 [page::19][page::20][page::21][page::22][page::23]

- 公开代码仓库地址：https://github.com/jackieli19/PGPortfolio/tree/Stock ，包含训练、回测完整流程工具，方便复现及改进 [page::50][page::51]

研究报告详尽分析报告

1. 元数据与概览

报告标题： A Deep Reinforcement Learning Framework for Financial Portfolio Management
作者： Jinyang Li
指导老师： David Saunders
机构： University of Waterloo
日期： 2019年12月
主题： 基于深度强化学习的金融资产组合管理问题

本篇硕士论文主要探讨原始论文《A Deep Reinforcement Learning Framework for the Financial Portfolio Management Problem》中提出的，利用深度强化学习框架解决金融组合管理问题的方法。其核心是提出了一个无金融模型依赖（financial-model-free）的强化学习结构，包含以下关键组成：Ensemble of Identical Independent Evaluators (EIIE) 网络拓扑结构、Portfolio-Vector Memory (PVM)、在线随机批量学习 (Online Stochastic Batch Learning, OSBL) 方案和完全利用且显式的奖励函数。论文实现了三种网络架构：卷积神经网络（CNN）、基础循环神经网络（RNN）、长短时记忆网络（LSTM），并将其表现与多种传统组合选择策略对比验证。该框架在加密货币市场实验中表现优异，收益明显超过传统方法；但当应用于股票市场时，效果不佳，仅表现一般。报告立意在于验证该方法的通用性并评估其优势及局限。[page::0,1,7,8]

---

2. 逐节深度解读

2.1 引言与研究目标（第1章）

• 关键论点：

该研究聚焦于金融资产组合管理问题，核心在于如何根据当前市场信息，动态调整资产配置以最大化期望收益、最小化风险。作者复现并扩展了Jiang等（2017）提出的深度强化学习方法——EIIE网络，强调算法可以直接输出连续的投资权重组合向量，规避了传统离散决策空间强化学习方法适用性不足的问题。EIIE结构由多个参数共享的独立评估器（IIE）组成，每个独立网络负责分析单个资产的历史数据。历史资产权重被储存在PVM中，以纳入交易成本影响。该框架兼容预训练与在线学习（OSBL方案），理论上适用不同市场。[page::7,8]

• 支撑逻辑及假设：

- 使用资产的历史价格作为市场状态的主要代表，认为价格反映市场全部公开信息。
- 利用参数共享网络实现多资产独立但协同评估，有效减少模型复杂度。
- 设计PVM解决了连续交易中历史权重反馈与交易成本的考虑。
- OSBL实现了模型的持续在线更新以适应市场动态。

2.2 背景与相关工作（第2章）

• 投资组合理论（2.1.1）：

该部分介绍两类经典理论：
- 马科维茨的现代投资组合理论（MPT），着眼于单期资产配置，构建有效前沿，平衡收益与风险。
- Kelly的资本增长理论（CGT），基于信息论，强调多期连贯策略，最大化长期对数收益率，更符合在线组合选择场景。

• 在线组合选择算法分类（2.1.1, 2.1.2）：

报告归纳四大类算法类别：
- Follow-the-Winner：资金向赢家倾斜，追求最优长期增长率。
- Follow-the-Loser：资金向输家转移，实证表现优异，违背传统直觉。
- Pattern-Matching Approaches：利用历史数据样本预测下一期市场分布。
- Meta-Learning Algorithms：结合上述多策略。

针对评测对象，选取了代表这几类的典型算法以及三个基准策略（Best Stock, Uniformly Constant Rebalanced Portfolios, Buy And Hold），详见表2.1。

• 加密货币市场（2.1.2）：

介绍加密货币特征及其作为实验市场的合理性。强调比特币作为计价基准，具有最大市值份额（2019年底约占66.6%），便于收集与价格标准化。

• 强化学习概述（2.1.3）：

强化学习作为机器学习中不需标注输出来的学习范式，强调探索与利用平衡，适合于决策问题的解决。区分于监督学习的关键特点是利用环境反馈奖励训练代理（agent）。引入了强化学习中环境(state)、动作(action)、奖励(reward)三要素和时间序列决策过程，图2.1显示了典型框架。

• 相关工作和局限：

传统股票预测大多基于监督学习，先预测价格或趋势，再用规则决定动作，难以端到端自动化，且预测准确度低。部分强化学习研究侧重单资产交易，难以泛化到多资产组合，且多采用离散动作空间不能直接输出连续资产权重。本文所基于的模型解决了上述限制，直接输出连续组合权重，规避了动作空间离散的风险和限制。[page::9,10,11,12,13]

2.3 问题定义（第3章）

• 假设（3.1）：

- 零滑点假设：假设市场流动性充足，所有订单能按发出价格成交。
- 零市场影响假设：投资组合规模相对市场较小，无法影响价格。

这两点保证数据和市场行为符合模型训练与测试前提，也指导了标的的选择（高交易量资产）。

• 数学模型（3.2）：

交易以相等时间段（例如30分钟）划分，定义资产集，使用资产价格的开高低收4个维度描述市场。价格向量中第一维为现金（比特币），恒定为1。
相对价格向量定义为本周期价格与前周期价格逐元素比值，是组合收益计算的基础。
组合价值按照组合权重和资产回报率计算，采用对数收益以实现累积表现度量，目标是最大化最终组合价值。

• 交易成本考虑（3.3）：

考虑买卖佣金引起的交易成本，定义交易剩余因子μ，反映手续费造成的资产缩水。交易权重在交易前后调整时，模型用递归公式计算μ，详见交易成本公式（3.11）及其证明（附录A），从而调整收益计算公式中实际收益率。

交易权重调整涉及卖出和买入资产的量，手续费对该过程的影响在模型中被精准建模而非简单忽略。这种考虑提高了模型与现实市场的贴合度，避免理论收益与实盘收益偏差过大。[page::14,15,16,17,18]

2.4 数据结构（第4章）

• 资产选择（4.1）：

资产根据交易量排名选择，确保高流动性满足零滑点假设。加密货币选择排名前11的非现金资产，组合总资产数为12（含现金）。股票市场同理。
为减轻幸存者偏差，使用测试期开始前的30天平均交易量进行筛选。

• 价格张量（4.2）：

输入神经网络的数据结构为三维张量(f,n,m)，
- m：非现金资产数量，
- n：历史回看的时间步长，
- f：特征数量（收盘价、最高价、最低价）。
价格经过以最新收盘价归一化增强变化趋势信息（非绝对价位），方便网络学习。
当前时点的决策状态由价格张量和上一时期组合权重共同构成，策略函数映射至下时期权重。

这套设计保证了模型输入蕴含充分历史信息，体现市场状态变化，并提供前一权重信息辅助减少交易成本与频繁权重切换。强化学习中的奖励信号为周期对数收益率，结合环境状态促进策略训练。[page::19,20,21]

2.5 强化学习框架设计（第5章）

• 环境与Agent（5.1）：

Agent为组合管理软件，环境为金融市场（多资产价格及外部因素集合），每一步动作对应新组合权重。状态为价格张量及上一时间点组合权重对。动作由策略生成，动作空间为组合权重向量，元素非负且和为1。

• 奖励函数：

奖励定义为平均对数累积收益，含佣金和交易成本因子μ，强化学习目标为最大化该奖励。

• 确定性策略梯度法：

策略函数参数化为θ，应用梯度上升更新参数以优化奖励，采用小批量在线更新方式。

• 策略网络（5.2）：

使用三种神经网络模型近似策略函数：CNN、基本RNN、LSTM。共享的核心创新包括：
- 网络拓扑：EIIE模型，通过参数共享独立网络评估每个资产，最后通过softmax层组合输出权重。CNN中每资产独立卷积，RNN/LSTM中采用时间序列递归处理。此设计既保留各资产特征独立性，也实现参数共享减少复杂度。
- Portfolio-Vector Memory (PVM)：类似经验回放，将历史策略输出的组合权重保存在专门存储中，促进训练效率、避免梯度消失（特别对RNN版本）。
- 在线随机批量学习(OSBL)：实时训练框架，采用几何分布随机采样批次最新数据进行梯度更新，提升适应市场动态能力。

图5.1与5.2分别示意CNN与RNN/LSTM实现结构，标明输入层、隐藏层、 portfolio向量和softmax投票机制等关键结构。[page::22,23,24,25,26,27,28]

2.6 实验及性能评估（第6章）

• 性能度量指标：

- 最终累计组合价值(fAPV): 以1为初始资本的累积增长。
- 夏普比率(SR): 调整风险后的平均收益。
- 最大回撤(MDD): 资本最大峰谷跌幅。
- 负/正收益的天数、期数、周数计数：衡量策略的持续盈利能力。

• 实验1：加密货币市场

- 时间：2015-07-01至2017-07-01，训练截止到2017-05-03，测试段为2017-05-04至07-01。
- 数据来源：Poloniex API。
- 结果：CNN、RNN、LSTM三种EIIE模型均显著超过基准市场（Best Stock、UCRP等）。
- 交易成本影响显著，Log Mean在开启成本后下降。
- RNN训练时间最长但在回测中表现稍优，LSTM测试集表现最好。
- 三模型均表现出持续盈利，交易频率与交易成本带来的收益折损值得重视。
- 对比传统在线组合选择算法（表6.2），三种EIIE的fAPV和夏普率显著领先。传统算法许多因成本影响表现差，强化学习依旧显著盈利。

• 实验2：股票市场

- 时间：2017-12-12至2019-12-11，训练至2019-10-13，测试为后两个月。
- 数据来源：Kibot API。
- 结果：所有EIIE模型表现与均匀再平衡组合(UCRP)接近，且远远不及基准Best Stock单一牛股策略。
- Follow-the-Loser策略表现极差，说明其假设的均值回归不明显或不可利用。
- 回测期间EIIE学习到接近均匀权重分配策略，交易频率较低，交易成本影响减小。
- 训练时间LSTM最长，三模型性能指标差别不大，均表现平庸，未发现强化学习在股票市场的魔力。

• 图表分析：

图6.1显著显示加密货币实验中EIIE模型组合价值呈指数增长远超市场基准。图6.2、6.3表明股票市场的策略曲线平缓，Best Stock表现突出，EIIE与UCRP几乎重合。表6.1、6.3详细罗列训练及回测相关指标，印证文本论述。[page::29,30,31,32,33,34,35,36]

2.7 结论与未来工作（第7章）

• 研究总结：

论文复现并验证了强学习框架，EIIE结构和PVM、OSBL方案体现了较强适应性和训练效率。加密货币市场实验表现优异，超越大部分传统算法；RNN表现最优且训练时间适中。LSTM性能稍逊，可能因缺乏精细微调。

• 股票市场局限：

该框架在股票市场表现不佳，趋向于等权重投资，未能学习到有效交易策略，可能与市场特性及资产选择策略有关。均值回归效果不明显，或策略未充分利用市场信息。

• 未来发展方向：

1. 放宽零滑点及零市场影响假设，适用更实际的交易场景。
2. 尝试多样化奖励函数，实现长期市场反应识别。
3. 引入技术指标辅助学习，如EMA、VWAP、RSI等。
4. 针对股市进行更细致的超参数调整优化。
5. 资产筛选引入更多维度，避免简单依赖交易量。

该章节肯定了该框架的创新贡献，也理性面对了应用中的局限，指明改进方向。[page::37,38]

---

3. 图表深度解读

图2.1（金融环境与RL代理交互示意）

• 描述强化学习中Agent与环境交互机制，每个时刻Agent执行动作，环境反馈新状态和奖励。

- 突出RL自主学习决策特性，非监督式数据依赖。

表2.1（在线组合算法分类）

• 列举主流在线组合策略及其类别，辅助评估比较底层方法多样性。

- 明确实验选择的参考算法基线，为性能评测提供多维度对照。

图5.1（CNN EIIE网络结构）

• 输入维度3×m×n表示3个历史价格特征、m=11资产、n=50时间窗口。

- 通过1×3、1×48卷积层结合ReLU激励，提取各资产独立特征，网络结构各行对应单独资产彼此独立，无交叉信息。

• 结合上一周期权重输入，输出投票分数经softmax归一化产生下期权重。

图5.2（RNN/LSTM EIIE网络结构）

• 价格历史通过20单元RNN（或LSTM）沿时间展开50步独立处理各资产时间序列，参数在资产间共享。

- 在最后时刻单一输出接入上一期权重，加权得分，softmax归一化出权重向量。

• 参数共享及独立资产处理有利于捕捉时间序列动态和减少训练复杂度。

图6.1（加密货币市场Back-test 1）

• 多条曲线展示8种投资策略累计组合价值，蓝、绿、红色对应CNN、LSTM、RNN，曲线跃升迅速。

- EIIE模型线条远在市场及平均组合基准上方，代表超额收益。

• 图形说明强化学习框架在高波动市场中的适用与优越性。

表6.1（加密货币三网络实验结果）

• 对比训练和回测阶段fAPV, Log Mean (平均对数收益率), 交易成本影响明显（Log Mean Free较大）。

- RNN训练时长最长，回测表现略优；LSTM测试fAPV最高。

• 指出在线学习（测试）阶段表现回落，反映市场瞬息万变与训练数据差异。

表6.2（加密货币市场对比算法表现）

• 三个EIIE模型在最终组合价值与夏普比率指标均优于传统和基准方法。

- 最大回撤较低，负收益周期较少，持续盈利能力显著。

图6.2与图6.3（股票市场Back-test 2）

• APV曲线变化平稳，EIIE模型与均匀再平衡基准集合趋势一致，Best Stock独领风骚突出。

- 图中Follow-the-Loser策略表现极差，强化学习模型未能捕捉明显套利机会。

表6.3与6.4（股票市场实验指标）

• 三网络的fAPV聚拢在1.07左右，夏普比率和最大回撤都较低，表现平庸但优于部分传统策略。

- 训练时间呈现LSTM>RNN>CNN排序，性能差异较小，反映策略趋向均衡。

---

4. 估值分析

本研究属算法性能和策略表现评估范畴，无传统金融资产估值部分，如DCF、市盈率等定价模型未涉及。因此不适用该部分常规定价分析。

---

5. 风险因素评估

• 假设风险：

两大核心假设（零滑点、零市场影响）现实中难完全成立，尤其在流动性低或资产规模较大时，执行风险和市场冲击风险明显，可能导致模型表现偏离预期。

• 数据风险：

加密货币市场数据偏少、波动极大，过拟合风险增加。股票市场数据稳定，但选择基于交易量可能引入幸存者偏差。

• 模型泛化风险：

强化学习模型可能受训练参数、超参数调优影响显著，尤其LSTM表现不佳可能与超参数调校不足有关。

• 策略执行风险：

高频调整导致交易成本放大风险，PVM机制虽考虑成本但可能无法完全消除滑点与委托成本。

• 市场结构风险：

不同市场（加密货币vs股票）风险结构和行为特征差异大，模型移植效果有限。

作者识别部分风险，提议未来研究放宽假设，改进输入特征，多角度调参，以提升稳健性。[page::14,37,38]

---

6. 批判性视角与细微差别

• 假设局限性：

零滑点和零市场影响的假设虽然便于建立模型，实际操作中难以保证，特别是在部分低流动性资产或大规模账户操作时，可能导致显著执行偏差。

• 市场适用性差异表现：

加密市场表现优异但股票市场表现平平，说明模型对市场结构和资产特点敏感。股票市场特征更复杂且更有效率，简单基于价格及交易量的历史数据可能不足以捕捉有效套利信号。

• 策略学习性质未完全解析：

报告中指出RNN相较LSTM的优势可能源于“历史模式重复性”更强，但未深入分析为何LSTM未展现其司空见惯优势，超参数统一设置可能是原因之一，未来细化网络架构与调参可能挖掘更优表现。

• 表现过度依赖均值回归假设：

股票市场中，强化学习结果更趋向UCRP，表明该模型可能默认市场存在均值回归，而当市场走势强势或单边行情时，此类策略受限。

• 实验设计角度：

资产筛选仅依据交易量，忽视资产间相关性、波动率等多维度信息，可能导致组合结构单一，限制模型潜力发挥。

• 代码和实验公开度高：

附录详细介绍GitHub仓库及操作步骤，提升研究复现性及透明度，这点十分值得肯定。

---

7. 结论性综合

本文系统复现并验证了Jiang et al.提出的基于深度强化学习的组合管理框架，核心为EIIE网络结构，辅以PVM记忆模块和在线随机批量学习策略。该框架突破传统RL对离散动作空间的限制，输出连续的资产权重向量，合理纳入交易成本，适合在线训练。

加密货币市场实验证明该框架获得了远超市场平均的显著超额收益，并在所有统计指标（fAPV、夏普率、最大回撤）上领先主流传统算法，显示了该方法在高波动、非传统金融资产市场的应用潜能（图6.1，表6.1、6.2）[page::30,31,32]。

然而，在更成熟且结构复杂的股票市场，该框架的表现大幅缩水，策略学习倾向均匀资产配置，输出组合权重近似均值再平衡策略，与加密货币市场的“魔力”截然不同（图6.2、6.3，表6.3、6.4）。这表明方法对市场特点有较强依赖，且基于价格和交易量的输入数据可能不足以支持股票市场的复杂策略优化。

图表精细剖析强化了文本论断，网络结构（图5.1、5.2）体现了模型创新性，实验数据（表6.1至6.4）及累计财富曲线直观展示效果差异及稳定性。本报告同时指出假设前提及资产筛选简单等不足，建议未来研究拓展数据维度、增强策略灵活性、以及更广泛调参和市场适应性研究，以期发挥深度强化学习在金融资产管理中的更大潜力。

总体来看，作者对深度强化学习在资产管理领域的探索贡献显著，取得了理论与实证上的创新进展，尤其是在加密货币市场。该方法为未来机器学习资产管理模型的设计提供了有益思路，同时也敲响了跨市场应用时需慎重验证和针对优化的警钟。[page::37,38,31,33,34]

---

主要图表列表

| 图表编号 | 名称 | 内容描述 | 关键见解 |
| --- | --- | --- | --- |
| 图2.1 | 强化学习环境与代理示意 | 显示Agent、环境、动作、奖励和状态的交互 | 体现RL核心机制，为后续策略设计定基调 |
| 表2.1 | 在线组合算法分类 | 统计传统在线组合选择算法分类和算法名称 | 实验中对比基准涵盖全面策略类型 |
| 图5.1 | CNN模型EIIE结构图 | 输入价格张量，卷积特征提取，权重融合 | 参数共享且资产独立处理 |
| 图5.2 | RNN/LSTM模型EIIE结构图 | 时间序列递归处理输入，软max组合输出权重 | 长期依赖捕捉，参数共享设计 |
| 图6.1 | 加密货币市场测试财富增长曲线 | CNN/RNN/LSTM与传统算法收益对比 | 三种EIIE表现显著优异，收益高速增长 |
| 表6.1 | 加密货币不同模型训练及回测结果 | fAPV、Log Mean、训练时间等数值性质 | 交易成本影响显著，RNN训练时间最长表现优 |
| 表6.2 | 加密货币算法绩效比较表 | 各算法MDD,fAPV,夏普率及周期统计 | 强化学习模型优势明显 |
| 图6.2/6.3 | 股票市场组合财富变化曲线 | RL模型与基准Plain、Best Stock表现对比 | RL模型趋均匀权重，Best Stock最佳 |
| 表6.3/6.4 | 股票市场训练及绩效指标 | 数值指标接近均值策略，表现平庸 | 股票市场有效性存疑 |

---

术语解释

• EIIE（Ensemble of Identical Independent Evaluators）：由多个参数共享的子网络组成的框架，每个网络独立评估单个资产走势，输出资产增长潜力，最后汇聚生成资产权重组合。

- PVM（Portfolio Vector Memory）：类似经验回放的存储机制，保存每期输出资产组合权重，辅助训练考虑交易成本并避免梯度消失。

• OSBL（Online Stochastic Batch Learning）：基于几何分布对最近数据片段抽样的小批量在线训练策略，允许模型持续自我优化适应市场新动态。

- fAPV（final Accumulated Portfolio Value）：最终累计组合资金价值相对于初值的增长倍数。

• 夏普比率：调整风险之后的平均收益，越高说明单位风险收益越好。

- 最大回撤（MDD）：从峰到谷的最大资金跌幅，衡量策略的风险暴露。

• 零滑点假设：买卖订单无延迟且能以当时报价成交。

- 零市场影响：交易个体不能显著影响市场价格走势。

---

总结

该论文通过复现并评估深度强化学习架构在两类市场（加密货币和股票）上的表现，创新性提出了多资产连续动作空间决策的EIIE网络结构，完善考虑交易成本与历史权重影响，具备一定的在线学习和扩展能力。加密货币市场证明其有效性，股票市场存在显著局限，提示模型和特征需针对不同市场特征灵活调整。本研究对强化学习在金融资产组合管理中的应用提供了深入的理论与实证贡献，同时也展示该技术从新兴资产向传统市场迁移的挑战，具有较高学术和实务价值。

报告