Stochastic Volatility Modelling with LSTM Networks: A Hybrid Approach for S&P 500 Index Volatility Forecasting

研究目标与数据概览 [page::0][page::4]

• 目标：评估将SV模型生成的潜在波动率预测作为额外输入能否提升LSTM对S&P500日度(t+1)波动率的预测精度 [page::1][page::4].

- 数据：S&P500每日收盘价，样本期为1998-01-01至2024-12-31，使用对数收益与21日滚动标准差作为目标与输入之一 [page::4][page::5].

• 波动率时序特征：21日滚动波动率展示出2008与2020年等显著峰值与集群效应，见图： [page::6].

三类模型与实验设置（滚动窗口） [page::8][page::9]

• 模型：SV（仅用对数收益估计隐含波动率）、LSTM（对数收益+21日历史波动率）、Hybrid SV-LSTM（在LSTM输入中加入SV对t+1的隐含波动率预测）[page::7][page::8].

- 滚动窗口：每窗包含11年训练、3年验证、1年测试；窗口逐年前移，共11个重叠窗口，最终汇总2000–2025期间的预测 [page::8].

• 流程示意图： [page::9].

关键结果 — 预测精度对比 [page::18]

| Model | MAPE (%) | MSE | MAE |
|-------|----------:|----:|----:|
| SV | 18.12 | 9 × 10^-6 | 1.717 × 10^-3 |
| LSTM | 5.29 | 7.09 × 10^-7 | 4.80 × 10^-4 |
| Hybrid SV-LSTM | 4.75 | 5.07 × 10^-7 | 4.29 × 10^-4 |

• 结论：Hybrid 在所有三项指标上均优于SV和略优于纯LSTM，表明将SV的隐含/潜在波动信号嵌入LSTM可带来边际改进 [page::18].

- 对比图（Hybrid vs 实际波动率）： [page::17].

统计显著性检验 [page::19]

• Wilcoxon 与 Diebold–Mariano 测试：LSTM 显著优于 SV；SV-LSTM 在 DM 测试（基于MSE/MAE）显著优于 LSTM 与 SV，但 Wilcoxon 对 SV-LSTM vs LSTM 的 p≈0.058（接近 0.05）未能拒绝两者误差中位数相等的原假设，表明在大样本下两者误差分布差异边际 [page::19].

- 结果摘要表：见报告中表格（Table 9）用于阅读具体统计量与 p 值 [page::19].

敏感性分析（序列长度与数据预处理） [page::20][page::23]

• 序列长度：基线21天优于缩短到5天与延长到42天的配置（5天与42天均导致MAPE/MSE/MAE上升），表明21天在捕捉短中期波动信息间取得平衡 [page::20][page::21].

- 数据缩放：将MinMax替换为StandardScaler或RobustScaler均能进一步降低误差；StandardScaler效果最好（MAPE由4.75%降至4.54%）[page::22][page::23].

• 相关图示：5天、42天与标准化/稳健缩放下的预测参考图见报告图 6、7、8、13 [page::21][page::22][page::23][page::24].

投资策略模拟与损失函数调整（MADL） [page::25][page::27][page::28]

• 策略描述：基于每日预测的 t+1 波动率与当日实际波动率比较生成VIX期货多/空信号（交易成本0.1%且按到期换仓）；资本配置：每日投入资本的25% [page::25].

- 经济绩效：原始基于MSE/MAE训练的信号策略整体表现不佳，Short Only（始终空VIX期货）表现最佳；将训练损失改为 Mean Absolute Directional Loss (MADL) 后，SV-LSTM 的策略性能显著改善并接近 Short Only 基准（SV-LSTM with MADL 的年化收益≈9.92%，Sharpe≈0.53）[page::27][page::28].

• 权益曲线： [page::27].

其他要点与实践含义 [page::28]

• 结论要点：将统计模型输出作为机器学习特征可带来显著改进，但最终在经济性（交易收益）上需针对性地调整目标/损失函数（如MADL）以对齐预测目标与交易利润 [page::28].

- 限制：计算成本高（在CPU上对每窗口进行超参搜索耗时较长），未来可用更高算力或近似方法降低成本 [page::15][page::29].

一、元数据与概览（引言与报告概览）

• 报告标题：Stochastic Volatility Modelling with LSTM Networks: A Hybrid Approach for S&P 500 Index Volatility Forecasting；作者：Anna Perekhodko 与 Robert Ślepaczuk；机构：University of Warsaw（Faculty of Economic Sciences）；时间范围/数据覆盖：日度 S&P 500 收盘价 1998-01-01 至 2024-12-31（文中多处明确） [page::0]。

- 报告核心论点与结论摘要：作者提出一种混合模型（SV-LSTM），将统计学的随机波动率（SV）模型生成的潜在波动率预测作为 LSTM 的附加输入，以期结合 SV 捕捉潜在随机过程与 LSTM 捕捉非线性、长短期依赖的优势；实证使用滚动窗口逐步训练并生成一步预测，并通过误差度量、Wilcoxon 及 Diebold-Mariano 测试和一个基于 VIX 期货的投资模拟进行评估，结论为混合模型在统计误差指标上优于单独的 SV 与 LSTM 基准（例如报告给出混合模型 MAPE=4.75%，LSTM=5.29%，SV=18.12%） [page::0] [page::18].

二、逐节深度解读
1) 引言与研究问题（章节 1 与假设）

• 研究目标明确为检验将 SV 模型对 t+1 的隐含/潜在波动率预测作为 LSTM 输入是否能提升 LSTM 的预测精度；作者列出三个主假设 H1-H3 与若干次要研究问题（例如序列长度、预处理影响、来自 SV 的更多维输入是否提升）以驱动实证设计 [page::1].

2) 数据与预处理（第 3 章，数据与方法）

• 数据来源与变换：使用 Yahoo Finance 的 S&P 500 日度收盘价并计算对数收益 rt = ln(Pt / P{t-1}) 作为基础输入以利于平稳性与比例尺度处理，报告明确说明样本期为 1998-01-01 至 2024-12-31 [page::4].

- 描述性统计：表 1 报告收盘价均值 2044.98、标准差 1220.20、偏度 1.3333 以及收益均值 0.000265、收益标准差 0.012225、收益峰度 9.8617，作者据此指出价格呈右偏、收益序列具肥尾特征，强调对极端事件建模的必要性，这为采用 SV 与 LSTM 的动机提供量化依据 [page::4] [page::5].

• 目标变量定义与基准：以 N=21（日）滚动无偏标准差作为“21 日滚动历史波动率”作为预测目标（公式与窗口说明见第 3.2 节），并作为衡量预测准确性的基准 [page::5].

- 可视化（图 1）：报告以 1998–2024 年的 21 日滚动波动率时间序列展示长期与危机期间（2008、2020）峰值，证明数据含有明显波动簇和极端波动事件（图在第 3.2 节） [page::6]。
[page::6]

• 预处理差异：LSTM 使用 Min-Max 归一化（并具体用 1e-11 避免除零），且为防止数据泄漏在训练/验证与测试集上采用分步缩放；SV 模型直接使用原始对数收益，无需缩放 [page::6].

- 评价指标：采用 MSE、MAE、MAPE 三种度量，这三者互补用于衡量绝对误差、平方误差和相对百分比误差 [page::7].

3) 建模框架与滚动窗口设计（第 3.5 与图 2）

• 模型摘要表（表 2）：SV 使用全部 1998–2025 数据并输出潜在 t+1 波动率；LSTM 与混合模型使用 2000–2025 的样本并以 21 日历史波动率为目标，混合模型额外输入 SV 对 t+1 的预测 [page::8].

- LSTM/混合模型的滚动窗口配置：每个窗口含 11 年训练（≈2772 天）、3 年验证（756 天）、1 年测试（252 天），窗口每次前移一年，共 11 个重叠窗口；此方案用于避免简单一次性训练并模拟现实逐步部署（图 2 说明） [page::8] [page::9].
[page::9]

4) 随机波动率模型（第 4.1）

• 模型设定：观测方程 yt | ht ~ N(0, e^{ht}) 与状态方程 ht | h{t-1} ~ N(μ + φ(h{t-1}-μ), ση^2)；初始条件亦按平稳分布给定，强调 SV 模型允许隐含对数波动率随时间随机演化并具有均值回复与波动率自身波动的特征 [page::10].

- 参数估计：采用 stochvol 包实现 MCMC（Metropolis-Hastings）估计，使用弱信息先验与 ASIS 技术以改善链混合，迭代 1000 次、前 200 次 burn-in（文中明确） [page::10].

• SV 输出与性能：以 504 日（≈2 年）滚动窗口生成 t+1 的中位预测 √(e^{h{t+1}})；对 2014-01-24 至 2024-12-30 的样本，图 3 显示 SV 预测能捕捉趋势与危机峰值（如 2020），但比基准（21 日滚动波动）更具噪声性；表 3 给出 MAPE=18.12%、MSE=9×10^{-6}、MAE=1.717×10^{-3}，表明绝对误差较小但相对误差偏高（尤其在低波动水平时） [page::11].

[page::11]

5) LSTM 模型（第 4.2）

• 网络机制与训练细节：详细回顾 LSTM 的门控结构与参数更新（忘记门、输入门、输出门、单元态更新及梯度下降），并在滚动窗口内对超参数进行随机搜索（25 次随机组合、每组合 3 次试验、最多 50–100 个 epochs，并采用 early stopping）以防过拟合 [page::12] [page::14].

- 超参数空间与选定配置：表 4 列出调参范围（层数、单元数、学习率、丢弃率等），表 5 给出每个窗口最终选定的超参数配置，表明作者为每个窗口单独优化，反映非静态超参数选择策略可能导致模型波动性（多窗口异构化） [page::13].

• 实施细节与运算资源：在无 GPU 的普通笔记本（16GB RAM）上运行，全部窗口调参耗时约 24 小时，单次窗口训练约 15 分钟，显示方法在资源受限下可行但计算成本仍高 [page::15].

- LSTM 性能：对同样的 2014-01-24 至 2024-12-30 的测试，LSTM 的图 4 表明拟合整体趋势较好但在 2020 等极端突变上存在低估；表 6 报告 MAPE=5.29%、MSE=7.09×10^{-7}、MAE=4.80×10^{-4}，显著优于 SV（从统计误差角度看） [page::15] [page::16].
[page::15]

6) 混合 SV-LSTM 模型（第 4.3）

• 架构与输入：混合体将 SV 在每个时点生成的 √(e^{h{t+1}}) 作为额外特征，与对数收益与 21 日滚动波动率一并输入 LSTM，SV 每步以 504 日窗口重估并提供 t+1 的潜在波动率估计，随后这些估计按 LSTM 的预处理流程缩放并分割序列 [page::16].

- 训练与调参：与 LSTM 相同的滚动窗口与超参数随机搜索机制单独执行于每窗口，模型在 2014–2024 的拼接测试集上生成预测。

• 性能表现：图 5 显示混合模型在捕捉 2020 峰值和随后回落时比纯 LSTM 更顺滑且更贴近真实值；表 7 报告 MAPE=4.75%、MSE=5.07×10^{-7}、MAE=4.29×10^{-4}，在三项指标上均优于 LSTM 与 SV，支持作者提出的混合效用论断 [page::16] [page::17].

[page::17]

7) 基准比较与统计显著性检验（第 5 章）

• 合并误差比较：表 8 汇总三模型的 MAPE/MSE/MAE，显示混合模型最优（MAPE: SV 18.12%；LSTM 5.29%；SV-LSTM 4.75%）并量化改进幅度 [page::18].

- 统计检验：Wilcoxon 和 Diebold-Mariano (DM) 检验用于配对误差比较表 9 给出详细统计值；关键结论：LSTM 显著优于 SV（Wilcoxon p<0.001；DM p<0.001）；SV-LSTM 相对 SV 显著优（p<0.001）；而 SV-LSTM 相对 LSTM 的 Wilcoxon p=0.058（未能在 α=0.05 下拒绝无差异的原假设），但 DM 检验（MSE/MAE）显示 p<0.001 且 DM 为负值，表明在损失层面混合模型显著更好，两种测试结果并非完全一致，提示分布检验与平均损失检验可能给出不同结论 [page::19].
- 具体解释：作者指出 Wilcoxon 的非参数中位数差异检验在样本极大时对细微中位数差异不一定完全敏感；同时 DM 对时间序列损失平均差异直接显著，这解释了为何 Wilcoxon 在 LSTM vs SV-LSTM 问题上 p≈0.058 而 DM 显著 [page::19].

8) 敏感性分析（第 6 章）

• 序列长度：将输入序列从基线 21 天缩短至 5 天或延长至 42 天均导致性能下降（表 10、11），作者据此认为 21 天为本问题的经验最优长度（5 天 MAPE=5.47% vs 基线 4.75%；42 天 MAPE=5.31%） [page::20] [page::21].

[page::21]
[page::22]

• 数据缩放策略：将 Min-Max 换为 StandardScaler 或 RobustScaler 均改善预测性能（表 12 与表 13）：StandardScaler 提升最明显（MAPE 从 4.75% 降至 4.54%，MSE 从 5.07×10^{-7} 降至 4.18×10^{-7}），表明缩放策略对深度模型表现有实质影响 [page::23].

[page::23]
[page::24]

• 隐含层数：固定密集层（dense）为 1–3 对比基线的动态调优均降低性能（表 14 与图 10），作者据此建议跨窗口灵活调参比固定结构更有利 [page::24] [page::25].

[page::25]

9) 投资策略模拟（第 7 章）

• 策略设计：以 VIX 月度期货为标的，依据模型对 t+1 波动率的预测与当日实际波动率比较来生成长/短信号（forecast > volt 则多头，反之空头），每次使用当天收盘价进出，交易成本 0.1%（入/出），每日仅动用净资本的 25% 进行头寸分配，并滚动至到期合约 [page::25] [page::26].

- 绩效与损失函数调整：原始基于 MSE/MAE 训练得到的信号策略普遍表现不佳（表 15 显示 SV、LSTM、SV-LSTM 均为显著负年化收益或负夏普），作者引入 MADL（Mean Absolute Directional Loss）以直接优化方向性损失并再次训练，结果显示使用 MADL 的 SV-LSTM（SV-LSTM MADL）在投资策略上显著改良（年化收益≈9.92%，Sharpe≈0.53，与 Short Only 的表现相近），但基于统计指标的原始模型并不必然等同于有利可图的交易信号 [page::27] [page::28].
[page::27]

• 表 15 摘要：Short Only 策略表现最好（年化返回 10.03%，Sharpe 0.54），而未经 MADL 调整的模型策略普遍负回报；引入 MADL 后混合模型在经济效应上接近 Short Only，表明损失函数选择对经济绩效至关重要 [page::28].

三、图表与表格逐一解读（关键图表）

• 表 1（描述统计，表格页 5）：表 1 展示价格与收益的集中趋势与高阶矩，价格的右偏及收益的高峰度支持使用能处理肥尾与不对称的模型（SV，或在 LSTM 中加入稳健预处理）[page::5].

- 图 1（21 日滚动波动率，图页 6）：时间序列表明波动在危机时段出现剧烈上升（2008、2020），并存在持续的波动簇效应，说明模型需兼顾突发高波动事件与平时低波动阶段的拟合 [page::6].

• 表 2（模型输入/输出摘要，表页 8）：明确三种模型的输入与样本期差异，混合模型以 SV 的 t+1 潜在波动率作为外生输入，这是整篇研究的关键设计点 [page::8].

- 图 3 与表 3（SV 对比基准，页 11）：图 3 可视化显示 SV 能捕捉关键峰值但更嘈杂；表 3 的 MAPE 18.12% 表明当以 21 日滚动波动率为目标时，SV 的相对误差较大，可能因两者目标本质（一为隐含/潜在波动率另一为经验滚动标准差）存在差异 [page::11].

• 图 4 与表 6（LSTM，页 15-16）：LSTM 在总体趋势拟合与小幅波动上精度高（MAPE 5.29%），但图示中仍有对剧烈突变的低估，暗示神经网络在极端事件上的泛化受限 [page::15] [page::16].

- 图 5 与表 7（SV-LSTM，页 17）：混合模型在视觉上更紧贴真实曲线且在统计指标上略优于 LSTM（MAPE 从 5.29% 降至 4.75%），说明从 SV 提取的信息确实为 LSTM 提供增益，但边际改善有限且在分布检验中不总显著（见 Wilcoxon p≈0.058） [page::17] [page::19].

• 表 8（总体比较，页 18）：将三模型并列便于量化改进幅度——混合模型在三项指标上均为最优 [page::18].

- 表 9（Wilcoxon/DM 测试，页 19）：展示不同检验对同一对比给出不同结论（Wilcoxon 对 LSTM vs SV-LSTM p≈0.058，DM 显著），提示要同时考虑分布位置与损失平均差异两种统计视角 [page::19].

• 敏感性表（表 10–14，页 20–24）：系统比较序列长度、缩放方法与隐藏层数，得出 21 天序列与 StandardScaler/RobustScaler 及动态超参优于替代方案的结论，揭示超参数和预处理对深度学习预测影响之大 [page::20] [page::21] [page::23] [page::24].

- 投资绩效（图 11 与表 15，页 27–28）：图 11 与表 15 客观展示模型在真实交易上的经济意义（未调整损失函数时多数模型策略回报为负，MADL 调整后混合模型性能显著改善），强调统计精度与经济价值并非等价，需要以经济目标定制损失函数 [page::27] [page::28].

四、估值/模型选择与假设解读

• SV 模型选择的合理性：采用 stochvol、隐含对数波动率的均值回复态势、弱信息先验与 MCMC（ASIS）为估计提供稳健性，但 MCMC 仅 1000 次（200 burn）在某些窗口可能不足以充分收敛，作者未给出收敛诊断细节（如 Rhat 或自相关图）[page::10].

- LSTM 模型的关键输入假设：将 SV 的点估计（中位数）作为外生特征代入 LSTM，隐含假设是该点估计在信息上足以代表后验预测密度的有用信号；作者亦未在主文中对使用整组 MCMC 抽样（例如将不确定性作为概率性输入）进行对比[page::16].

五、风险因素评估（依据报告识别与影响）

• 数据与目标定义风险：以 21 日滚动历史波动率作为目标虽是常见做法，但该经验统计量与 SV 隐含波动率在定义上不同，可能引入目标与输入之间的“测量不一致性”风险，影响模型训练和结果解读 [page::5] [page::11].

- 过拟合与超参数偏差：为每一窗口单独调参虽然能提升每段时间内表现，但也可能导致过度拟合历史窗口结构并降低跨时期稳健性（作者在敏感性讨论中指出固定层数降低性能，显示窗口化调参的必要与风险并存）[page::13] [page::24].

• 计算与可重复性风险：在无 GPU 的消费级硬件上完成大规模滚动调参耗时约 24 小时，可能限制更大规模或更精细的交叉验证与更高次采样的可行性，且报告未附带全部超参试验结果与随机种子设置细节，影响可复现性[page::15].

- 统计检验解读风险：Wilcoxon 与 DM 提供不同结论（尤其 LSTM vs SV-LSTM），显示单一统计检验可能误导结论，应多角度综合（中位数、平均损失、经济价值）[page::19].

六、批判性视角与细微差别（基于报告内容的审慎评价）

• 混合改进的幅度与统计显著性：尽管混合模型在 MAPE/MSE/MAE 上均优于 LSTM，但 Wilcoxon 测试未能在 5% 水平拒绝 LSTM 与 SV-LSTM 误差中位数相等的原假设（p=0.058），提示混合带来的改善在某些统计维度上是边际的或受样本/测试选择敏感 [page::19].

- SV 输出作为单点输入的限制：作者使用 SV 的中位预测作特征，但并未充分利用 SV 的不确定性信息（如后验分位数或预测密度），这可能低估将概率性信息注入 LSTM 的潜在收益 [page::11] [page::16].

• 目标选择与“经济目标不一致”问题：默认用 MSE/MAE/MAPE 优化导致在交易策略中表现不佳，作者通过引入 MADL 解决部分问题，但这同时说明模型训练目标需要与最终应用（统计 vs 交易）相一致 [page::27] [page::28].

- 模型稳健性需更多验证：虽然作者进行了序列长度、缩放、层数敏感性分析，但缺乏对样本外极端事件（如仅针对 2008 或 2020 的子样本）更细粒度的稳健性检验，以及对不同滚动窗口长度（如 SV 的 504 天 vs 其他可能长度）的系统对比[page::20] [page::21] [page::10].

七、结论性综合（综合要点与图表结论）

• 主要发现汇总：报告证实将 SV 产生的潜在波动率预测作为 LSTM 的外生特征在统计误差层面能带来改进（混合模型在 2014–2024 的测试期 MAPE=4.75%、MSE=5.07×10^{-7}、MAE=4.29×10^{-4}，优于 LSTM 与 SV），并通过 DM 测试支持混合模型相对于两基准在平均损失上的显著优势 [page::18] [page::19] [page::17].

- 图表洞察：图 3–5 系列表明 SV 捕捉隐含趋势但较噪、LSTM 拟合平滑趋势但偶有低估剧变、混合模型在图形上兼顾两者优势并在危机（2020）等峰值附近表现更贴近真实（图 5）[page::11] [page::15] [page::17].

• 实务意义：若目标为统计预测精度，混合方法提供边际改进；若目标为交易盈利（经济角度），作者证明需要用与交易目标一致的损失（如 MADL）来训练模型，才能将统计预测转化为正收益的信号（表 15 与图 11 证明）[page::27] [page::28].

八、建议与后续改进方向（基于报告内容的可行建议）

• 利用 SV 的后验分布而非单点估计：将 MCMC 抽样的分位数或整组样本作为 LSTM 的输入（例如概率特征或不确定性量度）可能进一步提升模型信息量與稳健性 [page::10] [page::16].

- 对 MCMC 收敛诊断与链长度做更详细报告：增加 R_hat、自相关图与更长链的实验以保证 SV 后验估计的稳定性并降低估计噪声对 LSTM 的影响 [page::10] [page::15].

• 将损失函数与最终经济目标一致化：在训练阶段更多采用像 MADL 这样的方向性/经济导向损失函数或多目标优化（统计误差与交易回报并重）以获得在实务上更有价值的模型 [page::27] [page::28].

- 扩展稳健性检验：包括变更 SV 滚动窗口长度、LSTM 训练方案的跨市场/跨周期验证、并在极端子样本上单独检验性能，以评估长期稳定性与危机下的行为差异 [page::10] [page::20].

結語：该报告系统地提出并实证检验了一种将经典随机波动率建模与现代深度学习相结合的混合框架，展示在统计预测精度和某些经济应用场景下的改善，并通过详尽的敏感性分析与投资模拟揭示了训练目标、输入预处理与结构选择对最终表现的决定性影响；同时报告的若干设计选择（如 SV 点估计作为单一特征、MCMC 收敛诊断缺省、窗口化超参策略）提示未来有多条可行的改进路径以增强稳健性与经济价值 [page::0] [page::16] [page::27] [page::29].

报告