`

Explainable Prediction of Economic Time Series Using IMFs and Neural Networks

创建于 更新于

摘要

本研究将经验模态分解(EMD)得到的IMFs作为可解释特征,结合MLP与LSTM进行一步预测,并用DeepSHAP量化每个IMF对预测的边际贡献,发现长期趋势(最后的IMF)在预测中贡献最大,而高频IMF噪声性强、贡献有限,从而可通过剔除部分高频分量提升指标表现 [page::0][page::10]. 本文还比较了MLP与LSTM在重要性分配上的差异:MLP更集中于末端趋势分量,LSTM由于记忆机制对多个IMF分配更均衡的重要性 [page::6][page::7].

速读内容


研究问题与方法概览 [page::0]

  • 目标:评估EMD分解得到的各IMF对神经网络(MLP、LSTM)预测性能的贡献,并用DeepSHAP解释各分量的重要性 [page::0].

- 核心流程:原序列 → EMD分解为若干IMF → 将IMF作为输入训练MLP/LSTM → 用DeepSHAP计算每个IMF的平均Shap值以量化重要性 [page::2][page::3].

数据集与预处理(示例:NVIDIA / APPLE) [page::4]


  • NVIDIA:5219条日度观测,2004-05至2024-05,分解为9个IMF,原始序列呈明显长期上升趋势,训练/验证按时序75%/25%划分 [page::4].

  • APPLE:5218条观测,分解为8个IMF,同样表现出后期显著上升、训练/验证时段分布差异带来外推压力 [page::5].


MLP 在 NVIDIA 上的拟合与SHAP重要性 [page::6]


  • MLP对NVIDIA测试段拟合良好(预测线和真实线高度重合),表明IMF分解后作为输入可重构原始序列的主要动态 [page::6].

- NVIDIA MLP DeepSHAP 结果(平均Shap与百分比)[page::6]:

| IMF | MeanShap | Percent |
|--------|-----------:|---------:|
| IMF
9 | 90.692 | 70.45% |
| IMF8 | 18.599 | 14.45% |
| IMF
7 | 9.225 | 7.17% |
| IMF6 | 3.012 | 2.34% |
| IMF
4 | 1.960 | 1.52% |
| IMF5 | 1.522 | 1.18% |
| IMF
3 | 1.440 | 1.12% |
| IMF1 | 1.173 | 0.91% |
| IMF
2 | 1.111 | 0.86% |
  • 结论要点:MLP把绝大部分重要性集中在最后一个IMF(长期趋势),表明去趋势分量对点预测至关重要 [page::6].


LSTM 在 NVIDIA 上的拟合与SHAP重要性 [page::7]


  • LSTM在NVIDIA上也能拟合主要走势,但误差指标较MLP不同(见表格对比),表明两类架构在拟合偏差上差异明显 [page::7].

  • NVIDIA LSTM DeepSHAP(百分比)摘要 [page::7]:


| IMF | MeanShap | Percent |
|--------|-----------:|---------:|
| IMF
9 | 0.0017 | 35.73% |
| IMF8 | 0.0010 | 20.38% |
| IMF
7 | 0.0007 | 15.21% |
| IMF6 | 0.0006 | 12.61% |
| IMF
5 | 0.0003 | 6.32% |
| IMF4 | 0.0002 | 4.14% |
| IMF
3 | 0.0001 | 3.15% |
| IMF2 | 0.0000 | 1.53% |
| IMF
1 | 0.0000 | 0.93% |
  • 结论要点:LSTM相比MLP对重要性的分配更均衡(末端IMF仍最重要但比例下降),说明记忆/时序处理使模型从更多IMF中整合信息 [page::7].


MLP 与 LSTM 在 APPLE 上的比较 [page::8][page::9]


  • APPLE MLP DeepSHAP(主要分量)显示末端IMF8贡献≈78.8%,其余IMF贡献明显递减,表明趋势分量在APPLE上也主导预测 [page::8].


| IMF | Mean
Shap | Percent |
|--------|-----------:|---------:|
| IMF8 | 84.218 | 78.80% |
| IMF
6 | 7.936 | 7.43% |
| IMF7 | 4.832 | 4.52% |
| IMF
5 | 3.608 | 3.38% |
| IMF4 | 2.790 | 2.61% |
| IMF
3 | 1.404 | 1.31% |
| IMF2 | 1.048 | 0.98% |
| IMF
1 | 1.031 | 0.97% |
  • APPLE LSTM DeepSHAP仍以末端IMF为主,但权重更分散(IMF_8 ≈48.4%),重复了NVIDIA上的发现:LSTM分配更均衡的重要性 [page::9].


实践启示与建议 [page::10]

  • 若目标是提高可解释性与稳健性,可先用EMD分离趋势/周期/噪声分量,并重点保留对预测贡献高的低频IMF以降低噪声干扰 [page::10].

- 在需要捕捉多时尺度信息时优先考虑LSTM类模型,因为其会将重要性分配到中间频段,从而在长期与短期信号间取得平衡 [page::7][page::10].

深度阅读

一、元数据与概览(引言与报告概览)
  • 报告标题:Explainable Prediction of Economic Time Series Using IMFs and Neural Networks;作者:Pablo Hidalgo、Julio E. Sandubete、Agustín García-García;机构:Universidad Francisco de Vitoria 与 Universidad de Extremadura 等;主题:将经验模态分解(EMD)得到的内禀模态函数(IMFs)作为特征,结合神经网络(MLP 与 LSTM)与 DeepSHAP 用于可解释的单变量经济/金融时间序列预测(摘要、关键词及作者信息)。[page::0]

- 报告核心论点:通过将原始一维时间序列分解为若干 IMFs,并把每个 IMF 当作输入特征,采用 MLP 与 LSTM 建模,再用 DeepSHAP 估计每个 IMF 对预测的边际贡献,可以揭示各模态在预测中的相对重要性;实证结论为:末端(低频/趋势)IMF 通常最重要,而高频 IMF 贡献甚微甚至带来噪声;此外,不同架构(MLP vs LSTM)在重要性分配上存在差异,LSTM 更均衡分布重要性,MLP 更偏向末端 IMF(摘要与结论)。[page::0] [page::10]

二、逐章精读与剖析
1) 引言(目的与动机)
  • 作者指出:传统经济学多依赖计量模型,但近年 AI/ML 方法在高频预测中被广泛采用,但“黑盒”性质限制了可解释性,因而将 XAI 方法引入时间序列(特别单变量)是必要的研究方向(引言陈述研究动机与重要性)。[page::0]

- 研究空白与方法论契合点:先前 XAI 在时间序列上多为多变量设置,本研究通过 EMD 将单变量转为可解释的“特征集合”(IMFs),从而能用 DeepSHAP 对单变量预测实现局部与全局解释(引言至方法衔接)。[page::0] [page::1]

2) 相关工作(XAI 与时间序列)
  • 文献回顾分两类:可解释/可解释性模型(例如线性回归、决策树、注意力机制)与解释性技术(传播式、扰动式、可视化等),并强调模型无关的解释方法可能存在保真性问题,需要谨慎使用(相关工作/第2节)。[page::1]

- 对扰动式方法的说明:介绍了 permutation、ablation、噪声注入、LIME 与 SHAP,并指出这些方法在金融时间序列中的应用与局限(偏向近期观测更重要、价格大多比成交量重要等结论被文献支持)。[page::1]

3) 方法学(DeepSHAP、DeepLIFT 与 Shapley 公式)
  • Shapley 值与数学定义:论文给出 Shapley 的形式化表达式,并讨论其局限(组合数量随特征数指数增长);并说明 DeepLIFT 作为以参考基线传播贡献的高效近似以及 DeepSHAP 如何将 DeepLIFT 的乘子视作 SHAP 的组合近似并递归传播以获得输入归因(方法学与公式段落)。[page::2] [page::3]

- 重要假设:DeepLIFT/DeepSHAP 的可解释性依赖于独立性与局部线性近似等假设 — 若这些假设不满足,归因的准确性/保真性可能受影响(文中明确讨论方法局限)。[page::2] [page::3]

4) 模型结构(LSTM 与 MLP 具体实现)
  • LSTM:单层 LSTM,10 个记忆单元,后接线性输出;输入为过去 N 个观测滑窗以做一步预测;训练使用 Keras/TensorFlow、Adam(lr=0.001)、batch=64、early stopping(第 3.1 节)。[page::3]

- MLP:一隐层 64 个神经元(tanh 激活),线性输出;使用 Adam,最多训练 50 epochs,通常更早收敛;模型选择基于若干架构测试与训练稳定性考量(第 3.2 节)。[page::3] [page::4]
  • 这些网络架构与超参选择对模型行为(例如是否易过拟合、对趋势/高频的拟合偏好)会产生实际影响,应在解释归因时同步考虑(模型与解释方法之间的互作由文献与方法节提示)。[page::3]


5) 数据与实验设计
  • 数据集:两只股票(NVIDIA 与 APPLE),时间跨度为 2004-05 至 2024-05,NVIDIA 含 5,219 个观测并分解为 9 个 IMF;APPLE 含 5,218 个观测并分解为 8 个 IMF(第 4 节)。[page::4] [page::5]

- 训练/验证分割:按时间顺序,将每个 IMF 的序列按 75% 用于训练、25% 用于验证(逐 IMF 划分而非原始序列),这一决定会影响模型对后期快速增长段的泛化能力(实验描述)。[page::4]
  • IMFs 定义与用途:IMF 必须满足极值与零交叉条件,EMD 将序列分解为多尺度成分,从而把高频与低频信息分层输入模型,可单独预测并最终重构(第 4 节)。[page::4]


三、图表与表格逐一深度解读(关键图表逐条分析)
说明:以下每个图/表均用论文原图引用并逐一解读。
  • Figure 1(NVIDIA 原始价格走势)


描述:该图展示 2004–2024 年 NVIDIA 收盘价的长期时序,显示自 2016 年后尤其在近几年出现加速上升,近年价格跃升至数百美元并在 2024 年达到高位(图注与文中描述)。[page::4]
解读与含义:长周期上升趋势明显,且近期波动幅度扩大,这解释了为何最终(低频)IMF 在预测中会占主导地位——趋势分量对绝对价格水平贡献最大并驱动模型输出(数据图支持文本结论)。[page::4]
  • Figure 2(APPLE 原始价格走势)


描述:2004–2024 年 Apple 价格走势,也呈持续上涨并在近年波动放大,训练段与验证段的分布在幅度上存在明显差异(文中指出)。[page::5]
解读:类似 NVIDIA,APPLE 的长期趋势成分在样本末端占主导,训练时后段的指数性增长可能导致模型在验证集上需要外推而非插值,增加了对趋势 IMF 的依赖性(文本—图联动)。[page::5]
  • NVIDIA MLP 重构与指标(Figure 3 与 Table 1)


描述:Figure 3 显示 MLP 在测试集上预测线(橙虚线)与真实值(蓝线)高度重合;Table 1 报告 MSE=13.605、RMSE=3.688、MAE=1.553、R2=0.999(表格)。[page::6]
解读与评估:图形与 R2≈0.999 指示在测试期间 MLP 重构非常精确,但需警惕:数值尺度(RMSE≈3.69)与原始价格(百位至千位)相比显得较小,暗示可能对 IMF 或输出做了归一化/反归一化处理的影响(文本并未详细说明归/逆归一化细节,应在复制研究时核实)。[page::6]
  • NVIDIA MLP DeepSHAP 贡献(Figure 4 与 Table 2)


Table 2(节录要点):IMF9 MeanShap=90.692(70.45%),IMF8=18.599(14.45%),其余 IMF 百分比迅速衰减至 <3% 等(表)。[page::6]
解读:DeepSHAP 对 MLP 的平均归因几乎完全由最后一个 IMF(IMF
9,代表趋势残差)主导(约 70%),这量化验证了“末端 IMF 主导预测”的论断;同时,前几个 高频 IMF 贡献极小,表明它们在 MLP 框架下可能更多为噪声或微调成分(文本—图一致)。[page::6]
  • NVIDIA LSTM 重构与指标(Figure 5 与 Table 3)


描述:LSTM 的预测线在图上与真实值相比出现明显偏差,且表格显示 MSE=3481.235、RMSE=59.002、MAE=34.735、R2=0.906,表现逊于 MLP(表)。[page::7]
解读:相较 MLP,LSTM 测试误差更大且 R2 下降,作者解释为 LSTM 对时序记忆的处理导致其重要性分配更均衡(见下),但也需关注数值差异可能与数据预处理、参数设置或训练稳定性有关(文中未详述归一化等细节,需谨慎复制)。[page::7]
  • NVIDIA LSTM DeepSHAP(Figure 6 与 Table 4)


Table 4(要点):IMF9 MeanShap=0.0017(35.73%)、IMF8=0.0010(20.38%)、IMF7=0.0007(15.21%)等,整体重要性分布较为平缓(表)。[page::7]
解读:LSTM 的 meanshap 数值量级远小于 MLP 的(例如 IMF9 在 MLP 为 ~90.69,在 LSTM 为 0.0017),这暗示在不同模型的输出尺度或归一化处理存在差异;但按百分比看,LSTM 将重要性在前 4-5 个 IMF 更均匀地分配,符合作者关于 LSTM “记忆能力使其整合多个成分信息”的结论(图、表支持该结论),同时也提示对比两个架构时应注意尺度与归一化一致性问题(图—表一致性及潜在局限)。[page::6] [page::7]
  • APPLE MLP 重构与指标(Figure 7 与 Table 5)


描述:Figure 7 展示 MLP 对 Apple 的高精度拟合;Table 5(注:表头误标为 NVIDIA,但数据对应 APPLE)给出 MSE=0.0149、RMSE=0.1221、MAE=0.0846、MAPE=0.06%、R2=0.999(表)。[page::8]
解读:极高的 R2 与极小的 MSE/RMSE 数值再次表明模型输出可能经过了尺度化处理或是对 IMF/价格单位差异的反向变换;作者未在正文给出明确的预处理与反归一化细节,这在复现与比较模型性能时是明显的盲点(图表与表格显示优异拟合但需谨慎解读绝对误差数值)。[page::8]
  • APPLE MLP DeepSHAP(Figure 8 与 Table 6)


Table 6(要点):IMF8 MeanShap=84.218(78.80%),其余 IMF 均 <8%(表)。[page::8]
解读:与 NVIDIA 一致,APPLE 在 MLP 下也明显由最后一个 IMF(IMF8)主导,说明低频趋势成分在 MLP 架构中被视为主要决定因子;高频 IMFs 的边际贡献微小,作者据此指出高频分量可能引入噪声并在移除后提升指标(文中提及该类现象)。[page::8] [page::10]
  • APPLE LSTM 重构与指标(Figure 9 与 Table 7)


描述:LSTM 对 APPLE 的表现不及 MLP(表格显示 MSE=82.653、RMSE=9.091、MAE=7.042、R2=0.884),图形呈现预测与实际存在偏差(表/图)。[page::9]
解读:同 NVIDIA 情形,LSTM 在 APPLE 上的绝对误差较大,但 DeepSHAP 百分比分配依然将最后 IMF 放在首位(下节说明),这表明 LSTM 虽分配较多权重给其他中频 IMF,但最终趋势分量仍关键。[page::9]
  • APPLE LSTM DeepSHAP(Figure 10 与 Table 8)


Table 8(要点):IMF
8 MeanShap=0.0098(48.40%)、IMF7=0.0052(25.75%)、IMF6=0.0025(12.25%)等;相较 MLP(78.8%),LSTM 对最后 IMF 的相对依赖减少(表)。[page::9]
解读:LSTM 在 APPLE 上表现出更分散的归因,说明其能够利用中频成分提高对局部波动的拟合能力,但最后 IMF 仍占比最大,验证了“末端 IMF 为长期趋势载体且通常为预测中最重要成分”的总体结论(图—表一致)。[page::9] [page::10]

四、估值/模型推断(本报告并无传统估值段)
  • 本研究为方法学/预测可解释性研究,报告中未包含公司估值(DCF、P/E 等)或目标价分析,因此估值分析环节不适用(报告结构与结论中未见估值)。[page::10]


五、风险因素评估(报告中识别的局限与潜在风险)
  • 方法论局限:DeepSHAP 基于 DeepLIFT 在独立性与局部线性假设下的近似;若 IMFs 间存在强相关或非线性交互,这些假设会被破坏,导致归因结果的保真性折损(方法学讨论)。[page::2] [page::3]

- 数据/实验设计风险:仅使用两只股票(NVIDIA、APPLE)作为案例,且两者均呈强烈上升趋势,样本代表性受限,结论对其它类型(震荡、周期或下降)时间序列的外推力有限(数据节说明)。[page::4] [page::5]
  • 指标与尺度不一致风险:MLP 与 LSTM 在 meanshap 的绝对数值量级与误差指标上明显不一致(例如 MLP 的 IMF9 ≈90.69 vs LSTM 的 0.0017),提示预处理/标准化或 SHAP 计算细节在不同架构中未完全统一,这会影响跨模型比较的有效性(结果表格与图形揭示该问题)。[page::6] [page::7]

- 报告对缓解策略的局限性:作者并未详述如何选择参考基线(baseline)或如何在计算 SHAP 时控制尺度差异,也未提供对 IMFs 可能互相依赖时的调整方法,故对这些问题的缓解策略较少(方法学与结果段未见详细处置)。[page::2] [page::6]

六、批判性视角与细微差别(基于报告文本的审慎评估)
  • 指标尺度与比较问题:如上所述,MLP 与 LSTM 在 SHAP 数值与误差指标上存在巨大尺度差异(MLP 的高 meanshap 与低误差 vs LSTM 的极小 meanshap 与较高误差),这很可能源于输入/输出的归一化、逆变换或 SHAP 的聚合方式不同,但文中未对这些步骤进行透明说明,造成可重复性与跨模型比较的困难(结果展示与方法节不够细致)。[page::6] [page::7]

- 表格/标签不一致:Table 5 在 APPLE 部分错误地将表头标为 NVIDIA,显示文稿编辑过程存在细节疏漏,研究者在引用数值时应谨慎核验源表(表格原文注记)。[page::8]
  • 过度泛化风险:作者基于两只高增长股票得出“末端 IMF 通常最重要”的结论,该结论在样本上成立但在更广泛的经济时间序列族(例如无明显长期趋势或强周期性资产)中是否恒真尚待验证;作者虽在结论中强调一致性,但没有给出广泛样本的跨验证结果(结论与实验范围)。[page::9] [page::10]

- 建议的改进点(基于报告暗示):明确说明数据预处理与逆变换流程、在 SHAP 计算中统一尺度与 baseline、并将样本扩展到更多资产/不同类型的时间序列以评估方法稳健性;同时提供对不同 IMF 数量选择与 EMD 参数敏感性分析(报告未详述)。[page::2] [page::4]

七、结论性综合(汇总关键发现与图表洞察)
  • 核心发现(总结):通过 EMD 将时间序列拆成 IMFs 并用 DeepSHAP 解释 MLP 与 LSTM 的预测,可以量化每个模态对预测的边际贡献;在 NVIDIA 与 APPLE 两个案例中,末端(低频/趋势)IMF 在 MLP 与 LSTM 中均被判定为最关键分量(MLP 中的占比极端高,MLP: NVIDIA IMF9 ≈70.45%,APPLE IMF8 ≈78.8%;LSTM 中占比虽降低但仍最大,NVIDIA IMF9 ≈35.73%,APPLE IMF_8 ≈48.40%),此结果支持“长期趋势成分对单变量金融序列预测主导”的论断(结果表/图支持该结论)。[page::6] [page::8] [page::9] [page::10]

- 方法学启示:DeepSHAP 在此场景下能提供直观的全局与局部特征重要性视图,但其输出依赖于模型架构、输入尺度与 baseline 选择;LSTM 因其时序记忆能力而在 IMFs 间分配更均衡的重要性,MLP 则更集中依赖趋势 IMF(模型对比结论)。[page::6] [page::7] [page::10]
  • 对实践者的建议:若目标是生成可解释的单变量预测,先用 EMD 将序列分解、重点检视低频 IMF,再结合不同架构测试归因稳定性;同时务必在发表或复现时详述预处理、归一化与 SHAP baseline 以便合理比较模型归因(方法可复现性建议,基于报告呈现)。[page::4] [page::2]

- 最后要点(谨慎声明):报告结论在两个强上行趋势的样本中一致,但由于样本与方法细节(尺度、baseline、EMD 参数)缺乏全面披露,其结论的普适性与可重复性需更多样本与更透明的方法论细化来验证(总体批判性总结)。[page::4] [page::10]

附:本文引用并展示的报告原图(按文中编号)
  • Figure 1 (NVIDIA series): [page::4]

- Figure 2 (APPLE series): [page::5]
  • Figure 3 (NVIDIA MLP prediction): [page::6]

- Figure 4 (NVIDIA MLP DeepSHAP): [page::6]
  • Figure 5 (NVIDIA LSTM prediction): [page::7]

- Figure 6 (NVIDIA LSTM DeepSHAP): [page::7]
  • Figure 7 (APPLE MLP prediction): [page::8]

- Figure 8 (APPLE MLP DeepSHAP): [page::8]
  • Figure 9 (APPLE LSTM prediction): [page::9]

- Figure 10 (APPLE LSTM DeepSHAP): [page::9]

—— 结束 ——
(以上所有直接基于报告文本/图表的陈述已在句末标注对应页码以便溯源。)

报告