EXFormer: A Multi-Scale Trend-Aware Transformer with Dynamic Variable Selection for Foreign Exchange Returns Prediction

1) Core contributions & architecture [page::3]

• EXFormer integrates (i) a dynamic variable selector that assigns time-varying softmax weights to F covariates for pre-hoc interpretability [page::13].

- (ii) Multi-scale convolutional branches (kernel sizes initialized at {3,5,7}) capture short/medium/long horizons and feed into a squeeze-and-excitation (SE) block to recalibrate channels [page::14].

• (iii) Multi-scale trend-aware self-attention replaces pointwise Q/K projections with parallel conv-based projections to align observations by local slopes and preserve long-range dependencies [page::15][page::17].

- Decoder: position-wise feed-forward → GRU → linear output that emits 1-day return forecast; trained by MSE with dropout and early stopping [page::17][page::13].

2) Forecasting performance & directional gains [page::27]

• EXFormer yields MSFE ratios well below 100 versus the random walk across currency pairs and windows (e.g., EUR/USD 67–76 for T=5–20; USD/JPY 54–61; GBP/USD 49–58), with Clark–West tests often significant at p<0.01 [page::27].

- Directional Accuracy (DA) improvements: EXFormer raises hit rates materially (e.g., DA up to 22.8% lift for USD/JPY at T=15 and +11.4% for EUR/USD at T=15), with many windows showing statistically significant DA increases over RW [page::28][page::30][page::33].

• Model comparisons: Informer/vanilla Transformer/TCN/LSTM/GRU/MLP/Chronos/ARIMA were benchmarked; EXFormer is the most consistent across pairs/windows in both MSFE and DA [page::24][page::29].

3) Trading backtests — economic value (T=15) [page::32]

| Pair | Mean Daily Return (%) | Cumulative Return (%) | Sharpe Ratio | Max Drawdown (%) |
|------|-----------------------:|----------------------:|-------------:|-----------------:|
| EUR/USD (EXFormer) | 0.050 | 18.572 | 2.087 | 4.068 |
| USD/JPY (EXFormer) | 0.068 | 25.782 | 1.891 | 6.778 |
| GBP/USD (EXFormer) | 0.050 | 18.373 | 1.903 | 3.526 |

• Trading signals: sign(ŷt) → long/short; backtests include RW, B&H, MA and report mean/min/max daily returns, Sharpe, Sortino and max drawdown [page::26][page::35].

- With realistic frictions (5bps transaction + 2bps slippage per trade), EXFormer retains positive cumulative returns: EUR/USD 7.66%, USD/JPY 19.94%, GBP/USD 9.22% with Sharpe >1.4 in each case [page::40][page::44].

4) Interpretability — dynamic variable selector and importance [page::43]

• Global importance (T=15): EUR/USD top contributors include S&P 500 (≈7.9%), US 5yr yield (≈7.4%) and GBP/USD (≈5.7%); USD/JPY emphasizes 10-yr yield (≈8.2%) and S&P GSCI commodity (≈7.0%); GBP/USD highlights S&P GSCI and Bloomberg Commodity indices (≈7–7.8%) [page::43][page::46].

- Time-varying heatmaps show EXFormer “turns on/off” predictors around regime shifts (spikes in stock/commodity importance during late-2023 events), supporting economic narratives (portfolio-balance and risk-premia channels) [page::46][page::50].

5) Quant factor / strategy summary & construction [page::13]

• Dynamic Variable Selector (DVS): per-feature embeddings Ei, shared linear raw scores s{i,t} → softmax across features → weights ω{i,t}; weighted embeddings concatenate into model input, providing pre-hoc feature importance at each t [page::13].

- Multi-scale extraction: 3 same-padded 1D conv branches (initial kernels {3,5,7}) → concat → linear proj → SE block → multi-scale conv2D-based Q/K projections for attention [page::14][page::15].

• Strategy rules and evaluation: 1-day forecasts mapped to Signalt = sign(ŷt); returns Rt = Signalt * rt; MSFE ratio, Clark–West tests, DA with Blaskowitz–Herwartz inference, and trading metrics (Sharpe, Sortino, drawdown) reported [page::25][page::26][page::27].

元数据与概览（引言与报告概览）

• 报告标题：EXFormer: A Multi-Scale Trend-Aware Transformer with Dynamic Variable Selection for Foreign Exchange Returns Prediction；作者：Dinggao Liu、Robert S˙lepaczuk、Zhenpeng Tang；机构包括福建农林大学（经济管理与林学院）、华沙大学定量金融研究组与英属哥伦比亚大学；发布日期截止样本含至 2024-08-29（文中数据区间为2010-05-07至2024-08-29）。[page::0]

- 主题与目标：构建用于日度外汇汇率收益率（EUR/USD、USD/JPY、GBP/USD）预测的专用 Transformer 架构（EXFormer），并证明其在统计（MSFE、方向准确率）与经济（回测、交易摩擦后收益）层面的超越性，同时提供“前置可解释性”（pre-hoc）时间可变的变量重要性权重。[page::0]

• 核心结论与量化成果（报告自述）：EXFormer 在多次滑动窗口验证中相较于随机游走提高方向准确率 8.5%–22.8%，在近一年回测中实现未计交易成本的累积收益约 18%、25%、18%，Sharpe>1.8；计入保守交易成本与冲击后仍分别保留 7%、19%、9% 累积收益，而多数基准变为负收益。作者强调模型在高波动与熊市下仍保持鲁棒性并提供可解释的驱动因素动态。[page::0]

逐节深度解读

1) 摘要与引言（Sections: Abstract, 1）

• 摘要指出问题背景：日度汇率收益包含高频噪音与低频趋势，两者并存且受多源外生因子驱动，使得传统模型难以超越随机游走（Meese–Rogoff puzzle）。[page::0] [page::1]

- 作者提出的解决路径是：在 Transformer 中嵌入多尺度（multi-scale）趋势感知自注意力、动态变量选择（动态分配 28 个外生协变量的时间权重）和 SE（squeeze-and-excitation）通道重校准块，以兼顾长程依赖、局部斜率信息与输入变量的时变重要性（并由此提供前置可解释性）。[page::3]

• 报告明确三维评估：MSFE（相对随机游走的比率并用 Clark–West 统计检验）、方向准确率（DA，使用 Blaskowitz–Herwartz 测试）和交易回测（含交易成本与滑点）。[page::4]

2) 文献与理论动机（Section 2）

• 报告回顾经济学/计量学文献确认 Meese–Rogoff 难题并说明低频基础变量对日度预测的局限（低频数据需插值可能引入误差），进而为多尺度处理与外生信息动态加权提供理论动机。[page::5] [page::6]

- 机器学习与深度学习历史：作者指出传统 ML（SVM、RF）忽视时间序列顺序性，RNN/LSTM 捕捉顺序性但受长程依赖及并行化限制，标准 Transformer 在时间序列上存在“逐点匹配忽略局部趋势”之问题，且通常缺乏内置的时变输入选择机制或前置可解释性。EXFormer 的设计旨在针对这三项不足提供结构性改进。[page::2] [page::7] [page::10]

3) 方法学细节（Section 3）

• 问题形式化：输入为由 F=28 个协变量构成的滑窗 X∈R^{T×F}，目标为下一日对数收益 r{t+1} 的点预测，损失为 MSE 并以 dropout、early stopping 防过拟合。[page::12] [page::13]

- 动态变量选择器（Dynamic Variable Selector, DVS）：对每个变量 i 进行独立 embedding Ei，然后用共享线性层得分 s{i,t}，并以 softmax 在变量维度上正则化得到 ω{i,t}，最后按权重合成加权嵌入 \tilde{E}，作者将 {ω{i,t}} 作为“前置解释”输出（模型在预测前就给出每个协变量的时间权重）。该机制为模型在训练/推理时实现时间可变的输入选择，并能直接用于解释。[page::13]

• 多尺度卷积与 SE：作者用 K=3 条 1D same-padded 卷积分支（初始化核尺寸 {3,5,7}，旨在捕捉短/中/长周期），将分支输出 concat 后投影回序列维度，随后通过 squeeze（时域平均）→ bottleneck MLP → sigmoid 得到通道重加权向量 u，并逐通道地缩放特征以抑制冗余噪声。该步骤兼具特征提取（多尺度）和通道重校准两重功能。[page::14]

- 多尺度趋势感知自注意力（核心创新点）：作者用并行 2D 卷积替代 Q、K 的线性投影（Conv2Dk，核 k×1），每条分支在不同局部接收域上计算 Q^{(k)}, K^{(k)}，而 V 采用共享线性投影，分支各自产生注意输出 A^{(k)} 并 concat→投影融合为 Hattn。作者主张这种做法使注意力对“局部斜率/趋势”敏感，从而避免标准点值相似度将瞬时数值相近但趋势不同的时点错误对齐（Figure 2）。[page::15] [page::17]

• 解码器：将 Hattn 经位置前馈后输入单层 GRU，取最终隐藏态 hT 经过线性层输出 \hat r{t+1}。这种将注意力增强序列表示转入 RNN 解码的混合设计兼顾并行编码与序列整合。作者并在模型图示（Figure 1）中展示整体流。[page::11] [page::17]

图表与图像逐一解析（关键图/表详解）

• Figure 1（模型总体架构图，page=12）：展示 Encoder（Feature embedding → DVS → multi-scale conv → SE → multi-scale trend-aware self-attention → feed-forward）和 Decoder（GRU + linear 输出）。该图支持方法章节对模块交互的文字描述，并提示 DVS 为前置模块输出权重用于后续卷积处理与注意力输入。插图路径：

[page::12]

• Figure 2（对比传统自注意力与多尺度趋势感知注意力，page=16）：左图示例说明标准点值匹配会把 A 与 B 对齐仅因瞬时值相近，而忽略它们的局部斜率差异；右图说明通过局部趋势窗口（虚线框）可把 B 与同趋势的 C 关联。该图直观传达作者为何用卷积在注意力投影中引入局部邻域信息。插图路径：

[page::16]

• 数据可视化（Figure 3，page=19）：显示三对汇率标准化日收益的时间序列及训练/验证/测试切分（80/10/10），图中可见不同时间段波动强度差异与若干极端事件尖峰，支持后文对波动聚类与非正态分布的论断。插图路径：

[page::19]

• 表1（描述性统计，嵌入于 pages 20-21）：表列了均值、标准差、偏度、峰度、Jarque-Bera（几乎全显著拒绝正态）、Ljung-Box Q(5)（大多不显著，表明收益无显著线性自相关）与 ADF（均显著拒绝单位根，收益序列平稳）。该表支撑作者采用收益而非水平建模的设计，并说明条件异方差存在（后文 ARCH-LM 检验所证）。[page::20]

- Table 2（协变量清单，page=23）：列出 28 个协变量分为外汇、股指、固定收益、商品、宏观五类，关键点是当预测某一目标对时，其他两条目标对作为协变量被纳入，且低频宏观变量被向前填充以对齐日频，避免未来信息泄露。该表直接关系到 DVS 所分配权重的候选集。[page::23]

• Table 3（MSFE 比例与 Clark–West 统计，page=29）：核心实证证据表，EXFormer 在三对货币与多数滑窗下 MSFE 比率远低于 100（如 EUR/USD 在 5–20 日窗口 67–76；USD/JPY 54–61；GBP/USD 49–58），并且 Clark–West tstat 多数显著（p<0.01）。需要注意表中也显示部分模型在某些窗口的异常低比率（例如若干 Transformer/Informer/MLP 单元），提示超越随机游走并非完全由单一模型结构保证。该表是作者主张“统计显著优于随机游走”的直接证据。[page::29]

- Table 4（方向准确率 DA 与 Blaskowitz–Herwartz t，page=31）：EXFormer 在 EUR/USD、USD/JPY、GBP/USD 的多个滑窗均表现出比随机游走更高的 DA（例如 USD/JPY DA 在 0.570–0.598，且 t 介于 2.37–3.21），这表明均不仅在平方误差上更优，也能更好地判断涨跌方向。表中还显示 ARIMA 通常低于 0.5，方向性差。该表支撑作者声称“方向预测改进是稳健的”。[page::31]

• Figure 4（DA 相对提升条形图，page=33）：以可视化方式展示不同模型相对随机游走的 DA 提升百分比，EXFormer 在多数组合下为最高提升者，最高在 USD/JPY（T=15）达到 22.8%，图形也显示不同模型随滑窗而波动的大幅异质性，强调窗口选择重要性。插图路径：

[page::33]

• Table 5（回测主要指标，T=15，page=35）：关键经济绩效展示——EXFormer 在 EUR/USD 平均日收益 0.050%，累积 18.572%，Sharpe 2.087；USD/JPY 平均 0.068%，累积 25.782%，Sharpe 1.891；GBP/USD 平均 0.050%，累积 18.373%，Sharpe 1.903；多数基准在 15 日窗口下为负或低收益，说明统计改善能被转化为经济收益（在无摩擦情形下）。该表是作者“统计→经济价值”主张的直接证据。[page::35]

- Figure 5 与 Figure 6（不同滑窗下的累积收益曲线，pages 41-42）：Figure 5 展示 T=15 下近一年累计曲线，EXFormer（金线）在三对货币均显著领先；Figure 6 展示 T∈{5,10,20,30} 下的多面板累计曲线，说明仅 15 日窗口既能即时又能持续获利，过短/过长窗口会导致收益边际下降/对制度性变化反应迟钝。插图路径：
[page::41]
[page::42]

• Table 9（计入交易成本与滑点的回测，T=15，page=44）：作者设定每次换仓成本 5bps + 滑点 2bps，共 7bps；即便加入摩擦，EXFormer 仍在三对货币保持正累积收益：EUR/USD 7.655%、USD/JPY 19.937%、GBP/USD 9.216%，并给出相应 Sharpe 指标，强调模型在现实交易环境下仍具可实施性。该表直接应对“经济显著性在交易成本下是否消失”的疑问。[page::40] [page::44]

- Figure 7（全局变量重要性，T=15，page=46）：以条形图呈现 EXFormer 在 15 日窗口下对 28 个协变量的平均重要性分布；例如 EUR/USD 顶部为 S&P (7.9%)、美 5 年债 (7.4%)、GBP/USD (5.7%)，显示股票与中期利率与商品指数在短期预测中的重要性排序，这为经济解释（UIP 偏离、投资组合平衡理论）提供支撑。插图路径：
[page::46]

• Figure 9 与 10（时间变动重要性热图，pages 50、51）：热图展示每个协变量随样本索引的即时重要性，EUR/USD 的 S&P 与 5-year 在 2023 年第四季度出现尖峰，USD/JPY 在晚 2023 出现 10-year 与商品指数的集中权重上升，表明 DVS 能在事件驱动或 regime-shift 时“打开”或“关闭”特征，提供了面向策略调整的时序解释。插图路径：

[page::50]
[page::51]

• Table 14 与 Figure 11（消融实验，page=58 与 page=60）：消融包括去掉 Multi-Scale Convolution（No MSC）、去掉 SE（No SE）、去掉 DVS（No DVS）、用标准注意力替代（Standard Attention）。核心发现：No DVS 导致性能最大幅度下降，说明动态变量选择是对方向预测贡献最大的模块；Standard Attention 与 No SE/No MSC 也会损失性能但幅度较小；作者展示在 T=15 时全模型相较各消融变差最大（例如 USD/JPY 在 T=15 Full DA=0.598 而 No DVS DA=0.471），从而验证各模块的增益。插图路径：

[page::60] [page::58]

估值/性能解读与统计稳健性

• MSFE 与 DA：报告用 MSFE 比率（相对随机游走）配合 Clark–West 检验和方向准确率配合 Blaskowitz–Herwartz 检验，采用 HAC（Newey–West）标准误以应对异方差与自相关，统计上作者多次拒绝“与随机游走无差异”的零假设，尤其在 T≈5–20 的短滑窗中最显著，表明 EXFormer 的改进并非偶然样本内拟合。[page::25] [page::27] [page::29]

- 经济检验（回测）：作者将点预测转为 sign 策略并做逐日多次回测，计算均值/最大/最小日收益、最大回撤、Sharpe/Sortino 等风险调整指标，并在一处对摩擦做保守模拟（7bps/换仓）以检验可实现性；结果显示摩擦后 EXFormer 仍优于大多数基准，强化经济显著性的结论。[page::26] [page::40] [page::44]

• 鲁棒性与情景分析：作者按照波动性分位（20 日滚动标准差的 33%/66% 切分）与趋势（20 日累计收益的正/负）构建高/中/低波动与牛/熊子样本，并在这些状态下计算 DA，结果显示 EXFormer 在高波动和熊市中往往取得更大改进（例如 EUR/USD 高波动 DA 从 RW 0.500 升至 0.615），显示模型对极端或转折环境具有实际价值。该分析增加结论可信度。[page::49] [page::53]

批判性视角与局限性提示（基于报告文本与数据）

• 过度拟合与超参数复杂度：作者在附录列出广泛的超参数搜索空间与各模型的最优配置（Table A.16–A.19），但 EXFormer 的架构与超参数选择相对复杂（头数、分支核宽、SE 瓶颈比率等多维度），这可能带来调参敏感性与计算成本问题，尤其在真实部署时需要考虑模型更新频率与在线学习成本。该点在附录的超参表中可见端倪。[page::68] [page::69]

- 样本外稳定性与时间依赖：尽管作者进行了滑窗、分 regime 以及摩擦后回测，但样本仍集中在 2010–2024 的特定宏观周期；若未来出现与训练期大相径庭的制度或微结构变迁（例如新的市场微结构、管制或流动性断裂），模型表现需再评估。作者建议将 EXFormer 推广到多周期以测试泛化性，但该扩展工作尚为未来方向。[page::34] [page::63]

• 解释性的程度与因果性：DVS 输出为“变量重要性百分比”，有利于路径依赖解释，但仍为相关性导向指标，不能直接证明因果结构（即高权重不必然为因果驱动），作者在讨论中将结果与 UIP 偏离和投资组合平衡理论做理论对应，但这仍需进一步经济学识别策略确认（例如事件研究、工具变量或因果推断设计）。[page::43] [page::63]

- 交易成本假设简化：作者对 G10 货币使用固定 7bps/换仓 的摩擦假设以保守估计，但实际执行成本会随仓位规模、持仓方向与市场时间（如新闻时段）波动，机构化实现需额外考虑流动性冲击模型和规模敏感成本。作者提及 G10 高流动性作为合理化，但仍需在实际部署中进一步测试。[page::40] [page::61]

结论性综合（关键发现与建议）

• 技术贡献：EXFormer 将多尺度卷积、SE 通道重校准与趋势感知自注意力与动态变量选择集成在 Transformer 架构内，该组合在作者提供的日度外汇预测任务上在统计与经济两维均显著优于多种现代基线（包括 Informer、Chronos、LSTM-ARIMA 等）。[page::3] [page::29]

- 实证关键量化事实：在主要配置（T=15）下，EXFormer 在无摩擦回测累计收益约 18%–26%，计入保守 7bps 摩擦后仍保留正收益（7%–20%），并在高波动与熊市环境下显示更强方向准确率提升，DVS 提供的变量重要性表明股票指数、商品指标與较长期国债收益率在短期汇率预测中占主导。以上结论均在表格/图示中被明示并以统计检验支撑。[page::35] [page::44] [page::46]

• 对实践与后续研究的建议：若用于实盘交易或风险管理，应（1）在目标执行规模上重新估算摩擦与市场冲击成本并做容量测试；（2）定期重训练并监控 DVS 输出的变量排序以捕捉结构性变化；（3）进一步用事件或工具变量方法检验变量重要性是否具因果意义；（4）将 EXFormer 扩展到多期限与多货币组合优化以验证跨资产与跨时滞的泛化能力。作者亦在结论建议类似方向。[page::40] [page::63]

補充引用（关键表/附录）

• ARCH-LM（Table A.15）显示三对汇率的 ARCH 效应显著，支持在评估中采用 HAC 标准误并说明条件异方差的存在。该诊断见附录。[page::67]

- 附录超参（Table A.16–A.19）提供了完整的超参数搜索空间与各滑窗下的最佳参数配置，便于复现并展示作者在优化上的细致工作。研究者复现时应参照这些细节。[page::68] [page::69] [page::70] [page::71]

總結語（一句话版）
- EXFormer 在作者提供的日度外汇预测任务上，通过多尺度趋势感知自注意力 + 动态变量选择 + SE 重校准的组合，在统计上显著优于随机游走并能转化为在现实摩擦下仍然具备经济价值的交易收益，且其内置的时变前置可解释性为策略实施与经济学解释提供了有价值的诊断信息；与此同时，模型复杂性、超参数敏感性与因果识别仍为后续研究与实盘部署需要认真对待的关键点。[page::27] [page::44] [page::46]

报告