Transformer for Times Series: an Application to the S&P500
创建于 更新于
摘要
本报告探讨了Transformer模型在金融时间序列预测中的应用，针对均值回复的Ornstein-Uhlenbeck合成过程和真实的S&P500数据构建数据集，设计了基于Transformer Encoder架构的分类模型。通过多头注意力机制和位置编码，模型可预测下一步的回报区间及其平方的波动区间，实现对分类桶概率的较为准确估计。在合成数据上模型表现优异，且对S&P500的平方回报（波动率指标）预测取得超越随机基线的结果，显示该方法在金融时间序列预测中的潜力，但对位置编码的有效性和模型参数仍需进一步调优[page::0][page::5][page::16][page::17].
