Forecast collapse of transformer-based models under squared loss in financial time series
创建于 更新于
摘要
本文从过程层面分析了在平方损失下以经验风险最小化训练的高表达力预测模型（如Transformer）在金融时间序列上的失效机制：当未来轨迹的条件均值对过去信息无显著依赖时，贝叶斯最优预测为平坦轨迹（价格）或零（收益），模型可表达性提高只会引入基于训练噪声的无效波动并放大预测方差，导致比简单线性基准更差的轨迹误差；实证上，在高频EUR/USD样本中PatchTST的轨迹误差分布显著右移，平均误差约为线性模型的1.7倍且在约92%的窗口上更差，支持理论结论 [page::0][page::13].
