Emergent Latent-State Computation under Stochastic Volatility
创建于 更新于
摘要
在嘈杂观测下，研究多资产随机波动中的潜在状态如何被序列模型内部表示与利用。通过对六资产的受控MSV过程进行对比研究，发现 Transformer 与 MLP 均呈现“潜在波动状态推断 + 输出头映射”为两阶段的计算结构：隐藏表示编码下一时刻的潜在对数波动 h_{t+1}，输出头再将其映射为平方收益预测 r̂²_{t+1}。在 Transformer 中，潜在状态的可解码性以阶段性方式出现，且出现阶段依赖于波动周期 ω；在长周期下，信息几乎可由一个线性投影后再经过 ℓ2 规范化形成显式的 latent-state filter。阅读头的对齐问题也揭示了一部分退化源自读出层而非编码信息的缺失，通过将输出头替换为探针对齐的读出可提升 MAE 的稳健性。此工作将随机波动模型作为机械可解释性在噪声潜在动态与部分观测环境中的有力基准，为理解神经序列模型如何内部表示、变换并使用潜在随机结构提供了新视角 [page::1]
