`

Forecasting U.S. equity market volatility with attention and sentiment to the economy

创建于 更新于

摘要

本报告创新性利用社交媒体、新闻文章、关键词搜索等多数据源构建针对十个宏观经济变量的关注度与情绪指数,运用传统与机器学习模型显著提升对404只主要美股的日度波动率预测精度,特别在极端价格波动日平均提升达14.99%。研究确认FOMC会议及劳动市场指标相关情绪的预测价值,并识别谷歌趋势、推特及新闻文章为主要有效信息源,提出结合注意力与情绪的综合模型为波动率预测提供新视角,结果在多个经济行业及不同模型设定下保持稳健[page::0][page::23][page::33]

速读内容

  • 研究创新点与数据来源综述 [page::0][page::3][page::6]

- 构建了针对十个重要宏观经济变量的关注(attention)和情绪(sentiment)指标,数据涵盖Google Trends、Wikipedia、Twitter、新闻文章等多个渠道。
- 2010年3月至2021年2月,选取样本内至少有2750个交易日数据的404只标普500个股作为研究对象。
- 利用FinBERT模型进行文本情绪提取,精确捕捉金融领域内容的情绪倾向。
  • 关注度与情绪变量构造及其统计特征 [page::7][page::9][page::12][page::20]


- 谷歌搜索指数及推特关注度具有较高的自相关性(约0.7),表现出持久关注特征。
- 积极与消极情绪在推特与新闻中均显持久性,且推特消极情绪对波动率有更显著正向影响。
  • 波动率建模与基准模型设定 [page::12][page::14][page::15]

- 采用5分钟间隔数据计算实现波动率(Realized Variance),同时考虑隔夜波动,并通过跳跃分量与半方差指标细化波动率估计。
- 三类基准模型:标准HAR模型,HAR-M模型(含宏观经济公告哑变量),以及基于全子集回归的CSR-HAR模型。
  • 竞品模型设计与机器学习应用 [page::15][page::16][page::17][page::18]

- 八类竞品模型:关注度模型和情绪模型各四类,分别为增广HAR模型、自适应LASSO、全子集回归(CSR)、随机森林。
- LASSO利用两阶段惩罚缩减,随机森林通过随机特征子集提升树模型多样性,CSR对所有子集模型进行加权聚合。
  • 实证结果与预测性能提升 [page::23][page::24][page::25]


- CSR-Attention模型超越HAR模型比例达90.59%,CSR-Sentiment模型达到98.76%,且平均改进最高分别为8.12%和12.76%。
- HAR-S模型虽不含特定宏观公告情绪指标,但仍表现优秀,覆盖98.51%的股票。
- 根据模型置信集(MCS)检测,CSR-S模型和ALA-S模型在预测准确性中领先多数竞品。
  • 细分行业与极值日表现分析 [page::26][page::27][page::28]

- 所有11大行业均体现事件新闻关注度与情绪对波动率预测的显著提升,公用事业行业除外少数模型表现稍弱。
- 极端波动日(最高10%)模型表现更佳,CSR及LASSO模型在极端行情中MSE改进分别增至14.99%和13.63%。
- 非极端行情日表现则略逊于基准模型,提示模型优势依赖市场波动状态。
  • 宏观变量与数据源重要性排序 [page::29]


| 宏观经济变量 | 重要程度(%) |
|------------------|--------------|
| FOMC会议 | 最高(约3.17%) |
| ISM采购经理指数 | 次高 |
| 消费者信心指数 (CBCC)| 次高 |
| 初次申请失业救济人数(IJC)| 次高 |
| 非农就业人数 | 显著 |

- 谷歌趋势和推特数据在关注度预测中最具价值,维基百科预测效益最低。
- 推特和新闻文章的正面情绪数据对波动率预测贡献突出。
  • robustness 检验及多期限展望 [page::30][page::31][page::32]

- 替代波动率估计方法(不加权的夜间与日内波动叠加,1分钟采样)对结论影响有限。
- 不同情绪文本分析工具(FinBERT, VADER, EmoLex)均支持情绪对预测的提升,FinBERT效果最佳。
- 5日和22日波动率预测中,CSR-A与CSR-S模型依然优于基准HAR。
- 损失函数切换下(QLIKE, MAE, MAPE)核心模型持续保持较好表现,表明结论稳健。

深度阅读

报告详尽分析报告


标题: Forecasting U.S. equity market volatility with attention and sentiment to the economy
作者: Martina Halouskov´a, Štefan Ly´ocsa
机构: Masaryk University(捷克布尔诺)、Slovak Academy of Sciences(斯洛伐克布拉迪斯拉发)、University of Presov(斯洛伐克普雷绍夫)
发布日期: 未明确,但样本数据截至2021年2月,文章内容新近,约2023-2024年左右
主题: 利用公众对经济宏观变量的关注度(attention)和情绪(sentiment)数据来提升美国股市(S&P500成分股)波动率的预测能力

---

一、报告概览与核心论点



该研究聚焦于美国股市中价格波动率的预测,通过引入公共关注度和情绪指标,将宏观经济变量和市场对宏观新闻的反应融合入波动率预测模型。作者使用自社交媒体(Twitter)、新闻报道、信息消费数据(如Google Trends等)及搜索引擎数据针对10个宏观经济变量估计公众关注和情绪,尝试克服传统宏观经济数据发布频率低、发布时间不规律、市场预期变化和信息逐步定价等问题,进一步利用标准统计方法与机器学习方法改进对404只美国主流股票波动率的日内预测。
核心发现表明,基于宏观经济新闻的情绪指标能在所有经济板块里显著改善波动率预测,特别是在极端价格变动日,最高提升幅度达14.99%。此外,提升幅度依赖于数据来源与模型选用,机器学习方法表现尤为出色。

作者希望传递的关键信息是公共对宏观经济新闻的关注度和情绪蕴含了股价波动的重要信息,将其纳入波动率预测模型能大幅提升预测准确率,尤其适用于波动剧烈时期,提示投资者和风险管理者应注重结合行为金融数据改进市场风险度量与管理策略。 [page::0,1,6,33]

---

二、逐章节深度解读



2.1 引言与背景


  • 论点总结: 股票价格变动应反映市场对未来经济状态的预期,这是基于资产估值折现未来收益的金融基本原理,再辅以已有文献(Fama等)验证,在宏观经济基本面和货币、劳动力市场指标上均表现较强关联。宏观经济新闻作为市场关注焦点,具备改变未来经济展望的潜力。因此理解和量化公众对经济新闻的关注度及情绪对于解释价格波动至关重要。
  • 推理依据: 价值评估依据未来收益折现,预期影响当前资产价格,由发布的宏观数据驱动投资机会集合变化,影响风险成本与投资者行为。这部分揭示了经济新闻到价格变动的传导机制及市场参与者行为模式。 [page::0]


2.2 文献综述与研究差异


  • 宏观经济新闻与市场反应: 历史研究表明,诸如货币政策发布、就业数据、房地产等宏观变量新闻事件会令市场反应(Flannery & Protopapadakis, 2002等),影响包括价格和波动率,且市场反应具有行业异质性(Ehrmann & Fratzscher, 2004),有时呈先行反应(Lucca & Moench, 2015)。

- 预测难点与现有方法限制: 传统宏观经济指标波动预测能力有限,原因包括发布频率低、时间不固定、信息定价过程分散等。近期新兴研究尝试利用投资者信心、情绪指标改进月度波动率预测(Gupta et al., 2023),指向行为变量的潜力。
  • 关注和情绪的行为金融视角: 依据注意力有限理论(Kahneman, 1973)和分类学习投资者行为(Peng & Xiong, 2006),投资者更倾向于关注宏观新闻而非个股消息,利用Google搜索量、Twitter帖子情绪等外部指标测度投资者情绪,已有研究证实其对波动率存在预测价值。

  • 本研究差异化贡献: 作者通过多数据源(包括新闻,社交媒体和搜索引擎)构建个别宏观变量新闻相关的关注度和情绪指数,并用机器学习算法在一个庞大的横截面(404只股票)完成高频波动率预测,考虑到新闻事件频率、重要性和市场反馈的动态变化,该方法具有实用性和创新性。 [page::1,2,3,4,5,6]


2.3 数据说明


  • 股票市场数据: 样本为S&P500成份股中404只股票,时间跨度2010年3月至2021年2月,要求每只股票至少2750个交易日数据,价格按1分钟频率获取。

- 关注度数据:
- Google搜索指数(SVI):英文美国国内关键词每日搜索量,使用滑动窗口法拼接整段时间序列,控制标准化误差。
- Wikipedia页面浏览量:唯一数值指标,无需复杂标准化。
- 微博数据(Twitter):收集对应关键词的相关英文推文,超过200万条,计算每日推文量及基于FinBERT模型分析情绪正负比率。
- 新闻文章:Financial Times及Wall Street Journal相关报道,建模时对应关注度和情绪。
  • 分析师关注度: Bloomberg数据提供预期变量分析师覆盖数,作为新闻关注强度指标。

- 宏观新闻日历与关键词: 选取10个关键宏观新闻类别(如非农就业、FOMC会议等),每类构建专属关键词列表,支持多数据源关注度和情绪提取。
  • 示意图说明(图1): Apple 股价的高频波动与四类关注度指标(Google Trends, Wikipedia, Twitter, News)都呈现明显的同步性和时变特征,表明关注度与波动率存在相关性。图1示意 [page::6~12]


3. 方法论


  • 波动率衡量: 采用5分钟采样频率的实证方差(realized variance, RV)方法,同时考虑隔夜及日内价格变化的加权组合,加入跳跃成分分解(jump component JCt)和连续成分(continuous component CCt),以及半方差(semivariance)和符号跳跃(signed jump)等细节指标提升建模精度。

- 基准模型:
- HAR模型(三时间尺度自回归模型,日、周(5天)和月(22天)波动率)
- HAR-M模型(增加宏观新闻公告的哑变量,与日波动率交互)
- CSR HAR(由多HAR子模型组合预测,包含跳跃组件等,综合多模型预测结果)
  • 竞争模型设计: 分为仅关注度模型和包括情绪模型两类,包括HAR拓展、Adaptive LASSO、Complete Subset Regression(CSR)和随机森林(RF),均纳入多种数据来源的关注度与情绪变量,利用机器学习筛选最优子集或非线性拟合。

- 变量变换与预测流程:所有变量均进行对数变换缓解偏态,符号跳跃进行特殊处理。采用滚动窗口法进行模型训练与预测,评估指标主要为均方误差(MSE),辅以稳健性检验和模型置信集(MCS)方法进行统计验证。
  • 情绪提取模型: 主要采用FinBERT金融领域专用情绪分析模型,结合文本预处理以获取每篇推文和新闻文章的正负情绪比例。 [page::12~19]


4. 主要结果解读



4.1 样本数据特征


  • 实际波动率(RV)表现出极强的自相关性,即使跨越22个交易日仍保持0.38的自相关,明显高于指数衰减预期。跳跃波动虽低于连续波动的持久性,但偶有连续零跳跃导致较高持久度。

- 关注度指标整体比波动率更持久,Google Trends和Twitter关注度自相关约0.7,Wikipedia及新闻关注度波动更快。情绪表现出正负差异,正面情绪更”粘性”高。
  • 宏观新闻事件相关的关注度和情绪各数据源间差异显著,GDP、CPI和FOMC会议相关的指标更为持久且显著,而Wikipedia对不同新闻主题表现无差异。

[page::20,21]

4.2 注意力与情绪对波动率的解释力(样本内)


  • Google趋势每增加1%,实际波动率提升0.190%;Twitter为0.128%;新闻报道更大,为0.239%;Wikipedia显示极小且边际不显著(0.011%)。

- 情绪方面,Twitter负面情绪每1%提升波动率0.189%,正面情绪则降低波动率0.116%;新闻报道情绪效果远微弱且多数不显著。
  • 添加宏观经济新闻公告哑变量进一步提升拟合度,其中FOMC会议影响最为显著,符合文献及市场直觉,但可能存在样本内过拟合与日期效应干扰。 [page::22,23]


4.3 样本外预测表现


  • CSR模型结合具体宏观新闻事件的关注/情绪指标在多数股票上均优于基准HAR模型,尤其是情绪模型,表现最佳,提升率近13%,超越仅包含一般关注度或情绪的HAR版本。

- 关注模型尽管整体表现良好,但模型依赖性强,RF和Adaptive LASSO表现相对较弱。
  • 情绪模型无论是CSR还是适应性LASSO均在94%以上股票上表现优异,显示情绪信息的强大预测能力。

- 极端波动日(波动率最高10%)模型优势更加明显,情绪CSR模型提升将近15%,而在低波动日则略有劣势甚至轻微下降。此暗示情绪和关注度模型尤适用于波动剧烈时期,提示动态模型切换的潜力。
  • 细分行业来看,新模型在全部11个经济部门都表现出显著预测提升,尤以公用事业(Utilities)部门稍逊于其他部门。

[page::23~28]

4.4 宏观新闻变量重要性分析


  • FOMC会议相关指标无论是关注度还是情绪均被频繁选入预测最优模型,说明其为最关键的宏观新闻影响因子。

- 其他重要宏观指标还包括采购经理指数(ISM),消费者信心(CBCC),初次失业救济申请人数(IJC)和非农就业报告(NFP)。
  • Google Trends与Twitter数据源的关注度重要性最高,Wikipedia表现最差,与情绪数据类似,正面新闻报道在情绪预测中贡献显著。

[page::29]

---

三、图表深度解读



图表1:Apple Inc.的实际波动率与市场关注指标时间序列

  • 显示Google Trends, Wikipedia, Twitter以及新闻报道的日度对股票市场的关注度(经过对数转换与22天移动均线平滑处理),与Apple股票的实时波动率曲线对比。

- 可观察到四种关注指标曲线大致跟随波动率起伏波动,尤其Twitter和Google表现较为同步,显示市场关注度与波动率的密切关联,支持后续模型引入这些变量的理论基础。
  • Wikipedia页面浏览量波动较平缓,波动率与新闻报道关注度波动存在滞后和差异,体现媒体信息释放节奏不同。

图1 [page::9,12]

图表2:四个模型对股票波动率的预测改进分布

  • 展示基于CSR-Attention、HAR-Sentiment、CSR-Sentiment和Adaptive LASSO-Sentiment四个模型相较HAR基准的预测准确率改进百分比分布。

- 大多数个股均实现正向改进,分布偏正,顶部峰值可到20%以上,部分个股甚至超出40%,展示模型广泛且非偶发的效果。
  • CSR-S情绪模型改进最为显著,表明细分情绪信息及机器学习方法结合的优势。

图2 [page::24,25]

---

四、估值与模型技术分析


  • 估值部分主要体现在模型构建与选择上,包括基准HAR模型及其扩展(HAR-M)以及多模型组合的CSR HAR。

- 预测模型主要基于实证指标与机器学习方法:
- HAR模型利用不同时间粒度历史波动率解释未来每日波动。
- HAR-M引入宏观新闻发布哑变量增强模型表达能力。
- CSR用多子模型完全子集回归结合,利用500期加权均方误差筛选优异模型组,进一步通过聚类确定最优模型集合,最后通过截尾均值汇总预测,降低单模型偏差风险。
- Adaptive LASSO双阶段罚函数正则化变量选择,克服高维度共线性问题。
- 随机森林构建多颗决策树并通过随机特征子集减少过拟合,适合复杂非线性关系。
  • 数据预处理:对数转换使得变量分布更对称,缓解极端值影响;跳跃成分作符号特定变换处理。

- 预测评估采用滚动窗口样本外测试,保证模型稳健性,采用MSE及其他损失函数(如QLIKE, MAE, MAPE)评价,且使用模型置信集(MCS)方法评估模型优劣的统计显著性。 [page::14~19,31~32]

---

五、风险因素与限制评估


  • 数据特征风险:Google Trends数据的标准化和拼接过程中存在不确定性,尤其对小值变化敏感,作者通过较大重叠窗口及均值方法进行缓解。

- 信息解读风险:虽然FinBERT模型为专门训练的财经文本情绪解读模型,但自然语言处理仍存在误判风险,文本清洗和关键词选择或带来偏差。
  • 模型假设风险:HAR及其变体侧重历史波动率的线性依赖,未必完全捕获所有非线性动态,机器学习模型虽有改善但存在训练样本外泛化风险。

- 宏观新闻事件的异质性和频率问题:新闻事件频率低且市场反应时间不一,导致模型对时间窗口敏感。作者通过持续关注度数据平滑处理部分解决,但仍无法完全避免。
  • 模型复杂性与过拟合风险:包含众多变量和交互,可能导致过拟合,尤其HAR-M模型未展现超越CSR模型的优势。

- 情绪数据来源局限与样本限制:Twitter、新闻报道主要反映偏好于特定群体投资者的观点,无法涵盖全部市场参与者,中小盘股票未覆盖,影响推广。
  • 预测能力随时间变化:表现显示模型在极端波动期有效,但在平稳期可能劣于传统HAR模型,提示结合时变模型或混合模型的重要性。

综上,报告清晰识别多重风险并通过大样本、多模型、多损失函数及稳健性测试进行缓解,提供较为完整严谨的研究结论。 [page::27~28,30,33]

---

六、批判性视角与细微差别


  • 报告中对宏观经济数据的固定10个新闻变量选择或限制了潜在的重要信息,未展开对其他经济信息源的并列探讨。

- 报告承认Wikipedia关注度预测能力较弱,提示该数据源与市场实际反应关联有限,但未深入探讨其存在的潜在价值或替代性解释。
  • 尽管引入机器学习方法,模型参数调整、算法选择和调参过程细节较少,缺少对模型复杂度成本的深入讨论。

- 情绪提取主要依赖FinBERT,在其他情绪分析法(如字典方法)下表现略差,显示方法依赖性强,暗示情绪量化仍属活跃研究领域,结果稳定性有限。
  • 对未来预测期限的拓展预测虽有所涉及5日和22日预测,但模型表现下降明显,且未能提出组合长期短期模型的具体方案。

- 局限于S&P500成份股,结果推广性尚需验证,尤其在不同市场环境和资产类别下适用性未知。
  • 内生性问题尚未充分讨论,关注和情绪是否因股价波动本身而变化,以及二者的因果关系未完全解构。

总体上,报告基于扎实数据和方法,保持谨慎客观,但未来研究可进一步深化模型泛化能力以及因果机制探索。 [page::33,30]

---

七、结论性综合



本文通过构建针对10个主要宏观经济新闻变量的关注度和情绪指数,综合利用多元数据来源(Google Trends、Twitter、新闻报道、Wikipedia等)及先进机器学习方法,对S&P500成份股的日内波动率预测进行了系统研究。结果表明:
  • 宏观经济新闻相关的情绪指标能在90%以上个股显著提升波动率预测准确率,最高提升可达约15%,特别是在极端高波动日。

- 关注度指标虽然有效,但情绪指标在预测改进中更具普遍性和强度。
  • FOMC会议相关指标在所有宏观变量中最重要,随后是劳动力市场指标、采购经理指数及消费者信心指数。

- Google趋势和Twitter数据是最有预测力的信息源,Wikipedia关注度基本无预测作用;正面新闻情绪同样重要。
  • 机器学习方法(CSR和Adaptive LASSO)表现优异,胜过简单线性模型。

- 模型优势主要体现在高波动期,低波动期传统HAR模型仍具优势,提示结合多模型切换策略的潜力。
  • 研究结果在多种波动率估计方法、情绪分析算法和预测期限中均稳健。


因此,作者认为,通过测度和纳入公共关注与情绪信息,尤其对具体高关注度宏观经济事件的情绪反馈,能有效提升股市波动率预测能力,为资产风险管理和市场微观结构研究提供了有益视角和方法支持。结合基准HAR类似的传统模型和机器学习的新型情绪关注指标模型,可能是未来实务中提升市场波动性预测的理想路径。 [page::33]

---

八、溯源引用标注


  • 研究背景及文献综述:[page::0,1,2,3,4,5,6]

- 数据说明及采集细节:[page::6~12]
  • 方法论:波动率测算、模型构建及预测框架:[page::12~19,31~32]

- 主要实证结果(样本内外分析、模型比较、变量重要性):[page::20~29]
  • 图表分析图1与图2:[page::9,12,24,25]

- 鲁棒性检验及预测期限扩展:[page::30~32]
  • 结论综述:[page::33]


---

总结



该报告以丰富多元的数据输入和前沿机器学习方法,突破了传统宏观新闻预测频率低、预测窗口不明等瓶颈,利用实时舆论情绪和关注热点准确捕捉市场风险信息,显著提升了美国股市个股波动率的预测效果,尤其在极端市场环境下表现优异。报告结构严谨、数据详实且包含多层检验,成为行为金融与宏观经济融合的经典研究范例,具有重要的理论与实践意义。

报告