FinBERT情感分析与LSTM结合构建的预测模型架构 [page::3][page::4]

• 采用FinBERT对每日每只股票新闻标题进行情感打分，计算每日积极情感概率减去消极情感概率的得分作为情感输入。

- LSTM模块输入为上述情感分数加上过去60天的历史交易数据（开盘价、收盘价、最高价、最低价、成交量）经Min-Max归一化处理后的特征向量。

详细数据及预处理流程 [page::1][page::2]

• 新闻数据来源于Kaggle公开的包含800多家美国公司的12年历史新闻及用于6000+股票的每日新闻标题，结合yfinance获取对应股票的历史交易数据。

- 处理步骤包括数据合并去重，缺失值剔除，非交易日新闻情感与后续交易日价格对齐，采用Min-Max scaling对数值特征归一化。

• 数据集按时间顺序划分训练集(90%)和测试集(10%)，保证时序预测的严谨性。

模型训练对比及效果分析 [page::5][page::8]

| 模型 | 训练损失(MSE) | 验证损失(MSE) |
|-----------------|-----------------|-----------------|
| ARIMA | N/A | 0.00975 |
| LSTM | 0.0010206 | 0.0011937 |
| BERT + LSTM | 0.00010216 | 0.00033132 |
| FinBERT + DNN | 0.00014674 | 0.00034177 |
| FinBERT + LSTM (本研究) | 0.00009170 | 0.00031975 |

• FinBERT+LSTM模型在训练和验证误差上均表现最佳，显著优于传统ARIMA及纯LSTM模型。

- 基础BERT与FinBERT结合LSTM的表现接近，表明财务领域预训练模型带来的提升有限但存在。

• ARIMA模型较擅长捕获长期趋势，而深度学习模型更适合短期波动的拟合。

预测结果及可视化展示 [page::2][page::5]

• 预测股价曲线与真实收盘价高度重合，说明模型在短期内对股价中趋势波动有较好捕捉能力。

量化模型局限与未来方向 [page::6]

• 单只股票的数据规模有限，训练集规模相对较小（如MSFT为1440条），带来过拟合风险。

- 仅利用新闻标题情感，信息深度有限，未来可考虑新闻全文及社交媒体数据融合。

• FinBERT未做领域特定细调，后续基于提出的数值情感指数（NSI）进行微调可望提升绩效。

- 结合ARIMA与LSTM的混合模型、有跨股票数据的综合预测模型及更先进的时序模型（如TEANet）为后续可行研究方向。

金融情感分析与股价预测模型详尽解析报告

---

1. 元数据与概览 (引言与报告概览)

报告标题：Financial Sentiment Analysis Using FinBERT with Application in Predicting Stock Movement
作者：Qingyun Zeng、Tingsong Jiang
研究机构：未明示具体机构，文中引用多个前沿研究
发布日期：文中无明确标示，结合引用文献时间可推断为近年 (2022-2023) 之间
研究主题：利用专门针对金融领域微调的语言模型 FinBERT，结合深度学习时间序列预测模型 LSTM，以实现基于金融新闻情感分析的信息在股价走势预测中的应用

该报告核心论点是：基于金融领域语言模型 FinBERT 提取的情感信息显著提升股价走势预测的准确性，尤其是在结合 LSTM 时间序列模型后效果最佳。传统时间序列模型 ARIMA 虽能捕获一定趋势，但无法深入捕捉金融数据的非线性特征。研究通过历史新闻和市场数据，系统设计从文本到数值多模态融合预测框架，并进行了多模型对比实证验证，提出未来对模型优化与数据丰富化方向的建议。

---

2. 逐节深度解读

摘要及引言（Abstract & Introduction）

• 报告指出利用 FinBERT（一种专门针对金融文本微调的 BERT 变体）进行金融新闻情感分析，并结合 LSTM 构建深度学习预测模型。情感提取后与股市历史数据融合，用于预测股价变化。

- 研究假设基于效率市场假说（EMH），新闻情绪与市场行为具有强关联，能辅助市场走势预测。

• 强调传统统计模型如 ARIMA 对金融数据线性假设限制明显，LSTM 及 FinBERT 更适于捕捉复杂非线性信息。

- 明确了模型不做因果分析，只定量测度新闻情感与市场的相关性。

相关工作 (Related Work)

• 引用张等人（2022）提出的基于 Transformer 的时间序列模型 TEANet，指出其无情感分析，但未来可用于替换 LSTM。

- 比较了 Hiew 等人（2019）结合基础 BERT 与 LSTM 的金融情感索引方法，指出本研究通过更适合金融语料的 FinBERT 可能具备性能优势。

• 批注了 Shi 等人（2022）提出的 CNN-LSTM-XGBoost 混合模型，虽无情感部分，启示未来可在 LSTM 阶段融入更多模型堆栈提升性能。

数据 (Data)

• 主要数据包括两套来自 Kaggle 的金融新闻数据集：

- 主体：覆盖超过 800 家美国企业，时间跨度 12 年，带有新闻标题和正文。
- 补充：6000+ 股票的日常新闻，主要为标题信息。

• 历史股市数据（开盘价、收盘价等）通过 yfinance API 获取，与新闻数据通过股票代码和时间合并。

- 总样本数量约为 1056471 条，合并后的数据截止到 2019 年。

数据预处理与特征工程 (Data Preprocessing and Feature Engineering)

• 合并两新闻数据集，剔除无用列，去重新闻标题。

- 通过 FinBERT 对每日新闻板块进行情感分类，计算正负概率差作为情感指数 (SentimentScore)。

• 定义数值化情感指数 NSI (Numerical Sentiment Index)，基于当天股价涨跌幅定义情感标签（涨幅大于 1% 标为正，跌幅大于 1% 标为负，中间为中性）。

- 处理缺失值和非交易日，使用下一个交易日数据对齐情感与市场数据，保障时间一致性。

• 对所有数值特征（开收盘价、成交量等）采用 min-max 归一化，确保模型训练平稳高效。

- 采用严格时间序列划分，按时间顺序用前 90% 作为训练集，后 10% 作为测试集，避免时序信息泄露。

Sentiment Analysis Methodology（情感分析方法）

• 使用 FinBERT 的 tokenizer 对新闻标题做分词编码，最长序列长度 512，确保上下文完整。

- 模型输出三个情感类别（正面、负面、中性）对应的概率值，采用 softmax 归一化。

• 将当日所有新闻情感概率差值做平均，生成每日股票层面的情感分数，为后续 LSTM 输入奠定数据基础。

- 采用 NSI 作为辅助情感标签，为模型调整与进一步微调提供参考。

模型设计 (The Model)

模型结构分为两部分：

1. 金融情感分析模块：利用 FinBERT 输出每日新闻情感分数。未在本研究中对 FinBERT 进行二次微调，保持“开箱即用”状态。
2. LSTM 时间序列预测模块：

- 输入特征包括当天情感分数及前 $k=60$ 天的股价开、高、低、收、成交量数据。
- LSTM架构具体设计为：
- 第一层 LSTM，100 个隐藏单元，返回完整序列（return sequences=True）。
- 第二层 LSTM，100 个隐藏单元，返回序列末尾隐藏状态，捕获时序特征聚合。
- 一个 25 单元 ReLU 激活的全连接层。
- 最后一层单输出线性激活层，预测第二天收盘价或变化量。
- 训练时采用 Adam 优化器，初始学习率 0.001，一批次数据量为 1，训练至多 100 个 epoch，设有早停机制防止过拟合（验证集连续 20 轮无改进停止训练，验证集为训练集中后 10%）。

对比模型包括：

• 传统 ARIMA（经过单位根检验、对数变换及差分处理，确定参数为 ARIMA(1,1,2)）

- 基于仅数值数据的 LSTM（相同结构，未接入情感信息）

• FinBERT+深度神经网络（DNN）模型（情感分数与数值特征拼接，采用多层全连接神经网络）

- 基础 BERT + LSTM（用于验证 FinBERT 域适应优势）

模型训练与验证结果

通过训练集和验证集的均方误差 (MSE) 进行评价，表1详细列出关键结果：

| 模型 | 训练损失 (MSE) | 验证损失 (MSE) |
|--------------------|-----------------|-----------------|
| ARIMA | N/A | 0.00975 |
| LSTM | 1.0206E-03 | 1.1937E-03 |
| BERT+LSTM | 1.0216E-04 | 3.3132E-04 |
| FINBERT+DNN | 1.4674E-04 | 3.4177E-04 |
| FINBERT+LSTM(本研究) | 9.1701E-05 | 3.1975E-04 |

结论：FinBERT与LSTM融合模型表现最佳，验证损失最低，显示出情感信息有效提升预测准确度。基础BERT+LSTM模型表现接近，暗示离充分利用FinBERT潜力尚有提升空间。

---

3. 图表深度解读

图1：MSFT 收盘价走势

• 该图展示微软公司(MSFT)在样本时间区间内的收盘价整体趋势，明显呈现持续上涨趋势，体现长期牛市特征。

- 收盘价从约15美元上涨至超160美元，趋势稳定但波动性仍存在。

• 该趋势为金融时间序列预测提供了明确的“长期趋势”基线，模型需同时捕获此趋势及短期波动。

- 文本中提及ARIMA在捕捉长期趋势方面表现良好，图中趋势印证了这一点。

图2：MSFT 收盘价的滚动均值与标准差

• 图中蓝线为原始收盘价，红线为30日滚动均值（趋势指标），黑线为滚动标准差（衡量波动性）。

- 收盘价及滚动均值走势吻合，显示整体市场上涨态势明显且较稳定。

• 标准差波动相对稳定，表示波动率整体受控，利于基于平稳假设的模型建构。

- 提示捕捉波动性与趋势对于模型拟合的重要性。

图3：预测与实际收盘价对比

• 蓝线代表训练数据内实际收盘价走势，绿线为测试集上的模型预测，橙线为验证数据的真实价格。

- 预测线紧贴实际线段，说明模型有效捕获了股价的短期波动。

• 但存在一定程度的“长期低估”，预测价格线在高点时略显压低，表明模型在长期趋势预测存在保守偏差。

- 该图佐证文本中对模型优缺点的描述，为未来引入ARIMA预处理提供视觉依据。

---

4. 估值分析

本研究不涉及传统的企业估值或股价的绝对估值，而是围绕股票价格未来走势进行预测的模型搭建与性能评估。

• 主要衡量指标采用均方误差（MSE），部分使用均绝对误差（MAE）和均方根误差（RMSE）辅助评价ARIMA模型。

- LSTM和深度学习的非线性建模能力为价值所在，传统基于统计特性且假设线性的ARIMA被用作基线比较。

• 模型中引入的Min-Max归一化和情感分数作为外生变量，进一步提高了预测的精细度和稳定性。

- 虽无估值目标价格或波动率预测，但报告通过误差指标与图形验证模型拟合质量及潜在的改进空间。

---

5. 风险因素评估

报告识别了多项风险与局限性：

• 数据规模瓶颈：单支股票经过预处理后可用训练样本仅千余条（如MSFT为1440条），样本容量有限导致深度模型易过拟合，难以捕获稳健市场模式。

- 情感分析文本信息量有限：研究仅采用新闻标题进行情感分析，缺乏正文与其他数据源(社交媒体等)情感深度，可能降低情感信号代表性。

• FinBERT未微调：使用了开箱即用的FinBERT模型，未针对特定任务和数据细致微调，限制了情感特征的判别力和预测能力提升幅度。

- 模型长线预测偏差：LSTM在捕捉短期波动优异，但在长期趋势预测中表现保守，可能导致策略失效风险。

• 未融合多模态数据：当前模型未集成多股票多市场交互信息，缺乏对系统性风险和市场联动的综合感知。

报告对缓解策略包括扩大数据集、细化情感信息源、多样化模型结构及联合训练设计提出建议。

---

6. 批判性视角与细微差别

• 模型假设与目标明确但非因果：报告直言该模型不做因果推断，只量化情感与价格的相关性，避免误用导致的决策失误风险。

- FinBERT优势未尽显：模型基于FinBERT的情感得分表现虽优于基础 BERT，但提升幅度有限，暗示可能需更细致的任务微调及数据适配。

• 情感数据维度单一：仅用新闻标题简化情感输入，有可能遗漏微妙语境和深层次情绪影响，限制模型性能极限。

- 单股独立建模的局限：模型没有充分利用不同股票间的联动关系和交叉信息，在金融市场中这通常是非常重要的规律来源。

• 训练集划分较长时间跨度：90%训练集虽合理但遇到极端事件（如疫情，战争）时模型鲁棒性和适应性存疑。

---

7. 结论性综合

本研究成功构建了一套基于FinBERT情感分析和LSTM时间序列预测的金融市场股价走势预测框架。通过实证展示：

• 利用FinBERT提取的金融新闻标题情感分数融合LSTM显著优于：

- 仅基于传统ARIMA的时间序列预测（验证损失下降约30倍）；
- 仅基于数值市场数据的LSTM模型；
- 使用基础BERT情感得分的LSTM模型。

• 该复合模型在MSFT等个股数据集中表现出较高的短期预测能力，紧密贴合真实走势。

- 模型对长期趋势预测欠佳，存在系统性下调偏差，需通过未来引入ARIMA预处理等混合方法优化。

• 数据规模限制、文本情感深度不足及FinBERT未调优均限制模型最终性能。

- 报告提出包括数据增强、多源情感信息引入、FinBERT深度微调及引入更先进时序模型（如TEANet）等未来研究方向。

结合图表解读，可综合得知：

• 图1、图2展示股价明显长期涨势及波动情况，支持模型对趋势捕捉的挑战背景；

- 图3显示模型较好拟合训练及验证数据，但在测试集预测存在长期低估趋势；

• 表1训练与验证误差数据体现不同模型性能，FinBERT+LSTM方案为最佳。

最终，报告旨在通过AI驱动的金融文本情感分析推进市场走势预测研究，验证融合理解金融文本与市场数据的深度学习方法之潜力，并提出实践与拓展方向。

---

参考标注

全篇内容严格基于报告内容进行分析，引用格式示范：

• 主要实验、模型设计、数据描述均来自页码0-6。[page::0,1,2,3,4,5,6]

- 表格数据和图表细节描述引用相应页码和图片页码。[page::4,5] [page::2,4,5]

• 结论与未来展望基于第6页内容。[page::6]

---

总结

该报告围绕“深度财务文本情感分析联合时间序列预测”的核心论题，系统设计实验，综合多个基线比较，清晰展现FinBERT嵌入情感特征在股价预测中的价值。数据处理得当，模型结构合理，结果真实，且对未来研究提供了建设性方向。报告逻辑严密，理论与实证并重，适合作为金融领域AI应用的先进研究范例。

报告