• 提出IUS框架整合非结构化文本数据与结构化金融指标，利用ChatGPT-4.0清洗、注释新闻文本获得情感极性分数及次日汇率涨跌标注，通过微调RoBERTa-Large模型生成文本特征，并提取相关经济与金融市场指标形成定量特征，最终输入因果驱动特征生成器，提升特征表达能力 [page::6][page::7][page::9].

• 利用RoBERTa-Large模型的多头自注意力机制捕捉文本中长距离依赖，结合情感极性评分模块（SPSM）和汇率变动分类模块（MCM），扩展模型结构分别完成情感回归和汇率走势分类任务，训练时使用MSE和交叉熵损失函数优化 [page::3][page::8][page::9].

• 金融指标充分涵盖多个汇率、利率、期货、债券收益率和股指，使用线性插值法处理缺失值，指标体系详见表1，表明广泛考虑宏观经济与市场因素在汇率预测中的重要性 [page::10].

| 分类 | 指标名称 |
|----------------|-------------------------|
| 目标序列 | EUR/USD汇率 |
| 美元相关汇率 | USD/CAD, USD/MXN等 |
| 欧元相关汇率 | EUR/CNY, EUR/GBP等 |
| 货币指数 | 美元指数, 欧元指数 |
| 期货商品 | 原油WTI期货, 黄金期货等 |
| 债券收益率 | 美国10年期, 欧元区10年期等 |
| 银行间拆借利率 | SOFR, EURIBOR |
| 股指及股指期货 | 道琼斯, 标普500, 欧元斯托克50等 |
| 波动率指数 | VIX |

• Causality-Driven Feature Generator基于文本来源分类（新闻、分析报告）和主题聚类（LDA模型），将情感与汇率运动特征转换为结构化特征矩阵，然后通过平均池化提取多种特征向量，最后融合文本和财务特征，采用VAR模型确定最佳滞后期并利用随机森林递归特征消除法(RFE)进行特征选择，最终选择43个关键特征输入模型 [page::9][page::11][page::12][page::13].

• 采用双向长短期记忆(Bi-LSTM)模型结合Optuna超参数优化提升预测能力，主要超参数空间包括隐藏层大小、全连接层大小、dropout比率、学习率、批次大小与窗口大小，最终模型能够捕捉序列中双向依赖信息 [page::14][page::15].

• 训练集覆盖2017.2.6至2022.4.4，预测集为2022.4.4至2024.1.19，严格避免数据泄漏。模型预测表现以均绝对误差MAE和均方根误差RMSE衡量 [page::16].

• 预测结果显示Optuna-Bi-LSTM模型在所有对比模型中表现最佳，MAE最低为0.003746，RMSE最低为0.004982，比次优模型分别提升10.69%和9.56%。预测曲线更贴近实际汇率走势，充分展示模型优越性 [page::17].

| 模型组别 | 模型名称 | MAE | RMSE | 排名 |
|------------|-------------|---------|---------|----|
| 深度学习多变量 | Optuna-Bi-LSTM | 0.003746 | 0.004982 | 1 |
| 深度学习多变量 | Bi-LSTM | 0.004511 | 0.005814 | 4 |
| 其他机器学习多变量 | Random Forest | 0.005471 | 0.007672 | 7 |
| 统计单变量 | GARCH | 0.004282 | 0.005695 | 2 |

• 对比Diebold-Mariano (DM)检验结果显示，LSTM模型整体领先，但Optuna-Bi-LSTM紧随其后，反映其预测性能稳定且具备竞争力 [page::18].
• 窗口大小分析表明，窗口大小为3时，预测模型MAE和RMSE表现最优，窗口过大导致表现下降，体现了时间序列局部信息的重要性 [page::18].

• 消融实验揭示，仅使用文本特征预测表现较弱；仅用前12个最重要经济金融特征表现较好；结合二者（共43特征）效果最佳，说明文本特征与结构化数据互补，融合提高准确性 [page::18][page::19].

| 特征组合 | MAE | RMSE | 相较仅金融特征MAE提升 | 相较仅金融特征RMSE提升 |
|------------------|---------|---------|--------------------|---------------------|
| 仅文本特征 (31) | 0.025406 | 0.029987 | - | - |
| 仅金融特征 (12) | 0.004270 | 0.005502 | - | - |
| 文本+金融特征 (43) | 0.003746 | 0.004982 | 12.27% | 9.45% |

• 进一步细化文本特征子集比较，基于情感极性评分及来源分类的特征效果最好，基于运动分类及LDA主题聚类的特征表现稍弱且可能引入噪声，更多特征并不一定带来更优效果 [page::19][page::20].

• 递归特征消除测试显示，结合31个文本特征与12个重要财务特征时MAE和RMSE达到最小值，特征数量过多引入噪声反而降低表现 [page::20].

金融研究报告深度分析报告

报告基本信息与概览

• 报告标题: EUR/USD Exchange Rate Forecasting Based on Information Fusion with Large Language Models and Deep Learning Methods

- 作者: Hongcheng Ding 等

• 发布机构: INTI International University, Malaysia

- 发布日期: 2024年8月26日

• 主题: 利用信息融合、大型语言模型(LLMs)以及深度学习方法对欧元兑美元(EUR/USD)汇率预测的研究

核心论点与目标：
该报告提出了一个名为IUS（Integration of Unstructured and Structured data）的全新预测框架，通过融合非结构化的文本数据（新闻、分析文本）和结构化的金融指标与汇率数据，辅以大型语言模型对文本的情感极性分析及汇率走势分类，进而利用一种基于Optuna优化的双向长短期记忆网络（Bi-LSTM）模型预测EUR/USD汇率。实验证明，该模型在预测准确度上显著优于传统基准模型，均方绝对误差(MAE)降低10.69%，均方根误差(RMSE)降低9.56%。此外，结果也显示融合非结构化和结构化数据的优势，以及通过递归特征消除(Recursive Feature Elimination, RFE)选出的12个重要量化特征与31个文本特征组合最优。报告主旨强调多源数据融合为汇率预测提供了有效提升手段。[page::0,1]

---

详细章节分析

1. 引言与研究动机

报告开篇指出EUR/USD汇率作为全球金融市场标志性的经济指标，其准确预测对投资者、跨国企业及政策制定者极为关键。传统模型依赖宏观经济指标和历史数据，但因数据发布时间滞和表达的线性假设，难以捕捉汇率波动的非线性与实时性。政治事件、国际危机等非结构化信息对汇率同样有巨大影响，然而这些数据处理难度大，且传统情感分析模型很难精准评价双货币相关文本的复杂语义。[page::0]

动机部分强调，传统情感分析主要关注简短文本（新闻标题、推文），忽略了长文本中的丰富信息与语境，且基于词典的方法难以跟进金融市场特定的词汇变化和数字变化的差异性（例如0.005%与50%增幅的市场影响迥异）。此外，汇率市场与传统市场的情感影响存在根本差异，涉及双边正负消息的零和关系，使得判别与分析更为复杂（图1展示此差异）。因应此问题，本研究充分利用大型语言模型（LLMs）捕获长距离依赖与复杂语义，提升情感极性判断的准确性，尤其具备对数字信息差异敏感的能力。[page::1,2,3]

2. 相关工作综述

报告系统性回顾了汇率预测领域的文献，涵盖：

• 传统经济计量与机器学习方法（如ARIMA、GARCH、随机森林等）及其局限性。

- 使用非结构化文本数据作为预测输入的研究，如利用新闻、社交媒体文本进行情感挖掘，提升汇率预测的准确性。

• 现代深度学习方法，包括LSTM、GRU、Transformer、集成学习和各种优化算法（粒子群、遗传算法、贝叶斯优化、强化学习等）在汇率时序建模中的应用。[page::3,4,5]

这些文献显示引入外部文本信息和深度学习能显著改善预测表现，但仍存在文本噪声大、语义复杂且情感细粒度难以判别的挑战。

---

3. 方法论

3.1 IUS框架

核心框架分为五部分:

1. 情感极性评分模块(SPSM)：基于微调后的RoBERTa-Large，输出维度为$(D \times H \times 128)$的情绪特征张量$S{fx}$，$D$为交易日数量，$H$为每日最大文本数。

2. 走势分类模块(MCM)：同样基于RoBERTa-Large生成$M{fx}$，对下一日汇率走向进行二元分类（涨或跌）。

1. 结构化特征生成：收集欧元兑美元及其相关汇率、金融市场指标，形成量化特征$E{fx}$与金融指标特征$F{fx}$。

4. 因果驱动特征生成器：融合文本与结构化特征，利用特征提取器（如新闻与分析文本分类器、主题LDA集群）、线性层及池化层抽取多维度文本特征，并进行特征选择以剔除冗余。

1. 预测模型：基于双向LSTM(Bi-LSTM)的模型进行时序预测，模型参数通过Optuna进行自动超参数优化，以最小化均方误差损失函数（MSE）。[page::6-14]

3.2 RoBERTa细节及扩展模块

• RoBERTa-Large: 24层Transformer编码器架构，每层含多头自注意力和前馈网络(图5)，其通过预训练具备强大的语言理解能力。

- SPSM：模型末端增加两个线性层与sigmoid活化，转化为回归问题，输出情感极性评分，优化目标为MSE损失。

• MCM：在RoBERTa输出基础上添加dropout、线性层与tanh激活进行分类，损失采用交叉熵。

3.3 财经指标系统

包含多类别金融指标，例如目标汇率本身、主要贸易伙伴国家汇率、货币指数、货币期货、原油及其他商品期货、债券收益率、银行间拆借利率、股票指数及其期货、期权隐含波动率指数等（详见表1，共32类指标组成多维数据），且对缺失值采用线性插值补全，确保特征时间序列完整。[page::10]

3.4 特征选择

• 利用向量自回归(VAR)模型按赤池信息准则(AIC)确定每个特征的最优滞后阶数（0~10）。

- 通过随机森林递归特征消除(RFE)法，对特征进行排序筛选，选出最具预测力的特征子集（最终确定31个文本特征和12个结构化特征作为模型输入）。[page::12,13]

3.5 Bi-LSTM预测模型与Optuna调优

• 模型结构采用双层Bi-LSTM并行正反向序列信息，结合两阶段dropout防止过拟合。

- 输入为归一化后的特征矩阵（112×470），输出为下一个交易日汇率预测值。

• 采用Optuna自动优化超参数，包括隐藏层大小、全连接层大小、dropout率、学习率、批次大小及滑动窗口大小，搜索空间详见表3。[page::14-16]

---

4. 实验设计

• 数据集划分:

- LLMs训练集：2017-02-06至2022-04-04（1346天）
- 预测数据集：2022-04-04至2024-01-19（470天）
- 汇率预测模型训练：从预测数据集中前315个交易日
- 测试：后155个交易日
确保训练与测试严格分离，防止信息泄露。[page::16]

• 评价指标:

- 平均绝对误差(MAE)
- 均方根误差(RMSE)
- 性能提升百分比(PI)，衡量融合文本特征后相较于仅结构化特征的预测提升。

---

5. 实验结果解读

5.1 主结果与模型比较

• 性能：Optuna-Bi-LSTM在MAE和RMSE上均领先所有对比模型。

- MAE最低0.003746，优于次优GARCH（0.004282）约10.69%。
- RMSE最低0.004982，优于次优GARCH（0.005695）约9.56%。

• 趋势拟合：Optuna-Bi-LSTM预测曲线与实际汇率走势极为接近，趋势捕捉能力强（图12）。[page::17]
• Diebold-Mariano检验：尽管LSTM排名第一，Optuna-Bi-LSTM位列第二，两者均显著优于其他模型。GRU表现最差。[page::18]
• 窗口大小影响：最佳窗口大小为3，窗口过大降低模型性能，表明显著短期依赖为预测提供最强信号（图13）。[page::18]

5.2 消融与特征分析

• 文本特征贡献：单独使用文本特征预测性能较差，单独使用量化结构化特征效果好。

- 两者结合后，预测准确性显著提升，Optuna-Bi-LSTM模型MAE提升12.27%，RMSE提升9.45%（表6）。文本与结构化特征互补明显。

• 细分文本特征贡献：基于SPSM的情感评分和文本来源分类（A）是最有效单一组，组合(A)+(B)稍逊，加入MCM相关特征(C)+(D)略带噪音但整体仍优于无文本特征模型（表7及图14）。

- 特征数量选择：增加结构化特征数量直到12个时性能提升，超过会引入噪声导致性能下降，佐证使用RFE选择重要特征的有效性（图15）。[page::18-20]

---

6. 估值分析

报告未标注估值分析章节，本质为汇率时间序列预测，不涉及传统公司估值方法。模型实际通过多源特征学习非线性时序模式，输出下一个交易日汇率预测值。

---

7. 风险评估

报告未设专门风控章节，但可推断潜在风险包括：

• 文本数据噪声及分类错误导致信息误导。

- LLMs情感判别可能受到训练数据局限影响，导致标签偏差。

• 宏观经济突发事件超出模型训练数据范围，造成预测失效。

- 参数调优依赖于验证集划分，存在过拟合风险。
报告对抗风险主要通过特征选择、模型正则化及严格数据集划分实现。

---

8. 批判性视角与细节梳理

• 报告充分利用最新深度模型和优化技术，架构合理，技术路线严谨。采用多维度特征融合体现方法先进性。

- 但分类处理双货币相关文本的复杂性仍是难点，相关情绪存在零和关系使得情感极性得分难以精准对应。

• 排名结果中DM检验显示LSTM优于Optuna-Bi-LSTM，可能因统计显著性局限或评价指标差异，作者未详细探讨此矛盾。

- 特征选择显示文本特征虽提升整体表现，但单独效果有限，提示文本数据的实际信息含量与噪音的权衡需更深入研究。

• 图表与表格在展示变量维度和模型架构时相对清晰，但部分特征生成与映射过程描述复杂，读者需具备较强背景。

---

9. 图表深度解读

图1：传统市场与汇率市场情绪与市场反应差异

• 传统市场中，单文本情绪直接映射市场走势（上涨、持稳、下跌曲线）。

- 汇率市场情绪更复杂，涉及两个国家，多重情绪组合导致市场反应不确定（转为问号），强调汇率情绪分析难度。[page::2]

图2 & 图3：LLM架构及情感分析比较

• 图2展示LLM多层变压器(Transformer)结构，重点说明多头自注意力机制如何捕获文本中远程依赖，适合解析长文本。

- 图3对比ChatGPT-4.0与传统词典工具（Vader、TextBlob、Afinn）在长文本情绪分析表现，结果显示ChatGPT一致性更高，相关性更强，与次日市场走势及变幅吻合更好。[page::3,4]

图4 & 5：IUS框架与RoBERTa模块结构

• 图4概览框架五大模块数据流，体现文本与结构化特征的整合及最终预测管道。

- 图5详细分解 RoBERTa编码器结构和SPSM、MCM模块设计，说明任务特定层如何从上下文表征转换为回归或分类输出。[page::7,8]

图6 & 7：文本特征提取流程

• 图6展示张量分解、线性层映射及池化，归纳为特征向量。

- 图7分别表示文本来源分类器和主题LDA聚类器的特征筛选过程及动态稳定性检测。说明文本特征维度如何通过多种方法结构化。[page::11]

图8：最终文本特征类别

• 分为新闻文本和分析文本的情感与汇率走势两类特征，另有主题一和主题三两个主题的情感与走势特征，共8个维度。说明文本信息多角度融合的特点。[page::12]

图9 & 10：Bi-LSTM模型与Optuna自动调优流程

• 图9说明双向LSTM双向记忆结构及多层堆叠，突出建模时序双向依赖能力。

- 图10揭示Optuna运行机制包括目标函数定义、试验循环和早期停止策略，体现超参数调优自动化。 [page::15]

图11 & 12：数据划分与预测曲线

• 图11纵览训练、测试时间节点，保证数据严格区分。

- 图12多模型预测趋势对比，显示Optuna-Bi-LSTM拟合真实汇率更紧密。[page::16,17]

图13 & 15：窗口大小及特征数量影响

• 图13展示窗口大小为3时，模型MAE和RMSE最优，过大反而性能下降。

- 图15显示增加数结构化特征前期提升，超过12维后引入噪声使误差升高，佐证特征筛选必要。 [page::18,20]

图14：部分文本特征组合预测曲线

• 对比只用(A)文本与(A)+(B)组合，发现更多文本特征不一定提升预测，部分增加噪声，凸显文本特征选择的重要性。 [page::19]

---

10. 结论性综合

本文提出的IUS框架创新性地将多源数据（结构化汇率金融指标与非结构化文本情绪与走势分类特征）融合，结合强大的大型语言模型RoBERTa微调产生精准文本表征，通过因果驱动特征生成器构造丰富特征空间，并应用优化的Bi-LSTM深度时序模型进行预测。实证阶段，该方法在EUR/USD汇率预测任务中表现出显著优势，均方绝对误差与均方根误差相较传统模型下降均超9%。

图表分析支持，该框架有效解决了文本语义复杂性、双货币情感零和关系、长文本依赖等挑战，体现了文本与结构化数据互补性。参数敏感性分析进一步确认短滑动窗口及合理特征数量为性能保证。消融实验突出显示文本数据虽单独效果有限，但与金融指标结合可带来超过10%的预测提升，验证了多源融合的有效性。

虽然DM检验结果中LSTM表现优于Optuna-Bi-LSTM，提示后者在统计显著性层面可能存在争议，但整体结果仍显示深度融合策略相较传统基准有明显优势。

综上所述，本报告提供了一个创新而切实可行的汇率预测技术方案，结合语言智能与深度学习，成功推动了汇率预测领域的技术进步和模型应用价值。其框架设计和方法论为未来多模态金融时间序列预测研究提供了重要借鉴和参考。

---

参考页码溯源

• 摘要及引言部分：[page::0,1]

- 情感分析及图1-3详解：[page::2,3,4]

• 相关文献综述结构：[page::3,4,5]

- 方法论详细描述：[page::6-14]

• 数据实验设置与评价指标：[page::16]

- 主实验结果及图表解析：[page::17-20]

• 结论部分：[page::21]

---

此为本次EUR/USD汇率预测研究报告的详尽深度解读，涵盖理论方法、技术实现、实验验证、图表解析及综合判断，满载专业洞察和细节，供金融分析、数据科学及相关学术研发人员参考使用。

报告