• 研究背景及挑战 [page::0][page::1]

- LLMs具备融合文本与数值数据的能力，适合处理金融领域多模态信息，但融合上下文不足导致预测性能受限。
- 传统时间序列模型如ARIMA、LSTM难以充分利用财务报告中的定性变量。

• 方法框架及流程概述 [page::2]

- 采用专门的金融领域语言模型Finance-Llama-8B提取每日证券报告的10个关键因子。
- 结合过去5天（5-shot）的价格变化信息构建自回归移动上下文集合。
- 设计基于Likert量表的因子打分提示，定性影响转化为量化分数，后续进行缩放匹配实际价格波动。

• 多次实验与结果稳定性验证 [page::4]

- 使用k=5次低温采样（temperature=0.2）获取多样生成路径。
- 通过TF-IDF与语义嵌入计算因子文本余弦相似度，平均超过0.8，显示生成结果高度一致。
- 多次试验的总评分相关系数均超过0.85，表明输出稳定可靠。

• 量化因子构建与金融推理示例 [page::5]

- 采用5分制Likert量表评分各因子对市场短期影响的方向与强度，分值范围[-10,10]。
- 示例因子及评分包括“通胀稳定：较强正面+10”、“沙特减产：略微负面-5”、“多头潜力有限：略微负面-5”等，整体评分和为+15，预测市场短期上升。

• 性能比较与回测分析 [page::5]

| 模型 | Look-Back=0 ACC | MCC | RMSE | Look-Back=1 ACC | MCC | RMSE | Look-Back=2 ACC | MCC | RMSE |
|-----------|-----------------|------|------|-----------------|------|------|-----------------|------|------|
| ARIMA | 0.53 | 0.00 | 3.65 | 0.42 | -0.17| 8.98 | 0.64 | 0.27 | 7.04 |
| LSTM | 0.47 | -0.06| 3.82 | 0.42 | -0.15| 6.42 | 0.62 | 0.24 | 6.48 |
| LLaMA3 | 0.49 | 0.00 | 5.71 | 0.66 | 0.34 | 6.30 | 0.66 | 0.33 | 6.74 |
| GPT-4-Turbo| 0.49 | -0.01| 5.76 | 0.68 | 0.36 | 6.68 | 0.69 | 0.38 | 6.65 |

- LLMs在Look-Back=1时的预测准确率（ACC）和马修斯相关系数（MCC）均显著优于传统时间序列模型，表现更优。
- Look-Back窗口过长导致上下文信息稀释，预测性能下降，故未进一步延长窗口。

• 结论与展望 [page::6]

- LLMs结合领域知识和链式推理，能有效将定性报告信息转化为量化预测输出，展现出较强的市场趋势判断能力。
- 预测结果附带文本推理，为决策透明度和可解释性提供支持。
- 当前模型还存在输出复现性不稳定及解释机制不足的问题，未来计划通过利用词令概率提升解释性[page::0][page::2][page::4][page::5][page::6]

详尽分析报告：《Quantifying Qualitative Insights: Leveraging LLMs to Market Predict》

---

一、元数据与概览

• 报告标题： Quantifying Qualitative Insights: Leveraging LLMs to Market Predict

- 作者及机构： Hoyoung Lee、Youngsoo Choi（Hankuk University of Foreign Studies，韩国），Yuhee Kwon（Tech University of Korea，韩国）

• 发布日期： 报告未明确具体发布日期，但实验时间跨度涉及2023年6月至2024年5月

- 主题内容： 该研究聚焦于利用大型语言模型（LLMs）结合文本和数值数据来进行股票市场预测，尤其是将定性金融分析转化为量化指标的创新方法。

• 核心论点与目标：

- 传统金融市场预测多依赖数值时间序列模型，而文本类定性分析信息丰富但难以量化。
- LLMs在处理多模态数据（文本与数值）方面展现潜力，但面临上下文整合不足及输出解释性差的挑战。
- 本文提出一种以证券公司每日报告为高质量上下文源，结合文本关键因素与数值价格变动，通过调整prompt设计将定性见解转化为量化分数，再被LLM用于预测的方法。
- 研究显示该方法在市场预测任务上优于传统时间序列模型，并且增加了解释性。

• 作者想传达的主要信息： 通过专业设计的数据融合和评分机制，充分发挥LLMs的语言理解能力，使定性数据可量化，实现了更精准的短期股市预测，且带来一定解释性进步，但仍存在可复现性和解释深度不足的瓶颈。

---

二、逐节深度解读

1. 摘要与引言（pages 0-1）

• 关键论点：

- LLMs可以整合文本和数值数据，开辟金融预测新路径。
- 面临融合文本-数值信息时上下文有限和定性输出难量化的挑战。
- 利用每日证券公司报告划分文本关键因素，结合价格数值形成上下文。
- 动态更新few-shot示例，保证时效性和相关性。
- 设计特定prompt将定性因素转换为Likert量表评分，实现文本量化。
- 评分进一步缩放映射为实际数值，用于预测输入。
- LLM表现优于传统时序模型，但可复现性和解释性仍是挑战。

• 推理依据与假设：

- 证券公司报告作为市场洞察的重要来源，具有高质量信息。
- 文本定性信息量大，需结构化以便模型推理。
- 动态few-shot范例符合金融信息动态变化需求。
- Likert量表评分体系符号化表达定性影响力，有助转化为预测输入。
- 确保推理可解释性强化模型信任。

• 金融术语说明： few-shot学习为利用少量示例教模型如何处理任务；Likert量表常用于衡量态度强度，赋予数字分数。

2. 相关工作回顾（pages 1）

• 主要涵盖：

- 传统金融预测模型：ARIMA类统计模型、LSTM深度学习等，但难捕捉文本定性变量。
- LLM在金融领域：展现强大金融推理能力，自动化复杂工作流，改进文本信息提取，减少幻觉（hallucination）。
- 时间序列预测中的LLM尝试：直接处理数字序列，或结合文本摘要、关键词等多模态信息。
- Prompt工程技术：链式思考（Chain-of-Thought）等方法增强模型推理能力，缓解幻觉，利用检索增强生成。

• 推断： 该报告构建在现有文献的基础上，针对LLM融合数值和文本进行更高效、结构化的预测方法提出创新。

3. 方法论（pages 1-3）

• 关键步骤总结：

1. 数据收集： 选取Naver Finance网站上证券公司每日最热门的前三篇报告，体现投资者关注焦点。
2. 多次采样（Multiple Trials）： 采用低温度（temperature=0.2）多次生成（$k=5$）保证输出一致性与多样性折中，取中值结果。
3. 关键因子提取（Factor Generation）： 使用领域专用模型Finance-Llama-8B对报告进行关键因素分割，减少信息冗余和推理难度，每日报告提取10个关键因子。
4. 上下文生成（Autoregressive Moving Shot）： 组合关键因子文本和前5天的价格变动数值利用自回归方式形成时序few-shot上下文，确保时间顺序和信息时效。
5. 评分提示（Factor Scoring Prompt）： 设计基于Likert尺度的评分提示语，定性因素分配5个等级的影响分（+10到-10），转化为数值，利于量化输入。
6. 分数缩放与反缩放： 总评分基于因子分数累加，利用21天滚动窗口内价格极值和分布乘数进行缩放，防止异常值影响模型，预测后反映射回实际价格变动幅度。

• 推理与支撑：

- 通过选择投资者关注度较高的报告保证信息代表性和质量。
- 多次生成保证结果稳定，规避单次贪婪解码造成的不足。
- 领域专用模型优化关键因子提取效果，优于单纯情感分析。
- 结合文本与价格两类数据，丰富上下文环境，提升预测质量。
- 因为定量映射机制，模型可以基于文本逻辑预测数值趋势。
- 自回归滑动窗口使模型信息动态更新，贴合市场节奏。

• 公式说明：

- $F{d}^{k}$ 表示日期$d$从第$k$组合报告中提取的10个关键因子。
- $Xd(l)$ 表示价格差异的特征(未来-past价格差)，使数值信息具有时序意义。
- $Cd^k = (Fd^k,Xd(l))$ 是文本与数值因子结合的上下文单元。
- 5-shot上下文集合$\{C{d-1}^k,\ldots,C{d-5}^k\}$ 平滑覆盖过去5个交易日信息。

4. 实验设计（pages 3-4）

• 数据周期： 2023年6月1日至2024年5月31日，日频。

- 对比模型：
- ARIMA，标准统计时间序列预测模型。
- LSTM，能够捕捉长期时序依赖的深度模型。

• LLMs选取：

- GPT-4-Turbo（OpenAI优化升级版）。
- LLaMA3-70B（Meta开源，强指令遵从能力）。

• 评价指标：

- 准确率（ACC），预测涨跌方向准确度。
- Matthews相关系数（MCC），衡量分类输出可靠性。
- RMSE，实际价格变化预测误差大小。

• Look-back窗口设计：

- 预测未来一天价格变动$\hat{X}{d+1}(l)$，固定预测点向前扩展1~3天回顾窗口考察信息时效。
- 考虑报告写作的时间滞后特性，使模型能兼顾前期新闻及后续价格变化关联。

5. 结果分析（pages 4-5）

5.1 多次试验一致性【图表详解】

• 表1数据解读：

- 采用TF-IDF和语义嵌入两种方式计算文本关键因子生成内容的相似度。
- TF-IDF平均余弦相似度达0.82，标准差0.09；语义嵌入相似度高达0.92，标准差0.04。
- 说明即使多次生成存在小随机扰动，生成的因素内容高度一致，验证多次采样及低温度的稳定性。

• 图3（热力图）解读：

- 表示五次试验之间的相关系数均高于0.85（多在0.86-0.89区间），极高的一致性。
- 强调本方案在保证多样性的前提下仍保持输出稳定性，有助于结果可信度。

---

5.2 金融推理样本结果

• 步骤演示与评分逻辑：

- 针对10个关键因子逐一赋分，如“通胀稳定性”被评为"Moderately Increases (+10)"，说明其稳定性对市场有积极推动。
- 示例中负面因子包括“沙特减产”带来不确定性，给出"Slightly Decreases (-5)"。
- 采用Likert五级评分，分数从-10到+10，简洁反映影响方向与强度。

• 计算过程与预测： 所有因素分数总和为+15，表明整体看涨趋势。

- 推理透明性： 每个分数均附带详细理由，增强模型决策的解释力与可信度。

---

5.3 性能评估【表2详解】

• 不同模型指标对比：

| 模型 | Look-Back=0 | Look-Back=1 | Look-Back=2 |
|------------|-------------|-------------|-------------|
| | ACC/MCC/RMSE| ACC/MCC/RMSE| ACC/MCC/RMSE|
| ARIMA |0.53/0.00/3.65|0.42/-0.17/8.98|0.64/0.27/7.04|
| LSTM |0.47/-0.06/3.82|0.42/-0.15/6.42|0.62/0.24/6.48|
| LLaMA3 |0.49/0.00/5.71|0.66/0.34/6.30|0.66/0.33/6.74|
| GPT-4-Turbo|0.49/-0.01/5.76|0.68/0.36/6.68|0.69/0.38/6.65|

• 数据趋势：

- 预测期间越短（Look-Back=0），模型表现接近随机，文本信息对当日价格预测效果差。
- Look-Back=1时，LLMs显著超过ARIMA和LSTM，表明结合文本关键信息和数值对1-2天预测更有效，且RMSE相比传统模型更低。
- 期间进一步延长到Look-Back=2时，预测含义变模糊，传统时序模型和LLMs性能相当，均无显著优势。

• 逻辑解释：

- 报告撰写后信息滞后效应需求延迟预测，与实际市场动态时差吻合。
- 过长历史信息稀释重要信号，增加模型预测难度和噪声比例。

---

6. 结论（pages 5-6）

• 总结关键收获：

- 结合金融领域专业知识对上下文进行精心设计，运用ICL（In-Context Learning）和CoT（Chain-of-Thought）增强LLMs推理能力。
- LLMs在融合文本与数值数据的复杂场景中优于传统时序模型，尤其在短期市场趋势捕获更敏锐。
- 同时，本方法通过评分与理由的结构化设计提升了解释性，具备金融决策辅助的实用价值。
- 可复现性依旧是挑战，多次试验虽表现稳定但不完全一致。
- 用文本形式理由解释评分，解释层次浅薄于模型内核层面的透明度。

• 未来规划与改进方向：

- 利用生成时令牌概率信息深化解释过程，量化推理信心及依据。
- 改善模型输出解释性，弥补文本理由与模型内部机制脱节问题。

---

三、图表深度解读

1. Figure 1（page 2）

• 描述： 展示研究方法总体流程：从“报告数据”用领域专用语言模型生成“关键因子”，再与“KOSPI200股价数据”结合形成“自回归移动时段”上下文，最后通过“因子评分prompt”由LLM生成量化预测。

- 趋势与意义：
- 分离关键因子的文本结构化处理减轻模型负担。
- 融合数值数据提升模型对价格变动的预测准确性。
- 因子评分促使抽象定性文本信息映射为易于数值计算的预测输入。

• 文本联系： 该图直观体现了第3章方法论设计理念及各环节数据流转，支撑文章主题论点。

---

2. Table 1（page 4）

• 描述： 统计表展示不同试验中生成的关键因子文本向量余弦相似度的均值和标准差。

- 解读：
- 语义嵌入相似度高达0.92，表明同一输入多次采样所得到关键因素文本实质一致。
- TF-IDF的稍低相似度（0.82）说明词频上有轻微差异，但整体语义稳定。

• 作用： 证明多次采样过程中，LLMs保持了生成结果的稳定性和可靠性，为后续预测结果提供基础保障。

---

3. Figure 3（page 4）

• 描述： 多次试验预测总分的两两相关热力图。

- 趋势： 所有试验相关系数均不低于0.85，多个达到0.88-0.89，显示预测结果高度一致。

• 联系文本： 支持文本中关于LLM多次采样机制提高结果稳定性的论断，平衡多样性和准确性。

---

4. Table 2（page 5）

• 描述： 不同模型在不同Look-back窗口下预测表现的ACC、MCC、RMSE对比表。

- 趋势解读：
- 短窗口（l=0）表现较弱，符合信息滞后假设。
- 中窗口（l=1）下，LLMs明显优于ARIMA和LSTM，ACC达0.66-0.69，MCC约0.34-0.36，RMSE有竞争优势。
- 长窗口（l=2）性能趋同，均无显著优劣差异。

• 作用： 定量佐证了LLMs在结合定性文本和数值数据的灵活推理上优于传统纯数值模型的能力，强调短期内信息有效性的合理性分析。

---

四、估值分析

本报告非财务估值报告，未涉及传统财务估值方法（如DCF、市盈率等），而是针对股市价格短期变动的预测模型研究，无估值内容。

---

五、风险因素评估

报告界定主要风险包括：

• 可复现性问题： 多次推理虽稳定但结果不完全一致，存在统计随机性风险，可能影响预测决策的稳健性。

- 解释性局限： 评分理由为文本描述，未深入揭示模型内部权重或计算路径，影响信任度与合规性应用。

• 上下文长度与复杂度权衡： 上下文过长增加计算负担，过短又易丢失关键信息，需权衡选择窗口大小。

- 报告时效性和信息时滞： 财经报告存在明显时间滞后，预测短期价格变动时可能产生信息时差偏差。

对策在未来工作中提出，包括结合token概率信息丰富解释链，强化可复现能力。

---

六、批判性视角与细微差别

• 潜在偏差： 研究仅基于韩股主流证券报告，模型泛化至其他市场和非结构化文本尚未论证，可能存地域及语料偏域。

- 方法假设： 评分制度基于人为设定的Likert尺度分值，尺度划分和数值映射存在主观成分，影响预测因子的量化精度。

• 多次试验处理设计： 虽采用k=5次取中位数策略确保稳定，但并非严格确定性，随机采样依旧存在不确定性。

- 对比基准强度： ARIMA和LSTM是传统单一维度模型，缺少更先进对手（如Transformer时序模型）作为对比，可能影响性能优越论断的普适性。

• 解释层面空间： 评价模型仅提供文本理由，未结合模型内部置信度或注意力权重等指标，解释深度有限。

---

七、结论性综合

该报告系统地阐述了如何借助LLMs处理融合文本与数值的多模态金融数据，实现定性因素量化和短期市场预测的创新框架。通过精选高质量的每日报告，使用领域特化模型提炼关键信息，以自回归方式构建动态上下文，再利用定制prompt赋予定性因素数字打分，使文本有效转化为可用于预测的量化输入。
从实验结果看，LLMs（如GPT-4-Turbo和LLaMA3）在准确率、相关系数及RMSE指标上突破传统ARIMA和LSTM模型，尤其在考虑时间滞后、1-2天的预测窗口内展现出较强的市场走势捕捉能力。多重试验确保了推理输出的稳定性，而附带的理由解释增强了结果的透明度和实用性。

尽管方法在创新性和效果上均突出，但仍有可复现性与解释性提升空间，后续研究拟通过引入token级概率信息和更深入的模型内部分析提高解释力度。总的来看，本文突破了传统金融预测的单一数值视角，体现出LLMs融合定性与量化方法在金融领域的广阔应用前景。

---

# 综上，该研究为金融市场短期价格预测领域提供了一条创新路径，充分发挥了大型语言模型理解与推理能力，结合专业金融知识实现定性信息的量化转化与解释性预测，其方法论严谨、实验设计合理、数据详实，具备一定的行业参考价值及学术推进意义。[page::0,1,2,3,4,5,6]

报告