• 研究背景及创新点 [page::0][page::1]:

- 现有金融LLM（FinLLM）主要聚焦文本处理，忽略时间序列数据特征，导致股票价格预测性能受限。
- StockTime通过分段股票时间序列为token，融合提取的股票相关性、统计趋势和时间戳等文本信息，充分利用LLM的序列预测能力，突破了传统FinLLM局限。

• StockTime模型架构详解 [page::2]:

- 将股票价格数据正则化并分割成不重叠的patches作为基本输入token。
- 利用LSTM编码器捕获时间序列的时序关系，转换为潜在空间中LLM的嵌入维度。
- 构建包含频率、行业类别及统计趋势的文本模板，经冻结LLM编码后与价格嵌入拼接融合。
- 最终通过冻结LLM进行token级自回归预测，并用均方误差(MSE)进行优化。

• 数据集与实验设计 [page::3][page::4]:

| 数据集 | 时间范围 | 频率 | 时间步长 | 模态 | 股票数 |
|------------|-----------------------------|-------|--------|-------------|-------|
| S&P 100-H | 2023-06-30 9:30 - 2024-07-16 15:30 | 小时 | 1822 | 时间序列 | 100 |
| S&P 100-D | 2014-06-30 - 2024-06-28 | 日 | 2518 | 时间序列 | 97 |
| Bigdata23 | 2020-06-01 - 2023-05-31 | 日 | 756 | 时间序列, 文本 | 42 |
| Bigdata22 | 2019-07-05 - 2020-06-30 | 日 | 362 | 时间序列, 文本 | 50 |
| ACL18 | 2014-01-02 - 2015-12-30 | 日 | 696 | 时间序列, 文本 | 87 |
| CIKM18 | 2017-01-03 - 2017-12-28 | 日 | 231 | 时间序列, 文本 | 47 |

• 性能表现总结 [page::4][page::5]:

- StockTime在多个包含文本的股价与推文数据集上，准确率（ACC）和马修斯相关系数（MCC）均优于通用LLM和FinLLMs，提升最高达5%。
- 与其他基于LLM的时间序列预测方法和传统自回归模型对比，StockTime在均方误差（MSE）及信息系数（IC）等指标上均表现更优。
- StockTime架构仅用股票价格数据，无需额外文本输入，训练快且计算资源低，适合中高频交易场景。


- StockTime与其他模型性能对比表：

| 方法 | BigData23 ACC. | BigData23 MCC | BigData22 ACC. | BigData22 MCC | ACL18 ACC. | ACL18 MCC | CIKM18 ACC. | CIKM18 MCC |
|---------------|---------------|--------------|---------------|--------------|------------|-----------|-------------|------------|
| Mathstral-7B | 0.497 | 0.003 | 0.507 | -0.027 | 0.486 | 0.005 | 0.502 | 0.031 |
| LLaMA3-8B | 0.511 | 0.016 | 0.502 | 0.024 | 0.519 | 0.047 | 0.495 | 0.008 |
| GPT-4o mini | 0.518 | 0.076 | 0.521 | 0.036 | 0.525 | 0.057 | 0.513 | 0.023 |
| FinMA | 0.506 | 0.041 | 0.505 | 0.013 | 0.512 | 0.026 | 0.494 | 0.074 |
| StockTime | 0.524 | 0.061 | 0.515 | 0.041 | 0.539 | 0.062 | 0.517 | 0.069 |

- 与传统自回归模型比较：

| 方法 | S&P100-D MSE - IC | S&P100-H MSE - IC |
|--------|--------------------|---------------------|
| RNN | 0.326 / -0.014 | 0.315 / 0.005 |
| LSTM | 0.304 / 0.006 | 0.288 / -0.017 |
| ALSTM | 0.271 / -0.008 | 0.292 / 0.003 |
| StockTime | 0.146 / 0.018 | 0.178 / 0.014 |

• 关键模块及超参数分析 [page::6]:

- 去除多模态融合和编码器均导致性能下降，验证了文本融合和自回归编码对模型预测能力的重要性。
- 两层LSTM编码器达到较优权衡，增加层数对MSE几乎无影响，IC略有变化。
- 观察到32天回溯窗口为最佳，过长或过短都会降低信息系数和均方误差指标。

研究报告详细分析——《StockTime: A Time Series Specialized Large Language Model Architecture for Stock Price Prediction》

---

一、元数据与概览

• 报告标题： StockTime: A Time Series Specialized Large Language Model Architecture for Stock Price Prediction

- 作者及机构： Shengkun Wang、Taoran Ji、Linhan Wang、Yanshen Sun、Shang-Ching Liu、Amit Kumar、Chang-Tien Lu等；分别来自美国弗吉尼亚理工大学、德克萨斯A&M大学及德国汉堡大学

• 发布日期： 报告未明确说明精确日期，但相关文献引用至2024年，推测为2024年中后期发布

- 研究主题： 利用大语言模型（LLMs）专门设计用于股票价格时间序列数据的预测架构——StockTime，旨在提升股票价格预测的准确性和效率

• 报告核心论点与贡献：

- 现有金融领域大语言模型（FinLLMs）在自然语言处理（NLP）任务中表现突出，但对纯时间序列的股价预测效果有限，主要因其难以充分融合时间序列数据和文本信息
- StockTime创新性地将股票价格时间序列看作连续的“token”序列，利用LLMs的next-token预测能力，结合从价格数据中提取的文本信息（相关性、统计趋势、时间戳）完成预测
- 仅基于时间序列数据，无需复杂的文本预处理，降低成本且提升预测效果
- 实验表明StockTime在多频率实证数据上优于现有FinLLMs及一般LLMs，且计算效率更高

---

二、逐节深度解读

1. 摘要与引言

• 关键论点：

- 股票价格预测是金融领域核心任务，涉及捕捉套利机会
- 目前FinLLMs通过指令调优扩展LLMs用于金融文本任务，但其对纯时间序列的股价预测不足
- FinLLMs往往注重文本分析，而非时间序列特征，且模型易受冗余、虚假信息影响
- StockTime提出将股价作为token序列，结合统计和相关性文本信息，融合多模态数据实现精准预测

• 推理基础：

- FinLLMs典型设计偏向分析公开金融文本信息，不善捕获序列时间依赖
- 自回归模型由于专门建模时间依赖，处理效率高且效果更好
- LLM具有处理任意长度输入输出的能力，适合多步预测但需针对时间序列特性调整

• 数据与假设：

- 论文假设通过文本和时间序列的有效融合，能加强模型理解和预测股价
- 界定了时间序列特征的复杂性，如突发波动和行业相关性，强调现有FinLLMs难以直接处理

2. StockTime架构设计与方法（第1、2页）

• 架构概述（见图2）： 包含四大模块：

1. Patched Input： 原始股票价格序列通过归一化和切分成等长不重叠“patches”，每个patch作为单一token
2. Autoregressive Encoder： 采用LSTM编码切分后的时间序列，捕获时序依赖
3. Multimodal Fusion： 将价格数据的embedding与基于价格生成的文本信息embedding（频率、行业分类、统计值等）融合，结合成多模态表示
4. Token-level Prediction： 冻结LLM主体，通过线性投影层映射到实际价格空间，实现基于前token预测未来价格patch

• 文本信息抽取模板： 从价格time series直接提取：

- 股票价格频率
- 行业类别
- 统计信息：最低价、最高价、移动平均、变化率及时间戳
这一文本信息输入传统LLM生成嵌入，与价格数据融合集成模型

• 训练策略：

- 冻结LLM主体，仅训练数据嵌入层与最后线性投影层
- 利用均方误差（MSE）作为目标函数，训练模型预测下一patch的股票价格
- 通过融合多模态信息，提高预测准确性和模型泛化能力，同时控制训练成本

• 方法创新点阐释：

- 零文本外源输入，完全基于股价时间序列，自带统计/相关性信息编码为文本输入，缩减冗余信息干扰
- 结合自然语言处理和时间序列的双重优势，将股票价格token连续性与文本语义关联性统一映射到潜在空间
- 通过冻结大模型权重，快速适配具体股价预测任务，节省了大规模FinLLM的昂贵微调过程

3. 相关工作概述（第1页）

• 股票预测研究：

- 主要分为技术分析（基于数值数据）与基本面分析（含非结构化文本）两条路线
- 深度学习模型如CNN、LSTM、Transformer被广泛用于捕获时序模式
- 新兴融合多模态数据（新闻、社交媒体、音频、图表）的尝试频繁出现

• 金融LLMs发展：

- BloombergGPT、Fingpt、FinMA等FinLLMs依赖大规模文本数据及指令微调
- Alpha-GPT开发了专门关注数值特征的模型，但仍需人工指令
- 现有FinLLMs多注重文本，难直接应对时间序列数据，导致其对价格预测能力有限

• 时间序列领域的LLM尝试：

- 研究者尝试用LLMs处理时间序列数据，如通过Patch切分、重新编程为文本、冻结模型微调等方法
- 存在令牌化方法适配问题，BPE不适合连续浮点数，需专门技术保证数值信息完整与准确度

---

三、图表深度解读

图1（第0页）

• 内容描述： 展示FinLLMs的典型训练框架：先对通用LLMs做指令微调（Fine-tuning），数据源包括新闻、社交媒体、研究数据、财务报表等；然后通过in-context学习，使用文本提示完成问答、情感分析、股票走势预测等下游任务

- 数据解读： 强调文本类金融数据在FinLLMs训练中的关键地位，同时也反映出其对时间序列数据直接建模能力不足，间接为StockTime提出的基于时间序列token化的创新提供背景

• 与正文关系： 作为引言部分对FinLLMs现状的佐证，说明传统方法侧重文本分析而非单独的时间序列特征整合

---

图2（第2页）

• 内容描述： 展示StockTime架构的流程示意图，详细呈现文本信息生成、patching和embedding、编码器处理、多模态融合及预测各步骤的具体信息流

- 数据解读：
- 标识“冻结”模块（LLM主体）和“训练”模块（编码器、线性映射）
- 体现文本模态和数值模态输入分别映射为嵌入后在潜空间融合
- 说明模型如何整合时间戳、行业、统计趋势等信息，辅助股价预测

• 与正文关系： 直观辅助对方法章节的理解，体现StockTime架构实现细节，完善模型设计的阐述

---

表1（第3页）

• 内容描述： 展示所用数据集基本信息，包括名称、时间范围、数据频率、时间步数、模态及股票数量

- 数据解读：
- 涵盖了日频和小时级高频数据集，如S&P 100日频数据涵盖2014-2024年，数据长度2518步
- 部分数据集含有文本模态，便于FinLLMs进行多模态学习
- 体现实验多场景适用性，既有短期亦有长期监测，增强结果适应性

• 与正文关系： 是实验设计和效果评估客观依据，支持模型泛化性能判定

---

表2（第4页）

• 内容描述： 在Bigdata23、Bigdata22、ACL18、CIKM18四个带文本数据的股价+推文数据集上，比较StockTime、Mathstral-7B、LLaMA3-8B、GPT-4o Mini和FinMA的准确率（ACC.）和马修斯相关系数（MCC）

- 数据解读：
- StockTime在所有数据集上均取得最高的准确率和较高的MCC，表明其在股价涨跌预测中的优势
- FinMA虽是专门的金融LLM，但表现不及StockTime，暴露了文本信息带来的噪音和模型效率问题

• 与正文关系： 强调StockTime不使用额外文本，仅用价格数据结合统计分析，依然胜出的事实

---

表3（第5页）

• 内容描述： StockTime与LSTM、Times-LLM、FPT、AutoTimes等基于时间序列LLMs方法在S&P100日频和小时频数据上的均方误差（MSE）和信息系数（IC）性能比较

- 数据解读：
- StockTime在两数据上表现最优，MSE最低，IC最高，表明预测值偏差小且排名相关性强
- 证明其自回归编码器+多模态融合设计优于单纯文本重构或简单深度网络方案

• 与正文关系： 实验证实被动对比基于时间序列的LLMs框架优势，凸显StockTime架构有效性

---

表4（第5页）

• 内容描述： StockTime与传统自回归模型（RNN、LSTM、注意力LSTM）的性能比较，测评指标为MSE和IC

- 数据解读：
- StockTime显著优于所有自回归基线，在两大指标上都体现出优势
- 说明大语言模型架构对时间序列建模的增强能力，超过经典序列网络

• 与正文关系： 回应模型规模与性能关系疑问，支持使用LLM结构提升股票预测的理念

---

图3（第6页）

• 内容描述： 超参数敏感性分析（不同回溯窗口长度和自回归编码器层数）对模型表现的影响，指标为IC和MSE

- 数据解读：
- 回溯窗口为32时IC最高，MSE最低，窗口过短或过长均不利模型性能（可能过拟合或缺乏足够信息）
- 自回归编码器层数2层为佳；更多层对IC影响有限，MSE波动较小，有效避免过度复杂化

• 与正文关系： 指导实际部署时超参数选择，平衡性能与计算资源

---

表5（第6页）

• 内容描述： 结构消融实验，分别替换编码器为MLP、去掉编码器、去掉多模态融合、替换LLM骨干等对S&P100数据集MSE和IC影响测评

- 数据解读：
- 移除编码器或替换为MLP均降低性能，自回归LSTM编码器更适合时序依赖
- 多模态融合缺失使性能明显下降，验证文本信息注入对预测有辅助作用
- GPT-2骨干较LLaMA3表现稍差，推测因数值token化方法差异导致理解不足

• 与正文关系： 明确模型设计中的关键组成部分和创新带来的实证效果，证明整体方案合理性

---

四、估值分析

本报告并无传统金融估值分析（PE、DCF、EV/EBITDA）等内容，主要侧重于机器学习模型架构与预测性能对比，因此无需相关财务估值模型说明。

---

五、风险因素评估

报告中并未专门章节列出风险因素，但结合内容可归纳潜在风险：

• 数据质量风险： 金融市场数据中虚假和冗余信息多，文本信息含噪声，可能影响模型泛化

- 模型输入单一风险： 虽然仅用价格时间序列简化流程，但忽视重要外部事件因素可能导致预测失误

• 模型复杂度与资源风险： 虽训练效率提升，但大LLM底层仍资源消耗大，实际部署需硬件保障

- 突发事件反应风险： 股票价格受政策、宏观经济事件影响激烈，纯历史数据和统计信息局限明显

报告未显著提供缓解策略，但架构设计中通过冻结大模型和多模态融合有所降低训练复杂度的风险。

---

六、批判性视角与细微差别

• 创新点扎实，理论与实证契合： StockTime创新地将时间序列token化与文本融合，兼顾了LLM强大文本处理能力与时间序列依赖性捕获

- 文本信息有限且无利用外部文本： 尽管文本辅助提升准确度，但仅限股价自身提取统计和行业时间戳，未利用外界宏观信息，可能影响极端行情预测能力

• 部分假设需谨慎： 如假定“股价本身捕捉了大部分市场情绪”，在非常态市场可能不全面

- 实验设计合理，但缺乏更长周期检测： 数据最长覆盖10年，更多跨周期稳定性和适应性仍需后续验证

• 技术依赖于大模型结构，部署门槛仍存： 虽冻结主体减少训练成本，但实际高性能硬件需求仍较高

---

七、结论性综合

报告系统提出并实现了专为股票价格时间序列预测设计的LLM架构——StockTime。该模型通过如下关键机制实现优异表现：

• 时间序列的Patch切分及归一化，减少输入序列长度和资源占用，同时保留序列动态信息；

- 结合统计趋势、股票间相关性及行业分类的文本模板，将时间序列数据转化为LLM可理解的文本信号，辅助提升模型预测准确度；

• 冻结预训练LLM权重，仅训练映射层和编码器，实现高效训练和灵活迁移；

- 在多数据频率与时间跨度的实际股票市场数据上，相较现有FinLLMs、一般LLMs及传统时间序列模型均展现稳定性能提升：在涨跌预测准确率、均方误差、信息系数等指标均领先，提升幅度最高达5%。

数据图表显示：

• 表1保证了实验数据覆盖广泛、代表性强；

- 表2和表3对比全面明确，StockTime的架构优势客观展现；

• 表4进一步验证出其在与经典序列学习模型比较中的竞争力；

- 图3及表5揭示了模型结构设计和超参数优化的合理性，强化了结论的可靠性。

综合以上，StockTime不仅推进了金融领域LLM和时间序列结合的研究边界，更为实现高效、准确的中短期股票价格预测提供了切实可行的方案。该研究也提示未来FinLLMs研究应更加注重时间序列特征和数值信息的深度融合与挖掘，而非只停留于文本分析层面。

[page::0,1,2,3,4,5,6]

---

# 综上所述，这份报告具备扎实的理论基础和充分的实证验证，科学地整合了LLM在自然语言处理中的优势与时间序列数据的内在特点，为股票价格预测开辟了新路径，并对后续相关领域的研究和应用具有重要指导意义。

报告