机器学习模型构建与数据来源 [page::3][page::4]

• 采用Google Inception v3预训练模型加转移学习方法，对新闻照片进行悲观/乐观二分类，训练数据选自DeepSent数据集，包含882张干净标签照片。

- Getty Images新闻编辑照片作为样本，1926年至2018年采集，且通过多重筛选保证照片相关性与数量充足。

• 模型准确率达77%，模型预测的照片悲观指数(PhotoPes)定义为每日前10张最受欢迎照片中悲观照片占比并加权计算。

投资者情绪指标构建及市场表现影响 [page::7][page::8][page::9]

| 指标 | VWRETD日收益（均值bp） | EWRETD日收益（均值bp） |
|------------|-------------------------|-------------------------|
| 平均日收益 | 3.6 | 7.1 |
| 标准差 | 106.3 | 104.4 |

• PhotoPes对当日市场回报显著负相关，且后续有明显反转效应，反转时间在1-3天内，体现投资者情绪引起的短期定价偏差。

- 即使控制文本新闻悲观指数，PhotoPes仍有显著预测力，且两者呈现增强与替代关系，特别在灾难性事件期间照片情绪对风险溢价解释力更强。

• 文本情绪采用多种金融词典及NLP方法验证，表明文本悲观指数对市场回报预测能力弱于照片情绪指数。

量化交易策略及回测表现 [page::11][page::12]

• 基于PhotoPes及TextPes残差构建三种简单交易策略：纯照片情绪策略，纯文本情绪策略，及联合策略。

- 投资组合每日根据信息调仓，考虑1bp交易成本。

• 回测结果显示：

| 策略 | 起始资金（美元） | 终值（美元） | 年化收益率 |
|--------------|------------------|--------------|--------------|
| 照片情绪策略 | 1 | 255.84 | 6.18% |
| 文本情绪策略 | 1 | 146.44 | 5.54% |
| 联合策略 | 1 | 437.56 | 6.80% |

稳健性检验与机制分析 [page::12][page::13][page::14][page::18][page::19]

• PhotoPes对高波动率、难以套利股票回报的影响更显著，反转效应明显且统计显著。

- PhotoPes在市场高波动/不确定性时期表现出更强的负相关和收益反转。

• 利用金融新闻(《经济学人》)数据验证情绪指数预测未来市场回报，金融类主题照片悲观指数表现显著，非金融主题照片不相关。

- 通过多个变量构建方案及不同训练标签的分类模型验证结果稳健。

• 交易量分析显示照片悲观指数与未来异常交易量正相关，主要由负面照片驱动。

- 历史市场回报对PhotoPes影响甚微，表明PhotoPes更可能是直接驱动投资者情绪而非被市场行情反向驱动。

应用与未来研究建议 [page::19]

• 利用最新机器学习技术从新闻照片中提取投资者情绪信息，为资产定价和融资研究提供新视角。

- 建议未来研究提升照片分类模型精度，缩小与文本情绪分类差距，进一步丰富情绪认知与投资决策辅助工具。

机器学习算法在投资者情绪分析中基于新闻照片分类模型的详尽分析报告解构

---

1. 元数据与概览（引言与报告概览）

本报告题为《一图胜千言——基于机器学习算法的照片分类模型在投资者情绪分析中的应用》，摘选自招商证券“琢璞”系列报告之六十五。该报告核心基于Khaled Obaid和Kuntara Pukthuanthong于2020年发表在Journal of Financial Economics (JFE) 的论文"A Picture is Worth a Thousand Words: Measuring Investor Sentiment by Combining Machine Learning and Photos from News"。作者通过卷积神经网络技术中的Google Inception v3模型，对新闻照片进行乐观与悲观的情绪分类，构建照片悲观指数(PhotoPes)，并将其与文本悲观指数进行比较，分析两者对美国金融市场波动的预测能力及作用差异。

报告核心观点：

• 新闻照片中的悲观情绪包含有用的投资者情绪信息，其构建的PhotoPes指数可预测市场反转和交易量波动，效果在不确定性高和难以套利的股票中最显著。

- 新闻照片的悲观情绪对文本悲观情绪形成有效补充，尤其能解释灾难性事件期的市场风险溢价。

• 利用人工智能中前沿的图像识别技术处理大量新闻照片，能够显著提升金融情绪分析的广度和深度，未来将对企业融资与资产定价产生深远影响。

报告同时提示研究基于海外市场，结果在中国市场可能存在差异。[page::0]

---

2. 逐节深度解读

2.1 简介

第一章介绍了投资者情绪的重要性与从新闻报道中提取情绪变量的现状。文本情绪变量虽多被研究使用，但新闻照片作为更直接的情绪传递媒介，其潜力被实际应用受限于人工分类的高成本和主观性。为此，本文创新运用机器学习技术自动处理大规模新闻照片，构建PhotoPes指数，对其预测金融市场的能力进行了综合评估，且首次将照片与文本悲观指数进行严谨比较。

在模型方面，采用基于迁移学习的Google Inception v3模型处理新闻照片，将其分类为乐观或悲观两类。变量构建上，将每日来自Getty Images最受欢迎的前10张照片中分类为悲观照片的比例作为PhotoPes，文本悲观指数则基于照片描述中的情绪词汇比率计算。实证结果确认PhotoPes能够预测金融市场回报和交易量的变化，尤其在高不确定期和难以套利资产中影响更显著。与文本悲观指数相比，PhotoPes在传达恐慌类情绪时更有效，且两指数之间存在替代效应。

整体而言，文章强调机器学习方法在金融新闻图片情绪挖掘领域的巨大潜力，建议未来持续发展相关技术加深对投资者情绪识别的理解和应用。[page::3][page::5]

2.2 数据选取

显著部分包括三节：

• 照片分类：

基于深度学习的Google Inception v3模型，采用迁移学习方法从预训练的ImageNet模型出发，利用DeepSent数据集（含有MTurk五名评审一致确认的情绪标记照片）进行微调，仅882张干净标签照片训练，控制学习率和步骤数，并通过强化训练集和正则化以降低过拟合。模型在Getty Images采集的实际新闻照片的专业分类中也表现良好，分类准确率77%，召回率78%，精确率91%，F1值84%。

• Getty Images数据源：

采集1926年1月至2018年6月间Getty Images Editorial News部分每日最受欢迎的前20张新闻照片（该部分注重避免非新闻性照片），优先选择含英文否定/肯定词的照片以提高金融相关度，并要求每天至少15张照片，最终筛选出最高质量样本量依次为20张前印象220,136、15张169,886和10张74,044张。

• 变量构建：

PhotoPes定义为每日基于照片受欢迎度加权后预测为悲观照片的比例，计算公式中特别采用受欢迎程度的倒数作为权重。文本悲观指数TextPes通过新闻描述的悲观-乐观词汇差除以字数计算，并加权同样考虑受欢迎度。采纳Loughran和McDonald(2011)的金融词典分类，避开跨学科词义差异导致误判。

上述数据处理确保了PhotoPes及TextPes准确捕捉新闻中传递的悲观情绪，有效提高测量精准度和适应性。[page::4][page::5]

2.3 实证分析

2.3.1 照片和文字中的新闻情绪

• 市场回报影响

作者对value-weighted和equal-weighted的市场回报率进行时间序列分析。发现PhotoPes与当日市场回报呈显著负相关，同时滞后几天的PhotoPes系数显著为正，表明悲观照片比例高时市场经历短期下跌并在随后的交易日出现收益反转，符合行为金融理论中投资者情绪引发的短期定价误差反转假说。例如，PhotoPes波动一个标准差导致日收益率变动约1.96bp，占日均收益一半，可见经济上也有实质影响。

• 照片与文本情绪对比

在考虑文本悲观指数的控制下，PhotoPes依然对市场回报具有额外解释力，且两者情绪指标间存在显著负交互效应，说明照片悲观情绪强化文本悲观情绪的负面影响。值得注意的是，非金融词典处理的文本情绪以及机器学习分析文本情感评分均未带来更好的预测效果，凸显金融专业词典的重要性与照片情绪的独特信息来源。

• 灾难性事件和有影响力照片

定义死亡人数超过1000人为灾难事件日期，分析发现灾难期内照片悲观情绪对市场回报的影响系数是平时的15倍，远超文本悲观情绪，体现照片在极端事件情绪表达中的优势。同时，在有较高影响力新闻照片的日期，照片悲观情绪对市场回报的负相关效应更明显，且优于文本情绪的解释力。

• 交易策略测试

构建基于照片情绪、文本情绪及其结合的三种交易策略，均去除了动量和日历效应影响。回测显示起始1美元投资，最终三个策略分别收益255.84美元、146.44美元及437.56美元，年化收益率分别为6.18%、5.54%和6.80%，均远超买入持有。显示利用新闻照片提取的投资者情绪可为市场投资提供有效量化指标和策略支持。[page::6][page::7][page::8][page::9][page::10][page::11]

2.3.2 稳健型检验

• 套利限制影响

根据股票特质波动率和规模划分资产组合，发现PhotoPes在高波动率（难以套利）股票组合中的负面预测能力更强，且价格反转幅度也更大，由此支持情绪对难套利资产影响更显著的行为金融理论。

• 不确定性环境

利用基于华尔街日报新闻情绪建构的NVIX新闻隐含波动率指数衡量市场不确定性，结果显示PhotoPes在高隐含波动率时期对市场跌幅的负向预测更明显，且反转效应清晰，而在低波动率时期影响微弱甚至不显著，体现市场情绪响应的状态依赖性。

• 金融新闻照片数据支撑

借助自1997年至2018年1,036期《经济学人》的新闻照片实证，发现金融类新闻照片中的悲观情绪与市场回报负相关且随后出现反转，而非金融主题照片（书籍与艺术版块）则无此规律，明确了照片中情绪信息污染的源头与有效领域。

• 非线性市场反应

考虑做空限制，作者分析不同乐观度分位的照片对市场回报作用，发现当大部分照片为乐观时(PhotoPes最低分位)市场有显著反应，反之负面影像占多数时反应减弱，符合Miller(1977)的做空限制理论。

• 交易量影响

从纽约证券交易所交易量数据分析，发现当前当天的PhotoPes与异常交易量无显著相关，但滞后1-5天的负面情绪照片比例显著正相关，说明悲观照片情绪的增加预示着未来交易活动上升，吻合投资者情绪引发噪音交易的理论预期。

• 投资者情绪的代表性

通过回归分析过去市场回报对PhotoPes的影响，发现过去股市表现对当前照片情绪影响甚微，只在个别滞后显现微弱影响，且远低于文本情绪的自相关强度，表明新闻照片更可能是直接影响投资者即时情绪而非单纯反映过去市场表现，进一步确认了PhotoPes的独特信息价值。[page::12][page::13][page::14][page::15][page::16][page::17]

2.3.3 变量构建与方法稳健性检验

• 不同悲观概率阈值（从50%提升至65%）和照片数量（前10至20张）下，PhotoPes对市场回报的预测效应稳定存在且反转现象一致。

- 不对变量极端值波动处理、不加权与采用负面情绪概率置信度代替虚拟变量均未实质影响结果，证明模型构建稳健。

• 使用噪声标签数据训练的模型分类精度降低，对结果影响轻微，作者推荐仍采用干净标签训练。

- 缩小样本时间范围排除早期照片缺少的影响、采用开盘-收盘收益率代替常规的收盘收益率回归仍体现相似的负相关和收益反转。

• 对可能的反向因果进行正交化处理，剔除与过去市场收益及其滞后项相关部分，PhotoPes与市场回报负相关关系依然显著，进一步对因果性假设提供支持。[page::18][page::19]

---

3. 图表深度解读

图1 混淆矩阵

• 描述：该表展示基于DeepSent训练模型对Getty Images 100张随机抽样照片情绪分类的预测结果与MTurk人工标注的真实标签对比。

- 数据解读：模型准确率77%，召回77.9%，精确率90.9%，F1值83.9%，显示机器学习模型能较好捕捉新闻照片情绪，可靠性较高。

• 联系文本：验证训练数据集迁移学习后在实地新闻照片上的适用性，支持PhotoPes量化有效性。

图2 照片样本筛选结果

• 描述：展示了Getty Images照片原始数据量及经过不同筛选条件（交易日、最少15张照片、包含否定/肯定单词）后的剩余照片数量。

- 解读：通过筛选，照片从586,832降至220,136张，确保高相关性和质量。

• 说明作者采取严格过滤以保证数据质量，对研究严谨性有保障。

图3~6 CRSP市值加权和等权重指数统计量及其时间序列回归表

• 描述：列出两类指数日收益的均值、中位数、分位点及标准差，呈现市场收益基本统计量和日内收益的自相关性。

- 解读：指数收益存在一定自相关性，尤其等权重指数更强，自相关为后续市场回报回归模型设计提供依据。

• 证实后续回归模型中需控制历史收益和周内日效应。

图7 PhotoPes对市场回报的多模型回归结果

• 描述：PhotoPes的当日及滞后5日影响在VWRETD和EWRETD指标上均呈负相关和后续收益反转。

- 经济意义突出，强调恐慌情绪可引导股价短期偏离基本面。

• 统计上绝大多数系数显著，模型拟合适中(Adj R²约1.5%~5%)。

图8~9 照片和文本中的悲观情绪对市场收益的回归检验

• 细致呈现PhotoPes、TextPes及其交互作用，利用不同文本情绪变量（标准金融字典、非金融字典、机器学习处理文本）的回归系数和统计显著性。

- 发现PhotoPes保有额外的重要解释力，机器学习复杂文本分析和非金融字典无助于提升预测能力。

• 交互项体现两种情绪指标的互补和强化关系。

图10~11 交易策略表现曲线

• 以时间序列显示策略累计收益，基于照片情绪、文本情绪及结合情绪的交易策略均显著超过买入持有。

- 照片+文本组合策略表现最好，年化收益6.8%，表现出实际应用潜力。

图12 PhotoPes与股票波动率分组回归

• 高波动率/难套利股票中PhotoPes对收益的负相关关系更显著，同时收益反转更强。

- 支持行为金融学理论中非理性情绪对难以套利资产价格的影响更突出。

图13 PhotoPes在高/低NVIX不确定性期间的市场回报影响

• PhotoPes在高市场不确定性期间影响更负且产生明显反转，不确定性低时影响微弱。

- 体现PhotoPes对不同市场环境的状态依赖反馈能力。

图14 《经济学人》数据回归

• 证实金融主题照片中的悲观情绪与市场日回报呈负相关，且反转发生时间较短，验证Getty Images数据结果的可靠性。

图15 收入回报与天气图分位非线性关系

• 明确照片情绪与市场回报的非对称关系，做空限制使得当大多数照片为负面时市场反应不如乐观时强烈。

图16 PhotoPes与纽约证券交易所异常交易量回归结果

• 发现滞后几日PhotoPes与交易量显著正相关，尤其负面情绪照片推动交易量上升。

图17 市场回报对PhotoPes的影响

• 过去市场表现对PhotoPes影响不显著，支撑照片情绪反映投资者即时情绪而非简单反映历史走势。

图18 变量构建稳健性检验

• 多种分类阈值和加权调整均证实模型稳定存在预测效力。

图19 采样时间、标签噪声及变量正交化的稳健性检验

• 从多个角度证明PhotoPes与市场回报负相关关系稳健可靠。

（所有图表均清晰支撑论文核心结论，未发现金融模型或数据计算的实质性偏差）[page::4][page::5][page::6][page::7][page::8][page::9][page::10][page::11][page::12][page::13][page::14][page::15][page::16][page::17][page::18][page::19]

---

4. 估值分析

本报告为学术研究解析报告，不包含具体的公司估值部分，未涉及DCF、PE、EV/EBITDA等传统企业估值模型，焦点放在投资者情绪指数的构建与市场预测能力分析。

---

5. 风险因素评估

报告中对风险披露有限，主要体现在：

• 对中国市场的适用性存疑，基于美国市场实证结论不一定适合中国市场，情绪表达方式及新闻传播习惯或不同，导致模型预测有效性可能下降。

- 机器学习模型受训练数据集和标签质量影响较大，噪声标签训练降低准确率，反映模型性能依赖标注数据精准。

• 照片发布时间不完全明确，可能引起因果关系判断模糊，存在事件后采样偏差。

- 做空限制等市场机制的特殊性影响情绪的市场传导机制，可能因市场结构和监管变化致使情绪指数效果发生变化。

虽然没有明确提出缓释策略，研究通过多角度稳健性检验尽力控制上述影响，建议未来模型持续优化与区域适配。[page::0][page::20]

---

6. 审慎视角与细微差别

• 模型依赖标注数据的局限性：尽管模型采用了高质量干净标签但训练样本不足（882张），专业新闻照片与训练集差异仍可能限制泛化能力。

- 数据截面异质性问题：Getty Images历史照片与新媒体照片差异显著，时间跨度过长可能引入历史样本偏差。

• 时间戳缺失风险：无法排除照片发布的延迟可能导致市场反应滞后或因果混淆。

- 情绪类别的简化：照片情绪仅分为悲观与乐观两类，未细化其他情绪维度，可能忽视多样化市场情绪驱动因素。

• 文本情绪处理不足：机器学习处理文本情绪未见显著提升，或因描述文字简短、中性词汇多、语境复杂，未来文本情绪挖掘仍有提升空间。

- 非线性效应机制解释：研究对做空限制的非线性效应分析较简略，缺乏对其他可能的机制（如市场流动性、新闻传播渠道差异）的深入探讨。

整体上，报告论证严密，数据详尽，但未来研究仍需关注数据质量、时间戳问题以及跨市场适用性等潜在限制。

---

7. 结论性综合

本报告通过对Obaid和Pukthuanthong (2020)研究的深度剖析，揭示机器学习算法钢索应用于金融新闻照片分类，构建PhotoPes悲观指数的独特价值及实证表现。其主要结论总结如下：

• PhotoPes指数精确捕获新闻照片中的投资者悲观情绪，其分类精度高达77%，稳定且可靠。

- 强烈的负相关关系存在于PhotoPes与美国股市日收益之间，且随时间推移出现明显反转，反映情绪驱动的短期市场定价错误，理论上与行为金融学模型完美契合。

• PhotoPes对文本悲观情绪形成有效补充，在灾难性事件和市场恐慌期尤显优势，反映视觉信息的独特力量。

- PhotoPes在高不确定性和难以套利资产上表现尤为敏感，市场交易量预测显著，说明其可作投资者情绪和市场活跃度的代理指标。

• 结合文本与照片情绪的交易策略收益显著优于单一情绪源和买入持有策略，体现了其实际应用价值。

- 多角度稳健性检验涵盖阈值调整、标签噪声、样本时间截取和变量正交化等，均验证了结果的稳健性。

图表中，复杂回归模型和交易策略回测以数据支撑结论，混淆矩阵强调模型分类的可行性，情绪回归结果表彰情绪预测力，交易表现图示策略的有效性。

报告建议，未来研究应加强机器学习模型的照片分类能力，特别是捕捉细分情绪和多元信息，并突破文本分类模型的限制，从而更全面丰富对金融市场情绪动态的理解。

综上所述，基于新闻照片的投资者情绪指数作为一种新兴工具，在理论验证、实证分析及策略应用上表现卓越，代表了行为金融学和人工智能交叉领域的前沿进展，对金融市场研究和投资实践均具重要意义。[page::0][page::3][page::6][page::11][page::12][page::19]

---

总结

本深度解构报告详细解析了基于机器学习算法对新闻照片分类而形成的投资者情绪指标PhotoPes，从模型设计、数据来源、情绪指数构建、实证验证、图表支撑、策略回测及稳健性检验的全方面审视其对金融市场的影响与应用潜能。该研究不仅填补了传统文本情绪挖掘的空白，也预示了视觉信息将在金融市场情绪研究和资产定价中的崭新机遇。各类图表数据与回归结果均明确支撑作者主张，体现整体分析的科学权威和方法论严谨性，值得业界和学界持续关注与探索。

报告