论文核心问题与研究方法 [page::1][page::3]

• 研究竞争卖家利用强化学习算法自动制定价格和广告竞价决策，关注算法定价与广告竞价的协同效应及对消费者的影响。

- 采用基于Q-learning的多主体强化学习仿真模型，并结合亚马逊大规模商品关键词竞价与销售数据进行实证分析。

理论模型与纯竞争均衡 [page::12][page::15][page::16]

• 构建包含广告竞价的两个卖家定价模型，区别于仅价格竞争的情况，设定用户异质搜索成本，消费者分为仅关注首位商品和考虑更多商品两个群体。

- 纯竞争均衡计算显示：广告竞价导致卖家成本上升，价格相较无广告情形总体提高，且随着消费者只考虑搜索结果前位比例θ增加，均衡价格和竞价均上涨。

多主体Q-learning仿真结果：价格与竞价双维度协同效应 [page::20][page::21][page::22]

• Q学习模拟价格随消费搜索成本θ变化呈现非单调趋势：低θ时算法价格高于竞争均衡，θ高则低于竞争价格，实现消费者利益提升。

- 广告竞价在高θ情形下趋于协同降低，广告成本下降拉低价格，卖家利润稳健，形成“有利协同”。

理论解析与均衡跨越点 [page::23][page::24]

• 分析全方位协同定价及竞价模型，证明存在唯一θ~值使得垄断价格低于竞争价格，预示强化学习算法均衡价格低于竞争价格的普遍性。

- Q-learning结果整体介于纯竞争和垄断协同价格间，通过仿真进一步量化选取θ不同状态下价格及利润分布。

卖家利润与消费者剩余表现 [page::25][page::26]

• Q-learning算法下卖家利润高于竞争但低于垄断，表明部分协同存在。

- 消费者剩余随着θ提升，Q-learning价格低于竞争情形时消费者剩余相对提升。

• 随θ增大，从竞争向协同过渡，协同强度与利润比重呈现动态变化。

平台的战略响应分析 [page::28][page::29][page::30][page::31][page::33][page::34]

• 平台可调节佣金率和广告拍卖保留价以应对算法定价竞价影响：佣金率调整有效提升平台利润，而提高保留价往往降低平台总收入。

- 佣金率提高会提升价格但仍维持协同带来的均价低于无算法竞争时的水平，消费者和卖家均获利。

• 保留价提升反而造成算法竞价更趋低价协同，进一步压缩竞价收入，消费者和卖家因此受益更多。

搜索成本的结构性估计与实证验证 [page::34][page::35][page::40][page::41][page::42][page::43]

• 采集亚马逊包含近2,000关键词、2百万商品的高频搜索与排名销售数据，利用消费者考虑集大小的指数分布假设，应用矩估计方法识别搜索成本参数λ。

- 发现大多数类别下消费者有显著搜索成本，且搜索成本在类别间存在差异，“服装鞋包”等类目较高搜索成本，“办公用品”等较低。

• 构造算法使用指数基于高频价格相关性，与消费者搜索成本交互显著负相关，高搜索成本市场算法使用关联价格下调，验证理论预测。

| | Price Model (1) | Price Model (2) |
|------------|-----------------|-----------------|
| search cost high × algo high | -22.41 | -26.83 |
| | (8.404) | (7.819) |
| search cost high | 63.36 | 42.55 |
| | (5.942) | (5.809) |
| constant | 30.45 | 42.31 |
| | (4.077) | (3.900) |
| Category FE| No | Yes |

量化算法协同的政策意义和未来议题 [page::43][page::44]

• 发现算法协同不必然损害消费者，且通过广告竞价协作降低边际成本带来价格优势，平台也能因销量扩大获益，提出监管和平台鼓励策略平衡视角。

- 对平台而言，调整佣金而非广告保留价更为有效，算法对竞价信息的获取（如公开竞价）对均衡价格和利润影响有限。

• 后续研究可拓展平台自营销售、自我偏好、更多多维决策及不同算法框架，深化电商平台中算法博弈的理解。[page::44]

详尽分析报告：《Algorithmic Collusion of Pricing and Advertising on E-commerce Platforms》

---

1. 元数据与报告概览

• 报告标题： Algorithmic Collusion of Pricing and Advertising on E-commerce Platforms

- 作者： Hangcheng Zhao, Ron Berman

• 发布时间： 2024年11月

- 研究主题： 本报告围绕电商平台上卖家使用人工智能决策算法（特别是强化学习）进行价格定价和广告竞价决策，探讨其是否存在算法性串通（algorithmic collusion）现象及其对消费者、卖家和平台的影响。

• 核心论点：

- 以往研究关注于算法定价的“串通”导致价格上涨的问题，而本研究考虑卖家同时做两个维度（价格和广告竞价）决策时的表现。
- 强调消费者搜索成本的异质性对算法学习结果的关键影响。
- 实证和理论模型均显示，在一定条件下（高搜索成本），算法可以通过降低广告投标促使价格低于竞争均衡价，惠及消费者、卖家乃至平台，实现所谓的“win-win-win”效果。

• 贡献及评级信息： 文献补充了对多维度算法决策的研究，提供了大量亚马逊大数据的实证支持，以及强化学习算法的理论推广。报告没有直接的投资评级，但为平台、卖家与监管机构提供调控和采用指导。

---

2. 逐章节深度解读

2.1 引言与背景（第1-3页）

• 介绍强化学习（RL）及其在价格和广告竞价中的应用。

- 过往文献显示当竞争对手均用算法定价，可能出现无沟通下的隐式串通，价格高于竞争均衡价，损害消费者利益（Calvano et al., 2020等）。

• 本文提出两个问题：算法是否必然伤害消费者？现实中价格和广告投标是多维决策，是否不同？针对亚马逊等电商平台，消费者搜索成本异质性如何影响结果？

- 提出采用Q-learning强化学习模型模拟多Agent竞价定价环境，包含消费者搜索模型。

2.2 制度背景与模型设定（第4-15页）

• 电商平台（以亚马逊为例）设置有搜索结果页，包含广告赞助（Sponsored Product Ads）和自然排名的产品。

- 卖家设定产品价格（price）和为竞价广告出价（bid），两种决策同时影响销量和利润。

• 消费者按照排名顺序检索产品，但存在搜索成本差异，部分消费者只看前几个广告位（$\theta$代表高搜索成本消费者比例）。

- 平台收入来源包括佣金（基于销售额百分比$\tau$）和广告点击费用（CPC，如出价竞价费）。

• 基础模型假定对称卖家，在布局有1广告位和2 organic位的简化模型下竞争。

- 价格和竞价的不确定性用对数正态分布模型模拟，竞价为一阶拍卖。

• 消费者需求采用Logit模型，考虑异质性搜索成本决定考虑集合大小。

- 理论基准结果（图2）：搜索成本$\theta$增大时，价格$p^N$和广告竞价$b^N$均上升，高搜索成本加剧非竞争均衡价格上涨趋势；无广告竞价的定价基准$p^{oN}$价格显著低于有广告竞价$ p^{N} $。

2.3 多Agent强化学习分析（第16-27页）

• Q-learning算法模型描述：为每个优化状态-行动值Q(s,a)更新，探索-利用机制使算法逐渐收敛到均衡策略。

- 状态包括自己和竞争对手的历史价格，自己历史竞价，行动是同时选择价格和竞价。

• 模拟中多个初始状态多次运行求均值，收敛标准为策略100,000期内稳定。

- 主要发现：
- 当高搜索成本消费者比例$\theta$较低时，Q-learning学到的价格高于纯竞争均衡价（符合此前文献）。
- 但当$\theta$较高时，价格反而低于竞争价格（图3），竞价也同步低于非算法均衡（图4）。
- 原因是广告竞价是卖方成本，算法学会“串通”降低竞价成本，降低竞价使卖方成本减少，进而价格可以降低反而收益增加，三方得益。

• 理论证明（第23页）表明，这一价格交叉现象对模型参数稳健，且当$\theta$超过某临界点时，垄断价格反而低于竞价均衡价，且算法价格在垄断价与竞争价之间波动。

- 算法产生结果更接近完全竞争或部分垄断水平，但在高搜索成本时更接近竞争，价格趋于较低。

• 额外状态信息（包含竞争对手竞价）只对结果影响不大，说明信息披露对算法竞争影响有限。

- 模型扩展到异质产品（附录）依然保持主结论。

2.4 平台的策略性响应（第28-34页）

• 平台利润由佣金$\tau$与广告竞价保留价$r$收入构成。

- 模拟结果显示（图8），广告竞价减少导致广告收入减少，但由算法导致的价格下降扩张需求，佣金收入可以上升。

• 平台调整佣金率：可以部分补偿广告收入减少，且佣金提高导致价格和利润下调，但仍优于非算法竞争竞争结果，消费者获益依旧。

- 广告竞价保留价提升（图9）：提升到一定阈值以上反而使平台收入急剧下降，因为算法会进一步降低竞价，导致广告收入继续减少，卖家和消费者获益增强。

• 总效率考量（平台将自身利润、卖家利润和消费者剩余权衡），发现算法定价均衡带来的总社会福利更高（图10）。

2.5 亚马逊数据实证分析（第35-43页）

• 数据采集包含近2000关键词，涵盖2百万商品，每天逾百万条排名和销售信息，通过爬虫采集搜索排名、价格、广告标签、销量（由销售排名转化得出）。

- 描述性统计发现：赞助类商品价格通常高于有机类，赞助商品质量信号（如评论数、评分）较弱，符合“通过广告提高曝光”的假设。

• 销售数量与排名负相关，排名越靠前销量越大，但存在内生性（销量影响排名）。

- 采用结构模型估计消费者搜索成本，假设消费者有单位质量且遵循指数分布的搜索停止概率，利用排名和销量数据用GMM方法识别。

• 估计表明多品类尤其是服饰、个护等品类存在较高消费者搜索成本，表明现实中消费者遍历列表的“耐心”有限。

- 生成算法使用指数（根据价格与同行价格动态相关度判定），平均31%卖家使用算法定价，品类间异质显著。

• 交互回归结果显示高算法采用率与高搜索成本的市场价格呈负相关，验证了模型预测：在高搜索成本市场，算法定价带来价格下降，支持双维度算法串通的实证存在。

2.6 结论与未来展望（第43-45页）

• 主要结论：算法在价格和竞价的多维决策下，不一定导致伤害消费者的串通，特别是在消费者搜索成本较高的市场中，算法通过竞价成本降低反倒带来价格下降，消费者卖家平台均获益。

- 平台策略调整建议：仅通过竞价保留价调控无效，调节佣金费率更有成效。

• 研究局限：只分析价格与广告两个维度；模型假设特定强化学习算法Q-learning，虽有推广意义但需更多研究扩展。

- 未来研究方向包括平台自销产品的自我偏好问题，以及消费者搜索成本异质性如何塑造算法博弈的新视角。

• 对监管政策的启示是应重新评估算法“串通”的负面影响，算法串通不必然恶化消费者福利。

---

3. 图表详解

图1（第10页）

• 内容：亚马逊搜索结果页面前两行示例，显示12个商品。被橙色方框标注的为赞助广告产品。

- 解读：页面布局展示了赞助广告与自然排名产品混合出现，赞助广告位置主要靠竞价获得，吸引注目流量。

• 关联文本：说明赞助广告激励卖家参与竞价及价格设定策略对广告位排名的影响。[page::10]

图2（第16页）

• 内容：(a)多商品竞价竞价价格均衡$p^N$与无竞价基准$p^{oN}$随消费者搜索成本$\theta$变化图。(b)对应竞价$b^N$。

- 解读：价格在有广告时高于无广告，且均随$\theta$增加而增大，解释为搜索成本提升促进卖家市场势力增加，广告竞价价格也对应走高。

• 关联文本：展示竞价广告带来的成本增加是价格升高主因，搜索成本提升使竞价和价格双双上升。 [page::16-17]

图3（第21页）

• 内容：Q-learning仿真价格$p^Q$与基准竞争价格$p^{N}$、无广告基准$p^{oN}$相比随$\theta$变化关系。

- 解读：对低$\theta$，算法定价仍高于竞争价，但高$\theta$时倒挂，价格低于竞争均衡，实现消费者红利。

• 关联文本：强调消费者搜索成本异质性为关键变量，改变算法串通的价格走向，解码“竞价-价格”双维算法协同影响。 [page::20-21]

图4（第22页）

• 内容：Q-learning竞价竞价$b^Q$与该模型竞比价$b^N$、基准竞价$b^{oN}$比较随$\theta$变化。

- 解读：竞价随$\theta$升高但Q-learning竞价明显低于竞争竞价，说明算法有意“串通”降低竞价成本，支持价格降低。

• 关联文本：揭示竞价行为是卖家成本关键，算法倾向于降低竞价而非抬高，冲淡价格上涨势头。 [page::21-22]

图5（第24页）

• 内容：增加垄断价格$p^M$、垄断竞价$b^M$的对比。显示$p^M$随$\theta$下降，而竞价$b^M$为0。

- 解读：垄断价格曲线穿越竞争价，暗示算法均衡介于两者之间。竞价垄断趋近0，模拟理想“分摊市场、降低竞价成本”协作。

• 关联文本：理论支撑仿真结果，表明存在临界$\theta$，算法合理学习趋于“低价低竞价”均衡。 [page::23-24]

图6（第26页）

• 内容：Q-learning结果卖家利润和消费者剩余对比。

- 解读：算法利润介于完全竞争和垄断（串通）间，消费者剩余对高$\theta$时优于竞争均衡，验证算法带来双赢。

• 关联文本：算法带来部分串通收益，利润提升同时价格下降增加消费者剩余；支持算法使市场效率提高。 [page::25-26]

图7（第27页）

• 内容：算法产出价格、利润与垄断和竞争跨度比例。

- 解读：低$\theta$时算法结果更接近垄断，高$\theta$则更倾向竞争，符合高搜索成本抑制串通效应。

• 关联文本：支持多维度学习降低串通程度的假设，影响平台和政策调控视角。 [page::26-27]

图8（第30页）

• 内容：平台调整佣金率$\tau$时利润、广告收入、佣金收入、卖家利润、价格及消费者剩余。

- 解读：佣金率调节可以部分抵消广告收入下滑带来的利润损失，且算法定价导致价格较低，消费者剩余提升依然明显。

• 关联文本：平台应考虑佣金率作为更有效的经济激励杠杆。 [page::29-30]

图9（第33页）

• 内容：平台增加广告竞价保留价$r$时的利润等关键指标变化。

- 解读：竞价保留价略增效果有限，过高反而导致平台总体利润下降，卖家和消费者获益提高，反映算法在竞价上的策略适应。

• 关联文本：保留价政策可能适得其反，监管和平台决策需谨慎制定。 [page::31-33]

图10（第34页）

• 内容：在高搜索成本（$\theta$）和中等佣金率（$\tau$）情况下的总社会福利（平台利润+卖方利润+消费者剩余）。

- 解读：算法竞价行为提高了整体社会福利，且调整佣金后依然保持优于竞争均衡态的表现。

• 关联文本：综合社会福利视角支持算法应用的正面经济效应。 [page::34]

图11-12（第36-37页）

• 内容：不同搜索结果页面位置赞助产品比例分布，及赞助与有机产品价格、销量、评论数、评分对比。

- 解读：赞助产品多集中高位但往往价格更高、评分和销量相对较低，反映卖家通过广告付费提高曝光，品类差异明显。

• 关联文本：赞助产品属性验证理论模型中广告增加卖方成本且带来价格差异的假设。 [page::36-37]

图13-15（第40-43页）

• 内容：不同品类消费者搜索成本估计（一季度排名停止人数比例）、算法使用比例，各类目均存在显著差异；交互效应分析显示高搜索成本市场算法使用强度高价格下降趋势。

- 关联文本：实证补充理论，验证高搜索成本是算法串通带来价格降低的关键驱动力。 [page::40-43]







---

4. 估值分析

报告本质上非金融市场估值分析，但存在“估价”概念：

• 平均价格和价格均衡对应Nash-Bertrand均衡价和垄断价，视作市场不同效率的“估值”框架。

- 方法包括数值求解Nash均衡价格、基于Q-learning模拟的多Agent动态均衡，以及极限完全联合最优（即垄断）均衡。

• 估值变量：价格、竞价、利润、消费者剩余。

- 这些指标被视为衡量算法协调是否倾向于串通抬价，或反向通过竞价协调降价。

---

5. 风险因素评估

• 假设风险： 模型假定状态空间有限，且强化学习的策略稳定性依赖于算法设定、参数调优，实际电商环境复杂多变可能使均衡不稳定。

- 市场适用性风险： 消费者搜索成本异质性是核心变量，若实际消费者行为与模型假设偏离，结论有效性可能受限。

• 平台设计变动风险： 平台拍卖形式差异（现实为GSP而模型为一阶拍卖）、佣金策略变化等未完全建模，可能影响博弈均衡。

- 监管及合规风险： 虽算法串通未必伤害消费者，仍存在反垄断监管关注，监管政策严苛可能抑制算法应用或限制算法更新。

• 数据偏差风险： 实证分析基于观测数据和模型转换，存在内生性与测量误差，实证结果或因偏差而受影响。

报告针对风险均有解释和部分柔性策略建议（如调佣金不调竞价保留价，限制信息披露效果有限）[page::29-33]。

---

6. 审慎视角与细微差别

• 报告基于单一Q-learning算法，推广性虽有理论支持但需实证验证其它技术兼容性和结果稳健性。

- 强调搜索成本分布异质性重要性，现实中不同品类消费者行为差异显著，应谨慎推广结论于所有行业。

• 平台自销售模式及其“自我偏好”影响未纳入主模型，未来可能改变卖家之间和卖家与平台之间的策略互动。

- 强化学习模型的探索率设定关键，过高或过低均可能导致不同的收敛结果，报告默认参数已通过实验验证但仍有调整空间。

• 竞价拍卖实际为GSP，模型中采用一阶拍卖简化，现实细节可能带来策略多样性和均衡复杂度增加。

- 价格和广告的相互作用是本研究亮点，提醒单维度竞价定价容易误判算法串通的整体影响。

---

7. 结论性综合

本报告系统分析了在电商平台上，卖家通过强化学习算法同时做价格和广告竞价决策下可能出现的算法隐形串通现象。报告指出：

• 核心发现一： 消费者存在异质且普遍较高的搜索成本时，强化学习算法倾向于通过降低广告竞价成本实现卖价低于传统竞争均衡。

- 核心发现二： 价格-竞价双维协同的学算法串通不再必然抬价伤害消费者，而是实现了一种罕见的“算法三赢”：卖家成本降低、消费者支付更低价格、平台销售和佣金收入均增长。

• 平台响应机制： 提升拍卖保留价对平台利润零效益或负面影响，调佣金率为唯一有效杠杆。信息揭露调整对算法行为影响有限。

- 结构模型及大规模亚马逊数据实证： 支持理论推断，验证高搜索成本市场算法使用率高时价格下降，存在算法定价和广告竞价的串通现象。

• 研究贡献： 打破传统算法串通“坏”的刻板认知，纳入消费者搜索成本异质性和广告竞价，揭示多维竞价定价算法博弈新机制。

- 实践启示： 卖家、平台和监管应从更复杂的视角判断算法效应，不宜简单以“算法串通=负面效应”判定监管和经营策略。

• 研究前瞻： 未来可扩展多决策维度、平台自营影响及融合更复杂消费者行为模型，进一步精化数字营销策略与监管框架。

总体上，本报告为理解电商平台算法竞争与串通，重塑监管和平台设计提供了有价值的理论与实证基础，其结论兼具创新性和现实意义。[page::全部]

---

总结

这篇报告结合理论分析、强化学习模拟实验和亚马逊海量数据实证，创新性揭示了价格与广告竞价双维算法串通的复杂经济效应，特别强调消费者搜索成本异质性的核心调节作用。通过细致的数学模型、仿真结果的价格-竞价交互和平台策略模拟，辅以真实大数据的结构性估计，报告终结了“算法串通必然抬高价格”的传统论断，真实场景下算法可造福消费者和平台。平台通过调整佣金率而非竞价保留价能更有效调节市场，且卖家和消费者整体福利多伴随算法应用而改善。研究同样谨慎强调模型保障与实际市场复杂性，提醒政策制定与学界应以更开放视角看待数字经济时代算法定价竞价的多维博弈问题。

---

如果需要对报告中具体章节或图表进行进一步定向解读，也欢迎提出。

报告