Competition and Collaboration in Crowdsourcing Communities: What happens when peers evaluate each other?
创建于 更新于
摘要
本报告基于Threadless平台10年间3,800万条同行评价数据,研究了众包社区中成员如何在竞争与协作动机间权衡评价行为。结果显示,技能水平越高的成员越倾向于采用竞争策略,从自我推销转向针对最强竞争对手的打击行为;同时对非直接威胁者表现出宽容。战略性评价行为影响社区结构,低技能成员遭受打击后参与度下降,高技能成员则因激烈竞争反而提升参与度,形成反馈循环 [page::0][page::2][page::6][page::7][page::9][page::11][page::13][page::14][page::15]
速读内容
- 研究背景及问题定位 [page::0][page::1][page::2]:
- 众包社区中成员既有竞争动机(争夺奖金)、也有协作动机(社区合作),形成评价时的紧张关系。
- 经济学竞赛理论预期成员会存在自我推销(抬高自己评分)和破坏竞争对手(打击)的战略行为。
- 关键问题:成员如何解决竞争与协作的张力?不同技能水平成员的行为有何差异?战略行为如何影响社区结构和长期参与?
- 理论模型构建:竞赛模型区分高技能与低技能个体,评价他人时可选择诚实、破坏或推销 [page::2][page::3][page::4]。
- 破坏高技能个体收益大于低技能,且高技能个体更倾向于互相破坏。
- 推销行为低技能更为普遍,且推销其他人无利可图,仅自我推销合理。
- 模型预测:低技能成员普遍自我推销,高技能成员更可能实施破坏。
- 研究数据与方法 [page::3][page::4][page::5][page::6]:
- 基于Threadless社区10年(2001-2011)数据,收集75,000名成员150,000条设计提交和超过38,000,000条评分。
- 运用差分法,比较同一成员在参与竞赛与非参赛时对他人评分差异,区分自我推销(给自己5星)和破坏(给竞争对手0星)。
- 技能通过过往提交评分计算延迟平均值。
- 主要发现:
- 自我推销广泛存在,75%成员给自己最高评分,远高于他人评分均值1.8星 [page::7]

- 破坏行为异质明显,技能越高的成员越可能对其他高技能成员进行破坏,且低技能破坏高技能行为次之;低技能成员自我推销倾向强但破坏倾向低 [page::7][page::8]
- 成员在竞争时表现出“宽容”行为,即对不威胁自己胜算的成员评价较宽松,体现一定协作精神 [page::8]
- 通过两次自然实验验证,奖金翻倍促使破坏行为增加,规则变更使自我推销评价更早发生,均证实战略性动机 [page::9][page::10]


- 战略行为的相互关系 [page::10]:
- 大部分个体倾向同时使用自我推销和破坏,少数边际型才有替代关系。
- 战略行为对竞赛结果的影响 [page::11]:
- 自我推销会影响约1.4%竞赛冠军归属,破坏影响更大达12%,在竞争激烈时可达25%。
- 战略行为对长期社区参与的影响 [page::12][page::13]
- 较高技能成员遭受破坏后,反而提高后续参与概率(最高技能组增幅达12%)。
- 低技能成员遭受破坏其后参与概率下降,而获得宽容时参与概率上升。

- 理论及实践贡献 [page::13][page::14][page::15]
- 拓展众包竞争与协作文献:揭示技能与竞争激烈程度调节战略行为。
- 弥补竞赛理论多假设单一行为的局限,首次实证覆盖破坏和自我推销共同作用。
- 说明竞争激烈并非推动成员流失,反而可增强核心高技能群体活跃度,促进社区可持续。
- 对平台设计提示:不必绝对限制战略行为,可通过设计激励边界(如匿名投票)实现良性竞争与参与。
- 研究局限及未来方向 [page::15][page::16]
- 样本限制于Threadless社区,未来可扩展至其他众包及同行评议环境。
- 专注于局部战略行为,建议未来关注长期动态、对抗及互惠等复杂互动。
深度阅读
研究报告详尽分析报告
---
1. 元数据与概览
- 报告标题:Competition and Collaboration in Crowdsourcing Communities: What happens when peers evaluate each other?
- 作者:Christoph Riedl, Tom Grad, Christopher Lettl
- 发布机构:
- Northeastern University, Boston
- Copenhagen Business School
- Vienna University of Economics and Business
- 发布时间:2024年4月23日
- 发表出处:Organization Science(预刊)
- 研究主题:众包社区中的竞争与合作动机,特别关注社区成员彼此评价时的行为模式。
- 核心论点与目标:
报告深入探讨众包社区成员在既有竞赛激励(如奖金)又有社区合作氛围下,如何处理竞争与合作动机的矛盾。研究利用了Threadless平台10年间3800万条同行评价数据,通过理论建模及自然实验,揭示技能水平如何调节成员的战略评价行为(自我提升与破坏性评价),及其对社区长远参与和结构的影响。
---
2. 逐节深度解读
2.1 引言(Introduction)
- 关键论点:
- 众包由单纯的企业外包转变为嵌入在线社区内的竞赛。
- 参与者在评价彼此提交时存在双重激励:获取竞赛胜利带来的竞争动机和维持社区健康的合作动机。
- 竞赛引入的奖金激励促使竞争加剧,引发评价上的战略行为(非诚实评价),而社区文化又强调合作与公平,导致动机冲突。
- 目前尚不清楚成员如何权衡此矛盾,也不清楚战略行为会如何影响社区。
- 论证依据:
- 结合了社会心理学(Deutsch, 1949)、社会交换理论、以及组织行为理论。
- 指出文献中存在“市场定价”与“平等匹配”两种评价行为模式冲突。
- 重要数据点:无数据,概念引入。
2.2 竞争与合作动机的理论基础
- 核心论点:
- 社区成员可能采取公正、基于能力的评价,也可能为自利目的采取破坏(sabotage)和自我提升(self-promotion)。
- 经济学竞赛理论预测战略行为,但社区背景可能减弱这些行为。
- 自我提升和破坏共存并互相影响,破坏带来负外部性。
- 理论解释:
- “破坏”是指有意以评价压低对手表现,降低其获胜概率。
- “自我提升”是将自己的提交评价得更高,提升获胜概率。
- 破坏会改变整体竞赛概率格局,带负外部性;自我提升只影响自己。
- 数据点与引证文献:理论回顾,引用如Konrad (2009)、Lazear和Rosen (1981)等经典竞赛文献。
2.3 研究问题与数据背景介绍
- 提出2个核心研究问题:
1. 参与者如何在竞争与合作动机冲突时评价对手?
2. 技能差异如何调节评价行为及社区人员构成?
- 数据说明:
- 使用Threadless数据,涵盖10年期间75,000设计师参与的511期竞赛,含3800万条评价。
- Threadless作为典型的众包社区,具有强烈合作氛围且存在竞争激励。
- 评价采取匿名星级制,不能看到他人评价,减少报复性评价。
- 利用设计师在不同竞赛角色(竞赛者vs旁观者)切换形成差分识别策略。
- 理论支撑:用竞赛理论指导,自我提升与破坏识别,技能被设为调节变量。
2.4 理论模型和竞赛设定(Contest-Theoretic Intuition)
- 模型关键构成:
- 三类参与者:高技能(高类型)、低技能(低类型)、中立旁观者。
- 高低类型分别产生高质量和低质量提交。
- 旁观者不提交,仅评审,诚实评分。
- 评分规模标准化至[0,1]。战略行为允许用0星“破坏”或用1星“自我提升”。
- 竞赛胜利概率依提交获得总评分的相对份额决定(Tullock模型)。
- 破坏与自我提升分别有成本$cs$和$cp$,诚实评分无成本。
- 理论推论:
1. 破坏高技能选手的效益大于破坏低技能选手。
2. 自我提升低技能选手获益大于高技能选手。
3. 理性参与者仅自我提升自身,不为他人自我提升。
4. 旁观者诚实评分,无战略动机。
- 重要假设:
- 竞赛规模:旁观者>低技能>高技能。
- 高低技能质量差异明确。
2.5 理论模型预测
- 预测总结:
- 自我提升普遍存在,尤其低技能选手。
- 破坏行为主要由高技能选手发起。
- 破坏目标首选其他高技能选手。
- 这些预测为后续实证分析提供基准。
---
3. 图表深度解读
3.1 图表1(Figure 1)——技能异质性下的战略行为热图与趋势
- 描述:
- 左图(Panel A)为热图,横轴为评价者技能,纵轴被评价者技能,色阶代表竞赛中评价者对被评价者打0星(破坏行为)概率的变化。
- 右图(Panel B)展示自我提升概率随评价者技能增加的下降趋势。
- 数据解读:
- 破坏行为最多发生在高技能评价者针对高技能被评价者(概率提升约6%)。
- 被破坏的高技能群体涵盖所有技能层次的评价者。
- 自我提升趋势随技能提升显著下降,高技能选手较少自我提升。
- 联系文本:
- 实证验证理论预测,高技能选手更倾向于破坏强敌,低技能选手更倾向于抬高自身评分。
- 此外,成员间存在“宽容”机制,互相给予较高评分以积累“信用”,用以抵消后续破坏行为。
3.2 表3(Table 3)——战略行为的基线差分模型
- 描述:
- 评价为连续量或0/5星概率模型。
- 自我提升强烈存在,75%概率为自评及97%自评为五星。
- 破坏(0星)总体上未发现显著证据,反而呈现对竞赛对手的宽容。
- 解读:
- 社区成员整体倾向于合作,不轻易给对手最低分。
- 自我提升行为无疑是显著的,有意抬高自身表现。
3.3 表4(Table 4)——技能异质性效应的系数估计
- 描述:
- 破坏者与被破坏者技能均正向显著与破坏概率相关。
- 自我提升者技能负相关,自我提升倾向随技能升高降低。
- 意义:
- 高技能者更具策略性,既更可能发起破坏,也更可能成为破坏目标。
- 低技能者主要靠自我提升维持竞争力。
3.4 图2(Figure 2)——自我评价时机的变化(自然实验)
- 描述:
- 规则变更前,设计师自我评价时间在7天评审期中居中(43%分位)。
- 规则变更后,自我评价显著提前至25%分位,旨在通过提前自我高评分突破最低通过线。
- 解读:
- 自我提升非偶然过度自信所致,而是一种策略行为,意图早期确保评审不被淘汰。
- 支持自我提升的策略性假设。
3.5 表5(Table 5)——奖金提高后破坏行为激增的自然实验
- 描述:
- 2005年奖金由$500提升至$1000后,破坏的0星评分显著增加约2.2%。
- 提高奖金同时提升了提交质量(旁观者评分),确认奖金提高激励双向效应。
- 意义:
- 竞赛激励提高不仅提升创作努力,也促发更强的破坏策略。
- 提示竞赛设计平衡创新激励与合作氛围重要。
3.6 表6及图A.VII——破坏与宽容对长期参与的影响
- 表6关键结论:
- 高技能成员遭受破坏后反而参与概率增加(正向交互效应显著)。
- 低技能成员遭毁评分降低未来参与,收到宽容评分则激励未来参与。
- 图A.VII显示:
- 破坏影响下,高技能成员参与意愿持续较高;低技能成员则下降。
- 综合说明:
- 破坏导致社区成员分化,高手越被激励,菜鸟被宽容留存。
- 构成社区长远发展平衡机制。
---
4. 估值分析
本文非典型估值研究,不包含直接估值模型;但采用竞赛经济学中的Tullock竞赛模型,其基本原理如下:
- Tullock竞赛模型定义:
- 参与者提交输出(设计作品得分)通过同行评价的分数总和表示。
- 获奖概率为个人输出得分与所有参与者输出得分之和的比例。
- 获胜概率公式:
\[
pi = \frac{vi}{\sum{j} vj}
\]
- 战略行为带来的影响:
- 自我提升:增加自身提交得分$v_i$,同时竞赛总得分也增加,影响获胜概率。
- 破坏行为:减少竞争对手得分,降低总得分分母,提高自身获胜概率,但破坏行为带来负向外部性,提升其他竞争者获胜概率。
- 关键假设:
- 破坏、自我提升均付出成本。
- 参与者根据成本-收益权衡选择战略行为。
该模型为理解成员行为提供理论基础,支持实证中关于行为异质性及动机解释。
---
5. 风险因素评估
虽然本报告主要聚焦战略评价行为及其影响,但间接揭示风险:
- 社区抛弃风险:
- 低技能成员在遭受破坏时减少参与,可能导致人才流失与社区活跃度下降。
- 这对社区的可持续发展构成威胁。
- 竞争激励的双刃剑:
- 虽提升部分高技能成员动力,但同时可能激化对立,导致合作氛围削弱。
- 隐性战略行为难以监管:
- 评价匿名限制了监督与制裁,潜在恶意行为难发现。
- 缓解策略:
- 平衡奖励机制,既激励创新又避免破坏加剧。
- 引入评价透明度或声誉机制可能降低破坏动机。
- 报告未具体提出明确缓解方案,但强调设计竞赛机制需考虑竞争与合作的微妙平衡。
---
6. 审慎视角与细微差别
- 报告提供了极其详尽的理性模型及大规模实证验证,且通过自然实验支持因果解释,具备较高信度。
- 但存在的潜在不足或需关注点三方面:
1. 衡量战略行为的概率性质:破坏行为通过差分概率识别,有杂音干扰,评价成本和道德成本的主观分布未精确刻画。
2. 样本限制:
- 数据只覆盖Threadless平台,社区特征与其他众包平台(公开评分、排行榜等)不同,泛化需谨慎。
- 技能数据缺失导致部分样本无法纳入异质性分析。
3. 假设冲突:
- 虽假设旁观者为中立诚实评价者,但少部分参与者即使非当前竞赛者,仍可能怀有个人偏见或旧有竞争关系(利害冲突未完全排除)。
- 作者亦指出,未来研究可检验不同社群结构、非匿名评价和其他战略动机对行为的调节。
---
7. 结论性综合
本文系统揭示了众包社区中成员评价行为在竞争与合作动机冲突中的调和机制,以下为核心发现:
- 行为分层与技能关联显著:
- 低技能成员倾向自我提升,主要以高评分支持自身。
- 高技能成员表现为更激烈竞争行为,采用破坏竞争对手的战略,且目标首选其他高技能成员。
- 破坏和自我提升行为同时存在,不是取代关系,而是互补。
- 合作动机伴随战略行为出现——宽容机制:
- 高技能成员对不直接威胁自身获胜概率的低技能成员表现出正面倾向(宽容),通过在评价中“赊账”宽待来获得道德许可(moral licensing),为后续破坏提供合理化。
- 竞争与合作不再是截然对立,而是以人际关系为单位动态调节;
- 战略行为对社区结构与成员参与有长远影响:
- 低技能成员遭受破坏评分后减少未来参与,宽容评分则延长其参与。
- 高技能成员遭受破坏反而激励他们更积极参与,形成激烈竞争的社区核心。
- 战略评价行为创造了正反馈循环,维持社区的层次结构和活跃度。
- 竞赛激励(奖金)增加加剧破坏行为,但同时提升创作质量,体现了设计激励机制时需权衡合作文化的破坏风险。
- 自我提升策略具备明显意图性,非单纯过度自信,呈现为精心安排的时间优先行为。
- 匿名评价存在双面效应:
- 降低评价透明度限制了声誉维护,削弱排斥破坏者的社会成本,促进了破坏行为,
- 但避免了报复循环和恶性竞争的升级。
---
8. 图表总结插图
图1:技能对破坏与自我提升概率的影响(heatmap与趋势线)

- 左图表现高技能间的相互破坏明显,右图显示自我提升频率随技能减少。
图2:评分顺序自然实验 —— 评分提前反映策略意图

- 评分提前以保证过关,支持策略性自我提升假设。
表5:奖金翻倍诱发评分恶意行为(自然实验)

- 显示公告截图,确认政策变化时间点。
图A.VII:高低技能成员在不同破坏水平下的未来参与概率

- 表明高技能战斗力强者破坏刺激下参与增加,低技能者则相反。
---
总体评述
本报告基于理论模型、极大样本实证和自然实验,构建了众包社区评价行为的微观-宏观动态联结,精细刻画了竞争-合作动机的双重激励机制和成员间的差异化策略选择。研究不仅验证了经济竞赛理论中的关于破坏和自我提升的经典观点,亦突破传统视角揭示在匿名、基于社区的真实环境中,复杂的道德许可与互动宽容机制如何缓解竞争与合作之间的矛盾。此外,对社区长远活跃度和社会结构的实证分析,对设计可持续且有效的众包平台具有重要指引意义。
---
引用页码:[page::0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39]