`

Pareto’s Limits: Improving Inequality Estimates in America, 1917 to 1965

创建于 更新于

摘要

本报告聚焦于1917至1965年美国收入不平等估计方法,提出用最大熵方法(ME)替代传统的帕累托插值法(PI)来处理对应税务局的分组数据。实证发现,ME方法在1940年代之后能更准确估计最富裕分层收入,修正了U型曲线的不平等程度,显示1940s到1970s的不平等程度比传统估计高,削弱了中期不平等低谷的深度,支持更为平缓的“茶碟形”曲线形态,重新塑造了美国20世纪中期收入不平等的历史叙事,为未来基于税务数据的宏观经济不平等研究提供了更优估计工具[page::0][page::2][page::12][page::14][page::16][page::17].

速读内容

  • 研究背景及问题界定 [page::0][page::1][page::2]

- 历史研究普遍认同20世纪美国收入不平等呈现U型曲线,最高点在1910-20年代,中期1940~70年代处于低谷,近几十年再次上升。
- 数据主要来源为IRS分组税务数据(非微观个体数据),需通过插值法估计顶层收入份额。
  • 数据及方法准备 [page::3][page::4]

- 分析1917至1965年IRS所得分组数据,讨论纳税单位区别于家庭单位,以及预1940年数据文件不足和净收入调整等问题。
- 采用两主要公开数据集:Piketty和Saez(2003)与Geloso等(2022)数据,为公平比较均用相同插值算法。
  • 传统插值法:帕累托插值法(PI)介绍 [page::5][page::6][page::7]

- 利用Pareto分布假设,计算各收入阶层临界点与对应系数,估计不同顶级份额的平均收入。
- 优点:参数少,简单易用;缺陷:因参数假设偏差及数据分组稀疏,估计存在系统误差。
  • 新方法:最大熵(ME)方法介绍 [page::7][page::8]

- 非参数密度估计,无需Pareto假设,通过最大化熵在已知分组份额和收入均值的约束下估计收入分布。
- 优势:更灵活,可减少PI中插值误差,特别在数据分组较少的年份表现更优。
  • 方法比较与验证 [page::9][page::10][page::11][page::12][page::13]

- IRS收入分组数目从1917到1995年变化较大,1966年后有微观数据可检验。
- ME在1966至1995年对比微观数据,顶层10%收入份额的估算误差明显小于PI,顶层1%两法表现相近。
- 1917-1941年两方法估计差异小,1940年代后差异增加,主要因PI对收入分组和顶层比例选择不精确导致系统低估不平等。
- 图示对比:



  • 结论与政策启示 [page::14][page::15][page::16][page::17]

- 利用ME方法修正后,收入不平等曲线更像茶碟形状,中期40-70年代低谷不如PI方法显著。
- 说明“大平等时代”不如传统认知般平等,税基扩大及税收制度改革对下层生活水平影响应重新评估。
- 提出未来研究可开发ME与PI混合方法解决极端顶层估计的方差问题,并扩展税后收入不平等历史重估。
  • 表格数据展示关键收入份额估计差异(Piketty and Saez vs Geloso et al.数据)[page::21][page::22][page::23][page::24]


| 年份 | P90-100 (P&S) | P90-100 (Geloso) | P99-100 (P&S) | P99-100 (Geloso) |
|-------|---------------|------------------|---------------|------------------|
| 1917 | 40.82 | 35.82 | 17.32 | 15.65 |
| 1920 | 38.01 | 34.86 | 14.50 | 13.75 |
| 1940 | 44.24 | 35.89 | 15.83 | 12.45 |
| 1965 | 33.92 | 33.92 | 9.52 | 9.52 |

- 说明Geloso等的数据调整及ME方法的结合使得历史不平等评价更为准确。

深度阅读

Pareto’s Limits: Improving Inequality Estimates in America, 1917 to 1965 — 深度剖析报告



---

一、元数据与概览


  • 报告标题:《Pareto’s Limits: Improving Inequality Estimates in America, 1917 to 1965》

- 作者:Vincent Geloso 和 Alexis Akira Toda
  • 发布机构:未明确,但论文形式,具学术背景

- 发布日期:2024年9月2日
  • 主题范围:美国20世纪收入不平等的测度,方法学改进

- 核心论点:美国收入不平等历史上广为认可的U型曲线形态,特别是1917年至1965年间基于税务数据的顶端收入估计存在方法学局限。报告提出引入“最大熵法”(Maximum Entropy, ME)替代传统的Pareto插值法(Pareto Interpolation, PI),以提升对税务表格数据的收入分布估计精度,重构对美国收入不平等“U曲线”左侧的理解和定量。

简而言之,作者强调当前主流研究依赖的Pareto插值法在1917年至1965年使用IRS的分组收入数据时存在偏差,ME方法能提供更准确的估计,尤其在1940年代至1960年代的税务数据分类减少期间,发现收入不平等的“谷底”(即所谓“黄金时代”)不如历史估计中那么均衡,进而对收入不平等“U曲线”的形状及其深度提出修正建议[page::0,1,2]。

---

二、逐节深度解读



1. 引言部分


  • 美国20世纪收入不平等的经典认识即为U曲线:高峰出现在20年代,随后大萧条和二战时期出现下降,约1940年代后达到低谷的“黄金时代”,而之后又一路攀升。

- 但关于这曲线的峰值和谷底实际上有广泛辩论,争议集中在收入定义、扣减政策、数据集质量等问题上。
  • 报告指出被忽视的核心是用于顶层收入估计的插值方法,因1917至1965年IRS未提供微观文件,仅有分组汇总表格,插值的选用直接影响对顶端收入份额的评估[page::0,1,2]。


2. 方法论与数据准备(第2节)



2.1 数据准备


  • IRS统计数据基于税务申报单,非家庭单位,且战前纳税比例低(如1940年前常不足10%),影响上层收入份额估计。

- Piketty和Saez的调整使用1942年战争时期样本比率作为代理,存在高估的风险,Geloso等人提出用1941年(和平年)更大且全面的样本数据修正,调整幅度减半。
  • 1944年之前,IRS报告净收入数据(扣除减免),需转化为调整后总收入(AGI),Piketty和Saez使用固定比例,Geloso团队用多渠道政府数据证实P&S估计存在偏差。

- 对收入分母的处理,Piketty和Saez用将非申报者分配平均收入的方式,Geloso等则做行级数据核对,显示结果存在显著差异。
  • 报告综合使用Piketty & Saez(2003)和Geloso等人(2022)两个数据集,避免对“哪个数据集正确”争议的直接介入,强调两者均未考虑插值方法差异,且对插值方法调整响应类似[page::3,4]。


2.2 Pareto插值法(PI)


  • 依据IRS分组统计数据和收入门槛,使用顶层尾部的帕累托分布假设构建分布函数。

- 关键变量计算:用比例$bk$(平均收入与阈值比)和对应的帕累托指数$ak$。
  • 通过设定近似的顶端人群比例$p$,按局部帕累托指数调整门槛阈值据以推算收入总额及收入份额。

- PI方法相对简单,能够确保当数据类别比例恰好匹配时结果精确($S(pk)=Sk$),相比先前方法是改进,但对局部帕累托指数的假设敏感,若指数随收入层变动则会有系统性偏误[page::5,6,7]。

2.3 最大熵法(ME)


  • 基于非参数密度估计,利用卡方散度(Kullback-Leibler散度)最小化原则估计收入分布,满足分组数据的累计人数和收入均值约束。

- 结果是一个连续分段的指数型密度函数,灵活拟合不同收入组的分布情况,无需局限于帕累托尾部假设,更能反映中间与上层多元特征。
  • 通过优化过程同时调整未知的收入分类阈值,实现数据的自适应拟合。

- 理论上,随着样本增大和阈值细化,估计密度将趋近真实收入密度,且方法已被证明存在强收敛性。
  • 作者提供开源代码实现,方便实证重复和扩展应用[page::7,8]。


3. 插值精度比较(第3节)


  • 理论上,ME无需参数假设优势明显,能够估计全样本分布,但因只用局部信息,极端尾部估计时样本有效量减少,方差可能较大。

- PI在假设满足时简单且参数稀少表现优,但表现优劣依赖于真实分布与假设吻合程度。
  • 现实数据中PI的局部帕累托指数随收入门槛变化,说明假设违背,预示估计偏误。

- Piketty和Saez以1966-1995微文件数据检验PI准确性,宣称误差不超1%。但IRS分类数随时间大幅变动——1960年代后期增至30多个班次,有利于 PI 的准确度;而1917-1965分类数波动大、较少,PI或受限严重。
  • 作者用Figure 1展示了1917-1995年IRS收入类别数量的波动趋势,证明1966年后PI的验证样本环境远较之前优越,因此推断1917至1965年PI的适用条件较差,需谨慎看待该时期PI估计[page::9,10]。


4. 实证比较实证检验(第3节)


  • Figure 2揭示PI选择用于估算的收入类别与目标分位点间的距离误差不均,且呈时间序列上的系统性偏差,该偏差对估计不平等产生系统误导,且负误差产生的过高估计比正误差导致的低估更严重。

- 以1966-1995微文件为“真值”,计算PI和ME的相对误差(Figure 3),结果显示ME在Top10% 上相对误差更小(均方误差0.0013比0.0026),Top1% 上二者表现相当。
  • Figure 4和Figure 5对比1917-1965年PI与ME对Top10%与Top1%收入份额的计算。二者1920-30年代差异不大,1940年代开始分歧明显,分组少、偏差大,PI低估程度加深。

- ME推断的1940年代至1960年代的不平等水平普遍高于PI,表明“黄金时代”的不平等程度被历史估计低估,暗示1940后“黄金时代”并非理想的平等高峰。
  • 这与Geloso等人(2022)提出的修正理论相契合,即减少了U曲线“V”字形的深度,形态更像“浅茶碟”[page::11,12,13,14]。


5. 讨论与未来研究方向(第4,5节)


  • 作者指出,1940年代前税务系统覆盖和数据质量有限,实际不平等水平被高估,Smiley、Geloso和Holcombe等的研究支持这种质疑。

- 1943年税务拓展和预扣系统引入使得低收入群体被纳入,理应降低不平等,现有ME重估意味着这一影响较小,未来发展完善税后收入估计尤为关键。
  • 作者呼吁开发1940年代前后的后税收入不平等估计方法,可能揭示新的社会经济发展模式和阶层福利变化。

- 提出“最大熵-帕累托混合方法(MEPI)”,即用ME估计中间99%收入,PI估计最顶端1%,可平衡ME离散度,改进估计精度。
  • 这将为宏观经济学和经济史中关于收入不平等的研究提供新的工具和视角[page::15,16,17]。


---

三、图表深度解读



图表1(页面5)


  • 显示1920年IRS统计数据的部分样本,涵盖收入分组、人数、收入总额等。

- 计算框架清晰:各列依次为收入等级索引、收入阈值、该阈值以上纳税人数、该组收入总计、累计人口百分比及Pareto系数等。
  • 表中实测Pareto指数$ak$在不同收入范围波动,非常时期不同且非稳值,说明多区段多形态,支持PI方法有效性有局限性。

- 本表为理解PI核心数学机制提供了关键基础[page::5]。

图1(页面10)


  • 描绘1917年至1995年间,IRS统计报告中的收入类别数$K$的变动,横跨几个关键历史时期。

- 1917到1940年代初类别数量多在35-50,随后在二战及其后期骤降至20-30,60年代后逐渐回升。
  • 类别数量变化反映数据质量和详细程度波动,类别减少导致PI估计偏差增大,支持本文核心修改观点。

- 竖线标明1966年微文件数据可用前后断点,加深对数据质量迭代的理解[page::10]。



图2(页面12)


  • 分别绘制Top10%和Top1%聚类阶层所选的$pk$与目标$p$的差异,反映选取类别名义分位和真实意图分位的偏差。

- Top10%左图显示1917-1943年多偏向选取过大比例群体,负误差反而导致不平等估计过高,非对称偏差影响估计稳定性和趋势判断。
  • Top1%右图则多为低估$(p_k

- 该图揭示PI估计中不连续、不一致的做法对长期数值影响非随机,可能出现累积偏差[page::11,12].



图3(页面13)


  • 对比1966至1995年间,使用微文件所得真值,与PI和ME方法所得的估计误差率。

- ME在Top10%分组中误差均值低于PI,Top1%表现相当但ME稍优,验证ME方法在细节上更贴近真实分布。
  • 误差幅度变化随年份有序,使人信服ME提升带来的精度优势。

- 用微文件数据信誉验证,增强论文主张的说服力[page::13].



图4和图5(页面14)


  • 两图分别展示对1917-1965年间Top10%和Top1%的收入份额估计,左侧为Piketty和Saez数据,右侧为Geloso等数据。

- 曲线对比显示两方法在1920-30年代一致,但1940年代以后ME估计收入份额持续高于PI,差距显著,显示传统方法低估了当时顶端收入份额。
  • 该趋势强化了“黄金时代”不平等程度更高和整体曲线更平缓的观点,降低传统文献对U形曲线谷底的信心。

- 明确量化数据和图形对应关系,以支持论点[page::13,14].




---

四、估值分析(估计方法对比)


  • 报告无财务估值分析,是纯经济历史定量方法论研究。

- 仅涉及两种估算方法:
- Pareto插值法(PI): 基于尾部假设的参数模型估计,简洁直观但敏感于插值区间选择,参数均假设局部稳定,适合极端收入层。
- 最大熵法(ME): 非参数估计,利用分段指数型分布以满足原始分组数据约束,灵活捕捉更多数据特征,减少模型假设偏差。
  • 基于数据充分性及样本范围选择,作者未来建议混合方法“MEPI”,平衡两者优缺点。

- ME强化了历史收入分布估算精度,对经济史学和收入不平等政策研究影响深远[page::7,8,16,17]。

---

五、风险因素评估


  • 报告虽未专门设立风险章节,但潜在风险和限制点隐含于分析中:

- 税务数据基础的局限:1917年至1943年间数据覆盖率差、纳税申报非强制、执行力弱,导致低收入层面数据缺失或失真,收入分配估计可能偏高。
- 插值方法自身偏差:PI方法在分类数少时偏差显著,ME方法虽更精确,但极端顶端(例如顶0.01%)由于“局部”有限样本,方差和估计不确定性较大。
- 数据修正和参数选择的主观性:如采用1942年战争样本校正1940年前结婚户比例、净收入转AGI比例的估计,以及收入分母的处理存在不同研究之间的争议。
- 插值类别节点选择的非规则性:不同年份选择参考类别不一致,有系统非随机偏差,影响趋势判断。
  • 对缓解策略,作者提议利用ME方法减少插值结构性误差,并结合更丰富微观数据促进估计准确度,呼吁开发前税后收入分布估计模型,体现对未来研究路径的认可[page::3,10,15,16]。


---

六、批判性视角与细微差别


  • 报告整体严谨,扎根已有文献及公开数据,采用创新方法补充传统分析视角,充分体现学术创新。

- 其可能存在的潜在偏见为:
- 过分依赖ME方法计算优势,ME本身对极端尾部的表现虽提及可能方差较大,但未深入定量讨论此风险对整体趋势识别的影响程度。
- 对数据质量的批评主要针对1940年以前,但对二战后数据质量提升与方法适用性的平衡涉及较少,存在假设数据一贯适用性不足的风险。
  • 报告在不同数据源(Piketty-Saez vs Geloso等)的比较中表现出兼容性,但未完全探索不同调整策略对插值方法敏感程度的交叉应验。

- 插值方法选择对历史收敛数据的微妙影响值得未来进一步验证,尤其在低收入纳税未覆盖及税法变化的制度影响方面,仍需补充经济计量或结构模型支持。

---

七、结论性综合



此篇报告通过引入“最大熵法”(ME),对美国1917年至1965年基于IRS分组统计的收入不平等估计方法进行了关键性改进。研究发现:
  • 传统不可或缺的Pareto插值法在该时期数据报告粒度波动极大时,估计顶端收入份额存在系统性偏低,特别是1940年代至1960年代。

- 通过与1966年后拥有微观文件数据的事实值对比,验证ME方法在精确度方面明显优于PI,尤其是当IRS收入类别较少时更为显著。
  • ME法揭示1940年代至“黄金时代”期间的收入不平等水平高于传统估计,否定了“黄金时代”为强烈平等谷底的经典认知,从而使得广为接受的美国20世纪收入不平等“U形曲线”变得更加平缓,“深谷”更浅,整体曲线形态更像浅“茶碟”。

- 此发现有力支持近年对数据预处理、税务覆盖及地方生活成本调整的修正成果,呼应大萧条前后实际更显著的平等化过程,而非战时税基扩展的冲击造成。
  • 报告不仅对经济史研究有重要影响,也对政策解读、历史财富分配结构、税收改革的历史效果评价提供了新的视角。

- 作者建议未来研究可采用混合ME-PI方法,扩展至税后收入估计,以更全面理解收入结构转型与福利分配的动态演进。

本报告结合详实数据表(如1920年分组样本表)、多幅重大图表(收入类别数变化图、插值偏差图、相对误差对比图、收入份额演进图)系统支撑了其核心结论,方法科学,结论具有高度说服力。[page::0-24]

---

参考文献部分与附录数据详尽,论证背景稳固,为本研究提供扎实的实证基础,增强可复制性与学术价值。



---

总结



本报告是一份高质量经济历史研究,集中论述了美国20世纪前中期收入不平等估计的核心计量问题,通过引入创新的最大熵方法极大提升了传统估计的准确度与科学性,重塑了经典经济不平等曲线的形态认知,其研究成果不仅富有理论价值,也有助于当代经济政策和学术研究对历史趋势的重新解读,具有较高的学术贡献和实际意义。

报告