Note on Selection Bias in Observational Estimates of Algorithmic Progress
创建于 更新于
摘要
本报告针对Ho et al. [2024]关于语言模型算法进步的估计方法，指出由于计算资源选择内生于算法质量可能存在选择偏差，导致算法进步率被高估。通过理论推导及蒙特卡洛模拟验证，发现正相关时算法进步被低估，负相关时被高估，实际估计值可能偏离真实值近九倍。报告建议采用实验法或工具变量解决内生性问题[page::0][page::1][page::2][page::3][page::4][page::5]。
