Reproducibility is not construct validity: LLM measurement of institutionally situated communication
创建于 更新于
摘要
本文以欧盟人工智能法案咨询为案例，连接同一利益相关者的公开文本与结构化问卷，检验大语言模型测量的可重复性与构念效度是否一致。研究发现，五次独立标注的组内相关系数超过0.994，但文本评分与问卷测量的相关性很弱，表明高度稳定的LLM标注并不等同于有效捕捉目标构念 [page::1][page::5][page::6]。文本—问卷差异具有显著的利益相关者类型和地理聚集特征，商业协会在公开文本中对AI风险的强调明显高于问卷回答，而公共机构则相反；同时，问卷中的安全担忧与可解释性支持之间的关系在不同差异水平下仍然稳健 [page::8][page::9][page::10]。研究据此强调，LLM处理制度化公共沟通时，测量的不仅是潜在态度，也包括组织角色、受众激励和沟通语境。
