Reality Check: A New Evaluation Ecosystem Is Necessary to Understand AI’s Real World Effects
创建于 更新于
摘要
本报告指出传统AI评估方法侧重模型堆栈内的第一阶效果，难以触及AI的第二阶效应（如社会、经济和文化影响）。提出建立新的评估生态系统，通过融合测量科学、社会行为科学和AI/ML技术，实现对AI在真实环境中长期影响的综合测量。重点介绍构建真实世界情境感知、开展现场测试和红队攻击等方法，推动面向多方利益相关者的全面AI评估体系建设，为更有效监管和治理AI提供科学依据[page::0][page::1][page::2][page::4][page::6][page::8]。
