Measuring Concept Content in Text from LLM Activations: ESG Evidence from Concept Vectors and Linear Probes
创建于 更新于
摘要
本文研究如何利用冻结大语言模型的内部激活来度量文本中的ESG概念内容，并比较线性探针、RFM概念向量、嵌入模型及传统表面特征的效果。结果显示，线性探针无需任务特定微调即可接近微调分类器，在环境、社会和治理数据集上的准确率差距分别为0.6、1.0和2.1个百分点；其在12次比较中有11次优于模型自身的问答输出。RFM方法虽然分类表现较弱，但能够生成连续概念强度分数，未来仍需带有等级标签的数据验证。[page::1][page::6][page::7][page::13]
