Prompt-Response Semantic Divergence Metrics for Faithfulness Hallucination and Misalignment Detection in Large Language Models
创建于 更新于
摘要
本文提出了一种轻量级的语义偏差度量框架（Semantic Divergence Metrics, SDM），用于检测大型语言模型（LLM）回答中的忠实度幻觉（confabulations），即回答与输入语义严重偏离导致的错误。SDM通过多重等义改写提示和对应的多次回答，构建联合句子嵌入聚类，测量提示与回答的主题分布差异，结合Jensen-Shannon散度和Wasserstein距离，形成综合的语义不稳定性评分$S_H$，显著优于传统语义熵方法，且辅助KL散度揭示生成内容的语义探索程度，最终构建“语义盒子”框架分类不同类型的回答行为，能有效识别稳定的事实回复、解释性回答、创造性生成以及危险的自信错觉。大量实验验证了方法对多种提示类型的响应稳定性和语义一致性的敏感度及诊断能力[page::0][page::1][page::11][page::15][page::17][page::20]
