Semantic Faithfulness and Entropy Production Measures to Tame Your LLM Demons and Manage Hallucinations
创建于 更新于
摘要
本文提出两类无监督、可计算的LLM可信度度量：基于话题转移矩阵的语义忠实度（SF），通过在给定QCA（三元组）边际约束下最小化转移矩阵之间的KL散度并映射到[0,1]，以及基于随机热力学的语义熵产生（SEP）作为答案生成的不可逆性度量；两者可联合用于检测和控制幻觉，并在NVIDIA 2024年10-K摘要任务上进行了实验验证，显示SF与SEP相关但不冗余，应并行计算以获得综合评估 [page::0][page::11][page::12]
