Topic Identification in LLM Input-Output Pairs through the Lens of Information Bottleneck

创建于 2025-09-05T09:24:13.018694+08:00 更新于 2025-09-05T09:41:43.408460+08:00

摘要

本文提出了一种基于确定性信息瓶颈（DIB）的主题识别算法UDIB，解决了高维数据中KL散度难以计算的问题，实现了对LLM提示与响应嵌入的联合聚类。该方法通过信息熵正则化实现模型简化和最优主题数选择。实验表明UDIB生成的主题较传统聚类方法更具信息性和解释力，显著提升了语义漂移检测的敏感度和鲁棒性，促进了LLM错误模式分析与评估的准确性[page::0][page::3][page::5][page::7][page::16][page::17]

速读内容

深度阅读