Asymptotic and finite-sample distributions of one- and two-sample empirical relative entropy, with application to change-point detection
创建于 更新于
摘要
本文系统研究一样本与两样本经验相对熵的分布性质，证明在常见离散情形下2n·D_KL的渐近极限为χ^2_{k-1}并给出二阶近似的Berry–Esseen型先验界，用于改进小样本变点检测的阈值设定 [page::4]. 报告还比较并给出若干有限样本的浓缩不等式（包括Sanov、Mardia与Agrawal类界），并将两样本浓缩界用于变点检测的保守阈值构造 [page::6][page::7]. 大量模拟与实证（气候温度与金融波动率序列）表明：渐近近似在中大样本下已很精确，而Agrawal类浓缩界在小样本/尾部场景提供了更有用的保守界限；相对熵基于分布的检验在若干场景中优于基于矩或AIC的方法 [page::11][page::19][page::23].
