针对有限的样本量偏差校正了 KL 散度

KL divergence corrected for limited sample size bias

提问人:ridul 提问时间:9/29/2023 更新时间:9/29/2023 访问量:23

问:

我有一个参考分布 R,我从中采样以创建不同样本大小的分布。这些新分布具有相同的维度,但具有不同数量的数据点。当我计算这些样本分布的 KL 散度时,P 和 R 是不同的。当样本量较大时,KL 接近 0,当样本量较小时,KL 较大。因此,Kl 的差异来自有限的样本量。如何消除此错误并获得校正的 KL 背离?我也没问题,没有得到校正的KL,但由于样本量小而得到不确定性。

我尝试过 Miller Madow 方法,但我不确定如何在 KL 中实现它。

Python 统计 交叉熵 线程发散

评论

0赞 Cow 9/29/2023
请分享您尝试过的代码,然后我们可以帮助您排除故障并更好地了解您遇到的问题。请记住添加与您的尝试有关的任何特定信息或错误。要了解有关 Stack Overflow 社区如何为您提供帮助的更多信息,请观看阅读如何提问
0赞 Community 9/29/2023
请提供足够的代码,以便其他人可以更好地理解或重现问题。

答: 暂无答案