arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2404.02167cs.ITmath.IT
收藏

关于条件熵的一点注记

A remark on conditional entropy

Adam Wang

AI总结:

本文证明序列条件熵几乎时间反演不变,仅相差由前向与后向模型决定的小常数因子,并据此提出量化可学习性的数值及控制数据集分布偏移的方法。

摘要:

以下注记证明了一个序列的条件熵几乎具有时间反演不变性,具体而言,它们仅相差一个小的常数因子,该因子仅取决于计算熵时所依据的前向模型与后向模型。由此产生了一个用于量化可学习性的数值,以及一种用于控制数据集之间分布偏移的方法。文中为实践者给出了粗略的指导原则。

英文摘要:

The following note proves that conditional entropy of a sequence is almost time-reversal invariant, specifically they only differ by a small constant factor dependent only upon the forward and backward models that the entropies are being calculated with respect to. This gives rise to a numerical value that quantifies learnability, as well as a methodology to control for distributional shift between datasets. Rough guidelines are given for practitioners.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑