arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2603.04530cs.LOcs.ITmath.CTmath.IT
收藏

相对熵的完整图示公理化体系

Complete Diagrammatic Axiomatisations of Relative Entropy

University College London(伦敦大学学院)

Ralph Sarkis, Fabio Zanasi

AI总结:

本文从范畴论角度提出相对熵的完整图示公理化体系,通过量化单子代数框架,为随机矩阵的克罗内克积和直接和结构建立了Rényi散度的公理化理论。

摘要:

相对熵是概率分布之间的一种基本距离类,广泛应用于概率论、统计学和机器学习中。在本工作中,我们从范畴论的角度研究相对熵,将其视为随机矩阵范畴的量化增强。我们考虑了随机矩阵上的两种自然单子结构,即克罗内克积和直接和。我们的主要成果是针对每种结构,对Kullback-Leibler散度以及更一般的任意阶Rényi散度进行了完整的公理化。我们的公理化理论是在量化单子代数框架内,使用带有量化方程的图示语言进行表述。

英文摘要:

Relative entropy is a fundamental class of distances between probability distributions, with widespread applications in probability theory, statistics, and machine learning. In this work, we study relative entropy from a categorical perspective, viewing it as a quantitative enrichment of categories of stochastic matrices. We consider two natural monoidal structures on stochastic matrices, given by the Kronecker product and the direct sum. Our main results are complete axiomatisations of Kullback-Leibler divergence and, more generally, of Rényi divergences of arbitrary order, for each such structure. Our axiomatic theories are formulated within the framework of quantitative monoidal algebra, using a graphical language of string diagrams enriched with quantitative equations.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑