Maximizing the Bregman divergence from a Bregman family
最大化指数族的信息分歧的问题被推广到设置Bregman分歧和适当定义的Bregman族。
2020-01-23 cs.IT math.IT
Revisiting Chernoff Information with Likelihood Ratio Exponential Families
两个概率测度之间的Battleff信息是测量它们的偏差的统计分歧，定义为它们的最大偏斜巴塔查里亚距离。虽然最初在统计假设检验中引入了离散信息来限制贝叶斯误差，但由于其在从信息融合到量子信息的应用中发现的经验鲁棒性，该发散发现了许多其他应用。从信息论的观点来看，B-S信息也可以解释为Kullback-Leibler散度的极小极大对称化.在本文中，我们第一次重新审视的可测Lebesgue空间的两个密度之间的Bubloff信息，考虑其几何混合诱导的指数族：所谓的似然比指数族。其次，我们展示了如何（i）精确求解任意两个单变量高斯分布之间的Beschoff信息或使用符号计算得到一个封闭形式的公式，（ii）报告具有标度协方差矩阵的中心高斯分布的Beschoff信息的封闭形式的公式，以及（iii）使用一个快速的数值方案来近似任意两个多变量高斯分布之间的Beschoff信息。
2022-08-05 cs.IT math.IT
Alpha/Beta Divergences and Tweedie Models
我们描述了潜在的概率解释的α和β的分歧。我们首先表明，β发散是固有的Tweedie分布，一种特殊类型的指数家庭，被称为指数分散模型。从Tweedie模型的方差函数出发，我们概述了如何得到作为Csiszár的$f$和Bregman发散的特殊情况的α和β发散。这一结果直接将高斯分布和最小二乘估计之间的关系推广到Tweedie模型和β散度最小化。
2012-09-19 cs.IT math.IT math.ST
Sequences of Inequalities Among New Divergence Measures
在信息论和统计学的文献中，存在三种经典的分歧度量。这就是Jeffryes-Kullback-Leiber J-发散。Sibson-Burbea-Rao Jensen-Shannon散度和Taneja算术-几何平均散度。这三个措施承担一个有趣的相互关系，并基于对数表达式。像海灵格歧视，对称卡方发散，三角歧视的分歧措施也是已知的文献中，并不是基于对数表达式。过去几年Dragomir等人，Kumar、Johnson、Jain和Srivastava研究了不同类型的散度测度。本文提出了一些新的发散测度，得到了与这些新测度有关的不等式，并与以前的结果进行了联系。还介绍了指数发散的概念。
2011-09-26 cs.IT math.IT
A note on some information-theoretic divergences between Zeta distributions
我们考虑zeta分布，这是离散的幂律分布，可以解释为对应的连续帕累托分布与单位尺度。zeta分布族形成离散指数族，其归一化常数使用黎曼zeta函数表示。我们报告了几个zeta分布之间的信息论措施，并研究其潜在的信息几何。
2022-06-23 cs.IT math.IT
Information measures and geometry of the hyperbolic exponential families of Poincaré and hyperboloid distributions
本文研究庞加莱与双曲面分布的信息度量和几何，证明其混合模型为通用密度估计器，给出闭式公式及蒙特卡洛估计方法。
2024-11-25 cs.IT math.IT
Seven Means, Generalized Triangular Discrimination, and Generating Divergence Measures
Eve（2003）从几何的角度研究了七种平均数。这些平均值是调和、几何、算术、Heronian、反调和、均方根和质心平均值。我们第一次考虑了一种称为广义三角歧视的新措施。非负差异之间的不平等，由于七个手段和特殊情况下的广义三角歧视被认为是。给出了一些新的生成测度及其指数表示。
2012-03-13 cs.IT math.IT
Tsallis and Rényi deformations linked via a new $λ$-duality
察利斯熵和雷尼熵是彼此的单调变换，是著名的香农熵的变形。这些变形熵的最大化，在适当的约束下，导致$q$ -指数族，它在非广延统计物理，信息论和统计中有应用。在以往的信息几何研究中，$q$ -指数族是用经典的凸对偶和Bregman发散来分析的。本文证明了广义$λ$ -对偶（其中$λ= 1 - q$是常信息几何曲率）导致一个广义指数族，它与$q$ -指数族本质等价，并与Rényi熵和最优输运有着深刻的联系.使用这种广义凸对偶及其相关的对数发散，我们表明，我们的$λ$ -指数家庭满足的属性，平行和推广的指数家庭。在我们的框架下，Rényi熵和发散自然产生，我们给出了$q$ -指数族的Tsallis/Rényi熵极大化性质的一个新的证明.我们还引入了一个$λ$ -混合族，它可以看作是$λ$ -指数族的对偶，并将它与其它混合型族联系起来.最后，我们讨论了$λ$ -指数族和$λ$ -对数发散之间的对偶性，并研究了其统计后果。
2022-01-13 cs.IT math.IT math.PR
Bregman-divergence-guided Legendre exponential dispersion model with finite cumulants (K-LED)
School of Liberal Arts, Korea University of Technology and Education（韩国技术教育大学文理学院）
Exponential dispersion model is a useful framework in machine learning and statistics. Primarily, thanks to the additive structure of the model, it can be achieved without difficulty to estimate parameters including mean. However, tight conditions on cumulant function, such as analyticity, strict convexity, and steepness, reduce the class of exponential dispersion model. In this work, we present relaxed exponential dispersion model K-LED (Legendre exponential dispersion model with K cumulants). The cumulant function of the proposed model is a convex function of Legendre type having continuous …
2019-10-04 cs.CV cs.IT cs.LG
Logarithmic divergences from optimal transport and Rényi geometry
散度，也称为对比函数，是定义在非负或概率测度流形上的类距离量。利用最优输运中的对偶性，我们引入并研究了单参数$L^{(\pm α)}$ -发散族。它包括对应于欧几里德二次成本的Bregman发散，以及由Jesus和作者在与投资组合理论和对数成本函数有关的情况下引入的$L$ -发散。它们承认与$α$ -族和$q$ -指数族密切相关的指数族的自然推广。特别地，相应的势函数的$L^{(\pm α)}$ -发散是Rényi发散。利用这个统一的框架，我们证明了诱导几何是对偶射影平坦的常数截面曲率，和广义勾股定理成立。相反，我们表明，如果一个统计流形是对偶射影平坦的常曲率$\pm α$与$α> 0$，那么它是局部诱导的$L^{(\mp α)}$ -发散。在这方面，我们定义了一个典型的发散扩展的对偶平坦流形。
2018-09-04 cs.IT math.IT math.PR
Lower bounds on Information Divergence
在本文中，我们建立的信息发散的下限从一个分布到某些重要的类的分布，如高斯，指数，伽玛，泊松，几何和二项式。这些下界是紧的，并且对于可以计算收敛速度的几个收敛定理，这个速度由本文证明的下界确定。一般技术得到下界的时刻。
2011-02-12 cs.IT math.IT math.PR
Exponentially concave functions and a new information geometry
一个函数是指数凹的，如果它的指数是凹的。考虑单位单形上的指数凹函数。在以前的文件中，我们表明，梯度映射的指数凹函数提供解决方案的Monge-Kantorovich最优输运问题，并给出一个更好的梯度近似比普通的凹函数。近似误差，称为L-发散，不同于通常的Bregman发散。利用信息几何和最优输运的工具，我们证明了L-发散在由黎曼度量和一对定义了两种测地线的对偶耦合仿射联络组成的单纯形上诱导出一个新的信息几何.我们证明了诱导几何是对偶射影平坦的，但不是平坦的。然而，我们证明了一个类似的著名的广义勾股定理从经典的信息几何。另一方面，我们考虑位移插值下的拉格朗日积分作用，这是一致的最优输运问题，并表明行动最小化曲线的对偶测地线。勾股定理也被证明有一个有趣的应用，确定最佳的交易频率在随机投资组合理论。
2017-05-31 cs.IT math.IT math.PR
The exponential family of Markov chains and its information geometry
本文引入了马氏链指数族的一个新定义，并证明了通常的指数族概率分布的许多特征性质可以适当地推广到马氏链。信息几何的方法被有效地应用到我们的框架，这使得我们能够从微分几何的观点来刻画马尔可夫链的发散率。
2017-01-22 cs.IT math.IT
Projection Theorems for the Rényi Divergence on $α$-Convex Sets
研究了$α\in (0, \infty)$阶Rényi发散在$α$ -凸集上的正投影和反投影. Tsallis { \em et al.}的一些工作激发了在这样一个集合上的前向投影。在统计物理学中，反向投影的动机是稳健的统计。在最近的工作中，van Erven和Harremoës在前向投影存在的假设下证明了$α$ -凸集上Rényi发散的一个勾股不等式.继续这项研究，前向投影存在的一个充分条件，证明了一般字母表上的概率测度。对于$α\in (1, \infty)$，证明依赖于一个新的Apollonius定理的海林格分歧，并为$α\in (0,1)$，证明依赖于巴拿赫Alaoglu定理从功能分析。进一步的投影结果，然后获得在有限的字母设置。这些包括一个投影定理对一个特定的$α$ -凸集，这是所谓的{ \em $α$ -线性家庭}，推广的结果由Csiszár为$α\neq 1$。这个问题的解决方案产生了一个参数族的概率测度，原来是一个扩展的指数族，它被称为{ \em $α$ -指数族}。建立了$α$ -指数族与$α$ -线性族之间的正交关系，并利用该正交关系将$α$ -指数族上的反向投影转化为$α$ -线性族上的正向投影.本文还证明了计算有限个$α$ -线性族的交上的正投影的迭代过程的收敛性结果。
2016-07-26 cs.IT math.IT math.PR
Amortized Channel Divergence for Asymptotic Quantum Channel Discrimination
众所周知，对于有限非渐近区域中经典信道和量子信道的区分，自适应策略可以给出优于非自适应策略的优势。然而，Hayashi [IEEE Trans. Inf. Theory 55（8），3807（2009）]表明，在渐进机制中，经典信道区分的指数错误率在自适应设置中没有得到改善。我们以几种方式扩展这个结果。首先，我们建立了强Stein引理的经典-量子信道的证明，渐近的指数错误率的经典-量子信道的歧视是没有改善的自适应策略。其次，我们恢复许多其他类别的自适应策略不导致渐近优势的渠道。第三，我们给出了一般渐近量子信道鉴别的自适应协议的功率的各种逆界。有趣的是，自适应协议是否可以改善非对称Stein设置中量子信道鉴别的指数错误率仍然是开放的。我们的证明是基于摊销的量子信道，我们分析使用数据处理不等式的可扩展性的概念。
2020-06-18 cs.IT math.IT quant-ph
Cumulant-free closed-form formulas for some common (dis)similarities between densities of an exponential family
Sony Computer Science Laboratories, Inc.（索尼计算机科学实验室公司）；CSIRO Data61（澳大利亚联邦科学与工业研究组织Data61）；Australian National University（澳大利亚国立大学）
众所周知，属于同一指数族的密度之间的Bhattacharyya，Hellinger，Kullback-Leibler，$α$ -分歧和Jeffreys分歧具有依赖于表征指数族的严格凸和实解析累积量函数的通用闭合形式公式。在这项工作中，我们报告（dissimilarity）公式绕过明确使用的累积量函数，并突出了准算术平均和他们的多元平均算子扩展的作用。在实践中，这些无累积量的公式是方便的，当使用传统的应用程序编程接口（API）实现这些（差异）的相似性，因为我们的方法只需要部分因式分解所考虑的指数族的密度规范。
2020-04-07 cs.CV cs.IT cs.LG
The exponential family in abstract information theory
我们介绍了广义的概念的发散函数和Fisher信息矩阵。我们建议推广指数族模型的概念，重新制定它的Fisher信息矩阵。我们的方法是那些信息几何。上下文足够通用，可以包括来自外部统计的应用程序。
2013-02-21 cs.IT math-ph math.IT
On Bregman Distances and Divergences of Probability Measures
本文介绍了比例Bregman距离的概率分布，承认非均匀的观测事件的贡献。它们以一般形式引入，不仅包括离散和连续随机观测的距离，而且还包括随机过程和信号的距离。结果表明，标度Bregman距离不仅扩展了以往文献中研究的经典Bregman距离，而且扩展了信息散度和相关的更广泛的一类概率测度凸散度.建立了一个信息处理定理，但仅限于相对论不变性的意义。统计上充分的变换，而不是在意义上的普遍单调性。病理情况下，编码可以增加经典的Bregman距离说明了一个具体的例子。除了Bregman距离和凸发散的经典应用领域，如识别，分类，学习和评估各种特征和信号的接近度外，本文还提到了3D探索性数据分析中的一个新应用。显式表达式的缩放Bregman距离一般指数家庭，具体应用在二项式，泊松和瑞利家庭，并在家庭的指数过程，如泊松和扩散过程，包括经典的例子，维纳过程和几何布朗运动。
2011-10-05 cs.IT math.IT math.PR
On the Renyi Divergence, Joint Range of Relative Entropies, and a Channel Coding Theorem
本文首先考虑的Renyi散度的最小化的总变化距离的约束。当$P_1, P_2, Q$为任意概率测度且相互绝对连续，且$P_1$和$P_2$之间的总变差距离不小于给定值时，基于该优化问题的解，确定了点$\bigl( D(Q\|P_1), D(Q\|P_2) \bigr)$的精确轨迹.它进一步表明，这个凸区域的所有点是由概率措施，这是定义在一个二进制字母表。这种表征产生的最小的adjacent信息的几何解释的总变化距离的约束。本文还导出了二元线性分组码（或码集成）在最大似然译码下性能的指数上界。它的推导依赖于Gallager边界技术，它再现了Shulman-Feder边界作为一个特例。的约束表示在Renyi发散的规范化的距离谱的代码（或合奏的平均距离谱）的二项式分布的距离谱的能力，实现合奏的随机分组码。该指数界限提供了二进制线性分组码（或码集合）的性能退化的定量测量，作为它们的距离谱与二项分布的偏差的函数。被认为是一个有效的使用这个界限。
2015-10-26 cs.IT math.IT math.PR
Universal Outlying sequence detection For Continuous Observations
研究了存在样本的$M$序列，需要从其中检测出一个离群序列的检测问题。每个典型序列包含独立同分布（i.i.d.）的$n$。来自已知分布$π$的连续观测，并且离群值序列包含$n$ i.i.d.来自离群值分布$μ$的观测，其不同于$π$，但在其他方面未知。建立了一种基于KL散度的通用检验方法，用于近似最大似然检验，其中包含已知的$π$和未知的$μ$ .基于数据依赖的分区KL散度估计。当密度比满足$0<K_1\leq \frac{dμ}{dπ}\leq K_2$，其中$K_1$和$K_2$是正常数时，这种KL散度估计量以指数形式快速收敛到其真值，这进一步表明检验是指数一致的.测试的性能进行了比较，最近推出的测试这个问题的基础上的最大均值差异（MMD）的机器学习方法。我们确定的KL分歧为基础的测试制度是优于MMD为基础的测试。
2015-10-07 cs.IT math.IT math.ST
On Minimum Divergence for Distribution Reconstruction
ENS de Lyon（里昂高等师范学院）
该研究探讨分布重构的最小散度问题，发现KL散度是唯一满足熵适配性的C²型f-散度，替换为其他光滑f-散度会丧失最佳近似性质，且通过数值示例验证了该结论。
2026-10-16 cs.IT math.IT math.ST
Cramér-Rao Lower Bounds Arising from Generalized Csiszár Divergences
本文研究了广义Csiszár $f$ -发散族的概率分布几何。相对$α$ -熵是这个家族的一员，它也是信息论中相对熵的Rényi模拟，在统计学中被称为对数或投影功率发散。我们应用江口的理论推导出Fisher信息度量和对偶仿射连接所产生的这些广义发散函数。这使我们能够得到一个更广泛适用的克拉美-拉奥不等式，它为潜在参数概率分布的护送估计量的方差提供了一个下界。然后，我们扩展Amari-Nagaoka的双平坦结构的指数和混合模型的其他分布相对于上述广义度量。我们表明，这些配方使我们找到无偏和有效的估计护送模型。最后，我们比较了我们的工作与以前的结果，来自非信息几何框架的广义Cramér-Rao不等式。
2020-05-24 cs.IT eess.SP math.IT
