Johannes Rauh, František Matúš
The problem to maximize the information divergence from an exponential family is generalized to the setting of Bregman divergences and suitably defined Bregman families.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
Equivalence of Informations Characterizes Bregman Divergences
本文证明Bregman散度是唯一能使加权向量集合中两种信息内容表述对任意集合均达成一致的散度类，从而给出其理论刻画。
Curved representational Bregman divergences and their applications
本文定义了曲率Bregman散度，并探讨其在对称Bregman散度、点wise对称Bregman散度及Kullback-Leibler散度等中的应用，同时介绍了如何通过单调嵌入定义表示性曲率Bregman散度，并展示了α-散度的计算方法。
Functional Bregman Divergence and Bayesian Estimation of Distributions
定义了一类包含平方误差和相对熵的函数Bregman发散。函数Bregman发散作用于函数或分布，并推广了向量的标准Bregman发散和以前定义的函数逐点Bregman发散。最近发表的一个结果表明，平均值最小化预期的布雷格曼分歧。新的功能定义，使这个结果的连续情况下，表明平均最小化预期的功能Bregman分歧超过一组功能或分布的扩展。它示出了这个定理如何适用于分布的贝叶斯估计。作为一个案例研究，估计的均匀分布，从独立和相同的抽样。
Symplectic Bregman divergences
本文提出辛向量空间中的辛Bregman散度，基于辛Fenchel-Young不等式与辛次微分，并证明其在对偶系统及内积导出情形下与普通Bregman散度的关系，探讨了其在几何力学、信息几何及机器学习中的潜在应用。
We first introduce the class of strictly quasiconvex and strictly quasiconcave Jensen divergences which are oriented (asymmetric) distances, and study some of their properties. We then define the strictly quasiconvex Bregman divergences as the limit case of scaled and skewed quasiconvex Jensen divergences, and report a simple closed-form formula which shows that these divergences are only pseudo-divergences at countably many inflection points of the generators. To remedy this problem, we propose the $δ$-averaged quasiconvex Bregman divergences which integrate the pseudo-divergences over a smal…
Generalized Statistics Framework for Rate Distortion Theory with Bregman Divergences
在Tsallis广义（非广延）统计量的范围内，给出了率失真（RD）理论在Bregman发散下的变分原理.建立了Tsallis-Bregman RD下界。替代最小化方案的广义Bregman RD（GBRD）理论推导。一个计算策略来实现GBRD模型。的GBRD模型的有效性举例说明与数值模拟的帮助。
The duo Bregman and Fenchel-Young divergences
通过计算不同指数族概率测度间的 KL 散度，提出推广的成对 Fenchel-Young 散度及其非负优化条件，证明其等价于成对 Bregman 散度，并应用于嵌套指数族及截断正态分布。
On conformal divergences and their population minimizers
总布雷格曼发散是最近对普通布雷格曼发散的一个调整，最初是由需要旋转不变性的应用所激发的。与普通的Bregman分歧相比，它们在几个聚类、计算机视觉、医学成像和机器学习任务上表现出了更好的结果。这些初步的结果提出了两个重要的问题：第一，报告这类总Bregman分歧的左，右人口最小的完整表征。第二，描述一个原则性的超集的总和普通的Bregman分歧具有良好的聚类性能，从中可以定制的分歧，以一个特定的应用程序的选择。在本文中，我们提供和研究这样一个超集有趣的几何特征，我们称之为共形发散，并专注于他们的左，右人口最小。我们的结果是在最近创造的$(u, v)$几何结构，这是一个推广的对偶平坦仿射连接信息几何。我们分析和几何特征的人口最小。我们证明了共形发散（分别）。总Bregman分歧）基本上是详尽的，为他们的左（分别。右）人口最小化。我们进一步报告了新的结果，并扩展了以前的结果的鲁棒性的左，右人口最小值，并讨论了聚类中的$(u, v)$几何结构的作用。另外的结果也给出。
Generalized Bregman and Jensen divergences which include some f-divergences
本文通过推广Bregman发散和斜Jensen发散的定义，引入了新的发散类.这些新的发散类（g-Bregman发散和斜g-Jensen发散）满足一些类似于Bregman发散或斜Jensen发散的性质。我们发现这些g-发散包括属于一类f-发散的发散（Hellinger距离，卡方发散和α-发散除了Kullback-Leibler发散）。此外，我们还得到了g-Bregman发散与斜g-Jensen发散之间的一个不等式，并证明了这个不等式是Lin不等式的推广.
Generalizing Jensen and Bregman divergences with comparative convexity and the statistical Bhattacharyya distances with comparable means
比较凸性是凸性依赖于抽象的平均值概念的一种推广。从比较凸性的角度定义了Jensen散度和Jensen多样性，并给出了广义Bregman散度作为斜Jensen散度的极限情形的证明.特别是，我们报告这些广义Bregman分歧时，考虑准算术平均值的明确公式。最后，我们介绍了一个推广的Bhattacharyya统计距离的基础上比较手段使用相对凸性。
Generalized Pinsker Inequality for Bregman Divergences of Negative Tsallis Entropies
本文提出了一种广义pinsker不等式，用于负tsallis熵生成的bregman散度，确定了最优常数并提供了sharp bound。
Transport information Bregman divergences
本文研究了$L^2$-Wasserstein空间中的Bregman散度，推导了传输KL散度及其对偶性，并给出一维概率密度与高斯族的解析公式。
Generalising maximum mean discrepancy: kernelised functional Bregman divergences
本文提出核化函数Bregman散度，用于函数空间中的统计与机器学习任务，通过希尔伯特空间和核方法提升估计与生成建模能力。
A loss function measures the discrepancy between the true values and their estimated fits, for a given instance of data. In classification problems, a loss function is said to be proper if a minimizer of the expected loss is the true underlying probability. We show that for binary classification, the divergence associated with smooth, proper, and convex loss functions is upper bounded by the Kullback-Leibler (KL) divergence, to within a normalization constant. This implies that by minimizing the logarithmic loss associated with the KL divergence, we minimize an upper bound to any choice of los…
Generalized Bregman Divergence and Gradient of Mutual Information for Vector Poisson Channels
我们调查之间的连接信息理论和估计理论的矢量泊松信道模型的数量。特别是，我们概括的梯度互信息相对于关键系统参数从标量到矢量泊松信道模型。我们还提出，作为另一个贡献，一个泛化的经典Bregman发散，提供了一种手段，封装在一个统一的框架下的梯度的互信息结果的标量和矢量泊松和高斯信道模型。所谓的广义Bregman发散也表现出各种性质类似的经典版本的属性。鉴于其在各个领域中的应用，矢量泊松信道模型引起了相当大的关注：例如，互信息的梯度的可用性可以与梯度下降方法结合使用，以在新兴的X射线和文档分类应用中实现压缩感测投影设计。
The Bregman divergence (Bregman distance, Bregman measure of distance) is a certain useful substitute for a distance, obtained from a well-chosen function (the "Bregman function"). Bregman functions and divergences have been extensively investigated during the last decades and have found applications in optimization, operations research, information theory, nonlinear analysis, machine learning and more. This paper re-examines various aspects related to the theory of Bregman functions and divergences. In particular, it presents many sufficient conditions which allow the construction of Bregman …
Bregman-divergence-based Arimoto-Blahut algorithm
本文将广义Arimoto-Blahut算法推广到Bregman散度系统，提出免最小化迭代算法，并应用于经典与量子率失真理论中最优条件分布的数值推导。
Scaled Bregman divergences in a Tsallis scenario
Tsallis统计量中的Kullback-Leibler散度（K-Ld）存在两种不同的形式，即通常的广义K-Ld和广义Bregman K-Ld。在试图调和它们时遇到了问题。借助于Tsallis统计量的可加对偶性，得到了这两种广义K-Ld-形式相容的条件。它还表明，通常的广义K-Ld服从这种加性对偶，称为对偶广义K-Ld，是一个标度Bregman发散。这导致了一个有趣的结论：对偶广义互信息是一个标度Bregman信息。这些结果的效用和影响进行了讨论。
Deformed Statistics Kullback-Leibler Divergence Minimization within a Scaled Bregman Framework
Tsallis统计中的广义Kullback-Leibler发散（K-Ld）[受广义统计的加性对偶（对偶广义K-Ld）的约束]在这里与正态平均定义的期望的Bregman发散理论在测度论框架内相一致。具体地说，它证明了对偶广义K-Ld是一个标度Bregman发散。毕达哥拉斯定理是从最小判别信息原理中推导出来的，它使用对偶广义K-Ld作为不确定性的度量，约束条件由正态平均值定义。对偶广义K-Ld的最小化，正常平均值的约束，表现出明显的独特功能。
Bregman divergence based em algorithm and its application to classical and quantum rate distortion theory
本文在 Bregman 散度框架下提出通用 em 算法，证明其收敛性与速度，并用于直接求解经典及量子率失真理论中代价约束下的互信息最小化问题。
Bregman-Hausdorff divergence: strengthening the connections between computational geometry and machine learning
本文提出Bregman-Hausdorff散度，将Hausdorff距离扩展到非对称Bregman散度空间，用于比较不同机器学习模型的概率预测，并综述了与Bregman几何兼容的计算几何算法。
Accelerated Bregmann divergence optimization with SMART: an information geometry point of view
本文从信息几何视角研究最小化Kullback-Leibler散度问题，通过将指数梯度方法解释为Bregman近端梯度法与黎曼梯度下降，实现了带约束的SMART加速迭代方案，并经大规模数值实验验证其有效性。
Learning Empirical Bregman Divergence for Uncertain Distance Representation
针对经典固定距离度量的深度度量学习捕捉复杂数据分布性能不佳的问题，提出从Bregman散度推导损失、用深度学习参数化凸函数来学习经验Bregman散度的新方法，在五个公开数据集上优于现有SOTA方法。
On Bregman Distances and Divergences of Probability Measures
本文介绍了比例Bregman距离的概率分布，承认非均匀的观测事件的贡献。它们以一般形式引入，不仅包括离散和连续随机观测的距离，而且还包括随机过程和信号的距离。结果表明，标度Bregman距离不仅扩展了以往文献中研究的经典Bregman距离，而且扩展了信息散度和相关的更广泛的一类概率测度凸散度.建立了一个信息处理定理，但仅限于相对论不变性的意义。统计上充分的变换，而不是在意义上的普遍单调性。病理情况下，编码可以增加经典的Bregman距离说明了一个具体的例子。除了Bregman距离和凸发散的经典应用领域，如识别，分类，学习和评估各种特征和信号的接近度外，本文还提到了3D探索性数据分析中的一个新应用。显式表达式的缩放Bregman距离一般指数家庭，具体应用在二项式，泊松和瑞利家庭，并在家庭的指数过程，如泊松和扩散过程，包括经典的例子，维纳过程和几何布朗运动。
On the Power Distance Representation of Bregman Divergences
研究计算有限参数集的最小包围布雷格曼球问题，通过证明其与加权点集的幂距离MEBs等价，给出Frank-Wolfe $(1+\epsilon)$近似算法，还表明布雷格曼势提升变换可重新解释，揭示了布雷格曼MEB外心位置。
The (global) Lipschitz smoothness condition is crucial in establishing the convergence theory for most optimization methods. Unfortunately, most machine learning and signal processing problems are not Lipschitz smooth. This motivates us to generalize the concept of Lipschitz smoothness condition to the relative smoothness condition, which is satisfied by any finite-order polynomial objective function. Further, this work develops new Bregman-divergence based algorithms that are guaranteed to converge to a second-order stationary point for any relatively smooth problem. In addition, the proposed…
Information divergences are commonly used to measure the dissimilarity of two elements on a statistical manifold. Differentiable manifolds endowed with different divergences may possess different geometric properties, which can result in totally different performances in many practical applications. In this paper, we propose a total Bregman divergence-based matrix information geometry (TBD-MIG) detector and apply it to detect targets emerged into nonhomogeneous clutter. In particular, each sample data is assumed to be modeled as a Hermitian positive-definite (HPD) matrix and the clutter covari…
Variational Representations of Annealing Paths: Bregman Information under Monotonic Embedding
本文通过单调嵌入下的Bregman散度框架，证明拟算术均值在变换后最小化期望散度，从而揭示退火路径中间密度的变分表示及其与常见散度泛函的关联。
pyBregMan: A Python library for Bregman Manifolds
本文介绍了Python库pyBregMan，它基于Legendre-Fenchel对偶实现Bregman流形的通用操作，并实例化多种常用流形及Fisher-Rao流形，为统计、机器学习与信息融合等应用提供核心算法支持。
Information Measures: the Curious Case of the Binary Alphabet
四个问题有关的信息发散措施定义在有限的字母表。在我们考虑的三种情况下，我们说明了二进制字母表和较大的字母表设置之间产生的对比。这在某些情况下是令人惊讶的，因为大字母表设置的特征化并不能推广它们的二进制字母表对应物。具体来说，我们证明了$f$ -分歧并不是满足数据处理不等式的二进制字母表上唯一的可分解分歧，从而澄清了以前出现在文献中的主张。我们还表明，KL分歧是唯一的Bregman分歧，这也是一个$f$分歧的任何字母的大小。我们表明，KL分歧是唯一的Bregman分歧，这是不变的数据的统计充分的变换，即使当不可分解的分歧被认为是。像我们考虑的一些问题一样，这个结果只有在字母表大小至少为3时才成立。
A general class of Bayesian lower bounds when the underlying loss function is a Bregman divergence is demonstrated. This class can be considered as an extension of the Weinstein--Weiss family of bounds for the mean squared error and relies on finding a variational characterization of Bayesian risk. The approach allows for the derivation of a version of the Cramér--Rao bound that is specific to a given Bregman divergence. The new generalization of the Cramér--Rao bound reduces to the classical one when the loss function is taken to be the Euclidean norm. The effectiveness of the new bound is ev…
Sufficiency on the Stock Market
理论金融理论与信息论之间存在着许多联系。这些关系有的是精确的，有的是近似的。在本文中，我们将探讨这些关系，并确定在哪些条件下的关系是准确的。事实证明，投资组合理论总是导致布雷格曼分歧。布雷格曼分歧只在基本上等于凯利所研究的赌博类型的情况下与信息分歧成比例。这可以与一个抽象的充分条件相联系。
The Burbea-Rao and Bhattacharyya centroids
我们研究质心的信息理论的布尔-拉奥分歧，推广了著名的詹森-香农分歧通过测量非负的詹森差引起的严格凸和可微的功能。虽然这些Burbea-Rao分歧在构造上是对称的，但它们不是度量的，因为它们不满足三角不等式。我们首先解释如何一个特定的对称化的Bregman分歧称为詹森-Bregman距离产生正是这些布尔比-拉奥分歧。然后，我们继续通过定义斜布尔-拉奥发散，并表明斜布尔-拉奥发散量在极限情况下计算Bregman发散。然后，我们证明了Burbea-Rao质心是唯一的，可以任意精细近似的一般迭代凹凸优化算法，保证收敛性能。在本文的第二部分中，我们考虑了通常用于测量概率分布重叠程度的Bhattacharyya距离。我们表明，巴塔查里亚距离的成员相同的统计指数家庭金额计算的布尔比-拉奥分歧伪装。因此，我们得到了一个有效的算法计算的Bhattacharyya质心的一组参数分布属于相同的指数家庭，改善了以前的专业方法中发现的文献中，仅限于单变量或“对角”多元高斯。为了说明我们的Bhattacharyya/Burbea-Rao质心算法的性能，我们提出了$k$ -均值和高斯混合模型的层次聚类方法的实验性能结果。
We study the Voronoi diagrams of a finite set of Cauchy distributions and their dual complexes from the viewpoint of information geometry by considering the Fisher-Rao distance, the Kullback-Leibler divergence, the chi square divergence, and a flat divergence derived from Tsallis' quadratic entropy related to the conformal flattening of the Fisher-Rao curved geometry. We prove that the Voronoi diagrams of the Fisher-Rao distance, the chi square divergence, and the Kullback-Leibler divergences all coincide with a hyperbolic Voronoi diagram on the corresponding Cauchy location-scale parameters, …
Reverse em-problem based on Bregman divergence and its application to classical and quantum information theory
针对现有信道容量解析计算方法的局限，基于Bregman散度构建反向em问题，解决开放难题并推导非迭代公式，揭示信息几何结构，扩展无迭代计算信道容量的适用范围。
Exponential dispersion model is a useful framework in machine learning and statistics. Primarily, thanks to the additive structure of the model, it can be achieved without difficulty to estimate parameters including mean. However, tight conditions on cumulant function, such as analyticity, strict convexity, and steepness, reduce the class of exponential dispersion model. In this work, we present relaxed exponential dispersion model K-LED (Legendre exponential dispersion model with K cumulants). The cumulant function of the proposed model is a convex function of Legendre type having continuous …
Maximum Entropy and Sufficiency
Bregman散度和充分性的概念将在一般的凸状态空间上定义。它表明，只有谱集可以有一个Bregman分歧，满足一个充分条件。若当代数中迹为1的正元素是谱集的例子，最重要的例子是具有复数元素的密度矩阵的集合。它是澄清，信息论的考虑直接导致约旦代数的概念在某些正则性条件下。
Divergences induced by dual subtractive and divisive normalizations of exponential families and their convex deformations
本文研究指数族在减式与除式归一化下诱导的散度关系，证明未归一化密度的α-散度等价于配分函数诱导的缩放α-偏斜Jensen散度，并利用比较凸性构造凸变形下的对偶平坦空间。
A Unified Representation of Density-Power-Based Divergences Reducible to M-Estimation
本文提出基于范数的Bregman密度幂散度（NB-DPD），统一了可归约为M-估计的基于密度幂的散度，并证明稳健性关键指标的重降性质仅对$γ$-散度成立。
Unbiased Estimating Equation on Inverse Divergence and Its Conditions
本文研究由倒数函数定义的逆散度，刻画了逆高斯型及广义逆高斯型混合模型下损失函数中函数$f$的条件，使估计方程无偏，并推广至多维情形。
Alpha/Beta Divergences and Tweedie Models
我们描述了潜在的概率解释的α和β的分歧。我们首先表明，β发散是固有的Tweedie分布，一种特殊类型的指数家庭，被称为指数分散模型。从Tweedie模型的方差函数出发，我们概述了如何得到作为Csiszár的$f$和Bregman发散的特殊情况的α和β发散。这一结果直接将高斯分布和最小二乘估计之间的关系推广到Tweedie模型和β散度最小化。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。