Minimum MS. E. Gerber's Lemma
Gerber夫人引理根据输入过程的熵来下界二进制对称信道的输出处的熵。在本文中，我们下界的输出熵通过不同的输入不确定性的措施，有关的最小均方误差（MMSE）预测成本的输入过程。我们表明，在许多情况下，我们的界限是更严格的一个从Gerber夫人的引理。作为应用，我们评估了二元隐马尔可夫过程的界，并获得了新的估计的熵率。
2015-05-31 cs.IT math.IT
Trimmed Minimum Error Entropy for Robust Online Regression
本文研究了非高斯噪声（特别是重尾噪声）环境下的在线线性回归问题。在这样的环境中，系统输出和标签之间的误差也不遵循高斯分布，并且可能存在误导学习过程的异常大的误差样本（或离群值）。主要的挑战是如何保持监督学习问题最少受到这些不需要的和误导性的离群值的影响。近年来，一种基于Renyi熵的信息论算法（称为最小误差熵）被用来解决这个问题。然而，这种最小化可能不会导致期望的估计器，因为熵是平移不变的，即，通过使误差熵最小化，误差样本可以不必集中在零附近。在本文中，提出了一种量化技术，通过该技术，不仅解决了上述需要的设置误差在原点周围，但也主要的离群点被拒绝从基于MEE的学习和收敛速度，稳态失调，并测试误差的观点，提高了可重构性。
2021-05-11 cs.IT math.IT
Minimum Relative Entropy for Quantum Estimation: Feasibility and General Solution
我们提出了一个通用的框架，解决量子态估计问题的最小相对熵标准。一个凸优化方法使我们能够决定给定的数据的问题的可行性，并在必要时，放松约束，以允许一个物理上可接受的解决方案。在此基础上，可以完成变分分析，确保最优解的存在性和唯一性。后者然后可以计算标准的，有效的标准算法凸优化，而不诉诸近似的方法或限制性的假设，其排名。
2013-01-28 cs.IT math.IT quant-ph
Cubature Kalman filter Based on generalized minimum error entropy with fiducial point
针对脉冲噪声下经典容积卡尔曼滤波性能下降的问题，本文提出基于带基准点的广义最小误差熵准则的GMEEFP-CKF算法，通过使误差收敛到零附近来提升鲁棒性，仿真验证其优于现有CKF算法。
2023-08-14 cs.IT math.IT
On Properties of the Minimum Entropy Sub-tree to Compute Lower Bounds on the Partition Function
在任何概率推理问题中，计算全局概率分布的配分函数和边缘是两个重要的问题。在以前的工作中，我们提出了基于子树的上界和下界的分区函数的一个给定的概率推理问题。利用子树的熵，我们证明了一个不等式，比较下界从不同的子树。在本文中，我们研究了一个特定的下界，即最小熵子树计算的下界的性质。我们还研究了最小熵子树和给出最佳下界的子树之间的关系。
2011-03-02 cs.IT math.IT physics.comp-ph
Minimum-Entropy Coupling Approximation Guarantees Beyond the Majorization Barrier
给定一组离散概率分布，最小熵耦合是以输入分布作为其边缘的最小熵联合分布。这与诸如用于因果图发现的熵因果推理和我们分别观察的变量之间的边界互信息等任务直接相关。由于寻找最小熵耦合是NP-Hard的，各种工作已经研究了近似算法。[Compton，ISIT 2022]的工作表明，[Kocaoglu等人，AAAI 2017]总是在最佳耦合的$log_2(e) \approx 1.44$位内。此外，他们表明，这是不可能的，以获得更好的近似保证使用的优势下界，所有以前的作品已经使用：从而建立一个优势障碍。在这项工作中，我们通过设计一个更强的下限，我们称之为配置文件方法，打破了优化障碍。使用这种配置文件的方法，我们能够表明，贪心算法总是在$log_2(e)/e \approx 0.53$位的最佳耦合两个分布（以前最知名的界限是在1位），并在$(1 + log_2(e))/2 \approx 1.22$位耦合任何数量的分布（以前最知名的界限是在1.44位）。我们还研究了最小熵耦合问题的推广：凹最小成本耦合。我们能够获得类似的保证，这种推广的凹成本函数。此外，我们在[Kovačević等人，信息计算2015]关于最小熵耦合问题的NP成员资格，通过表明任何超过NP的最小熵耦合的难度来自于复杂性类NP中计算算术的难度。最后，我们提出了指数时间算法计算的最优解。
2023-02-23 cs.DS cs.IT math.IT
An Extended Result on the Optimal Estimation under Minimum Error Entropy Criterion
最小误差熵准则在参数估计、系统辨识和有监督机器学习等领域得到了成功的应用。一般来说，除非对条件分布施加一些约束，否则最优的最优估计没有明确的表达式。最近的一篇论文证明了，如果条件密度是条件对称和单峰的（CSUM），那么最佳的估计（与香农熵）等于条件中位数。在本研究中，我们将这个结果推广到广义的最优性准则是Renyi熵或等价的α-阶信息势（IP）的估计。
2014-01-24 cs.IT math.IT math.ST
Efficient $\varepsilon$-approximate minimum-entropy couplings
Stanford University（斯坦福大学）
针对离散概率分布的最小熵耦合问题，提出运行时间为n^{O(poly(1/ε)·exp(m))}的算法，实现H(ALG) ≤ H(OPT) + ε，证明对常数m存在多项式时间近似方案。
2026-06-19 cs.DS cs.IT math.IT
Entropic Causality and Greedy Minimum Entropy Coupling
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；California Institute of Technology（加州理工学院）
研究了从观测数据中识别两个离散随机变量之间因果关系的问题。我们最近提出了一个新的框架，称为熵因果关系，它在一个非常一般的功能模型中工作，但假设未观察到的外生变量在真正的因果方向上具有小熵。这个框架需要解决一个最小熵耦合问题：给定m个离散随机变量的边际分布，每个在n个状态上，找到具有最小熵的联合分布，它尊重给定的边际。这对应于最小化由nm个线性约束定义的凸多面体上的nm个变量的凹函数，称为运输多面体。不幸的是，它最近表明，这个最小熵耦合问题是NP-难的，即使是2个变量的n个状态。即使在这个空间上表示点（联合分布），如果简单地完成，也可能需要指数复杂度（以n，m为单位）。在我们最近的工作中，我们引入了一个有效的贪心算法，找到这个问题的近似解。在本文中，我们分析了该算法，并建立两个结果：我们的算法总是找到一个局部最小值，也是在一个加性的近似误差从未知的全球最佳。
2017-01-28 cs.AI cs.IT math.IT
Symmetric Laplacians, Quantum Density Matrices and their Von-Neumann Entropy
我们证明了一个简单图的（归一化）对称拉普拉斯算子可以从驻留在二分希尔伯特空间（一部分对应于顶点，另一部分对应于边）的纯二分量子态的部分迹中获得。这表明对称拉普拉斯的冯诺依曼熵的解释作为一个衡量两个部分之间的纠缠存在的状态。然后，我们研究了连通图的广义Rényi- $p$熵的极值。具体地说，我们证明了（1）完全图达到最大熵，（2）$2$ -正则图：a）在所有$k$ -正则图中达到最小Rényi-$2$熵，b）在所有连通图中处于最小Rényi-$2$熵的$\log 4/3$和最小Von Neumann熵的$\log4\sqrt{2}/3$之内，c）达到的Von Neumann熵小于星形图.点$(2)$与应用于（归一化）组合拉普拉斯算子的类似工作形成鲜明对比，其中已表明星形图几乎总是达到最小冯诺依曼熵。在这项工作中，我们发现，星图达到最大熵在极限的顶点数增长没有限制。关键词：对称;拉普拉斯;量子;熵;界;雷尼
2017-03-06 cs.IT math.IT quant-ph
State distributions and minimum relative entropy noise sequences in uncertain stochastic systems: the discrete time case
School of Engineering and Information Technology, University of New South Wales at the Australian Defence Force Academy（新南威尔士大学澳大利亚国防军学院工程与信息技术学院）
本文针对离散时间随机系统，通过条件相对熵量化噪声不确定性，研究耗散性理论、鲁棒性能分析以及最小化驱动系统所需相对熵供应的Schrödinger桥问题，并给出线性高斯情形的闭式解与可计算鲁棒性指标。
2012-08-19 cs.IT cs.SY eess.SY
Low and Upper Bound of Approximate Sequence for the Entropy Rate of Binary Hidden Markov Processes
本文证明了某些二元隐马尔可夫模型熵的近似序列存在两个有界序列，即下界序列和上界序列。近似序列的误差偏差由具有小于1的比例因子的几何序列约束，该几何序列迅速减小到零。这有助于理解一般隐马尔可夫模型熵率的收敛性，并为某些隐马尔可夫模型的熵率的任意精度估计提供了理论基础。
2011-12-29 cs.IT math.IT
Limitations of state estimation: absolute lower bound of minimum variance estimation/filtering, Gaussianity-whiteness measure (joint Shannon-Wiener entropy), and Gaussianing-whitening filter (maximum Gaussianity-whiteness measure principle)
本文通过信息论方法研究状态估计的性能限制，提出高斯性-白性度量等新概念，并讨论高斯化-白化滤波原理。
2014-12-19 cs.IT cs.SY eess.SY
Arimoto-Rényi Conditional Entropy and Bayesian $M$-ary Hypothesis Testing
利用任意阶$α$的Arimoto-Rényi条件熵，给出了贝叶斯$M$ -元假设检验的最小错误概率的上下界.证明了这些界限的改进的紧密性与香农条件熵（$α=1$）的专门版本。特别是，在$M$是有限的情况下，我们展示了如何推广Fano的不等式下的常规和列表决策设置。作为一个对应的广义Fano不等式，允许$M$是无限的，Arimoto-Rényi条件熵的下界导出作为最小错误概率的函数。明确的上界和下界的最小错误概率作为一个函数的Arimoto-Rényi条件熵的积极和消极的$α$。此外，我们给出了上界的最小错误概率作为函数的Rényi分歧。在离散无记忆信道的设置中，我们分析了在随机编码集合上平均时给定信道输出的传输码字的Arimoto-Rényi条件熵的指数消失衰减。
2017-12-05 cs.IT math.IT math.PR
Three Laws of Multivariable Feedback Systems, Extended Spectral Flatness (Extended Wiener Entropy), 'Uncertainty Principles' in Variance Minimization, and Performance Limitations in Minimum Variance Estimation/Filtering
本文推导了多输入多输出反馈系统的三大定律，分别涉及熵域、频域和时域，并提出了新的概念如扩展频谱平坦度等，探讨了最小方差控制中的不确定性原理及最小方差估计滤波的性能限制。
2014-12-19 cs.IT cs.SY eess.SY
Minimum--Entropy Couplings and their Applications
给定两个离散随机变量$X$和$Y,$，分别具有概率分布${\bf p}=(p_1, \ldots , p_n)$和${\bf q}=(q_1, \ldots , q_m)$，用${\cal C}({\bf p}, {\bf q})$表示${\bf p}$和${\bf q}$的所有耦合的集合，即，具有${\bf p}$和${\bf q}$作为边缘的所有二元概率分布的集合。在本文中，我们研究的问题，找到一个联合概率分布在${\cal C}({\bf p}, {\bf q})$的\emph{minimum entropy}（相当于，耦合，\emph{maximizes}之间的交互信息$X$和$Y$），我们讨论了几种情况下，需要这种优化自然出现。由于优化问题是NP难的，我们给出了一个有效的算法来找到一个联合概率分布在${\cal C}({\bf p}, {\bf q})$的熵超过最小可能的最多{1位}，从而提供了一个近似算法的添加剂的差距最多为1位。利用这个算法，我们将我们的结果推广到寻找任意$k\geq 2$离散随机变量$X_1, \ldots , X_k$的最小熵联合分布的问题，与已知的单个随机变量$X_1, \ldots , X_k$的$k$边缘分布一致。在这种情况下，我们的算法与最优值有{最多$\log k$的加性差距}。我们还讨论了几个相关的应用，我们的研究结果和{扩展我们的结果…
2019-01-19 cs.DS cs.IT math.IT
Entropic Causal Inference
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；California Institute of Technology（加州理工学院）
本文研究了利用观测数据确定两个离散随机变量之间因果关系方向的问题。与以前的工作不同，我们保留了最一般的函数模型，但对未观察到的外生变量做了一个假设：受奥卡姆剃刀的启发，我们假设外生变量在真正的因果方向上是简单的。我们用雷尼熵来量化简单性。我们的主要结果是，在自然假设下，如果外生变量在真实方向上具有低$H_0$熵（基数），则它在错误方向上必须具有高$H_0$熵。建立了估计最小熵外生变量的几个算法困难性结果。我们证明了寻找具有最小熵的外生变量的问题等价于寻找给定$n$边缘分布的最小联合熵的问题，也称为最小熵耦合问题。我们提出了一个有效的贪心算法的最小熵耦合问题，即$n=2$可证明找到一个局部最优。这给出了一个贪心算法来寻找具有最小$H_1$（香农熵）的外生变量。我们的贪婪熵为基础的因果推理算法具有类似的性能，最先进的加性噪声模型在真实的数据集。我们的方法的一个优点是，我们不使用随机变量的值，但只有他们的分布。因此，我们的方法可以用于因果推理的顺序和分类数据，不像加性噪声模型。
2016-11-15 cs.AI cs.IT math.IT
Minimum Entropy Coupling with Bottleneck
University of Toronto（多伦多大学）；McMaster University（麦克马斯特大学）
本文提出带瓶颈的最小熵耦合（MEC-B）有损压缩框架，将其分解为EBIM编码器与MEC解码器优化问题，提出有性能保证的EBIM贪心算法并给出理论分析，在MCGs实验中验证了其在速率限制下相较传统基线的有效性。
2024-10-29 cs.IT cs.LG math.IT
Uncertainty relations with quantum memory for the Wehrl entropy
我们证明了两个新的具有量子记忆的Wehrl熵的基本测不准关系。第一个关系适用于二分记忆场景。在给定条件冯诺伊曼熵的情况下，确定了所有量子态中条件Wehrl熵的最小值，并证明了这个最小值是由一个合适的量子高斯态序列渐近达到的.第二个关系适用于三方记忆场景。它确定了条件为第一记忆量子系统的量子态的Wehrl熵与条件为第二记忆量子系统的相同状态的Wehrl熵之和的最小值，并证明了该最小值也是通过适当的量子高斯态序列渐近实现的。量子态的Wehrl熵是对状态执行的外差测量的结果的香农微分熵。外差测量是量子光学中的主要测量方法之一，也是量子密钥分发最有前途的协议之一的基础。这些基本的熵不确定性关系将是量子信息中的一个有价值的工具，例如，将在渐近体制中的量子密钥分发协议的安全性证明和量子光学中的纠缠见证中找到应用。
2019-08-30 cs.IT math-ph math.IT
Minimum Relative Entropy State Transitions in Linear Stochastic Systems: the Continuous Time Case
School of Engineering and Information Technology, University of New South Wales at the Australian Defence Force Academy（新南威尔士大学澳大利亚国防军学院工程与信息科技学院）
针对具有不确定漂移的线性伊藤随机微分方程驱动的动态系统，基于相对熵耗散不等式，通过非线性代数技术求解哈密顿-雅可比方程，得到给定高斯状态分布间最小相对熵供给的闭式光滑解。
2012-08-20 cs.IT cs.SY eess.SY
How to Find a Joint Probability Distribution of Minimum Entropy (almost) given the Marginals
给定两个离散随机变量$X$和$Y$，分别具有概率分布${\bf p} =(p_1, \ldots , p_n)$和${\bf q}=(q_1, \ldots , q_m)$，用${\cal C}({\bf p}, {\bf q})$表示${\bf p}$和${\bf q}$的所有耦合的集合，即，具有${\bf p}$和${\bf q}$作为边缘的所有二元概率分布的集合。在本文中，我们研究的问题，找到联合概率分布在${\cal C}({\bf p}, {\bf q})$的最小熵（相当于，联合概率分布，最大化之间的互信息$X$和$Y$），我们讨论了几种情况下，需要这种优化自然出现。由于优化问题是NP难的，我们给出了一个有效的算法，找到一个联合概率分布在${\cal C}({\bf p}, {\bf q})$熵超过最小可能的最多1，从而提供了一个近似算法与添加剂近似因子为1。利用这个算法，我们将我们的结果推广到寻找任意$k\geq 2$离散随机变量$X_1, \ldots , X_k$的最小熵联合分布的问题，与已知的$X_1, \ldots , X_k$的$k$边缘分布一致。在这种情况下，我们的近似算法具有加性近似因子$\log k$。我们还讨论了我们的研究结果的一些相关应用。
2017-03-28 cs.DS cs.IT math.IT
Minimum Error Entropy Kalman Filter
Xi'an Jiaotong University（西安交通大学）；Tsinghua University（清华大学）；University of Florida（佛罗里达大学）
本文提出了一种新的卡尔曼滤波器——最小误差熵卡尔曼滤波（MEE-KF），通过使用最小误差熵（MEE）准则替代传统的MMSE或MCC准则，以提高对冲击噪声或重尾非高斯噪声的鲁棒性，同时开发了非线性情况下的最小误差熵扩展卡尔曼滤波（MEE-EKF）以提升性能。
2019-04-17 cs.IT cs.SY eess.SY
Hessian and concavity of mutual information, differential entropy, and entropy power in linear vector Gaussian channels
在线性矢量高斯信道的框架内，任意信令，最小均方误差和Fisher信息矩阵的雅可比矩阵的封闭形式的表达式相对于任意参数的系统计算。利用先前的研究，其中的最小均方误差和Fisher信息矩阵被连接到信息理论的数量，通过微分，封闭形式的表达式的互信息和微分熵的海森推导。然后，这些表达式被用来评估在不同的信道条件下的互信息和微分熵，并推导出一个多变量版本的熵功率不等式由于科斯塔。
2009-03-11 cs.IT math.IT
An Approximate Coding-Rate Versus Minimum Distance Formula for Binary Codes
我们设计了一个解析上简单的以及可逆的近似表达式，它描述了一个二进制码的最小距离和相应的最大可达码率之间的关系。例如，对于一个码率为1/4，长度为256的二进制码，已知的最佳界限将可达到的最小距离限制为65<d（n=256，k=64）<90，而我们的解决方案得出d（n=256，k=64）=74.4。在已知最小距离的精确值的情况下，所提出的公式在约97%的（n，k）场景下达到舍入误差内的近似精度。所提供的结果可用于有效的通信系统的分析和设计。
2012-06-28 cs.IT math.IT
Learning from Totally Unpaired Data via Minimum Conditional Entropy Coupling
The Chinese University of Hong Kong（香港中文大学）；McMaster University（麦克马斯特大学）
本文提出最小列表熵耦合，研究依赖性观测如何突破有限样本限制，通过条件熵分析揭示独立观测指数减少不确定性，而依赖观测可有限样本消除不确定性。
2026-10-14 cs.IT math.IT math.ST
Unifying quantum measurement constructions via a relative-entropy minimum change principle
Shanghai Jiao Tong University（上海交通大学）；Cornell University（康奈尔大学）
本文基于相对熵最小变化原理，建立量子统计推断中最优测量的闭式表征，恢复了两类已知测量并发现软最小热测量新家族，还证明该原理的可加性并研究了费米-狄拉克热测量的量子假设检验性能。
2026-08-06 cond-mat.stat-mech cs.IT cs.LG
Minimum-entropy causal inference and its application in brain network analysis
多元时间序列之间因果关系的识别是数据科学中普遍存在的问题。Granger因果关系测度（GCM）和条件Granger因果关系测度（cGCM）是神经影像学研究中广泛使用的因果推断和有效连接分析的统计方法。GCM和cGCM都具有基于矩阵分解的启发式算法开发的频域公式。这项工作的目标是推广GCM和cGCM措施和他们的频域配方通过使用最小熵（ME）估计的理论框架。所提出的ME估计方法扩展了经典的最小均方误差（MMSE）估计理论的随机过程。它提供了三个配方的cGCM，包括Geweke的原始时域cGCM作为一个特殊的情况。但这三种cGCM的频域公式都不同于以往的方法。基于仿真的实验结果表明，与其他方法相比，所提出的频域CGCM在检测网络连接方面具有增强的灵敏度和特异性。在基于体内功能磁共振成像的示例中，所提出的频域测量cGCM可以显著增强人脑网络的结构连接性和有效连接性之间的一致性。
2022-09-07 cs.IT cs.SY eess.SY
An Analysis of Minimum Error Entropy Loss Functions in Wireless Communications
Centre for Wireless Communications (CWC), University of Oulu（奥卢大学无线通信中心）
针对无线通信深度学习场景，本文引入最小误差熵（MEE）准则并提出低复杂度版本，经空中回归、室内定位仿真验证，其准确率较传统损失函数提升超20%，为相关任务提供了更优的损失函数选择。
2024-09-25 cs.IT cs.LG eess.SP
Cross-Domain Lossy Compression via Constrained Minimum Entropy Coupling
School of Electrical Engineering（电气工程学院）；Computer Science Oregon State University Corvallis, OR, 97331 Email（计算机科学，俄勒冈州立大学，科瓦利斯，OR，97331 邮箱）；Computer Science, Oregon State University, Corvallis, OR, 97331（计算机科学，俄勒冈州立大学，科瓦利斯，OR，97331）
本文研究了通过最小熵耦合（MEC）进行跨领域损失压缩，考虑了率和分类约束。采用基于信息的客观函数，最大化源与重建之间的耦合强度，而非最小化样本失真。针对伯努利源，推导了有无分类约束的闭式表达式，并实现了一个神经恢复框架，实验表明增加可用率可提升分类准确性和重建信息性。
2026-05-11 cs.IT cs.LG math.IT
Shallow Approximate Unitary Designs from Relative Entropy Decay of Unstructured Random Circuits
University of Chicago（芝加哥大学）；Indiana University（印第安纳大学）
该研究解决近似酉k-设计的架构必要性问题，证明非结构化时间周期电路可在近对数深度生成加性误差近似k-设计，推导的相对熵重组方法具独立研究价值。
2026-08-20 cs.IT math.IT quant-ph
