Nonparanormal Information Estimation
我们研究了使用i.i.d.的问题。从未知的多变量概率分布$p$采样，以估计$p$的互信息。这个问题最近在两种情况下受到关注：（1）假设$p$是高斯分布的，以及（2）假设$p$仅位于一个大的非参数平滑类中。当高斯假设成立时，为高斯情况提出的估计在高维收敛，但是当$p$不是高斯时，估计是脆弱的，显著地失败。非参数情况下提出的估计无法与现实的样本量收敛，除非在非常低的维度。因此，对于许多实际数据，缺乏鲁棒的互信息估计器。为了解决这个问题，我们提出了当$p$被假设为非超正常（即，高斯copula）模型，高斯和非参数极端之间的半参数妥协。使用理论界和实验，我们表明，这些估计罢工之间的鲁棒性和规模与维度的实际平衡。
2017-02-24 cs.IT math.IT math.ST
Estimation of Rényi Entropy and Mutual Information Based on Generalized Nearest-Neighbor Graphs
University of Alberta（阿尔伯塔大学）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了简单和计算效率的非参数估计的Rényi熵和互信息的基础上的i.i.d.从$\R^d$上的未知绝对连续分布中抽取的样本。估计量分别计算为样本的“广义最近邻”图和样本的经验copula的边的欧几里得长度的$p$次幂之和。对于第一次，我们证明了几乎肯定的一致性，这些估计和上界的收敛速度，后者的假设下，密度的样本是Lipschitz连续的。实验证明了它们在独立子空间分析中的实用性。
2010-10-25 cs.AI stat.ML
InfoSSM: Interpretable Unsupervised Learning of Nonparametric State-Space Model for Multi-modal Dynamics
系统识别的目标是了解时间序列数据背后的潜在物理动力学。高斯过程（GP）被广泛应用于概率和非参数动力学模型的建模，它可以估计预测的不确定性，避免过拟合。然而，传统的GPSSM是基于高斯模型，因此往往难以描述更复杂的过渡模型，如飞机运动。为了解决这个问题，本文提出了一个框架，使用多GP过渡模型，这是能够描述多模态动态。此外，我们将模型扩展到信息理论框架，即所谓的InfoSSM，通过引入互信息正则化器来帮助模型学习可解释和可区分的多个动力学模型。简单的Dubins车辆和高保真飞行模拟器上的两个说明性的数值实验，以证明所提出的模型的性能和可解释性。最后，本文介绍了一个框架，使用InfoSSM与贝叶斯滤波的空中交通管制跟踪。
2018-11-21 cs.LG stat.AP stat.ML
Bayesian Model Selection Methods for Mutual and Symmetric $k$-Nearest Neighbor Classification
R2 Research（R2 研究公司）
$k$-最近邻分类方法（$k$-NNC）是最简单的非参数分类方法之一。相互$k$-NN分类方法（M $k$ NNC）是基于相互邻近的$k$-NNC的变体。我们提出了另一种变体的$k$-NNC，对称的$k$-NN分类方法（S $k$ NNC）的基础上相互邻居和单边邻居。M $k$ NNC和S $k$ NNC的性能与$k$-NNC的性能一样依赖于参数$k$。我们提出了如何M $k$ NN和S $k$ NN分类可以进行基于贝叶斯互和对称$k$-NN回归方法与参数$k$的选择方案。贝叶斯交互和对称$k$-NN回归方法是基于高斯过程模型的，事实证明，它们可以用新的目标值编码（类标签）进行M $k$ NN和S $k$ NN分类。仿真结果表明，无论是对人工数据集还是对真实数据集，所提出的方法都优于或可与$k$-NNC、M $k$ NNC和S $k$ NNC相媲美，其中参数$k$采用留一法交叉验证.
2016-08-14 cs.LG stat.ML
Modeling Psychotherapy Dialogues with Kernelized Hashcode Representations: A Nonparametric Information-Theoretic Approach
USC Information Sciences Institute（南加州大学信息科学研究所）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们提出了一个新的对话建模框架，这是第一个基于非参数核函数的对话建模方法，它将内核化的哈希码作为压缩文本表示进行学习;与传统的深度学习模型不同，它可以很好地处理相对较小的数据集，同时也可以扩展到大型数据集。我们还得到了一个新的下限互信息，作为一个模型选择标准，有利于代表与更好的合作对话设置中的参与者的话语之间的对齐，以及更高的可预测性所产生的反应。如在三个现实生活的数据集上所展示的，包括突出的心理治疗会话，所提出的方法在计算效率（将训练时间从数天或数周减少到数小时）和响应质量（在被人类评估者选择为最佳模型的频率上实现了比竞争者多一个数量级的改进）方面都显著优于几个最先进的基于神经网络的对话系统。
2019-09-09 cs.AI cs.CL cs.IT
Efficient Estimation of Mutual Information for Strongly Dependent Variables
我们证明了一个流行的类的非参数互信息（MI）估计的基础上，k-最近邻图需要的样本数量，真正的MI指数尺度。因此，只有在样本量过大的情况下，才有可能准确估计两个强相依变量之间的MI。现有估计量的这一重要但被忽视的缺点是由于它们隐含地依赖于潜在联合分布的局部均匀性。我们引入了一个新的估计，是强大的本地非均匀性，工程有限的数据，并能够捕捉到的关系强度超过许多数量级。我们证明了所提出的估计的合成和真实世界的数据上的优越性能。
2015-03-05 cs.IT math.IT physics.data-an
Parametric Adversarial Divergences are Good Losses for Generative Modeling
Mila；University of Montreal（蒙特利尔大学）；Facebook AI Research
参数对抗发散是用于训练生成对抗网络（GANs）的损失的概括，通常被描述为非参数对应物的近似，例如Jensen-Shannon发散，可以在所谓的最优假设下导出。在这份立场文件中，我们认为，尽管是“非最优”，参数发散有不同的属性，从他们的非参数对应，这可以使他们更适合学习高维分布。一个关键的属性是，参数偏差只对分布的某些方面/矩敏感，这取决于神经网络的架构和训练时的损失。相比之下，诸如Kullback-Leibler发散的非参数发散对被忽略的矩敏感，但它们不一定与样本质量相关（Theis等人，2016）。同样，我们表明，互信息可以导致不直观的解释，并探索更直观的替代方案的基础上参数的分歧。我们的结论是，参数分歧是一个灵活的框架，用于定义统计量相关的一个特定的建模任务。
2021-10-21 cs.LG stat.ML
Distribution learning via neural differential equations: a nonparametric statistical perspective
Massachusetts Institute of Technology（麻省理工学院）；Heidelberg University（海德堡大学）
本文从非参数统计角度，首次为基于常微分方程（ODE）的分布学习建立了通用收敛性分析，证明了通过极大似然训练的ODE模型在逼近误差与模型复杂度间存在权衡，并针对光滑密度和神经网络速度场类给出了近乎最优的收敛速率。
2023-09-03 cs.LG math.CA math.ST
Survey On The Estimation Of Mutual Information Methods as a Measure of Dependency Versus Correlation Analysis
在这项调查中，我们提出并比较了不同的方法来估计互信息（MI）的数据，以分析系统中感兴趣的变量之间的一般依赖关系。我们展示了MI与相关性分析的性能差异，这仅在线性依赖关系的情况下是最佳的。首先，我们使用分段常数贝叶斯方法，使用一般的Dirichlet先验。在这种估计方法中，我们使用两个阶段的方法，我们近似的概率分布第一，然后计算的边缘和联合熵。在这里，我们展示了这种贝叶斯方法与其他计算不同变量之间的依赖关系的性能。我们还比较了这些线性相关分析。最后，我们应用MI和相关性分析来识别的偏差在确定气溶胶光学厚度（AOD）的卫星为基础的中分辨率成像光谱仪（MODIS）和地面为基础的AERONET（AERONET）。在这里，我们观察到，这两个仪器的AOD测量可能是不同的相同的位置。通过定量分析云覆盖、地面反射率等15个变量与偏差的相关性，探讨了偏差产生的原因。
2014-01-14 stat.ML
Bayesian Active Learning for Classification and Preference Learning
University of Cambridge（剑桥大学）
信息论主动学习在概率模型中得到了广泛的研究。对于简单回归，最优近视策略是容易处理的。然而，对于其他任务和更复杂的模型，如非参数模型的分类，最佳解决方案更难计算。目前的方法是通过近似来实现易处理性。我们提出了一种方法，表示信息增益的预测熵，并将此方法应用于高斯过程分类器（GPC）。我们的方法使最小的近似，充分的信息理论的目标。我们的实验性能媲美许多流行的主动学习算法，并具有相同或更低的计算复杂度。我们比较好的决策理论的方法，这是更多的信息，需要更多的计算时间。其次，通过将二进制偏好学习问题转化为分类问题，将算法扩展到高斯过程偏好学习问题。
2011-12-24 cs.LG stat.ML
Finite-Sample Analysis of Fixed-k Nearest Neighbor Density Functional Estimators
我们提供有限样本分析的一般框架，使用k-最近邻统计估计泛函的非参数连续概率密度，包括熵和发散。不是将一致的密度估计值（这需要$k \to \infty$作为样本量$n \to \infty$）插入到感兴趣的泛函中，而是考虑固定k并执行偏差校正的估计值。这在计算上更有效，并且正如我们在某些情况下所示，在统计上，导致更快的收敛速度。我们的框架统一了几个以前的估计，其中大部分是我们的第一个有限样本保证。
2016-06-05 cs.IT math.IT math.ST
Convergence of Statistical Estimators via Mutual Information Bounds
ESSEC Business School（ESSEC商学院）
本文为统计模型引入一种新的互信息界，该界改进了贝叶斯非参数中分数后验的收缩速率，并可应用于变分推断和最大似然估计等多种方法，推进了对统计推断基本极限的理解。
2026-10-06 cs.LG math.ST stat.ML
Information-Theoretic Methods for Identifying Relationships among Climate Variables
信息理论的量，如熵，用于量化给定变量提供的信息量。熵可以一起用来计算互信息，它量化了两个变量共享的信息量。然而，从数据中准确估计这些数量是非常具有挑战性的。我们已经开发了一套计算技术，使人们能够准确地计算边缘和联合熵。这些算法本质上是概率性的，因此提供了关于我们估计的不确定性的信息，这使我们能够建立我们发现的统计意义。我们证明了这些方法，通过识别云数据从国际卫星云气候学项目（ISCCP）和其他来源的数据，如赤道太平洋海面温度（SST）之间的关系。
2014-12-19 physics.ao-ph physics.data-an stat.ML
MIND: Inductive Mutual Information Estimation, A Convex Maximum-Entropy Copula Approach
KXY Technologies, Inc.（KXY科技公司）
我们提出了一种新的估计两个有序向量$x$和$y$之间的互信息。我们的方法是归纳的（而不是演绎的），因为它依赖于数据生成分布，仅通过一些非参数属性揭示数据中的关联，并且不需要有足够的数据来充分表征真正的联合分布$P_{x, y}$。具体来说，我们的方法包括（i）注意到$I\left(y; x\right) = I\left(u_y; u_x\right)$，其中$u_y$和$u_x$是$y$和$x$的copula一致对偶表示（即它们在概率积分变换下的图像），以及（ii）通过在$α_m = E\left[ϕ_m(u_y, u_x)\right]$类型的约束下求解copula密度空间上的最大熵问题来估计copula熵$h\left(u_y\right)$，$h\left(u_x\right)$和$h\left(u_y, u_x\right)$。我们证明了，只要约束是可行的，这个问题承认一个唯一的解决方案，它是在指数族，它可以通过解决凸优化问题学习。由此产生的估计，我们表示为MIND，是边缘不变的，总是非负的，无界的任何样本大小$n$，一致的，有MSE率$O(1/n)$，是更有效的数据比竞争的方法。除了互信息估计之外，我们还说明了我们的方法可以通过最大化假样本的Copula的熵来减轻GANs中的模式崩溃，我们将这种模型称为Copula熵正则化GAN（CER-GAN）。
2022-04-09 cs.IT cs.LG math.IT
Analysis of k-Nearest Neighbor Distances with Application to Entropy Estimation
一致地估计熵和互信息对于许多机器学习应用是重要的。Kozachenko-Leonenko（KL）估计量（Kozachenko & Leonenko，1987）是一种广泛使用的多变量连续随机变量熵的非参数估计量，也是Kraskov等人（2004）的互信息估计量的基础，可能是该设置中最广泛使用的互信息估计量。尽管这些估计的实际重要性，主要的理论问题，他们的有限样本行为仍然开放。本文证明了KL估计的偏差和方差的有限样本界，表明对于某些类光滑函数，它达到了极小极大收敛速度。在证明这些界限，我们分析有限样本行为的k-最近邻（k-NN）距离统计（KL估计的基础上）。我们得到的k-NN距离的浓度不等式和一般的期望界的k-NN距离的统计，这可能是有用的其他k-NN方法的分析。
2016-07-21 cs.IT math.IT math.ST
Cluster-Based Dimensionality Reduction by Nonparametric Distributional Screening
针对带聚类划分的高维数据，提出基于多样本Kolmogorov-Smirnov统计量的非参数筛选方法，保留可解释的判别性坐标，并建立理论保证与一致性准则。
2026-09-09 math.ST stat.AP stat.ME
