Optimal construction of k-nearest neighbor graphs for identifying noisy clusters
研究了基于邻域图的随机样本数据点聚类算法。我们要问的问题是如何构建这样的图，以获得最佳的聚类结果。应该选择哪种类型的邻域图，相互k-最近邻还是对称k-最近邻？最佳参数k是多少？在我们的设置中，聚类被定义为底层概率分布的t水平集的连通分量。如果图中的连通分量对应于真正的底层聚类，则聚类被称为在邻域图中被标识。使用随机几何图论的技术，我们证明了成功识别集群的概率上的界限，无论是在一个无噪声和嘈杂的设置。这些界限导致了几个结论。首先，k必须选择得出奇的高（而不是n阶，而不是log n阶），以最大化聚类识别的概率。其次，当人们试图只检测最重要的聚类时，相互和对称k-最近邻图之间的主要差异发生。
2009-12-17 math.ST stat.ML stat.TH
Locality-Sensitive Hashing for f-Divergences: Mutual Information Loss and Beyond
Yale University（耶鲁大学）；Google Research（谷歌研究院）
计算高维空间中的近似最近邻是大规模数据采掘的核心问题，在机器学习和数据科学中有着广泛的应用。近似计算最近邻居的一种流行且有效的技术是局部敏感哈希（LSH）方案。在本文中，我们的目标是开发LSH计划的距离函数，测量两个概率分布之间的距离，特别是f-发散以及概括捕捉互信息损失。首先，我们提供了一个一般的框架来设计LHS计划的f-散度距离函数和发展LSH计划的广义Jensen-Shannon散度和三角歧视在这个框架。我们证明了一个双边的近似结果的广义詹森-香农发散的Hellinger距离，这可能是独立的兴趣。接下来，我们展示了一个一般的方法，减少设计一个LSH计划的Krein内核（它可以表示为两个正定内核的差异）的问题的最大内积搜索。由于该方法在模型压缩等方面的重要应用，我们将其应用于互信息损失，从而证明了该方法的有效性。
2019-10-28 cs.DB cs.DS cs.LG
Efficient Estimation of Mutual Information for Strongly Dependent Variables
我们证明了一个流行的类的非参数互信息（MI）估计的基础上，k-最近邻图需要的样本数量，真正的MI指数尺度。因此，只有在样本量过大的情况下，才有可能准确估计两个强相依变量之间的MI。现有估计量的这一重要但被忽视的缺点是由于它们隐含地依赖于潜在联合分布的局部均匀性。我们引入了一个新的估计，是强大的本地非均匀性，工程有限的数据，并能够捕捉到的关系强度超过许多数量级。我们证明了所提出的估计的合成和真实世界的数据上的优越性能。
2015-03-05 cs.IT math.IT physics.data-an
Potential Conditional Mutual Information: Estimators, Properties and Applications
University of Washington, Seattle（华盛顿大学西雅图分校）
条件互信息I（X;Y| Z）测量X和Y在给定Z的情况下包含的关于彼此的平均信息。这在许多学习问题中是一个重要的基元，包括条件独立性测试，图形模型推理，因果强度估计和时间序列问题。在一些应用中，希望具有纯条件分布p_{Y|X,Z}而不是联合分布p_{X,Y,Z}的泛函。我们将潜在条件互信息定义为用修改的联合分布p_{Y|X,Z} q_{X,Z}计算的条件互信息，其中q_{X,Z}是潜在分布，固定机场。我们开发K最近邻估计这个功能，采用重要性采样，和一个耦合技巧，并证明了这样的估计有限k的一致性。我们证明了估计器具有良好的实际性能，并显示在动态系统推理的应用。
2017-10-13 cs.IT cs.LG math.IT
Nonparametric independence testing via mutual information
我们提出了一个测试的独立性的两个多变量随机向量，给定的样本从底层人口。我们的方法，我们称之为MINT，是基于互信息的估计，其分解为联合和边际熵，便于使用最近开发的高效熵估计来自最近的邻居距离。建议的临界值，这可能是从模拟（在一个边际是已知的情况下）或restaurant，保证测试具有标称大小，我们提供本地电源分析，均匀的密度类，其互信息满足一个下限。我们的想法可以扩展到提供一个新的拟合优度测试的正常线性模型的基础上评估我们的向量的协变量和一个适当定义的概念的误差向量的独立性。模拟和真实数据的数值研究支持的理论。
2017-11-17 cs.IT math.IT math.ST
Demystifying Fixed k-Nearest Neighbor Information Estimators
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
从独立同分布估计互信息从未知的联合密度函数中抽取样本是一个具有广泛应用的基本统计问题。最流行的估计量是由Kraskov和Stögbauer和Grassberger（KSG）在2004年提出的，并且是非参数的，并且基于每个样本到其$k^{\rm th}$最近邻样本的距离，其中$k$是固定的小整数。尽管它的广泛使用（科学软件包的一部分），这个估计的理论特性在很大程度上是未开发的。在本文中，我们证明了估计是一致的，也确定了一个上界的收敛速度的偏差作为样本数的函数。我们认为，优越的性能优势的KSG估计源于一个奇怪的“相关性增强”的效果，并建立在这种直觉，以新的方式修改KSG估计，以构建一个优越的估计。作为一个副产品，我们的调查，我们获得了近紧的$\ell_2$误差的固定$k$最近邻估计的微分熵Kozachenko和Leonenko的收敛速度。
2016-08-10 cs.IT cs.LG math.IT
Breaking the Bandwidth Barrier: Geometrical Adaptive Entropy Estimation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
信息理论度量（如熵和互信息）的估计是现代数据科学中许多下游应用的基本工具。现有技术的方法是基于几何（基于最近邻（NN））或基于内核（具有全局选择的带宽）的。在本文中，我们结合这两种方法来设计新的估计熵和互信息，优于国家的最先进的方法。我们的估计使用本地带宽选择的$k$ -NN距离有限的$k$，独立的样本大小。这种局部和数据相关的选择在实践中提高了性能，但是带宽以快速的速率消失，导致非零偏置。我们证明了所提出的估计量的渐近偏差是普遍的，它是独立的基本分布。因此，它可以被预先计算并从估计中减去。作为一个副产品，我们获得了一个统一的方式获得核和NN估计。相应的理论贡献有关的渐近几何最近的邻居顺序统计量是独立的数学兴趣。
2016-09-07 cs.IT cs.LG math.IT
CCMI : Classifier based Conditional Mutual Information Estimation
University of Washington（华盛顿大学）
条件互信息（CMI）是在给定另一个随机变量Z的情况下，随机变量X和Y之间的条件相关性的度量。它可以用来量化许多数据驱动的推理问题，如图形模型，因果学习，特征选择和时间序列分析变量之间的条件依赖。虽然基于k-最近邻（kNN）的估计以及基于核的方法已被广泛用于CMI估计，他们遭受严重的维数灾难。在本文中，我们利用分类器和生成模型的进步来设计CMI估计方法。具体来说，我们引入了一个估计KL-分歧的似然比的基础上，通过训练一个分类器，以区分所观察到的联合分布的产品分布。然后，我们将展示如何构建几个CMI估计使用这个基本的分歧估计从条件生成模型的想法。我们证明了我们提出的方法的估计不会随着维数的增加而降低性能，并且比广泛使用的KSG估计量有显着的改善。最后，作为准确的CMI估计的应用，我们使用我们最好的估计器进行条件独立性测试，并在模拟和真实数据集上实现了比最先进的测试器更优越的性能。
2019-06-05 cs.IT cs.LG math.IT
Analysis of KNN Information Estimators for Smooth Distributions
University of California, Davis（加州大学戴维斯分校）
KSG互信息估计器是一种基于样本到其第k个最近邻的距离的互信息估计器，被广泛用于估计两个连续随机变量之间的互信息。已有的工作分析了这种估计的收敛速度的随机变量的密度有界远离零的支持。然而，在实践中，KSG估计也表现良好的更广泛的一类分布，不仅包括那些有界的支持和密度有界远离零，但也有界的支持，但密度接近零，和那些与无界的支持。本文分析了光滑分布的KSG估计误差的收敛速度，其中光滑分布的密度支集既可以是有界的，也可以是无界的。由于KSG互信息估计量可以看作是KL熵估计量的自适应重组，在我们的分析中，我们也给出了KL熵估计量对一大类分布的收敛性分析。
2019-10-24 cs.IT cs.LG math.IT
Towards a pretrained deep learning estimator of the Linfoot informational correlation
University of Twente（特文特大学）；University of Southern Denmark（南部丹麦大学）；University of Copenhagen（哥本哈根大学）
本文提出了一种基于预训练深度学习的方法，用于估计Linfoot信息相关性，通过对比不同估计器验证了其在偏差和方差上的优势。
2025-12-13 cs.LG stat.ME stat.ML
