One-step corrected projected stochastic gradient descent for statistical estimation
本研究提出一种基于对数似然函数投影随机梯度下降、经Fisher scoring单步校正的通用高效参数估计方法，理论与仿真均验证其可作为现有两类随机梯度下降方法的有效替代方案。
2024-04-13 math.ST stat.ML stat.TH
Learning gradient-based ICA by neurally estimating mutual information
近年来，人们提出了几种估计随机变量互信息的方法。他们可以证明有价值的新方法来学习统计独立的功能。在本文中，我们使用这些方法之一，一个互信息神经估计（MINE）网络，提出了一个概念证明的神经网络可以执行线性ICA。我们最小化的互信息，估计由MINE网络，可微编码器网络的输出单元之间。这是通过两个网络的简单交替优化来完成的。该方法被证明是一个定性平等的解决方案FastICA的盲源分离的噪声源。
2019-04-22 cs.LG stat.ML
MINE: Mutual Information Neural Estimation
Montréal Institute for Learning Algorithms (MILA)（蒙特利尔学习算法研究所（MILA））；University of Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；The Institute for Data Valorization (IVADO)（数据价值化研究所（IVADO））；Canadian Institute for Advanced Research (CIFAR)（加拿大高级研究院（CIFAR））
我们证明了在神经网络上，高维连续随机变量之间的互信息的估计可以通过梯度下降来实现。我们提出了一个互信息神经估计（MINE），是线性可扩展的维度，以及在样本大小，可通过反向传播训练，并强一致。我们提出了一些应用程序上的MINE可以用来最小化或最大化互信息。我们应用MINE来改进对抗训练的生成模型。我们还使用MINE来实现信息瓶颈，将其应用于监督分类;我们的结果表明，在这些设置中，灵活性和性能都有了很大的提高。
2021-08-14 cs.LG stat.ML
InfoBridge: Mutual Information estimation via Bridge Matching
Applied AI Institute（应用人工智能研究所）；Institute of Numerical Mathematics (RAS)（俄罗斯科学院数值数学研究所）；Moscow Independent Research Institute of Artificial Intelligence（莫斯科独立人工智能研究所）
InfoBridge通过桥接匹配方法，解决两个随机变量间互信息估计问题，提供无偏估计器并在多个基准测试中展示性能。
2026-02-27 cs.LG stat.ML
Learning Disentangled Representations via Mutual Information Estimation
IRT Saint Exupéry（圣埃克苏佩里跨学科研究中心）；IRIT（图卢兹计算机研究所）
在本文中，我们研究了学习解纠缠表示的问题。给定一对共享某些属性的图像，我们的目标是创建一个低维表示，它分为两部分：一个共享表示，捕获图像之间的共同信息和一个排他性表示，包含每个图像的特定信息。为了解决这个问题，我们提出了一种基于互信息估计的模型，而不依赖于图像重建或图像生成。互信息最大化的执行，以捕获共享和独占表示中的数据的属性，而我们最小化的共享和独占表示之间的互信息，以执行表示解纠缠。我们表明，这些表示是有用的，以执行下游任务，如图像分类和图像检索的基础上共享或排他性的组件。此外，分类结果表明，我们的模型优于国家的最先进的模型的基础上VAE/GAN的方法表示解开。
2019-12-09 cs.LG stat.ML
Generalized Bregman Divergence and Gradient of Mutual Information for Vector Poisson Channels
我们调查之间的连接信息理论和估计理论的矢量泊松信道模型的数量。特别是，我们概括的梯度互信息相对于关键系统参数从标量到矢量泊松信道模型。我们还提出，作为另一个贡献，一个泛化的经典Bregman发散，提供了一种手段，封装在一个统一的框架下的梯度的互信息结果的标量和矢量泊松和高斯信道模型。所谓的广义Bregman发散也表现出各种性质类似的经典版本的属性。鉴于其在各个领域中的应用，矢量泊松信道模型引起了相当大的关注：例如，互信息的梯度的可用性可以与梯度下降方法结合使用，以在新兴的X射线和文档分类应用中实现压缩感测投影设计。
2013-05-09 cs.IT math.IT stat.ML
Multimodal Image-to-Image Translation via Mutual Information Estimation and Maximization
Zhejiang University（浙江大学）；Kwai Inc.（快手公司）
多模态图像到图像翻译（I2 IT）旨在学习一种条件分布，该分布在给定源域中的输入图像的情况下探索目标域中的多个可能图像。通常采用条件生成对抗网络（cGAN）来对这种条件分布进行建模。然而，cGANs在条件图像合成中容易忽略潜在代码并学习单峰分布，这也被称为GANs的模式坍塌问题。为了解决这个问题，我们提出了一种简单而有效的方法，该方法通过使用本文中的深度互信息神经估计器来显式地估计和最大化cGAN中的潜在代码和输出图像之间的互信息。最大化互信息增强了潜在代码和输出图像之间的统计依赖性，这防止了生成器忽略潜在代码，并鼓励cGAN充分利用潜在代码来合成不同的结果。该方法不仅从信息论的角度为提高I2 IT的多样性提供了一个新的视角，而且还免费实现了源域内容和目标域风格之间的解纠缠。
2021-05-08 cs.CV cs.LG eess.IV
Empowerment-driven Exploration using Mutual Information Estimation
Technical University of Munich（慕尼黑工业大学）
探索是强化学习中的一项艰巨挑战，在稀疏奖励环境中至关重要。然而，许多依赖于ε贪婪的最先进的深度强化学习算法在这些环境中失败了。在这种情况下，授权可以作为一种内在的奖励信号，使代理人能够最大限度地发挥其在不久的将来的影响力。我们制定授权的状态和行动之间的信道容量，并通过估计之间的互信息的行动和以下状态计算。使用互信息神经估计器和前向动力学模型来估计互信息。我们证明，授权驱动的代理是能够显着提高的得分的基线DQN代理的游戏蒙特祖玛的复仇。
2018-10-11 cs.AI cs.LG stat.ML
C-MI-GAN : Estimation of Conditional Mutual Information using MinMax formulation
IIT Delhi（印度理工学院德里分校）；University of Washington（华盛顿大学）；TIFR Mumbai（塔塔基础研究院孟买分院）
信息理论量的估计，如互信息及其条件变量，由于其多方面的应用，最近引起了人们的兴趣。新提出的神经估计这些数量克服了严重的缺点，经典的$k$ NN为基础的估计在高维。在这项工作中，我们专注于条件互信息（CMI）估计，利用其制定的最小最大优化问题。这样的公式导致了类似于生成对抗网络的联合训练过程。我们发现，我们提出的估计提供了更好的估计比现有的方法对各种模拟数据集，包括变量之间的线性和非线性关系。作为CMI估计的一个应用，我们将我们的估计器部署在真实数据上进行条件独立性（CI）测试，并获得了比最先进的CI测试仪更好的结果。
2020-07-23 cs.IT cs.LG math.IT
Stochastic Mutual Information Gradient Estimation for Dimensionality Reduction Networks
Northeastern University（东北大学）；Graz University of Technology（格拉茨技术大学）；Silicon Austria Labs（硅谷奥地利实验室）
特征排序和选择是判别式机器学习中监督降维的各种应用中广泛使用的方法。然而，存在显着的证据特征排名和选择算法的基础上，任何标准导致潜在的次优解决方案的类可分性。在这方面，我们介绍了新兴的信息理论特征转换协议作为端到端的神经网络训练方法。我们提出了一个降维网络（MMINet）的训练过程的基础上随机估计的互信息梯度。该网络将高维特征投影到输出特征空间上，其中特征的低维表示携带与其相关联的类标签的最大互信息。此外，我们制定的训练目标，估计非参数，没有分布假设。我们实验评估我们的方法与应用程序的高维生物数据集，并将其与传统的特征选择算法，形成一个特殊的情况下，我们的方法。
2021-05-01 cs.IT cs.LG math.IT
Gradient-based Bayesian Experimental Design for Implicit Models using Mutual Information Lower Bounds
University of Edinburgh（爱丁堡大学）
我们介绍了一个框架贝叶斯试验设计（BED）与隐式模型，其中的数据生成分布是棘手的，但从它的采样仍然是可能的。为了找到最佳的试验设计，这样的模型，我们的方法最大化的互信息下限参数化的神经网络。通过在采样数据上训练神经网络，我们同时更新网络参数和使用随机梯度上升设计。该框架使试验设计具有各种突出的下限，并可应用于广泛的科学任务，如参数估计，模型判别和改善未来的预测。使用一组棘手的玩具模型，我们提供了一个全面的经验比较突出的下限适用于上述任务。我们进一步验证了我们的框架上一个具有挑战性的系统随机微分方程的流行病学。
2021-05-10 cs.LG stat.CO stat.ME
MINDE: Mutual Information Neural Diffusion Estimation
EURECOM（欧洲通信学院）；Ampere Software Technology（安沛软件技术公司）
本研究提出基于Girsanov定理解读的互信息神经扩散估计方法MINDE，利用基于分数的扩散模型，通过条件或联合扩散过程估计互信息，精度优于现有方法且通过自一致性测试。
2024-05-15 cs.LG stat.ML
Joint Inverse Covariances Estimation with Mutual Linear Structure
本文研究结构逆协方差阵的联合估计问题。我们使用具有相同未知结构的不同协方差的测量组进行估计。假设逆协方差在对称矩阵空间中生成一个低维线性子空间，我们的目的是确定这种结构。然后利用它来改善逆协方差的估计。我们提出了一种新的优化算法，发现和利用底层结构，并提供其有效的实现。数值模拟来说明所提出的算法的性能优势。
2015-11-20 stat.AP stat.ML
Mutual Information Multinomial Estimation
University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）；Imperial College London（伦敦帝国学院）
针对互信息估计这一基础难题，提出借助数据分布初步估计作为联合与边缘分布桥梁的新估计器，经合成与真实任务实验验证其有效性。
2024-08-18 cs.IT cs.LG math.IT
MAE: Mutual Posterior-Divergence Regularization for Variational AutoEncoders
Carnegie Mellon University（卡内基梅隆大学）
变分自编码器（VAE）是一种简单有效的深度生成模型，已经取得了许多令人印象深刻的经验成功，并催生了许多先进的变体和理论研究。然而，最近的研究表明，当配备了表达生成分布（又名。解码器），VAE遭受学习无信息的潜在表示与观察称为KL清漆，在这种情况下，VAE崩溃成一个无条件的生成模型。在这项工作中，我们引入了相互后向发散正则化，这是一种新的正则化，能够控制潜在空间的几何形状，以完成有意义的表示学习，同时实现可比或优越的密度估计能力。在三个图像基准数据集上的实验表明，当配备强大的解码器时，我们的模型在密度估计和表示学习方面都表现良好。
2019-01-06 cs.CV cs.LG stat.ML
Mutual Information Estimation via Normalizing Flows
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Sirius University of Science and Technology（天狼星科技大学）；Skoltech（斯科尔科沃科学技术研究院）；MIPT（莫斯科物理技术学院）；Sirius（天狼星科技大学）
提出基于归一化流的互信息估计新方法，通过映射到易估计的目标分布并利用闭式表达式，提供理论保证并在高维数据实验中展示优势。
2024-05-25 cs.IT cs.LG math.IT
On the Effect of Suboptimal Estimation of Mutual Information in Feature Selection and Classification
Virginia Tech（弗吉尼亚理工大学）
本文介绍了一个新的属性的统计关联强度的估计，这有助于描述如何以及一个估计将执行的情况下，连续和离散随机变量之间的依赖关系需要排序。新的属性，称为估计响应曲线，是很容易计算，并提供了一个边缘分布不可知的方式来评估估计的性能。它克服了当前评估指标的显著缺点，包括统计功效、偏倚和一致性。我们利用估计响应曲线来测试各种措施的关联强度，满足数据处理不等式（DPI），并表明CIM估计的性能相比，毫不逊色kNN，vME，AP，和H_{MI}估计的互信息。被确定为次优的估计量，根据估计量响应曲线，表现比更优的估计量更差时，从四个不同的科学领域的真实世界的数据进行测试，所有具有不同的维度和大小。
2021-01-09 cs.LG stat.ML
Model-Augmented Estimation of Conditional Mutual Information for Feature Selection
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
马尔可夫毯特征选择虽然在理论上是最优的，但通常难以实现。这是由于现有的条件独立性（CI）测试方法的缺点，往往斗争的维数灾难或计算复杂性。我们提出了一种新的两步方法，有利于马尔可夫毯特征选择在高维。首先，使用神经网络将特征映射到低维表示。在第二步中，通过将$k$条件互信息估计器应用于学习的特征图来执行CI测试。映射的目的是确保映射的样本都保存信息和共享类似的信息，当且仅当它们是接近的欧几里得距离的目标变量。我们表明，这些属性提高性能的$k$ -NN估计在第二步。所提出的方法的性能进行评估合成和真实数据。
2020-06-19 cs.LG stat.ML
On the Properties and Estimation of Pointwise Mutual Information Profiles
ETH AI Center, ETH Zurich（苏黎世联邦理工学院ETH AI中心）；Institute of Fundamental Technological Research, Polish Academy of Sciences（波兰科学院基础技术研究所）；SIB Swiss Institute of Bioinformatics（瑞士SIB生物信息学研究所）；Department of Biosystems Science and Engineering, ETH Zurich（苏黎世联邦理工学院生物系统科学与工程系）；Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）
本文解析多元正态分布的点互信息轮廓，提出Bend and Mix模型族，用蒙特卡洛方法估计轮廓，并用于研究互信息估计器局限、神经评判器行为及异常值影响，最终实现基于模型的贝叶斯互信息估计。
2024-05-29 cs.IT cs.LG math.IT
LSMI-Sinkhorn: Semi-supervised Mutual Information Estimation with Optimal Transport
AAII, University of Technology Sydney（澳大利亚悉尼科技大学AAII）；Kyoto University（京都大学）；RIKEN AIP（理化学研究所人工智能项目）；Carnegie Mellon University（卡内基梅隆大学）
针对难以获取大量配对样本的互信息估计难题，提出基于最优传输的半监督LSMI-Sinkhorn算法，仅需少量配对样本结合非配对样本即可高效估计平方损失互信息，在图像匹配等任务中表现有效。
2021-06-27 cs.LG stat.ML
On the Effectiveness of Hybrid Mutual Information Estimation
University of Amsterdam（阿姆斯特丹大学）
本文提出统一判别式与生成式方法的变分界及混合互信息估计框架，并用轻量 PQ 降低估计方差，在高维高斯和自由粒子随机过程上验证其更优。
2023-06-02 cs.IT cs.LG math.IT
Efficient Estimation of Mutual Information for Strongly Dependent Variables
我们证明了一个流行的类的非参数互信息（MI）估计的基础上，k-最近邻图需要的样本数量，真正的MI指数尺度。因此，只有在样本量过大的情况下，才有可能准确估计两个强相依变量之间的MI。现有估计量的这一重要但被忽视的缺点是由于它们隐含地依赖于潜在联合分布的局部均匀性。我们引入了一个新的估计，是强大的本地非均匀性，工程有限的数据，并能够捕捉到的关系强度超过许多数量级。我们证明了所提出的估计的合成和真实世界的数据上的优越性能。
2015-03-05 cs.IT math.IT physics.data-an
CCMI : Classifier based Conditional Mutual Information Estimation
University of Washington（华盛顿大学）
条件互信息（CMI）是在给定另一个随机变量Z的情况下，随机变量X和Y之间的条件相关性的度量。它可以用来量化许多数据驱动的推理问题，如图形模型，因果学习，特征选择和时间序列分析变量之间的条件依赖。虽然基于k-最近邻（kNN）的估计以及基于核的方法已被广泛用于CMI估计，他们遭受严重的维数灾难。在本文中，我们利用分类器和生成模型的进步来设计CMI估计方法。具体来说，我们引入了一个估计KL-分歧的似然比的基础上，通过训练一个分类器，以区分所观察到的联合分布的产品分布。然后，我们将展示如何构建几个CMI估计使用这个基本的分歧估计从条件生成模型的想法。我们证明了我们提出的方法的估计不会随着维数的增加而降低性能，并且比广泛使用的KSG估计量有显着的改善。最后，作为准确的CMI估计的应用，我们使用我们最好的估计器进行条件独立性测试，并在模拟和真实数据集上实现了比最先进的测试器更优越的性能。
2019-06-05 cs.IT cs.LG math.IT
Estimation of Rényi Entropy and Mutual Information Based on Generalized Nearest-Neighbor Graphs
University of Alberta（阿尔伯塔大学）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了简单和计算效率的非参数估计的Rényi熵和互信息的基础上的i.i.d.从$\R^d$上的未知绝对连续分布中抽取的样本。估计量分别计算为样本的“广义最近邻”图和样本的经验copula的边的欧几里得长度的$p$次幂之和。对于第一次，我们证明了几乎肯定的一致性，这些估计和上界的收敛速度，后者的假设下，密度的样本是Lipschitz连续的。实验证明了它们在独立子空间分析中的实用性。
2010-10-25 cs.AI stat.ML
Data-Driven Representations for Testing Independence: Modeling, Analysis and Connection with Mutual Information Estimation
University of Chile（智利大学）
这项工作解决了测试两个连续的和有限维的随机变量的数据驱动分区的设计的独立性。采用经验对数似然统计量来近似独立性（已知两个假设）的oracle检验的充分统计量。结果表明，近似的充分统计量的Oracle测试提供了一个学习标准，设计一个数据驱动的分区，连接的互信息估计的问题。应用这些想法的上下文中的数据相关的树结构分区（TSP），我们推导出条件的TSP的参数，以实现一个强一致的分布的独立性测试的概率配备了密度的家庭。补充这一结果，我们提出了有限长度的结果，表明我们的TSP计划的能力，以检测的情况下，独立的结构与数据驱动的分区，以及新的采样复杂性界限，这种检测。最后，一些实验分析提供的证据，我们的计划的优势，测试独立性相比，一些战略，不使用数据驱动的表示。
2021-10-27 cs.IT cs.LG math.IT
fastHDMI: Fast Mutual Information Estimation for High-Dimensional Data
McGill University（麦吉尔大学）；Lady Davis Institute for Medical Research（莱戴维斯医学研究所）；Jewish General Hospital（犹太总医院）
本文提出Python包fastHDMI，通过三种互信息估计方法实现高维神经影像数据的高效变量筛选，并在ABIDE数据集上验证了其在不同线性与非线性条件下的优越性能与实用价值。
2024-10-14 cs.LG stat.AP stat.CO
Bayesian Experimental Design for Implicit Models by Mutual Information Neural Estimation
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
隐式随机模型，其中的数据生成分布是棘手的，但采样是可能的，是无处不在的自然科学。这些模型通常具有自由参数，需要从科学实验中收集的数据中推断出来。一个基本问题是如何设计实验，使收集的数据最有用。贝叶斯试验设计领域主张，理想情况下，我们应该选择最大化数据和参数之间的互信息（MI）的设计。然而，对于隐式模型，这种方法受到计算后验和最大化MI的高计算成本的严重阻碍，特别是当我们有超过少数的设计变量进行优化时。在本文中，我们提出了一种新的方法，贝叶斯试验设计的隐式模型，利用神经MI估计来处理这些问题的最新进展。我们表明，训练一个神经网络，以最大限度地提高MI的下限，使我们能够共同确定最佳设计和后验。模拟研究表明，这优雅地扩展贝叶斯试验设计隐式模型更高的设计维度。
2020-08-14 cs.LG stat.CO stat.ME
Survey On The Estimation Of Mutual Information Methods as a Measure of Dependency Versus Correlation Analysis
在这项调查中，我们提出并比较了不同的方法来估计互信息（MI）的数据，以分析系统中感兴趣的变量之间的一般依赖关系。我们展示了MI与相关性分析的性能差异，这仅在线性依赖关系的情况下是最佳的。首先，我们使用分段常数贝叶斯方法，使用一般的Dirichlet先验。在这种估计方法中，我们使用两个阶段的方法，我们近似的概率分布第一，然后计算的边缘和联合熵。在这里，我们展示了这种贝叶斯方法与其他计算不同变量之间的依赖关系的性能。我们还比较了这些线性相关分析。最后，我们应用MI和相关性分析来识别的偏差在确定气溶胶光学厚度（AOD）的卫星为基础的中分辨率成像光谱仪（MODIS）和地面为基础的AERONET（AERONET）。在这里，我们观察到，这两个仪器的AOD测量可能是不同的相同的位置。通过定量分析云覆盖、地面反射率等15个变量与偏差的相关性，探讨了偏差产生的原因。
2014-01-14 stat.ML
Scalable Mutual Information Estimation using Dependence Graphs
互信息（MI）是在信息论、统计学和机器学习中使用的两个随机变量之间的依赖性的常用度量。最近，已经提出了几个MI估计，可以实现参数MSE收敛速度。然而，大多数先前提出的估计具有至少$O(N^2)$的高计算复杂性。基于$N$ i.i.d.提出了$\mathbb{R}^d$中随机向量间广义MI函数经验非参数估计的统一方法.样品降低复杂性的MI估计器称为集成依赖图估计器（EDGE），结合了随机局部敏感哈希（LSH）、依赖图和集成偏差减少方法。我们证明了EDGE实现了最佳的计算复杂性$O(N)$，并可以实现最佳的参数MSE率的$O(1/N)$，如果密度是$d$倍可微。据我们所知，EDGE是第一个非参数MI估计器，可以实现线性时间复杂度的参数MSE率。我们说明了EDGE在深度学习中分析信息平面（IP）的实用性。使用EDGE，我们揭示了关于信息瓶颈（IB）的压缩属性是否适用于ReLu和深度神经网络（DNN）中的其他纠正函数的争议。
2018-11-23 cs.IT math.IT stat.ML
MIND: Inductive Mutual Information Estimation, A Convex Maximum-Entropy Copula Approach
KXY Technologies, Inc.（KXY科技公司）
我们提出了一种新的估计两个有序向量$x$和$y$之间的互信息。我们的方法是归纳的（而不是演绎的），因为它依赖于数据生成分布，仅通过一些非参数属性揭示数据中的关联，并且不需要有足够的数据来充分表征真正的联合分布$P_{x, y}$。具体来说，我们的方法包括（i）注意到$I\left(y; x\right) = I\left(u_y; u_x\right)$，其中$u_y$和$u_x$是$y$和$x$的copula一致对偶表示（即它们在概率积分变换下的图像），以及（ii）通过在$α_m = E\left[ϕ_m(u_y, u_x)\right]$类型的约束下求解copula密度空间上的最大熵问题来估计copula熵$h\left(u_y\right)$，$h\left(u_x\right)$和$h\left(u_y, u_x\right)$。我们证明了，只要约束是可行的，这个问题承认一个唯一的解决方案，它是在指数族，它可以通过解决凸优化问题学习。由此产生的估计，我们表示为MIND，是边缘不变的，总是非负的，无界的任何样本大小$n$，一致的，有MSE率$O(1/n)$，是更有效的数据比竞争的方法。除了互信息估计之外，我们还说明了我们的方法可以通过最大化假样本的Copula的熵来减轻GANs中的模式崩溃，我们将这种模型称为Copula熵正则化GAN（CER-GAN）。
2022-04-09 cs.IT cs.LG math.IT
Direct Estimation of the Derivative of Quadratic Mutual Information with Application in Supervised Dimension Reduction
监督降维的一个典型目标是找到输入空间的低维子空间，使得投影的输入变量保留关于输出变量的最大信息。依赖最大化方法通过最大化投影输入变量和输出变量之间的统计依赖来解决监督降维问题。一个著名的统计相关性度量是基于Kullback-Leibler（KL）散度的互信息（MI）。然而，已知库尔贝克-莱布勒散度对异常值敏感。另一方面，二次MI（QMI）是基于$L_2$距离的MI的变体，其比库尔贝克-莱布勒散度对离群值更鲁棒，并且最近已经提出了一种从数据估计QMI的计算有效的方法，称为最小二乘QMI（LSQMI）。基于这些原因，发展一种基于LSQMI的有监督的降维方法似乎是有希望的。然而，在有监督的降维中，子空间搜索需要的不是QMI本身，而是QMI的导数，并且精确的QMI估计的导数不一定是QMI导数的好估计。在本文中，我们提出了直接估计QMI的导数，而不估计QMI本身。我们表明，直接估计的QMI的衍生物是更准确的比衍生物的估计QMI。最后，我们开发了一个有监督的降维算法，有效地使用所提出的导数估计，并通过实验证明，所提出的方法是更强大的离群值比现有的方法。
2015-08-05 stat.ML
Regularized Multi-Task Learning for Multi-Dimensional Log-Density Gradient Estimation
对数密度梯度估计是一个基本的统计问题，具有聚类和非高斯性测量等多种实际应用。首先估计密度然后取其对数梯度的简单两步方法是不可靠的，因为准确的密度估计不一定导致准确的对数密度梯度估计。针对这一问题，本文提出了一种不需要密度估计而直接估计对数密度梯度的方法，并证明了该方法比两步法的效果好得多。本文的目的是进一步提高这种直接方法在多维情况下的性能。我们的思想是把每个维度上的对数密度梯度估计问题看作一个任务，并将正则化多任务学习应用于直接对数密度梯度估计器。我们的实验表明，所提出的多任务方法在对数密度梯度估计和模式寻求聚类的有用性。
2015-08-01 stat.ML
Gradient Estimation with Simultaneous Perturbation and Compressive Sensing
本文的目的是实现一个“好”的估计的梯度的一个函数在高维空间。通常，这样的函数在所有坐标下都不敏感，并且函数的梯度几乎是稀疏的。我们提出了一种梯度估计的方法，结合了Spall的同时扰动随机逼近与压缩感知的想法。其目的是获得“好”的估计，没有太多的功能评估。应用于估计梯度外积矩阵以及标准的优化问题，通过模拟说明。
2016-07-26 stat.ML
Nonparanormal Information Estimation
我们研究了使用i.i.d.的问题。从未知的多变量概率分布$p$采样，以估计$p$的互信息。这个问题最近在两种情况下受到关注：（1）假设$p$是高斯分布的，以及（2）假设$p$仅位于一个大的非参数平滑类中。当高斯假设成立时，为高斯情况提出的估计在高维收敛，但是当$p$不是高斯时，估计是脆弱的，显著地失败。非参数情况下提出的估计无法与现实的样本量收敛，除非在非常低的维度。因此，对于许多实际数据，缺乏鲁棒的互信息估计器。为了解决这个问题，我们提出了当$p$被假设为非超正常（即，高斯copula）模型，高斯和非参数极端之间的半参数妥协。使用理论界和实验，我们表明，这些估计罢工之间的鲁棒性和规模与维度的实际平衡。
2017-02-24 cs.IT math.IT math.ST
Analysis of k-Nearest Neighbor Distances with Application to Entropy Estimation
一致地估计熵和互信息对于许多机器学习应用是重要的。Kozachenko-Leonenko（KL）估计量（Kozachenko & Leonenko，1987）是一种广泛使用的多变量连续随机变量熵的非参数估计量，也是Kraskov等人（2004）的互信息估计量的基础，可能是该设置中最广泛使用的互信息估计量。尽管这些估计的实际重要性，主要的理论问题，他们的有限样本行为仍然开放。本文证明了KL估计的偏差和方差的有限样本界，表明对于某些类光滑函数，它达到了极小极大收敛速度。在证明这些界限，我们分析有限样本行为的k-最近邻（k-NN）距离统计（KL估计的基础上）。我们得到的k-NN距离的浓度不等式和一般的期望界的k-NN距离的统计，这可能是有用的其他k-NN方法的分析。
2016-07-21 cs.IT math.IT math.ST
