Multivariate f-Divergence Estimation With Confidence
f-散度估计问题在机器学习、信息论和统计学领域中很重要。虽然存在几个非参数散度估计,相对较少的已知收敛性。特别是,即使对于那些估计的MSE收敛速度是已知的,渐近分布是未知的。我们建立了一个最近提出的合奏估计的f-发散两个分布之间的有限数量的样本的渐近正态性。该估计器具有O(1/T)的MSE收敛速度,易于实现,并且在高维情况下表现良好。该理论使我们能够执行基于发散的推理任务,例如基于经验样本测试分布对的相等性。我们实验验证我们的理论结果,并作为一个例子,使用它们来经验约束最佳可实现的分类错误。
2014-11-07 cs.IT math.IT stat.ML
Concentration Bounds for Discrete Distribution Estimation in KL Divergence
University of Sydney(悉尼大学);Google Research(谷歌研究院)
该研究针对KL散度下离散分布估计问题,推导Laplace估计器的集中界,将偏差量级从k/n改进为√k/n(n≥k时),并给出匹配下界证明其紧性。
2023-06-13 cs.DM cs.IT cs.LG
Unified Perspective on Probability Divergence via Maximum Likelihood Density Ratio Estimation: Bridging KL-Divergence and Integral Probability Metrics
The University of Tokyo(东京大学);CyberAgent, Inc.(赛博艾金特公司);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Preferred Networks, Inc.(优选网络公司)
本文从最大似然密度比估计的角度,给出了Kullback-Leibler(KL)-散度和积分概率度量(IPM)的统一观点。KL-发散和IPM都被广泛应用于生成建模等各个领域。然而,对这些概念的统一理解尚未得到探索。在本文中,我们表明,KL-分歧和IPM可以表示为最大似然不同,只有抽样方案,并使用这个结果,以获得一个统一的形式的IPM和宽松的估计方法。为了发展的估计问题,我们构造了一个无约束的最大似然估计进行DRE与分层抽样方案。我们进一步提出了一类新的概率发散,称为密度比(DRMs),插值KL发散和IPM。除了这些发现,我们还介绍了DRM的一些应用,如DRE和生成对抗网络。在实验中,我们验证了我们提出的方法的有效性。
2022-01-31 cs.AI cs.LG stat.ML
Generalized Exponential Concentration Inequality for Rényi Divergence Estimation
在许多机器学习任务中,以一致的方式估计分歧是非常重要的。虽然这是一个基本问题,在非参数统计,据我们所知,一直没有有限样本指数不等式收敛界推导出任何分歧估计。本文的主要贡献是给出了$d$维单位立方体$[0, 1]^d$上光滑Hölder密度类的Rényi-$α$散度估计的一个界.我们还说明了我们的理论结果与数值实验。
2016-03-28 cs.IT math.IT math.ST
Centroid estimation based on symmetric KL divergence for Multinomial text classification problem
Georgia Institute of Technology(佐治亚理工学院);Cornell University(康奈尔大学)
我们定义了一种新的方法来估计质心的文本分类的基础上的对称KL-分歧的训练文件中的词的分布和它们的类质心。在多个标准数据集上的实验表明,该方法较传统分类器有了显著的改进。
2018-10-24 cs.IR cs.LG stat.ML
$α$-GAN: Convergence and Estimation Guarantees
Arizona State University(亚利桑那州立大学)
我们证明了一般CPE损失函数GANs的最小-最大优化与相关$f$ -发散最小化之间的双向对应关系。然后,我们专注于$α$ -GAN,通过$α$ -loss定义,它插值几个GANs(Hellinger,vanilla,Total Variation),并对应于Arimoto发散的最小化。我们证明了对于所有的$α\in \mathbb{R}_{>0}\cup\{\infty\}$,$α$ -GAN引起的Arimoto发散等价收敛.然而,在受限学习模型和有限样本下,我们提供了估计界,其指示作为$α$的函数的不同GAN行为。最后,我们提出了一个玩具数据集的实证结果,突出了调整的$α$超参数的实际效用。
2022-05-12 cs.IT cs.LG math.IT
Novel Change of Measure Inequalities with Applications to PAC-Bayesian Bounds and Monte Carlo Estimation
Purdue University(普渡大学)
本文针对两类发散性:$f$ -发散性和$α$ -发散性,引入了几个新的测度变化不等式.我们展示了如何变分表示$f$ -分歧导致新的变化的措施不等式。给出了$α$ -分歧的乘性测度变换不等式和Hammersley-Chapman-Robbins不等式的推广.最后,我们提出了几个应用程序,我们的测量不等式的变化,包括PAC贝叶斯界的各种损失和非渐近区间的Monte Carlo估计。
2020-06-25 cs.LG stat.ML
Parameter Estimation for Unnormalized Discrete Models via Empirically Localized Deformed Bregman Divergence
National Graduate Institute for Policy Studies (GRIPS)(政策研究大学院大学(GRIPS));Riken AIP(理化学研究所人工智能研究中心)
本文提出一种结合经验局部化与变形Bregman散度的方法,用于离散非归一化模型的参数估计,以降低计算成本并获得高效、鲁棒的估计器。
2026-09-28 cs.LG stat.ML
Variational Approach for Efficient KL Divergence Estimation in Dirichlet Mixture Models
LMU Munich(慕尼黑大学)
提出变分闭式解高效估计狄利克雷混合模型中的KL散度,显著提升计算效率与准确性,优于蒙特卡洛方法,促进组合数据聚类分析。
2024-03-18 cs.LG math.ST stat.ML
Martingale Methods for Sequential Estimation of Convex Functionals and Divergences
我们提出了一个统一的技术序贯估计凸分布之间的分歧,包括积分概率距离,如内核的最大均值差异,$φ$ -分歧,如Kullback-Leibler分歧,和最优输运成本,如权力的Wasserstein距离。这是通过观察经验凸发散是关于可交换过滤的(偏序)逆下鞅,再加上这种过程的极大不等式来实现的。这些技术似乎是补充和强大的补充,现有的文献上的置信序列和凸发散。我们构建了一个离线到顺序的设备,将大量现有的离线浓度不等式转换成时间均匀的置信序列,可以连续监测,提供有效的测试或置信区间在任意停时。由此产生的顺序界限只需要在相应的固定时间界限上迭代对数代价,保留对问题参数(如尺寸或字母表大小,如果适用)的相同依赖性。这些结果也适用于更一般的凸泛函-如负微分熵,经验过程的上确界,和V-统计量-和更一般的过程满足一个关键的留一属性。
2023-03-12 cs.IT math.IT math.PR
Direct Estimation of Information Divergence Using Nearest Neighbor Ratios
University of Michigan(密歇根大学);Yale University(耶鲁大学)
我们提出了一个直接估计方法的Rényi和f-散度措施的基础上一个新的图论解释。假设我们给出两个样本集$X$和$Y$,分别具有$N$和$M$样本,其中$η:=M/N$是常数值。考虑联合数据集$(X,Y)$中$Y$的$k$ -最近邻($k$ -NN)图,证明了所有$k$ -NN点中$X$点的个数与$Y$点的个数的平均幂比与$X$和$Y$密度的Rényi散度成正比.类似的方法也可以用于估计f-散度度量。我们推导出偏差率和方差率,并证明了对于$γ$ -Hölder光滑函数类,估计量达到了$O(N^{-2γ/(γ+d)})$的MSE率。此外,通过使用加权系综估计技术,密度函数的连续和有界导数的顺序$d$,和一些额外的条件,在支持集的边界,我们得到一个系综估计,实现参数MSE率$O(1/N)$。我们的估计量比其他竞争估计量更易于计算,这使得它们在许多实际应用中具有吸引力。
2017-11-20 cs.AI cs.IT math.IT
Alpha-divergence loss function for neural density ratio estimation
NTT DATA Mathematical Systems Inc.(NTT DATA数学系统公司)
针对神经密度比估计中 KL 等散度损失的优化难题,论文推导并验证 α-Div 损失,证明其优化更稳定,但 RMSE 精度未显著优于 KL 损失。
2025-03-17 cs.LG stat.ML
Risk Bounds for Mixture Density Estimation on Compact Domains via the $h$-Lifted Kullback--Leibler Divergence
School of Mathematics and Physics(数学与物理学院);The University of Queensland(昆士兰大学);Institute of Mathematics for Industry(产业数学研究所);Kyushu University(九州大学);School of Computing, Engineering, and Mathematical Sciences(计算、工程与数学科学学院);La Trobe University(拉筹伯大学)
我们考虑的问题,估计概率密度函数的样本数据的基础上,使用有限的混合密度从一些组件类。为此,我们引入了$h$ -提升Kullback-Leibler(KL)分歧作为标准库尔贝克-莱布勒散度的推广和进行风险最小化的标准。在紧支撑假设下,我们证明了当使用$h$ -提升的库尔贝克-莱布勒散度时,期望估计误差的$\mathcal{O}(1/{\sqrt{n}})$界,推广了Rakhlin等人的结果.(2005年,ESAIM:概率与统计,第9卷)和李和巴伦(1999,Advances in Neural Information ProcessingSystems,Vol.12),以允许不是严格正的密度函数的风险边界。我们开发了一个程序的计算相应的最大$h$ -提升似然估计($h$ -MLLE)使用的优化最大化框架,并提供实验结果支持我们的理论界。
2024-12-22 cs.LG stat.ML
On the connection between Noise-Contrastive Estimation and Contrastive Divergence
Linköping University(林雪平大学);Chalmers University of Technology(查尔姆斯理工大学)
本文证明排序NCE和条件NCE本质上可视为最大似然估计方法,其中RNCE等价于结合条件重要性采样的ML估计,且二者均为对比散度的特例,从而打通了NCE与ML-IS、CD方法之间的联系。
2024-02-26 cs.LG stat.ML
Analysis of Discriminator in RKHS Function Space for Kullback-Leibler Divergence Estimation
Rochester Institute of Technology(罗切斯特理工学院)
已有几种基于可扩展样本的方法来计算两个分布之间的KullbackLeibler(KL)散度,并已被应用于大规模机器学习模型中。虽然它们被发现是不稳定的,但问题的理论根源尚不清楚。在本文中,我们研究了一种基于生成对抗网络的方法,该方法使用神经网络来估计KL散度。我们认为,在这种情况下,估计的高波动是不控制的复杂性的结果?函数空间。我们首先在再生核希尔伯特空间(RKHS)中构建一个新的子空间,为这个问题提供了一个理论基础和补救措施。这使我们能够利用样本复杂度和均值嵌入,从理论上将KL估计的误差概率界与RKHS中的K-S复杂度联系起来。基于这一理论,我们然后提出了一个可扩展的方法来控制的复杂性的KL散度的可靠估计的卷积。我们支持我们提出的理论和方法,通过控制实验来控制RKHS的复杂性。
2021-09-04 cs.LG stat.ML
Non-Negative Bregman Divergence Minimization for Deep Direct Density Ratio Estimation
CyberAgent, Inc.(赛博代理公司);The University of Tokyo(东京大学)
密度比估计(DRE)是异常检测和领域自适应等各种机器学习任务的核心。在现有的DRE研究中,基于Bregman散度(BD)最小化的方法得到了广泛的研究。然而,当BD最小化应用于高度灵活的模型(如深度神经网络)时,往往会遭受我们所说的训练损失黑客攻击,这是由经验BD估计量的典型特征引起的过拟合的来源。在本文中,为了减轻列车损失黑客攻击,我们提出了一个非负校正的经验BD估计。理论上,我们通过一个泛化误差界证实了所提出方法的合理性。通过实验,我们提出的方法表现出良好的性能,在基于内点的离群点检测。
2021-07-17 cs.CV cs.LG stat.ML
Nonparametric Divergence Estimation with Applications to Machine Learning on Distributions
低维嵌入、流形学习、聚类、分类和异常检测是机器学习中最重要的问题。现有的方法通常考虑的情况下,每个实例有一个固定的,有限维的特征表示。在这里,我们考虑一个不同的设置。我们假设每个实例对应于一个连续的概率分布。这些分布是未知的,但我们得到了一些独立同分布。每个分布的样本。我们的目标是估计这些分布之间的距离,并使用这些距离来执行低维嵌入,聚类/分类,或异常检测的分布。我们提出了估计算法,描述了如何将它们应用于分布的机器学习任务,并显示了合成数据,真实图像和天文数据集的经验结果。
2012-02-14 cs.LG stat.ML
f-divergence estimation and two-sample homogeneity test under semiparametric density-ratio models
密度比由两个概率密度的比定义。研究了密度比的推断问题,并将半参数密度比估计应用于两样本齐性检验。在建议的测试程序中,两个概率密度之间的f-发散估计使用密度比估计。然后利用f-散度估计进行双样本齐性检验。在渐近方差意义下,我们得到了f-散度的最优估计,并研究了所提出的检验方法与现有的基于经验似然估计的score检验方法之间的关系.通过数值研究,我们说明了有限样本推理的渐近理论的充分性。
2010-10-24 stat.ML
E$^2$M: Double Bounded $α$-Divergence Optimization for Tensor-based Discrete Density Estimation
Technical University of Denmark(丹麦技术大学)
E²M算法通过松弛优化与张量多体近似解决α-散度优化难题,实现多种低秩结构的灵活建模,在合成与真实数据集上展现出良好的收敛性、鲁棒性及密度估计性能。
2026-08-06 cs.LG stat.ML
Nonparametric Estimation of Renyi Divergence and Friends
本文考虑连续分布之间$L_2$,Renyi- $α$和Tsallis- $α$分歧的非参数估计.我们的方法是构造两个密度的特定积分泛函的估计,并将其转化为发散估计。对于积分泛函,我们的估计是基于初步插件估计的校正。我们证明了当密度的光滑度$s$都至少为$d/4$时,这些估计达到了$n^{-1/2}$的参数收敛速度,其中$d$是维数。我们还推导出极大极小下界这个问题,确认$s > d/4$是必要的,以实现$n^{-1/2}$收敛速度。我们验证了我们的理论保证与一些模拟。
2014-05-12 math.ST stat.ML stat.TH
Partition Function Estimation under Bounded f-Divergence
Columbia University(哥伦比亚大学);MIT(麻省理工学院)
在有限 f-散度下,研究了分区函数估计的样本复杂性,通过整合覆盖轮廓提出新方法,统一了重要性采样等方法的分析,并扩展到厚尾区域。
2026-02-26 cs.LG stat.ML
Bregman divergence as general framework to estimate unnormalized statistical models
Kyoto University(京都大学);University of Helsinki(赫尔辛基大学)
我们表明,Bregman分歧提供了一个丰富的框架来估计连续或离散随机变量的非归一化统计模型,也就是说,模型不整合或总和分别为1。我们证明,最近的估计方法,如噪声对比估计,比率匹配,得分匹配属于所提出的框架,并解释它们的互连的基础上监督学习。此外,我们还讨论了boosting在无监督学习中的作用。
2012-02-14 cs.LG stat.ML
Estimation of discrete distributions with high probability under $χ^2$-divergence
CREST, ENSAE(CREST, 法国国家应用经济学院)
研究χ²散度下离散分布的高概率估计问题,给出Laplace估计器的精确界及任意估计器的极小极大高概率风险刻画,揭示渐近与非渐近保证的内在分离,完善相关理论。
2025-10-29 math.ST stat.ML stat.TH
$α$-divergence Improves the Entropy Production Estimation via Machine Learning
Department of Physics and Astronomy & Center for Theoretical Physics, Seoul National University(首尔国立大学物理与天文学系及理论物理中心)
本文提出基于$α$-散度变分表示的熵产生估计损失函数,发现$-1<α<0$的$α$-NEEP在强驱动和慢动力学下更稳健,且$α=-0.5$通常最优。
2024-01-19 cond-mat.stat-mech cs.LG stat.ML
Direct Density-Derivative Estimation and Its Application in KL-Divergence Approximation
密度导数的估计是统计数据分析中的通用工具。一种简单的方法是首先估计密度,然后计算其导数。然而,这样的两步方法并不能很好地工作,因为一个好的密度估计并不一定意味着一个好的密度导数估计。本文给出了一种直接逼近密度导数的方法,而不需要估计密度本身。我们提出的估计允许多维高阶密度导数的分析和计算效率的近似,所有的超参数可以通过交叉验证客观地选择的能力。我们进一步表明,建议的密度导数估计是有用的,通过度量学习提高非参数库尔贝克-莱布勒散度估计的准确性。实验证明了该方法在变化检测和特征选择方面的实用优势。
2014-06-30 stat.ML
Neural Estimation of Statistical Divergences
统计偏差(SD),量化了概率分布之间的差异,是统计推断和机器学习的基本组成部分。用于估计这些分歧的现代方法依赖于通过神经网络(NN)参数化经验变分形式并在参数空间上进行优化。这种神经估计器在实践中被大量使用,但相应的性能保证是部分的,需要进一步探索。我们建立了非渐近的绝对误差界的神经估计实现了一个浅NN,专注于四个流行的$\mathsf{f}$ -分歧- Kullback-Leibler,卡方,平方海灵格,和全变差。我们的分析依赖于非渐近函数逼近定理和工具,从经验过程理论来约束两个来源的误差:函数逼近和经验估计。的界限表征NN的大小和样本的样本个数方面的有效误差,并揭示缩放率,确保一致性。对于紧支撑分布,我们进一步证明了在适当的神经网络增长率下,上述前三个发散的神经网络估计是极小极大率最优的,达到了参数收敛速度。
2022-03-29 math.ST stat.ML stat.TH
LLM Safety Alignment is Divergence Estimation in Disguise
Department of Statistics, Purdue University(普渡大学统计系);Department of Statistics, Michigan State University(密歇根州立大学统计系)
本文将LLM安全对齐解释为分布散度估计,提出KLDO方法和基于距离的安全度量,并证明服从—拒绝数据可增强安全与有害提示的潜在空间分离。
2025-10-20 cs.AI cs.CY cs.LG
Reliable Estimation of KL Divergence using a Discriminator in Reproducing Kernel Hilbert Space
Northeastern University(东北大学);Department of Electrical and Computer Engineering(电气与计算机工程系);Boston, MA, USA(美国马萨诸塞州波士顿(此处按要求不提取,实际应为无,原文本中此条是地址,非机构,正确应只取Northeastern University和Department of Electrical and Computer Engineering,但Department of Electrical and Computer Engineering是系,属于大学内部分类,按要求粒度到大学/学院/公司/研究院级别即可,所以只保留Northeastern University)}]}修正:根据提取规则,机构粒度到大学/学院/公司/研究院级别即可,不要细拆到系,所以正确应为{)
在许多机器学习问题中,从两个分布的样本中估计KL散度是必不可少的。已经提出了使用神经网络的变分方法来以可扩展的方式实现该任务。然而,我们注意到,大多数使用神经网络鉴别器的方法在估计和训练中存在高波动(方差)。本文从统计学习理论和函数空间复杂度的角度来研究这一问题,以理解为什么会发生这种情况以及如何解决它。我们认为,这些病态的原因是缺乏对神经网络函数复杂度的控制,可以通过控制它来减轻。为了实现这一目标,我们1)在再生核Hilbert空间(RKHS)中提出了一种新的KL估计的构造,2)在理论上将KL估计的误差概率界与RKHS空间中的KL估计的复杂度联系起来,3)提出了一种可扩展的方法来控制复杂度(RKHS范数)的估计KL散度的可靠性,以及4)证明了所提出的估计的一致性。在KL散度的三种不同应用中:KL的估计、互信息的估计和变分贝叶斯,我们表明,通过控制理论中开发的复杂性,我们能够减小KL估计的方差并稳定训练
2021-09-29 cs.LG stat.ML
Non-Asymptotic Performance Guarantees for Neural Estimation of $\mathsf{f}$-Divergences
统计距离(SD)量化了概率分布之间的差异,是机器学习和统计学的核心。一个现代的方法来估计这样的距离从数据依赖于参数化的变分形式的神经网络(NN)和优化它。这些估计在实践中大量使用,但相应的性能保证是部分的,需要进一步探索。特别是,似乎有一个基本的权衡之间的两个来源的误差:近似和估计。虽然前者需要NN类丰富且富有表现力,但后者依赖于控制复杂性。本文探讨了这种权衡的非渐近误差界,专注于三个流行的选择SD- Kullback-Leibler分歧,卡方分歧,平方海林格距离。我们的分析依赖于非渐近函数逼近定理和工具,从经验过程理论。数值结果验证了理论。
2021-03-16 math.ST stat.ML stat.TH
Change-Point Detection in Time-Series Data by Relative Density-Ratio Estimation
Tokyo Institute of Technology(东京工业大学);NTT Communication Science Laboratories(NTT通信科学实验室);National Institute of Informatics (NII)(国立信息学研究所);European Bioinformatics Institute (EBI)(欧洲生物信息研究所)
变点检测的目的是发现隐藏在时间序列数据背后的属性突变。在本文中,我们提出了一种新的统计变点检测算法的基础上非参数的分歧估计之间的时间序列样本从两个回顾段。我们的方法使用相对皮尔逊散度作为散度度量,它是准确和有效的估计方法的直接密度比估计。通过对人工和真实世界的数据集,包括人类活动传感,语音和Twitter消息的实验,我们证明了所提出的方法的实用性。
2013-01-16 cs.LG stat.ME stat.ML
Universal Bounds for Self-Normalized Kullback-Leibler Estimation
University of Toronto(多伦多大学);Microsoft Research(微软研究院);Harvard University(哈佛大学)
该研究证明了自归一化KL估计的通用有限样本界,将其应用于生成模型测试时对齐与相对熵编码,得到策略散度证书和编码代价的无矩界。
2026-10-12 cs.LG stat.ML
Canonical Divergence Analysis
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland University(萨尔大学)
我们的目标是分析两个随机向量之间的关系,这两个随机向量可能具有不同数量的属性以及实现,甚至可能没有联合分布。这个问题出现在许多实际领域,包括生物学和建筑学。现有技术假设向量具有相同的域或联合分布,因此不适用。为了解决这个问题,我们提出了典型发散分析(CDA)。我们介绍三个实例,其中每一个允许实际实施。广泛的实证评估显示了我们的方法的潜力。
2015-10-28 cs.LG stat.ML
Direct Debiased Machine Learning via Bregman Divergence Minimization
本文提出一个直接去偏机器学习框架,通过最小化 Bregman 散度统一了 Riesz 回归、协变量平衡、TMLE 和密度比估计,有效消除机器学习代入识别方程时的第一阶段偏差。
2025-10-30 cs.LG econ.EM math.ST
Bidirectional Generative Modeling Using Adversarial Gradient Estimation
The Hong Kong University of Science and Technology(香港科技大学)
本文考虑了双向生成建模的一般$f$ -发散公式,其中包括VAE和BiGAN作为特例。我们提出了一种新的优化方法,这种配方,其中的梯度计算使用一个adversarially学习的神经网络。在我们的框架中,我们表明,不同的分歧诱导类似的算法在梯度评估,除了不同的缩放。因此,本文给出了一个一般配方的一类原则性的$f$ -发散的生成式建模方法。理论的理由和广泛的实证研究,证明我们的方法比现有的方法的优势。
2020-06-30 cs.CV cs.LG stat.ML
Non-parametric estimation of Jensen-Shannon Divergence in Generative Adversarial Network training
生成对抗网络(GANs)已经成为一个广泛流行的框架,用于高维数据集的生成建模。然而,他们的训练是众所周知的困难。这项工作对GANs进行了严格的统计分析,为常见的训练病态(如梯度消失)提供了直接的解释。此外,它提出了一种新的训练目标,核GANs,并证明了其在大规模真实世界数据集上的实际有效性。分析中的一个关键因素是关于(未知)数据分布的训练与其经验对应物之间的区别。为了克服GAN训练中的问题,我们追求通过将噪声合并到训练器的输入分布中来平滑Jensen-Shannon散度(JSD)的想法。正如我们所展示的,这有效地导致了JSD的经验版本,其中真实和生成器密度被核密度估计所取代,这导致了核GANs。
2017-10-15 stat.ML
Simulation-based Inference with the Generalized Kullback-Leibler Divergence
University of Amsterdam(阿姆斯特丹大学)
针对基于模拟的推断中传统神经后验估计难以拟合未归一化代理的问题,提出优化广义Kullback-Leibler散度的方法,统一神经后验与比率估计,并验证了兼具二者优势的混合模型的效果。
2023-10-03 cs.LG stat.CO stat.ML
Sequential transport maps using SoS density estimation and $α$-divergences
Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);University of Sydney(悉尼大学)
本文研究序列 KR 传输映射的密度估计,采用 SoS 密度与 $\alpha$-散度将中间密度近似转化为凸半定规划问题,并引入扩散中间密度和低维惰性映射以支持样本密度与高维任务。
2024-10-02 cs.LG stat.ML
Nearly Minimax Discrete Distribution Estimation in Kullback-Leibler Divergence with High Probability
Leiden University(莱顿大学);TU Delft(代尔夫特理工大学);University of Amsterdam(阿姆斯特丹大学)
本文研究了在Kullback-Leibler散度中以高概率估计离散分布的最小最大速率,发现其速率受双对数因子影响,且比总变差和Hellinger距离更难估计。
2026-02-20 cs.LG stat.ML
Online non-parametric likelihood-ratio estimation by Pearson-divergence functional minimization
Centre Borelli, ENS Paris-Saclay, Université Paris-Saclay(巴黎-萨克雷高等师范学校博雷利中心,巴黎-萨克雷大学)
本文针对流式成对样本下的密度比估计问题,提出基于 Pearson 散度泛函最小化与核方法的在线非参数 OLRE 框架,并给出理论保证与合成实验验证。
2023-11-03 cs.LG stat.ML
Relative Density-Ratio Estimation for Robust Distribution Comparison
基于密度比的直接近似而不经过分子和分母密度的单独近似的发散估计已经成功地应用于涉及分布比较的机器学习任务,如离群值检测、迁移学习和两样本同质性检验。然而,由于密度比函数往往具有很大的波动性,在实际应用中,发散度的估计仍然是一个具有挑战性的任务。在本文中,我们建议使用相对分歧的分布比较,这涉及到相对密度比的近似。由于相对密度比总是比相应的普通密度比更平滑,我们提出的方法在非参数收敛速度方面是有利的。此外,我们表明,所提出的发散估计具有渐近方差独立的模型的复杂性下的参数设置,这意味着所提出的估计很难过拟合,即使与复杂的模型。通过实验,我们证明了所提出的方法的实用性。
2011-06-23 math.ST stat.ME stat.ML
Faster Wasserstein Distance Estimation with the Sinkhorn Divergence
平方Wasserstein距离是在非参数设置中比较概率分布的自然量。这个量通常是估计与插件估计器,通过一个离散的最优输运问题,可以解决的$ε$ -精度通过添加一个熵正则化的顺序$ε$和使用例如Sinkhorn的算法定义。在这项工作中,我们建议用Sinkhorn散度来估计它,Sinkhorn散度也是建立在熵正则化的基础上,但包括去偏项。我们表明,对于光滑密度,这种估计有一个可比的样本复杂性,但允许更高的正则化水平,顺序$ε^{1/2}$,从而导致改进的计算复杂性界限和强大的加速在实践中。我们的理论分析涵盖的情况下,随机采样的密度和确定性离散均匀网格。我们还提出并分析了一个估计的基础上Richardson外推的Sinkhorn发散,享有改进的统计和计算效率保证,在一个条件下的近似误差的规律性,这是特别满足高斯密度。最后,我们证明了所提出的估计与数值实验的效率。
2020-10-29 math.OC math.ST stat.ML
Tractable and Near-Optimal Adversarial Algorithms for Robust Estimation in Contaminated Gaussian Models
考虑Huber污染高斯模型下位置和方差阵的同时估计问题。首先,我们研究了总体水平上的最小$f$ -发散估计,对应于具有非参数估计的生成对抗方法,并建立了导致稳健估计的$f$ -发散的条件,类似于最小距离估计的稳健性。更重要的是,我们开发了易于处理的对抗算法与简单的样条判别器,它可以通过嵌套优化实现,这样可以通过最大化凹目标函数给定的电流发生器,完全更新的参数。所提出的方法,以实现极大极小最优率或接近最优率取决于$f$发散和所使用的惩罚。这是第一次建立这样的接近最优的差错率的对抗算法与线性鉴别器下的Huber的污染模型。我们目前的模拟研究,以证明所提出的方法优于经典的鲁棒估计,成对的方法,和神经网络鉴别器的生成对抗方法。
2022-08-06 math.ST stat.ML stat.TH
Generative Adversarial Nets from a Density Ratio Estimation Perspective
生成对抗网络(GANs)是成功的深度生成模型。GANs基于两个玩家的极大极小博弈。然而,在原始动机中导出的目标函数被改变以在学习生成器时获得更强的梯度。我们提出了一种新的算法,重复密度比估计和f-散度最小化。我们的算法为理解GANs提供了一个新的视角,并且能够利用在密度比估计研究中获得的多个观点,例如什么样的发散是稳定的,相对密度比是有用的。
2016-11-09 stat.ML
Contraction of Locally Differentially Private Mechanisms
本文研究局部差分隐私机制的收缩性质,推导出输出分布间χ²散度关于输入散度或全变差距离与ε的紧上界,并据此建立多种极小极大风险下界工具的局部隐私版本,在多个统计问题中改进了隐私分析。
2024-05-03 cs.CR cs.IT math.IT
Forward $χ^2$ Divergence Based Variational Importance Sampling
School of Computational Science & Engineering(计算科学与工程学院);Georgia Institute of Technology(佐治亚理工学院)
针对变分推断处理复杂后验时对数似然偏低的问题,提出基于前向$\chi^2$散度的变分重要性采样方法,在多种潜变量模型上的表现优于现有最优基线。
2024-02-02 cs.LG stat.CO stat.ML
Automatic Relevance Determination in Nonnegative Matrix Factorization with the β-Divergence
研究了β-散度下非负矩阵分解(NMF)的潜在维数估计问题.β-散度是一类代价函数,包括平方欧几里德距离、Kullback-Leibler和Itakura-Saito散度作为特例。学习模型阶数很重要,因为需要在数据保真度和过拟合之间取得适当的平衡。我们提出了一个贝叶斯模型的基础上自动相关性确定的字典矩阵的列和激活矩阵的行被绑在一起,通过一个共同的尺度参数在他们的先验。提出了一类最大后验概率(MAP)估计的优化最小化算法。在推理过程中,尺度参数的子集被驱动到一个小的下限,具有修剪相应的伪分量的效果。我们通过对合成数据、游泳者数据集、音乐分解示例和股票价格预测任务进行广泛的实验,证明了我们算法的有效性和鲁棒性。
2012-10-05 stat.ME stat.ML
Differentially Private Statistical Inference through $β$-Divergence One Posterior Sampling
Universitat Pompeu Fabra(庞培法布拉大学);University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所)
本文提出βD-Bayes方法,通过最小化β-散度的广义后验采样实现差分隐私统计推断,突破了现有方法对模型有界性的强假设限制,首次将后验采样差分隐私估计扩展到神经网络等复杂模型,并在相同隐私保证下获得更精确的估计结果。
2023-10-27 cs.AI cs.CR cs.LG