Practical and Consistent Estimation of f-Divergences
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Cambridge(剑桥大学);Google Research(谷歌研究院)
基于样本的两个概率分布之间的f-散度的估计是统计学和机器学习中的基本问题。大多数作品在非常弱的假设下研究这个问题,在这种情况下,它是可证明的困难。我们考虑了现代机器学习中通常满足的更强结构假设的情况,包括表示学习和自动编码器架构的生成建模。在这些假设下,我们提出并研究了一个估计,可以很容易地实现,在高维工作良好,并享有更快的收敛速度。我们验证我们的估计经验的行为在合成和真实数据的实验,并讨论其直接影响总相关性,熵和互信息估计。
2019-10-24 cs.IT cs.LG math.IT
Optimizing Variational Representations of Divergences and Accelerating their Statistical Estimation
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Foundation for Research and Technology, Hellas(希腊研究与技术基金会)
高维概率分布之间的分歧和距离的变分表示在许多研究领域提供了重要的理论见解和实践优势。最近,它们作为一种用于训练概率模型和统计区分数据分布的易于处理且可扩展的方法在机器学习中受到欢迎。它们的优点包括:1)它们可以从数据中估计为统计平均值。2)这样的表示可以利用神经网络的能力来有效地近似函数空间中的最优解。然而,目前缺乏一种系统和实用的方法来提高这种变分公式的紧密性,并因此加速从数据中进行统计学习和估计。在这里,我们开发了这样一种方法,建立新的,更紧密的变分表示的分歧。我们的方法依赖于通过辅助优化问题构造的改进的目标泛函。此外,目标泛函的泛函海森的计算揭示了共同的最优变分解周围的局部曲率差异;这量化和排序了不同变分表示之间的紧密性增益。最后,利用神经网络优化的数值模拟表明,更紧密的表示可以在合成和真实数据集(超过1000个维度)中显著更快地学习和更准确地估计分歧,通常加速近一个数量级。
2022-03-23 cs.IT cs.LG math.IT
Cross-Epoch Bias in SGD-based Leave-One-Out Influence: Analysis and Accumulative Correction
University of Technology Sydney(悉尼科技大学)
该研究针对SGD-IE忽略跨轮移除交互的偏差,提出ACC-SGD-IE校正方法,在多类数据集上显著降低误差、提升性能,还探讨了计算权衡与扩展潜力。
2026-11-18 cs.AI cs.LG
Variational Representations and Neural Network Estimation of Rényi Divergences
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Brown University(布朗大学)
我们导出了概率测度$Q$和$P$之间的Rényi族分歧$R_α(Q\|P)$的一个新的变分公式。我们的结果推广了经典的关于库尔贝克-莱布勒散度的Donsker-Varadhan变分公式.我们进一步表明,这个雷尼变分公式在一系列函数空间上成立;这导致在非常弱的假设下的优化公式,也是我们发展雷尼发散估计的一致性理论的关键。通过将这一理论应用于神经网络估计,我们证明了如果一个神经网络族满足几个加强版本的泛逼近性质之一,那么相应的Rényi散度估计是一致的。与基于密度估计的方法相比,我们的估计只涉及$Q$和$P$下的期望,因此在高维系统中更有效。我们说明了这一点,通过几个数值的例子,神经网络估计系统的尺寸高达5000。
2021-07-20 cs.IT cs.LG math.IT
Concentration Bounds for Discrete Distribution Estimation in KL Divergence
University of Sydney(悉尼大学);Google Research(谷歌研究院)
该研究针对KL散度下离散分布估计问题,推导Laplace估计器的集中界,将偏差量级从k/n改进为√k/n(n≥k时),并给出匹配下界证明其紧性。
2023-06-13 cs.DM cs.IT cs.LG
Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation
University of California, Los Angeles(加州大学洛杉矶分校)
针对扩散模型影响估计中由时间步引起的偏差问题,提出Diffusion-TracIn及其重归一化版本Diffusion-ReTrac,通过融合时间动态特性有效降低普遍影响力样本数量并提升检索针对性。
2024-07-28 cs.LG
$α$-GAN: Convergence and Estimation Guarantees
Arizona State University(亚利桑那州立大学)
我们证明了一般CPE损失函数GANs的最小-最大优化与相关$f$ -发散最小化之间的双向对应关系。然后,我们专注于$α$ -GAN,通过$α$ -loss定义,它插值几个GANs(Hellinger,vanilla,Total Variation),并对应于Arimoto发散的最小化。我们证明了对于所有的$α\in \mathbb{R}_{>0}\cup\{\infty\}$,$α$ -GAN引起的Arimoto发散等价收敛.然而,在受限学习模型和有限样本下,我们提供了估计界,其指示作为$α$的函数的不同GAN行为。最后,我们提出了一个玩具数据集的实证结果,突出了调整的$α$超参数的实际效用。
2022-05-12 cs.IT cs.LG math.IT
Energy-Based Model for Accurate Estimation of Shapley Values in Feature Attribution
College of Metrology Measurement and Instrument, China Jiliang University(计量测量与仪器学院,中国浙江理工大学);School of Mathematics, Hangzhou Normal University(数学学院,杭州师范大学);School of Statistics, Jiangxi University of Finance and Economics(统计学院,江西财经大学)
本文提出EmSHAP,一种基于能量模型的Shapley值精确估计方法,通过GRU耦合的配分函数估计和动态掩码机制提升估计精度与鲁棒性,在四个案例研究中验证了其更高的准确性和可扩展性。
2025-11-04 cs.LG
Unified Perspective on Probability Divergence via Maximum Likelihood Density Ratio Estimation: Bridging KL-Divergence and Integral Probability Metrics
The University of Tokyo(东京大学);CyberAgent, Inc.(赛博艾金特公司);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Preferred Networks, Inc.(优选网络公司)
本文从最大似然密度比估计的角度,给出了Kullback-Leibler(KL)-散度和积分概率度量(IPM)的统一观点。KL-发散和IPM都被广泛应用于生成建模等各个领域。然而,对这些概念的统一理解尚未得到探索。在本文中,我们表明,KL-分歧和IPM可以表示为最大似然不同,只有抽样方案,并使用这个结果,以获得一个统一的形式的IPM和宽松的估计方法。为了发展的估计问题,我们构造了一个无约束的最大似然估计进行DRE与分层抽样方案。我们进一步提出了一类新的概率发散,称为密度比(DRMs),插值KL发散和IPM。除了这些发现,我们还介绍了DRM的一些应用,如DRE和生成对抗网络。在实验中,我们验证了我们提出的方法的有效性。
2022-01-31 cs.AI cs.LG stat.ML
Efficient Estimation of Kernel Surrogate Models for Task Attribution
Northeastern University(东北大学)
本文提出核替代模型用于高效估计任务归因,通过第二阶分析建立线性替代模型与影响函数的联系,并在多个任务设置中验证其有效性,实现更高的相关性和可扩展性。
2026-05-10 cs.AI cs.CL cs.LG
Learning Multi-touch Conversion Attribution with Dual-attention Mechanisms for Online Advertising
Shanghai Jiao Tong University(上海交通大学);University College London(伦敦大学学院)
在在线广告中,互联网用户可能会接触到一系列不同的广告活动,即,显示广告,搜索,或转介从多个渠道,之前导致了任何最终的销售转化和交易.对于广告主和发布商来说,在客户旅程(转化漏斗)中估计广告活动接触点的贡献并相应地将正确的信用分配给正确的广告曝光至关重要。然而,对多点触摸归属问题的现有研究缺乏利用用户的转换前动作(即,点击),并且经常无法根据用户的行为数据对触摸点之间的顺序模式进行建模。更糟糕的是,目前的行业实践仅仅是采用一组任意规则作为归因模型,例如,流行的最后接触模型将100%的信用分配给最后接触点,而不管实际归属。在本文中,我们提出了一个双注意递归神经网络(DARNN)的多点触摸归因问题。它通过注意力机制直接从转换估计目标学习属性值。为了实现这一点,我们利用序列到序列预测用户点击,并结合后视图和后点击归因模式在一起的最终转换估计。为了定量基准归因模型,我们还提出了一种新颖而实用的归因评估方案,通过代理的预算分配(根据估计的归因)在广告渠道。在两个真实数据集上的实验结果表明,我们的归因模型相对于最先进的归因模型具有显着的性能增益。
2018-08-30 cs.AI cs.IR cs.LG
Beyond Predictive Fairness: Quantifying Attribution Consistency Across Demographic Groups in Diabetic Retinopathy Screening
Hertie Institute for AI in Brain Health(赫蒂脑健康人工智能研究所);University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心)
该研究提出解释一致性得分(ECS)作为公平性感知指标,以糖尿病视网膜病变筛查为案例,发现不同族裔群体预测性能有差异但解释一致性较高且与性能差异无显著关联,说明预测公平性与解释一致性是模型行为的互补维度,推动公平性评估拓展至预测性能之外。
2026-08-20 cs.AI cs.LG
Centroid estimation based on symmetric KL divergence for Multinomial text classification problem
Georgia Institute of Technology(佐治亚理工学院);Cornell University(康奈尔大学)
我们定义了一种新的方法来估计质心的文本分类的基础上的对称KL-分歧的训练文件中的词的分布和它们的类质心。在多个标准数据集上的实验表明,该方法较传统分类器有了显著的改进。
2018-10-24 cs.IR cs.LG stat.ML
Attribution and Uncertainty Behavior of Learned Residual Gyro Correction for Gyro-Stellar Estimation
Robotics Innovation Center, German Research Center for AI (DFKI GmbH)(机器人创新中心,德国人工智能研究中心(DFKI有限公司));Airbus Defence and Space GmbH(空客防务与航天有限公司)
研究基于深度学习的陀螺仪偏差校正框架的不确定性分解与可解释性,用一维卷积神经网络预测校正,通过模型集合估计认知不确定性,经实验揭示特定轴行为及扰动影响,表明两种不确定性协同良好,为状态估计和故障检测提供见解。
2026-07-28 cs.LG
A Neural Network Algorithm for KL Divergence Estimation with Quantitative Error Bounds
本文提出一种基于随机特征浅层神经网络的KL散度估计算法,并证明其以高概率达到$O(m^{-1/2}+T^{-1/3})$的定量误差界,解决了现有方法缺乏构造性保证的问题。
2025-10-06 cs.IT cs.LG math.IT
ExplainerPFN: Towards tabular foundation models for model-free zero-shot feature importance estimations
INESC-ID;New York University(纽约大学)
本文提出ExplainerPFN,一种基于TabPFN的表格基础模型,通过预训练合成结构因果数据实现无模型零样本特征重要性估计,展示了其在真实和合成数据集上的竞争力。
2026-05-15 cs.AI cs.LG
Novel Change of Measure Inequalities with Applications to PAC-Bayesian Bounds and Monte Carlo Estimation
Purdue University(普渡大学)
本文针对两类发散性:$f$ -发散性和$α$ -发散性,引入了几个新的测度变化不等式.我们展示了如何变分表示$f$ -分歧导致新的变化的措施不等式。给出了$α$ -分歧的乘性测度变换不等式和Hammersley-Chapman-Robbins不等式的推广.最后,我们提出了几个应用程序,我们的测量不等式的变化,包括PAC贝叶斯界的各种损失和非渐近区间的Monte Carlo估计。
2020-06-25 cs.LG stat.ML
Convergence Rates for Empirical Estimation of Binary Classification Bounds
University of Michigan(密歇根大学);Yale University(耶鲁大学)
二进制分类问题的最佳可实现错误概率的界与许多应用相关,包括机器学习、信号处理和信息论。贝叶斯二进制分类出错率的许多界限取决于类分布对之间的信息分歧。最近,Henze-Penrose(HP)分歧已被提出用于界定分类错误概率。我们考虑的问题,经验估计的HP分歧从随机样本。我们推导出的HP-发散,这是一个多变量运行统计两个分布之间的测试的Friedman-Rafsky(FR)估计的收敛速度上的界限。FR估计是来自一个多色的欧氏最小生成树(MST),跨越合并的样本。我们得到了Henze-Penrose散度的Friedman-Rafsky估计的一个集中不等式。我们通过实验验证了我们的结果,并说明了它们在真实数据集上的应用。
2018-10-01 cs.IT cs.LG math.IT
Parameter Estimation for Unnormalized Discrete Models via Empirically Localized Deformed Bregman Divergence
National Graduate Institute for Policy Studies (GRIPS)(政策研究大学院大学(GRIPS));Riken AIP(理化学研究所人工智能研究中心)
本文提出一种结合经验局部化与变形Bregman散度的方法,用于离散非归一化模型的参数估计,以降低计算成本并获得高效、鲁棒的估计器。
2026-09-28 cs.LG stat.ML
OperatorSHAP: Fast and Accurate Shapley Value Estimation for Neural Operators
LMU Munich(慕尼黑大学);MCML(慕尼黑机器学习中心);DFKI(德国人工智能研究中心)
提出OperatorSHAP,一种网格无关的归因方法,用于高效估计神经算子的Shapley值,支持不规则网格和跨分辨率迁移。
2026-11-09 cs.AI cs.LG
Variational Approach for Efficient KL Divergence Estimation in Dirichlet Mixture Models
LMU Munich(慕尼黑大学)
提出变分闭式解高效估计狄利克雷混合模型中的KL散度,显著提升计算效率与准确性,优于蒙特卡洛方法,促进组合数据聚类分析。
2024-03-18 cs.LG math.ST stat.ML
Alpha-divergence loss function for neural density ratio estimation
NTT DATA Mathematical Systems Inc.(NTT DATA数学系统公司)
针对神经密度比估计中 KL 等散度损失的优化难题,论文推导并验证 α-Div 损失,证明其优化更稳定,但 RMSE 精度未显著优于 KL 损失。
2025-03-17 cs.LG stat.ML
Risk Bounds for Mixture Density Estimation on Compact Domains via the $h$-Lifted Kullback--Leibler Divergence
School of Mathematics and Physics(数学与物理学院);The University of Queensland(昆士兰大学);Institute of Mathematics for Industry(产业数学研究所);Kyushu University(九州大学);School of Computing, Engineering, and Mathematical Sciences(计算、工程与数学科学学院);La Trobe University(拉筹伯大学)
我们考虑的问题,估计概率密度函数的样本数据的基础上,使用有限的混合密度从一些组件类。为此,我们引入了$h$ -提升Kullback-Leibler(KL)分歧作为标准库尔贝克-莱布勒散度的推广和进行风险最小化的标准。在紧支撑假设下,我们证明了当使用$h$ -提升的库尔贝克-莱布勒散度时,期望估计误差的$\mathcal{O}(1/{\sqrt{n}})$界,推广了Rakhlin等人的结果.(2005年,ESAIM:概率与统计,第9卷)和李和巴伦(1999,Advances in Neural Information ProcessingSystems,Vol.12),以允许不是严格正的密度函数的风险边界。我们开发了一个程序的计算相应的最大$h$ -提升似然估计($h$ -MLLE)使用的优化最大化框架,并提供实验结果支持我们的理论界。
2024-12-22 cs.LG stat.ML
On the connection between Noise-Contrastive Estimation and Contrastive Divergence
Linköping University(林雪平大学);Chalmers University of Technology(查尔姆斯理工大学)
本文证明排序NCE和条件NCE本质上可视为最大似然估计方法,其中RNCE等价于结合条件重要性采样的ML估计,且二者均为对比散度的特例,从而打通了NCE与ML-IS、CD方法之间的联系。
2024-02-26 cs.LG stat.ML
Analysis of Discriminator in RKHS Function Space for Kullback-Leibler Divergence Estimation
Rochester Institute of Technology(罗切斯特理工学院)
已有几种基于可扩展样本的方法来计算两个分布之间的KullbackLeibler(KL)散度,并已被应用于大规模机器学习模型中。虽然它们被发现是不稳定的,但问题的理论根源尚不清楚。在本文中,我们研究了一种基于生成对抗网络的方法,该方法使用神经网络来估计KL散度。我们认为,在这种情况下,估计的高波动是不控制的复杂性的结果?函数空间。我们首先在再生核希尔伯特空间(RKHS)中构建一个新的子空间,为这个问题提供了一个理论基础和补救措施。这使我们能够利用样本复杂度和均值嵌入,从理论上将KL估计的误差概率界与RKHS中的K-S复杂度联系起来。基于这一理论,我们然后提出了一个可扩展的方法来控制的复杂性的KL散度的可靠估计的卷积。我们支持我们提出的理论和方法,通过控制实验来控制RKHS的复杂性。
2021-09-04 cs.LG stat.ML
Non-Negative Bregman Divergence Minimization for Deep Direct Density Ratio Estimation
CyberAgent, Inc.(赛博代理公司);The University of Tokyo(东京大学)
密度比估计(DRE)是异常检测和领域自适应等各种机器学习任务的核心。在现有的DRE研究中,基于Bregman散度(BD)最小化的方法得到了广泛的研究。然而,当BD最小化应用于高度灵活的模型(如深度神经网络)时,往往会遭受我们所说的训练损失黑客攻击,这是由经验BD估计量的典型特征引起的过拟合的来源。在本文中,为了减轻列车损失黑客攻击,我们提出了一个非负校正的经验BD估计。理论上,我们通过一个泛化误差界证实了所提出方法的合理性。通过实验,我们提出的方法表现出良好的性能,在基于内点的离群点检测。
2021-07-17 cs.CV cs.LG stat.ML
Nonparametric Divergence Estimation with Applications to Machine Learning on Distributions
低维嵌入、流形学习、聚类、分类和异常检测是机器学习中最重要的问题。现有的方法通常考虑的情况下,每个实例有一个固定的,有限维的特征表示。在这里,我们考虑一个不同的设置。我们假设每个实例对应于一个连续的概率分布。这些分布是未知的,但我们得到了一些独立同分布。每个分布的样本。我们的目标是估计这些分布之间的距离,并使用这些距离来执行低维嵌入,聚类/分类,或异常检测的分布。我们提出了估计算法,描述了如何将它们应用于分布的机器学习任务,并显示了合成数据,真实图像和天文数据集的经验结果。
2012-02-14 cs.LG stat.ML
Generalising maximum mean discrepancy: kernelised functional Bregman divergences
Department of Data Science and AI, Monash University, Australia(数据科学与人工智能系,墨尔本大学,澳大利亚);Sony Computer Science Laboratories, Inc.(索尼计算机科学实验室,Inc.)
本文提出核化函数Bregman散度,用于函数空间中的统计与机器学习任务,通过希尔伯特空间和核方法提升估计与生成建模能力。
2026-04-27 cs.CV cs.IT cs.LG
E$^2$M: Double Bounded $α$-Divergence Optimization for Tensor-based Discrete Density Estimation
Technical University of Denmark(丹麦技术大学)
E²M算法通过松弛优化与张量多体近似解决α-散度优化难题,实现多种低秩结构的灵活建模,在合成与真实数据集上展现出良好的收敛性、鲁棒性及密度估计性能。
2026-08-06 cs.LG stat.ML
Partition Function Estimation under Bounded f-Divergence
Columbia University(哥伦比亚大学);MIT(麻省理工学院)
在有限 f-散度下,研究了分区函数估计的样本复杂性,通过整合覆盖轮廓提出新方法,统一了重要性采样等方法的分析,并扩展到厚尾区域。
2026-02-26 cs.LG stat.ML
Bregman divergence as general framework to estimate unnormalized statistical models
Kyoto University(京都大学);University of Helsinki(赫尔辛基大学)
我们表明,Bregman分歧提供了一个丰富的框架来估计连续或离散随机变量的非归一化统计模型,也就是说,模型不整合或总和分别为1。我们证明,最近的估计方法,如噪声对比估计,比率匹配,得分匹配属于所提出的框架,并解释它们的互连的基础上监督学习。此外,我们还讨论了boosting在无监督学习中的作用。
2012-02-14 cs.LG stat.ML
$α$-divergence Improves the Entropy Production Estimation via Machine Learning
Department of Physics and Astronomy & Center for Theoretical Physics, Seoul National University(首尔国立大学物理与天文学系及理论物理中心)
本文提出基于$α$-散度变分表示的熵产生估计损失函数,发现$-1<α<0$的$α$-NEEP在强驱动和慢动力学下更稳健,且$α=-0.5$通常最优。
2024-01-19 cond-mat.stat-mech cs.LG stat.ML
Reliable Estimation of KL Divergence using a Discriminator in Reproducing Kernel Hilbert Space
Northeastern University(东北大学);Department of Electrical and Computer Engineering(电气与计算机工程系);Boston, MA, USA(美国马萨诸塞州波士顿(此处按要求不提取,实际应为无,原文本中此条是地址,非机构,正确应只取Northeastern University和Department of Electrical and Computer Engineering,但Department of Electrical and Computer Engineering是系,属于大学内部分类,按要求粒度到大学/学院/公司/研究院级别即可,所以只保留Northeastern University)}]}修正:根据提取规则,机构粒度到大学/学院/公司/研究院级别即可,不要细拆到系,所以正确应为{)
在许多机器学习问题中,从两个分布的样本中估计KL散度是必不可少的。已经提出了使用神经网络的变分方法来以可扩展的方式实现该任务。然而,我们注意到,大多数使用神经网络鉴别器的方法在估计和训练中存在高波动(方差)。本文从统计学习理论和函数空间复杂度的角度来研究这一问题,以理解为什么会发生这种情况以及如何解决它。我们认为,这些病态的原因是缺乏对神经网络函数复杂度的控制,可以通过控制它来减轻。为了实现这一目标,我们1)在再生核Hilbert空间(RKHS)中提出了一种新的KL估计的构造,2)在理论上将KL估计的误差概率界与RKHS空间中的KL估计的复杂度联系起来,3)提出了一种可扩展的方法来控制复杂度(RKHS范数)的估计KL散度的可靠性,以及4)证明了所提出的估计的一致性。在KL散度的三种不同应用中:KL的估计、互信息的估计和变分贝叶斯,我们表明,通过控制理论中开发的复杂性,我们能够减小KL估计的方差并稳定训练
2021-09-29 cs.LG stat.ML
On a few pitfalls in KL divergence gradient estimation for RL
Meta GenAI(Meta 生成人工智能);Meta FAIR
本文指出 LLM 的 RL 训练中 KL 散度梯度估计的常见实现错误,分析将 KL 估计直接作为损失微分及忽视序列性导致的问题,并通过表格与 LLM 实验说明影响、给出正确实现。
2025-06-11 cs.LG
LLM Safety Alignment is Divergence Estimation in Disguise
Department of Statistics, Purdue University(普渡大学统计系);Department of Statistics, Michigan State University(密歇根州立大学统计系)
本文将LLM安全对齐解释为分布散度估计,提出KLDO方法和基于距离的安全度量,并证明服从—拒绝数据可增强安全与有害提示的潜在空间分离。
2025-10-20 cs.AI cs.CY cs.LG
Deep Neural Net with Attention for Multi-channel Multi-touch Attribution
Adobe(奥多比)
客户通常会接触到在线数字广告渠道,如电子邮件营销,展示广告,付费搜索引擎营销,在他们购买或订阅产品(又名。转换)。营销人员跟踪所有的客户旅程数据,并试图衡量每个广告渠道的有效性.对各渠道影响的推断在预算分配和库存定价决策中起着重要的作用。几种简单的基于规则的策略和数据驱动的算法策略在营销领域得到了广泛的应用,但它们并没有解决渠道交互、时间依赖、用户特征等问题。在本文中,我们提出了一种基于深度学习的新型归因算法,以评估每个广告渠道的影响。我们提出了带注意力的深度神经网络多点触摸归因模型(DNAMTA),该模型以监督学习的方式预测一系列事件是否会导致转换,它使我们对媒体渠道之间的动态交互效应有了深入的了解。DNAMTA还结合了用户背景信息,如用户人口统计和行为,作为控制变量,以减少媒体效果的估计偏差。我们使用大型真实世界营销数据集的计算实验来证明我们提出的模型在转化预测和媒体渠道影响力评估方面都优于现有方法。
2018-09-06 cs.LG stat.ML
Universal Bounds for Self-Normalized Kullback-Leibler Estimation
University of Toronto(多伦多大学);Microsoft Research(微软研究院);Harvard University(哈佛大学)
该研究证明了自归一化KL估计的通用有限样本界,将其应用于生成模型测试时对齐与相对熵编码,得到策略散度证书和编码代价的无矩界。
2026-10-12 cs.LG stat.ML
Change-Point Detection in Time-Series Data by Relative Density-Ratio Estimation
Tokyo Institute of Technology(东京工业大学);NTT Communication Science Laboratories(NTT通信科学实验室);National Institute of Informatics (NII)(国立信息学研究所);European Bioinformatics Institute (EBI)(欧洲生物信息研究所)
变点检测的目的是发现隐藏在时间序列数据背后的属性突变。在本文中,我们提出了一种新的统计变点检测算法的基础上非参数的分歧估计之间的时间序列样本从两个回顾段。我们的方法使用相对皮尔逊散度作为散度度量,它是准确和有效的估计方法的直接密度比估计。通过对人工和真实世界的数据集,包括人类活动传感,语音和Twitter消息的实验,我们证明了所提出的方法的实用性。
2013-01-16 cs.LG stat.ME stat.ML
Bounds on Lp errors in density ratio estimation via f-divergence loss functions
NTT DATA Mathematical Systems Inc.(NTT DATA数学系统公司)
本文研究基于 f-散度损失的密度比估计,推导适用于 Lipschitz 连续估计器的 Lp 误差上下界,并揭示 KL 散度与 p 增大时误差的显著增长规律。
2025-03-17 cs.LG
Bidirectional Generative Modeling Using Adversarial Gradient Estimation
The Hong Kong University of Science and Technology(香港科技大学)
本文考虑了双向生成建模的一般$f$ -发散公式,其中包括VAE和BiGAN作为特例。我们提出了一种新的优化方法,这种配方,其中的梯度计算使用一个adversarially学习的神经网络。在我们的框架中,我们表明,不同的分歧诱导类似的算法在梯度评估,除了不同的缩放。因此,本文给出了一个一般配方的一类原则性的$f$ -发散的生成式建模方法。理论的理由和广泛的实证研究,证明我们的方法比现有的方法的优势。
2020-06-30 cs.CV cs.LG stat.ML
Direct Debiased Machine Learning via Bregman Divergence Minimization
本文提出一个直接去偏机器学习框架,通过最小化 Bregman 散度统一了 Riesz 回归、协变量平衡、TMLE 和密度比估计,有效消除机器学习代入识别方程时的第一阶段偏差。
2025-10-30 cs.LG econ.EM math.ST
Simulation-based Inference with the Generalized Kullback-Leibler Divergence
University of Amsterdam(阿姆斯特丹大学)
针对基于模拟的推断中传统神经后验估计难以拟合未归一化代理的问题,提出优化广义Kullback-Leibler散度的方法,统一神经后验与比率估计,并验证了兼具二者优势的混合模型的效果。
2023-10-03 cs.LG stat.CO stat.ML
Multiply-Robust Causal Change Attribution
MIT(麻省理工学院);Amazon(亚马逊公司)
本文提出结合回归与重加权的多重稳健因果变化归因估计方法,可量化各因果机制贡献,并证明其一致性、渐近正态性及与 Shapley 框架的兼容性。
2024-09-05 cs.LG econ.EM stat.ME
Better Estimation of the Kullback--Leibler Divergence Between Language Models
ETH Zürich(苏黎世联邦理工学院)
本文提出一种无偏且方差更低的Rao-Blackwellized估计器来估计语言模型间的KL散度,并在情感控制微调中验证其稳定性,同时推导了梯度估计器以提升训练效果。
2025-10-25 cs.AI cs.CL cs.LG
A Spectral Framework for Closed-Form Relative Density Estimation
Inria - Ecole Normale Supérieure PSL Research University(Inria-巴黎大学规范大学)
本文提出了一种闭式谱框架,用于线性参数化概率模型中的相对对数密度估计,通过将KL散度表示为加权chi-squared散度的积分,将其转换为一组最小二乘问题,并推导出仅基于一阶和二阶特征矩的显式谱公式。
2026-11-17 cs.LG math.OC math.ST