Generative Adversarial Nets from a Density Ratio Estimation Perspective
生成对抗网络(GANs)是成功的深度生成模型。GANs基于两个玩家的极大极小博弈。然而,在原始动机中导出的目标函数被改变以在学习生成器时获得更强的梯度。我们提出了一种新的算法,重复密度比估计和f-散度最小化。我们的算法为理解GANs提供了一个新的视角,并且能够利用在密度比估计研究中获得的多个观点,例如什么样的发散是稳定的,相对密度比是有用的。
2016-11-09 stat.ML
Mode-Seeking Clustering and Density Ridge Estimation via Direct Estimation of Density-Derivative-Ratios
观测数据背后的概率密度函数的模和脊是有用的几何特征。模式搜索聚类通过将数据样本与最近的模式相关联来分配聚类标签,并且密度脊的估计使我们能够找到隐藏在数据中的低维结构。在模式搜索聚类和密度岭估计中的一个关键技术挑战是精确估计一阶和二阶密度导数与密度的比率。一种简单的方法采用三步方法,首先估计数据密度,然后计算其导数,最后计算它们的比率。然而,这种三步方法可能是不可靠的,因为好的密度估计器不一定意味着好的密度导数估计器,并且除以估计的密度可能显著放大估计误差。为了解决这些问题,我们提出了一种新的估计的\emph{density-derivative-ratios}。建议的估计不涉及密度估计,而是\emph{directly}近似的任何顺序的密度导数的比率。此外,我们建立了一个收敛速度的估计。基于所提出的估计器,新的方法,无论是模式搜索聚类和密度脊估计,并建立各自的收敛速度的模式和脊的基础密度。最后,我们的实验表明,开发的方法显着优于现有的方法,特别是对于相对高维的数据。
2018-03-30 stat.ML
Constructive Setting of the Density Ratio Estimation Problem and its Rigorous Solution
我们介绍了一个一般建设性的设置密度比估计问题的解决方案(多维)积分方程。在这个方程中,不仅近似地知道它的右端,而且近似地定义了积分算子。我们证明了这个不适定问题有严格的解,并得到了封闭形式的解。该解决方案的关键元素是新颖的V矩阵,它捕获了所观察样品的几何形状。我们比较我们的方法与三个著名的先前提出的。我们的实验结果证明了新方法的良好潜力。
2013-06-15 stat.ML
f-divergence estimation and two-sample homogeneity test under semiparametric density-ratio models
密度比由两个概率密度的比定义。研究了密度比的推断问题,并将半参数密度比估计应用于两样本齐性检验。在建议的测试程序中,两个概率密度之间的f-发散估计使用密度比估计。然后利用f-散度估计进行双样本齐性检验。在渐近方差意义下,我们得到了f-散度的最优估计,并研究了所提出的检验方法与现有的基于经验似然估计的score检验方法之间的关系.通过数值研究,我们说明了有限样本推理的渐近理论的充分性。
2010-10-24 stat.ML
Direct Learning of Sparse Changes in Markov Networks by Density Ratio Estimation
我们提出了一种新的方法来检测两组样本之间的马尔可夫网络结构的变化。\emph{directly}不是简单地将两个马尔可夫网络模型分别拟合到两个数据集并找出它们的差异,而是通过估计马尔可夫网络模型的比率来学习网络结构的变化。这种密度比公式自然允许我们在网络结构变化中引入稀疏性,这有助于增强可解释性。此外,计算的归一化项,这是一个关键的瓶颈的朴素的方法,可以显着减轻。我们还给出了优化问题的对偶形式,这进一步降低了大规模马尔可夫网络的计算成本。通过实验,我们证明了我们的方法的实用性。
2014-01-01 stat.ML
High Dimensional Robust $M$-Estimation: Arbitrary Corruption and Heavy Tails
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们考虑稀疏约束的$M$估计的问题时,解释和响应变量都有沉重的尾巴(有界四阶矩),或任意腐败的一小部分。我们专注于$k$ -稀疏,高维制度的变量$d$和样本大小$n$的数量相关的通过$n \sim k \log d$。我们定义了一个自然的条件,我们称之为鲁棒下降条件(RDC),并表明,如果梯度估计满足RDC,那么鲁棒硬采样保持(IHT使用此梯度估计),保证获得良好的统计率。本文的贡献是表明,这RDC是一个足够灵活的概念,以恢复已知的结果,并获得新的鲁棒性结果。具体而言,新的结果包括:(a)对于$k$ -稀疏高维线性和逻辑回归与重尾(有界四阶矩)解释变量和响应变量,线性时间可计算的均值中值梯度估计满足RDC,因此鲁棒硬约束保持是极小极大最优的;(b)当我们在解释变量和响应变量中有$O(1/\sqrt{k}\log(nd))$ -任意损坏的分数而不是重尾时,一个近线性时间可计算的修剪梯度估计满足RDC,因此,鲁棒硬约束保持是最小最大最优的。我们证明了我们的方法在稀疏线性,逻辑回归和稀疏精度矩阵估计合成和真实世界的美国股票数据的有效性。
2019-05-29 cs.AI cs.LG math.OC
Telescoping Density-Ratio Estimation
School of Informatics(信息学院);University of Edinburgh(爱丁堡大学)
通过分类进行密度比估计是无监督学习的基石。它为表示学习和生成建模的最先进方法提供了基础,用例的数量继续激增。然而,它有一个关键的限制:它不能准确地估计两个密度显著不同的p/q比。根据经验,我们发现,每当p和q之间的库尔贝克-莱布勒散度超过数十nat时,就会发生这种情况。为了解决这个问题,我们引入了一个新的框架,伸缩密度比估计(TRE),使高度不相似的密度在高维空间之间的比率估计。我们的实验表明,TRE可以产生实质性的改进,现有的单比方法的互信息估计,表示学习和基于能量的建模。
2020-11-24 cs.LG stat.ML
Robust and Sparse Estimation of Unbounded Density Ratio under Heavy Contamination
Panasonic Holdings Corporation(松下电器控股公司);The Institute of Statistical Mathematics(统计数学研究所);The Graduate University for Advanced Studies (SOKENDAI)(高级研究大学(SOKENDAI))
本文提出了一种在重污染环境下实现鲁棒且稀疏估计无界密度比的方法,通过非渐近框架分析解决了密度比估计和鲁棒估计中的关键挑战。
2025-12-10 cs.LG stat.ML
Featurized Density Ratio Estimation
Stanford University(斯坦福大学)
密度比估计是无监督机器学习工具箱中的一项重要技术。然而,这样的比率是难以估计的复杂,高维数据,特别是当感兴趣的密度是足够的不同。在我们的工作中,我们建议利用一个可逆的生成模型来将这两个分布映射到一个共同的特征空间,然后进行估计。这种特征化使潜在空间中的密度更接近,避开了病态的情况,在这种情况下,输入空间中的学习密度比可能任意不准确。同时,我们的特征映射的可逆性保证了在特征空间中计算的比率与在输入空间中计算的比率是等价的。从经验上讲,我们证明了我们的方法在各种下游任务中的有效性,这些任务需要获得准确的密度比,例如互信息估计,深度生成模型中的目标采样以及数据增强分类。
2021-07-05 cs.LG stat.ML
Overcoming Saturation in Density Ratio Estimation by Iterated Regularization
ELLIS Unit Linz(ELLIS林茨单元);LIT AI Lab(LIT人工智能实验室);Institute for Machine Learning, Johannes Kepler University Linz(约翰内斯·开普勒大学林茨分校机器学习研究所);NXAI GmbH(NXAI有限公司);Johann Radon Institute for Computational and Applied Mathematics, Austrian Academy of Sciences(奥地利科学院约翰·拉东计算与应用数学研究所)
本文针对核方法在密度比估计中的误差饱和问题,提出迭代正则化方法以实现快速误差收敛率,并在基准测试和大规模深度域适应评估中优于非迭代版本。
2024-06-03 cs.LG stat.ML
Density Ratio Estimation via Sampling along Generalized Geodesics on Statistical Manifolds
School of Mathematics and Statistics(数学与统计学院);The University of Melbourne(墨尔本大学)
针对分布相距较远时密度比估计不稳定的问题,提出沿统计流形上的广义测地线进行蒙特卡洛采样的增量密度比估计方法,实验证明其优于未利用流形几何特性的现有方法。
2024-06-27 cs.LG stat.ML
Learning under Target Shift: Optimal Density Ratio Estimation and Importance-Weighted Regression
School of Mathematical Sciences, Zhejiang University(浙江大学数学科学学院)
针对连续输出目标偏移问题,提出RKHS谱正则化密度比估计方法,达到极小极大最优速率,并分析其在重要性加权回归中的误差传播,建立有限样本理论。
2026-09-15 cs.LG stat.ML
Unbounded Density Ratio Estimation and Its Application to Covariate Shift Adaptation
School of Mathematical Sciences, Zhejiang University(浙江大学数学科学学院);Department of Mathematics, Hong Kong Baptist University(香港浸会大学数学系)
本文研究无界密度比估计及其在协变量移位适应中的应用,提出三步估计方法,通过截断操作控制无界性,并建立非渐近收敛性保证。
2026-03-31 cs.LG stat.ML
Posterior Ratio Estimation of Latent Variables
University of Bristol(布里斯托大学)
密度比估计由于其比较两个数据集的底层分布的能力而引起了机器学习社区的关注。然而,在某些应用中,我们希望比较来自观测值的\emph{inferred}随机变量的分布。本文研究潜变量的两个后验概率密度函数之比的估计问题。特别是,我们假设后验比函数可以很好地近似的参数模型,然后估计使用观察到的信息和先验样本。证明了当先验样本数趋于无穷大时,估计量的相合性和估计参数的渐近正态性。最后,我们使用数值实验验证我们的理论,并通过一些实际应用证明了所提出的方法的实用性。
2020-06-25 cs.LG stat.ML
A Unified Framework for Multi-distribution Density Ratio Estimation
Stanford University(斯坦福大学)
二进制密度比估计(DRE),即在给定经验样本的情况下估计$p_1/p_2$的比率的问题,为许多最先进的机器学习算法提供了基础,例如对比表示学习和协变量偏移自适应。在这项工作中,我们考虑一个广义的设置,其中给定的样本从多个分布$p_1, \ldots, p_k$(为$k > 2$),我们的目标是有效地估计所有对分布之间的密度比。这样的推广导致了重要的新应用,如估计多个随机变量之间的统计差异,如多分布$f$ -发散,并通过多个重要性采样的偏差校正。然后,我们从Bregman发散最小化的角度开发了一个一般框架,其中每个严格凸的多元函数引起多分布DRE的适当损失。此外,我们重新推导了多分布密度比估计和类概率估计之间的理论联系,证明了使用任何严格适当的评分规则与多分布DRE的链接函数的组合。我们表明,我们的框架导致的方法,严格概括其对应的二进制DRE,以及新的方法,显示出相当或优越的性能在各种下游任务。
2021-12-07 cs.LG stat.ML
Online Centralized Non-parametric Change-point Detection via Graph-based Likelihood-ratio Estimation
Centre Borelli, ENS Paris-Saclay, Université Paris-Saclay(巴黎萨克雷大学巴黎萨克雷高等师范学院博雷利中心)
考虑图中的每个节点都要生成一个数据流,该数据流是同步的,并且可以近实时地观察到。在变化点$τ$,在节点$C$的子集处发生变化,这影响其相关联的节点流的概率分布。在本文中,我们提出了一种新的基于核的方法来检测$τ$和本地化$C$,基于直接估计的似然比之间的变化和变化前的节点流的分布。我们的主要工作假设是图上的似然比估计的平滑性,即期望连接的节点具有相似的似然比。所提出的方法的质量证明了广泛的实验合成的情况下。
2023-01-12 cs.LG stat.ML
BORE: Bayesian Optimization by Density-Ratio Estimation
University of Sydney(悉尼大学);CSIRO’s Data61(联邦科学与工业研究组织Data61);Amazon(亚马逊);NVIDIA(英伟达)
贝叶斯优化(BO)是最有效和最广泛使用的黑盒优化方法之一。BO提出的解决方案,根据探索利用权衡标准编码的采集功能,其中许多是计算从后验预测的概率代理模型。其中普遍存在的是预期改善(EI)功能。确保预测的分析易处理性的需求通常会带来限制,这些限制可能会阻碍BO的效率和适用性。在本文中,我们投EI的计算作为一个二元分类问题,建立在类概率估计和密度比估计之间的联系,以及密度比和EI之间的鲜为人知的联系。通过规避易处理性约束,这种重构提供了许多优点,尤其是在表达性、多功能性和可伸缩性方面。
2021-02-17 cs.LG stat.ML
Generalization of Change-Point Detection in Time Series Data Based on Direct Density Ratio Estimation
National Research University Higher School of Economics(国立研究型大学高等经济学院)
变点检测的目的是发现时间序列分布的变化。变点检测的现有技术方法之一是基于直接密度比估计。在这项工作中,我们将展示如何现有的算法可以推广使用各种二进制分类和回归模型。特别是,我们表明,梯度提升决策树和神经网络可以用于此目的。该算法在几个合成和真实世界的数据集上进行了测试。实验结果表明,该方法优于经典的RuLSIF算法.讨论的情况下,所提出的算法比现有的方法具有优势。
2020-01-17 cs.LG stat.ML
Adaptive Multi-stage Density Ratio Estimation for Learning Latent Space Energy-based Model
University of Chicago(芝加哥大学);Stevens Institute of Technology(史蒂文斯理工学院)
研究了在发电机模型的隐空间中学习基于能量的模型(EBM)的基本问题。学习这种先验模型通常需要运行昂贵的马尔可夫链蒙特卡罗(MCMC)。相反,我们建议使用噪声对比估计(NCE)通过潜在先验密度和潜在后验密度之间的密度比估计来区分学习EBM。然而,NCE通常不能准确地估计这样的密度比,给定两个密度之间的大差距。为了有效地解决这个问题,并学习更具表现力的先验模型,我们开发了自适应多阶段密度比估计,将估计分解为多个阶段,并顺序自适应地学习不同阶段的密度比。潜在先验模型可以使用在前一阶段中估计的比率来逐渐学习,使得最终的潜在空间EBM先验可以由不同阶段中的比率的乘积自然形成。所提出的方法能够提供比现有基线更丰富和更清晰的先验信息,并且可以有效地训练。我们的实验表明,强大的性能,在图像生成和重建,以及异常检测。
2022-09-19 cs.CV cs.LG stat.ML
Deep density ratio estimation for change point detection
Rensselaer Polytechnic Institute(伦斯勒理工学院);Mount Sinai Hospital(西奈山医院)
在这项工作中,我们提出了新的目标函数,训练深度神经网络为基础的密度比估计,并将其应用到一个变化点检测问题。现有的方法使用核的线性组合来近似密度比函数,通过求解凸约束最小化问题。使用深度神经网络来近似密度比函数需要定义合适的目标函数以进行优化。我们制定和比较目标函数,可以使用梯度下降,并表明该网络可以有效地学习近似密度比函数。使用我们的深度密度比估计目标函数在癫痫发作检测任务上比其他(基于内核和神经网络的)密度比估计方法和其他基于窗口的变化点检测算法具有更好的性能。我们还表明,该方法仍然可以支持其他神经网络架构,如卷积网络。
2019-05-23 cs.AI cs.LG stat.ML
Deep Learning Based Residuals in Non-linear Factor Models: Precision Matrix Estimation of Returns with Low Signal-to-Noise Ratio
North Carolina State University(北卡罗来纳州立大学);ETH Zürich(苏黎世联邦理工学院);KOF Swiss Economic Institute(KOF瑞士经济研究所)
本文提出一种基于深度学习非线性因子模型的资产收益精度矩阵一致估计方法,在低信噪比和弱因子环境下依然有效,并通过理论界限与模拟实证验证其优越准确性。
2023-08-29 cs.LG stat.ML
Density Ratio Estimation via Infinitesimal Classification
Stanford University(斯坦福大学)
密度比估计(DRE)是用于比较两个概率分布的基本机器学习技术。然而,现有的方法在高维环境中挣扎,因为很难准确地比较基于有限样本的概率分布。在这项工作中,我们提出了DRE- \infty,分而治之的方法,减少DRE一系列更容易的子问题。受Monte Carlo方法的启发,我们通过中间桥分布的无限连续体在两个分布之间平滑插值。然后,我们估计按时间(“时间分数”)索引的桥分布的瞬时变化率-一个类似于数据(斯坦)分数定义的量-与一个新的时间分数匹配目标。最重要的是,学习的时间分数可以被整合以计算所需的密度比。此外,我们表明,传统的(斯坦)分数可以用来获得集成路径,连接区域的高密度分布,在实践中提高性能。从经验上讲,我们证明了我们的方法在复杂的高维数据集上的下游任务,如互信息估计和基于能量的建模上表现良好。
2022-03-12 cs.LG stat.ML
Binary Losses for Density Ratio Estimation
ELLIS Unit Linz(林茨ELLIS单元);LIT AI Lab(林茨人工智能实验室)
本文针对密度比估计中二分类损失函数选择问题,基于 Bregman 散度刻画了能产生小误差估计器的损失函数,并提出可优先估计大密度比值的新型损失函数,在 484 个任务中提升了 11 种深度域适应算法的性能。
2025-01-27 cs.LG stat.ML
New Machine Learning Techniques for Simulation-Based Inference: InferoStatic Nets, Kernel Score Estimation, and Kernel Likelihood Ratio Estimation
University of Kansas(堪萨斯大学);University of Florida(佛罗里达大学);Fermi National Accelerator Laboratory(费米国家加速器实验室)
我们提出了一个直观的,机器学习的方法,多参数推理,被称为InferoStatic网络(ISN)的方法,建模的得分和似然比估计的情况下,概率密度可以采样,但不能直接计算。ISN使用后端神经网络,该后端神经网络对称为下静电位$φ$的标量函数进行建模。此外,我们引入了新的策略,分别称为核得分估计(KSE)和核似然比估计(KLRE),从模拟数据中学习得分和似然比函数。我们说明了一些玩具的例子,并与现有的方法在文献中的新技术。我们顺便提到了一些新的损失函数,它们将模拟中的潜在信息最佳地结合到训练过程中。
2023-02-03 cs.LG hep-ex hep-ph
Change-Point Detection in Time-Series Data by Relative Density-Ratio Estimation
Tokyo Institute of Technology(东京工业大学);NTT Communication Science Laboratories(NTT通信科学实验室);National Institute of Informatics (NII)(国立信息学研究所);European Bioinformatics Institute (EBI)(欧洲生物信息研究所)
变点检测的目的是发现隐藏在时间序列数据背后的属性突变。在本文中,我们提出了一种新的统计变点检测算法的基础上非参数的分歧估计之间的时间序列样本从两个回顾段。我们的方法使用相对皮尔逊散度作为散度度量,它是准确和有效的估计方法的直接密度比估计。通过对人工和真实世界的数据集,包括人类活动传感,语音和Twitter消息的实验,我们证明了所提出的方法的实用性。
2013-01-16 cs.LG stat.ME stat.ML
Neural Quasiprobabilistic Likelihood Ratio Estimation with Negatively Weighted Data
Data Science Institute, University of Wisconsin-Madison(威斯康星大学麦迪逊分校数据科学研究所);Physics Department, University of Wisconsin–Madison(威斯康星大学麦迪逊分校物理系)
针对高能粒子物理中负密度和负权重带来的挑战,提出一种新颖损失函数和基于符号混合模型的架构,实现了准概率设定下的神经似然比估计。
2024-10-14 cs.LG hep-ex stat.ML
Representation learning for maximization of MI, nonlinear ICA and nonlinear subspaces with robust density ratio estimation
Future University Hakodate(函馆未来大学);National Graduate Institute for Policy Studies(政策研究大学院大学);RIKEN AIP(理化学研究所先进智能项目中心)
对比学习是无监督表示学习中一种很有前途的方法,其中数据的特征表示是通过解决来自未标记数据的伪分类问题来学习的。然而,理解对比学习产生什么并不简单。另外,对比学习通常基于最大似然估计,这往往容易受到离群值的污染。为了加深对对比学习的理解,本文首先从理论上揭示了互信息(MI)最大化的联系。我们的结果表明,在一定条件下,密度比估计是极大化MI的充分必要条件。因此,与密度比估计相关的对比学习,如在流行的目标函数中所做的,可以被解释为最大化MI。其次,利用密度比,我们建立了非线性独立分量分析(ICA)中潜在源分量的新恢复条件。与现有的工作相比,所建立的条件包括一个新的洞察数据的维数,这是明确的支持数值实验。此外,受非线性ICA的启发,我们提出了一种新的框架来估计低维潜在源分量的非线性子空间,并建立了一些理论条件的子空间估计的密度比。然后,我们提出了一种实用的方法,通过离群鲁棒密度比估计,它可以看作是执行最大化的MI,非线性ICA或非线性子空间估计。此外,还提出了一种样本有效的非线性ICA方法。我们从理论上研究了所提出的方法的离群鲁棒性。最后,所提出的方法的有用性数值证明在非线性ICA和通过应用到线性分类。
2022-08-08 cs.LG eess.SP stat.ML
Out-of-Distribution Detection with Class Ratio Estimation
University College London(伦敦大学学院);University of Cambridge(剑桥大学);University of Tübingen(图宾根大学);IMPRS-IS(国际马克斯·普朗克智能系统研究学院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
基于密度的分布外(OOD)检测最近已被证明是不可靠的检测OOD图像的任务。各种基于密度比的方法实现了良好的经验性能,但是方法通常缺乏原则性的概率建模解释。在这项工作中,我们提出了一个新的框架下,建立基于能量的模型,并采用不同的基础分布统一的密度比为基础的方法。在我们的框架下,密度比可以被看作是一个隐含的语义分布的未规范化的密度。此外,我们建议通过类比估计直接估计数据样本的密度比。与最近的工作相比,我们报告了OOD图像问题的竞争结果,这些工作需要为任务训练深度生成模型。我们的方法使一个简单而有效的路径解决OOD检测问题。
2022-06-08 cs.CV cs.LG stat.ML
Quasiprobabilistic Density Ratio Estimation with a Reverse Engineered Classification Loss Function
Physics Department, New York University(纽约大学物理系);Physics Department, University of Wisconsin--Madison(威斯康星大学麦迪逊分校物理系);Data Science Institute, University of Wisconsin--Madison(威斯康星大学麦迪逊分校数据科学研究院)
本文提出了一种适用于准概率密度比估计的凸损失函数,并通过粒子物理中的双希格斯生产实验实现了最先进的结果。
2025-12-22 cs.LG hep-ex stat.ML
Improving Maximum Likelihood Training for Text Generation with Density Ratio Estimation
极大似然估计训练的自回归序列生成模型在实际有限样本情况下存在暴露偏差问题。问题的关键在于极大似然估计的训练样本数通常是有限的,而且在训练和推理阶段输入数据的分布是不同的。已经提出了许多方法来解决上述问题(Yu等人,2017; Lu等人,2018年),它依赖于非平稳模型分布的采样,并遭受高方差或有偏估计。在本文中,我们提出了一种新的自回归序列生成模型的训练方案,它是有效的和稳定的,当运行在文本生成中遇到的大样本空间。我们得到我们的算法从一个新的角度来看,自我增强和密度比估计引入偏差校正。在合成数据和真实文本生成任务上的大量实验结果表明,我们的方法在质量和多样性方面稳定地优于极大似然估计和其他最先进的序列生成模型。
2020-07-12 cs.CL cs.LG stat.ML
Condition Number Analysis of Kernel-based Density Ratio Estimation
两个概率密度的比率可以用于解决各种机器学习任务,例如协变量移位自适应(重要性抽样),离群值检测(似然比检验)和特征选择(互信息)。最近,已经开发了几种直接估计密度比的方法,例如,核均值匹配、极大似然密度比估计和最小二乘密度比拟合。在本文中,我们考虑一个核化的最小二乘方法的变体,并从条件数的角度使用平滑分析技术研究其理论性质--Hessian矩阵的条件数决定了优化的收敛速度和数值稳定性。我们表明,核最小二乘方法有一个更小的条件数比核均值匹配和其他M-估计的版本,这意味着核最小二乘方法具有更好的数值特性。我们进一步给出了另一种形式的核最小二乘估计,这是具有更小的条件数。我们表明,数值研究符合我们的理论分析。
2009-12-15 math.ST stat.ML stat.TH
Orthogonal Series Estimation for the Ratio of Conditional Expectation Functions
在数据科学的各个领域,研究人员经常对估计条件期望函数(CEFR)的比率感兴趣。特别是在因果推断问题中,有时考虑基于比率的处理效应是很自然的,例如比值比和风险比,甚至基于差异的处理效应在一些经验相关的设置中被识别为CEFR。本章开发了CEFR的估计和推理的一般框架,它允许使用灵活的机器学习无限维干扰参数。在该框架的第一阶段中,使用去偏机器学习技术构造正交信号,以减轻滋扰估计中的正则化偏差对目标估计的负面影响。然后,将信号与针对CEFR定制的新型系列估计器相结合。我们推导出点态和一致的渐近结果CEFR的估计和推断,包括高斯引导的有效性,并提供低级别的充分条件,适用于一些具体的例子所提出的框架。我们证明了有限样本的性能的系列估计所提出的框架下,通过数值模拟。最后,我们应用所提出的方法来估计401(k)计划对家庭资产的因果影响。
2022-12-26 econ.EM stat.ME stat.ML
Riesz Regression As Direct Density Ratio Estimation
本文阐明了里斯Z回归与因果推断中密度比估计的关系,证明了里斯回归与重要性拟合准则等价,为密度比估计提供了新方法。
2026-03-24 cs.LG econ.EM math.ST
Density Ratio Estimation and Neyman Pearson Classification with Missing Data
University of Bristol(布里斯托大学)
密度比估计(DRE)是一种重要的机器学习技术,具有许多下游应用。我们考虑了非随机缺失(MNAR)数据的DRE挑战。在这种情况下,我们表明,使用标准的DRE方法会导致有偏见的结果,而我们的建议(M-KLIEP),流行的DRE程序KLIEP的适应,恢复一致性。此外,我们提供了有限的样本估计误差界M-KLIEP,证明了极大极小最优的样本量和最坏情况下的缺失。然后,我们适应一个重要的下游应用DRE,奈曼皮尔逊(NP)分类,这个MNAR设置。我们的程序既控制第一类错误,并实现高功率,高概率。最后,我们展示了有前途的经验性能的合成数据和真实世界的数据与模拟失踪。
2023-02-21 cs.LG stat.ME stat.ML
Relative Density-Ratio Estimation for Robust Distribution Comparison
基于密度比的直接近似而不经过分子和分母密度的单独近似的发散估计已经成功地应用于涉及分布比较的机器学习任务,如离群值检测、迁移学习和两样本同质性检验。然而,由于密度比函数往往具有很大的波动性,在实际应用中,发散度的估计仍然是一个具有挑战性的任务。在本文中,我们建议使用相对分歧的分布比较,这涉及到相对密度比的近似。由于相对密度比总是比相应的普通密度比更平滑,我们提出的方法在非参数收敛速度方面是有利的。此外,我们表明,所提出的发散估计具有渐近方差独立的模型的复杂性下的参数设置,这意味着所提出的估计很难过拟合,即使与复杂的模型。通过实验,我们证明了所提出的方法的实用性。
2011-06-23 math.ST stat.ME stat.ML
Non-Negative Bregman Divergence Minimization for Deep Direct Density Ratio Estimation
CyberAgent, Inc.(赛博代理公司);The University of Tokyo(东京大学)
密度比估计(DRE)是异常检测和领域自适应等各种机器学习任务的核心。在现有的DRE研究中,基于Bregman散度(BD)最小化的方法得到了广泛的研究。然而,当BD最小化应用于高度灵活的模型(如深度神经网络)时,往往会遭受我们所说的训练损失黑客攻击,这是由经验BD估计量的典型特征引起的过拟合的来源。在本文中,为了减轻列车损失黑客攻击,我们提出了一个非负校正的经验BD估计。理论上,我们通过一个泛化误差界证实了所提出方法的合理性。通过实验,我们提出的方法表现出良好的性能,在基于内点的离群点检测。
2021-07-17 cs.CV cs.LG stat.ML
Unified Perspective on Probability Divergence via Maximum Likelihood Density Ratio Estimation: Bridging KL-Divergence and Integral Probability Metrics
The University of Tokyo(东京大学);CyberAgent, Inc.(赛博艾金特公司);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Preferred Networks, Inc.(优选网络公司)
本文从最大似然密度比估计的角度,给出了Kullback-Leibler(KL)-散度和积分概率度量(IPM)的统一观点。KL-发散和IPM都被广泛应用于生成建模等各个领域。然而,对这些概念的统一理解尚未得到探索。在本文中,我们表明,KL-分歧和IPM可以表示为最大似然不同,只有抽样方案,并使用这个结果,以获得一个统一的形式的IPM和宽松的估计方法。为了发展的估计问题,我们构造了一个无约束的最大似然估计进行DRE与分层抽样方案。我们进一步提出了一类新的概率发散,称为密度比(DRMs),插值KL发散和IPM。除了这些发现,我们还介绍了DRM的一些应用,如DRE和生成对抗网络。在实验中,我们验证了我们提出的方法的有效性。
2022-01-31 cs.AI cs.LG stat.ML
Projection Pursuit Density Ratio Estimation
Renmin University of China(中国人民大学)
本文提出基于投影寻踪近似的密度比估计方法,以缓解高维数据下的维度灾难并保持模型灵活性,同时证明其一致性与收敛速率,实验表明该方法在多种应用中优于现有方法。
2025-06-01 cs.LG stat.ME stat.ML
EQ-Net: A Unified Deep Learning Framework for Log-Likelihood Ratio Estimation and Quantization
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在这项工作中,我们介绍了EQ-Net:第一个整体框架,它使用数据驱动的方法解决了对数似然比(LLR)估计和量化的任务。我们激励我们的方法与理论见解的两个实际的估计算法的复杂性频谱的两端,并揭示了算法的复杂性和信息瓶颈方法之间的连接:简单的算法承认较小的瓶颈时,代表他们的解决方案。这促使我们提出一个两阶段的算法,使用LLR压缩作为借口任务的估计,并专注于低延迟,高性能的实现,通过深神经网络。我们进行了广泛的实验评估和证明,我们的单一架构实现了国家的最先进的结果在这两个任务相比,以前的方法,与增益的量化效率高达$20\%$和减少估计延迟时,测量通用和图形处理单元(GPU)的$60\%$。特别是,我们的方法减少了GPU的推理延迟的两倍以上,在几个多输入多输出(MIMO)配置。最后,我们证明了我们的方案对分布偏移具有鲁棒性,并且在5G信道模型以及信道估计误差上进行评估时保留了其性能的重要部分。
2021-05-03 cs.LG eess.SP stat.ML
Nearest Neighbor Matching as Least Squares Density Ratio Estimation and Riesz Regression
本研究证明最近邻匹配是自动去偏机器学习中Riesz回归的实例,先验证Lin等(2023)的密度比估计法等价于LSIF,再基于LSIF推导Riesz回归,最终从Riesz回归推导出最近邻匹配。
2025-10-28 cs.LG econ.EM math.ST
Double Debiased Covariate Shift Adaptation Robust to Density-Ratio Estimation
Mizuho-DL Financial Technology Co., Ltd.(瑞穗DL金融科技有限公司);Nagoya University Graduate School of Medicine(名古屋大学医学部)
针对协变量偏移下重要性加权依赖密度比估计并引入偏差的问题,提出结合回归函数与 double machine learning 的双重稳健估计量,证明其渐近性质与一致性,并通过模拟验证有效性。
2024-10-26 cs.LG econ.EM stat.ME