Non-Negative Bregman Divergence Minimization for Deep Direct Density Ratio Estimation
CyberAgent, Inc.(赛博代理公司);The University of Tokyo(东京大学)
密度比估计(DRE)是异常检测和领域自适应等各种机器学习任务的核心。在现有的DRE研究中,基于Bregman散度(BD)最小化的方法得到了广泛的研究。然而,当BD最小化应用于高度灵活的模型(如深度神经网络)时,往往会遭受我们所说的训练损失黑客攻击,这是由经验BD估计量的典型特征引起的过拟合的来源。在本文中,为了减轻列车损失黑客攻击,我们提出了一个非负校正的经验BD估计。理论上,我们通过一个泛化误差界证实了所提出方法的合理性。通过实验,我们提出的方法表现出良好的性能,在基于内点的离群点检测。
2021-07-17 cs.CV cs.LG stat.ML
Robust and Sparse Estimation of Unbounded Density Ratio under Heavy Contamination
Panasonic Holdings Corporation(松下电器控股公司);The Institute of Statistical Mathematics(统计数学研究所);The Graduate University for Advanced Studies (SOKENDAI)(高级研究大学(SOKENDAI))
本文提出了一种在重污染环境下实现鲁棒且稀疏估计无界密度比的方法,通过非渐近框架分析解决了密度比估计和鲁棒估计中的关键挑战。
2025-12-10 cs.LG stat.ML
Featurized Density Ratio Estimation
Stanford University(斯坦福大学)
密度比估计是无监督机器学习工具箱中的一项重要技术。然而,这样的比率是难以估计的复杂,高维数据,特别是当感兴趣的密度是足够的不同。在我们的工作中,我们建议利用一个可逆的生成模型来将这两个分布映射到一个共同的特征空间,然后进行估计。这种特征化使潜在空间中的密度更接近,避开了病态的情况,在这种情况下,输入空间中的学习密度比可能任意不准确。同时,我们的特征映射的可逆性保证了在特征空间中计算的比率与在输入空间中计算的比率是等价的。从经验上讲,我们证明了我们的方法在各种下游任务中的有效性,这些任务需要获得准确的密度比,例如互信息估计,深度生成模型中的目标采样以及数据增强分类。
2021-07-05 cs.LG stat.ML
Density Ratio Estimation via Sampling along Generalized Geodesics on Statistical Manifolds
School of Mathematics and Statistics(数学与统计学院);The University of Melbourne(墨尔本大学)
针对分布相距较远时密度比估计不稳定的问题,提出沿统计流形上的广义测地线进行蒙特卡洛采样的增量密度比估计方法,实验证明其优于未利用流形几何特性的现有方法。
2024-06-27 cs.LG stat.ML
Unbounded Density Ratio Estimation and Its Application to Covariate Shift Adaptation
School of Mathematical Sciences, Zhejiang University(浙江大学数学科学学院);Department of Mathematics, Hong Kong Baptist University(香港浸会大学数学系)
本文研究无界密度比估计及其在协变量移位适应中的应用,提出三步估计方法,通过截断操作控制无界性,并建立非渐近收敛性保证。
2026-03-31 cs.LG stat.ML
Posterior Ratio Estimation of Latent Variables
University of Bristol(布里斯托大学)
密度比估计由于其比较两个数据集的底层分布的能力而引起了机器学习社区的关注。然而,在某些应用中,我们希望比较来自观测值的\emph{inferred}随机变量的分布。本文研究潜变量的两个后验概率密度函数之比的估计问题。特别是,我们假设后验比函数可以很好地近似的参数模型,然后估计使用观察到的信息和先验样本。证明了当先验样本数趋于无穷大时,估计量的相合性和估计参数的渐近正态性。最后,我们使用数值实验验证我们的理论,并通过一些实际应用证明了所提出的方法的实用性。
2020-06-25 cs.LG stat.ML
Online Centralized Non-parametric Change-point Detection via Graph-based Likelihood-ratio Estimation
Centre Borelli, ENS Paris-Saclay, Université Paris-Saclay(巴黎萨克雷大学巴黎萨克雷高等师范学院博雷利中心)
考虑图中的每个节点都要生成一个数据流,该数据流是同步的,并且可以近实时地观察到。在变化点$τ$,在节点$C$的子集处发生变化,这影响其相关联的节点流的概率分布。在本文中,我们提出了一种新的基于核的方法来检测$τ$和本地化$C$,基于直接估计的似然比之间的变化和变化前的节点流的分布。我们的主要工作假设是图上的似然比估计的平滑性,即期望连接的节点具有相似的似然比。所提出的方法的质量证明了广泛的实验合成的情况下。
2023-01-12 cs.LG stat.ML
BORE: Bayesian Optimization by Density-Ratio Estimation
University of Sydney(悉尼大学);CSIRO’s Data61(联邦科学与工业研究组织Data61);Amazon(亚马逊);NVIDIA(英伟达)
贝叶斯优化(BO)是最有效和最广泛使用的黑盒优化方法之一。BO提出的解决方案,根据探索利用权衡标准编码的采集功能,其中许多是计算从后验预测的概率代理模型。其中普遍存在的是预期改善(EI)功能。确保预测的分析易处理性的需求通常会带来限制,这些限制可能会阻碍BO的效率和适用性。在本文中,我们投EI的计算作为一个二元分类问题,建立在类概率估计和密度比估计之间的联系,以及密度比和EI之间的鲜为人知的联系。通过规避易处理性约束,这种重构提供了许多优点,尤其是在表达性、多功能性和可伸缩性方面。
2021-02-17 cs.LG stat.ML
Generalization of Change-Point Detection in Time Series Data Based on Direct Density Ratio Estimation
National Research University Higher School of Economics(国立研究型大学高等经济学院)
变点检测的目的是发现时间序列分布的变化。变点检测的现有技术方法之一是基于直接密度比估计。在这项工作中,我们将展示如何现有的算法可以推广使用各种二进制分类和回归模型。特别是,我们表明,梯度提升决策树和神经网络可以用于此目的。该算法在几个合成和真实世界的数据集上进行了测试。实验结果表明,该方法优于经典的RuLSIF算法.讨论的情况下,所提出的算法比现有的方法具有优势。
2020-01-17 cs.LG stat.ML
Deep Learning Based Residuals in Non-linear Factor Models: Precision Matrix Estimation of Returns with Low Signal-to-Noise Ratio
North Carolina State University(北卡罗来纳州立大学);ETH Zürich(苏黎世联邦理工学院);KOF Swiss Economic Institute(KOF瑞士经济研究所)
本文提出一种基于深度学习非线性因子模型的资产收益精度矩阵一致估计方法,在低信噪比和弱因子环境下依然有效,并通过理论界限与模拟实证验证其优越准确性。
2023-08-29 cs.LG stat.ML
Density Ratio Estimation via Infinitesimal Classification
Stanford University(斯坦福大学)
密度比估计(DRE)是用于比较两个概率分布的基本机器学习技术。然而,现有的方法在高维环境中挣扎,因为很难准确地比较基于有限样本的概率分布。在这项工作中,我们提出了DRE- \infty,分而治之的方法,减少DRE一系列更容易的子问题。受Monte Carlo方法的启发,我们通过中间桥分布的无限连续体在两个分布之间平滑插值。然后,我们估计按时间(“时间分数”)索引的桥分布的瞬时变化率-一个类似于数据(斯坦)分数定义的量-与一个新的时间分数匹配目标。最重要的是,学习的时间分数可以被整合以计算所需的密度比。此外,我们表明,传统的(斯坦)分数可以用来获得集成路径,连接区域的高密度分布,在实践中提高性能。从经验上讲,我们证明了我们的方法在复杂的高维数据集上的下游任务,如互信息估计和基于能量的建模上表现良好。
2022-03-12 cs.LG stat.ML
Binary Losses for Density Ratio Estimation
ELLIS Unit Linz(林茨ELLIS单元);LIT AI Lab(林茨人工智能实验室)
本文针对密度比估计中二分类损失函数选择问题,基于 Bregman 散度刻画了能产生小误差估计器的损失函数,并提出可优先估计大密度比值的新型损失函数,在 484 个任务中提升了 11 种深度域适应算法的性能。
2025-01-27 cs.LG stat.ML
Interpreting Outliers: Localized Logistic Regression for Density Ratio Estimation
Kyoto University(京都大学);Institute of Statistical Mathematics(统计数理研究所);Aalto University(阿尔托大学)
我们提出了一种基于内点的离群点检测方法,通过识别离群点的特定特征,既能够识别离群点,又能够解释为什么它们是离群点。具体来说,我们采用了一个基于内点的离群点检测标准,该标准使用内点和测试概率密度的比值作为离群点的可验证性的度量。对于密度比函数的估计,我们提出了一种局部化的逻辑斯谛回归算法。由于模型的局部性,变量选择可以是特定于离群值的,这将有助于解释为什么点在高维空间中是离群值。通过综合实验,我们表明,该算法可以成功地检测出离群的重要特征。此外,我们表明,该算法往往优于现有的算法在基准数据集。
2017-02-21 cs.LG stat.ML
Meta-Learning for Relative Density-Ratio Estimation
NTT Computer and Data Science Laboratories(NTT计算机与数据科学实验室);NTT Communication Science Laboratories(NTT通信科学实验室)
两个概率密度之比,称为密度比,是机器学习中的一个重要量。特别地,相对密度比,这是密度比的有界扩展,由于其稳定性而受到广泛关注,并已被用于各种应用中,例如离群值检测和数据集比较。现有的方法(相对)密度比估计(DRE)需要从两个密度的许多实例。然而,在实践中往往没有足够的实例。在本文中,我们提出了一个相对DRE的元学习方法,它估计相对密度比从少数情况下,利用相关数据集的知识。具体来说,给定两个由少量实例组成的数据集,我们的模型通过使用神经网络提取数据集的信息,并使用它来获得适合于相对DRE的实例嵌入。在嵌入空间上用线性模型对相对密度比进行建模,得到其全局最优解的封闭形式解。封闭形式的解决方案可以快速有效地适应少数情况,其可微性使我们能够训练我们的模型,使预期的测试误差相对DRE可以显式地最小化后,适应少数情况。我们经验证明了所提出的方法的有效性,通过使用三个问题:相对DRE,数据集比较,离群值检测。
2021-07-02 cs.LG stat.ML
Dequantified Diffusion-Schr{ö}dinger Bridge for Density Ratio Estimation
The School of Mathematics, South China University of Technology, Guangzhou 510006, China(华南理工大学数学学院);The School of Electronic and Information Engineering, South China University of Technology, Guangzhou 510006, China(华南理工大学电子与信息工程学院);The Department of Electrical Engineering, Columbia University, New York, NY 10027, USA(哥伦比亚大学电气工程系)
针对分布差异显著或支撑集重叠不足导致密度比估计失效及不稳定的问题,提出D3RE统一框架,通过DDBI和DSBI结合扩散桥、高斯去量化与最优传输,实现鲁棒稳定的密度比估计,理论一致逼近且实证优于基线。
2025-11-01 cs.LG stat.ML
Adapting to Continuous Covariate Shift via Online Density Ratio Estimation
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所人工智能项目);Nanjing University(南京大学)
本文针对连续协变量偏移场景,提出在线密度比估计方法以重用历史信息,实现预测器累积风险最小化,并给出动态遗憾界与超额风险保证。
2024-05-27 cs.LG stat.ML
One-Step Score-Based Density Ratio Estimation
School of Mathematics, South China University of Technology(华南理工大学数学学院);Tensor Learning Team, RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心张量学习团队);Department of Electrical Engineering, Columbia University(哥伦比亚大学电气工程系);School of Electronic and Information Engineering, South China University of Technology(华南理工大学电子与信息工程学院)
本文提出OS-DRE,一种结合直接和基于分数方法优势的框架,通过分解时间分数为空间和时间成分,利用解析径向基函数框架,实现高效密度比率估计。
2026-10-30 cs.LG stat.ML
Subsampling Generative Adversarial Networks: Density Ratio Estimation in Feature Space with Softplus Loss
University of British Columbia(不列颠哥伦比亚大学)
从训练的生成对抗网络(GANs)中过滤出不切实际的图像最近引起了相当大的关注。最近提出了两种基于密度比的子采样方法--鉴别器拒绝采样(DRS)和Metropolis-Hastings GAN(MH-GAN),并在多个数据集上证明了它们在改进GANs方面的有效性。然而,DRS和MH-GAN是基于基于密度比估计(DRE)方法的,因此如果训练的GAN中的密度比远不是最优的,则它们可能不能很好地工作。此外,它们不适用于某些GANs(例如,MMD-GAN)。在本文中,我们提出了一种新的Softplus(SP)的DRE损失。在此基础上,我们开发了一种基于样本的DRE方法,该方法在由专门设计和预训练的ResNet-34(DRE-F-SP)学习的特征空间中进行。我们推导了在SP损失下训练的密度比模型的收敛速度。然后,我们提出了三种不同的密度比的子采样方法(DRE-F-SP+RS,DRE-F-SP+MH和DRE-F-SP+SIR)的GANs基于DRE-F-SP。我们的子采样方法不依赖于最优性,适用于所有类型的GANs。我们的经验表明,使用多个GANs,我们的子采样方法在合成数据集和CIFAR-10数据集上的性能可以大大优于DRS和MH-GAN。
2020-02-20 cs.LG stat.ML
Continual Density Ratio Estimation in an Online Setting
University of Bristol(布里斯托大学);Amazon Research(亚马逊研究院)
在具有流数据的在线应用中,了解训练或测试集偏离原始数据集的程度对模型的性能至关重要。但是,我们可能无法访问数据流中的历史样本。为了应对这种情况下,我们提出了一种新的方法,连续密度比估计(CDRE),用于估计的初始和当前分布($p/q_t$)的数据流在迭代的方式,而不需要存储过去的样本,其中$q_t$转移远离$p$随着时间的推移$t$的密度比。我们证明了CDRE在估计分布之间的分歧方面可以比标准DRE更准确,尽管不需要原始分布的样本。CDRE可以应用于在线学习的场景,例如重要性加权协变量偏移,跟踪数据集变化以更好地做出决策。此外,(CDRE)还支持在持续学习的设置下对生成模型进行评估。据我们所知,目前还没有一种方法可以在不存储原始分布样本的情况下,在持续学习中评估生成模型。
2021-03-09 cs.LG stat.ML
Adaptive Multi-stage Density Ratio Estimation for Learning Latent Space Energy-based Model
University of Chicago(芝加哥大学);Stevens Institute of Technology(史蒂文斯理工学院)
研究了在发电机模型的隐空间中学习基于能量的模型(EBM)的基本问题。学习这种先验模型通常需要运行昂贵的马尔可夫链蒙特卡罗(MCMC)。相反,我们建议使用噪声对比估计(NCE)通过潜在先验密度和潜在后验密度之间的密度比估计来区分学习EBM。然而,NCE通常不能准确地估计这样的密度比,给定两个密度之间的大差距。为了有效地解决这个问题,并学习更具表现力的先验模型,我们开发了自适应多阶段密度比估计,将估计分解为多个阶段,并顺序自适应地学习不同阶段的密度比。潜在先验模型可以使用在前一阶段中估计的比率来逐渐学习,使得最终的潜在空间EBM先验可以由不同阶段中的比率的乘积自然形成。所提出的方法能够提供比现有基线更丰富和更清晰的先验信息,并且可以有效地训练。我们的实验表明,强大的性能,在图像生成和重建,以及异常检测。
2022-09-19 cs.CV cs.LG stat.ML
Deep density ratio estimation for change point detection
Rensselaer Polytechnic Institute(伦斯勒理工学院);Mount Sinai Hospital(西奈山医院)
在这项工作中,我们提出了新的目标函数,训练深度神经网络为基础的密度比估计,并将其应用到一个变化点检测问题。现有的方法使用核的线性组合来近似密度比函数,通过求解凸约束最小化问题。使用深度神经网络来近似密度比函数需要定义合适的目标函数以进行优化。我们制定和比较目标函数,可以使用梯度下降,并表明该网络可以有效地学习近似密度比函数。使用我们的深度密度比估计目标函数在癫痫发作检测任务上比其他(基于内核和神经网络的)密度比估计方法和其他基于窗口的变化点检测算法具有更好的性能。我们还表明,该方法仍然可以支持其他神经网络架构,如卷积网络。
2019-05-23 cs.AI cs.LG stat.ML
Trimmed Density Ratio Estimation
密度比估计是机器学习和统计领域的重要工具。然而,由于密度比的无界性质,估计过程可能容易受到损坏的数据点的影响,这通常会将估计的比率推向无穷大。在本文中,我们提出了一个强大的估计,自动识别和修剪离群值。所提出的估计器具有凸形式,并且可以通过次梯度下降获得全局最优。我们分析了这种估计器在高维背景下的参数估计误差。实验结果验证了该估计器的有效性。
2017-11-06 stat.ML
Change-Point Detection in Time-Series Data by Relative Density-Ratio Estimation
Tokyo Institute of Technology(东京工业大学);NTT Communication Science Laboratories(NTT通信科学实验室);National Institute of Informatics (NII)(国立信息学研究所);European Bioinformatics Institute (EBI)(欧洲生物信息研究所)
变点检测的目的是发现隐藏在时间序列数据背后的属性突变。在本文中,我们提出了一种新的统计变点检测算法的基础上非参数的分歧估计之间的时间序列样本从两个回顾段。我们的方法使用相对皮尔逊散度作为散度度量,它是准确和有效的估计方法的直接密度比估计。通过对人工和真实世界的数据集,包括人类活动传感,语音和Twitter消息的实验,我们证明了所提出的方法的实用性。
2013-01-16 cs.LG stat.ME stat.ML
Neural Quasiprobabilistic Likelihood Ratio Estimation with Negatively Weighted Data
Data Science Institute, University of Wisconsin-Madison(威斯康星大学麦迪逊分校数据科学研究所);Physics Department, University of Wisconsin–Madison(威斯康星大学麦迪逊分校物理系)
针对高能粒子物理中负密度和负权重带来的挑战,提出一种新颖损失函数和基于符号混合模型的架构,实现了准概率设定下的神经似然比估计。
2024-10-14 cs.LG hep-ex stat.ML
New Machine Learning Techniques for Simulation-Based Inference: InferoStatic Nets, Kernel Score Estimation, and Kernel Likelihood Ratio Estimation
University of Kansas(堪萨斯大学);University of Florida(佛罗里达大学);Fermi National Accelerator Laboratory(费米国家加速器实验室)
我们提出了一个直观的,机器学习的方法,多参数推理,被称为InferoStatic网络(ISN)的方法,建模的得分和似然比估计的情况下,概率密度可以采样,但不能直接计算。ISN使用后端神经网络,该后端神经网络对称为下静电位$φ$的标量函数进行建模。此外,我们引入了新的策略,分别称为核得分估计(KSE)和核似然比估计(KLRE),从模拟数据中学习得分和似然比函数。我们说明了一些玩具的例子,并与现有的方法在文献中的新技术。我们顺便提到了一些新的损失函数,它们将模拟中的潜在信息最佳地结合到训练过程中。
2023-02-03 cs.LG hep-ex hep-ph
Out-of-Distribution Detection with Class Ratio Estimation
University College London(伦敦大学学院);University of Cambridge(剑桥大学);University of Tübingen(图宾根大学);IMPRS-IS(国际马克斯·普朗克智能系统研究学院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
基于密度的分布外(OOD)检测最近已被证明是不可靠的检测OOD图像的任务。各种基于密度比的方法实现了良好的经验性能,但是方法通常缺乏原则性的概率建模解释。在这项工作中,我们提出了一个新的框架下,建立基于能量的模型,并采用不同的基础分布统一的密度比为基础的方法。在我们的框架下,密度比可以被看作是一个隐含的语义分布的未规范化的密度。此外,我们建议通过类比估计直接估计数据样本的密度比。与最近的工作相比,我们报告了OOD图像问题的竞争结果,这些工作需要为任务训练深度生成模型。我们的方法使一个简单而有效的路径解决OOD检测问题。
2022-06-08 cs.CV cs.LG stat.ML
Quasiprobabilistic Density Ratio Estimation with a Reverse Engineered Classification Loss Function
Physics Department, New York University(纽约大学物理系);Physics Department, University of Wisconsin--Madison(威斯康星大学麦迪逊分校物理系);Data Science Institute, University of Wisconsin--Madison(威斯康星大学麦迪逊分校数据科学研究院)
本文提出了一种适用于准概率密度比估计的凸损失函数,并通过粒子物理中的双希格斯生产实验实现了最先进的结果。
2025-12-22 cs.LG hep-ex stat.ML
Generative Adversarial Nets from a Density Ratio Estimation Perspective
生成对抗网络(GANs)是成功的深度生成模型。GANs基于两个玩家的极大极小博弈。然而,在原始动机中导出的目标函数被改变以在学习生成器时获得更强的梯度。我们提出了一种新的算法,重复密度比估计和f-散度最小化。我们的算法为理解GANs提供了一个新的视角,并且能够利用在密度比估计研究中获得的多个观点,例如什么样的发散是稳定的,相对密度比是有用的。
2016-11-09 stat.ML
Improving Maximum Likelihood Training for Text Generation with Density Ratio Estimation
极大似然估计训练的自回归序列生成模型在实际有限样本情况下存在暴露偏差问题。问题的关键在于极大似然估计的训练样本数通常是有限的,而且在训练和推理阶段输入数据的分布是不同的。已经提出了许多方法来解决上述问题(Yu等人,2017; Lu等人,2018年),它依赖于非平稳模型分布的采样,并遭受高方差或有偏估计。在本文中,我们提出了一种新的自回归序列生成模型的训练方案,它是有效的和稳定的,当运行在文本生成中遇到的大样本空间。我们得到我们的算法从一个新的角度来看,自我增强和密度比估计引入偏差校正。在合成数据和真实文本生成任务上的大量实验结果表明,我们的方法在质量和多样性方面稳定地优于极大似然估计和其他最先进的序列生成模型。
2020-07-12 cs.CL cs.LG stat.ML
Mode-Seeking Clustering and Density Ridge Estimation via Direct Estimation of Density-Derivative-Ratios
观测数据背后的概率密度函数的模和脊是有用的几何特征。模式搜索聚类通过将数据样本与最近的模式相关联来分配聚类标签,并且密度脊的估计使我们能够找到隐藏在数据中的低维结构。在模式搜索聚类和密度岭估计中的一个关键技术挑战是精确估计一阶和二阶密度导数与密度的比率。一种简单的方法采用三步方法,首先估计数据密度,然后计算其导数,最后计算它们的比率。然而,这种三步方法可能是不可靠的,因为好的密度估计器不一定意味着好的密度导数估计器,并且除以估计的密度可能显著放大估计误差。为了解决这些问题,我们提出了一种新的估计的\emph{density-derivative-ratios}。建议的估计不涉及密度估计,而是\emph{directly}近似的任何顺序的密度导数的比率。此外,我们建立了一个收敛速度的估计。基于所提出的估计器,新的方法,无论是模式搜索聚类和密度脊估计,并建立各自的收敛速度的模式和脊的基础密度。最后,我们的实验表明,开发的方法显着优于现有的方法,特别是对于相对高维的数据。
2018-03-30 stat.ML
Density Ratio Estimation and Neyman Pearson Classification with Missing Data
University of Bristol(布里斯托大学)
密度比估计(DRE)是一种重要的机器学习技术,具有许多下游应用。我们考虑了非随机缺失(MNAR)数据的DRE挑战。在这种情况下,我们表明,使用标准的DRE方法会导致有偏见的结果,而我们的建议(M-KLIEP),流行的DRE程序KLIEP的适应,恢复一致性。此外,我们提供了有限的样本估计误差界M-KLIEP,证明了极大极小最优的样本量和最坏情况下的缺失。然后,我们适应一个重要的下游应用DRE,奈曼皮尔逊(NP)分类,这个MNAR设置。我们的程序既控制第一类错误,并实现高功率,高概率。最后,我们展示了有前途的经验性能的合成数据和真实世界的数据与模拟失踪。
2023-02-21 cs.LG stat.ME stat.ML
Unified Perspective on Probability Divergence via Maximum Likelihood Density Ratio Estimation: Bridging KL-Divergence and Integral Probability Metrics
The University of Tokyo(东京大学);CyberAgent, Inc.(赛博艾金特公司);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Preferred Networks, Inc.(优选网络公司)
本文从最大似然密度比估计的角度,给出了Kullback-Leibler(KL)-散度和积分概率度量(IPM)的统一观点。KL-发散和IPM都被广泛应用于生成建模等各个领域。然而,对这些概念的统一理解尚未得到探索。在本文中,我们表明,KL-分歧和IPM可以表示为最大似然不同,只有抽样方案,并使用这个结果,以获得一个统一的形式的IPM和宽松的估计方法。为了发展的估计问题,我们构造了一个无约束的最大似然估计进行DRE与分层抽样方案。我们进一步提出了一类新的概率发散,称为密度比(DRMs),插值KL发散和IPM。除了这些发现,我们还介绍了DRM的一些应用,如DRE和生成对抗网络。在实验中,我们验证了我们提出的方法的有效性。
2022-01-31 cs.AI cs.LG stat.ML
Projection Pursuit Density Ratio Estimation
Renmin University of China(中国人民大学)
本文提出基于投影寻踪近似的密度比估计方法,以缓解高维数据下的维度灾难并保持模型灵活性,同时证明其一致性与收敛速率,实验表明该方法在多种应用中优于现有方法。
2025-06-01 cs.LG stat.ME stat.ML
EQ-Net: A Unified Deep Learning Framework for Log-Likelihood Ratio Estimation and Quantization
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在这项工作中,我们介绍了EQ-Net:第一个整体框架,它使用数据驱动的方法解决了对数似然比(LLR)估计和量化的任务。我们激励我们的方法与理论见解的两个实际的估计算法的复杂性频谱的两端,并揭示了算法的复杂性和信息瓶颈方法之间的连接:简单的算法承认较小的瓶颈时,代表他们的解决方案。这促使我们提出一个两阶段的算法,使用LLR压缩作为借口任务的估计,并专注于低延迟,高性能的实现,通过深神经网络。我们进行了广泛的实验评估和证明,我们的单一架构实现了国家的最先进的结果在这两个任务相比,以前的方法,与增益的量化效率高达$20\%$和减少估计延迟时,测量通用和图形处理单元(GPU)的$60\%$。特别是,我们的方法减少了GPU的推理延迟的两倍以上,在几个多输入多输出(MIMO)配置。最后,我们证明了我们的方案对分布偏移具有鲁棒性,并且在5G信道模型以及信道估计误差上进行评估时保留了其性能的重要部分。
2021-05-03 cs.LG eess.SP stat.ML
Training Neural Networks for Likelihood/Density Ratio Estimation
University of Patras(帕特雷大学);Rutgers University(罗格斯大学)
工程和统计学中的各种问题需要计算两个概率密度的似然比函数。在经典方法中,假设这两个密度是已知的或属于某个已知的参数族。在数据驱动的版本中,我们将此要求替换为从感兴趣的密度中采样的数据的可用性。对于检测和假设检验中最著名的问题,我们通过提供基于神经网络的似然比或其变换的估计来开发解决方案。这项任务需要定义适当的优化,可以用于网络的训练。这项工作的主要目的是提供一个简单而统一的方法来定义这样的优化问题,保证解决方案确实是所需的功能。我们的研究结果扩展到覆盖估计的似然比的条件密度和估计的统计中遇到的本地方法。
2019-11-05 cs.LG eess.SP stat.ML
A Causally Formulated Hazard Ratio Estimation through Backdoor Adjustment on Structural Causal Model
Marquette University(马凯特大学);Purdue University(普渡大学)
确定治疗干预的因果关系是健康科学中的一个基本问题。随机对照试验(RCT)被认为是确定因果关系的金标准。然而,最近的进展,因果推断理论的基础上的结构因果模型(SCM)的基础上,允许识别因果关系的观测数据,在一定的假设。生存分析提供了标准的测量方法,如风险比,以量化干预的效果。虽然风险比广泛用于RCT的临床和流行病学研究,但不存在计算SCM观察性研究的风险比的原则性方法。在这项工作中,我们回顾现有的方法来计算风险比以及它们的因果解释,如果它存在。我们还提出了一种新的方法来计算风险比的观察性研究使用后门调整通过SCM和do-calculus。最后,我们评估的方法,尤文氏肉瘤的实验数据。
2020-06-22 cs.LG stat.ME stat.ML
Arbitrary Marginal Neural Ratio Estimation for Simulation-based Inference
University of Liège(列日大学)
在许多科学领域,复杂的现象是由随机参数模拟器建模的,通常具有高维参数空间和难以处理的可能性。在这种情况下,执行贝叶斯推理可能具有挑战性。在这项工作中,我们提出了一种新的方法,使摊销推断的任意子集的参数,而不诉诸数值积分,这使得解释后更方便。我们的方法是有效的,可以实现与任意神经网络架构。我们证明了该方法的适用性的参数推断的双黑洞系统的引力波观测。
2021-11-09 astro-ph.IM cs.LG stat.ML
Constructive Setting of the Density Ratio Estimation Problem and its Rigorous Solution
我们介绍了一个一般建设性的设置密度比估计问题的解决方案(多维)积分方程。在这个方程中,不仅近似地知道它的右端,而且近似地定义了积分算子。我们证明了这个不适定问题有严格的解,并得到了封闭形式的解。该解决方案的关键元素是新颖的V矩阵,它捕获了所观察样品的几何形状。我们比较我们的方法与三个著名的先前提出的。我们的实验结果证明了新方法的良好潜力。
2013-06-15 stat.ML
f-divergence estimation and two-sample homogeneity test under semiparametric density-ratio models
密度比由两个概率密度的比定义。研究了密度比的推断问题,并将半参数密度比估计应用于两样本齐性检验。在建议的测试程序中,两个概率密度之间的f-发散估计使用密度比估计。然后利用f-散度估计进行双样本齐性检验。在渐近方差意义下,我们得到了f-散度的最优估计,并研究了所提出的检验方法与现有的基于经验似然估计的score检验方法之间的关系.通过数值研究,我们说明了有限样本推理的渐近理论的充分性。
2010-10-24 stat.ML
Batch Bayesian optimisation via density-ratio estimation with guarantees
the University of Sydney(悉尼大学);NVIDIA(英伟达)
贝叶斯优化(BO)算法在涉及昂贵的黑盒函数的应用中取得了显着的成功。传统上,BO被设置为一个顺序决策过程,该过程通过获取函数和先验函数(如高斯过程)来估计查询点的效用。然而,最近,通过密度比估计(BORE)重新制定BO允许重新解释的采集功能作为一个概率的二元分类器,消除了需要一个明确的先验函数和增加可扩展性。在本文中,我们提出了一个理论分析孔的遗憾和改进的不确定性估计算法的扩展。我们还表明,孔可以自然地扩展到一个批量优化设置,通过重铸的问题近似贝叶斯推理。由此产生的算法配备了理论性能保证,并在一系列实验中对其他批次和顺序BO基线进行评估。
2022-10-22 cs.AI cs.LG stat.ML
Riesz Regression As Direct Density Ratio Estimation
本文阐明了里斯Z回归与因果推断中密度比估计的关系,证明了里斯回归与重要性拟合准则等价,为密度比估计提供了新方法。
2026-03-24 cs.LG econ.EM math.ST
Direct Amortized Likelihood Ratio Estimation
SRI International(SRI国际公司)
本文提出直接神经比率估计器(DNRE),通过单次前向传播直接估计似然比,优于先前方法,并引入导数估计器比较HMC与MH,应用于四旋翼设计。
2023-11-17 cs.LG stat.CO stat.ML
Double Debiased Covariate Shift Adaptation Robust to Density-Ratio Estimation
Mizuho-DL Financial Technology Co., Ltd.(瑞穗DL金融科技有限公司);Nagoya University Graduate School of Medicine(名古屋大学医学部)
针对协变量偏移下重要性加权依赖密度比估计并引入偏差的问题,提出结合回归函数与 double machine learning 的双重稳健估计量,证明其渐近性质与一致性,并通过模拟验证有效性。
2024-10-26 cs.LG econ.EM stat.ME
Direct Learning of Sparse Changes in Markov Networks by Density Ratio Estimation
我们提出了一种新的方法来检测两组样本之间的马尔可夫网络结构的变化。\emph{directly}不是简单地将两个马尔可夫网络模型分别拟合到两个数据集并找出它们的差异,而是通过估计马尔可夫网络模型的比率来学习网络结构的变化。这种密度比公式自然允许我们在网络结构变化中引入稀疏性,这有助于增强可解释性。此外,计算的归一化项,这是一个关键的瓶颈的朴素的方法,可以显着减轻。我们还给出了优化问题的对偶形式,这进一步降低了大规模马尔可夫网络的计算成本。通过实验,我们证明了我们的方法的实用性。
2014-01-01 stat.ML
Nearest Neighbor Matching as Least Squares Density Ratio Estimation and Riesz Regression
本研究证明最近邻匹配是自动去偏机器学习中Riesz回归的实例,先验证Lin等(2023)的密度比估计法等价于LSIF,再基于LSIF推导Riesz回归,最终从Riesz回归推导出最近邻匹配。
2025-10-28 cs.LG econ.EM math.ST
Amortised Likelihood-free Inference for Expensive Time-series Simulators with Signatured Ratio Estimation
University of Oxford(牛津大学);Improbable(Improbable公司);Durham University(杜伦大学)
在自然科学和社会科学中,复杂动力学的仿真模型通常缺乏易于处理的似然函数,使得传统的基于似然的统计推断变得不可能。机器学习的最新进展已经引入了新的算法,用于使用基于二进制分类器的似然比技巧来估计否则难以处理的似然函数。因此,有效的似然近似可以获得良好的概率分类器,可以构建。我们提出了一个核分类器的顺序数据使用路径签名的基础上最近推出的签名内核。我们证明了签名的代表性力量产生了一个高性能的分类器,即使在至关重要的情况下,样本数很低。在这种情况下,我们的方法可以优于复杂的神经网络常见的后验推理任务。
2022-02-23 cs.LG stat.CO stat.ME
Relative Density-Ratio Estimation for Robust Distribution Comparison
基于密度比的直接近似而不经过分子和分母密度的单独近似的发散估计已经成功地应用于涉及分布比较的机器学习任务,如离群值检测、迁移学习和两样本同质性检验。然而,由于密度比函数往往具有很大的波动性,在实际应用中,发散度的估计仍然是一个具有挑战性的任务。在本文中,我们建议使用相对分歧的分布比较,这涉及到相对密度比的近似。由于相对密度比总是比相应的普通密度比更平滑,我们提出的方法在非参数收敛速度方面是有利的。此外,我们表明,所提出的发散估计具有渐近方差独立的模型的复杂性下的参数设置,这意味着所提出的估计很难过拟合,即使与复杂的模型。通过实验,我们证明了所提出的方法的实用性。
2011-06-23 math.ST stat.ME stat.ML
Condition Number Analysis of Kernel-based Density Ratio Estimation
两个概率密度的比率可以用于解决各种机器学习任务,例如协变量移位自适应(重要性抽样),离群值检测(似然比检验)和特征选择(互信息)。最近,已经开发了几种直接估计密度比的方法,例如,核均值匹配、极大似然密度比估计和最小二乘密度比拟合。在本文中,我们考虑一个核化的最小二乘方法的变体,并从条件数的角度使用平滑分析技术研究其理论性质--Hessian矩阵的条件数决定了优化的收敛速度和数值稳定性。我们表明,核最小二乘方法有一个更小的条件数比核均值匹配和其他M-估计的版本,这意味着核最小二乘方法具有更好的数值特性。我们进一步给出了另一种形式的核最小二乘估计,这是具有更小的条件数。我们表明,数值研究符合我们的理论分析。
2009-12-15 math.ST stat.ML stat.TH
Orthogonal Series Estimation for the Ratio of Conditional Expectation Functions
在数据科学的各个领域,研究人员经常对估计条件期望函数(CEFR)的比率感兴趣。特别是在因果推断问题中,有时考虑基于比率的处理效应是很自然的,例如比值比和风险比,甚至基于差异的处理效应在一些经验相关的设置中被识别为CEFR。本章开发了CEFR的估计和推理的一般框架,它允许使用灵活的机器学习无限维干扰参数。在该框架的第一阶段中,使用去偏机器学习技术构造正交信号,以减轻滋扰估计中的正则化偏差对目标估计的负面影响。然后,将信号与针对CEFR定制的新型系列估计器相结合。我们推导出点态和一致的渐近结果CEFR的估计和推断,包括高斯引导的有效性,并提供低级别的充分条件,适用于一些具体的例子所提出的框架。我们证明了有限样本的性能的系列估计所提出的框架下,通过数值模拟。最后,我们应用所提出的方法来估计401(k)计划对家庭资产的因果影响。
2022-12-26 econ.EM stat.ME stat.ML