Robust and Sparse Estimation of Unbounded Density Ratio under Heavy Contamination
Panasonic Holdings Corporation(松下电器控股公司);The Institute of Statistical Mathematics(统计数学研究所);The Graduate University for Advanced Studies (SOKENDAI)(高级研究大学(SOKENDAI))
本文提出了一种在重污染环境下实现鲁棒且稀疏估计无界密度比的方法,通过非渐近框架分析解决了密度比估计和鲁棒估计中的关键挑战。
2025-12-10 cs.LG stat.ML
Featurized Density Ratio Estimation
Stanford University(斯坦福大学)
密度比估计是无监督机器学习工具箱中的一项重要技术。然而,这样的比率是难以估计的复杂,高维数据,特别是当感兴趣的密度是足够的不同。在我们的工作中,我们建议利用一个可逆的生成模型来将这两个分布映射到一个共同的特征空间,然后进行估计。这种特征化使潜在空间中的密度更接近,避开了病态的情况,在这种情况下,输入空间中的学习密度比可能任意不准确。同时,我们的特征映射的可逆性保证了在特征空间中计算的比率与在输入空间中计算的比率是等价的。从经验上讲,我们证明了我们的方法在各种下游任务中的有效性,这些任务需要获得准确的密度比,例如互信息估计,深度生成模型中的目标采样以及数据增强分类。
2021-07-05 cs.LG stat.ML
Overcoming Saturation in Density Ratio Estimation by Iterated Regularization
ELLIS Unit Linz(ELLIS林茨单元);LIT AI Lab(LIT人工智能实验室);Institute for Machine Learning, Johannes Kepler University Linz(约翰内斯·开普勒大学林茨分校机器学习研究所);NXAI GmbH(NXAI有限公司);Johann Radon Institute for Computational and Applied Mathematics, Austrian Academy of Sciences(奥地利科学院约翰·拉东计算与应用数学研究所)
本文针对核方法在密度比估计中的误差饱和问题,提出迭代正则化方法以实现快速误差收敛率,并在基准测试和大规模深度域适应评估中优于非迭代版本。
2024-06-03 cs.LG stat.ML
Learning under Target Shift: Optimal Density Ratio Estimation and Importance-Weighted Regression
School of Mathematical Sciences, Zhejiang University(浙江大学数学科学学院)
针对连续输出目标偏移问题,提出RKHS谱正则化密度比估计方法,达到极小极大最优速率,并分析其在重要性加权回归中的误差传播,建立有限样本理论。
2026-09-15 cs.LG stat.ML
Unbounded Density Ratio Estimation and Its Application to Covariate Shift Adaptation
School of Mathematical Sciences, Zhejiang University(浙江大学数学科学学院);Department of Mathematics, Hong Kong Baptist University(香港浸会大学数学系)
本文研究无界密度比估计及其在协变量移位适应中的应用,提出三步估计方法,通过截断操作控制无界性,并建立非渐近收敛性保证。
2026-03-31 cs.LG stat.ML
Posterior Ratio Estimation of Latent Variables
University of Bristol(布里斯托大学)
密度比估计由于其比较两个数据集的底层分布的能力而引起了机器学习社区的关注。然而,在某些应用中,我们希望比较来自观测值的\emph{inferred}随机变量的分布。本文研究潜变量的两个后验概率密度函数之比的估计问题。特别是,我们假设后验比函数可以很好地近似的参数模型,然后估计使用观察到的信息和先验样本。证明了当先验样本数趋于无穷大时,估计量的相合性和估计参数的渐近正态性。最后,我们使用数值实验验证我们的理论,并通过一些实际应用证明了所提出的方法的实用性。
2020-06-25 cs.LG stat.ML
Online Centralized Non-parametric Change-point Detection via Graph-based Likelihood-ratio Estimation
Centre Borelli, ENS Paris-Saclay, Université Paris-Saclay(巴黎萨克雷大学巴黎萨克雷高等师范学院博雷利中心)
考虑图中的每个节点都要生成一个数据流,该数据流是同步的,并且可以近实时地观察到。在变化点$τ$,在节点$C$的子集处发生变化,这影响其相关联的节点流的概率分布。在本文中,我们提出了一种新的基于核的方法来检测$τ$和本地化$C$,基于直接估计的似然比之间的变化和变化前的节点流的分布。我们的主要工作假设是图上的似然比估计的平滑性,即期望连接的节点具有相似的似然比。所提出的方法的质量证明了广泛的实验合成的情况下。
2023-01-12 cs.LG stat.ML
BORE: Bayesian Optimization by Density-Ratio Estimation
University of Sydney(悉尼大学);CSIRO’s Data61(联邦科学与工业研究组织Data61);Amazon(亚马逊);NVIDIA(英伟达)
贝叶斯优化(BO)是最有效和最广泛使用的黑盒优化方法之一。BO提出的解决方案,根据探索利用权衡标准编码的采集功能,其中许多是计算从后验预测的概率代理模型。其中普遍存在的是预期改善(EI)功能。确保预测的分析易处理性的需求通常会带来限制,这些限制可能会阻碍BO的效率和适用性。在本文中,我们投EI的计算作为一个二元分类问题,建立在类概率估计和密度比估计之间的联系,以及密度比和EI之间的鲜为人知的联系。通过规避易处理性约束,这种重构提供了许多优点,尤其是在表达性、多功能性和可伸缩性方面。
2021-02-17 cs.LG stat.ML
Analysis of KNN Density Estimation
University of California, Davis(加利福尼亚大学戴维斯分校)
分析了k近邻密度估计方法的$\ell_1$和$\ell_\infty$收敛速度。我们的分析包括两种不同的情况下,这取决于支持集是否有界或没有。在第一种情况下,概率密度函数有一个有界的支持,并有界远离零。我们证明了,如果支持集是已知的,那么在$\ell_1$和$\ell_\infty$准则下,kNN密度估计都是极小极大最优的。如果支持集未知,则$\ell_1$误差的收敛速度不受影响,而$\ell_\infty$误差不收敛。在第二种情况下,概率密度函数可以接近零并且到处都是光滑的。此外,海森假设衰减的密度值。对于这种情况,我们的结果表明,$\ell_\infty$误差的kNN密度估计是近极小极大最优。$\ell_1$的误差没有达到极大极小下界,但优于核密度估计。
2020-09-30 cs.LG stat.ML
A Triangular Network For Density Estimation
我们报告了一个三角形神经网络实现的神经自回归流(NAF)。与许多通用的自回归密度模型不同,我们的设计是高度模块化的,参数经济,计算效率高,适用于高维度数据的密度估计。它实现了最先进的每维比特指数MNIST和CIFAR-10(约1.1和3.7,分别)的类别中的通用密度估计。
2020-05-28 cs.LG stat.ML
Generalization of Change-Point Detection in Time Series Data Based on Direct Density Ratio Estimation
National Research University Higher School of Economics(国立研究型大学高等经济学院)
变点检测的目的是发现时间序列分布的变化。变点检测的现有技术方法之一是基于直接密度比估计。在这项工作中,我们将展示如何现有的算法可以推广使用各种二进制分类和回归模型。特别是,我们表明,梯度提升决策树和神经网络可以用于此目的。该算法在几个合成和真实世界的数据集上进行了测试。实验结果表明,该方法优于经典的RuLSIF算法.讨论的情况下,所提出的算法比现有的方法具有优势。
2020-01-17 cs.LG stat.ML
Best-scored Random Forest Density Estimation
Renmin University of China(中国人民大学)
本文提出了一种新的非参数密度估计策略,称为最佳得分随机森林密度估计,其有效性得到了坚实的理论分析和显著的实验性能的支持。术语最佳得分代表从一定数量的纯随机密度树候选中选择一个具有最佳估计性能的密度树,然后我们将所选的密度树命名为最佳得分随机密度树。以这种方式,作为最佳评分随机密度森林的这些选择的树的集合可以实现比简单地集成树而没有选择更好的估计结果。从理论上讲,通过将误差项分解为两个,我们能够进行以下分析:首先,我们建立了$L_1$ -范数下的最佳得分随机密度树的一致性。其次,在三种不同的尾部假设下,分别给出了它们在$L_1$ -范数下的收敛速度。第三,给出了在$L_{\infty}$ -范数下的收敛速度。最后,我们还实现了上述最佳得分随机密度森林的收敛率分析。在模拟数据集和真实数据集上与其他最先进的密度估计方法进行对比实验,结果表明,该算法不仅在估计精度方面优于其他方法,而且具有更强的抗维数灾难能力。
2019-05-09 cs.LG stat.ML
Low-rank Characteristic Tensor Density Estimation Part II: Compression and Latent Density Estimation
University of Virginia(弗吉尼亚大学);University of Minnesota(明尼苏达大学);Amazon(亚马逊)
生成概率模型的学习是机器学习的核心问题,由于维数灾难的存在,使得生成概率模型的学习面临着巨大的挑战。本文提出了一种联合降维和非参数密度估计框架,使用一种新的估计,可以显式地捕捉潜在的分布适当的降维表示的输入数据。其思想是联合设计一个非线性降维自动编码器,根据一组简约的潜在随机变量对训练数据进行建模,并学习傅立叶域中潜在变量的联合分布的规范低秩张量模型。所提出的潜在密度模型是非参数的和通用的,而不是预定义的前,假设在变分自动编码器。联合优化的自动编码器和潜在的密度估计追求通过制定学习的负对数似然在潜在域和自动编码器重建损失的组合最小化。我们证明了该模型在玩具,表格和图像数据集上回归任务,采样和异常检测方面取得了非常有前途的结果。
2021-06-20 cs.LG stat.ML
Deep Learning Based Residuals in Non-linear Factor Models: Precision Matrix Estimation of Returns with Low Signal-to-Noise Ratio
North Carolina State University(北卡罗来纳州立大学);ETH Zürich(苏黎世联邦理工学院);KOF Swiss Economic Institute(KOF瑞士经济研究所)
本文提出一种基于深度学习非线性因子模型的资产收益精度矩阵一致估计方法,在低信噪比和弱因子环境下依然有效,并通过理论界限与模拟实证验证其优越准确性。
2023-08-29 cs.LG stat.ML
Binary Losses for Density Ratio Estimation
ELLIS Unit Linz(林茨ELLIS单元);LIT AI Lab(林茨人工智能实验室)
本文针对密度比估计中二分类损失函数选择问题,基于 Bregman 散度刻画了能产生小误差估计器的损失函数,并提出可优先估计大密度比值的新型损失函数,在 484 个任务中提升了 11 种深度域适应算法的性能。
2025-01-27 cs.LG stat.ML
Deep density ratio estimation for change point detection
Rensselaer Polytechnic Institute(伦斯勒理工学院);Mount Sinai Hospital(西奈山医院)
在这项工作中,我们提出了新的目标函数,训练深度神经网络为基础的密度比估计,并将其应用到一个变化点检测问题。现有的方法使用核的线性组合来近似密度比函数,通过求解凸约束最小化问题。使用深度神经网络来近似密度比函数需要定义合适的目标函数以进行优化。我们制定和比较目标函数,可以使用梯度下降,并表明该网络可以有效地学习近似密度比函数。使用我们的深度密度比估计目标函数在癫痫发作检测任务上比其他(基于内核和神经网络的)密度比估计方法和其他基于窗口的变化点检测算法具有更好的性能。我们还表明,该方法仍然可以支持其他神经网络架构,如卷积网络。
2019-05-23 cs.AI cs.LG stat.ML
Noise Contrastive Meta-Learning for Conditional Density Estimation using Kernel Mean Embeddings
University of Oxford(牛津大学)
当前的元学习方法专注于学习变量之间关系的函数表示,即在回归中估计条件期望。然而,在许多应用中,我们面临着条件分布,它不能仅仅用期望值来有意义地概括(由于多模态等原因)。因此,我们考虑元学习环境中的条件密度估计问题。我们引入了一种新的元学习技术,它结合了神经表示和噪声对比估计与再生核希尔伯特空间的条件均值嵌入的既定文献。该方法在合成和现实世界的问题上进行了验证,展示了在多个条件密度估计任务中共享学习表示的实用性。
2021-02-23 cs.LG stat.ML
Interpretable Mixture Density Estimation by use of Differentiable Tree-module
Mobility Technologies Co., Ltd.(Mobility Technologies 有限公司)
为了使用机器学习开发可靠的服务,了解模型输出的不确定性非常重要。预测目标遵循的概率分布通常具有复杂的形状,并且混合分布被假定为不确定性遵循的分布。由于混合密度估计的输出是复杂的,当考虑其在实际服务中的使用时,其可解释性变得重要。在本文中,我们提出了一种混合密度估计的方法,利用可解释的树结构。此外,基于时不变信息缓存的快速推理过程实现了高速和可解释性。
2021-05-08 cs.LG stat.ML
Masked Autoregressive Flow for Density Estimation
University of Edinburgh(爱丁堡大学)
自回归模型是性能最好的神经密度估计器之一。我们描述了一种增加自回归模型灵活性的方法,该方法基于对模型在生成数据时内部使用的随机数进行建模。通过构建一堆自回归模型,每个模型对堆栈中下一个模型的随机数进行建模,我们获得了一种适合于密度估计的标准化流,我们称之为掩蔽自回归流。这种类型的流与逆自回归流密切相关,是实NVP的推广。Masked Autoregressive Flow在一系列通用密度估计任务中实现了最先进的性能。
2018-06-14 cs.LG stat.ML
New Machine Learning Techniques for Simulation-Based Inference: InferoStatic Nets, Kernel Score Estimation, and Kernel Likelihood Ratio Estimation
University of Kansas(堪萨斯大学);University of Florida(佛罗里达大学);Fermi National Accelerator Laboratory(费米国家加速器实验室)
我们提出了一个直观的,机器学习的方法,多参数推理,被称为InferoStatic网络(ISN)的方法,建模的得分和似然比估计的情况下,概率密度可以采样,但不能直接计算。ISN使用后端神经网络,该后端神经网络对称为下静电位$φ$的标量函数进行建模。此外,我们引入了新的策略,分别称为核得分估计(KSE)和核似然比估计(KLRE),从模拟数据中学习得分和似然比函数。我们说明了一些玩具的例子,并与现有的方法在文献中的新技术。我们顺便提到了一些新的损失函数,它们将模拟中的潜在信息最佳地结合到训练过程中。
2023-02-03 cs.LG hep-ex hep-ph
Quantum Adaptive Fourier Features for Neural Density Estimation
MindLab(思维实验室);Universidad Nacional de Colombia(哥伦比亚国立大学)
密度估计是统计学和机器学习应用中的基本任务。核密度估计是低维非参数密度估计的有力工具,但在高维情况下性能较差。此外,其预测复杂度与更多的训练数据点成线性比例。本文提出了一种神经密度估计方法,该方法可以看作是核密度估计的一种,但没有高的预测计算复杂性。该方法是基于密度矩阵,在量子力学中使用的形式主义,和自适应傅立叶特征。该方法可以在没有优化的情况下进行训练,但它也可以与深度学习架构集成,并使用梯度下降进行训练。因此,它可以被看作是一种神经密度估计方法。该方法在不同的合成和真实数据集上进行了评估,并将其性能与最先进的神经密度估计方法进行了比较,获得了有竞争力的结果。
2022-08-04 cs.LG quant-ph stat.ML
Change-Point Detection in Time-Series Data by Relative Density-Ratio Estimation
Tokyo Institute of Technology(东京工业大学);NTT Communication Science Laboratories(NTT通信科学实验室);National Institute of Informatics (NII)(国立信息学研究所);European Bioinformatics Institute (EBI)(欧洲生物信息研究所)
变点检测的目的是发现隐藏在时间序列数据背后的属性突变。在本文中,我们提出了一种新的统计变点检测算法的基础上非参数的分歧估计之间的时间序列样本从两个回顾段。我们的方法使用相对皮尔逊散度作为散度度量,它是准确和有效的估计方法的直接密度比估计。通过对人工和真实世界的数据集,包括人类活动传感,语音和Twitter消息的实验,我们证明了所提出的方法的实用性。
2013-01-16 cs.LG stat.ME stat.ML
Neural Quasiprobabilistic Likelihood Ratio Estimation with Negatively Weighted Data
Data Science Institute, University of Wisconsin-Madison(威斯康星大学麦迪逊分校数据科学研究所);Physics Department, University of Wisconsin–Madison(威斯康星大学麦迪逊分校物理系)
针对高能粒子物理中负密度和负权重带来的挑战,提出一种新颖损失函数和基于符号混合模型的架构,实现了准概率设定下的神经似然比估计。
2024-10-14 cs.LG hep-ex stat.ML
Out-of-Distribution Detection with Class Ratio Estimation
University College London(伦敦大学学院);University of Cambridge(剑桥大学);University of Tübingen(图宾根大学);IMPRS-IS(国际马克斯·普朗克智能系统研究学院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
基于密度的分布外(OOD)检测最近已被证明是不可靠的检测OOD图像的任务。各种基于密度比的方法实现了良好的经验性能,但是方法通常缺乏原则性的概率建模解释。在这项工作中,我们提出了一个新的框架下,建立基于能量的模型,并采用不同的基础分布统一的密度比为基础的方法。在我们的框架下,密度比可以被看作是一个隐含的语义分布的未规范化的密度。此外,我们建议通过类比估计直接估计数据样本的密度比。与最近的工作相比,我们报告了OOD图像问题的竞争结果,这些工作需要为任务训练深度生成模型。我们的方法使一个简单而有效的路径解决OOD检测问题。
2022-06-08 cs.CV cs.LG stat.ML
Quasiprobabilistic Density Ratio Estimation with a Reverse Engineered Classification Loss Function
Physics Department, New York University(纽约大学物理系);Physics Department, University of Wisconsin--Madison(威斯康星大学麦迪逊分校物理系);Data Science Institute, University of Wisconsin--Madison(威斯康星大学麦迪逊分校数据科学研究院)
本文提出了一种适用于准概率密度比估计的凸损失函数,并通过粒子物理中的双希格斯生产实验实现了最先进的结果。
2025-12-22 cs.LG hep-ex stat.ML
A Comprehensive Evaluation of the Sensitivity of Density-Ratio Estimation Based Fairness Measurement in Regression
本文针对回归任务中基于密度比估计的公平性度量方法,开发了不同密度比估计核心的度量方法,通过实验发现核心选择会显著影响结果甚至导致相对公平性评估不一致,揭示该类方法存在可靠性问题并需进一步研究。
2025-08-20 cs.LG
Flow-Based Density Ratio Estimation for Intractable Distributions with Applications in Genomics
ETH Zurich(苏黎世联邦理工学院);University of Cambridge(剑桥大学);Max Planck Institute for Informatics(马克斯·普朗克信息研究所)
提出利用条件感知流匹配推导单一动力学公式,沿生成轨迹追踪密度比,以高效估计难解分布间的密度比,并在单细胞基因组学数据分析中展示竞争力。
2026-05-30 cs.LG
Improving Maximum Likelihood Training for Text Generation with Density Ratio Estimation
极大似然估计训练的自回归序列生成模型在实际有限样本情况下存在暴露偏差问题。问题的关键在于极大似然估计的训练样本数通常是有限的,而且在训练和推理阶段输入数据的分布是不同的。已经提出了许多方法来解决上述问题(Yu等人,2017; Lu等人,2018年),它依赖于非平稳模型分布的采样,并遭受高方差或有偏估计。在本文中,我们提出了一种新的自回归序列生成模型的训练方案,它是有效的和稳定的,当运行在文本生成中遇到的大样本空间。我们得到我们的算法从一个新的角度来看,自我增强和密度比估计引入偏差校正。在合成数据和真实文本生成任务上的大量实验结果表明,我们的方法在质量和多样性方面稳定地优于极大似然估计和其他最先进的序列生成模型。
2020-07-12 cs.CL cs.LG stat.ML
MCD: Marginal Contrastive Discrimination for conditional density estimation
MCD通过将条件密度分解为边缘密度和密度比,利用二分类技术提升条件密度估计的性能。
2026-01-02 cs.LG stat.ME stat.ML
Robust Kernel Density Estimation
University of Michigan(密歇根大学)
我们提出了一种非参数密度估计的方法,表现出鲁棒性的污染的训练样本。该方法通过将传统的核密度估计器(KDE)与经典的$M$估计的思想相结合来实现鲁棒性。我们解释的KDE的基础上的径向,半正定内核作为一个样本均值在相关的再生核希尔伯特空间。由于样本均值对异常值敏感,我们通过$M$ -估计对其进行鲁棒估计,得到鲁棒核密度估计(RKDE)。一个RKDE可以有效地计算通过内核化迭代重加权最小二乘(IRWLS)算法。给出了核化IRWLS收敛于$M$ -估计目标函数全局极小的充要条件。RKDE的鲁棒性证明了一个代表定理,影响函数,密度估计和异常检测的实验结果。
2011-09-06 cs.LG stat.ME stat.ML
Density Ratio Estimation and Neyman Pearson Classification with Missing Data
University of Bristol(布里斯托大学)
密度比估计(DRE)是一种重要的机器学习技术,具有许多下游应用。我们考虑了非随机缺失(MNAR)数据的DRE挑战。在这种情况下,我们表明,使用标准的DRE方法会导致有偏见的结果,而我们的建议(M-KLIEP),流行的DRE程序KLIEP的适应,恢复一致性。此外,我们提供了有限的样本估计误差界M-KLIEP,证明了极大极小最优的样本量和最坏情况下的缺失。然后,我们适应一个重要的下游应用DRE,奈曼皮尔逊(NP)分类,这个MNAR设置。我们的程序既控制第一类错误,并实现高功率,高概率。最后,我们展示了有前途的经验性能的合成数据和真实世界的数据与模拟失踪。
2023-02-21 cs.LG stat.ME stat.ML
Tensor-Train Density Estimation
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究所)
从样本中估计概率密度函数是统计学和机器学习的核心问题之一。基于现代神经网络的模型可以学习高维分布,但在超参数选择方面存在问题,并且在训练和推理过程中往往容易出现不稳定性。我们提出了一种新的有效的基于张量训练的密度估计模型(TTDE)。这样的密度参数化允许精确采样,计算累积和边缘密度函数,以及配分函数。它也有非常直观的超参数。我们开发了一个有效的非对抗性训练过程TTDE的基础上黎曼优化。实验结果表明,所提出的方法在密度估计和采样任务的竞争性能,而TTDE显着优于竞争对手的训练速度。
2022-02-25 cs.AI cs.LG stat.ML
Density Ratio Estimation with Conditional Probability Paths
University of Helsinki, Finland(赫尔辛基大学)
针对高维密度比估计中现有时间得分估计方法计算成本高、精度不足的问题,提出基于条件变量的新型框架,可得到闭式目标,实现更快学习与更优或相当的估计精度,并提供误差理论保证。
2025-06-12 cs.LG
Nonparametric Density Estimation for High-Dimensional Data - Algorithms and Applications
Rice University(莱斯大学)
密度估计是统计学的核心领域之一,其目的是估计观测数据背后的概率密度函数。它是统计推断、可视化和机器学习中许多任务的构建块。密度估计在无监督学习领域中被广泛应用,特别是在聚类分析中。随着大数据在数据科学的几乎每个领域都变得普遍,分析具有许多特征和变量的高维数据似乎是学术界和工业界的主要焦点。高维数据不仅从统计推断的理论方面提出了挑战,而且从机器学习和数据分析的算法/计算考虑也提出了挑战。本文回顾了一系列选定的非参数密度估计算法的高维数据,其中一些是最近发表的,并提供有趣的数学见解。本文还介绍了非参数密度估计的重要应用领域,如{模态聚类}。最后提出了与密度估计和高维数据分析相关的几个研究方向。
2019-03-30 cs.LG stat.CO stat.ML
Non-Negative Bregman Divergence Minimization for Deep Direct Density Ratio Estimation
CyberAgent, Inc.(赛博代理公司);The University of Tokyo(东京大学)
密度比估计(DRE)是异常检测和领域自适应等各种机器学习任务的核心。在现有的DRE研究中,基于Bregman散度(BD)最小化的方法得到了广泛的研究。然而,当BD最小化应用于高度灵活的模型(如深度神经网络)时,往往会遭受我们所说的训练损失黑客攻击,这是由经验BD估计量的典型特征引起的过拟合的来源。在本文中,为了减轻列车损失黑客攻击,我们提出了一个非负校正的经验BD估计。理论上,我们通过一个泛化误差界证实了所提出方法的合理性。通过实验,我们提出的方法表现出良好的性能,在基于内点的离群点检测。
2021-07-17 cs.CV cs.LG stat.ML
Riesz Regression As Direct Density Ratio Estimation
本文阐明了里斯Z回归与因果推断中密度比估计的关系,证明了里斯回归与重要性拟合准则等价,为密度比估计提供了新方法。
2026-03-24 cs.LG econ.EM math.ST
TAKDE: Temporal Adaptive Kernel Density Estimator for Real-Time Dynamic Density Estimation
Northeastern University(东北大学);Texas A&M University(德克萨斯A&M大学)
本文提出时间自适应核密度估计器(TAKDE),基于滑动窗口核密度估计的AMISE上界进行理论优化,在合成和真实数据上以更小运行时间获得更优测试对数似然。
2023-11-08 cs.LG eess.SP stat.ML
Unified Perspective on Probability Divergence via Maximum Likelihood Density Ratio Estimation: Bridging KL-Divergence and Integral Probability Metrics
The University of Tokyo(东京大学);CyberAgent, Inc.(赛博艾金特公司);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Preferred Networks, Inc.(优选网络公司)
本文从最大似然密度比估计的角度,给出了Kullback-Leibler(KL)-散度和积分概率度量(IPM)的统一观点。KL-发散和IPM都被广泛应用于生成建模等各个领域。然而,对这些概念的统一理解尚未得到探索。在本文中,我们表明,KL-分歧和IPM可以表示为最大似然不同,只有抽样方案,并使用这个结果,以获得一个统一的形式的IPM和宽松的估计方法。为了发展的估计问题,我们构造了一个无约束的最大似然估计进行DRE与分层抽样方案。我们进一步提出了一类新的概率发散,称为密度比(DRMs),插值KL发散和IPM。除了这些发现,我们还介绍了DRM的一些应用,如DRE和生成对抗网络。在实验中,我们验证了我们提出的方法的有效性。
2022-01-31 cs.AI cs.LG stat.ML
The Power of Log-Sum-Exp: Sequential Density Ratio Matrix Estimation for Speed-Accuracy Optimization
NEC Corporation(日本电气股份有限公司)
我们提出了一个多类分类的时间序列模型,使预测尽可能早,尽可能准确。矩阵序贯概率比检验(MSPRT)被认为是这种情况下的渐近最优检验,但它包含一个关键假设,这阻碍了广泛的实际应用; MSPRT需要潜在的概率密度。为了解决这个问题,我们提出解决密度比矩阵估计(DRME),一种新型的密度比估计,包括估计矩阵的多个密度比的约束,因此比传统的密度比估计更具挑战性。我们提出了一个对数和指数型损失函数(LSEL)解决DRME,并证明了以下几点:(i)LSEL提供了真实的密度比矩阵作为训练集的样本大小增加(一致性);(ii)它分配更大的梯度更硬的类(硬类加权效应);(iii)它甚至提供了分类不平衡的数据集(猜测厌恶)的区别性得分。我们用于早期分类的整体架构MSPRT-TANDEM在统计上显著优于包括动作识别在内的四个数据集的基线模型,特别是在顺序观察的早期阶段。我们的代码和数据集可在https://github.com/TaikiMiyagawa/MSPRT-TANDEM上公开获取。
2021-05-31 cs.LG
Projection Pursuit Density Ratio Estimation
Renmin University of China(中国人民大学)
本文提出基于投影寻踪近似的密度比估计方法,以缓解高维数据下的维度灾难并保持模型灵活性,同时证明其一致性与收敛速率,实验表明该方法在多种应用中优于现有方法。
2025-06-01 cs.LG stat.ME stat.ML
Copula Density Neural Estimation
University of Klagenfurt - Institute of Networked and Embedded Systems(克雷根弗大学-网络与嵌入式系统研究所)
本文提出基于神经网络的CODINE方法,用于估计观测数据的copula密度以描述变量依赖关系,实验证明其能建模复杂分布,并适用于互信息估计和数据生成。
2025-07-08 cs.LG eess.SP stat.ML
Variable Skipping for Autoregressive Range Density Estimation
UC Berkeley(加州大学伯克利分校)
深度自回归模型计算单个数据点的点似然估计。然而,许多应用(即,数据库基数估计)需要估计范围密度,这是当前神经密度估计文献未充分探索的能力。在这些应用中,对高维数据的快速准确的范围密度估计直接影响用户感知的性能。在本文中,我们探讨了一种技术,变量跳跃,用于加速深度自回归模型的范围密度估计。该技术利用范围密度查询的稀疏结构,以避免在近似推理过程中采样不必要的变量。我们表明,变量跳过提供10-100 $\times$效率提高时,针对具有挑战性的高分位数误差指标,使复杂的应用程序,如文本模式匹配,并可以通过一个简单的数据增强过程中实现,而不改变通常的最大似然目标。
2020-07-10 cs.DB cs.LG stat.ML
ISDE : Independence Structure Density Estimation
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所)
在本文中,我们提出了ISDE(独立结构密度估计),一种算法,旨在估计Kullback-Leibler损失和独立结构(IS)模型下的多元密度。IS通过将特征分成独立的组来解决维度灾难。我们解释了ISDE的建设,并提出了一些实验,以显示其性能的合成和真实世界的数据。通过比较经验$\log$ -可能性与其他密度估计方法和定性分析输出的变量分区来定量测量性能。我们还提供有关复杂性和运行时间的信息。
2022-05-05 cs.LG
A Direct Slip Ratio Estimation Method based on an Intelligent Tire and Machine Learning
State Key Laboratory of Automotive Simulation and Control, Jilin University(吉林大学汽车仿真与控制国家重点实验室);Department of Mechanical and Mechatronics Engineering, University of Waterloo(滑铁卢大学机械与机电工程系)
轮胎滑移率的准确估计对于车辆安全是至关重要的,因为它对于车辆控制目的是必要的。在本文中,智能轮胎系统开发了一种新的滑移率估计模型,使用机器学习算法。由安装在轮胎内衬上的三轴加速度计产生的加速度在轮胎旋转以更新接触面时变化。同时,滑移率参考值可以通过MTS Flat-Trac轮胎测试平台测量。然后,通过分析加速度和滑移率之间的变化,高度有用的功能,这是特别有前途的评估垂直加速度。针对这些特征,训练机器学习(ML)算法以构建滑移率估计模型,其中ML算法包括人工神经网络(ANN)、梯度提升机(GBM)、随机森林(RF)和支持向量机(SVM)。最后,使用10折交叉验证(CV)评估估计的NRMS误差。该模型仅利用智能轮胎系统的加速度就能连续稳定地估计滑移率,估计滑移率的范围可达30%。估计结果对车速和载荷具有很强的鲁棒性,最佳NRMS误差可达4.88%。总之,本研究融合了智能轮胎系统和机器学习,为准确估计不同驾驶条件下的轮胎滑移率铺平了道路,为自动驾驶汽车、智能轮胎和轮胎滑移率估计创造了新的机会。
2022-01-22 cs.LG cs.SY eess.SY
Double Debiased Covariate Shift Adaptation Robust to Density-Ratio Estimation
Mizuho-DL Financial Technology Co., Ltd.(瑞穗DL金融科技有限公司);Nagoya University Graduate School of Medicine(名古屋大学医学部)
针对协变量偏移下重要性加权依赖密度比估计并引入偏差的问题,提出结合回归函数与 double machine learning 的双重稳健估计量,证明其渐近性质与一致性,并通过模拟验证有效性。
2024-10-26 cs.LG econ.EM stat.ME
Nearest Neighbor Matching as Least Squares Density Ratio Estimation and Riesz Regression
本研究证明最近邻匹配是自动去偏机器学习中Riesz回归的实例,先验证Lin等(2023)的密度比估计法等价于LSIF,再基于LSIF推导Riesz回归,最终从Riesz回归推导出最近邻匹配。
2025-10-28 cs.LG econ.EM math.ST
Kernel Density Estimation by Stagewise Algorithm with a Simple Dictionary
Hyogo University of Health Sciences(兵库医疗大学);Chiba University(千叶大学)
本文提出了基于$U$ -散度和一个简单字典的多变量核密度估计的阶段最小化算法。该字典由一个合适的标量带宽矩阵和一部分原始数据组成。由此产生的估计给我们带来了数据自适应的加权参数和带宽矩阵,并实现了核密度估计的稀疏表示。我们开发的非渐近误差界估计通过建议的阶段最小化算法。模拟研究证实,该估计量的性能与其他已知的密度估计量相比具有竞争力或更好。
2021-08-10 cs.LG stat.CO stat.ME
Rapid parametric density estimation
Jagiellonian University(雅盖隆大学)
参数密度估计,例如高斯分布,是统计领域的基础。机器学习需要对复杂得多的密度进行廉价的估计,基本方法是相对昂贵的最大似然估计(MLE)。将讨论廉价的密度估计,例如,将多项式(或傅立叶级数)字面上拟合到样本,其系数通过仅对样本上的单项式(或正弦/余弦)求平均来计算。另一个讨论的基本应用是将失真拟合到一些标准分布,如高斯分布-类似于ICA,但另外允许重建受干扰的密度。最后,通过使用加权平均,它也可以应用于非概率密度的估计,如建模质量分布,或通过使用负(或复)权重来解决各种聚类问题:拟合一个函数,该函数的符号(或参数)确定聚类。估计的参数接近最佳值,误差下降,如$1/\sqrt{n}$,其中$n$是样本量。
2017-02-20 cs.LG
Positive-Unlabeled Classification under Class-Prior Shift: A Prior-invariant Approach Based on Density Ratio Estimation
The University of Tokyo(东京大学);RIKEN(理化学研究所)
从正的和未标记的(PU)数据中学习是各种应用中的一个重要问题。大多数最近的PU分类方法假设训练未标记数据集中的类先验(阳性样本的比率)与测试数据中的类先验相同,这在许多实际情况下并不成立。此外,我们通常不知道训练和测试数据的类先验,因此我们不知道如何在没有它们的情况下训练分类器。为了解决这些问题,我们提出了一种新的PU分类方法的基础上密度比估计。我们所提出的方法的一个显着的优点是,它不需要类先验在训练阶段,类先验移位只在测试阶段。我们从理论上证明我们提出的方法,并通过实验证明其有效性。
2021-12-15 cs.LG
BayesNDE: Bayesian Generative Modeling for Neural Density Estimation
Yale University(耶鲁大学)
BayesNDE提出基于贝叶斯生成建模的神经密度估计方法,无需可逆网络,通过样本特定后验构建自适应提议并利用桥接采样估计密度,在合成和真实数据集上提升了密度估计与异常检测性能。
2026-10-01 cs.AI cs.LG stat.ME
Some notes concerning a generalized KMM-type optimization method for density ratio estimation
Romanian Institute of Science and Technology(罗马尼亚科学技术研究所);Technical University of Cluj-Napoca(克卢日-纳波卡技术大学)
本文提出用于密度比估计的新优化算法,通过构造合适的损失函数扩展著名的 KMM 方法,以涵盖分别涉及训练数据和测试数据子集的更一般情形。
2023-09-14 cs.LG math.OC math.ST
Fast Kernel Density Estimation with Density Matrices and Random Fourier Features
MindLab(思维实验室);Universidad Nacional de Colombia(哥伦比亚国立大学)
核密度估计(KDE)是一种应用最广泛的非参数密度估计方法。事实上,它是一种基于内存的方法,即,它使用整个训练数据集进行预测,这使得它不适合当前大多数大数据应用。一些策略,如基于树或基于散列的估计,已被提出来提高核密度估计方法的效率。新的密度核密度估计方法(DMKDE)使用密度矩阵,量子力学的形式主义,和随机傅立叶特征,显式核近似,以产生密度估计。这种方法起源于KDE,可以被认为是一种近似方法,没有基于内存的限制。在本文中,我们系统地评估了新的DMKDE算法,并将其与其他国家的最先进的快速程序近似的核密度估计方法在不同的合成数据集。我们的实验结果表明,DMKDE与其竞争对手的计算密度估计和优势时,高维数据进行。我们已经将所有代码作为开源软件库提供。
2022-08-04 cs.LG quant-ph
Learning Transfer Operators by Kernel Density Estimation
Yale University(耶鲁大学);Yale School of Public Health(耶鲁公共卫生学院);Clarkson University(克拉克森大学)
本文从统计密度估计视角重新表述转移算子推断问题,通过偏差-方差分析比较直方图与核密度估计,证明KDE在估计Frobenius-Perron算子特征向量时通常更准确,并指出其边界局限性及未来高维应用方向。
2023-07-27 cs.IT cs.LG math.DS
LEAN-DMKDE: Quantum Latent Density Estimation for Anomaly Detection
MindLab(思维实验室);Universidad Nacional de Colombia(哥伦比亚国立大学)
本文提出了一种异常检测模型,该模型将基于密度估计的异常检测方法的强大统计基础与深度学习模型的表示学习能力相结合。该方法将用于学习数据的低维表示的自动编码器与基于随机傅立叶特征和密度矩阵的密度估计模型结合在端到端架构中,该架构可以使用基于梯度的优化技术进行训练。该方法基于估计的密度预测新样本的正态度。在不同的基准数据集上进行了系统的实验评估。实验结果表明,该方法的性能等同于或优于其他国家的最先进的方法。
2022-11-15 cs.AI cs.LG math.ST