Robust W-GAN-Based Estimation Under Wasserstein Contamination
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Cambridge(剑桥大学)
稳健估计是统计学中的一个重要问题,其目的是当数据生成分布位于未污染分布周围的适当定义的球内时,提供一个合理的估计。虽然极大极小估计率近年来已经建立,许多现有的鲁棒估计可证明最佳的收敛速度也是计算上难以处理的。在本文中,我们研究了Wasserstein污染模型下的几个估计问题,并提出了基于生成对抗网络(GANs)的计算易处理的估计器。具体来说,我们分析了基于Wasserstein GAN的位置估计,协方差阵估计和线性回归估计的性质,并表明我们提出的估计在许多情况下是最小最大最优的。最后,我们提出的数值结果证明了我们的估计的有效性。
2021-01-20 cs.IT cs.LG math.IT
Leveraging Nested MLMC for Sequential Neural Posterior Estimation with Intractable Likelihoods
School of Mathematics, South China University of Technology(华南理工大学数学学院);Department of Statistics, Purdue University(普渡大学统计学系)
本文针对序贯神经后验估计中的APT方法,将其重构为嵌套估计问题,并提出多种多层蒙特卡洛估计器以高效估计损失及梯度,同时给出收敛性分析,数值实验验证了方法的有效性。
2025-10-15 cs.LG stat.CO stat.ML
Deep Generative Models of Evolution: SNP-level Population Adaptation by Genomic Linkage Incorporation
Johannes Gutenberg University Mainz(吉森大学)
本文提出一种深度生成神经网络,通过融合邻近位点信息建模 SNP 等位基因频率轨迹,从而从 Pool-Seq 的 E&R 数据中估计通常不可得的成对连锁不平衡。
2025-07-28 cs.LG q-bio.PE
Deep Multi-Modal Structural Equations For Causal Effect Estimation With Unstructured Proxies
Cornell Tech(康奈尔科技校区);Cornell University(康奈尔大学)
从观察数据中估计干预的效果,同时考虑混杂变量是因果推理的一个关键任务。通常情况下,混杂因素是未观察到的,但我们可以访问大量额外的非结构化数据(图像,文本),这些数据包含有关缺失混杂因素的有价值的代理信号。本文认为,利用这种非结构化数据可以大大提高因果效应估计的准确性。具体来说,我们引入了深层多模态结构方程,这是一种因果效应估计的生成模型,其中混杂因素是潜在变量,非结构化数据是代理变量。该模型支持多个多模态代理(图像,文本)以及丢失的数据。我们的经验表明,我们的方法优于现有的方法的基础上的倾向分数和纠正混淆使用非结构化的输入任务,在基因组学和医疗保健。我们的方法可以潜在地支持使用大量的数据,这些数据以前没有用于因果推理
2022-12-11 cs.LG
Fisher Efficient Inference of Intractable Models
University of Bristol(布里斯托大学);The Alan Turing Institute(艾伦·图灵研究所);Tokyo Institute of Technology(东京工业大学);RIKEN(理化学研究所)
极大似然估计具有许多优良的性质。例如,极大似然估计解的渐近方差满足渐近Cram{é}r-Rao下界(效率界),这是一个无偏估计量的最小可能方差。然而,获得这样的MLE解需要计算似然函数,由于密度模型的归一化项,该似然函数可能不容易处理。本文从库尔贝克-莱布勒散度最小化准则出发,通过密度比估计和Stein算子,导出了判别似然估计(DLE).研究了利用DLE进行模型推理的问题。我们证明了它的一致性,并证明了在较弱的正则条件下,它的解的渐近方差可以达到与有效界相等的效果。我们还提出了一个双重制定的DLE,可以很容易地优化。数值研究验证了我们的渐近定理,我们给出了一个例子,其中DLE成功地估计了使用预训练的深度神经网络构建的棘手模型。
2019-11-01 cs.LG stat.ML
Unlocking the Power of Multi-institutional Data: Integrating and Harmonizing Genomic Data Across Institutions
Memorial Sloan Kettering Cancer Center(纪念斯隆-凯特琳癌症中心);University of Michigan(密歇根大学)
针对多机构肿瘤基因组数据因基因面板差异、技术异质性等难以整合的问题,提出Bridge模型,通过分位数匹配潜变量方法提取整合特征,在六种癌症的生存预测中表现更优。
2024-10-29 cs.LG q-bio.GN stat.ME
Estimation of Non-Normalized Mixture Models and Clustering Using Deep Representation
The University of Tokyo(东京大学);University College London(伦敦大学学院);University of Helsinki(赫尔辛基大学)
我们开发了一个通用的方法来估计有限的混合非归一化模型。这里,非归一化模型被定义为具有难以处理的归一化常数的参数分布。现有的方法估计非归一化模型,而不计算归一化常数不适用于混合模型,因为它们包含一个以上的棘手的归一化常数。所提出的方法是通过扩展噪声对比估计(NCE),估计非归一化模型之间的观测数据和一些人为产生的噪声进行区分。我们还提出了一个扩展的NCE与多个噪声分布。然后,基于观察,传统的分类学习与神经网络是隐含地假设一个指数族作为一个生成模型,我们介绍了一种方法,通过估计一个指数族中的分布的有限混合聚类未标记的数据。该混合模型的估计是通过建议的NCE扩展来实现的,其中神经网络的训练数据被用作噪声。因此,所提出的方法提供了一种能够利用深度表示的概率原则聚类方法。使用深度神经网络进行图像聚类的应用给出了有希望的结果。
2018-05-19 cs.LG stat.ML
Neural Density Estimation and Likelihood-free Inference
University of Edinburgh(爱丁堡大学)
我考虑机器学习和统计学中的两个问题:估计随机变量集合的联合概率密度的问题,称为密度估计,以及当模型参数的似然性难以处理时推断模型参数的问题,称为无似然性推断。本论文的贡献是基于神经网络和深度学习的最新进展,提出了一套解决这些问题的新方法。
2019-10-29 cs.LG stat.ML
Beyond Data Samples: Aligning Differential Networks Estimation with Scientific Knowledge
University of Virginia(弗吉尼亚大学)
学习两个上下文之间的差分统计依赖网络对于许多现实生活中的应用是必不可少的,主要是在高维低样本制度中。在本文中,我们提出了一种新的差分网络估计器,允许整合数据样本之外的各种知识来源。所提出的估计是可扩展到大量的变量,并实现了尖锐的渐近收敛速度。大量模拟数据和四个真实世界的应用程序(一个神经成像和三个功能基因组学)的实证实验表明,我们的方法实现了改进的差分网络估计,并提供更好的支持,下游任务,如分类。我们的研究结果突出了在差异遗传网络识别和脑连接体变化发现过程中整合群体、空间和解剖知识的显著益处。
2022-04-21 cs.LG stat.ML
Variational State and Parameter Estimation
University of Newcastle(纽卡斯尔大学);Uppsala University(乌普萨拉大学)
本文研究了非线性状态空间模型的状态和模型参数的贝叶斯估计问题。一般来说,这个问题没有一个易于处理的解决方案,必须使用近似。在这项工作中,变分的方法是用来提供一个假设的密度近似所需的,棘手的,分布。该方法是确定性的,结果在一个标准形式的优化问题。由于假设密度的参数化,选择的一阶和二阶导数是现成的,这允许有效的解决方案。所提出的方法进行了比较,对国家的最先进的哈密顿蒙特卡罗在两个数值例子。
2020-12-14 cs.LG stat.ML
Guidance for Prior Change via Density Ratio Estimation
University of Bristol(布里斯托尔大学)
针对现有SBI方法受先验限制的问题,提出基于DRE的无偏测试时引导框架,在多任务及行星光变曲线数据实验中表现优于PriorGuide且鲁棒性强。
2026-11-09 cs.LG stat.ME stat.ML
Arbitrary Marginal Neural Ratio Estimation for Simulation-based Inference
University of Liège(列日大学)
在许多科学领域,复杂的现象是由随机参数模拟器建模的,通常具有高维参数空间和难以处理的可能性。在这种情况下,执行贝叶斯推理可能具有挑战性。在这项工作中,我们提出了一种新的方法,使摊销推断的任意子集的参数,而不诉诸数值积分,这使得解释后更方便。我们的方法是有效的,可以实现与任意神经网络架构。我们证明了该方法的适用性的参数推断的双黑洞系统的引力波观测。
2021-11-09 astro-ph.IM cs.LG stat.ML
Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation
University of California, Berkeley(加利福尼亚大学伯克利分校)
虽然深度神经网络为一系列具有挑战性的任务提供了良好的性能,但校准和不确定性估计仍然是主要的挑战,特别是在分布偏移的情况下。在本文中,我们提出了摊销条件归一化最大似然(ACNML)方法,作为一种可扩展的通用方法,用于深度网络的不确定性估计、校准和分布外鲁棒性。我们的算法建立在条件归一化最大似然(CNML)编码方案,它具有极大极小最优属性根据最小描述长度的原则,但计算上难以准确评估,但最简单的模型类。我们建议使用近似贝叶斯推理技术产生一个易于处理的近似CNML分布。我们的方法可以与任何近似推理算法相结合,提供了易于处理的模型参数的后验密度。我们证明,ACNML相比有利的不确定性估计的分布输入的校准方面的一些现有技术。
2021-03-01 cs.LG stat.ML
Missing Data in Sparse Transition Matrix Estimation for Sub-Gaussian Vector Autoregressive Processes
Wisconsin Institute for Discovery(威斯康星发现研究所);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
高维时间序列数据存在于金融、基因组学、医疗保健和神经科学等众多领域。所有这些数据集的一个不可避免的方面是缺失数据,处理这个问题一直是统计,控制和机器学习的重要焦点。在这项工作中,我们考虑了一个高维估计问题,其中一个动力系统,由一个稳定的向量自回归模型,是随机的,只有部分观察到在每个时间点。我们的任务相当于估计的转移矩阵,这是假设是稀疏的。在这种情况下,协变量高度相互依赖且部分缺失,新的理论挑战出现了。虽然向量自回归模型中的转移矩阵估计以前已经研究过,但缺失数据的情况需要单独的努力。此外,虽然转移矩阵估计可以从高维稀疏线性回归的角度进行研究,但协变量是高度依赖的,并且现有的结果都是在i.i.d.~的缺失数据的正则化估计上。协变量不适用。我们分析的核心在于:1)当新息噪声满足凸集中性质时,一个新的集中结果,以及2)一个新的量,用于表征时变观测过程与底层动力系统的相互作用。
2018-02-26 cs.LG stat.ML
AR-DAE: Towards Unbiased Neural Entropy Gradient Estimation
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);Polytechnique Montréal(蒙特利尔理工学院)
熵在机器学习中是普遍存在的,但是计算任意连续随机变量的分布的熵通常是困难的。本文提出了一种基于摊销残差去噪的自编码器(AR-DAE)来近似对数密度函数的梯度,并利用它来估计熵的梯度。摊销使我们能够显着减少梯度近似的误差,通过逼近渐近最优的规则DAE,在这种情况下,估计在理论上是无偏的。我们进行了理论和实验分析的近似误差的方法,以及广泛的研究,以确保其鲁棒性。最后,使用所提出的梯度近似估计熵的梯度,我们展示了最先进的性能与变分自编码器的密度估计和连续控制与软actor-critic。
2020-06-09 cs.LG stat.ML
Variational Noise-Contrastive Estimation
School of Informatics University of Edinburgh(爱丁堡大学信息学院);University of Edinburgh(爱丁堡大学)
非标准化潜变量模型是一类广泛而灵活的统计模型。然而,从数据中学习它们的参数是棘手的,并且目前很少有估计技术可用于此类模型。为了增加我们的武器库中的技术数量,我们提出了变分噪声对比估计(VNCE),建立在NCE的基础上,NCE是一种仅适用于非归一化模型的方法。其核心思想是使用一个变分下界的NCE目标函数,它可以优化的证据下界(ELBO)在标准变分推断(VI)相同的方式。我们证明了VNCE既可以用于非正态化模型的参数估计,也可以用于潜变量的后验推断。开发的理论表明,VNCE具有与标准VI相同的通用性水平,这意味着在那里取得的进展可以直接导入非标准化设置。我们验证VNCE玩具模型,并将其应用到一个现实的问题,估计一个无向图形模型不完整的数据。
2019-02-24 cs.LG stat.ML
An Optimal Statistical and Computational Framework for Generalized Tensor Estimation
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Chicago(芝加哥大学)
本文介绍了一个灵活的框架,广义低秩张量估计问题,其中包括许多重要的情况下,在计算成像,基因组学和网络分析中的应用。建议的估计包括找到一个低秩张量适合广义参数模型下的数据。为了克服这些问题的非凸性的困难,我们引入了一个统一的方法,投影梯度下降,适应底层的低秩结构。在对损失函数的适当条件下,通过一般的确定性分析,我们建立了统计误差的上界和计算收敛的线性速度。然后,我们进一步考虑了一套广义张量估计问题,包括次高斯张量PCA,张量回归,泊松和二项式张量PCA。我们证明了所提出的算法达到了极小极大最优收敛速率的估计误差。最后,我们证明了所提出的框架的优越性,通过广泛的实验模拟和真实数据。
2021-02-04 cs.LG math.ST stat.ME
Computational Implications of Reducing Data to Sufficient Statistics
Stanford University(斯坦福大学)
给定一个大的数据集和一个估计任务,通常通过将数据减少到一组充分统计量来预处理数据。这一步骤通常被认为是直接和有利的(因为它简化了统计分析)。我表明,相反,减少数据到充分统计量可以改变一个计算上容易处理的估计问题变成一个棘手的。我将讨论与理论计算机科学的最新工作的联系,以及对一些估计图形模型的技术的影响。
2015-07-30 cs.IT cs.LG math.IT
Distributionally Robust Local Non-parametric Conditional Estimation
Stanford University(斯坦福大学);HEC Montréal(蒙特利尔高等商学院)
给定特定协变量值的条件估计(即,局部条件估计或函数估计)对于工程、社会和自然科学中的应用是普遍有用的。现有的数据驱动的非参数估计主要集中在结构化的同质数据(例如,弱独立和稳定的数据),因此它们对对抗性噪声敏感,并且在低样本量下可能表现不佳。为了缓解这些问题,我们提出了一种新的分布鲁棒估计,通过最小化Wasserstein模糊集中所有对抗分布的最坏情况条件预期损失来生成非参数局部估计。我们表明,尽管一般是棘手的,本地估计可以有效地找到通过凸优化广泛适用的设置下,它是强大的腐败和异质性的数据。合成和MNIST数据集的实验表明,这类新的估计的竞争力。
2020-10-12 cs.LG math.ST stat.ML
Performance Advantages of Deep Neural Networks for Angle of Arrival Estimation
General Motors - Advanced Technical Center Israel(通用汽车以色列高级技术中心);Tel Aviv University(特拉维夫大学)
在过去的几十年里,从单个天线阵列观测估计源的数量及其到达角的问题一直是信号处理界的一个活跃的研究领域。当源的数量很大时,最大似然估计器由于其非常高的复杂性而难以处理,因此已经开发了具有一些性能损失的替代信号处理方法。在本文中,我们将深度神经网络(DNN)方法应用于该问题,并分析其相对于信号处理算法的优势。我们表明,一个适当的设计网络可以达到最大似然性能与可行的复杂性和优于其他可行的信号处理估计方法在各种信号噪声比和阵列响应不准确。
2019-02-17 cs.LG cs.SD eess.AS