A weighted-variance variational autoencoder model for speech enhancement
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）；Inria Grenoble（法国国家信息与自动化研究所格勒诺布尔分所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
本文提出加权方差变分自编码器语音增强模型，通过对频谱图时间帧加权并引入Gamma先验形成Student's t分布，实验证明其优于标准未加权方差模型。
2023-10-26 cs.CV cs.LG cs.SD
On the Importance of the Kullback-Leibler Divergence Term in Variational Autoencoders for Text Generation
University of Cambridge（剑桥大学）；Microsoft Research Cambridge（微软剑桥研究院）；Tehran Institute for Advanced Studies（德黑兰高等研究院）
已知变分自编码器（VAE）由于诸如近似后向塌陷或潜在空间的纠缠之类的问题而遭受学习输入的无信息潜在表示。我们对VAE目标函数内的Kullback-Leibler（KL）发散项施加了明确的约束。虽然显式约束自然避免后崩溃，我们用它来进一步理解KL项在控制通过VAE通道传输的信息的意义。在这个框架内，我们探索了估计后验分布的不同属性，并强调了训练过程中潜在代码中编码的信息量与模型的生成能力之间的权衡。
2019-09-30 cs.CL cs.LG
Deep Gaussian Processes with Importance-Weighted Variational Inference
Imperial College London（帝国理工学院）
深度高斯过程（DGP）可以模拟复杂的边缘密度以及复杂的映射。非高斯边缘对于建模真实世界的数据是必不可少的，并且可以通过将不相关的变量合并到模型中来从DGP生成。以前的工作DGP模型引入噪声添加剂和使用变分推断与稀疏高斯过程和平均场高斯的组合的近似后验。加性噪声使信号衰减，并且高斯形式的变分分布可能导致不准确的后验。相反，我们将噪声变量作为潜在的协变量，并提出了一种新的重要性加权目标，它利用分析结果，并提供了一种机制，以权衡计算提高精度。我们的研究结果表明，重要性加权的目标在实践中运作良好，并始终优于经典的变分推断，特别是更深的模型。
2019-05-14 cs.LG stat.ML
Bayesian autoencoders with uncertainty quantification: Towards trustworthy anomaly detection
University of Cambridge（剑桥大学）
尽管针对无监督异常检测的深度自动编码器（AE）进行了大量研究，但AE仍然缺乏表达其预测不确定性的方法，这对于确保高风险应用中安全可靠的机器学习系统至关重要。因此，在这项工作中，贝叶斯自动编码器（BAE）的制定采用量化的总异常的不确定性，包括认知和任意的不确定性。为了评估不确定性的质量，我们考虑了异常分类的任务，并附加了拒绝高不确定性预测的选项。此外，我们使用的精度拒绝曲线，并提出加权平均精度作为性能指标。我们的实验证明了BAE和总异常不确定性对一组基准数据集和两个真实的制造数据集的有效性：一个用于状态监测，另一个用于质量检测。
2022-02-25 cs.LG stat.ML
Variational autoencoder with weighted samples for high-dimensional non-parametric adaptive importance sampling
ONERA（法国航空航天研究院）；Université de Toulouse（图卢兹大学）；Institut de Mathématiques de Toulouse（图卢兹数学研究所）；CNRS（法国国家科学研究中心）；Zurich University of Applied Sciences（苏黎世应用科技大学）
本研究提出用变分自编码器参数化分布进行高维非参数自适应重要性采样，通过新目标函数处理加权样本，并引入可学习先验和预训练防止后验坍缩，在多模态问题上有效估计稀有事件概率。
2023-10-13 cs.LG math.ST stat.TH
Controlling the Interaction Between Generation and Inference in Semi-Supervised Variational Autoencoders Using Importance Weighting
LIPN（巴黎第十三大学计算机科学实验室）；Université Sorbonne Paris Nord（索邦巴黎北大学）；INRIA Paris（法国国家信息与自动化研究所巴黎分部）
尽管变分自编码器（VAE）广泛用于半监督学习，但它们工作的原因仍不清楚。事实上，添加无监督目标通常被模糊地描述为正则化。这种正则化的强度通过在训练集的未标记部分上对目标进行向下加权来控制。通过对半监督VAE目标的分析，我们观察到它们使用学习的生成模型的后验来指导推理模型学习部分观察的潜变量。我们表明，鉴于这一观察结果，有可能获得更精细的控制的效果，无监督的目标上的训练过程。使用重要性加权，我们得到两个新的目标，优先考虑部分观察到的潜在变量，或未观察到的潜在变量之一。在IMDB英语情感分析数据集和AG News主题分类数据集上的实验显示了我们的优先级排序机制带来的改进，并表现出与我们对半监督VAE内部工作的描述相一致的行为。
2020-10-14 cs.CL cs.LG
Unsupervised Imputation of Non-ignorably Missing Data Using Importance-Weighted Autoencoders
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
近年来，深度学习（DL）方法的流行程度急剧增加。虽然它最初的成功是在图像数据的分类和操作中得到证明，但在生物医学科学中，DL方法的应用已经有了显着的增长。然而，在生物医学数据集中缺失数据的更大的普遍性和复杂性，DL方法提出了重大挑战。在这里，我们提供了一个正式的处理丢失的数据的上下文中的变分自编码器（VAE），一个流行的无监督DL架构，通常用于降维，插补和学习复杂数据的潜在表示。我们提出了一个新的VAE架构，NIMIWAE，这是第一个灵活的帐户在训练时输入功能的缺失的可识别和不可识别的模式。训练后，可以从缺失数据的近似后验分布中提取样本，用于多重插补，便于对高维不完整数据集进行下游分析。我们通过统计模拟证明，我们的方法优于现有的方法的无监督学习任务和插补精度。最后，我们总结了一个案例研究的EHR数据集有关12,000 ICU患者包含大量的诊断测量和临床结果，其中许多功能只是部分观察。
2022-06-17 cs.LG stat.AP
Tighter Variational Bounds are Not Necessarily Better. A Research Report on Implementation, Ablation Study, and Extensions
本报告解释、实施和扩展了“更紧的变分边界不一定更好”（T Rainforth等人，2018年）。我们提供了理论和经验证据，增加重要性加权自动编码器（IWAE）中重要性样本$K$的数量（Burda等人，2016）降低了推理网络中梯度估计器的信噪比（SNR），从而影响了整个学习过程。换句话说，即使增加$K$会降低梯度的标准差，它也会更快地降低真实梯度的幅度，从而增加梯度更新的相对方差。进行了大量的实验，以了解$K$的重要性。这些实验表明，更严格的变分界限是有益的生成网络，而更宽松的界限是优选的推理网络。在此基础上，实现并研究了部分重要性加权自动编码器（PIWAE）、多重要性加权自动编码器（MIWAE）和组合重要性加权自动编码器（CIWAE）。这三种方法中的每一种都需要IWAE作为特殊情况，但以不同的方式使用重要性权重，以确保梯度估计器具有更高的SNR。在我们的研究和分析中，这些算法的有效性在MNIST和Omniglot等多个数据集上进行了测试。最后，我们证明了三个IWAE的变化是能够产生近似的后验分布，更接近真实的后验分布比IWAE，同时匹配的性能的IWAE生成网络或潜在的优于它的情况下，PIWAE。
2022-09-23 cs.LG math.ST stat.ML
Synthetic Patient Generation: A Deep Learning Approach Using Variational Autoencoders
Inspired Ideas LLC（灵感创意有限责任公司）
医疗保健领域的人工智能是一个令人兴奋的新领域，其可能性是无限的。随着深度学习方法在许多领域击败人类的表现，合乎逻辑的下一步是尝试将其应用于健康领域。为了使这些和其他机器学习方法产生良好的结果并实现其潜力，对大量准确数据的需求和重要性是首屈一指的。这是许多行业面临的挑战，在医疗保健领域更是如此。我们提出了一种使用变分自编码器（VAE）的方法，作为一种生成更多数据以训练更深层次网络的方法，以及揭示诊断中的潜在模式和患者的方法。通过在可用数据上训练VAE，它能够学习给定诊断的患者特征的潜在分布。然后，在训练之后，可以从学习的潜在分布中进行采样，以在给定患者诊断的情况下生成新的准确的患者记录。
2018-08-20 cs.LG stat.ML
On a Mechanism Framework of Autoencoders
本文提出了一个理论框架的机制，自动编码器。在编码器部分，主要研究了降维的两个基本性质：双射映射和数据解纠缠。给出了满足上述两个性质之一或两者的编码器的一般构造方法。对自编码器的泛化机制进行了建模。基于上述理论框架，我们解释了变分自编码器、去噪自编码器和线性单元自编码器的一些实验结果，重点是通过编码器对数据的低维表示的解释;通过这些解释，图像复原的机制很自然地被理解。通过与主成分分析和决策树的比较，证明了（广义）自编码器在降维和分类方面的优势。卷积神经网络和随机加权神经网络也可以用这个框架来解释。
2022-12-12 cs.CV cs.LG
The continuous Bernoulli: fixing a pervasive error in variational autoencoders
Columbia University（哥伦比亚大学）
变分自动编码器（VAE）已迅速成为机器学习的核心工具，适用于广泛的数据类型和潜在变量模型。到目前为止，开创性论文和核心软件库都采取的最常见的第一步是使用深度网络参数化Bernoulli可能性来建模MNIST数据。这种做法包含了看起来和经常被搁置的一个小不便：像素数据是[0，1]值，而不是伯努利似然支持的{0，1}。在这里，我们表明，远不是一个微不足道或滋扰，是方便忽略，这个错误有深刻的重要性VAE，定性和定量。我们引入并充分描述了一个新的[0，1]支持的单参数分布：连续伯努利，它修补了VAE中的这个普遍错误。这种分布并不是吹毛求疵;它在一系列指标和数据集上产生了有意义的性能改进，包括更清晰的图像样本，并提出了更广泛的性能VAE类别。
2019-12-29 cs.LG stat.ML
Tensor Monte Carlo: particle methods for the GPU era
Janelia Research Campus（Janelia研究园区）
多样本、重要性加权变分自编码器（IWAE）比用标准单样本目标训练的变分自编码器（VAE）提供更严格的边界和更准确的不确定性估计。然而，IWAE的规模很差：随着潜在维度的增长，它们需要指数级地多的样本来保持重要性加权的益处。虽然序贯蒙特卡罗（SMC）可以解决这个问题，但它非常慢，因为重新排序步骤强加了无法并行的顺序结构，而且，重新排序是不可微的，这在学习近似后验时是有问题的。为了解决这些问题，我们开发了张量蒙特卡罗（TMC），它通过为每个$n$潜在变量分别绘制$K$样本，然后对所有$K^n$可能的组合进行平均，从而以指数方式给出许多重要性样本。虽然对指数级的许多项求和似乎很难处理，但在许多情况下，它可以作为一系列张量内积有效地计算。我们表明，TMC是优于IWAE上的生成模型与多个随机层训练的MNIST手写数字数据库，我们表明，TMC可以结合标准的方差减少技术。
2019-01-17 cs.LG stat.ML
Importance Weighted Hierarchical Variational Inference
Samsung AI Center Moscow（三星莫斯科人工智能中心）；National Research University Higher School of Economics（国立研究型高等经济学院）；NRU HSE（国立研究型高等经济学院）
变分推断是贝叶斯建模工具包中的一个强有力的工具，然而，它的有效性取决于所使用的变分分布在其匹配真实后验分布的能力方面的表达能力。反过来，变分族的表达能力在很大程度上受到具有易处理的密度函数的要求的限制。为了克服这一障碍，我们引入了一个新的家庭的边际对数密度的情况下，分层模型（也称为潜变量模型）的变分上界。然后，我们给出了一个上界的库尔贝克-莱布勒散度，并推导出一个家庭越来越紧密的变分下界，否则难以处理的标准证据下界分层变分分布，使使用更有表现力的近似后验。我们表明，以前已知的方法，如分层变分模型，半隐式变分推断和双半隐式变分推断可以被看作是所提出的方法的特殊情况下，并在一组实验中的经验证明所提出的方法的优越性能。
2019-05-08 cs.LG stat.ML
Do Bayesian Variational Autoencoders Know What They Don't Know?
Delft University of Technology（代尔夫特理工大学）
对于深度神经网络来说，检测分布外（OoD）输入的问题至关重要。之前已经表明，即使是允许估计输入密度的深度生成模型也可能不可靠，并且往往倾向于对OoD进行过度自信的预测，为它们分配比分布数据更高的密度。这种对单一模型的过度自信可以通过对考虑认知不确定性的模型参数进行贝叶斯推断来潜在地减轻。本文研究了贝叶斯推断的三种方法：随机梯度马尔可夫链蒙特卡罗，贝叶斯反向传播和随机加权平均高斯。推理是在参数化变分自动编码器的似然性的深度神经网络的权重上实现的。我们根据常用于OoD检测的几个基准对这些方法进行了经验评估：利用采样模型集合估计边缘可能性、典型性检验、不一致分数和渡边-赤池信息准则。最后，我们介绍了两个简单的分数，展示了最先进的性能。
2022-12-29 cs.LG stat.ML
Bayesian Optimization with Output-Weighted Optimal Sampling
Massachusetts Institute of Technology（麻省理工学院）
在贝叶斯优化中，考虑输出相对于输入的重要性是一项至关重要但具有挑战性的工作，因为它可以大大改善最终结果，但通常涉及不准确和繁琐的熵估计。我们从重要性抽样理论的角度来处理这个问题，并主张使用似然比来引导搜索算法向输入空间的区域，其中要最小化的目标函数假设异常小的值。似然比作为一个抽样权重，可以在每次迭代计算，而不会严重恶化算法的整体效率。特别是，它可以近似的方式，使该方法在高维易于处理。在这项工作中引入的“似然加权”的采集功能被发现在许多应用中优于其未加权的同行。
2020-10-03 cs.LG stat.ML
A Generative Framework for Causal Estimation via Importance-Weighted Diffusion Distillation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对观测数据因果估计中协变量失衡与混杂偏倚问题，提出融合IPW与扩散预训练的IWDD生成框架，通过随机化调整简化计算并降低梯度方差，实现了最优的样本外预测性能。
2025-05-16 cs.LG stat.AP stat.ME
Causal Effect Variational Autoencoder with Uniform Treatment
New York University（纽约大学）；Genentech（基因泰克）；NYU Langone Health（纽约大学朗格尼医学中心）
领域自适应和协变量偏移是深度学习中的大问题，它们最终会影响依赖于深度神经网络的任何因果推理算法。因果效应变分自编码器（CEVAE）被训练来预测给定观察治疗数据的结果，并且它在测试时遭受分布偏移。在本文中，我们介绍了均匀处理变分自编码器（UTVAE），使用重要性采样与均匀的治疗分布进行训练，并表明，使用均匀的治疗观察治疗分布导致更好的因果推理，减轻分布偏移，发生从训练到测试时间。我们还探索了均匀和观察性治疗分布与推理和生成网络训练目标的结合，以找到更好的训练程序来推断治疗效果。实验发现，在合成和IHDP数据集上，所提出的UTVAE在估计异质效应误差时比CEVAE产生更好的绝对平均治疗效应误差和精度。
2022-09-20 cs.LG
Sharp analysis of out-of-distribution error for "importance-weighted" estimators in the overparameterized regime
Georgia Institute of Technology（佐治亚理工学院）；School of Electrical & Computer Engineering（电气与计算机工程学院）；H. Milton School of Industrial & Systems Engineering（H. Milton工业与系统工程学院）
针对过参数化模型在分布外数据上性能下降的问题，本文通过含虚假特征的高斯混合模型精确分析重要性加权插值解，给出匹配上下界并揭示鲁棒性与平均准确率的新权衡。
2024-05-10 cs.IT cs.LG math.IT
Denoising Criterion for Variational Auto-Encoding Framework
Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；University of Montreal（蒙特利尔大学）
去噪自编码器（DAE）被训练为在输入级注入噪声来重建其干净输入，而变分自编码器（VAE）被训练为在其随机隐藏层中注入噪声，并具有鼓励这种噪声注入的正则化器。在本文中，我们表明，在输入和随机隐藏层注入噪声可以是有利的，我们提出了一个修改后的变分下限作为改进的目标函数在此设置。当输入被破坏时，则标准VAE下限涉及在输入噪声上边缘化编码器条件分布，这使得训练准则难以处理。相反，我们提出了一个修改后的训练标准，对应于一个易于处理的界限时，输入损坏。实验上，我们发现，建议的去噪变分自编码器（DVAE）产生更好的平均对数似然比VAE和重要性加权的自动编码器上的MNIST和Frey脸数据集。
2016-01-04 cs.LG
HAVANA: Hierarchical and Variation-Normalized Autoencoder for Person Re-identification
SenseTime Research（商汤科技研究院）；National University of Singapore（新加坡国立大学）
人物再识别（Re-ID）在视频监控系统中具有重要意义。由于图像空间中的大变化，学习Re-ID的区分特征仍然是一个挑战，例如，不断变化的人体姿势、光照和视角。在本文中，我们提出了HAVANA，一种新的可扩展的，轻量级的层次结构和变化归一化的自动编码器，学习功能强大的类内变化。与现有的生成方法相比，HAVANA通过大量额外监督信号来修剪变化，HAVANA通过在没有额外监督的情况下训练的变化归一化自动编码器来抑制类内变化。我们还介绍了一种新的Jensen-Shannon三重损失的对比分布学习的Re-ID。此外，我们提出了层次变化蒸馏器，层次VAE分解潜在的表示和明确的模型的变化。据我们所知，HAVANA是第一个基于VAE的ReID框架。
2021-01-09 cs.CV cs.LG
KL Divergence Between Gaussians: A Step-by-Step Derivation for the Variational Autoencoder Objective
Instituto Tecnológico de Buenos Aires（布宜诺斯艾利斯理工学院）
本文推导了高斯分布间KL散度的闭式表达式，重点讨论了其在VAE中的应用及对训练动态的影响。
2026-04-13 cs.LG
High-Dimensional Similarity Search with Quantum-Assisted Variational Autoencoder
NASA Ames Research Center（NASA艾姆斯研究中心）；KBR Inc（KBR公司）；Bristol University（布里斯托大学）；BAER Institute（BAER研究所）
量子算法和硬件的最新进展表明了量子计算在不久的将来的潜在重要性。然而，寻找合适的应用领域仍然是一个活跃的研究领域。量子机器学习被吹捧为在门模型和绝热方案中展示量子优势的潜在方法。例如，量子辅助的变分自编码器已经被提出作为对离散VAE的量子增强。我们扩展了以前的工作，并研究了现实世界中的QVAE的适用性，提出了一个概念验证的相似性搜索在大规模的高维数据集。虽然精确和快速的相似性搜索算法可用于低维数据集，但扩展到高维数据并非易事。我们将展示如何构建一个空间有效的搜索索引的基础上的潜在空间表示的QVAE。我们的实验表明，嵌入空间中的汉明距离和原始空间中的欧几里德距离之间的相关性的中分辨率成像光谱仪（MODIS）数据集。此外，我们发现与线性搜索相比，真实世界的速度有所提高，并展示了内存效率扩展到5亿个数据点。
2020-06-13 cs.LG quant-ph stat.ML
Disentangled Representation via Variational AutoEncoder for Continuous Treatment Effect Estimation
National University of Defense Technology（国防科技大学）；College of Systems Engineering（系统工程学院）
针对连续处理效应估计中协变量混杂与噪声问题，提出DRVAE模型将协变量解耦为工具、混杂、调整和噪声因子，通过平衡混杂因子提升剂量-反应曲线估计精度，优于现有方法。
2024-06-04 cs.LG
Fast Variational AutoEncoder with Inverted Multi-Index for Collaborative Filtering
University of Electronic Science and Technology of China（电子科技大学）；University of Science and Technology of China（中国科学技术大学）；Huawei Cloud Computing Technologies Co., Ltd.（华为云计算技术有限公司）
变分自编码器（VAE）是一种典型的非线性协同过滤方法。然而，VAE的瓶颈在于对所有项目的softmax计算，因此它需要项目数量的线性成本来计算优化的损失和梯度。这阻碍了实际使用，因为在现实世界中有数百万个项目。重要性采样是一种有效的逼近方法，基于此方法导出了采样softmax。然而，现有的方法通常利用均匀或流行的采样器作为建议分布，导致梯度估计的大偏差。为此，我们建议基于反向多指标分解基于内积的softmax概率，从而实现次线性时间和高精度采样。在此基础上，提出了一种快速的变分自编码器（FastVAE）。在三个真实数据集上的实验表明，FastVAE在采样质量和效率方面都优于最先进的基线。
2022-05-30 cs.IR cs.LG
Autoencoder Architectures for Athlete Performance Scoring from Wearable Telemetry
本文评估五种降维模型（含自编码器变体）将九维传感器数据压缩为单维潜在分数，通过重构误差与可解释性复合指标选择最优模型，发现深层自编码器表现最佳，跑步配速、有氧解耦和平均心率为关键驱动因素。
2026-06-29 cs.LG
Learning $ω$-Powered Conditional Distributions with Importance-Weighted Flow Matching
University of Geneva（日内瓦大学）；HES-SO/HEG Genéve（HES-SO/HEG日内瓦（瑞士应用科学与艺术大学/日内瓦高等经济学院））；Google Deepmind（谷歌DeepMind）；Apple（苹果公司）
该研究提出重要性加权条件流匹配（IW-CFM），可显式学习ω驱动的条件分布，在合成数据和ImageNet上均表现优于传统CFG，为相关分布的研究与近似提供了实用方法。
2026-10-14 cs.CV cs.LG
Hierarchical Importance Weighted Autoencoders
Mila, University of Montreal（蒙特利尔大学Mila）；Element AI；CIFAR（加拿大高等研究院）
重要性加权变分推理（Burda等人，2015）使用多个i.i.d.样本具有更严格的变分下限。我们相信，联合提案有可能减少冗余样本的数量，并引入层次结构，以诱导相关性。希望这些建议能够协调起来，以弥补彼此造成的误差，从而减少重要性估计值的方差。在理论上，我们分析了估计方差的收敛性与下界的收敛性相联系的条件。从经验上讲，我们确认，最大化的下限隐含最小化方差。进一步的分析表明，这是由所提出的分层Meta采样方案引起的负相关的结果，并且随着样本数量的增加，推理性能也有所改善。
2019-05-13 cs.LG stat.ML
Conservative Policy Construction Using Variational Autoencoders for Logged Data with Missing Values
Alan Turing Institute（艾伦·图灵研究所）；University College London（伦敦大学学院）；Bilkent University（比尔肯特大学）；University of Cambridge（剑桥大学）；University of California Los Angeles（加州大学洛杉矶分校）
在医疗保健等数据驱动决策的高风险应用中，学习一种最大化回报的策略，同时避免在存在不确定性时采取潜在危险的行动，这一点至关重要。通常有两个主要挑战与这个问题有关。首先，通过在线探索学习是不可能的，因为这种应用程序的关键性质。因此，我们需要求助于没有反事实的观测数据集。其次，这样的数据集通常是不完美的，此外还受到特征属性中缺失值的诅咒。在本文中，我们考虑的问题，构建个性化的政策，使用日志数据时，在训练和测试数据中的特征的属性中有缺失值。目标是在观察到$\Xt$（$\Xb$的退化版本，具有缺失值）时建议采取措施（治疗）。我们考虑三种策略来处理失踪。特别是，我们介绍了\textit{conservative strategy}的政策是为了安全地处理由于失踪的不确定性。为了实现这一策略，我们需要估计后验分布$p(\Xb|\Xt)$，我们使用变分自编码器来实现这一点。特别是，我们的方法是基于部分变分自编码器（PVAE），其目的是捕捉与缺失值的功能的底层结构。
2021-09-08 cs.LG
A Two-Stage Cascade Model with Variational Autoencoders and Attention Gates for MRI Brain Tumor Segmentation
New York University（纽约大学）
MRI脑肿瘤的自动分割对于疾病的诊断、监测和治疗计划的制定具有重要意义。在本文中，我们提出了一个两阶段的编码器-解码器为基础的模型，脑肿瘤分区分割。在这两个阶段中使用变分自动编码器正则化来防止过拟合问题。第二阶段网络采用注意门，并使用由第一阶段输出形成的扩展数据集进行额外训练。在BraTS 2020验证数据集上，所提出的方法对于整个肿瘤、肿瘤核心和增强肿瘤分别实现了0.9041、0.8350和0.7958的平均Dice评分以及4.953、6.299和23.608的Hausdorff距离（95%）。BraTS 2020测试数据集上的相应结果分别为Dice评分0.8729、0.8357和0.8205，Hausdorff距离11.4288、19.9690和15.6711。该代码可在https://github.com/shu-hai/two-stage-VAE-Attention-gate-BraTS2020上公开获取。
2020-11-28 cs.CV cs.LG eess.IV
Data Enrichment Opportunities for Distribution Grid Cable Networks using Variational Autoencoders
Technical University of Denmark（丹麦技术大学）；Delft University of Technology（代尔夫特理工大学）
本研究利用变分自编码器解决配电网电缆数据不完整问题，通过丹麦案例验证了其在数据增强和缺失信息填补方面的潜力，并提出了未来改进方向。
2025-01-19 cs.LG cs.SY eess.SY
Improved Training of Sparse Coding Variational Autoencoder via Weight Normalization
Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院）；University of Washington（华盛顿大学）
学习具有稀疏和组合特征的视觉信息的生成模型一直是理论神经科学和机器学习社区的挑战。稀疏编码模型在解释具有稀疏激活潜在表征的哺乳动物初级视皮层感受野方面取得了巨大的成功。在本文中，我们专注于最近提出的模型，稀疏编码变分自编码器（SVAE）（Barello等人，2018年），并表明SVAE的端到端训练方案导致一大群解码滤波器没有完全优化噪声类感受野。我们提出了一些算法来改进SVAE的训练，并表明解码器上的单位$L_2$范数约束对于产生稀疏编码滤波器至关重要。这种正常化可以被认为是皮层中的局部侧抑制。我们在自然图像补丁和MNIST数据集上验证了这一说法，并表明将滤波器投影到单位范数上会大大增加有源滤波器的数量。我们的研究结果强调了权重归一化对从数据中学习稀疏表示的重要性，并提出了一种减少VAE学习中不活跃潜在组件数量的新方法。
2021-01-23 cs.LG q-bio.NC
Variational Rank Reduction Autoencoders for Generative Thermal Design
ESI Group-UZ Chair of the National Strategy on Artificial Intelligence（ESI集团-乌兹主席国家人工智能战略办公室）；Aragon Institute of Engineering Research (I3A)（阿拉贡工程研究所（I3A））；Universidad de Zaragoza（萨拉戈萨大学）；PIMM Lab（PIMM实验室）；ENSAM Institute of Technology（ENSAM技术研究所）
针对生成式热设计中潜空间无结构及高计算成本问题，提出结合变分秩约简自编码器与深度算子网络的混合框架，实现连续潜表示、高效准确预测温度梯度，并提升推理效率。
2025-09-10 cs.AI cs.LG
Data-driven Nonlinear Parametric Model Order Reduction Framework using Deep Hierarchical Variational Autoencoder
Seoul National University（首尔国立大学）；Jeonbuk National University（全北国立大学）；Institute of Advanced Aerospace Technology, Seoul National University（首尔国立大学高等航空技术研究所）
提出基于LSH-VAE与潜流形球面线性插值的数据驱动参数化非线性MOR框架，并在流固耦合、极限环振荡和三维流动中验证其精度、稳定性与加速效果。
2023-07-10 cs.LG physics.data-an physics.flu-dyn
Targeted Analysis of High-Risk States Using an Oriented Variational Autoencoder
Delft University of Technology（代尔夫特理工大学）
变分自动编码器（VAE）神经网络可以被训练成生成电力系统状态，该状态捕获历史数据的边缘分布和多变量依赖性。VAE的潜在空间代码的坐标已被证明与数据的概念特征相关，这可以被利用来合成具有所需特征的目标数据。然而，对应于特定属性的VAE的潜在空间代码的位置不受约束。此外，生成具有特定特征的数据可能需要将具有对应的难以获得的标签的数据馈送到生成模型中进行训练。在本文中，为了使数据生成更可控和有效的，定向变化自动编码器（OVAE）提出了约束潜在的空间代码和生成的数据之间的联系的斯皮尔曼相关的形式，它提供了增加控制的数据合成过程。在此基础上，采用重要性抽样方法对潜在空间中的数据进行抽样。两种情况下被认为是测试的OVAE模型的性能：数据集是完全标记的近似信息和数据集是不完全标记，但更准确的信息。实验结果表明，在这两种情况下，OVAE模型相关的潜在空间代码与生成的数据，生成目标样本的效率显着提高。
2023-03-20 cs.LG cs.SY eess.SY
Beyond the Kolmogorov Barrier: A Learnable Weighted Hybrid Autoencoder for Model Order Reduction
Department of Mechanical, Aerospace, and Nuclear Engineering, Rensselaer Polytechnic Institute（机械、航空航天与核工程系，雷士拉尔理工学院）
本文提出可学习加权混合自编码器，通过可学习加权框架融合SVD与深度自编码器以克服柯尔莫哥洛夫障碍，在混沌PDE系统上显著提升降阶建模的泛化性能。
2025-11-05 cs.AI cs.LG physics.comp-ph
Enhancing Traffic Flow Prediction using Outlier-Weighted AutoEncoders: Handling Real-Time Changes
Eindhoven University of Technology（埃因霍温理工大学）
针对交通异常和实时变化，提出OWAM框架，利用自编码器检测异常并生成相关性分数加权邻近传感器数据，实现高效准确的实时交通流预测。
2023-12-27 cs.LG
Robust importance-weighted cross-validation under sample selection bias
Delft University of Technology（代尔夫特理工大学）
原则上，样本选择偏差下的交叉验证可以通过对经验风险进行重要性加权来完成。然而，重要性加权的风险估计产生次优的超参数估计的问题设置中，大的权重出现的概率很高。我们研究了它的采样方差作为训练数据分布的函数，并引入了一个控制变量，以增加其鲁棒性问题大的权重。
2019-08-27 cs.LG stat.ML
A Weighted Autoencoder-Based Approach to Downlink NOMA Constellation Design
Faculty of Technical Sciences University of Novi Sad（诺维萨德大学技术科学学院）；Centre Tecnològic de Telecomunicacions de Catalunya (CTTC/iCERCA)（加泰罗尼亚电信技术中心（CTTC/iCERCA））
本文提出一种加权自编码器框架用于下行NOMA星座设计，通过调整损失权重平衡不同用户错误概率，结合SICNet解码器实现性能显著提升。
2023-06-23 cs.IT cs.LG eess.SP
Effects of sampling skewness of the importance-weighted risk estimator on model selection
Netherlands eScience Center（荷兰电子科学中心）；Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）
重要性加权是一种流行的和研究的技术，用于处理样本选择偏差和协变量偏移。它具有无偏性、一致性和低计算复杂度等优良特性。然而，加权也可能对估计器产生不利影响。在这项工作中，我们的经验表明，抽样分布的重要性加权估计可以偏斜。对于样本选择偏倚设置，以及对于小样本量，重要性加权风险估计量对采样分布主体（即大多数情况）中的数据集产生高估，对采样分布尾部的数据集产生大幅低估。当用于重要性加权验证时，这些对风险的高估和低估导致次优正则化参数。
2018-04-19 cs.LG stat.ML
Recurrent Complex-Weighted Autoencoders for Unsupervised Object Discovery
IDSIA, USI & SUPSI（瑞士人工智能实验室IDSIA、瑞士意大利语区大学、瑞士应用科学与艺术大学）；Google DeepMind（谷歌DeepMind）；KAUST（阿卜杜拉国王科技大学）
提出循环复值权重全卷积自编码器 SynCx，通过迭代约束满足和复值矩阵-向量乘积实现绑定，在无监督物体发现上优于或匹敌现有模型并避免颜色相似物体分组错误。
2024-10-28 cs.LG cs.NE
Learning with Importance Weighted Variational Inference
ESSEC Business School（ESSEC商学院）
本文通过渐近分析比较了IWAE、VR和VR-IWAE边界下的重参数化和双重重参数化梯度估计器，揭示了偏差-方差权衡并证明了DREP的优越性，同时分析了困难区域中梯度估计器的方向合理性。
2026-05-27 cs.LG stat.ML
U-Statistics for Importance-Weighted Variational Inference
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了使用U-统计量来减少重要加权变分推理中梯度估计的方差。关键的观察结果是，给定需要$m > 1$样本和用于估计的全部$n > m$样本的基本梯度估计器，通过对大小为$m$的重叠批次的基本估计器进行平均而不是像目前所做的那样对不相交批次进行平均，可以实现更低的方差。我们使用经典的U-统计量理论来分析方差的减少，并提出了新的近似与理论保证，以确保计算效率。我们发现经验，U-统计方差减少可以导致适度的显着改善推理性能的一系列模型，几乎没有计算成本。
2023-02-27 cs.LG stat.ML
IW-GAE: Importance Weighted Group Accuracy Estimation for Improved Calibration and Model Selection in Unsupervised Domain Adaptation
Northwestern University（西北大学）
针对无监督域适应中的分布偏移，提出重要性加权组精度估计器（IW-GAE），通过优化重要性权重实现准确组精度估计，在模型校准和选择任务上分别提升22%和14%。
2024-07-17 cs.LG stat.ML
Learning under Target Shift: Optimal Density Ratio Estimation and Importance-Weighted Regression
School of Mathematical Sciences, Zhejiang University（浙江大学数学科学学院）
针对连续输出目标偏移问题，提出RKHS谱正则化密度比估计方法，达到极小极大最优速率，并分析其在重要性加权回归中的误差传播，建立有限样本理论。
2026-09-15 cs.LG stat.ML
Importance Weighted Generative Networks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；ASAPP, Inc.（ASAPP公司）；Amazon, Inc.（亚马逊公司）；CognitiveScale（CognitiveScale公司）
深度生成网络可以从复杂的目标分布进行模拟，通过最小化来自该分布的样本的损失。然而，我们通常无法直接访问目标分布-我们的数据可能会受到样本选择偏差的影响，或者可能来自不同但相关的分布。我们提出的方法的基础上的重要性加权，可以估计相对于目标分布的损失，即使我们不能直接访问该分布，在各种设置。这些估计，差异加权数据的损失函数的贡献，提供了理论保证和令人印象深刻的经验表现。
2020-09-06 cs.LG stat.ML
Optimal Variance Control of the Score Function Gradient Estimator for Importance Weighted Bounds
Technical University of Denmark（丹麦技术大学）；University of Copenhagen（哥本哈根大学）；Rigshospitalet, Copenhagen University Hospital（哥本哈根大学医院国立医院）
本文介绍了重要加权变分界（IWAE）的得分函数梯度估计的新结果。我们证明，在大的$K$（重要性样本数）的限制，可以选择控制变量，使信号噪声比（SNR）的估计增长为$\sqrt{K}$。这与标准路径梯度估计器相反，在标准路径梯度估计器中，SNR随着$1/\sqrt{K}$而减小。基于我们的理论研究结果，我们开发了一种新的控制变量，扩展到VIMCO。经验上，对于连续和离散生成模型的训练，所提出的方法产生优异的方差减小，从而导致IWAE的SNR随着$K$而增加，而不依赖于重新参数化技巧。在训练生成模型时，新的估计器与最先进的无重新参数化梯度估计器（如重新加权唤醒-睡眠（RWS）和热力学变分目标（TVO））具有竞争力。
2020-12-08 cs.LG stat.ML
On the Transformation of Latent Space in Autoencoders
Xi’an Jiaotong-Liverpool University（西交利物浦大学）
注意到隐变量在推理和学习中的重要性，我们提出了一种基于隐变量同胚变换的自动编码器框架，该框架可以减少变换空间中向量之间的距离，同时保持原始空间的拓扑属性，并研究了隐空间变换对学习生成模型和去噪损坏数据的影响。实验结果表明，由于变换，我们基于所提出的框架的生成和去噪模型可以比传统的变分和去噪自动编码器提供更好的性能，其中我们根据训练集之间的豪斯多夫距离来评估生成和去噪模型的性能和处理的，即，生成的图像或去噪的图像，这可以客观地测量它们的差异，以及通过直接比较处理后图像的视觉特征。
2019-06-03 cs.LG stat.ML
Anomaly Detection for Unmanned Aerial Vehicle Sensor Data Using a Stacked Recurrent Autoencoder Method with Dynamic Thresholding
The University of Nottingham（诺丁汉大学）
随着航空技术的不断发展，无人机（UAV）越来越多地融入国际商业和军事行动。研究飞机数据的应用对于提高安全性、降低运营成本和开发航空技术的下一个前沿至关重要。由于这些原因，拥有一个可以准确识别飞机异常行为的离群值检测系统至关重要。本文提出了一种系统，该系统将基于长短期记忆（LSTM）深度学习自动编码器的方法与新型动态阈值算法和加权损失函数相结合，用于无人机数据集的异常检测，以促进航空业内利用机器学习和数据分析创新的持续努力。动态阈值和加权损失函数显示出有前途的改进标准的静态阈值的方法，无论是在准确性相关的性能指标和速度的真正的故障检测。
2022-03-09 cs.LG
Weighted Empirical Risk Minimization: Sample Selection Bias Correction based on Importance Sampling
LTCI, Télécom Paris（巴黎电信学院LTCI实验室）；IDEMIA（艾德米亚）
当训练观测值$Z'_1,\; \ldots,\; Z'_n$的分布$P'$不同于人们寻求最小化的风险所涉及的分布$P$时，我们考虑统计学习问题（称为检验分布），但仍然定义在与$P$相同的可测量空间上并支配它。在似然比$Φ(z)=dP/dP'(z)$已知的不现实情况下，可以使用与重要性抽样背后的思想相同的思想将经验风险最小化（ERM）方法直接扩展到该特定的迁移学习设置，通过最小化从具有权重$Φ(Z'_i)$的“有偏”训练数据$Z'_i$计算的经验风险泛函的加权版本。虽然在实践中的重要性函数$Φ(z)$一般是未知的，我们表明，在实践中经常遇到的各种情况下，它采取一种简单的形式，可以直接估计从$Z'_i$的和一些辅助信息的统计人口$P$。通过线性化技术，我们证明了当将$Φ(Z'_i)$的估计插入到加权经验风险中时，上述方法的推广能力是保持的。除了这些理论保证，数值结果提供了强有力的实证证据的相关性，在这篇文章中提出的方法。
2020-02-19 cs.LG stat.ML
Alpha-divergence Variational Inference Meets Importance Weighted Auto-Encoders: Methodology and Asymptotics
University of Oxford（牛津大学）
针对现有基于变分Rényi界的alpha散度最小化算法梯度有偏、缺乏理论保证的问题，提出并研究IWAE界的推广形式VR-IWAE界，证明其重参数化下梯度无偏且流程与VR界一致，给出两种互补理论分析并通过实验验证结论。
2023-07-19 cs.LG stat.ML
Kernel weighted importance sampling for off-policy evaluation in contextual bandits
Institute of Child Health, University College London（伦敦大学学院儿童健康研究所）；Strive Health Ltd.（奋进健康有限公司）；National Institute for Health Research（国家卫生研究院）；University College London, Biomedical Research Council（伦敦大学学院生物医学研究委员会）；Great Ormond Street Hospital（大奥蒙德街医院）；McGill University（麦吉尔大学）
研究上下文博弈离策略评估，提出核加权重要性采样估计器Kernel-WIS，它结合普通加权重要性采样有界性与普通重要性采样线性，渐近一致且优于基线方法，尤其在行为策略错误指定等复杂情况。
2026-08-05 cs.LG
Control Variate Design for Score-Function Gradient Estimators in Importance-Weighted Variational Inference
ESSEC Business School（埃塞克高等商学院）；The University of Sydney Business School（悉尼大学商学院）；Peking University（北京大学）
本文提出了一种改进的VIMCO-$\star$梯度估计器，解决了现有VIMCO估计器在样本数增加时信号噪声比下降的问题，提升了在无重参数化梯度场景下的性能。
2026-10-20 cs.LG stat.ML
Importance Weighted Evolution Strategies
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
进化策略（ES）作为流行的强化学习（RL）技术的可扩展替代方案出现，由于减少了通信开销，当分布在数百个CPU核心时，它提供了几乎完美的加速。尽管在挂钟时间上提供了很大的改进，但与竞争的RL方法相比，ES的数据效率很低。这种低效率的主要原因之一是收集了大量的经验，这些经验在每次策略更新后都会被丢弃。在这项工作中，我们研究了如何执行一个以上的更新，每批经验的重要性抽样，同时保持原有方法的可扩展性。所提出的方法，重要性加权进化策略（IW-ES），显示出良好的效果，是设计高效的ES算法的第一步。
2018-11-12 cs.LG cs.NE stat.ML
Importance Weighted Transfer of Samples in Reinforcement Learning
Politecnico di Milano（米兰理工大学）；INRIA Lille（法国国家信息与自动化研究所里尔分所）；SequeL Team（SequeL团队）
我们认为经验样本的转移（即，在强化学习（RL）中，从一组源任务中收集元组< s，a，s '，r >），以改进给定目标任务中的学习过程。大多数相关的方法集中于选择最相关的源样本来解决目标任务，但是然后使用所有转移的样本，而不再考虑任务模型之间的差异。在本文中，我们提出了一种基于模型的技术，自动估计的相关性（重要性权重）的每个源样本解决目标任务。在所提出的方法中，所有的样本都被转移，并由一个批处理RL算法来解决目标任务，但它们对学习过程的贡献与它们的重要性权重成正比。通过扩展监督学习文献中提供的重要性加权的结果，我们开发了一个有限样本分析所提出的批量RL算法。此外，我们经验比较所提出的算法，以国家的最先进的方法，表明它实现了更好的学习性能，是非常强大的负迁移，即使当一些源任务是显着不同的目标任务。
2018-05-28 cs.LG stat.ML
