Don't Blame the ELBO! A Linear VAE Perspective on Posterior Collapse
University of Toronto(多伦多大学);Google Brain(谷歌大脑)
当变分后验分布与潜变量子集的先验分布紧密匹配时,变分自编码器(VAE)中的后验崩溃就会出现。本文通过分析线性VAE及其与概率PCA(pPCA)的直接对应关系,提出了一个简单而直观的解释后塌陷。我们解释后崩溃可能会发生在pPCA由于局部最大值的对数边际似然。出乎意料的是,我们证明了ELBO目标的线性VAE不引入额外的虚假局部最大值相对于对数边际似然。我们进一步表明,训练一个线性VAE与精确变分推理恢复一个可识别的全局最大值对应的主成分方向。从经验上讲,我们发现,我们的线性分析是预测性的,即使是高容量,非线性VAE,并有助于解释观察噪声,局部最大值,和后崩溃深高斯VAE之间的关系。
2019-11-06 cs.LG stat.ML
Towards Better Data Augmentation using Wasserstein Distance in Variational Auto-encoder
National University of Singapore(新加坡国立大学);Singapore Management University(新加坡管理大学)
变分自动编码器(VAE)将数据压缩成潜在属性,并生成不同种类的新数据。基于KL散度的VAE被认为是一种有效的数据增强技术。在本文中,我们提出了使用Wasserstein距离作为潜在属性的分布相似性的度量,并显示其优越的理论下限(ELBO)相比,KL分歧在温和的条件下。通过多个实验,我们证明了新的损失函数具有更好的收敛性,并产生人工图像,可以更好地帮助图像分类任务。
2022-08-16 cs.LG
The ELBO of Variational Autoencoders Converges to a Sum of Three Entropies
Ruhr University Bochum(波鸿鲁尔大学);Frankfurt University of Applied Sciences(法兰克福应用科学大学);University of Oldenburg(奥尔登堡大学);Spotify
研究证明标准高斯VAE的ELBO在驻点处收敛于先验分布、可观测分布和变分分布的三个熵之和,提供了精确的解析证明,并探讨了该结果对分析VAE学习行为的意义。
2023-04-20 cs.LG stat.ML
Balancing Reconstruction Quality and Regularisation in ELBO for VAEs
University of Oxford(牛津大学);Imperial College London(伦敦帝国学院)
在重建质量和变分自编码器(VAE)模型用于学习的证据下限(ELBO)损失中的先验正则化之间存在折衷。很少有令人满意的方法来处理先验和重建目标之间的平衡,大多数方法都是通过几何学来处理这个问题的。在本文中,我们证明了高斯似然p(x)中的噪声方差(通常设置为固定值)|z)可以自然地用于提供这种平衡。通过学习这个噪声方差,以最大限度地提高ELBO损失,我们自动获得重建误差和先验约束之间的最佳权衡后验。这个方差可以直观地解释为当前模型对观测数据集的最佳解释所必需的噪声水平。此外,通过允许方差推断更灵活,它可以方便地用作重构或生成的样本的不确定性估计器。我们证明了优化噪声方差是VAE学习的关键组成部分,并展示了MNIST,Fashion MNIST和CelebA数据集的性能。我们发现我们的方法可以显着提高生成的样本的质量,同时保持一个光滑的潜在空间流形来表示数据。该方法还提供了在最终生成模型的不确定性的指示。
2019-09-09 cs.CV cs.LG stat.ML
A Score-Based Density Formula, with Applications in Diffusion Generative Models
The Chinese University of Hong Kong(香港中文大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文通过建立连续时间扩散过程的密度公式,揭示了目标密度与分数函数的关系,并证明ELBO优化目标与真实目标的最小化点几乎一致,为DDPM等扩散生成模型的训练提供了理论基础。
2024-08-29 cs.AI cs.LG math.PR
The Variational InfoMax AutoEncoder
University of Stirling(斯特灵大学)
变分自编码器(VAE)同时学习推理和生成模型,但这些模型中只有一个可以在最佳情况下学习,该行为与ELBO学习目标相关联,该ELBO学习目标由非信息生成器优化。为了解决这个问题,我们提供了一个学习目标,学习一个最大的信息生成器,同时保持有界的网络容量:变分InfoMax(VIM)。VIM推导的贡献是双重的:一个目标学习的最佳推理和生成模型和网络容量的明确定义,网络鲁棒性的估计。
2020-11-08 cs.LG stat.ML
The Thermodynamic Variational Objective
University of British Columbia(不列颠哥伦比亚大学);MIT(麻省理工学院)
我们引入了热力学变分目标(TVO),用于连续和离散深度生成模型的学习。TVO产生于变分推理和热力学积分之间的关键连接,其导致比标准变分变分证据下限(ELBO)更严格的对数边际似然下限,同时保持广泛适用。我们提供了一个计算效率的梯度估计的TVO,适用于连续的,离散的,和非reparameterizable分布,并表明变分推理,变分自编码器,唤醒睡眠和推理编译中使用的目标函数都是特殊情况下的TVO。我们使用TVO来学习离散和连续的深度生成模型,并以经验证明最先进的模型和推理网络学习。
2021-04-07 cs.LG stat.ML
Generalized Variational Inference: Three arguments for deriving new Posteriors
The Alan Turing Institute(艾伦·图灵研究所);University of Warwick(华威大学)
我们提倡以优化为中心的观点,并介绍了一种新的概括贝叶斯推断。我们的灵感来自于将贝叶斯规则表示为无限维优化问题(Csiszar,1975; Donsker and Varadhan; 1975; Zellner; 1988)。首先,我们用它来证明一个最优性结果的标准变分推断(VI):在所提出的观点,标准的证据下限(ELBO)最大化VI后验是更可取的替代近似的贝叶斯后验。接下来,我们主张推广标准的贝叶斯推断。在现实与标准贝叶斯推断的三个基本假设之间严重不一致的情况下,需要这样做:(1)明确指定的先验,(2)明确指定的似然,(3)无限计算能力的可用性。我们的推广解决了这些缺点,有三个参数,被称为三规则(RoT)。我们推导出公理和恢复现有的后验作为特殊情况下,包括贝叶斯后验和其近似标准VI。相反,基于替代ELBO类目标的近似违反了公理。最后,我们研究了RoT的一种特殊情况,我们称之为广义变分推断(GVI)。GVI后验是由三个参数指定的一个大而易处理的信念分布族:损失,发散和变分族。GVI后验具有吸引人的性质,包括一致性和近似ELBO的解释。文章的最后一部分探讨了GVI在流行的机器学习模型中的一些有吸引力的应用,包括鲁棒性和更合适的边缘。在推导出GVI后验的黑盒推理方案后,研究了它们在贝叶斯神经网络和深度高斯过程上的预测性能,其中GVI可以全面改进现有方法。
2019-12-12 cs.AI cs.LG stat.ML
On the Equality of the ELBO to a Sum of Entropies at Stationary Points of Learning
University of Oldenburg(奥尔登堡大学)
本研究证明了对于一大类指数族生成模型,变分下界(ELBO)在学习的所有不动点处等于三项熵之和,前提条件宽松,涵盖标准高斯VAE等众多模型,为理解无监督学习收敛特性提供了理论支撑。
2026-09-03 cs.IT cs.LG math.IT
Learning Sparse Codes with Entropy-Based ELBOs
University of Oldenburg(奥尔登堡大学);Ruhr University Bochum(鲁尔大学波鸿分校)
本文为标准概率稀疏编码推导仅基于熵的完全解析 ELBO,支持非平凡后验与原则性退火,并通过数值实验验证其学习效果。
2024-04-09 cs.LG stat.ML
ContrastVAE: Contrastive Variational AutoEncoder for Sequential Recommendation
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Salesforce(赛富时)
顺序推荐是一种利用用户行为序列中丰富信息的推荐方法,在实际推荐系统中得到了广泛的应用。然而,目前的方法存在以下问题:1)用户-项目交互的稀疏性,2)顺序记录的不确定性,3)长尾项目。在本文中,我们建议将对比学习纳入变分自编码器的框架中,以同时应对这些挑战。首先,我们介绍了一种新的训练目标,将传统的单视图ELBO扩展到双视图的情况下,并从理论上建立了VAE和对比学习之间的连接从双视图的角度。然后,我们提出了对比变分自编码器(简称ContrastVAE),一个两分支的VAE模型与对比正则化作为一个实施例的ContrastELBO顺序推荐。我们进一步介绍了两个简单而有效的增强策略,命名为模型增强和变分增强,以创建一个序列的第二个视图,从而使对比学习成为可能。在四个基准数据集上的实验证明了ContrastVAE和所提出的增强方法的有效性。代码可在https://github.com/YuWang-1024/ContrastVAE上获得
2022-12-05 cs.IR cs.LG
Physics Informed Deep Kernel Learning
University of Utah(犹他大学)
深度核学习是深度神经网络和非参数函数学习的一种很有前途的组合。然而,作为一种数据驱动的方法,深度内核学习的性能仍然会受到数据稀缺或不足的限制,特别是在外推任务中。为了解决这些限制,我们提出了物理信息深度内核学习(PI-DKL),它利用了由具有潜在源的微分方程表示的物理知识。具体来说,我们使用后验函数样本的高斯过程作为替代的微分方程的解决方案,并构建一个生成组件集成的方程在一个原则贝叶斯混合框架。为了高效和有效的推理,我们边缘化的联合概率中的潜在变量,并推导出一个崩溃的模型证据下界(ELBO),在此基础上,我们开发了一个随机模型估计算法。我们的ELBO可以被看作是一个很好的,可解释的后验正则化目标。在合成数据集和实际应用中,我们展示了我们的方法在预测精度和不确定性量化方面的优势。
2022-01-18 cs.LG stat.ML
Filtering Variational Objectives
DeepMind;University of Oxford(牛津大学);Google Brain(谷歌大脑)
当用作潜在变量模型中最大似然估计的替代目标时,证据下限(ELBO)产生最先进的结果。受此启发,我们认为ELBO扩展到一个家庭的下界定义的粒子滤波器的估计的边际似然,过滤变分目标(FIVO)。FIVO采用与ELBO相同的参数,但可以利用模型的顺序结构来形成更严格的边界。我们目前的结果,相关的紧密性FIVO的约束的粒子滤波器的估计量的方差考虑的一般情况下定义为对数变换的似然估计的界限。在实验中,我们表明,与使用ELBO在序列数据上训练相同的模型架构相比,使用FIVO进行训练会产生实质性的改进。
2017-11-12 cs.AI cs.LG cs.NE
Cauchy-Schwarz Regularized Autoencoder
Imperial College London(帝国理工学院);Facebook AI Applied Research(Facebook人工智能应用研究部);University College London(伦敦大学学院)
无监督学习最近的工作集中在潜在变量模型的有效推理和学习。通过最大化证据(边际似然)来训练这些模型通常是棘手的。因此,一个常见的近似是最大化证据下限(ELBO)。变分自编码器(VAE)是一类功能强大且广泛使用的生成模型,其针对大型数据集有效地优化ELBO。然而,VAE的默认高斯先验选择对其表示真实后验的能力施加了强约束,从而降低了整体性能。高斯混合模型(GMM)将是一个更丰富的先验,但不能有效地处理VAE框架内,因为GMM的Kullback-Leibler发散的棘手性。我们偏离了常见的VAE框架,有利于高斯混合先验的解析解。为了对GMM先验进行有效的推断,我们引入了一个新的基于Cauchy-Schwarz散度的约束目标,该目标可以解析地计算GMM。这个新的目标使我们能够将更丰富的,多模态的先验信息纳入自动编码框架。我们提供了一系列的数据集的实证研究,并表明我们的目标提高了变分自动编码模型的密度估计,无监督聚类,半监督学习,和人脸分析。
2021-02-12 cs.CV cs.LG
Generative Augmentation of Imbalanced Flight Records for Flight Diversion Prediction: A Multi-objective Optimisation Framework
Control and Operations, Faculty of Aerospace Engineering, Delft University of Technology (TU Delft)(控制与运营,航空航天工程学院,代尔夫特理工大学)
本文提出多目标优化框架,利用生成模型增强历史航班数据,提升航班改道预测的准确性和模型训练效果。
2026-07-21 cs.LG
Deep Dive into Semi-Supervised ELBO for Improving Classification Performance
Agency Lab(机构实验室);Independent University Bangladesh(孟加拉国独立大学)
对VAE用于密度估计的证据下限(ELBO)目标进行分解,揭示了VAE用于表示学习的不足,并提出了改进方法。在本文中,我们研究是否可以通过使用VAE模型分解ELBO进行半监督分类来获得类似的见解。具体来说,我们表明,输入和类标签之间的互信息减少ELBO目标的最大化。我们提出了一种方法来解决这个问题。我们还强制集群假设,以帮助分类。在不同数据集上的实验表明,该方法可以提高现有基于VAE的半监督模型的分类性能。实验还表明,这可以在不牺牲模型生成能力的情况下实现。
2022-11-21 cs.LG
Diffusion Bridge Variational Inference for Deep Gaussian Processes
RIKEN AIP;Columbia University(哥伦比亚大学)
本文提出DBVI,通过学习的数据依赖初始分布改进DDVI,提升大规模深度高斯过程的推断效率和准确性。
2026-02-12 cs.LG
DiffPTS: Rethinking Diffusion ELBO for Probabilistic Time Series Forecasting
DiffPTS通过重新推导位置-尺度噪声模型下的ELBO,提出统一联合训练目标,实现端到端优化,在概率时间序列预测中平均CRPS/MSE降低超14.53%/16.55%。
2026-10-15 cs.AI cs.LG
Generalized Multimodal ELBO
ETH Zurich(苏黎世联邦理工学院)
在描述现实世界的现象时,多种数据类型自然会同时出现,从中学习是机器学习研究的一个长期目标。然而,现有的自监督生成模型近似ELBO是无法满足所有期望的要求的多模态模型:其后验近似函数导致语义一致性和学习联合数据分布的能力之间的权衡。我们提出了一个新的,广义ELBO制定多模态数据,克服了这些限制。新的目标包括两个以前的方法作为特殊情况,并结合他们的好处,而不妥协。在广泛的实验中,我们证明了所提出的方法相比,最先进的模型在自我监督,生成学习任务的优势。
2021-06-25 cs.LG stat.ML
What Does a Discrete Diffusion Model Learn? One Reverse Process in Three Coordinates
ETH Zurich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems, Tübingen(图宾根马克斯·普朗克智能系统研究所);ELLIS Institute Tübingen(图宾根ELLIS研究所)
研究离散扩散模型学到了什么,通过严格推导连续时间马尔可夫链(CTMC)的ELBO,证明了Oracle Distance定理,给出其唯一优化器及不可约成本,还分析了有token分解噪声序列的情况。
2026-10-15 cs.AI cs.CL cs.IT
InfoNCE is variational inference in a recognition parameterised model
University of Bristol(布里斯托大学)
本文证明 InfoNCE 目标等价于识别参数化模型中的 ELBO,并从 VAE 视角为 InfoNCE 提供了比互信息更合理的理论动机。
2023-08-10 cs.LG stat.ML
DiffEnc: Variational Diffusion with a Learned Encoder
Copenhagen University Hospital(哥本哈根大学医院)
DiffEnc 通过引入数据与深度相关的均值函数及可调噪声方差比,改进扩散模型,在 CIFAR-10 上显著提升似然,并提供了有限与无限深度层级下的理论分析。
2024-02-08 cs.CV cs.LG stat.ML
Onsager-Machlup Posterior Transport for Deep Gaussian Processes
RIKEN iTHEMS(日本理化学研究院iTHEMS研究中心);RIKEN AIP(日本理化学研究院AIP研究中心);South China University of Technology(华南理工大学);Columbia University(哥伦比亚大学)
提出OM-Path方法,通过概率流ODE和Onsager-Machlup路径正则化将深度高斯过程推断转化为后验传输,在大型UCI数据集上优于现有变分推断方法。
2026-06-25 cs.LG
InfoCatVAE: Representation Learning with Categorical Variational Autoencoders
INRIA(法国国家信息与自动化研究所);ENS(巴黎高等师范学院);Telecom ParisTech(巴黎高等电信学院);Safran(赛峰集团)
本文介绍了InfoCatVAE,一个扩展的变分自编码器,使无监督的解开表示学习。InfoCatVAE为先验和推理网络使用多模态分布,然后最大化证据下限目标(ELBO)。我们将新的ELBO模型与自然软聚类目标连接起来,这解释了我们方法的鲁棒性。然后,我们调整InfoGANs方法以适应我们的设置,以最大化分类代码和生成的输入之间的互信息,并获得改进的模型。
2018-06-25 cs.LG stat.ML
Score Augmentation for Diffusion Models
针对扩散模型在数据受限时的过拟合问题,提出新型数据增强框架 ScoreAug,通过对含噪数据进行变换并设定等变学习目标,有效缓解过拟合并提升性能。
2025-08-11 cs.LG
Aligning Diffusion Language Models via Unpaired Preference Optimization
LinkedIn Corporation(LinkedIn公司);University of California San Diego(加州大学圣地亚哥分校)
针对扩散语言模型(dLLMs)难以与人类偏好对齐的问题,提出ELBO-KTO方法,结合ELBO替代项和无配对偏好目标,在LLaDA-8B-Instruct上提升了偏好对齐性能,证明无配对优化的可行性。
2025-11-12 cs.AI cs.LG
Learning the Regularization Strength for Deep Fine-Tuning via a Data-Emphasized Variational Objective
Tufts University(塔夫茨大学)
本文提出一种基于改进证据下界(ELBo)目标的方法,直接在完整训练集上学习深度微调的正则化超参数,避免了网格搜索的计算开销、验证集划分和候选值设定,在图像分类任务中以更少计算时间达到与现有方法相当的准确率。
2025-01-24 cs.LG stat.ML
A Survey on Data Augmentation in Large Model Era
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院)
本文综述大模型驱动的数据增强方法,按图像、文本和配对数据分类,梳理后处理技术、跨领域应用、成效与局限,并展望挑战和未来方向。
2024-03-04 cs.CL cs.CV cs.LG
Boundary-Guided Policy Optimization for Memory-efficient RL of Diffusion Large Language Models
Tsinghua University(清华大学)
针对扩散大语言模型中似然函数难以处理导致强化学习内存开销大的问题,提出边界引导策略优化(BGPO),通过构造满足线性和等价性的下界实现内存高效训练,在数学求解、代码生成和规划任务中显著优于现有方法。
2026-05-29 cs.AI cs.CL cs.LG
Optimizing Data Augmentation through Bayesian Model Selection
KAUST(卡斯土尼亚和布尔班大学);Huawei Paris Research Center(华为巴黎研究中心);UiT The Arctic University of Norway(UiT北极大学);Aalto University(艾尔沃斯大学)
本文提出通过贝叶斯模型选择优化数据增强,提升模型鲁棒性和泛化能力。
2026-03-03 cs.LG stat.ML
On the Natural Gradient of the Evidence Lower Bound
Hamburg University of Technology(汉堡工业大学);Santa Fe Institute(圣菲研究所);Leipzig University(莱比锡大学)
本文研究证据下界(ELBO)的自然梯度,发现无约束优化下证据与ELBO间隙的自然梯度本质为零,ELBO最大化等价于最小化与目标分布的KL散度,还推导了约束在模型内时该等价性成立的条件并通过柱形模型形式化其几何刻画。
2025-10-01 cs.LG math.ST stat.ML
Geometric Convergence Analysis of Variational Inference via Bregman Divergences
MBZUAI, Abu Dhabi, UAE(马克斯·普朗克智能系统研究所,阿布扎比,阿联酋);OIST, Okinawa, Japan(海洋研究所,冲绳,日本)
本文利用指数族结构将负ELBO表示为Bregman散度,建立弱单调性,并基于Fisher信息矩阵谱特征证明梯度下降在常数和递减步长下的非渐近收敛速率。
2025-10-17 cs.LG stat.ML
GDSD: Reinforcement Learning as Guided Denoiser Self-Distillation for Diffusion Language Models
UCL Dept. of Statistical Science(伦敦大学学院统计科学系);UCL Centre for AI(伦敦大学学院人工智能中心);Alibaba Group(阿里巴巴集团);Dept. of EEE(电子工程系);Imperial College London(伦敦帝国理工学院);UNIST(全南大学);University of Basel(巴塞尔大学)
提出引导去噪器自蒸馏(GDSD)方法,通过从逆KL正则化强化学习的闭式最优解中导出的优势引导自教师直接蒸馏扩散语言模型的去噪器,避免了ELBO似然代理带来的训练-推理不匹配偏差,在规划、数学和代码基准上显著优于现有方法。
2026-05-28 cs.AI cs.LG
A Surprisingly Effective Fix for Deep Latent Variable Modeling of Text
Carnegie Mellon University(卡内基梅隆大学);University of California San Diego(加州大学圣地亚哥分校)
经过有效训练后,变分自编码器(VAE)既是一个强大的语言模型,也是一个有效的表示学习框架。然而,在实践中,VAE是用证据下限(ELBO)作为难以处理的边缘数据可能性的替代目标来训练的。这种训练方法产生不稳定的结果,经常导致灾难性的局部最优,称为后崩溃。在本文中,我们研究了一个简单的固定后塌陷,产生令人惊讶的有效结果。当与先前的最先进的方法相比时,先前仅孤立地考虑的两个已知的推理的组合实质上改进了保持似然、重建和潜在的表示学习。更有趣的是,虽然我们的实验证明了这些原则评估的优越性,但我们的方法获得了更差的ELBO。我们使用这些结果来论证VAE的典型替代目标可能不足以或不一定适合平衡表示学习和数据分布建模的目标。
2019-09-02 cs.CL cs.LG stat.ML
Transferring Deep Reinforcement Learning with Adversarial Objective and Augmentation
National Taiwan University(台湾大学)
在过去的几年里,深度强化学习已被证明可以解决视频游戏或棋盘游戏等复杂状态的问题。智能代理的下一步将能够在任务之间进行概括,并利用先前的经验更快地学习新技能。然而,目前大多数强化学习算法即使在面对非常相似的目标任务时也经常遭受灾难性遗忘。我们的方法使智能体能够从单个源任务中概括知识,并在面对新任务时使用半监督学习方法来提高学习进度。我们在Atari游戏上评估了这种方法,这是一种流行的强化学习基准,并表明它优于基于预训练和微调的常见基线。
2018-09-04 cs.LG stat.ML
Regularising for invariance to data augmentation improves supervised learning
DeepMind(深度思维)
数据增强用于机器学习中,以使分类器对标签保持变换不变。通常,这种不变性仅通过在训练期间包括单个增强输入来隐含地鼓励。然而,最近有几项工作表明,每个输入使用多个增广可以提高泛化能力,或者可以用来更明确地纳入不变性。在这项工作中,我们首先从经验上比较这些最近提出的目标,这些目标的不同之处在于它们是否依赖于显式或隐式正则化,以及它们在什么水平上编码不变性的预测。我们表明,预测的最佳性能的方法也是最相似的,当比较不同的扩增相同的输入。受此观察的启发,我们提出了一个明确的正则化,鼓励这种不变性的水平上的个别模型的预测。通过在CIFAR-100和ImageNet上的大量实验,我们证明了这种显式正则化器(i)提高了泛化能力,(ii)均衡了所有考虑的目标之间的性能差异。我们的研究结果表明,鼓励神经网络本身水平上的不变性的目标比那些通过平均非不变模型的预测来实现不变性的目标更好地推广。
2022-03-07 cs.LG stat.ML
The Penalty Imposed by Ablated Data Augmentation
Google(谷歌)
有一组数据增强技术可以随机消融部分输入。这些包括输入丢失、切断和随机擦除。我们称这些技术为消融数据增强。虽然这些技术在精神上看起来相似,并且在各种领域都成功地提高了模型性能,但我们还没有像对L1或L2等其他正则化技术那样对这些技术之间的差异有数学上的理解。首先,我们研究了线性回归的平均消融数据增强和倒辍学的形式化模型。我们证明,消融数据增强相当于优化普通最小二乘目标,以及一个惩罚,我们称之为贡献协方差惩罚和倒dropout,一个更常见的实现比流行的框架中的dropout,相当于优化普通最小二乘目标以及修改L2。对于深度网络,如果我们将贡献替换为属性,将系数替换为平均梯度,我们将证明结果的经验版本,即,贡献协方差惩罚和修正的L2惩罚随着各种网络上相应的消融数据增强的增加而下降。
2020-06-08 cs.LG stat.ML
Contrastive Representation Learning with Trainable Augmentation Channel
Preferred Networks, Inc.(Preferred Networks公司);University of Oxford(牛津大学)
在对比表示学习中,训练数据表示,以便即使图像被增强改变,它也可以对图像实例进行分类。然而,根据数据集的不同,一些增强可能会损坏图像的信息,使其无法识别,并且这种增强可能会导致崩溃的表示。我们提出了一个部分解决这个问题的形式化的随机编码过程中,存在一个拔河之间的数据损坏所引入的扩增和编码器保存的信息。我们表明,基于此框架的infoMax目标,我们可以学习数据依赖的增强分布,以避免表示的崩溃。
2021-11-15 cs.LG stat.ML
A systematic approach to random data augmentation on graph neural networks
Technische Universität Kaiserslautern(凯泽斯劳滕工业大学);Technische Universität Darmstadt(达姆施塔特工业大学)
随机数据扩充(RDAs)是关于可证明通用的实用图神经网络的最新技术。现有的RDA在术语、方法、基准和评价指标方面存在很大差异。这不仅使从业者越来越难以决定将哪种技术应用于给定的问题,而且还阻碍了系统的改进。我们提出了一个新的综合框架,捕捉所有以前的RDA技术。在理论方面,除其他结果外,我们正式证明,在自然条件下,我们的框架的所有实例是普遍的。在实践方面,我们开发了一种方法来系统和自动训练RDA。这反过来又使我们能够公正和客观地比较所有现有的RDA。新的RDA自然会从我们的方法中产生,我们的实验表明它们改进了最先进的技术。
2022-03-21 cs.AI cs.LG stat.ML
Reinforcement Learning with Euclidean Data Augmentation for State-Based Continuous Control
University of South Carolina(南卡罗来纳大学)
针对基于状态的连续控制,提出基于欧几里得对称性的数据增强方法,用肢体配置替代关节配置作为状态特征,在广泛连续控制任务上显著提升数据效率与渐近性能。
2024-10-16 cs.AI cs.LG
Sparse Data Augmentation for Optimization with Provable Guarantees
Harvard John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰·A·保尔森工程与应用科学学院)
针对几何机器学习中数据增强计算昂贵的问题,提出用固定稀疏变换样本近似完全增强,证明梯度下降在更少查询下达到ε-稳定点,优于完全增强GD和group-SGD。
2026-09-18 cs.AI cs.LG math.OC
Adaptive Data Augmentation for Thompson Sampling
Department of Artificial Intelligence(人工智能系)
本文针对线性上下文老虎机提出一种近乎极小极大最优的汤普森采样方法,通过自适应增强与耦合假设样本的新估计器,无需上下文分布假设即可准确预测奖励,实证性能显著优于现有方法。
2025-06-17 cs.LG stat.ML
CutDepth:Edge-aware Data Augmentation in Depth Estimation
Panasonic(松下公司);Chubu University(中部大学)
在单目深度估计中难以大规模地收集数据,因为该任务需要同时获取RGB图像和深度。因此,数据增强对这项任务很重要。然而,对于诸如单目深度估计之类的任务的数据增强的研究很少,其中变换是逐像素执行的。在本文中,我们提出了一个数据增强方法,称为CutDepth。在CutDepth中,部分深度在训练期间被粘贴到输入图像上。该方法在不破坏边缘特征的情况下扩展了变异数据。客观和主观实验表明,该方法优于传统的数据增强方法。即使在长距离处存在很少的训练数据,使用CutDepth也提高了估计精度。
2021-07-16 cs.AI cs.CV cs.LG
Recursive Learning of Asymptotic Variational Objectives
KTH Royal Institute of Technology(瑞典皇家理工学院)
针对状态空间模型的在线变分推断,提出OSIWAE方法,通过随机逼近最大化渐近对比函数的IWAE型下界,结合SMC近似后验,实现参数与识别模型的联合在线学习,并具备理论保证与数值验证。
2024-11-04 cs.LG stat.CO stat.ML
Simple Contrastive Graph Clustering
National University of Defense Technology(国防科技大学)
对比学习最近在深度图聚类中引起了大量关注,因为它有很好的性能。然而,复杂的数据增强和耗时的图卷积运算削弱了这些方法的效率。针对这一问题,本文提出了一种简单对比图聚类(SCGC)算法,从网络结构、数据增强和目标函数等方面对现有方法进行了改进。至于架构,我们的网络包括两个主要部分,即,预处理和网络骨干。一个简单的低通去噪操作进行邻居信息聚合作为一个独立的预处理,只有两个多层感知器(MLP)作为骨干。对于数据增强,我们不需要在图上引入复杂的操作,而是通过设计参数非共享的连体编码器和直接破坏节点嵌入来构造同一顶点的两个增强视图。最后,在目标函数方面,为了进一步提高聚类性能,设计了一种新的跨视图结构一致性目标函数,以增强学习网络的区分能力。在七个基准数据集上的实验结果验证了该算法的有效性和优越性。值得注意的是,我们的算法优于最近的对比深度聚类竞争对手,平均加速至少7倍。
2022-06-26 cs.AI cs.LG
DAC-MR: Data Augmentation Consistency Based Meta-Regularization for Meta-Learning
Xi’an Jiaotong University(西安交通大学)
提出DAC-MR,通过数据增强一致性编码不变性作为元知识,构建元正则化目标,以改善噪声、稀疏或缺失元数据下的元学习泛化性能,并在10个任务上验证有效性。
2023-05-13 cs.AI cs.CV cs.LG
Evolution Is All You Need: Phylogenetic Augmentation for Contrastive Learning
University of Toronto(多伦多大学);Vector Institute(向量研究所)
生物序列嵌入的自监督表示学习消除了下游任务的计算资源约束,同时避免了昂贵的实验标签获取。然而,现有的方法大多直接借用为NLP设计的大型语言模型,而不是考虑到生物信息学哲学。最近,对比互信息最大化方法已经为ImageNet实现了最先进的表示。在这篇观点文章中,我们讨论了如何将进化视为自然序列增强和最大化系统发育“噪声通道”中的信息,这是预训练编码器的生物学和理论上理想的目标。我们首先提供了一个回顾目前的对比学习文献,然后提供了一个说明性的例子,我们表明,使用进化增强的对比学习可以被用来作为一个代表性的学习目标,最大限度地提高生物序列和它们的保守功能之间的互信息,最后概述这种方法的基本原理。
2020-12-25 cs.LG cs.NE q-bio.BM
Active Tabular Augmentation via Policy-Guided Diffusion Inpainting
Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
本文提出TAP方法,结合扩散修复与轻量策略,提升表格增强的实用性和安全性,在数据稀缺情况下提升分类准确率和回归性能。
2026-05-11 cs.AI cs.LG
Model Patching: Closing the Subgroup Performance Gap with Data Augmentation
Stanford University(斯坦福大学)
机器学习中的分类器在部署时通常是脆弱的。特别令人关注的是在一类的特定子组上具有不一致性能的模型,例如,在存在或不存在假绷带的情况下显示出皮肤癌分类的差异。为了减轻这些性能差异,我们引入了模型修补,一个两阶段的框架,用于提高鲁棒性,鼓励模型是不变的子群差异,并专注于类信息共享的子群。模型修补首先对类内的子组特征进行建模,并学习它们之间的语义转换,然后用故意操纵子组特征的数据增强训练分类器。我们使用CAMEL实例化模型修补,CAMEL(1)使用CycleGAN来学习类内,子组间的增强,以及(2)使用理论激励的子组一致性正则化器平衡子组性能,并伴有新的鲁棒目标。我们在3个基准数据集上证明了CAMEL的有效性,相对于最佳基线,稳健误差减少了33%。最后,CAMEL成功地修补了一个由于真实世界皮肤癌数据集上的虚假特征而失败的模型。
2020-08-15 cs.AI cs.CV cs.LG
Adversarial Auto-Augment with Label Preservation: A Representation Learning Principle Guided Approach
University of Science Technology of China(中国科学技术大学);University of Maryland College Park(马里兰大学帕克分校);JD Explore Academy(京东探索研究院);The University of Sydney(悉尼大学)
数据增强是深度学习成功的关键因素,但严重依赖于并不总是可用的先验领域知识。关于自动数据增强的最新工作学习形成增强操作序列的策略,其仍然是预定义的并且受限于有限的选项。在本文中,我们表明,一个先验自由的自主数据增强的目标可以来自表示学习原则,旨在保持最低限度的充分信息的标签。给定一个例子,目标旨在创建一个遥远的“硬阳性例子”作为增强,同时仍然保留原始标签。然后,我们提出了一个实际的替代目标,可以有效地优化和无缝集成到现有的方法,为广泛的一类机器学习任务,例如,监督、半监督和噪声标签学习。与以前的工作不同,我们的方法不需要训练额外的生成模型,而是利用最终任务模型的中间层表示来生成数据增强。在实验中,我们表明,我们的方法从效率和最终性能两方面始终如一地为上述三个学习任务带来了非平凡的改进,无论是否与强预定义增强相结合,例如,在医学图像上,当领域知识不可用并且现有的增强技术表现不佳时。代码可在以下网址获得:https://github.com/kai-wen-yang/LPA3}{https://github.com/kai-wen-yang/LPA3.
2022-11-02 cs.CV cs.LG
Data augmentation for learning predictive models on EEG: a systematic comparison
Université Paris-Saclay(巴黎萨克雷大学);Inria(法国国家信息与自动化研究所);CEA(法国原子能和替代能源委员会)
目的:近年来,深度学习在脑电图(EEG)分类任务中的应用迅速增长,但其应用受到EEG数据集相对较小的限制。数据增强包括在训练期间人为地增加数据集的大小,可以用来缓解这个问题。虽然在文献中已经提出了一些EEG数据的增强变换,但它们对性能的积极影响通常在单个数据集上进行评估,并与一种或两种竞争增强方法进行比较。这项工作提出了更好地验证现有的数据增强方法,通过统一和详尽的分析。方法:我们使用三种不同类型的实验,定量比较了13种不同的增强与两种不同的预测任务,数据集和模型。主要结果:我们证明,采用足够的数据增强可以带来高达45%的精度提高低数据制度相比,相同的模型训练没有任何增强。我们的实验还表明,没有单一的最佳增强策略,因为每个任务的良好增强都不同。重要性:我们的研究结果突出了睡眠阶段分类和运动想象脑机接口考虑的最佳数据增强。更广泛地说,它表明EEG分类任务受益于足够的数据增强
2022-11-15 cs.AI cs.LG eess.SP
RenyiCL: Contrastive Representation Learning with Skew Renyi Divergence
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
对比表征学习试图通过估计数据的多个视图之间的共享信息来获得有用的表征。在这里,数据增强的选择对学习表示的质量很敏感:随着数据增强的应用,视图共享更多的任务相关信息,但也与任务无关,这可能会阻碍表示的泛化能力。基于此,我们提出了一种新的鲁棒对比学习方案,称为RényiCL,它可以通过利用Rényi发散来有效地管理更难的增强。我们的方法是建立在Rényi散度的变分下界上的,但是由于方差很大,变分方法的天真使用是不切实际的。为了应对这一挑战,我们提出了一个新的对比目标,该目标对偏斜Rényi分歧进行变分估计,并为偏斜分歧的变分估计如何导致稳定的训练提供理论保证。我们表明,Rényi对比学习目标执行先天的硬负采样和容易的正采样,同时,它可以选择性地学习有用的功能,忽略讨厌的功能。通过在ImageNet上的实验,我们证明了具有更强增强的Rényi对比学习优于其他自监督方法,而无需额外的正则化或计算开销。此外,我们还验证了我们的方法在其他领域,如图形和表格,显示经验增益比其他对比方法。
2023-01-17 cs.LG stat.ML
Adapting BERT for Word Sense Disambiguation with Gloss Selection Objective and Example Sentences
Nanyang Technological University(南洋理工大学)
使用预先训练的语言模型(例如BERT)的领域自适应或迁移学习已被证明是许多自然语言处理任务的有效方法。在这项工作中,我们建议制定词义消歧作为一个相关性排名任务,并微调BERT序列对排名任务,以选择最可能的意义定义给定的上下文句子和候选意义定义的列表。我们还介绍了一个数据增强技术的WSD使用现有的例子从WordNet的句子。使用所提出的训练目标和数据增强技术,我们的模型能够在英语全词基准数据集上获得最先进的结果。
2020-10-01 cs.CL cs.LG
Boosting Automatic Exercise Evaluation Through Musculoskeletal Simulation-Based IMU Data Augmentation
AI for Sensor Data Analytics Research Group, Ulm University of Applied Sciences(乌尔姆应用科学大学人工智能传感器数据分析研究组)
研究针对IMU评估运动的深度学习模型面临的数据问题,提出基于肌肉骨骼模拟生成IMU数据的增强方法,结合逆运动学参数与评估策略自动标注,提升分类精度等。
2026-07-07 cs.AI cs.LG