Exploration of Fast-Slow Latent Recurrence for Train-Short, Test-Long Generalization
The University of Tokyo(东京大学);University of Tübingen(图宾根大学)
本文提出快慢复发机制,通过结合快速递归潜在更新与慢速观测更新,提升长周期序列建模的稳定性与泛化能力,优于LSTM等基线方法。
2026-07-09 cs.AI cs.LG
Great Models Think Alike: Improving Model Reliability via Inter-Model Latent Agreement
National University of Singapore(新加坡国立大学)
针对深度学习模型过度自信导致可靠性不足的问题,提出通过衡量目标模型与基础模型潜空间的邻域一致性评估可靠性,并以事后方式融合该一致性至预测置信度,经理论与多场景实验验证有效提升模型可靠性。
2023-05-02 cs.AI cs.CV cs.LG
Latent space analysis and generalization to out-of-distribution data
Naval Information Warfare Center Pacific(海军信息战中心太平洋分部);Air Force Research Laboratory Munitions Directorate(空军研究实验室弹药部门);Dynetics, Inc.(Dynetics公司)
本文探究深度学习潜空间中OOD检测与模型分类准确率的关联,基于SAR数据集实证发现OOD检测无法作为模型性能代理指标,为潜空间性质与深度学习鲁棒性泛化性研究提供参考。
2025-11-19 cs.LG stat.ML
Improving Reconstruction Autoencoder Out-of-distribution Detection with Mahalanobis Distance
University of Waterloo(滑铁卢大学)
越来越明显地需要验证深度学习系统在自动驾驶汽车系统等安全关键应用中所做的分类。最近的一些论文提出了用于检测异常图像数据的方法,这些异常图像数据与已知的内点数据样本不同,包括基于重建的自动编码器。自动编码器优化输入数据到维度小于原始输入的潜在空间的压缩,并尝试使用该压缩表示来准确地重建输入。由于隐向量被优化以仅从内层类捕获显著特征,因此通常假设来自训练类外部的对象的图像不能被有效地压缩和重建。因此,有些人认为重建误差是一种新颖的衡量标准。在这里,我们建议,重建为基础的方法无法捕捉特定的异常,远离已知的内点样本在潜在空间,但附近的潜在维度流形定义的参数的模型。我们建议在潜在空间中加入Mahalanobis距离,以更好地捕获这些分布外的样本,我们的结果表明,这种方法通常比基线方法提高了性能。
2018-12-06 cs.LG stat.ML
Latent Compositional Representations Improve Systematic Generalization in Grounded Question Answering
Tel-Aviv University(特拉维夫大学);Allen Institute for AI(艾伦人工智能研究所)
涉及多步推理的问题需要分解它们,并使用中间步骤的答案来达到最终答案。然而,在接地问答的最先进的模型往往不显式地执行分解,导致难以推广到分布外的例子。在这项工作中,我们提出了一个模型,计算表示和外延的所有问题跨度在一个自下而上,组合的方式使用CKY风格的解析器。我们的模型诱导潜在树,仅由端到端(答案)监督驱动。我们发现,这种对树结构的归纳偏见显着提高了系统的泛化到分布外的例子,相比强大的基线上的算术表达式基准以及CLOSURE,一个数据集,专注于系统的泛化接地问答。在这个具有挑战性的数据集上,我们的模型达到了96.1%的准确率,明显高于之前的模型,后者几乎完美地解决了随机分布分割的任务。
2020-11-10 cs.AI cs.CL cs.LG
Latent Sculpting for Zero-Shot Generalization: A Manifold Learning Approach to Out-of-Distribution Anomaly Detection
School of Liberal Arts(文学学院);Mercy University(梅里大学)
本文提出潜在雕刻方法,通过分层两阶段学习,在高维表格领域实现零样本泛化,有效检测Out-of-Distribution异常。
2026-08-03 cs.CR cs.LG
Compositional Generalization via Forced Rendering of Disentangled Latents
Massachusetts Institute of Technology(麻省理工学院);University of Cambridge(剑桥大学);NTT Research(NTT研究)
本研究通过二维高斯凸起生成任务,发现标准生成模型在OOD区域因重新纠缠潜在表示而失败,而强制将解缠因子渲染到像素空间可实现高效稳健的组合泛化。
2025-05-24 cs.AI cs.LG stat.ML
Improving out-of-distribution generalization via multi-task self-supervised pretraining
INRS-EMT, Université du Québec(魁北克大学国立科学研究院-能源、材料与电信);Salesforce Research(赛富时研究院)
自监督特征表示已被证明对于监督分类、少样本学习和对抗鲁棒性是有用的。我们表明,使用自监督学习获得的功能是可比的,或优于,监督学习计算机视觉的领域泛化。我们引入了一个新的自我监督的借口任务预测响应的Gabor滤波器组,并证明了多任务学习兼容的借口任务提高领域泛化性能相比,单独训练的任务。当训练和测试分布之间存在较大的域偏移时,与其监督对应物相比,通过自监督学习的特征可以更好地泛化到不可见的域,甚至对感兴趣的对象显示出更好的定位能力。自监督特征表示还可以与其他领域泛化方法相结合,以进一步提高性能。
2020-03-30 cs.CV cs.LG
Improving Generalization with Domain Convex Game
Beijing Institute of Technology(北京理工大学)
领域泛化(DG)倾向于通过学习具有多个源域的模型来缓解深度神经网络泛化能力差的问题。一个经典的解决DG的方法是域增广,其共同的信念是多样化的源域将有利于分布外泛化。然而,这些主张是直观地理解的,而不是数学上的。我们的探索经验表明,模型泛化和域的多样性之间的相关性可能不是严格的正相关,这限制了域增强的有效性。因此,这项工作旨在保证和进一步加强这一链的有效性。为此,我们提出了一个新的角度DG重铸它作为一个凸域之间的游戏。我们首先鼓励每个多样化的领域,以提高模型的泛化精心设计的正则化项的基础上超模块化。同时,构造样本滤波器,剔除低质量样本,避免潜在有害信息的影响。该框架为DG的形式化分析提供了一条新的途径,启发式分析和大量实验证明了该框架的合理性和有效性。
2023-03-23 cs.CV cs.LG
Improving OOD Generalization of Pre-trained Encoders via Aligned Embedding-Space Ensembles
School of Computing Science(计算机科学学院);Simon Fraser University(西蒙菲莎大学)
本文针对无标签数据下预训练编码器在分布外数据上泛化差的问题,提出一种无监督对齐嵌入空间的集成方法,并在MNIST上验证其优于单一编码器。
2024-11-20 cs.CV cs.LG
Improving Fine-Tuning with Latent Cluster Correction
RIKEN Information R&D and Strategy Headquarters(理化学研究所信息研发与战略总部);RIKEN(理化学研究所)
本文提出一种利用Louvain社区检测和聚类损失优化潜在聚类形成的微调方法,在CIFAR-100上验证了其提升分类准确率的可行性。
2025-01-21 cs.LG
Improving Sequential Latent Variable Models with Autoregressive Flows
California Institute of Technology(加州理工学院);Simon Fraser University(西蒙弗雷泽大学);University of California Irvine(加州大学欧文分校)
提出了一种基于自回归归一化流的序列建模方法。每个自回归变换,跨时间作用,作为一个移动的参考框架,消除时间相关性,并简化更高层次的动态建模。这种技术提供了一种简单的,通用的方法来改善序列建模,与现有的和经典的技术连接。我们证明了所提出的方法都与独立的基于流的模型,并作为一个组件内的顺序潜变量模型。结果在三个基准视频数据集上,其中基于自回归流的动态提高了基线模型的对数似然性能。最后,我们说明了去相关和改进的泛化性能,使用基于流的动态。
2022-03-08 cs.LG
A Latent space solver for PDE generalization
Ansys Inc(安西斯公司)
在这项工作中,我们提出了一个混合求解器来解决偏微分方程(PDE)的潜在空间。求解器使用迭代推理策略与解初始化相结合,以提高PDE解的泛化能力。通过工程算例验证了该方法的有效性,结果表明该方法可以很好地推广到多种偏微分方程情形。
2021-04-06 cs.LG
Improving the Generation of VAEs with High Dimensional Latent Spaces by the use of Hyperspherical Coordinates
School of Electrical Engineering and Robotics(电气工程与机器人学学院);Queensland University of Technology(昆士兰理工大学)
本文针对高维潜在空间中VAE随机采样解码效果差的问题,提出用超球面坐标参数化潜在变量以压缩潜在分布、降低稀疏性,从而提升VAE的生成能力。
2025-07-21 cs.LG
Improving Generalization in Meta-RL with Imaginary Tasks from Latent Dynamics Mixture
KAIST(韩国科学技术院)
大多数Meta强化学习(meta-RL)方法的泛化能力在很大程度上限于从用于对训练任务进行采样的相同分布中采样的测试任务。为了克服这一局限性,我们提出了潜在动力学混合(LDM),训练一个强化学习代理与虚拟任务产生的混合物学习的潜在动力学。通过在混合任务和原始训练任务上训练策略,LDM允许代理在训练期间为看不见的测试任务做准备,并防止代理过度拟合训练任务。LDM在网格世界导航和MuJoCo任务的测试返回中显着优于标准的元RL方法,其中我们严格分离了训练任务分布和测试任务分布。
2022-01-18 cs.LG
On the Dynamics & Transferability of Latent Generalization during Memorization
Centre for Artificial Intelligence Research, Department of Computer Science & Information Systems, Birla Institute of Technology & Science Pilani(人工智能研究中心,计算机科学与信息系统系,比拉理工学院)
本文研究了记忆过程中模型内部表示的潜在泛化能力动态及转移性,通过实验发现潜在泛化能力在训练早期达到峰值,并探讨了如何通过线性探针提取和转移潜在泛化。
2026-03-20 cs.LG
Ranking Deep Learning Generalization using Label Variation in Latent Geometry Graphs
IMT Atlantique(IMT大西洋高等矿业电信学院);Université Fédérale de Toulouse(图卢兹联邦大学)
在不依赖验证集的情况下测量深度神经网络(DNN)的泛化性能是一项艰巨的任务。在这项工作中,我们提出利用潜在几何图形(LGG)来表示训练DNN架构的潜在空间。这样的图是通过连接在所考虑的DNN的给定层产生类似潜在表示的样本来获得的。然后,我们通过查看LGG中不同类的样本的连接程度来获得泛化得分。这一成绩使我们在NeurIPS 2020预测深度学习泛化(PGDL)竞赛中排名第三。
2020-11-25 cs.LG
Improving Vector-Quantized Image Modeling with Latent Consistency-Matching Diffusion
Sony AI(索尼人工智能研究院);Stanford University(斯坦福大学);Sony Group Corporation(索尼集团公司)
针对向量量化图像建模中端到端联合训练易导致嵌入崩溃的问题,提出连续空间潜在扩散框架VQ-LCMD,结合变分下界与一致性匹配损失及噪声调度策略稳定训练,在多个图像生成基准上取得更优效果。
2025-04-01 cs.LG
Factorization Regret mediates compositional generalization in latent space
Edmond and Lily Safra Center for Brain Sciences(埃德蒙和莉莉·萨弗拉脑科学中心)
本文通过将组合泛化视为潜在变量的变分推断问题,探讨了在所有相关变量已知时泛化障碍的消除机制,提出因子化遗憾作为衡量潜在变量交互对任务性能影响的理论量,并通过认知网格世界验证了交互学习对泛化能力的提升。
2026-09-27 cs.LG
Shrink the longest: improving latent space isotropy with symplicial geometry
National Research University “Higher School of Economics”(国立研究型大学“高等经济学院”);Keldysh Institute of Applied Mathematics(凯尔迪什应用数学研究所)
本文提出一种基于单纯形几何的正则化方法,通过最大化 Vietoris–Rips 滤过条形码的持续熵来改善 transformer 潜在空间各向同性,无需重参数化或推理开销即可提升下游任务表现。
2025-01-09 cs.LG
VAE with Hyperspherical Coordinates: Improving Anomaly Detection from Hypervolume-Compressed Latent Space
School of Electrical Engineering and Robotics(电气工程与机器人学学院);Queensland University of Technology(昆士兰理工大学);Data61;CSIRO(澳大利亚联邦科学与工业研究组织)
本文提出利用超球坐标压缩潜在空间,提升VAE在无条件和条件异常检测中的表现,优于现有方法。
2026-07-21 cs.LG
Learning Latent Spaces for Domain Generalization in Time Series Forecasting
University of Amsterdam(阿姆斯特丹大学)
提出基于条件β-VAE分解的时间序列预测域泛化框架,挖掘跨域潜在时间依赖因素,在五个真实数据集上超越现有方法。
2024-12-15 cs.LG
Exponential Tilting of Generative Models: Improving Sample Quality by Training and Sampling from Latent Energy
University of Chicago(芝加哥大学)
在本文中,我们提出了一种通用的方法,可以提高样本质量的预训练的似然生成模型。我们的方法在潜在变量空间上构造能量函数,该能量函数在由预训练的生成模型产生的样本上产生能量函数。通过最大化数据似然性来有效地训练基于能量的模型,并且在训练之后,从基于能量的模型生成潜在空间中的新样本,并通过生成器以在观察空间中产生样本。我们表明,使用我们提出的方法,我们可以大大提高流行的基于似然的生成模型,如规范化流和VAE,与非常小的计算开销的样本质量。
2020-06-15 cs.LG stat.ML
GLAD: Improving Latent Graph Generative Modeling with Simple Quantization
Geneva School for Business Administration (HES-SO)(日内瓦工商管理学院(HES-SO));University of Geneva(日内瓦大学)
本文提出 GLAD,一种在离散潜空间中运行、利用扩散桥学习先验的等变图生成模型,并在多个图基准上达到与最先进方法相竞争的性能。
2025-02-17 cs.LG stat.ML
Prototypical context-aware dynamics generalization for high-dimensional model-based reinforcement learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);The University of Hong Kong(香港大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
潜在的世界模型提供了一种有前途的方法来学习策略在一个紧凑的潜在空间的任务与高维观测,然而,其泛化在不同的环境与看不见的动态仍然具有挑战性。虽然在当前的进展中使用的经常性结构有助于捕获局部动态,但在没有明确理解环境背景的情况下仅对状态转换进行建模限制了动态模型的泛化能力。为了解决这个问题,我们提出了一个原型上下文感知动力学(ProtoCAD)模型,该模型通过时间一致的潜在上下文捕获局部动力学,并使高维控制任务中的动力学泛化。ProtoCAD在批量聚集的原型的帮助下提取有用的上下文信息,并从两个方面使基于模型的RL受益:1)它利用时间一致的原型正则化器,鼓励为同一潜在轨迹的不同时间部分生成的原型分配在时间上一致,而不是比较特征; 2)设计了一种结合潜在状态投影嵌入和聚合原型的上下文表示方法,显著提高了系统的动力学泛化能力。大量的实验表明,ProtoCAD在动力学综合方面优于现有的方法。与基于递归的模型RSSM相比,ProtoCAD在所有动态泛化任务中的平均和中值性能分别提高了13.2%和26.7%。
2022-11-23 cs.LG
Improving Normative Modeling for Multi-modal Neuroimaging Data using mixture-of-product-of-experts variational autoencoders
Department of Computer Science and Engineering, Washington University in St. Louis, USA(计算机科学与工程系,华盛顿大学圣路易斯分校);Institute for Informatics, Data Science and Biostatistics, Washington University in St.Louis, USA(信息学、数据科学与生物统计研究所,华盛顿大学圣路易斯分校);Department of Radiology, Washington University in St.Louis, USA(放射学系,华盛顿大学圣路易斯分校)
本文提出利用混合专家积变分自编码器改进多模态神经影像数据的规范建模,以更准确地识别异常个体及异常脑区。
2023-12-02 cs.LG
Domain Generalization Using a Mixture of Multiple Latent Domains
The University of Tokyo(东京大学);RIKEN(理化学研究所)
当表示底层数据分布的域在训练和测试过程中发生变化时,深度神经网络的性能就会下降。领域泛化通过使用多个源域来提高未见过目标域的泛化性能。传统的方法假设每个样本所属的域在训练中是已知的。然而,许多数据集,例如通过网络爬行收集的数据集,包含多个潜在域的混合,其中每个样本的域是未知的。本文介绍了领域泛化使用多个潜在域的混合物作为一种新的和更现实的情况下,我们试图训练域广义模型,而不使用域标签。为了解决这种情况,我们提出了一种方法,通过聚类迭代地将样本划分为潜在域,并通过对抗学习训练在划分的潜在域之间共享的域不变特征提取器。我们假设图像的潜在域反映在它们的风格中,因此,利用风格特征进行聚类。通过使用这些特征,我们提出的方法成功地发现潜在的领域,并实现领域泛化,即使领域标签是不给。实验表明,我们提出的方法可以训练领域广义模型,而不使用领域标签。此外,它优于传统的领域泛化方法,包括那些利用域标签。
2019-11-18 cs.CV cs.LG
Improving latent variable descriptiveness with AutoGen
University College London(伦敦大学学院);Alan Turing Institute(艾伦·图灵研究所);ASI Data Science(ASI数据科学)
强大的生成模型,特别是在自然语言建模中,通常通过最大化数据日志可能性的变分下限来训练。这些模型往往受到其潜在变量的不良使用,与ad-hoc退火因子用于鼓励保留信息的潜在变量。我们讨论了潜在变量建模的替代和一般方法,基于一个目标,该目标结合了数据日志的可能性以及通过自动编码器的完美重建的可能性。通过设计将这些联系在一起,可以确保潜变量捕获有关观测的信息,同时保持良好的生成能力。有趣的是,虽然这种方法是一个先验无关的VAE,达到的下限是相同的标准VAE界,但增加了一个简单的前因子,因此,提供了一个正式的解释,在训练VAE常用的,特设的前因子。
2018-06-12 cs.LG stat.ML
Improving Cross-domain Recommendation through Probabilistic Cluster-level Latent Factor Model--Extended Version
Beijing University of Posts and Telecommunications(北京邮电大学)
跨领域推荐通过将多个领域的评分数据集中在一起来传递用户行为模式,以缓解单一评分领域中出现的稀疏性问题。然而,以前的模型只假设多个领域共享一个潜在的共同评级模式的基础上的用户项目的共同聚类。为了捕捉不同领域之间的差异,我们提出了一种新的概率统计等级潜在因子(PCLF)模型,以提高跨域推荐性能。在多个真实数据集上的实验表明,我们提出的模型在跨域推荐任务中的性能优于现有的方法。
2014-09-24 cs.IR cs.LG stat.ML
LatentDR: Improving Model Generalization Through Sample-Aware Latent Degradation and Restoration
Georgia Institute of Technology(佐治亚理工学院)
针对深度学习模型跨领域泛化难、训练数据有限的问题,提出LatentDR样本感知潜在退化恢复增强方法,在多基准和医学影像等任务上优于现有方法,还可适配长尾识别。
2023-08-28 cs.CV cs.LG
Improving Deep Dynamics Models for Autonomous Vehicles with Multimodal Latent Mapping of Surfaces
University of Freiburg(弗赖堡大学);Toyota Research Institute(丰田研究院);University of Technology, Nuremberg(纽伦堡工业大学)
自动驾驶汽车的安全部署取决于它们对环境变化的有效反应能力。这可能需要在变化的表面上操纵,这仍然是一个困难的问题,特别是对于光滑的地形。为了解决这个问题,我们提出了一种新的方法,学习表面感知的动态模型的条件下,它对一个潜在的变量向量存储有关当前位置的表面信息。训练潜在映射器以在每次遍历对应位置时从多个模态进行推断期间更新这些潜在变量,并将它们存储在地图中。通过端到端地训练所有内容,同时丢失动态模型,我们强制潜在映射器学习对后续动态模型有用的潜在映射的更新规则。我们实施和评估我们的方法上一个真正的微型电动汽车。结果表明,与没有此信息的模型相比,潜在映射被更新以允许对动力学模型进行更准确的预测。我们进一步表明,通过使用该模型,可以提高驾驶性能的变化和具有挑战性的表面。
2023-03-21 cs.LG cs.RO
Advancing Generalization in PINNs through Latent-Space Representations
Tsinghua University(清华大学)
针对物理信息神经网络(PINNs)泛化能力有限的问题,提出新型求解器 PIDO,通过 latent 空间投影与正则化技术提升其在不同 PDE 配置下的泛化性、时间外推性能和训练稳定性,并验证了其在基准测试及下游任务中的有效性。
2024-11-28 cs.LG
Enhancing Evolving Domain Generalization through Dynamic Latent Representations
The Chinese University of Hong Kong(香港中文大学);Hong Kong Baptist University(香港浸会大学)
本文提出MISTS框架,通过信息论约束解耦动态与不变特征,并结合域自适应分类器,解决非平稳环境中演化新域的泛化问题。
2024-01-16 cs.LG
What's in a Latent? Leveraging Diffusion Latent Space for Domain Generalization
Boston University(波士顿大学);Runway
研究模型架构与预训练目标对特征丰富度的影响,提出利用扩散模型特征空间无监督发现伪域结构并增强分类器,在5个数据集上最高提升未见域测试准确率超4%,优于多数使用域标签的算法。
2025-04-28 cs.CV cs.LG
Small transformers track Bayesian evidence for latent common causes via a context-invariant mechanism
University of Tübingen(蒂宾根大学)
本研究探究小型Transformer如何通过上下文不变机制,在跨上下文泛化中实现潜在共同原因的贝叶斯证据积累,并分离模型机制与真实因果结构。
2026-09-29 cs.LG
Improving Topic Models with Latent Feature Word Representations
Macquarie University(麦考瑞大学);Santa Fe Institute(圣塔菲研究所)
概率主题模型被广泛用于发现文档集合中的潜在主题,而词的潜在特征向量表示已被用于在许多NLP任务中获得高性能。在本文中,我们扩展了两个不同的Dirichlet多项式主题模型,通过将在非常大的语料库上训练的单词的潜在特征向量表示,以改善在较小的语料库上学习的单词-主题映射。实验结果表明,通过使用来自外部语料库的信息,我们的新模型产生了显着的改善主题一致性,文档聚类和文档分类任务,特别是在数据集少或短的文档。
2018-10-15 cs.CL cs.IR cs.LG
Improving Novelty Detection using the Reconstructions of Nearest Neighbours
University of Amsterdam(阿姆斯特丹大学);eScience Center(电子科学中心);ASTRON, the Netherlands Institute for Radio Astronomy(荷兰射电天文研究所(ASTRON))
我们表明,在自编码器(AE)的潜在空间中使用最近邻显着提高了单类和多类上下文中半监督新奇检测的性能。自动编码方法通过学习区分非新颖的训练类和所有其他看不见的类来检测新颖性。我们的方法利用了给定输入的潜在表示的最近邻居和潜在邻居距离的重建的组合。我们证明了我们的最近潜在邻居(NLN)算法是内存和时间效率,不需要显着的数据增强,也不依赖于预先训练的网络。此外,我们表明,NLN算法很容易适用于多个数据集,无需修改。此外,该算法是不可知的自动编码器的结构和重建误差的方法。我们使用重建、残余或特征一致性损失,在多种不同自动编码架构(例如香草、对抗和变分自编码器)的多个标准数据集上验证了我们的方法。结果表明,NLN算法授予高达17%的增加面积下的接收器工作特性(AUROC)曲线性能的多类情况下和8%的单类新颖性检测。
2022-01-28 cs.LG
Revisiting Random Weight Perturbation for Efficiently Improving Generalization
Shanghai Jiao Tong University(上海交通大学);KU Leuven(鲁汶大学)
本文重新审视随机权重扰动(RWP),从泛化与收敛权衡及扰动生成两方面改进RWP,在大规模问题上以更高效率取得与SAM相当或更优的泛化性能。
2024-03-30 cs.LG
Improving black-box optimization in VAE latent space using decoder uncertainty
University of Oxford(牛津大学);University of Cambridge(剑桥大学)
变分自编码器的潜在空间中的优化是一种有希望的方法,用于生成最大化昂贵的黑盒属性(例如,分子生成中的药物相似性,算术表达式的函数近似)。然而,现有的方法缺乏鲁棒性,因为它们可能决定探索在训练期间没有数据可用的潜在空间的区域,并且解码器可能不可靠,导致生成不切实际或无效的对象。我们建议利用解码器的认知不确定性来指导优化过程。但这并不是微不足道的,因为我们认为在高维和结构化设置中对不确定性的天真估计会导致高估计方差。为了解决这个问题,我们引入了一个基于重要性采样的估计,提供了更强大的估计认知不确定性。我们的不确定性引导优化方法不需要修改模型架构,也不需要修改训练过程。它生成的样本在黑盒目标和生成样本的有效性之间具有更好的权衡,有时同时改善两者。我们说明了这些优势,在几个实验设置在数字生成,算术表达式近似和药物设计的分子生成。
2021-06-30 cs.LG stat.ML
Improving Generalization on the ProcGen Benchmark with Simple Architectural Changes and Scale
Columbia University(哥伦比亚大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出通过帧堆叠、用3D卷积替换2D卷积及扩大卷积核数量等简单架构改进,显著提升了ProcGen基准上的强化学习泛化能力,将最优性差距降低37.9%,达到或超越现有最先进方法。
2024-10-17 cs.LG
Improving Intrusion Detection with Domain-Invariant Representation Learning in Latent Space
Virginia Tech(弗吉尼亚理工大学);AI Center of Excellence, Deloitte(德勤人工智能卓越中心)
本文提出一种多任务表示学习方法,在潜在空间中学习域不变表示以丢弃虚假相关性,从而提升零日异常检测的泛化能力,并在多个数据集上验证了有效性。
2025-10-17 cs.CR cs.LG
Improving the Inference of Topic Models via Infinite Latent State Replications
Nanyang Technological University(南洋理工大学);Universidad de los Andes(洛斯安第斯大学);National University of Singapore(新加坡国立大学)
在文本挖掘中,主题模型是一种概率生成模型,用于从文本语料中推断潜在语义主题。主题模型最流行的推理方法之一可能是折叠吉布斯采样(CGS),它通常为每个观察到的文档-单词对采样一个主题标签。在本文中,我们的目的是改善CGS的主题模型的推理。我们建议利用状态增强技术,通过最大化的主题样本的数量为无穷大,然后开发一种新的推理方法,称为无限潜在状态复制(ILR),生成强大的软主题分配每个给定的文档词对。在公开数据集上的实验结果表明,ILR比CGS更适合于现有主题模型的推理。
2023-01-25 cs.AI cs.CL cs.LG
Dynamics-Aligned Latent Imagination in Contextual World Models for Zero-Shot Generalization
Institute for Data Science Foundations(数据科学基础研究所)
DALI通过动态对齐潜在想象在情境世界模型中实现零样本泛化,通过自监督编码器预测前向动力学,连接感知与控制,提升情境适应能力。
2026-01-15 cs.AI cs.LG
Improving Generalization Bounds for VC Classes Using the Hypergeometric Tail Inversion
Université Laval(拉瓦尔大学);University of Ottawa(渥太华大学)
我们显着提高VC类的泛化范围,通过使用两个主要的想法。首先,我们考虑超几何尾部反演,以获得一个非常紧的非均匀分布独立的风险上界的VC类。其次,我们优化了鬼样本技巧,以获得进一步的不可忽略的增益。这些改进,然后用来获得一个相对偏差界,一个多类保证金界,以及一个下限。数值比较表明,新的边界几乎从来没有空的,并比其他VC界的所有合理的数据集大小更紧。
2021-10-29 cs.LG
Information-theoretic Generalization Analysis for VQ-VAEs: A Role of Latent Variables
The University of Osaka(大阪大学);RIKEN AIP(理化学研究所AIP);The University of Tokyo(东京大学)
本文将信息论泛化分析扩展到具有离散潜在空间的VQ-VAE,引入数据依赖先验,推导出仅依赖潜在变量和编码器复杂度的重构损失泛化误差界,并给出生成数据与真实数据之间2-Wasserstein距离的上界,揭示潜在变量正则化对生成性能的作用。
2025-11-06 cs.LG stat.ML
Improving the Noise Estimation of Latent Neural Stochastic Differential Equations
Institute for Computing and Information Sciences, Radboud University, Nijmegen, the Netherlands(计算与信息科学研究所,拉德堡德大学,尼美根,荷兰);Earth System Modelling, School of Engineering and Design, TU Munich, Germany(地球系统建模,工程与设计学院,慕尼黑技术大学,德国);Computational Network Science, Dept of Computer Science, RWTH Aachen University, Germany(计算网络科学,计算机科学系,亚琛工业大学,德国)
针对潜空间神经 SDE 系统性低估随机时间序列噪声的问题,本文在损失函数中引入显式额外噪声正则化,使其准确学习扩散分量,并在随机双稳态概念模型上验证了改进效果。
2025-06-10 cs.LG stat.ML
Improving Generalization in Game Agents with Data Augmentation in Imitation Learning
Uppsala University(乌普萨拉大学);SEED - Electronic Arts (EA)(艺电(EA)SEED部门)
本文针对模仿学习游戏智能体在未知场景中的泛化难题,提出对观测进行组合式数据增强,并在多个 3D 环境中验证其有效性。
2024-04-07 cs.LG
Improving VAE-based Representation Learning
University of Tübingen(蒂宾根大学);IMPRS-IS(国际马克斯·普朗克智能系统研究学院);Centre for Artificial Intelligence(人工智能中心);University College London(伦敦大学学院)
像变分自动编码器(VAE)这样的潜变量模型通常用于学习图像的表示。然而,对于像语义分类这样的下游任务,VAE学习的表示比其他非潜在变量模型的竞争力更低。这导致了一些猜测,潜在变量模型可能根本不适合表示学习。在这项工作中,我们研究了良好的表示所需的属性,以及不同的VAE结构选择如何影响学习的属性。我们表明,通过使用倾向于学习局部特征的解码器,其余的全局特征可以很好地被潜在特征捕获,这显著提高了下游分类任务的性能。我们进一步将所提出的模型应用于半监督学习任务,并证明了数据效率的提高。
2022-05-28 cs.LG stat.ML
Generalization Properties of Optimal Transport GANs with Latent Distribution Learning
University College London(伦敦大学学院);Istituto Italiano di Tecnologia(意大利技术研究所);Imperial College London(帝国理工学院)
生成式对抗网络(GAN)框架是概率匹配和真实样本生成的一个成熟范例。虽然最近的注意力一直致力于研究这些模型的理论特性,一个完整的理论理解的主要组成部分仍然缺乏。在这项工作中,我们专注于以最优传输指标作为判别器的生成模型,从统计和建模的角度研究了潜在分布和前推映射(生成器)的复杂性之间的相互作用如何影响性能。受我们分析的启发,我们提倡在GAN范式中学习潜在分布以及前推映射。我们证明,这可以导致显着的优势,在样本的复杂性。
2020-07-29 cs.LG stat.ML
Latent State Marginalization as a Low-cost Approach for Improving Exploration
Mila(米拉研究所);University de Montreal(蒙特利尔大学);Meta AI (FAIR)(元人工智能(基础人工智能研究部))
虽然最大熵(MaxEnt)强化学习(RL)框架-通常因其探索和鲁棒性而受到吹捧-通常是从概率的角度出发的,但由于其固有的复杂性,深度概率模型的使用在实践中并没有获得太多的吸引力。在这项工作中,我们提出了采用潜在变量的MaxEnt框架内的政策,我们可以证明近似任何政策分布,此外,自然出现下使用的世界模型与潜在的信念状态。我们讨论了为什么潜在变量的政策是难以训练,如何天真的方法可能会失败,然后随后介绍了一系列的改进围绕低成本的边缘化的潜在状态,使我们能够充分利用的潜在状态在最小的额外成本。我们在演员-评论家框架下实例化我们的方法,边缘化演员和评论家。由此产生的算法,称为随机边际演员批评(SMAC),是简单而有效的。我们在连续控制任务上实验验证了我们的方法,表明有效的边缘化可以带来更好的探索和更强大的训练。我们的实现在https://github.com/zdhNarsil/Stochastic-Marginal-Actor-Critic上是开源的。
2023-02-10 cs.AI cs.LG stat.ML
Learning Parsimonious Dynamics for Generalization in Reinforcement Learning
Max-Planck-Institute for Biological Cybernetics(马克斯·普朗克生物控制论研究所)
人类是熟练的航海家:我们可以巧妙地在新的地方穿梭,意识到自己回到了以前见过的地方,甚至可以想象出捷径,穿过我们从未去过的环境。另一方面,基于模型的强化学习中的当前方法难以从训练分布中概括环境动态。我们认为,两个原则可以帮助弥合这一差距:潜在的学习和吝啬的动态。人类倾向于用简单的术语来思考环境动态--我们对轨迹的推理不是参考我们期望沿着路径看到的东西,而是在抽象的潜在空间中,包含有关地方空间坐标的信息。此外,我们假设在我们环境的新部分中移动与在我们熟悉的部分中移动的方式相同。这两个原则协同工作:正是在潜在空间中,动态显示出吝啬的特征。我们开发了一个学习这种吝啬动力学的模型。使用变分目标,我们的模型被训练成使用局部线性变换来重建潜在空间中的经验转换,同时鼓励调用尽可能少的不同变换。使用我们的框架,我们证明了学习吝啬的潜在动力学模型在一系列的策略学习和规划任务的效用。
2022-09-29 cs.LG
Improving Chemical Autoencoder Latent Space and Molecular De novo Generation Diversity with Heteroencoders
Wildcard Pharmaceutical Consulting(万卡医药咨询公司);Science Data Software LLC(科学数据软件有限责任公司)
化学自动编码器是有吸引力的模型,因为它们将化学空间导航与感兴趣领域的从头分子生成的可能性相结合。这使他们能够围绕单个先导化合物产生集中的化学库,以便在药物发现项目的早期使用。在这里,它表明,选择的化学表示,如SMILES字符串,有很大的影响的潜在空间的属性。进一步探讨了不同化学表征之间的翻译在多大程度上影响了SMILES字符串或圆形指纹的潜在空间相似性。采用SMILES枚举的编码器或解码器,它被发现,解码器具有最大的潜在空间的属性的影响。训练基于具有长短期记忆细胞(LSTM)的递归神经网络(RNN)的序列到序列异源编码器以从相同的规范SMILES串预测不同的枚举SMILES串,给出了潜在空间距离和测量为圆形指纹相似性的分子相似性之间的最大相似性。使用五个分子数据集的QSAR建模中的瓶颈的输出表明,heteroencoder衍生的向量显着优于autoencoder衍生的向量以及使用ECFP 4指纹构建的模型,强调潜在空间的化学相关性增加。然而,在解码器的训练期间使用枚举导致解码到与编码不同的分子的速率显著增加,这一趋势可以用更复杂的网络架构来抵消。
2018-09-17 cs.LG stat.ML
Improving Generalization of Sequence Encoder-Decoder Networks for Inverse Imaging of Cardiac Transmembrane Potential
Golisano College of Computing and Information Sciences(戈利萨诺计算与信息科学学院);Rochester Institute of Technology(罗切斯特理工学院)
深度学习模型在许多逆重建问题中表现出最先进的性能。然而,人们还没有很好地理解潜在表示的哪些属性可以提高网络的泛化能力。此外,对于时间序列的逆重建,已经提出了有限的模型。在本文中,我们研究了一个序列编码器解码器模型的泛化能力,用于解决时间序列的逆重建。我们的中心假设是网络的泛化能力可以通过1)约束随机性和2)潜在空间中时间信息的全局聚合来提高。首先,借鉴分析学习理论,我们从理论上表明,随机潜在空间将导致提高泛化能力。其次,我们考虑LSTM编码器-解码器架构,该架构从LSTM编码器中的所有最后一层单元压缩全局特征向量。该模型与其他LSTM编码器-解码器架构进行了比较,每个架构都有确定性和随机性版本。结果表明,约束随机性结合隐空间中时间信息的全局聚集,可以提高逆重构网络的泛化能力。
2018-10-12 cs.LG stat.ML
Improving VAE generations of multimodal data through data-dependent conditional priors
University of Geneva(日内瓦大学)
变分自编码器的主要缺点之一是不能从源自混合分布的数据的各个模态产生代。这主要是由于在数据生成的祖先采样过程中使用简单的各向同性高斯作为潜在代码的先验。我们提出了一种新的配方的变分自编码器,条件先验VAE(CP-VAE),它学会区分各个混合成分,因此允许从分布式数据集群的世代。我们假设一个两级的生成过程,连续(高斯)的潜变量采样条件上的离散(分类)的潜在成分。新的变分目标自然地耦合后验和先验条件的学习,以及以无监督方式编码原始数据的多模态的潜在类别的学习。然后,当从对应于原始数据的多模态结构的各个混合成分生成新样本时,数据相关的条件先验被用于对连续潜码进行采样。我们的实验结果说明了我们的新模型与多个基线相比的生成性能。
2019-11-25 cs.LG stat.ML