Biased Dreams: Limitations to Epistemic Uncertainty Quantification in Latent Dynamics Models
研究探讨了潜在空间模型中知识不确定性量化存在的偏差问题，指出潜在过渡偏向于高代表性的区域，导致环境动态差异在潜在空间中不显现，影响不确定性估计的可靠性。
2026-07-28 cs.LG
GTS: Inference-Time Scaling of Latent Reasoning with a Learnable Gaussian Thought Sampler
Department of Data Science & AI, Monash University（墨尔本大学数据科学与人工智能系）；Faculty of Medicine Dentistry and Health Sciences, University of Melbourne（墨尔本大学医学牙科与健康科学学院）；Department of Computer Science, University College London（伦敦大学学院计算机科学系）
本文提出GTS，通过学习条件分布实现更可控的推理时缩放，改进了传统启发式扰动方法，提升了推理质量与稳定性。
2026-03-18 cs.CL cs.LG
Forget-me-not! Contrastive Critics for Mitigating Posterior Collapse
Columbia University（哥伦比亚大学）
变分自编码器（VAE）遭受后验崩溃，其中用于建模和推理的强大神经网络优化目标，而没有有意义地使用潜在表示。我们引入推理批评，检测和激励后崩溃，要求潜变量和观察之间的对应关系。通过将批评者的目标与自监督对比表示学习中的文献相连接，我们从理论和经验上证明了优化推理批评者增加了观察和潜在之间的互信息，减轻了后崩溃。这种方法很容易实现，并且需要比现有方法少得多的训练时间，但在三个已建立的数据集上获得了有竞争力的结果。总的来说，该方法为使用变分自编码器桥接先前断开的对比学习和概率建模框架奠定了基础，强调了两个社区在其交叉点可能会发现的好处。
2022-07-19 cs.LG stat.ML
Meta-SAGE: Scale Meta-Learning Scheduled Adaptation with Guided Exploration for Mitigating Scale Shift on Combinatorial Optimization
KAIST（韩国科学技术院）
提出 Meta-SAGE，通过尺度元学习器和带引导探索的调度式自适应，在测试时将组合优化深度强化学习模型迁移到更大规模问题并提升性能。
2023-06-07 cs.LG stat.ML
General Latent Feature Modeling for Data Exploration Tasks
University of Cambridge（剑桥大学）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Uber AI Labs（Uber人工智能实验室）
本文介绍了一种通用的贝叶斯非参数潜在特征模型，该模型适用于描述每个对象的属性可以是离散、连续或混合变量的异构数据集的自动探索性分析。该模型提出了几个重要的属性。首先，它考虑了异构数据，同时可以在线性时间内相对于对象和属性的数量进行推断。其次，它的贝叶斯非参数性质允许我们从数据中自动推断模型的复杂性，即，捕获数据中的潜在结构所需的特征数量。第三，模型中的潜在特征是二进制值变量，便于数据探索任务中获得的潜在特征的可解释性。
2017-07-26 cs.LG stat.ML
Learning latent state representation for speeding up exploration
Istituto Italiano di Tecnologia（意大利理工学院）；University of California Berkely（加州大学伯克利分校）
探索是强化学习中一个极具挑战性的问题，特别是在高维状态和动作空间以及只有稀疏奖励时。有效的表征可以指示状态的哪些组件与任务相关，从而减少要探索的空间的维度。在这项工作中，我们采取表示学习的观点探索，利用先前的经验来学习有效的潜在表示，这可以随后指示哪些区域进行探索。先前在独立但相关的任务上的经验有助于学习状态的表征，这些表征在预测即时奖励方面是有效的。然后，这些学习的表示可以与基于熵的探索方法一起使用，以通过有效地降低搜索空间的维度来有效地执行高维空间中的探索。我们展示了这种表示在模拟对象推送环境中进行元探索的好处。
2019-05-27 cs.LG stat.ML
Provably efficient RL with Rich Observations via Latent State Decoding
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research, New York（微软研究院（纽约））；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research, Redmond（微软研究院（雷德蒙德））
我们研究的探索问题，在情节MDP丰富的观测产生的少量的潜在状态。在一定的可识别性假设下，我们演示了如何通过一系列回归和聚类步骤（以前解码的潜在状态为以后的回归问题提供标签）来估计从观测到潜在状态的映射，并使用它来构建良好的探索策略。我们提供有限样本保证学习状态解码功能和探索政策的质量，并补充我们的理论与一类硬探索问题的经验评估。我们的方法指数地改进了$Q$ -学习与天真的探索，即使当$Q$ -学习有欺骗访问潜在状态。
2021-09-09 cs.LG stat.ML
Latent Space Exploration Using Generative Kernel PCA
KU Leuven（鲁汶大学）
核PCA是一种功能强大的特征提取器，最近在受限核机器（RKM）的上下文中进行了重新表述。这些RKM允许在类似于受限玻尔兹曼机的隐藏和可见单元方面表示内核PCA。这种联系导致了关于如何在生成过程中使用内核PCA的见解，称为生成内核PCA。在本文中，使用生成核PCA探索数据集的潜在空间。新的点可以通过在潜在空间中逐渐移动来生成，这允许对组件进行解释。首先，在三个数据集上显示了这种特征空间探索的示例，其中一个数据集导致ECG信号的可解释表示。之后，结合使用的工具与新颖性检测，在数据中的新模式周围的潜在空间进行了探索。这有助于解释为什么某些观点被认为是新颖的。
2021-05-28 cs.LG stat.ML
Mitigating shortage of labeled data using clustering-based active learning with diversity exploration
North Carolina A & T State University（北卡罗来纳农工州立大学）；Clark Altanta University（克拉克亚特兰大大学）
本文提出了一种新的基于聚类的主动学习框架，即基于聚类的采样的主动学习（ALCS），以解决标记数据不足的问题。ALCS采用基于密度的聚类方法来探索集群结构的数据，而不需要详尽的参数调整。提出了一种基于双聚类边界的样本查询方法，提高了算法在高重叠类分类时的学习性能。此外，我们开发了一个有效的多样性探索策略，以解决查询样本之间的冗余。我们的实验结果证明了ALCS方法的有效性。
2022-07-06 cs.AI cs.LG
Information Maximizing Exploration with a Latent Dynamics Model
Arizona State University（亚利桑那州立大学）；Western Sydney University（西悉尼大学）
所有的强化学习算法都必须处理探索和利用之间的权衡。许多最先进的深度强化学习方法在动作选择中使用噪声，例如策略梯度方法中的高斯噪声或Q学习中的$ε$ -greedy。虽然这些方法由于其简单性而吸引人，但它们没有以有条不紊的方式探索状态空间。我们提出了一种方法，使用一个模型来获得奖励奖金作为一种手段的内在动机，以改善无模型强化学习。我们的方法的一个关键见解是，这个动态模型可以在一个价值函数的潜在特征空间中学习，代表代理和环境的动态。这种方法是理论上接地和计算上的优势，允许有效地使用贝叶斯信息理论的方法在高维状态空间。我们评估我们的方法在几个连续的控制任务，专注于提高探索。
2018-04-04 cs.LG stat.ML
Rethinking Self-Evolution: A Constrained Exploration-Exploitation Process for Mitigating Skill Overfitting
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
针对LLM智能体技能过拟合问题，提出SkillBoost三阶段框架，在23种模型-基准配置上达SOTA性能，优化后技能可跨智能体复用。
2026-08-20 cs.AI cs.LG
Think Wider: Mitigating Latent Rank Collapse in Implicit Chain-of-Thought Reasoning
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对隐式思维链推理中潜在状态秩坍缩导致推理多样性下降的问题，提出轻量级谱正则化器WIDER，在训练时惩罚共享方向投影以拓宽表示子空间，实验证明其提升基线性能并揭示有效秩提高等机制。
2026-09-09 cs.LG
Cross Domain Image Generation through Latent Space Exploration with Adversarial Loss
Carnegie Mellon University（卡内基梅隆大学）
条件域生成是交互控制深度生成模型样本生成过程的一种好方法。然而，一旦创建了条件生成模型，允许它适应新的条件控制通常是昂贵的，特别是网络结构相对较深。我们提出了一个条件的潜在域转移框架的潜在空间的无条件变分自编码器（VAE）。有了这个框架，我们可以允许无条件训练的VAE在它的域中生成图像，条件由另一个域的潜在表示提供。这个框架并不假设两个领域之间的共性。我们证明了我们的模型在广泛使用的图像数据集下的有效性和鲁棒性。
2018-05-24 cs.CV cs.LG stat.ML
Random Latent Exploration for Deep Reinforcement Learning
Improbable AI Lab；Massachusetts Institute of Technology（麻省理工学院）
本文提出随机潜在探索（RLE），一种简单有效的深度强化学习探索策略，通过潜在空间随机目标引导智能体探索，平均性能优于噪声和奖励方法，适用于离散与连续控制任务。
2025-02-27 cs.LG
Latent State Marginalization as a Low-cost Approach for Improving Exploration
Mila（米拉研究所）；University de Montreal（蒙特利尔大学）；Meta AI (FAIR)（元人工智能（基础人工智能研究部））
虽然最大熵（MaxEnt）强化学习（RL）框架-通常因其探索和鲁棒性而受到吹捧-通常是从概率的角度出发的，但由于其固有的复杂性，深度概率模型的使用在实践中并没有获得太多的吸引力。在这项工作中，我们提出了采用潜在变量的MaxEnt框架内的政策，我们可以证明近似任何政策分布，此外，自然出现下使用的世界模型与潜在的信念状态。我们讨论了为什么潜在变量的政策是难以训练，如何天真的方法可能会失败，然后随后介绍了一系列的改进围绕低成本的边缘化的潜在状态，使我们能够充分利用的潜在状态在最小的额外成本。我们在演员-评论家框架下实例化我们的方法，边缘化演员和评论家。由此产生的算法，称为随机边际演员批评（SMAC），是简单而有效的。我们在连续控制任务上实验验证了我们的方法，表明有效的边缘化可以带来更好的探索和更强大的训练。我们的实现在https://github.com/zdhNarsil/Stochastic-Marginal-Actor-Critic上是开源的。
2023-02-10 cs.AI cs.LG stat.ML
Latent Adversarial Debiasing: Mitigating Collider Bias in Deep Neural Networks
University of Edinburgh（爱丁堡大学）；Jagiellonian University（雅盖隆大学）
对撞机偏差是样本选择偏差的一种有害形式，神经网络无法处理。当由于训练数据收集过程，潜在的因果信号与其他混杂信号强烈相关时，这种偏差表现出来。在混淆信号易于学习的情况下，深度神经网络将锁定这一点，由此产生的模型将难以推广到野外测试场景。我们在这里认为，失败的原因是神经网络的深层结构和所使用的贪婪梯度驱动学习过程的结合-一个更喜欢容易计算的信号时，可用的。我们表明，即使在100%的训练数据中存在混杂信号，也可以通过使用潜在对抗性去偏（LAD）生成偏置解耦的训练数据来减轻这种情况。通过在这些对抗性示例上训练神经网络，我们可以提高它们在对撞机偏差设置中的泛化能力。实验显示了LAD在无标记去偏中的最新性能，在背景色MNIST上的增益为76.12%，在前地色MNIST上的增益为35.47%，在损坏的CIFAR-10上的增益为8.27%。
2020-11-19 cs.LG
Latent World Models For Intrinsically Motivated Exploration
University of Trento（特伦托大学）；Department of Information Engineering and Computer Science (DISI)（信息工程与计算机科学系（DISI））
在这项工作中，我们考虑部分可观察的环境与稀疏奖励。我们提出了一个自我监督的表示学习方法，基于图像的意见，安排嵌入尊重时间距离的意见。这种表示在经验上对随机性是鲁棒的，并且适合于从预测前向模型的误差中进行新颖性检测。我们认为，情节和终身的不确定性，以指导探索。我们建议使用世界模型来估计环境中缺失的信息，该模型在学习的潜在空间中运行。作为该方法的一个动机，我们分析了在一个表部分可观测实验室的探索问题。我们展示了基于图像的硬勘探环境的方法，从Atari基准和报告显着的改进，相对于以前的工作。该方法和所有实验的源代码可在https://github.com/htdt/lwm获得。
2020-10-05 cs.AI cs.LG stat.ML
Latent Space Bayesian Optimization with Latent Data Augmentation for Enhanced Exploration
Nagoya University（名古屋大学）；RIKEN（理化学研究所）
针对潜在空间贝叶斯优化中VAE与BO目标不匹配导致的探索能力差问题，提出LCA-VAE通过潜在空间数据增强增加一致点，并结合LCA-AF获取函数构建LCA-LSBO，实现高样本效率和有效探索。
2024-04-28 cs.LG
Latent Variable Representation for Reinforcement Learning
Google Research（谷歌研究院）；UT Austin（德克萨斯大学奥斯汀分校）；University of Alberta（阿尔伯塔大学）；UC Berkeley（加州大学伯克利分校）；Harvard University（哈佛大学）；Northwestern University（西北大学）；Georgia Tech（佐治亚理工学院）
深度潜变量模型在基于基于模型的强化学习（RL）中取得了显著的经验成功，这是由于它们在建模复杂的过渡动态方面的表现力。另一方面，在理论和经验上，潜变量模型如何促进学习、规划和探索以提高强化学习的样本效率仍不清楚。在本文中，我们提供了一个表示视图的状态-动作价值函数的潜变量模型，它允许易于处理的变分学习算法和有效的实施乐观/悲观原则，在面对不确定性的探索。特别是，我们提出了一个计算效率高的规划算法与UCB探索，将核嵌入的潜变量模型。从理论上讲，我们建立了所提出的方法在在线和离线设置的样本复杂度。从经验上讲，我们在各种基准测试中表现出优于当前最先进算法的性能。
2023-03-07 cs.LG stat.ML
Explorations in Homeomorphic Variational Auto-Encoding
University of Amsterdam（阿姆斯特丹大学）；Qualcomm AI Research（高通人工智能研究院）
流形假设指出，许多种高维数据集中在低维流形附近。如果这个数据流形的拓扑结构是非平凡的，连续编码器网络不能以一对一的方式嵌入它，而不会在潜在空间中创建低密度的孔。这与通常在变分自动编码器（VAE）中进行的高斯先验假设不一致，因为高斯的密度集中在斑点状流形附近。在本文中，我们研究使用流形值的潜变量。具体来说，我们专注于连续可微对称群（李群）的重要情况下，如组的三维旋转$\operatorname{SO}(3)$。我们展示了如何VAE与$\operatorname{SO}(3)$值的潜变量可以构建，通过扩展的reparameterization技巧紧凑连接李群。我们的实验表明，选择与潜在数据流形的拓扑结构相匹配的流形值潜在变量，对于保持拓扑结构和学习行为良好的潜在空间至关重要。
2018-07-12 cs.LG stat.ML
Mitigating Cognitive Inertia in Large Reasoning Models via Latent Spike Steering
Department of Artificial Intelligence, Chung-Ang University, Seoul, Korea（人工智能系， Chung-Ang 大学，首尔，韩国）
STARS通过监测潜在动态，实时引导大推理模型缓解认知惯性问题，提升推理准确性和效率。
2026-01-30 cs.LG
RL for Mitigating Cascading Failures: Targeted Exploration via Sensitivity Factors
Rensselaer Polytechnic Institute（伦斯勒理工学院）；GE Vernova Advanced Research（GE Vernova先进研究院）
本文针对电网弹性与气候变化的相互影响问题，提出物理引导强化学习（PG-RL）框架，通过利用潮流敏感度因子引导探索，确定实时补救线路切换动作，提升电网资源利用率并优化停电缓解策略，增强电网弹性。
2024-11-27 cs.AI cs.LG cs.SY
Chroma-VAE: Mitigating Shortcut Learning with Generative Classifiers
New York University（纽约大学）
深度神经网络容易受到捷径学习的影响，使用简单的特征来实现低训练损失，而不需要发现基本的语义结构。与之前的观点相反，我们表明，生成模型本身不足以防止捷径学习，尽管有动机恢复比歧视性方法更全面的数据表示。然而，我们观察到，捷径优先编码的信息最少，这是一个事实，生成模型可以利用，以减轻捷径学习。特别是，我们提出了Chroma-VAE，这是一种双管齐下的方法，其中VAE分类器最初被训练为在小的潜在子空间中隔离捷径，允许在互补的无捷径潜在子空间上训练二级分类器。除了证明Chroma-VAE在基准和真实世界的快捷学习任务上的功效外，我们的工作还强调了操纵生成分类器的潜在空间以隔离或解释特定相关性的潜力。
2022-11-28 cs.LG
Curiosity-Driven Exploration via Latent Bayesian Surprise
Ghent University（根特大学）
人类追求知识的内在欲望，也被称为好奇心，被认为是获得技能的过程中必不可少的。在人工好奇心的帮助下，我们可以为当前的控制技术（如强化学习）配备更多的自然探索能力。在这方面，一个有前途的方法是对模型参数使用贝叶斯惊喜，即先验和后验信念之间差异的度量，以利于探索。在这方面的贡献，我们建议应用贝叶斯惊喜在一个潜在的空间代表代理的当前理解的系统的动态，大大降低了计算成本。我们广泛地评估我们的方法，通过测量代理的性能方面的环境探索，连续的任务，并期待在游戏中取得的成绩，视频游戏。我们的模型是计算成本低，积极与当前国家的最先进的方法在几个问题上比较。我们还研究了环境中的随机性所造成的影响，这通常是好奇心驱动的代理商的失败案例。在这种情况下，结果表明，我们的方法是弹性的随机过渡。
2022-02-23 cs.AI cs.LG stat.ML
Improved Exploration through Latent Trajectory Optimization in Deep Deterministic Policy Gradient
Arizona State University（亚利桑那州立大学）；Google DeepMind（谷歌DeepMind）
深度确定性策略梯度（DDPG）等无模型强化学习算法通常需要额外的探索策略，特别是当参与者具有确定性时。这项工作评估了使用基于模型的轨迹优化方法用于探索深度确定性策略梯度时，训练的潜像嵌入。此外，DDPG的扩展派生使用价值函数作为评论家，利用学习的深度动力学模型来计算策略梯度。这种方法导致深度强化学习算法和潜在轨迹优化器之间的共生关系。轨迹优化器受益于RL算法学习的评论家，后者受益于规划器生成的增强探索。两个连续的控制任务，一个在模拟和一个在现实世界中的方法进行评估。特别是，Baxter机器人被训练来执行插入任务，同时只接收稀疏的奖励和图像作为来自环境的观察。
2019-11-15 cs.AI cs.LG cs.RO
OPIUM: Mitigating Steering Externalities and Over-Refusal via Dual Objective Latent Optimization
研究激活引导向量存在的外部性问题，提出无训练方法OPIUM，通过表示匹配净化引导向量，在给定参考行为下优化新向量，改善安全与效用权衡，减轻激活引导的有害副作用。
2026-07-24 cs.AI cs.LG
Balancing Exploration and Exploitation in Hierarchical Reinforcement Learning via Latent Landmark Graphs
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对目标条件分层强化学习中子目标表示忽略时间连贯性、子目标选择难平衡探索利用的问题，提出HILL方法，通过对比学习学习时序一致的潜在子目标表示，构建潜在地标图并结合节点新颖性与边效用的选择策略，在稀疏奖励连续控制任务上提升了样本效率与性能。
2023-07-22 cs.LG
ReLaX: Reasoning with Latent Exploration for Large Reasoning Models
Hong Kong Polytechnic University（香港理工大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
ReLaX通过引入潜在动态分析，提升大型推理模型的探索与利用平衡，通过动态谱分散度度量潜在动态异质性，优于现有token级方法。
2026-03-20 cs.CV cs.LG
Safe Latent Diffusion: Mitigating Inappropriate Degeneration in Diffusion Models
DFKI（德国人工智能研究中心）；TU Darmstadt（达姆施塔特工业大学）；LAION（大规模人工智能开放网络）；Aleph Alpha（阿莱夫阿尔法）
针对文本条件图像扩散模型因互联网训练数据而产生偏见与不当内容的问题，本文提出SLD，并构建I2P测试集，在无需额外训练且不损害图像质量和文本对齐的情况下抑制不当生成。
2023-04-26 cs.AI cs.CV cs.LG
Learning to Plan Optimistically: Uncertainty-Guided Deep Exploration via Latent Model Ensembles
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT LIDS（麻省理工学院信息与决策系统实验室）
通过交互学习复杂的机器人行为需要结构化的探索。规划应针对具有优化长期绩效潜力的互动，同时只在有利于这一目标的情况下减少不确定性。本文介绍了潜在乐观价值探索（LOVE），这是一种在面对不确定的长期回报时通过乐观进行深度探索的策略。我们将潜在世界模型与价值函数估计相结合，通过集成来预测无限期收益并恢复相关的不确定性。然后，该策略在置信上限（UCB）目标上进行训练，以识别和选择最有希望提高长期性能的交互。我们将LOVE应用于连续动作空间中的视觉机器人控制任务，并与最先进的和其他探索目标相比，平均提高了20%以上的样本效率。在稀疏且难以探索的环境中，我们的平均改善率超过30%。
2021-12-11 cs.AI cs.LG cs.RO
Mitigating Divergence of Latent Factors via Dual Ascent for Low Latency Event Prediction Models
Yahoo Research（雅虎研究院）
现实世界的内容推荐市场表现出某些行为，并受到约束，这些约束在常见的静态离线数据集中并不总是明显的。广告市场中常见的一个例子是快速的广告周转率。每天都有新的广告出现，旧的广告消失。另一个示例是广告不连续性，其中现有广告可能由于各种原因（例如，预算耗尽、广告商暂停、系统标记等等）。这些行为有时会导致模型的损失曲面在短时间内发生显著变化。为了解决这些行为，新的模型非常重要，为了实现这一点（以及其他几个原因），通常会使用小块过去事件的增量训练。这些行为和算法优化偶尔会导致模型参数不受控制地变大，即\emph{diverge}。在这项工作中，提出了一个系统的方法，以防止模型参数发散施加精心选择的一组约束模型的潜向量。然后，我们设计了一种受原始-对偶优化算法启发的方法，以满足这些约束，其方式既与增量模型训练保持一致，又不需要对底层模型训练算法进行任何重大修改。我们分析，演示和激励我们的方法OFFSET，协同过滤算法，驱动雅虎原生广告，这是VZM的最大和增长最快的业务之一，达到每年数亿美元的运行率。最后，我们进行了一个在线实验，显示了大量减少的发散实例的数量，并显着改善用户体验和收入。
2021-11-15 cs.IR cs.LG stat.ML
Mitigating Exploration Bias in RL for Multi-Instruction Following
UT Dallas（德克萨斯大学达拉斯分校）；UT Austin（德克萨斯大学奥斯汀分校）；UC Santa Barbara（加利福尼亚大学圣巴巴拉分校）
针对多指令遵循RL中偏向简单指令的探索偏差，本文提出两个衡量指标与含行为引导、稀缺感知奖励的两阶段框架，在三个基准上显著优于基线。
2026-08-26 cs.CL cs.LG
Mitigating Catastrophic Forgetting and Mode Collapse in Text-to-Image Diffusion via Latent Replay
本文将受神经科学启发的 Latent Replay 方法应用于文本到图像扩散模型，通过仅保留模型内部的高层特征表示来缓解灾难性遗忘与模式崩溃，实验证明其在保持模型多样性和图像对齐度上显著优于现有方法。
2025-09-04 cs.AI cs.CV cs.LG
A Temporally Correlated Latent Exploration for Reinforcement Learning
School of EEE, Dankook University（檀国大学电气与电子工程学院）
针对内在奖励探索易受 Noisy TV 与随机性影响的问题，提出 TeCLE，通过动作条件潜在状态分布和时间相关性计算内在奖励，并在 Minigrid、Stochastic Atari 中验证其鲁棒性。
2024-12-06 cs.AI cs.LG
Unrewarded Exploration in Large Language Models Reveals Latent Learning from Psychology
Fudan University, China（复旦大学）；Auburn University, USA（阿伯茨罕大学）；Baidu Research, China（百度研究院）
研究发现大语言模型在无奖励探索阶段表现出潜在学习动态，通过实验验证其在无奖励和有奖励训练下的性能差异，并提出理论解释。
2026-01-30 cs.LG
SCALEX: Scalable Concept and Latent Exploration for Diffusion Models
University of Waterloo（滑铁卢大学）
SCALEX通过自然语言提示实现扩散模型潜在空间的可扩展自动化探索，能够检测性别偏见、评估语义对齐并揭示概念结构。
2025-11-20 cs.AI cs.LG
Mitigating Covariate Shift in Imitation Learning for Autonomous Vehicles Using Latent Space Generative World Models
NVIDIA
提出用潜在空间生成世界模型解决自动驾驶协变量转移问题，训练时利用世界模型减轻该问题，无需大量训练数据，还引入新感知编码器，实验显示相比之前有显著改进。
2026-07-07 cs.CV cs.LG cs.RO
Fast exploration and learning of latent graphs with aliased observations
Google DeepMind（谷歌DeepMind）
针对节点观测别名化且随机转移的潜在图恢复问题，提出一种高效探索算法，可在多种挑战性拓扑中指数级快于朴素探索，并在无别名情形下保持与基线相当的性能。
2023-09-25 cs.AI cs.LG
Empowering LLMs for Structure-Based Drug Design via Exploration-Augmented Latent Inference
College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University（教育部符号计算与知识工程重点实验室）；Department of Computer Science, Aalto University（艾尔沃斯大学计算机科学系）；College of Artificial Intelligence, Jilin University（吉林大学人工智能学院）
ELILLM通过探索增强的潜在推理框架，提升LLM在基于结构的药物设计中的表现，实现更有效的分子生成和结合亲和力预测。
2026-01-25 cs.AI cs.LG q-bio.QM
VDL-Surrogate: A View-Dependent Latent-based Model for Parameter Space Exploration of Ensemble Simulations
The Ohio State University（俄亥俄州立大学）；Argonne National Laboratory（阿贡国家实验室）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
我们提出了VDL-Surrogate，一个基于视图依赖神经网络潜伏的代理模型，用于集成模拟的参数空间探索，允许高分辨率的可视化和用户指定的视觉映射。代理启用参数空间探索允许域科学家预览仿真结果，而不必运行大量的计算成本高的仿真。然而，受计算资源的限制，现有的代理模型可能无法产生具有足够分辨率的预览以用于可视化和分析。为了提高计算资源的有效利用并支持高分辨率探索，我们从不同的角度执行光线投射以收集样本并产生紧凑的潜在表示。这种潜在的编码过程在保持输出质量的同时降低了代理模型训练的成本。在模型训练阶段，我们选择覆盖整个视区的视点，并为所选择的视点训练相应的VDL-代理模型。在模型推理阶段，我们预测在先前选定的视点的潜在表示，并解码的潜在表示的数据空间。对于任何给定的视点，我们在选定的视点对解码数据进行插值，并使用用户指定的视觉映射生成可视化。我们展示了VDL-Surrogate在宇宙学和海洋模拟中的有效性和效率，并进行了定量和定性评价。源代码可在www.example.com上公开获取。
2022-07-29 cs.AI cs.GR cs.LG
Timbre latent space: exploration and creative aspects
Institut de Recherche et Coordination Acoustique Musique (IRCAM)（声学与音乐研究和协调研究所（IRCAM））；UPMC（巴黎第六大学）；CNRS（法国国家科学研究中心）
最近的研究表明，无监督模型能够使用自动编码器学习可逆的音频表示。它们能够实现高质量的声音合成，但由于潜在空间不能解开音色属性，因此控制有限。在变分自动编码器（VAE）中研究了解纠缠表示的出现，并已应用于音频。使用附加的感知正则化可以将这种潜在表示与先前建立的多维音色空间对齐，同时允许连续的推断和合成。或者，一些特定的声音属性可以被学习作为控制变量，而无监督的维度占其余的功能。生成神经网络使音色操纵的新的可能性，虽然探索和创造性地使用其表示仍然很少。以下实验是与两位作曲家合作进行的，并提出了新的创造性方向，以探索音乐音色的潜在声音合成，使用专门设计的接口（Max/MSP，纯数据）或映射，以实现基于合成器的合成。
2020-08-17 cs.LG cs.SD eess.AS
Restoring Exploration after Post-Training: Latent Exploration Decoding for Large Reasoning Models
Gaoling School of Artificial Intelligence, Renmin University of China, Beijing, China（中国人民大学北京校区人工智能学院）；MiLM Plus, Xiaomi Inc., Beijing, China（小米公司北京MiLM Plus团队）；University of Modena and Reggio Emilia（莫德纳和雷吉奥艾米莉亚大学）；University of Pisa, Italy（比萨大学）
本文提出Latent Exploration Decoding方法，通过累积中间后验并选择熵最大配置来提升推理模型的pass@1和pass@16准确率，同时增强强化学习中的探索能力。
2026-05-11 cs.CL cs.LG
Pairing Regularization for Mitigating Many-to-One Collapse in GANs
Institute of Communications Engineering, National Yang Ming Chiao Tung University；Department of Electrical \& Computer Engineering, Texas A\&M University
本文提出配对正则化方法，通过增强潜在变量与生成样本间的局部一致性，缓解GANs中的许多到一个崩溃问题，并在不同训练阶段提升覆盖范围和精度。
2026-04-22 cs.CV cs.LG
Mitigating Shortcut Learning via Feature Disentanglement in Medical Imaging: A Benchmark Study
Hertie Institute for AI in Brain Health, Faculty of Medicine, University of Tübingen, Germany（德国图宾根大学医学系希特研究所，人工智能在脑健康中的应用）
本文通过特征解耦方法缓解医学影像中的捷径学习，评估了对抗学习和潜在空间分割等方法，发现结合数据与模型中心的解耦策略能更有效抑制捷径学习，同时保持计算效率。
2026-04-14 cs.CV cs.LG
Grammarization-Based Grasping with Deep Multi-Autoencoder Latent Space Exploration by Reinforcement Learning Agent
Technical University of Munich（慕尼黑工业大学）
本文提出利用三个自编码器将目标与夹爪特征压缩到共同潜在空间，并结合 PoWER 算法让强化学习智能体在潜在空间中探索高质量抓取，在仿真中适应能力提升超过 35%。
2024-11-19 cs.LG cs.RO
Quantum Generative Models for Computational Fluid Dynamics: A First Exploration of Latent Space Learning in Lattice Boltzmann Simulations
Al Akhawayn University（阿尔阿赫韦因大学）
本文首次将量子生成模型应用于CFD数据的潜在空间学习，通过对比量子与经典方法，展示了在格子玻尔兹曼模拟中提升生成样本质量的潜力。
2025-12-27 cs.LG
Latent Skill Planning for Exploration and Transfer
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Brain（谷歌大脑）；Nvidia（英伟达）
为了快速解决复杂环境中的新任务，智能代理需要建立可重用的知识。例如，学习世界模型捕获关于应用于新任务的环境的知识。类似地，技能捕捉可以应用于新任务的一般行为。在本文中，我们研究如何将这两种方法集成到一个单一的强化学习代理。具体来说，我们利用部分摊销的思想在测试时快速适应。为此，行动是由一个随着时间的推移而学习的政策产生的，而它所依赖的技能是使用在线规划来选择的。我们展示了我们的设计决策在一套具有挑战性的运动任务的好处，并证明了提高样本效率在单一的任务，以及在从一个任务转移到另一个，相比有竞争力的基线。视频请访问：https://sites.google.com/view/latent-skill-planning/
2021-05-02 cs.AI cs.LG cs.RO
Kinematic State Abstraction and Provably Efficient Rich-Observation Reinforcement Learning
Microsoft Research（微软研究院）
我们提出了一个算法，HOMER，探索和强化学习在丰富的观察环境，可概括的一个未知的潜在状态空间。该算法交织表示学习，以确定一个新的概念的运动状态抽象与战略探索，以达到新的状态，使用学习的抽象。该算法可证明地探索环境与样本复杂性缩放多项式的数量的潜在状态和时间范围，并且，至关重要的是，与不依赖于的大小的观察空间，这可能是无限大的。这种探索保证进一步实现了任何奖励函数的样本有效全局策略优化。在计算方面，我们表明，该算法可以有效地实现某些监督学习问题是易处理的。从经验上讲，我们评估HOMER的一个具有挑战性的探索问题，在那里我们表明，该算法是指数更有效的样本比标准的强化学习基线。
2019-11-13 cs.LG stat.ML
Mitigating Conversational Inertia in Multi-Turn Agents
College of Computer Science and Technology, Zhejiang University, Hangzhou, China（浙江大学计算机科学与技术学院）；University of Rochester, Rochester, NY, USA（罗切斯特大学）
本文研究了多轮代理中对话惯性问题，提出通过上下文偏好学习来校准模型偏好，以减少惯性并提升性能。
2026-05-18 cs.AI cs.LG
Local Latent Representation based on Geometric Convolution for Particle Data Feature Exploration
The Ohio State University（俄亥俄州立大学）
特征相关粒子数据分析在流体模拟、宇宙学模拟和分子动力学等科学应用中起着重要的作用。与传统的使用手工特征描述符的方法相比，最近的一些研究集中在将数据转换到一个新的潜在空间中，在这个空间中，特征更容易被识别、比较和提取。然而，将粒子数据转换为潜在表示是具有挑战性的，因为先前研究中使用的卷积神经网络需要以规则网格呈现的数据。在本文中，我们采用几何卷积，一个神经网络构建块设计的三维点云，创建科学粒子数据的潜在表示。这些潜在的表示捕捉粒子的位置和它们的物理属性在局部邻域，以便可以通过聚类在潜在的空间中提取的功能，并通过应用跟踪算法，如均值漂移跟踪。我们使用来自三个应用程序的数据集验证了从我们的方法中提取的特征和跟踪结果，并表明它们与为每个特定数据集定义手工特征的方法相当。
2022-03-10 cs.GR cs.HC cs.LG
CTRLS: Chain-of-Thought Reasoning via Latent State-Transition
University of California, San Diego（加州大学圣地亚哥分校）；Adobe Research（Adobe研究）
CTRLS通过建模潜在状态转移的马尔可夫决策过程，利用分布式强化学习提升大语言模型的推理能力与探索效率。
2026-01-29 cs.LG
DragGANSpace: Latent Space Exploration and Control for GANs
Georgia Institute of Technology（佐治亚理工学院）
本文融合 StyleGAN、DragGAN 与 PCA，提出 DragGANSpace，通过潜空间降维与跨模型对齐提升 GAN 图像编辑的优化效率、视觉质量及可解释控制能力。
2025-09-26 cs.CV cs.LG
Cyclical Annealing Schedule: A Simple Approach to Mitigating KL Vanishing
Microsoft Research（微软研究院）；Duke University（杜克大学）
具有自回归解码器的变分自编码器（VAE）已经被应用于许多自然语言处理（NLP）任务。VAE目标由两项组成，（i）重建和（ii）KL正则化，通过加权超参数β进行平衡。一个众所周知的训练困难是KL项往往会消失。本文研究了β的调度方案，指出KL消失是由于优化开始时训练解码器时缺少好的潜在码造成的。为了解决这个问题，我们提出了一个循环退火计划，它重复多次增加β的过程。这种新的程序允许通过利用先前周期的信息表示作为热重启来渐进地学习更有意义的潜在代码。循环退火的有效性在广泛的NLP任务中得到了验证，包括语言建模，对话响应生成和无监督语言预训练。
2019-06-10 cs.AI cs.CL cs.CV
EpicWorldModel: Exploration-driven Planning with Latent World Models
Princeton University（普林斯顿大学）；Torc Robotics
EpicWorldModel提出基于流匹配的随机JEPA框架，在部分可观测环境中利用预测方差引导CEM规划，平衡目标达成与遮挡区域探索，成功率最高提升22%。
2026-10-06 cs.AI cs.LG cs.RO
