Beyond the Next Step: Variable-Length Latent World Models for Long-Horizon Planning
State Key Lab of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院通用人工智能国家重点实验室);Amazon AGI SF Lab(亚马逊AGI旧金山实验室);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院)
提出变长潜世界模型(VLWM),通过学习变长动作序列的条件潜状态预测,解决递归一步预测在长时程规划中的累积误差问题,结合课程训练策略,在长时程控制任务上平均提升13%。
2026-06-23 cs.AI cs.LG
The Depth Ceiling: On the Limits of Large Language Models in Discovering Latent Planning
University of Cambridge(剑桥大学);Imperial College London(帝国理工学院);MIT(麻省理工学院)
研究探讨了大语言模型在无监督情况下发现多步规划策略的极限,发现模型在单次前向传递中能执行最多七步潜在规划,揭示了训练与测试时能力的差异。
2026-04-07 cs.AI cs.CL cs.LG
Thinking in Latents: Adaptive Anchor Refinement for Implicit Reasoning in LLMs
Manipal University Jaipur(马普尔大学斋普尔);TCS Research(塔塔咨询研究)
本文提出AdaAnchor框架,通过自适应终止机制优化潜空间推理,提升准确率并减少计算步骤,实验表明在数学问题基准上准确率提升5%且减少48-60%的潜空间步骤。
2026-03-16 cs.AI cs.CL cs.LG
Latent Veracity Inference for Identifying Errors in Stepwise Reasoning
Mila – Québec AI Institute(魁北克人工智能研究所);KAIST(韩国科学技术院);Université de Montréal(蒙特利尔大学);LawZero(法零)
本文提出通过引入潜在真实性变量和Veracity Search算法,提升语言模型在逐步推理中的准确性和可信度,并通过Amortized Veracity Inference实现零样本真实性推断。
2026-02-17 cs.AI cs.LG
Semantic Step Prediction: Multi-Step Latent Forecasting in LLM Reasoning Trajectories via Step Sampling
Home Team Science and Technology Agency(家庭团队科技机构)
本文通过步采样改进语义管预测方法,提升多步潜在预测的准确性,并提出新的评估指标。
2026-04-20 cs.LG
LatentTrack: Sequential Weight Generation via Latent Filtering
Independent Researcher, Baltimore, MD, USA(独立研究者)
LatentTrack通过潜在过滤实现序列权重生成,利用轻量级超网络在低维潜在空间中进行因果贝叶斯过滤,有效应对非平稳动态下的分布偏移问题。
2026-01-31 cs.AI cs.LG cs.RO
From Suboptimal to Optimal: One-Step Latent Flow Policies for Offline Reinforcement Learning
Jilin University(吉林大学)
该研究针对离线强化学习中生成模型计算成本高、无法有效利用次优轨迹的问题,提出MeanFlow2Better模型,通过单步流映射优化决策,在D4RL基准上取得优异性能。
2026-10-14 cs.AI cs.LG
Latent Generative Solvers for Generalizable Long-Term Physics Simulation
Massachusetts Institute of Technology(麻省理工学院)
本文提出潜在生成求解器(LGS),通过物理变分自编码器、分层流强迫变换器和训练中的输入噪声,实现了对异构PDE家族的泛化和长序列稳定性,有效提升了物理模拟的性能。
2026-09-28 cs.AI cs.LG
Interpreting Latent CoT Reasoning as Dynamical Systems
San Jose State University(圣何塞州立大学);Worcester Polytechnic Institute(伍斯特理工学院);George Mason University(乔治梅森大学);Algoverse AI Research(Algoverse人工智能研究公司)
研究针对CODI和COCONUT等潜在推理方法的可解释性问题,将潜在令牌序列建模为表示空间轨迹,用动力系统分析表征推理演变,揭示潜在思维链的动力学特性,提升其可解释性并为改进推理性能提供见解。
2026-07-14 cs.AI cs.CL cs.LG
Identifying Nonlinear 1-Step Causal Influences in Presence of Latent Variables
我们提出了一种学习随机动力系统的因果结构的方法,在潜变量的存在下,一个$1$步骤的功能依赖。我们提出了一个信息理论的方法,使我们能够恢复观察到的变量之间的因果关系,只要潜变量的演变没有外源噪声。我们进一步提出了一种有效的学习方法的基础上线性回归的特殊子情况下,动力学被限制为线性。我们通过数值模拟验证了我们的方法的性能。
2017-01-23 cs.IT cs.LG math.IT
Does Depth Survive Composition, and Can a Router Use It? Adaptive Compute in Latent World Models
New York University(纽约大学)
研究探讨潜在世界模型中深度在组合时的情况,用浅度惩罚ρ测试九个深度思维控制任务,发现三种机制,揭示反转机制由训练产生,其与观察/动作维度等相关,还指出任务机制受多种因素影响及相关注意事项。
2026-10-15 cs.AI cs.LG
Reliably fast adversarial training via latent adversarial perturbation
KAIST(韩国科学技术院)
虽然多步对抗训练作为对抗强对抗攻击的有效防御方法而广泛流行,但与标准训练相比,其计算成本非常昂贵。已经提出了几种单步对抗训练方法来减轻上述开销成本;然而,根据优化设置,它们的性能并不足够可靠。为了克服这些限制,我们偏离了现有的基于输入空间的对抗训练机制,并提出了一种单步潜在对抗训练方法(SLAT),该方法利用潜在表示的梯度作为潜在对抗扰动。我们证明了特征梯度的L1范数通过所采用的潜在扰动被隐式正则化,从而恢复局部线性并确保可靠的性能,与现有的单步对抗训练方法相比。由于潜在扰动是基于潜在表示的梯度,而这些梯度可以在输入梯度计算过程中免费获得,因此所提出的方法与快速梯度符号方法的时间大致相同。实验结果表明,尽管该方法结构简单,但性能优于最先进的加速对抗训练方法。
2021-11-29 cs.LG
Latent Concept Disentanglement in Transformer-based Language Models
Purdue University(普渡大学);University of Southern California(南加州大学);Google(谷歌)
本研究通过机制可解释性实验,证明Transformer模型在上下文学习中能解耦并利用潜在概念,包括离散概念的逐步组合和数值概念的低维几何表示。
2025-09-26 cs.AI cs.CL cs.LG
Structure-based RNA Design by Step-wise Optimization of Latent Diffusion Model
本文提出SOLD框架,通过强化学习优化潜在扩散模型,提升RNA结构设计的准确性与效率。
2026-01-27 cs.AI cs.LG
Arbitrage-Aware Probabilistic Multi-Step Forecasting of Implied Volatility Surfaces: Joint Generation of Surface-Return Trajectories Using Latent Diffusion
University of St.Gallen(圣加仑大学)
针对隐含波动率曲面的多步预测问题,提出条件潜在扩散框架,结合考虑套利的自编码器与扩散模型,在SPX数据集上生成逼真多步场景且点预测性能优于持续性基准。
2026-10-20 cs.LG q-fin.MF
Latent-Kernel Discrete Flow Maps for Few-Step Generation
提出隐核离散流图(LKF)模型,通过共享隐变量绑定分解组件实现少步生成,在两个文本基准上较似然基线提升困惑度2.1-3.3倍,M=8时优于现有少步采样器
2026-07-31 cs.LG
How Do Latent Reasoning Methods Perform Under Weak and Strong Supervision?
Amazon(亚马逊公司);Michigan State University(密歇根州立大学)
本文研究了在弱监督和强监督下潜在推理方法的表现,发现存在捷径行为和潜在空间探索问题,并揭示了监督强度与推理能力之间的权衡。
2026-02-25 cs.AI cs.CL cs.LG
Latent Policy Steering through One-Step Flow Policies
Department of Artificial Intelligence, Yonsei University(人工智能系,延世大学);Microsoft Research(微软研究院)
本文提出Latent Policy Steering (LPS),通过一步流策略实现高保真的潜在策略改进,解决了离线强化学习中回报最大化与行为约束之间的权衡问题,实现了无需复杂超参数调整的鲁棒性能。
2026-10-30 cs.LG cs.RO
RRAEDy: Adaptive Latent Linearization of Nonlinear Dynamical Systems
ENSAM Institute of Technology(ENSAM技术学院);PIMM, SKF Chair(SKF主席职位);SKF Magnetic Mechatronics(SKF磁力学部门);University of North Florida(北弗罗里达大学)
RRAEDy通过自适应潜在维度和线性约束,实现非线性动力系统的稳定低维建模。
2025-12-08 cs.LG
LeHami: Symplectic Latent Dynamics for World Models
Courant Institute, New York University(纽约大学柯朗研究所);Brown University(布朗大学);AMI Labs(AMI实验室)
LeHami将辛哈密顿流引入JEPA,解决了其长展开时隐分布压缩的问题,在视觉摆任务中提升了长程速度预测性能并维持了隐体积,还支持亚帧积分与时间反转。
2026-10-14 cs.AI cs.LG cs.RO
LatentRAG: Latent Reasoning and Retrieval for Efficient Agentic RAG
University of Amsterdam(阿姆斯特丹大学)
LatentRAG通过将推理与检索从离散语言空间转移到连续潜在空间,提升代理RAG的效率,实验表明其在七种基准数据集上性能与显式方法相当,推理延迟降低约90%。
2026-10-27 cs.CL cs.LG
Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference
Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院)
针对潜在扩散模型迭代采样慢的问题,提出潜在一致性模型,通过在潜在空间直接预测增广概率流ODE解实现少步高保真采样,还提出适配自定义数据集的微调方法,在少步文本生成图像任务上达SOTA。
2023-10-06 cs.CV cs.LG
Reward Fine-Tuning Two-Step Diffusion Models via Learning Differentiable Latent-Space Surrogate Reward
Zoom Communications(Zoom 公司)
本文提出LaSRO方法,通过在SDXL潜空间学习可微代理奖励,将任意奖励转化为可微形式,以强化学习高效微调两步扩散模型,在超快速图像生成上优于DDPO和Diffusion-DPO等方法。
2025-03-11 cs.LG
Sparse Dictionary Learning for Measure-Valued Data via Linearized Optimal Transport: Efficient Algorithms and Sample Complexity
Department of Electrical and Computer Engineering, Tufts University(塔夫茨大学电气与计算机工程系);Department of Mathematics, Tufts University(塔夫茨大学数学系)
该研究提出基于线性化最优传输的测度值数据稀疏字典学习方法,结合最优传输几何与稀疏表示学习,在多模态数据上验证效用并推导泛化界,为概率测度空间的表示学习提供可扩展模型。
2026-10-12 cs.LG stat.ML
The Hidden Signal of Verifier Strictness: Controlling and Improving Step-Wise Verification via Selective Latent Steering
Dartmouth College(达特茅斯学院);Datadog AI Research(Datadog人工智能研究);Salesforce AI Research(Salesforce人工智能研究)
本文研究了通过隐藏状态干预控制验证器严格性的方法,提出VerifySteer通过利用潜在正确性信号进行样本级路由并选择性干预段落边界,从而在ProcessBench和Hard2Verify数据集上优于基线方法,且在推理计算上更高效。
2026-05-20 cs.AI cs.CL cs.LG
Non-Autoregressive Machine Translation with Latent Alignments
Google Research(谷歌研究院)
本文提出了两种强有力的方法,CTC和输入,非自回归机器翻译模型潜在的对齐与动态规划。我们重新CTC的机器翻译,并证明了一个简单的CTC模型可以实现最先进的单步非自回归机器翻译,与以前的工作表明。此外,我们还将Imputer模型用于非自回归机器翻译,并证明了只有4个生成步骤的Imputer可以匹配自回归Transformer基线的性能。我们的潜在对齐模型比许多现有的非自回归翻译基线更简单;例如,我们不需要使用自回归模型进行目标长度预测或重新评分。在竞争性的WMT'14 En $\rightarrow$ De任务中,我们的CTC模型使用单个生成步骤实现了25.7 BLEU,而Imputer使用2个生成步骤实现了27.5 BLEU,使用4个生成步骤实现了28.0 BLEU。这与27.8 BLEU的自回归Transformer基线相比具有优势。
2020-11-16 cs.CL cs.LG
Stabilizing autoregressive forecasts in chaotic systems via multi-rate latent recurrence
Department of Mechanical & Aerospace Engineering University of Tennessee, Knoxville(机械与航空航天工程系 田纳西大学)
通过多速率潜在递归方法,MSR-HINE在混沌系统中显著提升了长周期自回归预测的精度和稳定性。
2026-01-20 cs.LG
Beyond One-Step Accuracy: State-Affine Latent Transition for Reliable Visual Planning
University of Chinese Academy of Sciences(中国科学院大学);University of Amsterdam(阿姆斯特丹大学);United Imaging Healthcare, Co., Ltd.(联影医疗科技股份有限公司)
针对视觉规划中单步训练导致递归误差传播的问题,提出状态仿射潜在转移模型SALT,通过递归多步监督训练,虽单步误差增大,但显著提升闭环成功率并降低失败风险。
2026-10-30 cs.LG cs.RO
Dynamical Survival Analysis with Controlled Latent States
Inria Paris(法国国家信息与自动化研究所巴黎中心);Centre de Recherche des Cordeliers(科尔德里耶研究所);INSERM(法国国家健康与医学研究院);Université de Paris(巴黎大学);Sorbonne Université(索邦大学);Paris Saclay University(巴黎萨克雷大学);Univ. Paris Cité(巴黎西岱大学)
提出基于受控微分方程的动态生存分析模型,设计神经估计器及线性化的CoxSig估计器,提供理论保证并在多领域数据集上验证性能。
2024-06-04 cs.LG stat.ML
Bridging the Gap Between Latent and Explicit Reasoning with Looped Transformers
UW-Madison(威斯康星大学麦迪逊分校);Microsoft Research(微软研究院);ETH Zürich(苏黎世联邦理工学院);KRAFTON(魁匠团);Ludo Robotics
提出LOTUS方法,利用循环Transformer在潜在空间进行多步推理,通过并行监督潜在块上的CoT令牌,首次在3B规模弥合与显式CoT的差距,并将推理延迟降低2.5-6.9倍。
2026-07-14 cs.CL cs.LG
One-Step Next-Latent Prediction Is Not a World Model
本文证明一步式下一潜在预测不能构成世界模型,其误差随展开步数增长,并提出短窗口可改善预测,但各向同性惩罚对转移权重无梯度影响。
2026-09-30 cs.CV cs.LG stat.ML
Latent Reasoning in TRMs is Secretly a Policy Improvement Operator
Arip Asadulaev;Rayan Banerjee;Fakhri Karray;Martin Takac
本文通过将潜在递归推理形式化为策略改进算法,解释了递归步骤何时有效提升性能,并提出结合强化学习和扩散方法的训练方案,在Tiny Recursive Model上实现18倍前向传递减少且保持性能。
2026-05-30 cs.AI cs.CL cs.LG
Sparse Latent Factor Forecaster (SLFF) with Iterative Inference for Transparent Multi-Horizon Commodity Futures Prediction
PhD(博士)
SLFF通过稀疏编码、迭代细化和编码器对齐,提升多时段商品期货预测的透明性和可解释性。
2026-02-15 cs.AI cs.CE cs.LG
Two-Step Sound Source Separation: Training on Learned Latent Targets
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Mila--Quebec Artificial Intelligence Institute(Mila-魁北克人工智能研究所);Adobe Research(Adobe研究院)
在本文中,我们提出了一个两步的训练过程,通过深度神经网络的声源分离。在第一步中,我们学习到潜在空间的变换(并且它是逆变换),其中使用oracle的基于掩蔽的分离性能是最佳的。对于第二步,我们训练一个分离模块,该模块在先前学习的空间上操作。为了做到这一点,我们还利用了一个尺度不变的信号失真比(SI-SDR)的损失函数,在潜在的空间,我们证明了它下界SI-SDR在时域。我们运行各种声音分离实验,展示了这种方法如何获得更好的性能相比,学习变换和分离模块联合系统。所提出的方法是通用的,足以适用于一个大类的神经网络端到端的分离系统。
2019-10-23 cs.CL cs.LG cs.SD
Latent-Augmented Discrete Diffusion Models
Inria(法国国家信息与自动化技术研究院);PSL Research University(巴黎社会科学高等研究院);CMAP(巴黎高等理工学院应用数学与计算科学实验室);Ecole Polytechnique Palaiseau, France(法国巴黎高等理工学院Palaiseau分校);Sakana AI Tokyo, Japan(日本东京Sakana AI公司)
本文提出LADD模型,通过引入可学习的辅助潜在通道,在联合(token,latent)空间进行扩散,提升离散扩散模型的性能和效率。
2026-05-12 cs.AI cs.LG stat.ML
Token Assorted: Mixing Latent and Text Tokens for Improved Language Model Reasoning
Meta AI
针对大语言模型思维链推理输入冗长、计算成本高的问题,提出用VQ-VAE生成的潜在离散Token与文本Token混合表示推理过程的方法,通过随机混合训练策略适配新Token,在多类推理任务基准上优于基线。
2025-09-01 cs.AI cs.CL cs.LG
Causal Concept Graphs in LLM Latent Space for Stepwise Reasoning
本文提出因果概念图(CCG),通过结合任务条件稀疏自编码器和可微结构学习方法,在LLM潜在空间中建模概念间的因果依赖关系,提升了多步推理的效果。
2026-04-23 cs.AI cs.LG stat.ME
What's Holding Back Latent Visual Reasoning?
Instituto Superior Técnico, Universidade de Lisboa(里斯本大学理工学院);Instituto de Telecomunicações(电信研究所);TransPerfect(TransPerfect公司);Carnegie Mellon University(卡内基梅隆大学)
本研究探讨了现有模型如何利用潜在令牌,发现潜在令牌在最终预测中起作用有限,主要问题在于训练数据中潜在令牌信息有限且推理时生成的潜在令牌偏离真实表示,需要高质量数据和更精确的潜在令牌预测来推动发展。
2026-11-10 cs.AI cs.CL cs.CV
Stepwise-Refining Speech Separation Network via Fine-Grained Encoding in High-order Latent Domain
Harbin Institute of Technology at Shenzhen(深圳哈尔滨工业大学);The Chinese University of Hong Kong at Shenzhen(香港中文大学(深圳))
单通道语音分离的关键是如何将混合信号编码到一个隐嵌入空间中,以使来自不同说话人的信号能够被精确分离。现有的语音分离方法要么将语音信号变换到频域进行分离,要么通过构造基于卷积滤波器的潜在域来学习可分离的嵌入空间。虽然后一种学习嵌入空间的方法实现了语音分离的实质性改进,但我们认为,仅由一个潜在域定义的嵌入空间不足以为语音分离提供完全可分离的编码空间。在本文中,我们提出了逐步细化语音分离网络(SRSSN),它遵循一个由粗到细的分离框架。它首先学习1阶潜在域来定义编码空间,从而在粗阶段执行粗分离。然后,建议SRSSN学习一个新的潜在域沿每个基函数的现有的潜在域,以获得一个高阶的潜在域在细化阶段,这使得我们的模型进行细化分离,以实现更精确的语音分离。我们通过进行广泛的实验来证明我们的SRSSN的有效性,包括在WSJ 0 -2/3 mix数据集上的干净(无噪声)设置中的语音分离以及在WHAM!/哇!数据集。此外,我们也利用我们的模型对分离后的语音信号进行语音识别实验,以间接评估语音分离的效能。
2022-01-31 cs.LG cs.SD eess.AS
Modeling Diverse Chemical Reactions for Single-step Retrosynthesis via Discrete Latent Variables
University of Science and Technology of China(中国科学技术大学);Hefei Comprehensive National Science Center(合肥综合性国家科学中心)
单步逆合成是逆合成规划的基础,逆合成规划是计算机辅助药物发现的关键任务。单步逆合成的目标是确定在一个反应中导致目标产物合成的可能反应物。通过将有机分子表示为正则串,现有的基于序列的逆合成方法将产物到反应物的逆合成处理为序列到序列的翻译问题。然而,由于确定性推理,他们中的大多数人都很难确定所需产物的不同化学反应,这与许多化合物可以通过不同的反应类型与不同的反应物合成的事实相矛盾。在这项工作中,我们的目标是增加反应的多样性,并产生各种反应物使用离散的潜变量。我们提出了一种新的基于序列的方法,即RetroDVCAE,它将条件变分自编码器纳入单步逆合成,并将离散潜变量与生成过程相关联。具体来说,RetroDVCAE使用Gumbel-Softmax分布来近似潜在反应的分类分布,并使用变分解码器生成多组反应物。实验表明,RetroDVCAE在基准数据集和自制数据集上的性能都优于最先进的基线。定量和定性的结果表明,RetroDVCAE可以模拟反应类型的多峰分布,并产生不同的反应物候选人。
2022-08-10 cs.LG q-bio.BM q-bio.QM
StepMix: A Python Package for Pseudo-Likelihood Estimation of Generalized Mixture Models with External Variables
Université de Montréal(蒙特利尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Massachusetts Institute of Technology(麻省理工学院);Leiden University(莱顿大学);Institut universitaire en santé mentale de Montréal(蒙特利尔大学精神卫生大学研究所)
本文介绍开源 Python 包 StepMix,它在统一 EM 框架下实现带协变量与远端结局的广义混合模型的一步、两步及偏差校正三步伪似然估计,并兼容 scikit-learn 与 R。
2024-06-17 cs.LG stat.ME stat.ML
Bilingual-GAN: A Step Towards Parallel Text Generation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
基于潜在空间的GAN方法和基于注意力的序列到序列模型分别在文本生成和无监督机器翻译中取得了令人印象深刻的结果。利用这两个领域,我们提出了一个基于对抗潜在空间的模型,能够同时生成两种语言的并行句子并进行双向翻译。双语生成的目标是通过从两种语言之间共享的潜在空间中采样来实现的。首先训练两个去噪自动编码器,使用共享编码器和反向翻译来强制两种语言之间的共享潜在状态。两个平移方向共享解码器。接下来,训练GAN来生成模仿语言共享潜在空间的合成“代码”。然后将此代码输入解码器,以生成两种语言的文本。我们在Europarl和Multi 30 k数据集上进行了实验,在英语-法语语言对上进行了实验,并使用监督和无监督机器翻译记录了我们的性能。
2019-05-14 cs.CL cs.LG
First Steps: Latent-Space Control with Semantic Constraints for Quadruped Locomotion
Applied AI Lab (A2I)(应用人工智能实验室(A2I));Dynamic Robot Systems (DRS)(动态机器人系统(DRS));Oxford Robotics Institute (ORI), University of Oxford(牛津大学牛津机器人研究所(ORI))
传统的四足动物控制方法通常采用简化的手衍生模型。这显著降低了机器人的能力,因为其有效的运动范围被缩减。此外,Kinodynamic约束通常是不可微的,并且难以在优化方法中实现。在这项工作中,这些挑战是解决框架四足动物控制优化结构化的潜在空间。深度生成模型捕获可行的关节配置的统计表示,而复杂的动态和终端约束通过高级语义指标表示,并由在潜在空间上操作的学习分类器表示。因此,复杂的约束呈现微分和评估的数量级快于分析方法。我们验证的可行性运动轨迹优化使用我们的方法在模拟和现实世界中的ANYmal四足动物。我们的研究结果表明,这种方法是能够产生平滑和可实现的轨迹。据我们所知,这是第一次潜在的空间控制已成功地应用于一个复杂的,真正的机器人平台。
2020-11-20 cs.LG cs.RO
Thinking into the Future: Latent Lookahead Training for Transformers
Apple(苹果公司)
本文提出潜在前瞻训练方法,使模型在生成前进行多步前瞻,提升规划任务表现。
2026-03-03 cs.CL cs.LG
Guaranteed Discovery of Control-Endogenous Latent States with Multi-Step Inverse Models
Microsoft Research(微软研究院);McGill University(麦吉尔大学);University of Montreal(蒙特利尔大学)
在许多顺序决策任务中,智能体无法对世界的全部复杂性进行建模,世界由大量相关和不相关的信息组成。例如,一个人走在一条城市街道上,试图对世界的各个方面进行建模,很快就会被大量的商店、汽车和进出视线的人所淹没,每一个人都遵循着自己复杂而神秘的动态。有没有可能把智能体的感觉信息变成一种最小的潜在状态,这种状态对于智能体在世界上成功地行动来说既必要又足够?我们制定了这个问题具体,并提出了代理控制内源状态发现算法(AC状态),它具有理论上的保证和实际证明,发现最小的控制内源性的潜在状态,其中包含控制代理所需的所有信息,同时完全丢弃所有不相关的信息。该算法由一个多步逆模型(从遥远的观察预测行动)与信息瓶颈。AC-State支持本地化、探索和导航,无需奖励或演示。我们在三个领域证明了控制内源性潜伏状态的发现:定位具有分心的机器人手臂(例如,改变照明条件和背景),与其他代理一起探索迷宫,并在Matterport House模拟器中导航。
2022-12-27 cs.LG cs.RO stat.ML
HALO: Hybrid Adaptive Latent Reasoning for Language Models
Lockheed Martin(洛克希德·马丁公司)
研究如何用少量自适应计算改进预训练语言模型,提出HALO混合自适应潜在细化方法,结合粗略与选择性第二阶段细化。在基准比较中,HALO成绩最佳,使用细化步骤少,兼具更好的细化分配,计算量也少。
2026-07-13 cs.CL cs.LG
Gradient flow encoding with distance optimization adaptive step size
ETH Zurich(苏黎世联邦理工学院)
自动编码器模型使用编码器将数据样本映射到较低维度的潜在空间,然后使用解码器将潜在空间表示映射回数据空间。隐含地,它依赖于编码器来近似解码器网络的逆,使得样本可以忠实地映射到潜在空间并从潜在空间返回。这种近似可能导致次优的潜在空间表示。在这项工作中,我们研究了一种仅解码器的方法,该方法使用梯度流对潜在空间中的数据样本进行编码。梯度流是基于给定的解码器定义的,旨在通过优化为任何给定的样本找到最佳的潜在空间表示,从而消除了通过编码器进行近似求逆的需要。通过常微分方程(ODE)实现梯度流,我们利用伴随方法来训练给定的解码器。我们进一步表明,伴随方法中的昂贵的积分经验可能不是完全必要的。此外,我们提出了一个$2^{nd}$阶常微分方程的方法,它近似Nesterov的加速梯度下降,每次迭代收敛速度更快。通常使用的ODE求解器可能对积分步长非常敏感,这取决于ODE的刚度。为了克服梯度流编码的敏感性,我们使用了一个自适应求解器,在每个积分步骤中优先考虑最小化损失。我们评估所提出的方法相比,自动编码模型。在我们的实验中,GFE表现出比自动编码模型更高的数据效率,这对于数据稀缺的应用程序至关重要。
2021-05-11 cs.LG stat.AP stat.CO
Semi-Supervised Generative Learning via Latent Space Distribution Matching
School of Computing & Data Science, University of Hong Kong(香港大学计算与数据科学学院)
LSDM通过潜在空间分布匹配实现半监督生成学习,利用非配对数据提升生成质量。
2026-03-04 cs.LG stat.ML
DreamerAD: Efficient Reinforcement Learning via Latent World Model for Autonomous Driving
Institute of Automation, CAS(中国科学院自动化研究所);Chongqing Chang’an Technology Co., Ltd(重庆长安科技有限公司);School of Advanced Interdisciplinary Sciences, UCAS(中国科学院大学先进交叉科学学院);School of Artificial Intelligence, UCAS(中国科学院大学人工智能学院)
DreamerAD通过压缩扩散采样将步骤从100步减少到1步,实现80倍加速并保持视觉可解释性,解决了自动驾驶中真实世界数据训练成本高和安全风险大的问题。
2026-04-01 cs.LG cs.RO
Improved Training Technique for Latent Consistency Models
Rutgers University(罗格斯大学);Movian AI(莫维安人工智能公司);Monash University(莫纳什大学)
针对潜变量空间中离群值导致一致性训练性能下降的问题,提出Cauchy损失、扩散损失、最优传输耦合及自适应缩放调度器等改进,成功训练出单步或两步高质量采样的潜变量一致性模型,缩小了与扩散模型的性能差距。
2025-03-25 cs.CV cs.LG
Koopman Dreamer: Spectrally Constrained Latent Dynamics for Stable World-Model Imagination
College of Intelligence Science and Technology, National University of Defense Technology(国防科技大学智能科学与技术学院);School of Engineering, Newcastle University(纽卡斯尔大学工程学院)
研究针对潜在世界模型长期展开中模态持久性和误差积累控制有限的问题,提出库普曼梦想家模型,通过频谱约束潜在动力学核心及多种目标结合优化,推导误差界,实验证明其提高了长期潜在展开稳定性及闭环控制性能。
2026-08-04 cs.LG cs.RO