FlexLAM: Resolving the Bottleneck Trade-off in Latent Action Learning
University of Tsukuba(筑波大学);The University of Tokyo(东京大学)
针对潜在动作模型中固定容量瓶颈导致的权衡问题,提出FlexLAM,通过嵌套dropout实现变长潜在动作,在不增加架构或损失的情况下,在稀缺标签和低回报任务中优于固定容量模型,并支持推理时调整令牌预算。
2026-06-19 cs.LG cs.RO
PLAS: Latent Action Space for Offline Reinforcement Learning
Robotics Institute(机器人研究所);Carnegie Mellon University(卡内基梅隆大学)
离线强化学习的目标是从固定的数据集中学习策略,而无需与环境进行进一步的交互。对于机器人等强化学习的现实应用来说,这种设置将成为一个越来越重要的范例,其中数据汇集速度缓慢,并且具有潜在的危险。现有的离线策略算法由于来自分布外动作的外推误差而在静态数据集上具有有限的性能。这导致了在训练期间将策略约束为在数据集的支持下选择动作的挑战。我们建议简单地在潜在动作空间(PLAS)中学习策略,以便自然满足此要求。我们评估我们的方法在模拟和可变形物体的物理机器人操作任务的连续控制基准。我们证明了我们的方法在各种连续控制任务和不同类型的数据集上始终提供有竞争力的性能,优于现有的具有显式约束的离线强化学习方法。视频和代码可在https://sites.google.com/view/latent-policy上获得。
2020-11-14 cs.AI cs.LG cs.RO
Enabling Visual Action Planning for Object Manipulation through Latent Space Roadmap
KTH Royal Institute of Technology(KTH皇家理工学院);Roma Tre University(罗马第三大学);University of Cassino and Southern Lazio(卡西诺和南拉齐奥大学)
我们提出了一个框架,视觉行动规划的复杂操作任务与高维状态空间,专注于可变形物体的操作。我们提出了一个潜在的空间路线图(LSR)的任务规划,这是一个基于图的结构,全球捕捉系统的动态在一个低维的潜在空间。我们的框架由三部分组成:(1)映射模块(MM),其将以图像形式给出的观测映射到提取相应状态的结构化潜在空间中,以及从潜在状态生成观测,(2)LSR,其构建并连接包含相似状态的聚类,以便找到由MM提取的开始状态和目标状态之间的潜在计划,以及(3)行动建议模块,其用相应的行动补充LSR发现的潜在计划。我们提出了一个深入的调查,我们的框架上模拟箱堆叠和绳/箱操作任务,折叠任务上执行一个真正的机器人。
2022-06-30 cs.LG cs.RO
UniVLA: Learning to Act Anywhere with Task-centric Latent Actions
提出 UniVLA 框架,通过潜在动作模型从互联网视频中提取以任务为中心的动作表示,学习跨具身形态的 VLA 策略,以极低的预训练计算量和下游数据实现最优性能,促进可扩展的机器人学习。
2025-11-03 cs.AI cs.LG cs.RO
Latent Action Learning Requires Supervision in the Presence of Distractors
Innopolis University(因诺波利斯大学);Research Center for Trusted Artificial Intelligence, ISP RAS(可信人工智能研究所以及ISP俄罗斯科学院)
该研究发现干扰项会阻碍潜在动作学习,提出LAOM改进方案提升潜在动作质量,并证实少量真实动作监督即可大幅提升下游性能,挑战了传统的先训练潜在动作模型再解码的流程。
2025-06-12 cs.AI cs.CV cs.LG
What Do Latent Action Models Actually Learn?
Microsoft Research(微软研究院);Tsinghua University(清华大学)
针对潜在动作模型(LAMs)是否捕获动作相关变化而非噪声的问题,本文通过分析线性模型揭示其与PCA的联系、数据生成策略需求等见解,并验证鼓励学习可控变化的策略合理性。
2025-11-12 cs.AI cs.LG
Latent Space Roadmap for Visual Action Planning of Deformable and Rigid Object Manipulation
KTH Royal Institute of Technology(瑞典皇家理工学院);University of Salerno(萨莱诺大学);University of Cassino and Southern Lazio(卡西诺大学和南拉齐奥大学)
我们提出了一个框架,复杂的操作任务的视觉动作规划与高维状态空间,如可变形物体的操作。在嵌入图像的低维潜在状态空间中执行规划。我们定义并实现了一个潜在的空间路线图(LSR),这是一个基于图形的结构,全局捕捉潜在的系统动态。我们的框架由两个主要组件组成:一个视觉感知模块(VFM),它生成一个视觉计划作为一个图像序列,和一个行动建议网络(APN),预测它们之间的行动。我们展示了该方法的有效性,在一个模拟的箱子堆叠任务,以及与一个真正的机器人进行的T恤折叠任务。
2020-03-19 cs.LG cs.RO
Efficient Planning with Latent Diffusion
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人研究院)
针对离线强化学习中时间抽象与规划效率问题,提出基于分数潜扩散模型的连续潜动作表示学习与规划框架 LatentDiffuser,并通过理论等价和序列级精确采样提升高维任务性能。
2023-09-30 cs.AI cs.LG
AdaWorld: Learning Adaptable World Models with Latent Actions
HKUST(香港科技大学);Harvard(哈佛大学);UMass Amherst(马萨诸塞大学阿默斯特分校)
AdaWorld通过自监督提取视频潜在动作并预训练以潜在动作为条件的自回归世界模型,使世界模型能在有限交互下高效适应异构动作的新环境,并在模拟质量与视觉规划上表现优越。
2025-06-02 cs.AI cs.CV cs.LG
ThinkAct: Vision-Language-Action Reasoning via Reinforced Visual Latent Planning
NVIDIA;National Taiwan University(国立台湾大学)
本文提出ThinkAct双系统框架,通过强化视觉潜在规划连接多模态大语言模型的高层推理与低层动作执行,在具身AI任务中实现少样本适应、长时程规划与自我纠正。
2025-09-18 cs.AI cs.CV cs.LG
Latent Action World Models for Control with Unlabeled Trajectories
Technical University of Munich(慕尼黑技术大学);Machine Learning Research Lab, Volkswagen Group(大众集团机器学习研究实验室);Eötvös Loránd University Budapest(布达佩斯欧多立大学);Foundation Robotics Labs(基础机器人实验室)
本文提出了一种潜在动作世界模型,通过结合动作条件和无动作数据,提升离线强化学习在未标记轨迹上的性能。
2025-12-10 cs.LG
Olaf-World: Orienting Latent Actions for Video World Modeling
Show Lab, National University of Singapore;Research (A STAR), Singapore
提出SeqΔ-REPA对齐目标,通过冻结自监督视频编码器的时序特征差异锚定潜在动作,实现无标签视频中可迁移的动作控制世界模型预训练。
2026-05-26 cs.AI cs.CV cs.LG
Identifying Latent Actions and Dynamics from Offline Data via Demonstrator Diversity
ETH Zürich(苏黎世联邦理工学院)
本文研究了在不观察动作的情况下从离线轨迹中恢复潜在动作和环境动态的问题,通过示范多样性假设,证明了在满足特定条件时,潜在转移和示范策略可以被唯一确定,从而为从离线强化学习数据中学习潜在动作和动态提供了新的方法。
2026-05-18 cs.AI cs.LG stat.ML
Factored Latent Action World Models
University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出因子化潜在动作模型(FLAM),通过将场景分解为独立因子并学习各自的潜在动作,提升了无动作视频中多实体动态建模的准确性和视频生成质量。
2026-05-25 cs.LG
J-LAW: Joint Localization and Action-Conditioned World Modeling via Coupled Latent Factor Graphs
Geely Technology Europe(吉利技术欧洲公司);State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing (LIESMARS)(信息工程测绘与遥感国家重点实验室(LIESMARS));Wuhan University(武汉大学)
提出J-LAW,通过耦合因子图联合优化度量物体位姿、潜在世界状态和潜在地标嵌入,实现定位与可操作世界建模的协同提升,实验证明能显著降低潜在预测误差和端点漂移。
2026-09-01 cs.LG cs.RO
Latent Semantic Learning with Structured Sparse Representation for Human Action Recognition
Peking University(北京大学)
本文提出了一种新的潜在语义学习方法,用于从大量具有结构化稀疏表示的丰富中级特征(即视觉关键字)的词汇中提取高级特征(即潜在语义),这有助于弥合人类动作识别这一具有挑战性的任务中的语义鸿沟。为了发现中间层特征的流形结构,我们开发了一种基于L1-图的潜在语义学习的谱嵌入方法,而不需要调整作为流形学习关键步骤的图构造的任何参数。更重要的是,我们构建了L1-图的结构化稀疏表示,这可以通过结构化稀疏编码与新的L1-范数超图正则化确保其结构化稀疏性的中层功能。在新的嵌入空间中,我们通过谱聚类从丰富的中层特征中自动学习潜在语义。通过定义直方图交集核,学习的潜在语义可以很容易地用于SVM的人体动作识别。与传统的基于主题模型的潜在语义分析方法不同,本文提出的潜在语义学习方法可以在L1图构建和谱嵌入两个方面探索中间层特征的流形结构,从而得到紧凑但具有区分力的高层特征。在常用的KTH动作数据集和无约束的YouTube动作数据集上的实验结果表明了该方法的优越性能。
2011-09-23 cs.AI cs.LG cs.MM
SmolWAM: A Latent World-Action Model for Robotic Manipulation on Edge Devices
ML Collective
SmolWAM是从Cosmos Policy衍生的轻量潜在世界-动作模型,适配边缘设备,在LIBERO任务中实现95.5%的成功率,速度、运算量和内存占用均显著优于原模型。
2026-11-10 cs.LG cs.RO
Sensorimotor World Models: Perception for Action via Inverse Dynamics
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Department of Computer Science, Brown University(布朗大学计算机科学系);ELLIS Institute(ELLIS研究所);ETH Zürich(苏黎世联邦理工学院)
提出传感器运动世界模型(SMWM),通过逆动力学正则化端到端训练潜空间世界模型,防止表示崩溃并学习与行动对齐的紧凑表示,在2D和3D控制任务中实现竞争性规划性能。
2026-06-19 cs.AI cs.LG
Latent Action Pretraining from Videos
KAIST(韩国科学技术院);University of Washington(华盛顿大学);Microsoft Research(微软研究院);NVIDIA(英伟达);Allen Institute for AI(人工智能算法研究所)
本文提出LAPA无监督预训练方法,通过VQ-VAE式潜在动作量化从无动作标签视频学习VLA模型,并在小规模机器人数据上微调,显著提升真实操作泛化性能。
2025-05-15 cs.CL cs.CV cs.LG
BeliefGraph-JEPA: Structured Latent World Models for Action-Conditioned Time Series
Carnegie Mellon University(卡内基梅隆大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Stevens Institute of Technology(史蒂文斯理工学院)
针对动作条件时间序列预测,提出BeliefGraph-JEPA结构化潜在世界模型,通过类型化潜在效应状态和图路由捕捉未来驱动因素影响,在四个多目标系统上优于多种基线。
2026-10-06 cs.AI cs.LG
Controlling Multimodal Conversational Agents with Coverage-Enhanced Latent Actions
School of Computer Science, Wuhan University(武汉大学计算机学院);Tongyi Lab(通义实验室);Zhongguancun Academy(中关村学院)
本文提出通过增强覆盖的潜在动作空间改进多模态对话代理的强化学习微调,利用跨模态投影器提升鲁棒性,在两个对话任务中优于基线方法。
2026-04-13 cs.AI cs.CL cs.LG
Latent Policies for Adversarial Imitation Learning
University of California, San Diego(加州大学圣地亚哥分校)
本文认为学习机器人运动和操作任务的专家演示。生成对抗性模仿学习(GAIL)训练区分专家和代理转换的鉴别器,然后使用鉴别器输出定义的奖励来优化代理的策略生成器。这种生成式对抗训练方法非常强大,但取决于训练器和生成器训练之间的微妙平衡。在高维问题中,训练可能很容易过度拟合或利用与任务无关的特征的关联进行转换分类。这项工作的一个关键见解是,在合适的潜在任务空间中执行模仿学习可以使训练过程稳定,即使在具有挑战性的高维问题中也是如此。我们使用一个动作编码器-解码器模型来获得一个低维的潜在动作空间,并使用对抗性模仿学习(LAPAL)来训练一个潜在策略。编码器-解码器模型可以从状态-动作对离线训练以获得任务不可知的潜在动作表示,或者在线训练,同时进行编码器和生成器训练,以获得任务感知的潜在动作表示。我们证明了LAPAL训练是稳定的,具有接近单调的性能改进,并且在大多数运动和操作任务中实现了专家性能,而GAIL基线收敛较慢,并且在高维环境中没有实现专家性能。
2022-06-22 cs.LG cs.RO
On the Identifiability of Latent Action Policies
Samsung AI Lab(三星人工智能实验室)
该研究针对近期提出的从视频中发现动作表征的潜在动作策略学习(LAPO)框架的可辨识性展开,明确了动作表征的理想性质与不可辨识性来源,证明熵正则化LAPO目标在合适条件下可辨识符合要求的动作表征,解释了离散动作表征的实践优势。
2025-10-01 cs.LG stat.ML
Latent Energy Action Planning with World Models
Purdue University(普渡大学)
该研究针对潜在世界模型规划中动作序列与目标描述符不匹配的问题,提出LEAP方法,通过耦合终端潜在目标匹配与状态能量,结合拟牛顿求解器等,在四个控制领域将规划成功率提升17.3个百分点。
2026-09-04 cs.LG
Being-H0.7: A Latent World-Action Model from Egocentric Videos
BeingBeyond Team(BeingBeyond团队)
本文提出Being-H0.7,通过在感知与动作之间插入可学习的潜在查询,实现未来感知的VLA策略,无需生成未来帧,提升预测效率与部署性。
2026-04-30 cs.CV cs.LG cs.RO
Vision-Language Models Unlock Task-Centric Latent Actions
Innopolis University(因诺波利斯大学);Research Center for Trusted Artificial Intelligence, ISP RAS(可信人工智能研究所以及ISP俄罗斯科学院)
本文提出利用视觉-语言模型的常识推理能力,通过可提示的表示分离可控变化与噪声,提升潜在动作质量,从而提高下游任务性能。
2026-01-30 cs.AI cs.CV cs.LG
Efficient Planning in a Compact Latent Action Space
University College London(伦敦大学学院);University of California, Berkeley(加州大学伯克利分校);Cornell University(康奈尔大学);Cohere;Meta AI (FAIR)(元人工智能(基础人工智能研究部))
基于规划的强化学习在离散和低维连续动作空间的任务中表现出很强的性能。然而,规划通常会为决策带来显著的计算开销,并且将此类方法扩展到高维动作空间仍然具有挑战性。为了提高高维连续控制的有效规划,我们提出了轨迹自动编码规划器(TAP),它使用状态条件VQ-VAE学习低维潜在动作代码。解码器的VQ-VAE因此作为一种新的动力学模型,采取潜在的行动和当前状态作为输入,并重建长期的地平线轨迹。在推理时间内,给定一个起始状态,TAP搜索离散的潜在动作,以找到在训练分布下具有高概率和高预测累积奖励的轨迹。在离线RL设置的实证评估表明,低决策延迟是无关紧要的增长的原始动作维度。对于具有高维连续动作空间的Adroit机器人手操作任务,TAP大大超过了现有的基于模型的方法,并且还击败了强大的无模型演员-评论家基线。
2023-01-24 cs.LG
Multi-Label Zero-Shot Human Action Recognition via Joint Latent Ranking Embedding
The University of Manchester(曼彻斯特大学)
人体动作识别是指从视频片段中自动识别人体动作。在现实中,视频流中经常存在多个人类动作。这样的视频流通常在全局级别上用一组相关的人类动作标签进行弱注释,而不是将每个标签分配给对应于单个动作的特定视频片段,这导致了多标签学习问题。此外,现实中存在许多有意义的人类动作,但是收集/注释关于所有各种人类动作的视频剪辑将是极其困难的,这导致零样本学习场景。据我们所知,还没有一项工作在人类行为识别中同时解决了上述所有问题。在本文中,我们制定了一个现实世界中的人类动作识别任务作为一个多标签零样本学习问题,并提出了一个框架来解决这个问题的整体方式。我们的框架从整体上解决了多标签学习的不同动作之间的未知时间边界问题,并利用了关于知识转移的不同人类动作之间的语义关系的辅助信息。因此,我们的框架导致一个联合潜在的排名嵌入多标签zero-shot人类动作识别。提出了一种新的双分量模型神经网络结构和交替学习算法来实现联合隐排序嵌入学习。因此,多标签zero-shot识别是通过在联合潜在视觉和语义嵌入空间中测量动作标签与测试视频剪辑的相关性分数来完成的。我们用不同的设置来评估我们的框架,包括一个专门为评估多标签零样本学习而设计的新型数据分割方案,在两个数据集上:早餐和字谜。实验结果证明了该框架的有效性。
2019-02-06 cs.AI cs.CV cs.LG
LIDAR-AD: A Decoder-Free Latent-Interaction Dreamer with Action-Residual Chains for Autonomous Driving
School of Mechanical Engineering, Southeast University(东南大学机械工程学院);Department of Civil and Environmental Engineering, University of Michigan(密歇根大学土木与环境工程系);Xheart Technology Co., Ltd.(芯驰科技有限公司)
研究针对自动驾驶中多源观测冗余问题,提出LIDAR-AD,用减少冗余的潜在对齐取代观测重建,将车辆控制建模为残差动作更新,经实验验证其在模拟场景和现实布局下性能优异,能提升风险感知等能力。
2026-07-15 cs.LG
FingerGAN: A Constrained Fingerprint Generation Scheme for Latent Fingerprint Enhancement
University of New South Wales(新南威尔士大学)
潜指纹增强是潜指纹识别中必不可少的预处理步骤。大多数潜在指纹增强方法试图恢复损坏的灰色脊/谷。在本文中,我们提出了一种新方法,将潜在指纹增强描述为生成对抗网络(GAN)框架内的约束指纹生成问题。我们将所提出的网络命名为FingerGAN。它可以强制其生成的指纹(即,增强的潜指纹)与相应的地面实况实例在指纹骨架图加权的细节位置和方向场正则化的FOMFE模型。由于细节点是指纹识别的主要特征,并且细节点可以直接从指纹骨架图中提取,因此本文提出了一个整体框架,可以在直接优化细节点信息的情况下进行潜在指纹增强。这将有助于显着提高潜在指纹识别性能。在两个公开的潜在指纹数据库上的实验结果表明,我们的方法明显优于现有技术。这些代码可从\url{https://github.com/HubYZ/LatentEnhancement}获得,用于非商业目的。
2022-06-26 cs.AI cs.CV cs.LG
Think Less, Act Early: Reinforced Latent Reasoning with Early Exit in Vision-Language-Action Models
Tsinghua University, Beijing, China(清华大学)
提出AVA-VLA框架,通过强化学习去噪和早退策略优化潜在推理轨迹,在LIBERO上实现6倍推理加速和98.3%平均成功率。
2026-06-16 cs.CV cs.LG cs.RO
Latent Spherical Flow Policy for Reinforcement Learning with Combinatorial Actions
University of California, Berkeley(加州大学伯克利分校)
提出LSFlow方法,通过球形流匹配在紧凑连续潜在空间中学习随机策略,并利用组合优化求解器保证动作可行性,引入平滑贝尔曼算子解决不连续值函数问题,在多个组合RL任务上平均超越基线20.6%。
2026-06-06 cs.LG
Fast LeWorldModel
Xi’an Jiaotong University(西安交通大学)
提出Fast-LeWM,通过动作前缀并行预测未来潜在状态,替代LeWM的自回归滚动,降低规划时间并减少潜在误差累积。
2026-09-29 cs.CV cs.LG cs.RO
Decision-Metric Alignment in Latent World Models: Diagnostics and Action-Conditioned Objectives for MPC Planning
该研究针对潜在世界模型中MPC规划的决策度量对齐问题,提出两种秩一致性诊断指标,开发DA-LeWM模型,验证其可加快收敛并提升在线成功率,改善潜在MPC的几何结构。
2026-08-20 cs.CV cs.LG
SALSA-RL: Stability Analysis in the Latent Space of Actions for Reinforcement Learning
Pennsylvania State University(宾夕法尼亚州立大学)
SALSA-RL通过动作潜空间的局部稳定性分析,为强化学习提供可解释性,使在不损害性能的前提下评估预训练智能体的动作稳定性。
2026-04-08 cs.LG
CLAS: Coordinating Multi-Robot Manipulation with Central Latent Action Spaces
Volkswagen Group(大众集团);Machine Learning Research Lab(机器学习研究实验室)
多机器人操作任务涉及各种控制实体,这些控制实体可以被分离成动态独立的部分。此类现实世界任务的典型示例是双臂操纵。学习用强化学习天真地解决这样的任务通常是不可行的,因为样本复杂性和探索需求随着动作和状态空间的维度而增长。相反,我们希望处理多代理系统这样的环境,并有几个代理控制整体的一部分。然而,分散行动的产生需要通过一个仅限于任务中心信息的渠道进行跨代理的协调。本文提出了一种方法来协调多机器人操作,通过学习的潜在行动空间,在不同的代理共享。我们在模拟多机器人操作任务中验证了我们的方法,并证明了在样本效率和学习性能方面比以前的基线有所改进。
2022-11-28 cs.GT cs.LG cs.MA
Simplifying Latent Dynamics with Softly State-Invariant World Models
Max Planck Institute for Biological Cybernetics(马克斯·普朗克生物控制论研究所);University of Tübingen(蒂宾根大学);Helmholtz Institute for Human-Centered AI(亥姆霍兹以人为本人工智能研究所);Helmholtz Center Munich(慕尼黑亥姆霍兹中心)
针对现有世界模型无法保证动作效果系统性表征的问题,提出软状态不变的简约潜在空间模型PLSM,通过最小化潜在状态与动作引发的潜在变化间的互信息正则化动力学,在预测、规划及无模型强化学习任务中提升了准确性、泛化性和性能。
2024-11-01 cs.LG
Imitating Latent Policies from Observation
Georgia Institute of Technology(佐治亚理工学院)
在本文中,我们描述了一种新的方法来模仿学习,推断潜在的政策,直接从国家的意见。我们介绍了一种方法,其特点的因果关系的潜在行动的观察,同时预测其可能性。然后,我们概述了一个动作对齐过程,利用少量的环境交互来确定潜在的和现实世界的动作之间的映射。我们表明,这种校正的标签可以用于模仿观察到的行为,即使没有专家的行动。我们评估我们的方法在经典的控制环境和平台游戏,并证明它比标准的方法表现更好。这个工作的代码可以在https://github.com/ashedwards/ILPO上找到。
2019-05-13 cs.LG stat.ML
Paraphrase Generation with Latent Bag of Words
Columbia University(哥伦比亚大学);Peking University(北京大学)
释义生成是自然语言处理中一个长期存在的重要问题。此外,深度生成模型的最新进展显示了文本生成的离散潜变量的前景。受具有离散潜在结构的变分自编码器的启发,本文提出了一种用于释义生成的潜在词袋模型。我们从目标句子的BOW基础的离散的潜在变量的语义。我们使用这个潜在变量来构建一个完全可区分的内容规划和表面实现模型。具体来说,我们使用源单词来预测它们的邻居,并使用softmax的混合模型对目标BOW进行建模。我们使用Gumbel top-k重新参数化从预测的BOW分布中进行可微子集采样。我们检索采样的词嵌入,并使用它们来增强解码器,并指导其生成搜索空间。我们的潜在BOW模型不仅增强了解码器,而且还表现出清晰的可解释性。我们展示了关于词邻居\emph{(ii)}的逐步生成过程的\emph{(i)}无监督学习的模型可解释性。大量的实验表明,该模型的生成过程是透明和有效的。\footnote{Our code can be found at \url{https://github.com/FranxYao/dgm_latent_bow}}
2020-01-07 cs.CL cs.LG
Unconditional flow-based time series generation with equivariance-regularised latent spaces
Imperial College London(伦敦帝国学院)
本文提出了一种基于流的无条件时间序列生成方法,通过等变性正则化潜在空间提升生成质量,同时在计算效率上优于现有扩散基线方法。
2026-01-30 cs.LG
LEON: Operator-Structured Latent Evolution for World Modeling
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院);Principia AI
该研究提出隐式演化算子网络(LEON)作为WAMs的新型转移实现架构,通过算子结构建模隐式演化,在两类WAM范式下均提升了闭环性能与鲁棒性,确立了转移实现的重要性。
2026-11-17 cs.AI cs.LG cs.SY
HALO: Enhancing Time Series Generation via Hyperspherical Latents and Masked AutoregRessive Modeling
East China Normal University(华东师范大学)
HALO提出超球面VAE约束连续潜变量并采用掩码自回归模型,解决时间序列生成中信息丢失与误差累积问题,实现最先进性能并大幅提升推理效率。
2026-09-30 cs.LG
Segment to Focus: Guiding Latent Action Models in the Presence of Distractors
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Oxford(牛津大学)
针对动作相关视觉干扰导致潜在动作模型失效的问题,提出MaskLAM方法,利用分割基础模型(如SAM)零样本获取智能体掩码,限制重建目标于智能体像素,迫使潜在动作编码内源动态,显著提升下游策略性能。
2026-05-27 cs.CV cs.LG
Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck
University at Buffalo(布法罗大学);Criteo(Criteo公司);Duke University(杜克大学)
变分自编码器(VAE)是端到端表示学习中必不可少的工具。然而,VAE的顺序文本生成常见的陷阱是,该模型倾向于忽略具有强大自回归解码器的潜在变量。在本文中,我们提出了一个原则性的方法来缓解这个问题,通过应用一个离散化的瓶颈,在一个更紧凑的潜在空间中执行隐式的潜在特征匹配。我们施加一个共享的离散潜在空间,每个输入都被学习选择一个潜在原子的组合作为正则化的潜在表示。我们的模型赋予一个有前途的能力,离散序列的潜在语义建模,从而提供更多的解释性潜在结构。从经验上讲,我们证明了我们的模型在广泛的任务上的效率和有效性,包括语言建模,未对齐的文本样式传输,对话响应生成和神经机器翻译。
2021-02-25 cs.CL cs.LG stat.ML
LatentSpeech: Latent Diffusion for Text-To-Speech Generation
UNSW Sydney(新南威尔士大学悉尼分校);Monash University(莫纳什大学)
针对主流TTS系统映射梅尔频谱图计算负载高的问题,提出采用潜在扩散模型的LatentSpeech,以潜在嵌入为中间表示大幅降维,首次将潜在扩散集成到TTS中,在基准数据集上显著提升语音生成的准确性与自然度。
2024-12-11 cs.AI cs.CL cs.LG
MUNITE: Unified Multimodal Latent Inference for Any-to-Any Multimodal Generation
KAIST(韩国科学技术院)
MUNITE提出统一潜在推理框架,将编码与生成视为同一推理问题,通过自蒸馏条件流匹配实现任意到任意多模态生成,在多个基准上取得更优质量与一致性。
2026-10-08 cs.LG
LatentHDR: Decoupling Exposure from Diffusion via Conditional Latent-to-Latent Mapping for Text/Image-to-Panoramic HDR
Monks AI Research Lab(Monks AI研究院)
本文提出LatentHDR框架,通过在潜在空间中解耦场景生成与曝光建模,实现高效且结构一致的HDR生成,实验表明其在动态范围和感知质量上优于现有方法,并显著降低计算成本。
2026-05-11 cs.CV cs.GR cs.LG
Improving the Generation of VAEs with High Dimensional Latent Spaces by the use of Hyperspherical Coordinates
School of Electrical Engineering and Robotics(电气工程与机器人学学院);Queensland University of Technology(昆士兰理工大学)
本文针对高维潜在空间中VAE随机采样解码效果差的问题,提出用超球面坐标参数化潜在变量以压缩潜在分布、降低稀疏性,从而提升VAE的生成能力。
2025-07-21 cs.LG
Cross Domain Image Generation through Latent Space Exploration with Adversarial Loss
Carnegie Mellon University(卡内基梅隆大学)
条件域生成是交互控制深度生成模型样本生成过程的一种好方法。然而,一旦创建了条件生成模型,允许它适应新的条件控制通常是昂贵的,特别是网络结构相对较深。我们提出了一个条件的潜在域转移框架的潜在空间的无条件变分自编码器(VAE)。有了这个框架,我们可以允许无条件训练的VAE在它的域中生成图像,条件由另一个域的潜在表示提供。这个框架并不假设两个领域之间的共性。我们证明了我们的模型在广泛使用的图像数据集下的有效性和鲁棒性。
2018-05-24 cs.CV cs.LG stat.ML
Autoregressive latent diffusion for 3D molecule generation
研究3D分子生成问题,提出KRONOS潜自回归扩散框架,联合建模分子图拓扑和几何,引入混合训练策略。实验表明其在自回归方法中无条件生成性能领先,与扩散模型竞争,单一架构可支持两种生成范式。
2026-10-05 cs.LG
Geometric Latent Diffusion Models for 3D Molecule Generation
Stanford University(斯坦福大学)
针对3D分子生成问题,提出首个分子几何领域的潜在扩散模型GeoLDM,通过构建带不变标量和等变张量的点结构潜在空间满足旋转-平移等变约束,在多个基准上性能更优且可控生成能力更强。
2023-05-02 cs.LG q-bio.QM
Unpriortized Autoencoder For Image Generation
Seoul National University(首尔大学)
在本文中,我们对待的图像生成任务,使用自动编码器,一个代表性的潜在模型。与许多研究通过假设手动指定的先验来正则化潜变量的分布不同,我们通过直接估计潜变量分布来使用自动编码器来处理图像生成任务。为此,我们引入了“潜在密度估计”,它明确地捕获潜在分布,并提出了它的结构。通过实验,我们表明,我们的生成模型生成的图像与以前的自动编码器为基础的生成模型相比,提高了视觉质量。
2021-08-26 cs.CV cs.LG stat.ML
Property-Guided Molecular Generation and Optimization via Latent Flows
BCG X AI Science Institute(BCG X 人工智能科学研究所)
本文提出MoltenFlow框架,结合属性有序的潜在表示与流匹配生成先验,实现高效的多目标分子优化和无条件生成质量提升。
2026-03-27 cond-mat.mtrl-sci cs.LG
Controlling Large Language Model with Latent Actions
Nanjing University(南京大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Tsinghua University(清华大学)
本文提出 CoLA 框架,通过潜在动作空间增强 LLM 的 RL 可控性与探索性,在 math500 上超越基线,并提升智能体任务性能且不损害原能力,同时计算时间减半。
2025-03-27 cs.CL cs.LG