INSIDE the Student's Mind: Jointly Modeling Latent Reasoning and Action in LLM Student Simulators
University of California, Berkeley(加利福尼亚大学伯克利分校)
该研究针对LLM学生模拟器仅复现学生行动却未捕捉其潜在推理的问题,提出INSIDE框架,通过在配对思考轨迹与行动上微调LLM,提升了模拟行动保真度与推理对齐度,最高对齐度达57.9%。
2026-08-17 cs.AI cs.CY
When to Communicate: Belief Distributions and KL Divergence for Principled Gating in Multi-Agent RL
本文提出一种多智能体强化学习中基于KL散度的原则性通信门控机制,在Predator-Prey和MPE基准测试中,该方法在复杂场景下的性能优于IC3Net等基线方法,还能改进潜在表示以提升智能体协调效果。
2026-08-18 cs.AI cs.LG
Latent Space Oddity: Exploring Latent Spaces to Design Guitar Timbres
我们介绍了一种新的卷积网络架构,具有可解释的潜在空间,用于建模吉他放大器。利用跨越一系列风格的流行放大器的领域知识,所提出的系统直观地结合或减去不同放大器的特性,使音乐家能够设计全新的吉他音色。
2020-11-20 cs.LG cs.SD eess.AS
Topological Fraud Detection in Latent Transaction Spaces
提出在拓扑匿名化嵌入上结合迭代无监督过滤与监督式精准识别的欺诈检测方法,实现超低延迟、隐私保护的分流,无需泄露个人身份信息即可标记可疑活动。
2026-10-14 cs.CR cs.LG
Learning Latent Dynamics via Invariant Decomposition and (Spatio-)Temporal Transformers
DZNE(德国神经退行性疾病研究中心);RWTH Aachen University(亚琛工业大学);University of Cambridge(剑桥大学)
提出一种结合变分自编码器和时空注意力、通过实例特定编码与通用潜在动力学分离来学习未知系统动力学的方法,无需神经ODE,高效可扩展,实验表明优于现有模型。
2023-06-21 cs.AI cs.LG
Semantic uncertainty intervals for disentangled latent spaces
MIT(麻省理工学院);University of California, Berkeley(加州大学伯克利分校);Technion—Israel Institute of Technology(以色列理工学院)
计算机视觉中有意义的不确定性量化需要对语义信息进行推理--比如照片中人的头发颜色或街上汽车的位置。为此,最近在生成建模方面的突破使我们能够在分离的潜在空间中表示语义信息,但提供语义潜变量的不确定性仍然具有挑战性。在这项工作中,我们提供了原则性的不确定性区间,保证包含任何底层生成模型的真实语义因素。该方法执行以下操作:(1)它使用分位数回归为潜在空间中的每个元素输出启发式不确定性区间(2)校准这些不确定性,使得它们包含新的、看不见的输入的潜在的真实值。然后,这些校准间隔的端点可以通过生成器传播,以产生每个语义因素的可解释的不确定性可视化。这种技术可靠地传达了图像超分辨率和图像补全等逆问题中语义上有意义、有原则和实例自适应的不确定性。
2022-11-30 cs.AI cs.CV cs.LG
LCGuard: Latent Communication Guard for Safe KV Sharing in Multi-Agent Systems
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
本文提出LCGuard框架,通过在智能体间共享KV缓存前学习表示层面的转换,以防止敏感信息泄露,同时在多个模型家族和多智能体基准测试中验证了其在减少重建攻击成功率和保持任务性能方面的有效性。
2026-05-21 cs.AI cs.ET cs.LG
From Observations to States: Latent Time Series Forecasting
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Tsinghua University(清华大学);Carnegie Mellon University(卡内基梅隆大学);Northwestern University(西北大学)
本文提出LatentTSF方法,通过将时间序列预测从观测回归转向潜在状态预测,解决潜在混沌问题,提升预测准确性和表示质量。
2026-05-12 cs.LG
Multimodal Latent Reasoning via Predictive Embeddings
本文提出Pearl框架,通过学习专家工具使用轨迹在潜在空间中进行多模态推理,无需显式调用工具,优于传统重建方法。
2026-04-09 cs.LG
Latent Telepathy: Multi-Robot Communication with Self-Supervised Perceptual Latents
Columbia University(哥伦比亚大学);Massachusetts Institute of Technology(麻省理工学院)
提出潜在心灵感应方法,通过广播自监督编码器生成的感知潜在向量实现多机器人通信,在带宽受限下以99.7%成功率避开遮挡危险,优于位置、轨迹和原始图像消息。
2026-10-14 cs.LG cs.MA cs.RO
Discovering Latent States for Model Learning: Applying Sensorimotor Contingencies Theory and Predictive Processing to Model Context
AI Lab of SoftBank Robotics Europe (Aldebaran)(软银机器人欧洲公司人工智能实验室(Aldebaran))
自主机器人需要能够适应不可预见的情况,并通过试错获得新技能。强化学习原则上为这种自主学习提供了一个合适的方法框架。然而,当前的计算强化学习代理大多完全从零开始学习每个单独的技能。我们如何才能使人工智能体,如机器人,获得某种形式的通用知识,他们可以利用这些知识来学习新技能?本文认为,像大脑一样,人工智能体的认知系统必须发展一个世界模型来支持适应性行为和学习。灵感来自认知科学文献中的两个最新发展:认知的预测处理理论和感知的感觉运动偶然性理论。在此基础上,提出了一个关于内部世界模型中编码的信息内容以及智能体如何自主获取信息的假设,描述了一个计算模型来形式化这一假设,并在一系列仿真实验中进行了评估。
2016-08-01 cs.AI cs.LG cs.RO
Think Before You Speak: Enabling Training-Free Latent Communication Between Language Models
Georgia Institute of Technology(佐治亚理工学院)
针对语言智能体文本通信的瓶颈与延迟问题,提出无需训练的CacheFuse方法,通过线性插值融合模型KV缓存,在四个基准上实现了准确率与推理速度的显著提升。
2026-10-14 cs.CL cs.LG
LD-EnSF: Synergizing Latent Dynamics with Ensemble Score Filters for Fast Data Assimilation with Sparse Observations
Georgia Institute of Technology(佐治亚理工学院);Yale University(耶鲁大学)
LD-EnSF通过在潜在空间中直接演进动力学,结合改进的LDNets和历史感知LSTM编码器,实现高维稀疏观测下的高效数据同化。
2026-03-01 cs.LG math.DS stat.ML
Latent Autoencoder Ensemble Kalman Filter for Nonlinear Data assimilation
Department of Mathematics, National University of Singapore(新加坡国立大学数学系);School of Mathematics, Southeast University(东南大学数学学院)
本文提出了一种潜在自编码器集合卡尔曼滤波器,通过在学习的潜在空间中重构同化问题,解决传统卡尔曼滤波在强非线性动态下的性能问题,实现稳定且可解释的同化方法。
2026-04-29 cs.LG cs.NA math.NA
N-GLARE: An Non-Generative Latent Representation-Efficient LLM Safety Evaluator
University of California, Riverside(加州大学河滨分校);Fudan University(复旦大学);South China University of Technology(华南理工大学)
N-GLARE通过分析潜在表示动态,提出一种高效无输出的大语言模型安全评估方法,显著降低评估成本并提升诊断效率。
2026-01-08 cs.CR cs.LG
Latent Cache Flow: Model-to-Model Communication Without Text
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
提出潜在缓存流(LCF)方法,通过联合翻译和压缩键值缓存实现高效模型间通信,在上下文不同场景下比基于文本的通信准确率提高23%、速度提升8.5倍。
2026-06-06 cs.LG
AnySafe: Adapting Latent Safety Filters at Runtime via Safety Constraint Parameterization in the Latent Space
The Ohio State University(俄亥俄州立大学);Carnegie Mellon University(卡内基梅隆大学);UC Berkeley(加州大学伯克利分校);NVIDIA Research(NVIDIA研究)
本文提出约束参数化潜在安全过滤器,通过潜空间相似性和保形校准,使安全过滤器在运行时适应用户指定的任意安全约束,并在Franka机械臂的仿真和硬件实验中验证了有效性。
2025-09-23 cs.LG cs.RO
Soft-Constrained Optimization of Latent Space in Variational Autoencoders
Elmore Family School of Electrical and Computer Engineering, Purdue University(普渡大学埃尔莫尔电气与计算机工程学院)
研究变分自编码器潜在空间优化问题,提出软约束优化方法,包括基于熵的约束和权重过滤法,在dSprites和MNIST数据集上实验,提升了潜在变量激活分数、降低重建误差、减少潜在维度并加快收敛。
2026-07-28 cs.LG stat.ML
Heterogeneous-Modal Unsupervised Domain Adaptation via Latent Space Bridging
Southern University of Science and Technology(南方科技大学);SZ DJI Technology Co., Ltd(深圳大疆科技有限公司)
本文提出异构模态无监督域适应(HMUDA)设置及潜在空间桥接(LSB)框架,利用桥接域实现跨模态知识迁移,在六个基准数据集上达到语义分割任务的最优性能。
2026-10-09 cs.AI cs.CV cs.LG
Constraining Variational Inference with Geometric Jensen-Shannon Divergence
University of Cambridge(剑桥大学)
我们研究的问题,潜在的空间正则化控制发散变分自编码器。具体地,当旨在经由潜在空间$z\in\mathbb{R}^{n}$($n\leq m$)重构示例$x\in\mathbb{R}^{m}$时,同时平衡这与对可泛化潜在表示的需要。我们提出了一个正则化机制的基础上斜几何詹森-香农发散$\left(\textrm{JS}^{\textrm{G}_α}\right)$。我们发现$\textrm{JS}^{\textrm{G}_α}$的变化,受到限制的情况下,这导致了一个直观的插值空间的分布和分歧之间的前向和反向KL。我们激励其潜在的好处VAE通过低维的例子,然后提出定量和定性的结果。我们的实验表明,在$\textrm{JS}^{\textrm{G}_α}$ -VAE的背景下,与几种基线VAE相比,偏斜我们的$\textrm{JS}^{\textrm{G}_α}$变体导致更好的重建和生成。我们的方法是完全无监督的,只使用一个超参数,可以很容易地解释在潜在的空间。
2021-01-04 cs.LG stat.ML
Control as Probabilistic Inference as an Emergent Communication Mechanism in Multi-Agent Reinforcement Learning
The University of Electro-Communications(电气通信大学);Ritsumeikan University(立命馆大学)
本文提出将控制即概率推断与涌现通信结合的多智能体强化学习模型,通过潜在消息变量和Metropolis-Hasting命名博弈实现智能体间动作信息交换,并在网格世界实验中验证其能推断有意义消息以完成协作任务。
2023-07-11 cs.AI cs.LG cs.MA
Searching for Quantum Effects in the Brain: A Bell-Type Test for Nonclassical Latent Representations in Autoencoders
School of Science, Zhejiang University of Science and Technology(浙江大学科学技术学院);Department of Physics and Institute of Theoretical and Computational Physics, University of Crete(希腊克里特大学物理系和理论与计算物理研究所);College of Life and Environmental Sciences, Hangzhou Normal University(杭州师范大学生命与环境科学学院);School of Automation and Electrical Engineering, Zhejiang University of Science and Technology(浙江大学科学技术学院自动化与电气工程学院);John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰·A·保罗森工程与应用科学学院)
本文提出了一种基于自动编码器的贝尔型测试,用于探测神经表示中的非经典性特征,探索神经信息处理可能涉及的量子效应。
2026-08-04 cs.LG physics.bio-ph quant-ph
Probing the Latent World: Emergent Discrete Symbols and Physical Structure in Latent Representations
PARRAWA AI(PARRAWA人工智能)
本文提出AIM框架,通过被动量化探针探测V-JEPA 2潜在表示中的离散符号序列,揭示潜在空间的紧凑性及结构化符号 manifold 的可发现性。
2026-03-20 cs.AI cs.CV cs.LG
The Illusion of Superposition? A Principled Analysis of Latent Thinking in Language Models
Mila – Quebec AI Institute(Mila – 魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学)
本文探讨了连续链式思维(Latent CoT)中叠加现象的出现条件,发现仅从头训练的模型表现出叠加特性,而其他训练方式下模型倾向于使用捷径解法。
2026-08-05 cs.CL cs.LG
Multiview Representation Learning via Distributed Joint Latent Space Structuring
Huawei Paris Research Center, France(华为巴黎研究中心,法国)
该研究针对分布式多视图表示学习的客户端协调问题,推导了基于MDL的泛化界,提出分布式高斯乘积混合先验方法,经多组实验验证了其有效性。
2026-08-14 cs.IT cs.LG math.IT
Squeeze3D: Extreme Neural Compression with Latent Space Bridging
University of Toronto(多伦多大学)
本文提出Squeeze3D,通过可训练映射网络连接预训练3D编码器与生成模型的潜在空间,在无需真实3D数据集的情况下实现网格、点云和辐射场的高倍率压缩与高质量重建。
2026-09-29 cs.CV cs.GR cs.LG
The Stable Artist: Steering Semantics in Diffusion Latent Space
TU Darmstadt(达姆施塔特工业大学);Hessian Center for AI (hessian.AI)(黑森人工智能中心);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);LAION
本文提出 Stable Artist 图像编辑方法,通过语义引导 SEGA 沿可变语义方向控制扩散过程,实现细粒度图像编辑、构图风格调整及潜空间概念探测。
2023-05-31 cs.AI cs.CV cs.LG
Emergent Compositional Communication for Latent World Properties
Independent Researcher, Amsterdam, Netherlands(独立研究者,阿姆斯特丹,荷兰)
本文研究多智能体通信能否从冻结视频特征中提取离散组合性表示,展示通过Gumbel-Softmax瓶颈和迭代学习发展出无标签的组合协议,验证了感知先验对可通信信息的影响。
2026-03-18 cs.LG cs.MA
Learning a Continuous Representation of 3D Molecular Structures with Deep Generative Models
University of Pittsburgh(匹兹堡大学)
药物发现中的机器学习已经集中于使用判别模型对分子库进行虚拟筛选。生成模型是一种完全不同的方法,它学习在连续的潜在空间中表示和优化分子。这些方法已经越来越成功地产生二维分子作为SMILES字符串和分子图。在这项工作中,我们描述了使用原子密度网格和一种新的拟合算法将连续网格转换为离散分子结构的三维分子结构的深生成模型。我们的模型共同代表药物样分子和它们的构象在一个潜在的空间,可以通过插值探索。我们还能够根据给定的输入化合物对不同的分子组进行采样,并增加创建有效的药物样分子的可能性。
2020-11-15 cs.LG q-bio.BM q-bio.QM
Gradient flow encoding with distance optimization adaptive step size
ETH Zurich(苏黎世联邦理工学院)
自动编码器模型使用编码器将数据样本映射到较低维度的潜在空间,然后使用解码器将潜在空间表示映射回数据空间。隐含地,它依赖于编码器来近似解码器网络的逆,使得样本可以忠实地映射到潜在空间并从潜在空间返回。这种近似可能导致次优的潜在空间表示。在这项工作中,我们研究了一种仅解码器的方法,该方法使用梯度流对潜在空间中的数据样本进行编码。梯度流是基于给定的解码器定义的,旨在通过优化为任何给定的样本找到最佳的潜在空间表示,从而消除了通过编码器进行近似求逆的需要。通过常微分方程(ODE)实现梯度流,我们利用伴随方法来训练给定的解码器。我们进一步表明,伴随方法中的昂贵的积分经验可能不是完全必要的。此外,我们提出了一个$2^{nd}$阶常微分方程的方法,它近似Nesterov的加速梯度下降,每次迭代收敛速度更快。通常使用的ODE求解器可能对积分步长非常敏感,这取决于ODE的刚度。为了克服梯度流编码的敏感性,我们使用了一个自适应求解器,在每个积分步骤中优先考虑最小化损失。我们评估所提出的方法相比,自动编码模型。在我们的实验中,GFE表现出比自动编码模型更高的数据效率,这对于数据稀缺的应用程序至关重要。
2021-05-11 cs.LG stat.AP stat.CO
Generative Topological Networks
Reichman University(赖希曼大学);Technion – Israel Institute of Technology(以色列理工学院);University of Oxford(牛津大学)
提出基于拓扑理论的生成拓扑网络(GTNs),采用监督学习在低维潜在空间生成数据,避免模式崩溃等缺陷,并解释低维生成提升质量的原因,实验证明优于VAEs且收敛快。
2025-01-21 cs.AI cs.LG stat.ML
Dynamic Mixture of Latent Memories for Self-Evolving Agents
The Chinese University of Hong Kong(香港中文大学);University of Oxford(牛津大学);Nanyang Technological University(南洋理工大学);University of Edinburgh(爱丁堡大学);Shanghai Jiao Tong University(上海交通大学)
本文提出MoLEM框架,通过动态混合专家机制实现智能体的持续学习,避免灾难性遗忘,提升任务学习和能力保持。
2026-05-21 cs.LG
Dual-Cache Latent Space Communication between Heterogeneous Language Models
Amazon(亚马逊)
本文提出XKV协议,解决异构语言模型隐空间通信的三个限制,仅训练转换器,在45个数据集-模型对设置中,其性能、速度均优于现有方法,参数效率更高。
2026-08-24 cs.AI cs.LG
$Λ$CDM and early dark energy in latent space: a data-driven parametrization of the CMB temperature power spectrum
Centre Universitaire d’Informatique, Université de Genève(日内瓦大学计算机中心);William H. Miller III Department of Physics and Astronomy, Johns Hopkins University(约翰霍普金斯大学物理与天文学系);Max-Planck-Institut für Astrophysik(马克斯·普朗克研究所(天体物理));Universität Hamburg(汉堡大学);Ludwig-Maximilians-Universität München(慕尼黑路德维希-马克西米利安大学)
本文提出用变分自编码器压缩CMB温度功率谱,得到5或8个可解释的潜在参数,并发现一个独立隔离早期暗能量效应的新自由度,展示了数据驱动参数化宇宙学模型的潜力。
2025-03-28 astro-ph.CO astro-ph.IM cs.LG
Multitasking Inhibits Semantic Drift
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Facebook AI Research(Facebook人工智能研究院)
当智能体为了实现共同的目标而进行通信时,这些目标如何塑造智能体的语言?我们研究了学习的动态潜在语言政策(LLP),其中教师代理生成自然语言的子目标描述和执行者代理映射这些描述到低级别的行动。LLP可以解决具有挑战性的长期强化学习问题,并为研究面向任务的语言使用提供了丰富的模型。但之前的研究发现,LLP训练容易出现语义漂移(以与原始自然语言含义不一致的方式使用消息)。在这里,我们从理论上和经验上证明了多任务训练是解决这个问题的有效方法:我们证明了多任务训练消除了信号游戏中的语义漂移,并表明在复杂策略游戏中神经LLP的多任务训练减少了漂移,同时提高了样本效率。
2021-04-15 cs.AI cs.CL cs.LG
PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models
Duke University(杜克大学)
单图像超分辨率的主要目的是从相应的低分辨率(LR)输入构建高分辨率(HR)图像。在通常被监督的先前方法中,训练目标通常测量超分辨率(SR)图像与HR图像之间的逐像素平均距离。优化这些指标通常会导致模糊,特别是在高方差(详细)区域中。我们提出了一种替代配方的超分辨率问题的基础上创建逼真的SR图像,缩小正确。我们提出了一种算法来解决这个问题,脉冲(通过潜在空间探索的照片上采样),它产生高分辨率,逼真的图像在以前看不见的决议在文献中。它以完全自我监督的方式实现这一点,并且不限于在训练期间使用的特定退化算子,这与以前的方法不同(需要在LR-HR图像对的数据库上进行监督训练)。PULSE不是从LR图像开始慢慢添加细节,而是遍历高分辨率自然图像流形,搜索缩小到原始LR图像的图像。这是通过“降尺度损失”来形式化的,它通过生成模型的潜在空间来引导探索。通过利用高维高斯的性质,我们限制了搜索空间,以保证现实的输出。因此,PULSE生成的超分辨率图像既逼真又正确缩小。我们展示了我们的方法在人脸超分辨率领域的概念证明(即,脸幻觉)。我们还提出了一个讨论的局限性和偏见的方法,目前实施的一个附带的模型卡与相关指标。我们的方法优于国家的最先进的方法在更高的分辨率和比例因子比以前可能的感知质量。
2020-07-20 cs.CV cs.LG eess.IV
MUGEN: A Unified Framework for Efficient Motion Understanding and Generation
Florida State University(佛罗里达州立大学);Texas Christian University(得克萨斯基督教大学);University of Miami(迈阿密大学);University of Pennsylvania(宾夕法尼亚大学)
MUGEN是一个无码本的统一运动-语言框架,通过自适应长度自编码器实现高效运动压缩,在HumanML3D和SnapMoGen数据集上的生成、检索与对齐指标均表现优异,兼顾效率与性能。
2026-08-10 cs.LG
Universal audio synthesizer control with normalizing flows
IRCAM(声学与音乐研究与协作所);CNRS(法国国家科学研究中心);Sorbonne Université(索邦大学);Laboratorio d’Informatica Musicale (LIM)(音乐信息学实验室);UNIMI(米兰大学)
无处不在的声音合成器重塑了音乐制作,甚至完全定义了新的音乐流派。然而,现代合成器中越来越多的复杂性和参数使它们更难掌握。因此,开发允许使用合成器轻松创建和探索的方法是一个至关重要的需求。在这里,我们介绍了一种新的配方的音频合成器控制。我们将其形式化为找到一个有组织的潜在的音频空间,表示合成器的能力,同时构建一个可逆的映射到其参数的空间。通过使用这个公式,我们表明,我们可以同时解决自动参数推断,宏观控制学习和基于音频的预设探索在一个单一的模型。为了解决这个新的公式,我们依靠变分自动编码器(VAE)和归一化流(NF)来组织和映射各自的听觉和参数空间。我们引入了解开流,它允许在单独的潜在空间之间执行可逆映射,同时通过将目标分割为部分密度评估来引导一些潜在维度的组织以匹配目标变化因素。我们评估我们的建议对一个大的基线模型,并显示其优越性,在参数推断和音频重建。我们还表明,该模型解开音频变化的主要因素作为潜在的维度,可以直接用作宏观参数。我们还表明,我们的模型是能够学习语义控制的合成器顺利映射到其参数。最后,我们讨论了我们的模型在创意应用程序中的使用及其在Ableton Live中的实时实现
2019-07-01 cs.HC cs.LG cs.MM