Learning Sparsest Linear Causal DAGs with Latent Confounders via Higher-Order Cumulants
Graduate School of Informatics(信息科学研究生院);Institute for Liberal Arts and Sciences(文科理科研究所)
研究在具有潜在混杂因素的线性非高斯无环模型中恢复最稀疏DAG的问题,提出一种有限样本方法,该方法不受潜在混杂因素数量限制,经模拟研究和实际数据分析验证,其有限样本性能优于现有方法。
2026-07-08 cs.LG
Federated Latent Factor Learning for Recovering Wireless Sensor Networks Signal with Privacy-Preserving
College of Computer and Information Science(计算机与信息科学学院);Southwest University(西南大学);School of Engineering(工程学院);University of Western Australia(西澳大学);College of Food Science(食品科学学院);Chongqing True Flavor Food Co LTD(重庆真味食品有限公司)
针对无线传感器网络数据缺失且隐私保护不足的问题,提出联邦潜在因子学习模型FLFL-SSR,通过传感器级联邦学习和局部空间共享策略,在保护隐私的同时提升信号恢复精度。
2025-04-22 cs.LG
DSReg: Provably Recovering Individual World Latents without Reconstruction
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Cold Spring Harbor Laboratory(冷泉港实验室);Brown University(布朗大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ELLIS Institute Tübingen(ELLIS图宾根研究所)
DSReg利用结构多样性,通过依赖稀疏正则化,在无需重建、解码器或标签的情况下,可证明地恢复个体世界潜变量,并建立了首个完全可识别的JEPA,提升下游性能。
2026-10-08 cs.AI cs.LG cs.RO
Diverse Policies Recovering via Pointwise Mutual Information Weighted Imitation Learning
Tencent AI Lab(腾讯AI实验室)
本文提出基于点互信息加权的行为克隆方法,通过突出与风格最相关的状态-动作对,提升从专家轨迹中恢复多样化策略的效果。
2024-10-22 cs.AI cs.LG stat.ML
LFADS - Latent Factor Analysis via Dynamical Systems
Google, Inc.(谷歌公司);Columbia University(哥伦比亚大学);Stanford University(斯坦福大学)
神经科学正在经历一场数据革命,数百或数千个神经元被同时记录。目前,对于如何分析这些数据还没有达成共识。在这里,我们介绍LFADS(通过动态系统的潜在因素分析),一种从同时记录的单次试验高维神经尖峰数据推断潜在动力学的方法。LFADS是一种基于变分自动编码器的序列模型。通过对观测数据的生成进行动态系统假设,LFADS将观测到的尖峰减少到一组低维时间因素、每次试验的初始条件和推断的输入。我们比较LFADS现有的方法对合成数据,并表明它显着优于他们推断神经放电率和潜在的动态。
2016-08-22 cs.LG q-bio.NC stat.ML
Recovering Nonlinear Functions of Latent Variables: A Plausible-Value Neural Network Framework
Korea University(高丽大学)
该研究提出PV-ANN框架,通过埃尔米特多项式展开推导边界,在非线性低信度条件下可大幅缩小潜变量非线性函数的恢复差距,且预测准确率未提升,符合理论预期。
2026-08-21 cs.LG stat.ME
Recovering Trajectories of Unmarked Joints in 3D Human Actions Using Latent Space Optimization
Mitsubishi Electric Research Laboratories(三菱电机研究实验室);Lawrence Livermore National Laboratories(劳伦斯利弗莫尔国家实验室);Arizona State University(亚利桑那州立大学)
运动捕捉(mocap)和基于飞行时间的人类动作感测正在成为越来越流行的模式,以执行强大的活动分析。应用范围从动作识别到量化健康应用的运动质量。虽然无标记运动捕捉已经取得了很大进展,但在医疗保健等关键应用中,基于标记的系统,特别是有源标记,仍然被认为是黄金标准。然而,在这两种模式中存在几个实际挑战,例如可见性、跟踪误差,以及简单地需要保持标记设置方便,其中使用减少的标记集来记录运动。这意味着某些关节位置甚至不会被标记,使得全身运动的下游分析具有挑战性。为了解决这一差距,我们首先提出的问题,重建未标记的联合数据作为一个不适定的线性逆问题。我们通过将给定动作投影到人类动作的流形上来恢复给定动作的丢失关节,这是通过优化深度自动编码器的潜在空间表示来实现的。在mocap和Kinect数据集上的实验清楚地表明,所提出的方法在恢复丢失关节的动作和动力学的语义方面表现得非常好。我们将公开发布所有代码和模型。
2020-12-03 cs.CV cs.LG
Deep de Finetti: Recovering Topic Distributions from Large Language Models
Princeton University(普林斯顿大学)
本文提出LLMs通过隐式贝叶斯推断捕获文档主题结构,并以LDA为目标验证了LLMs内部表示能恢复潜在主题分布。
2023-12-21 cs.AI cs.CL cs.LG
On Minimal Observation Time for Recovering Latent Hawkes Networks
University of Basel(巴塞尔大学);Rice University(里奇大学)
研究从基于事件的观测中推断潜在网络的最小观测时间,证明在稀疏弱相互作用的Hawkes过程中,观测时间与交互实体数d成对数关系。
2026-11-18 cs.IT cs.LG math.IT
Forgetting is Not Erasure: Recovering Latent Knowledge via Transport Keys
Axionic Labs(Axionic实验室)
通过缝合评估协议和紧凑的任务特定传输键,发现灾难性遗忘主要由内部阶段接口漂移而非任务相关计算的永久擦除引起,并能在顺序训练后恢复大部分早期任务性能。
2026-06-01 cs.AI cs.LG
Correlated Stochastic Block Models: Exact Graph Matching with Applications to Recovering Communities
Princeton University(普林斯顿大学)
我们考虑从多个相关网络中学习潜在社区结构的任务。首先,我们研究了学习两个边相关随机块模型之间的潜在顶点对应关系的问题,重点是平均度是顶点数对数的制度。我们推导出精确恢复的精确信息理论阈值:在阈值之上存在一个估计器,该估计器输出的真实对应概率接近1,而在阈值之下,没有估计器可以恢复的真实对应概率远离0。作为我们的研究结果的应用程序,我们展示了如何可以准确地恢复潜在的社区使用多个相关的图形在参数制度,它是信息理论上不可能这样做,只使用一个单一的图形。
2021-07-14 cs.IT cs.LG cs.SI
Latent States in Neural Networks: Recovering the Temporal Structure of Drifting Data from Model Weights
Princeton University(普林斯顿大学)
该研究通过对连续时间窗口分类器的对齐权重轨迹拟合HMM,从模型权重中恢复离散状态,在Fakeddit和Yelp数据集上验证了状态内迁移优势,且该优势与数据分布外的迁移结构相关。
2026-07-31 cs.AI cs.CL cs.LG
Recovering Barabási-Albert Parameters of Graphs through Disentanglement
ETH Zurich(苏黎世联邦理工学院)
经典的图建模方法,如Erdés Rényi(ER)随机图或Barabási-Albert(BA)图,这里称为程式化模型,旨在以可解释的方式再现真实世界图的属性。虽然有用,但使用程式化模型生成图需要领域知识和迭代试错模拟。Stoehr等人(2019)通过使用以解纠缠为重点的深度自动编码框架(更具体地说,$β$ -变分自编码器($β$ -VAE))从图形数据中学习生成过程来解决这些问题。虽然他们通过模型的潜变量成功地恢复了ER图的生成参数,但由于其过度简化的解码器,他们的模型在顺序生成的图(如BA图)上表现不佳。我们专注于恢复BA图的生成参数,通过更换其$β$ -VAE解码器与一个顺序。我们首先使用图神经网络(GNN)和随机森林回归器以监督方式学习生成BA参数,通过最小化真实生成参数和潜在变量之间的平方损失。接下来,我们训练一个$β$ -VAE模型,将第一阶段的GNN编码器与具有定制损耗的基于LSTM的解码器相结合。
2021-05-04 cs.LG cs.SI stat.ML
Timeline: A Dynamic Hierarchical Dirichlet Process Model for Recovering Birth/Death and Evolution of Topics in Text Stream
主题模型已被证明是发现文档集合中潜在结构的有用工具。然而,大多数文档集合往往是时间流,因此潜在结构的几个方面,如主题的数量,主题的分布和流行度是随时间演变的。有几种模型可以模拟上述一些方面的演变,但不是所有方面。在本文中,我们介绍了无限动态主题模型iDTM,它可以适应所有上述方面的发展。我们的模型假设文档被组织到epoch中,每个epoch中的文档是可交换的,但文档之间的顺序在epoch中保持不变。iDTM允许无限数量的主题:主题可以在任何时期死亡或出生,并且每个主题的表示可以根据马尔可夫动力学进化。我们使用iDTM来分析NIPS社区中主题的诞生和演变,并评估了我们的模型在模拟和真实数据集上的有效性,结果良好。
2012-03-15 cs.IR cs.LG stat.ML
Disentanglement with Hyperspherical Latent Spaces using Diffusion Variational Autoencoders
Eindhoven University of Technology(埃因霍温理工大学);Prosus AI(Prosus人工智能);Prosus
一个数据集的解纠缠表示应该能够恢复产生它的潜在因素。出现的一个问题是,当潜在的生成因素具有一定的几何结构时,使用欧几里得空间的潜变量模型是否可以产生解纠缠表示。例如,从不同角度看到的汽车图像。该角度具有周期性结构,但一维表示将无法捕获该拓扑。我们如何解决这个问题?提交给NeurIPS 2019解纠缠挑战赛第一阶段的参赛作品包括一个扩散变分自编码器($Δ$ VAE),该编码器具有超球形潜在空间,例如,可以恢复周期性真因子。训练的$Δ$ VAE是通过将修改后的版本的证据下限(ELBO)的裁剪后近似的编码能力。
2020-03-19 cs.LG stat.ML
Fast exploration and learning of latent graphs with aliased observations
Google DeepMind(谷歌DeepMind)
针对节点观测别名化且随机转移的潜在图恢复问题,提出一种高效探索算法,可在多种挑战性拓扑中指数级快于朴素探索,并在无别名情形下保持与基线相当的性能。
2023-09-25 cs.AI cs.LG
CbLDM: A Diffusion Model for recovering nanostructure from atomic pair distribution function
School of Statistics and Data Science, Nankai University, Tianjin 300071, China(统计与数据科学学院,南开大学,天津300071,中国);NITFID, School of Statistics and Data Science, Nankai University, Tianjin 300071, China(NITFID,统计与数据科学学院,南开大学,天津300071,中国);Department of Applied Physics and Applied Mathematics, Columbia University, New York, NY, 10027, USA(应用物理与应用数学系,哥伦比亚大学,纽约,NY,10027,美国);Department of Materials, University of California, Santa Barbara, Santa Barbara, CA 93101(材料系,加州大学,圣巴巴拉,CA 93101)
CbLDM通过条件先验和拉普拉斯矩阵改进,实现从原子对分布函数恢复纳米结构的高效生成。
2026-03-08 cond-mat.mtrl-sci cs.LG
Learning latent causal graphs via mixture oracles
University of Chicago(芝加哥大学);Carnegie Mellon University(卡内基梅隆大学)
我们研究的问题重建的因果图模型的数据中存在的潜在变量。感兴趣的主要问题是恢复潜在变量的因果结构,同时允许变量之间的一般,潜在的非线性依赖。在许多实际问题中,原始观测(例如图像中的像素)之间的相关性远不如某些高级潜在特征(例如概念或对象)之间的相关性,这是感兴趣的设置。我们提供的条件下,潜在的陈述和潜在的因果模型是可识别的减少到一个混合物的预言。这些结果突出了一个有趣的连接之间的学习混合模型的顺序和学习的问题之间的可观察和不可观察的二分结构的研究问题。证明是建设性的,并导致几个算法,明确重建完整的图形模型。我们讨论有效的算法,并提供实验说明算法在实践中。
2021-11-21 cs.AI cs.LG stat.ML
Bayesian estimation of the latent dimension and communities in stochastic blockmodels
Imperial College London(帝国理工学院)
无向图的邻接矩阵或拉普拉斯矩阵的谱嵌入是在低维潜在空间中表示网络的常用技术,具有最佳理论保证。嵌入可以用来估计网络的社区结构,在随机块模型框架下具有强一致性结果。用于从谱嵌入进行社区发现的标准算法的主要实际限制之一是必须预先指定社区的数目和嵌入的潜在维度。在这篇文章中,提出了一种新的贝叶斯模型,同时和自动选择适当的尺寸的潜在空间和块的数量。扩展到有向图和二分图进行了讨论。该模型进行了测试模拟和真实世界的网络数据,表现出良好的性能恢复潜在的社区结构。
2020-05-28 cs.LG cs.SI stat.AP
Community Detection with Known, Unknown, or Partially Known Auxiliary Latent Variables
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
经验观察表明,在实践中,社区成员资格并不能完全解释观察图的边缘之间的依赖关系。图边缘的残差依赖性在本文中建模,一阶,辅助节点的潜变量,影响图边缘的统计,但没有携带有关感兴趣的社区的信息。然后,我们研究了图中的社区发现服从随机块模型和截尾块模型与辅助潜变量。当这些辅助潜变量是未知的,代表未知的滋扰参数或模型不匹配时,我们分析了精确恢复的条件。我们还分析了确切的恢复时,这些次要的潜在变量已被完全或部分揭示。最后,我们提出了一个半定规划算法恢复所需的标签时,二级标签是已知的或未知的。我们表明,精确的恢复是可能的半定规划下降到各自的最大似然精确恢复阈值。
2023-01-08 cs.IT cs.LG cs.SI
Discovery of Latent 3D Keypoints via End-to-end Geometric Reasoning
Vidyasirimedhi Institute of Science and Technology(维迪亚西里梅迪科学技术学院);Google AI(谷歌人工智能)
本文介绍了KeypointNet,这是一个端到端的几何推理框架,用于学习特定于类别的3D关键点及其检测器的最佳集合。给定单个图像,KeypointNet提取针对下游任务优化的3D关键点。我们证明了这个框架上的3D姿态估计提出了一个可区分的目标,寻求最佳的关键点集恢复对象的两个视图之间的相对姿态。我们的模型发现几何和语义上一致的关键点跨视角和对象类别的实例。重要的是,我们发现,我们的端到端框架使用没有地面实况关键点注释优于完全监督基线使用相同的神经网络架构的任务姿势估计。在ShapeNet的汽车、椅子和飞机类别上发现的3D关键点在http://keypointnet.github.io/上可视化。
2018-11-23 cs.CV cs.LG stat.ML
From Perturbation Sensitivity to Sparse Autoencoder Feature Interpretation: An EEG Foundation-Model Case Study
University of Oxford(牛津大学)
针对EEG基础模型中SAE特征解释的误判风险,提出验证阶梯方法,通过多级检验确认特征语义,并证明仅凭扰动敏感性不足以确立可解释性。
2026-11-04 cs.LG
Efficient Intervention Design for Causal Discovery with Latents
UMass Amherst(马萨诸塞大学阿默斯特分校);Amazon(亚马逊)
我们考虑在潜在变量的存在下恢复因果图,在那里我们寻求最小化恢复过程中使用的干预措施的成本。我们考虑两种干预成本模型:(1)线性成本模型,其中干预成本在变量子集上具有线性形式,以及(2)身份成本模型,其中干预成本相同,无论它是什么变量,即,目标只是尽量减少干预的次数。在线性成本模型下,我们给出了一个算法来识别潜在的因果图的祖先关系,实现在一个$2$ -因子的最优干预成本。对于任何$ε> 0$,在一些温和的限制下,该近似因子可以改进为$1+ε$。在身份成本模型下,我们通过一种特殊类型的碰撞器使用因果图的参数化来约束恢复整个因果图(包括潜在变量)所需的干预次数。特别是,我们引入的概念,$p$ -碰撞器,这是碰撞器对节点之间产生的因果图中的特定类型的条件,并提供一个上限的干预措施的数量作为因果图中的任何两个节点之间的$p$ -碰撞器的最大数量的函数。
2020-07-12 cs.DS cs.LG stat.ML
Iterative Causal Discovery in the Possible Presence of Latent Confounders and Selection Bias
Intel Labs(英特尔实验室)
我们提出了一个健全的和完整的算法,称为迭代因果发现(ICD),恢复因果图中存在潜在的混杂因素和选择偏差。ICD依赖于因果马尔可夫和忠实性假设,并恢复基本因果图的等价类。它从一个完整的图开始,由一个迭代阶段组成,该阶段通过识别连接节点之间的条件独立性(CI)来逐渐细化该图。在任何迭代之后所需要的独立性和因果关系是正确的,从而在任何时候都呈现ICD。本质上,我们将CI条件集的大小与其在图上与测试节点的距离联系起来,并在后续迭代中增加该值。因此,每次迭代都细化由具有较小条件集的先前迭代恢复的图-较高的统计功效-这有助于稳定性。我们根据经验证明,与FCI、FCI+和RFCI算法相比,ICD需要的CI测试明显更少,并且可以学习更准确的因果图(代码可在https://github.com/IntelLabs/caibrity-lab获得)。
2022-01-17 cs.AI cs.LG stat.ME
Latent Processes Identification From Multi-View Time Series
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);State Key Lab of Brain-Machine Intelligence, Zhejiang University(浙江大学脑机智能全国重点实验室);CCAI by MOE and Zhejiang Provincial Government (ZJU)(教育部与浙江省共建中国人工智能研究院(浙江大学))
针对多视角时间序列中潜在过程识别面临的独立性假设违反和因素重叠难题,提出MuLTI框架,结合对比学习与最优传输置换机制,提升可识别性并有效恢复潜在变量。
2023-05-14 cs.LG
Signal Recovery from Random Dot-Product Graphs Under Local Differential Privacy
University of California San Diego(加州大学圣地亚哥分校);Penn State University(宾夕法尼亚州立大学)
针对局部差分隐私下的随机点积图,提出校正几何扭曲的推断方法,实现潜在位置及拓扑信息的一致恢复,并达到近乎极小极大最优。
2025-04-24 cs.LG math.ST stat.ML
Sampling via Decision-Flow: Training-Free Extraction of Improved Latent Reasoning Paths in Large Language Models
Stevens Institute of Technology(史蒂文斯理工学院)
提出无需训练的决策流采样(DF-Sample)框架,通过构建层次化推理树并执行全局轨迹评估,解锁基座模型中潜在的高质量推理路径,在GPQA上以45.6%准确率超越GRPO等基线。
2026-09-14 cs.LG
Unveiling Invariant and Transferable Latent Factors Across Heterogeneous Environments via ATLAS
Harvard University(哈佛大学)
研究异构环境下多环境因素模型,提出ATLAS方法,利用不变性原理和辅助标签监督,分离不变与异构因素,用于潜在因素回归,在新环境中实现可转移预测,还建立了相关非渐近误差界。
2026-07-21 cs.LG math.ST stat.ME
InfoGAIL: Interpretable Imitation Learning from Visual Demonstrations
MIT(麻省理工学院);Stanford University(斯坦福大学)
模仿学习的目标是在没有明确奖励信号的情况下模仿专家的行为。然而,由人类提供的专家演示通常由于通常未明确建模的潜在因素而显示出显著的可变性。在本文中,我们提出了一个新的算法,可以推断的潜在结构的专家演示在一个无监督的方式。我们的方法建立在生成对抗模仿学习之上,不仅可以模仿复杂的行为,还可以学习复杂行为数据的可解释和有意义的表示,包括视觉演示。在驾驶领域,我们表明,从人类演示中学习的模型能够准确地再现各种行为,并使用原始视觉输入准确地预测人类的行为。与各种基线相比,我们的方法可以更好地捕捉潜在的结构专家演示,往往恢复语义有意义的因素的变化的数据。
2017-11-14 cs.AI cs.CV cs.LG