Identifiability of a statistical model with two latent vectors: Importance of the dimensionality relation and application to graph embedding
Meiji Gakuin University（明治学院大学）
本文提出包含两个任意维度潜向量和辅助数据的统计模型并建立可识别性条件，揭示了潜向量与辅助数据间的维度关系，证明特定条件下不确定性与线性ICA相同，并据此提出实用的可识别图嵌入方法。
2024-05-30 cs.LG stat.ML
On the Identifiability of Latent Action Policies
Samsung AI Lab（三星人工智能实验室）
该研究针对近期提出的从视频中发现动作表征的潜在动作策略学习（LAPO）框架的可辨识性展开，明确了动作表征的理想性质与不可辨识性来源，证明熵正则化LAPO目标在合适条件下可辨识符合要求的动作表征，解释了离散动作表征的实践优势。
2025-10-01 cs.LG stat.ML
On the Identifiability of Switching Dynamical Systems
Imperial College London（伦敦帝国学院）；University of Michigan（密歇根大学）
研究切换动力系统的可辨识性，证明马尔可夫切换模型及非线性映射在仿射变换下的可辨识性，开发估计算法并验证其在视频分割和气候因果发现中的实用性。
2024-06-04 cs.LG stat.ML
Posterior Collapse and Latent Variable Non-identifiability
University of Michigan（密歇根大学）；Columbia University（哥伦比亚大学）
变分自动编码器通过设定低维潜在变量来对高维数据进行建模，这些潜在变量通过由神经网络参数化的灵活分布进行映射。不幸的是，变分自编码器经常遭受后验崩溃：潜变量的后验等于其先验，使得变分自编码器作为产生有意义的表示的手段是无用的。现有的后验崩溃的方法往往归因于神经网络的使用或由于变分逼近的优化问题。在本文中，我们认为后验崩溃作为一个问题的潜在变量的不可识别性。我们证明了后验崩溃当且仅当潜变量是不可识别的生成模型。这一事实意味着后验崩溃并不是使用灵活分布或近似推理所特有的现象。相反，它可以发生在经典的概率模型，甚至与精确的推断，我们也证明了。基于这些结果，我们提出了一类潜在的可识别的变分自编码器，深度生成模型，在不牺牲灵活性的情况下加强可识别性。该模型类通过利用双射Brenier映射并使用输入凸神经网络对其进行参数化来解决潜在变量不可识别的问题，而无需特殊的变分推断目标或优化技巧。在合成和真实数据集上，潜在可识别的变分自编码器在减轻后验崩溃和提供有意义的数据表示方面优于现有方法。
2023-01-02 cs.LG stat.ML
Identifiability and Unmixing of Latent Parse Trees
Microsoft Research（微软研究院）；Google Research（谷歌研究院）
本文从两个方面探讨了句法分析模型的无监督学习。第一，哪些模型可以从无限数据中识别出来？我们使用一个通用的技术，数值检查的雅可比矩阵的秩的基础上可识别性，并将其应用到几个标准的选区和依赖解析模型。第二，对于可识别的模型，我们如何有效地估计参数？EM遭受局部最优，而最近的工作，使用谱方法不能直接应用，因为不同的句子的解析树的拓扑结构。我们开发了一种策略，unmixing，它处理这种额外的复杂性，限制类的解析模型。
2012-06-14 cs.LG stat.ML
Mitigating the Effects of Non-Identifiability on Inference for Bayesian Neural Networks with Latent Variables
John A. Paulson School of Engineering and Applied Sciences（约翰·A·保尔森工程与应用科学学院）；Harvard University（哈佛大学）
带有潜在变量的贝叶斯神经网络（BNN+ LV）通过明确建模模型不确定性（通过网络权重的先验）和环境随机性（通过潜在输入噪声变量）来捕获预测不确定性。在这项工作中，我们首先证明了BNN+LV具有严重的不可识别性：解释力可以在模型参数和潜变量之间转移，同时同样很好地拟合数据。我们证明了，作为一个结果，在无限数据的限制，后验模式的网络权重和潜变量是渐近偏离地面真相。由于这种渐近偏差，传统的推断方法可能在实践中产生的参数，概括性差，错误估计的不确定性。接下来，我们开发了一种新的推理过程，该过程显式地减轻了训练过程中可能性不可识别性的影响，并产生高质量的预测和不确定性估计。我们证明了我们的推理方法在一系列合成和真实数据集上改进了基准方法。
2022-09-16 cs.LG stat.ML
Identifiability of Hierarchical Latent Attribute Models
Columbia University（哥伦比亚大学）；University of Michigan（密歇根大学）
分层潜在属性模型（HLAMs）是一类离散潜在变量模型，在教育、心理和行为科学领域引起了越来越多的关注。HLAM的关键成分包括一个二进制结构矩阵和一个有向无环图指定的潜在属性的配置上的层次约束。这些成分编码了从业者的设计信息，具有重要的科学意义。尽管HLAMs很受欢迎，但基本的可识别性问题仍未得到解决。属性层次图的存在导致了参数空间的退化，而潜在未知的结构矩阵使可辨识性问题更加复杂。本文讨论了这个问题，确定潜在的结构和模型参数的HLAM。我们开发了充分和必要的可识别性条件。这些结果直观而清晰地刻画了图中不同属性类型对可识别性的不同影响。所提出的条件不仅提供了洞察诊断测试设计下的属性层次结构，但也作为工具来评估估计HLAM的有效性。
2021-10-07 cs.LG stat.ME stat.ML
On Identifiability of Nonnegative Matrix Factorization
University of Minnesota（明尼苏达大学）
在这封信中，我们提出了一个新的识别准则，保证恢复的低秩潜在因素的非负矩阵分解（NMF）模型，在温和的条件下。具体而言，使用所提出的标准，它足以识别潜在的因素，如果行的一个因素是\emph{sufficiently scattered}在非负正交，而没有结构的假设是强加在其他因素，除了满秩。这是迄今为止最温和的条件下，潜在的因素是证明可识别的NMF模型。
2017-09-02 cs.LG stat.ML
General Identifiability and Achievability for Causal Representation Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Google Research India（谷歌印度研究院）
本文研究一般非参数潜在因果模型下的因果表示学习，通过每个节点两次硬解耦干预证明了模型与变量的可识别性，并设计算法利用分数变化恢复潜在变量，证明了观测数据下额外忠实性假设非必要。
2024-02-14 cs.LG stat.ML
Solving Non-identifiable Latent Feature Models
NEC Data Science Research Laboratories（NEC数据科学研究实验室）
潜在特征模型（LFM）被广泛用于提取数据的潜在结构。虽然提供了高，参数估计是困难的LFM，因为潜在的功能的组合性质，和不可识别性是一个特别困难的问题时，参数估计是不唯一的，存在等效的解决方案。本文给出了不可识别性的一个充分必要条件。该条件与特征的依赖性显著相关，这意味着不可识别性可能经常发生在现实世界的应用中。提出了一种新的参数估计方法，解决了不可识别性问题。该方法可以作为一个后处理与现有的方法相结合，可以找到一个适当的解决方案，通过有效地跳跃通过等效的解决方案。我们已经评估了该方法在合成和真实世界数据集上的有效性。
2018-09-26 cs.LG stat.ML
Convergence Rates of Latent Topic Models Under Relaxed Identifiability Conditions
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们研究了潜在狄利克雷分配的频率论收敛速度（Blei等人，2003）主题模型。我们证明了极大似然估计以$n^{-1/4}$的速率收敛到Wasserstein距离度量中的许多等价参数之一，而无需假设潜在主题的可分性或非退化性和/或每个文档存在超过三个单词，从而从信息理论的角度概括了Anandkumar等人（2012，2014）以前的工作。我们还表明，在最坏的情况下，$n^{-1/4}$的收敛速度是最佳的。
2018-03-17 cs.LG stat.ML
Concept Modulation Models: A Unified Framework for Identifiability and Extrapolation
Department of Statistics and Data Science, Carnegie Mellon University（卡内基梅隆大学统计与数据科学系）；Machine Learning Department, Carnegie Mellon University（卡内基梅隆大学机器学习系）
提出概念调制模型（CMMs），通过属性势统一条件潜变量模型的可识别性与外推分析，将基于转移的可识别性提升至条件设置，并导出代数外推准则。
2026-06-18 cs.LG stat.ML
Identifiability of Gaussian Structural Equation Models with Homogeneous and Heterogeneous Error Variances
University of Seoul（首尔大学）
在这项工作中，我们考虑的可识别性假设的高斯线性结构方程模型（SEMs），其中每个变量是由一个线性函数的父母加上正态分布的误差。它已被证明，线性高斯结构方程模型是完全可识别的，如果所有的误差方差相同或已知。因此，这项工作证明了高斯SEM的可识别性与均匀和非均匀的未知误差方差。我们新的可识别性假设不仅利用误差方差，但边缘权重，因此，它是严格温和的比以前的工作的可识别性的结果。我们进一步提供了一个结构学习算法，是统计上一致的和计算上可行的，基于我们的新假设。该算法假设所有相关变量都被观察到，但不假设因果极小性和忠实性。我们通过模拟和真实的多变量数据验证了我们的理论研究结果，并将我们的算法与最先进的PC，GES和GDS算法进行了比较。
2019-10-20 cs.LG stat.ML
On Finite-Sample Identifiability of Contrastive Learning-Based Nonlinear Independent Component Analysis
Oregon State University（俄勒冈州立大学）
非线性独立分量分析（nICA）的目的是恢复统计上独立的潜在成分，由未知的非线性函数混合。nICA的核心是潜在成分的可识别性，直到最近才变得难以捉摸。具体来说，Hyvärinen等人已经证明，在广义对比学习（GCL）公式下，非线性混合的潜在成分是可识别的（通常是无关紧要的歧义），假设潜在成分是独立的，取决于某个辅助变量。基于GCL的nICA的可识别性是优雅的，并建立了有趣的连接之间的nICA和流行的无监督/自监督学习范式的表示学习，因果学习，和因素解开。然而，现有的nICA的可识别性分析都建立在无限样本假设和使用理想的通用函数学习器的基础上，这在理论和实践之间造成了不可忽视的差距。缩小差距是一个不平凡的挑战，因为缺乏既定的“教科书”例行有限样本分析这样的无监督的问题。本文提出了一种基于GCL的nICA的有限样本可辨识性分析方法。我们的分析框架明智地结合了GCL损失函数，统计泛化分析和数值微分的属性。我们的框架还考虑了学习函数的近似误差，并揭示了所采用的函数学习器的复杂性和表现力之间的直观权衡。数值实验验证了定理的正确性。
2022-06-14 cs.LG stat.ML
Score-based Causal Representation Learning: Linear and General Transformations
Carnegie Mellon University（卡内基梅隆大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Google DeepMind（谷歌DeepMind）；Amazon AGI（亚马逊AGI）
本文利用分数函数与因果表示学习的联系，提出基于分数的算法，在线性和一般变换下分别给出每个节点一次和两次随机硬干预即可保证可识别性的条件，并实现潜在因果变量与因果图的恢复。
2025-07-19 cs.LG stat.ML
Identifying through Flows for Recovering Latent Representations
Institute of Data Science（数据科学研究所）；NUS Graduate School for Integrative Sciences and Engineering（新加坡国立大学综合科学与工程研究生院）；National University of Singapore（新加坡国立大学）
可识别性，或恢复观察到的数据来源的真实潜在表示，事实上是表示学习的基本目标。然而，大多数深层生成模型并没有解决可识别性的问题，因此无法实现恢复生成观察结果的真正潜在来源的承诺。最近的工作提出了可识别的生成建模使用变分自编码器（iVAE）与可识别性理论。然而，由于变分近似后验和真实后验之间的KL发散难以解决，iVAE必须最大化边缘似然的证据下限（ELBO），导致理论和实践中的次优解。相比之下，我们提出了一个可识别的框架，使用基于流的模型（iFlow）估计潜在的表示。我们的方法直接最大限度地提高边际似然，允许理论上的保证可识别性，从而免除变分近似。我们推导出其优化目标的分析形式，使之有可能训练iFlow在一个端到端的方式。通过对合成数据的仿真，验证了该方法的正确性和有效性，并展示了其相对于现有方法的实用优势。
2020-04-26 cs.LG stat.ML
Counterfactual (Non-)identifiability of Learned Structural Causal Models
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research（微软研究院）
概率生成建模的最新进展促使使用深度条件生成模型（也称为深度结构因果模型（DSCM））从观测数据集学习结构因果模型（SCM）。如果成功，DSCM可以用于因果估计任务，例如，回答反事实的问题在这项工作中，我们警告从业者，即使在没有未观察到的混淆和假设已知的因果结构的情况下，从观察数据中得出的反事实推断也是不可识别的。我们证明了具有一维外生变量的单调生成机制的反事实可识别性。对于一般的生成机制与多维外生变量，我们提供了一个不可能的结果，反事实的可识别性，激励参数假设的需要。作为一种实用的方法，我们提出了一种方法来估计学习DSCM的反事实预测的最坏情况下的错误。这个错误的大小可以是决定DSCM是否是在特定问题设置中进行反事实推理的可行方法的基本度量。在评估中，我们的方法确认可以忽略不计的反事实错误的可识别的SCM从以前的工作，也提供了翔实的错误界限上的反事实错误的不可识别的合成SCM。
2023-01-22 cs.LG stat.ML
Indeterminacy in Generative Models: Characterization and Strong Identifiability
University of British Columbia（不列颠哥伦比亚大学）
大多数现代概率生成模型，如变分自动编码器（VAE），具有某些不确定性，即使有无限数量的数据也无法解决。不同的任务容忍不同的不确定性，但最近的应用表明，需要强可识别的模型，其中的观察对应于一个独特的潜在代码。在保持灵活性的同时减少模型的不确定性方面取得了进展，最近的工作排除了许多-但不是所有-不确定性。在这项工作中，我们激励模型的可识别性方面的任务可识别性，然后构建一个理论框架来分析潜变量模型的不确定性，这使得他们的准确表征的生成函数和先验分布空间。我们发现，强可识别性是可能的，即使是高度灵活的非线性发电机，并给出两个这样的例子。一个是iVAE的直接修改（arXiv：1907.04809 [stat.ML]）;另一个使用三角单调映射，导致最佳传输和可识别性之间的新联系。
2023-03-03 cs.LG stat.ML
Identifiability Analysis of Linear ODE Systems with Hidden Confounders
The University of Melbourne（墨尔本大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
该研究针对含隐藏混杂因子的线性ODE系统可识别性条件未被探索的问题，系统分析了无因果关系、因果结构为DAG的两类潜混杂因子场景下的可识别性，并通过仿真验证了理论结果。
2026-10-07 cs.LG stat.ML
Identifiability Results for Multimodal Contrastive Learning
ETH Zurich（苏黎世联邦理工学院）
对比学习是多视图和多模态学习中的最新进展的基础，例如，在图像/字幕对的表示学习中。虽然其有效性尚未完全理解，但最近的一系列工作表明，对比学习可以反转数据生成过程，并恢复视图之间共享的地面真相潜在因素。在这项工作中，我们提出了新的多模态对比学习的可识别性结果，表明它是可能的，以恢复共享的因素，在一个更一般的设置比以前研究的多视图设置。具体地，我们区分具有一个生成机制的多视图设置（例如，相同类型的多个摄像机）和以不同机制为特征的多模式设置（例如，摄像头和麦克风）。我们的工作概括了以前的可识别性的结果，重新定义的生成过程中的不同机制与模态特定的潜变量。我们证明，对比学习可以块识别模态之间共享的潜在因素，即使有非平凡的依赖因素之间。我们经验验证我们的可识别性的结果与数值模拟和证实我们的研究结果的一个复杂的多模态数据集的图像/文本对。缩小，我们的工作提供了一个多模态表示学习的理论基础，并解释了在哪些设置多模态对比学习可以在实践中有效。
2023-03-16 cs.LG stat.ML
On the Identifiability of Regime-Switching Models with Multi-Lag Dependencies
Imperial College London（帝国理工学院）；University of Michigan（密歇根大学）
本文提出了一种通用理论框架，用于多滞后 regime-switching 模型的可识别性分析，涵盖了马尔可夫切换模型和切换动态系统，并通过实验验证了其在现实数据中的有效性。
2026-01-06 cs.LG stat.ML
Latent Covariate Shift: Unlocking Partial Identifiability for Multi-Source Domain Adaptation
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；The University of Adelaide（阿德莱德大学）；School of Computer Science and Engineering（计算机科学与工程学院）；The University of New South Wales（新南威尔士大学）；School of Mathematics and Statistics（数学与统计学院）；The University of Melbourne（墨尔本大学）；Halicioğlu Data Science Institute（哈利乔卢数据科学研究所）；University of California San Diego（加利福尼亚大学圣迭戈分校）；Carnegie Mellon University（卡内基梅隆大学）
针对多源领域适应中标签分布不一致的问题，提出潜在协变量偏移范式及因果生成模型，通过引入潜在内容变量实现块可辨识性，有效适应更大幅度的分布偏移。
2025-04-01 cs.LG stat.ML
Identifiability Guarantees for Causal Disentanglement from Purely Observational Data
Massachusetts Institute of Technology（麻省理工学院）；Broad Institute of MIT and Harvard（麻省理工学院与哈佛大学布罗德研究所）；LIDS, Massachusetts Institute of Technology（麻省理工学院信息与决策系统实验室）
研究纯观测数据下的因果解缠问题，提出在加性高斯噪声和线性混合的非线性因果模型中实现因果变量逐层辨识的理论保证及基于得分估计求解二次规划的实用算法。
2024-12-23 cs.LG stat.ML
Leveraging Task Structures for Improved Identifiability in Neural Network Representations
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本工作扩展了监督学习的可识别性理论，证明在多任务回归中利用任务分布可实现线性可识别性，引入因果结构后能缩小等价类并实现简单优化，实验表明该方法在恢复合成与分子数据表示上优于无监督模型。
2024-08-23 cs.LG stat.ML
Identifiability-Guaranteed Simplex-Structured Post-Nonlinear Mixture Learning via Autoencoder
Oregon State University（俄勒冈州立大学）
这项工作的重点是在无监督的方式解开非线性混合的潜在成分的问题。潜在成分被假定为驻留在概率单纯形，并通过一个未知的后非线性混合系统进行转换。该问题在信号和数据分析中有各种应用，例如，非线性高光谱分解、图像嵌入和非线性聚类。线性混合学习问题已经是不适定的，因为目标潜在成分的可识别性通常很难建立。由于涉及未知的非线性，该问题更具挑战性。先前的工作提供了一个函数方程为基础的配方可证明的潜在成分识别。然而，可识别性条件有些严格和不切实际。此外，可识别性分析是基于无限样本（即，总体）的情况下，而实际有限样本情况下的理解一直难以捉摸。此外，在现有的工作中的算法交易模型的表达性与计算的方便性，这往往阻碍了学习性能。我们的贡献是三方面的。首先，在很大程度上放松的假设下，新的可识别性条件。第二，全面的样本复杂性结果-这是第一次。第三，提出了一种基于约束自动编码器的算法框架，有效地规避了现有算法的挑战。合成和实际实验证实了我们的理论分析。
2021-06-16 cs.LG eess.SP stat.ML
Polytopic Matrix Factorization: Determinant Maximization Based Criterion and Identifiability
我们介绍多面体矩阵分解（PMF）作为一种新的数据分解方法。在这个新的框架中，我们将输入数据建模为从多面体中提取的一些潜在向量的未知线性变换。在这个意义上，本文考虑了一个半结构化的数据模型，其中输入矩阵被建模为一个完整的列秩矩阵和一个矩阵的产品包含样本的多面体作为其列向量。多面体的选择反映了潜在成分的假定特征及其相互关系。作为因子分解的标准，我们提出了行列式最大化（Det-Max）的样本自相关矩阵的潜在向量。我们引入了一个充分条件的可识别性，这需要的凸壳的潜在的向量包含最大体积内接椭球的多面体具有特定的紧密性约束。基于Det-Max准则和提出的可识别性条件，我们证明了所有满足特定对称性限制的多面体都有资格获得PMF框架。具有无限多个多面体选择提供了表征潜在向量的灵活性。特别是，可以定义具有异构特征的潜在向量，从而能够在子向量级别分配属性，例如非负性和稀疏性。本文提供了一些例子来说明多面体选择和相应的特征表示之间的联系。
2022-02-19 cs.LG eess.SP stat.ML
Identifying Weight-Variant Latent Causal Models
Responsible AI Research Centre（负责任人工智能研究中心）；Australian Institute for Machine Learning（澳大利亚机器学习研究所）；School of Computer Science and Engineering（计算机科学与工程学院）；School of Mathematics and Statistics（数学与统计学学院）；Halicioğlu Data Science Institute（Halicioğlu数据科学研究所）；Department of Philosophy（哲学系）
本文提出SuaVE方法，通过引入线性高斯模型解决潜在因果变量的可识别性问题，实现因果表示学习。
2026-02-18 cs.LG stat.ML
Nonlinear Multiview Analysis: Identifiability and Neural Network-assisted Implementation
Oregon State University（俄勒冈州立大学）
多视图分析的目的是从在不同域中获取的数据样本中提取共享的潜在成分，例如，图像、文本和音频。经典的多视图分析，例如，典型相关分析（CCA）通过在特定潜在域中匹配线性变换的视图来解决这个问题。最近，强大的非线性学习工具，如核方法和神经网络被用来增强经典的CCA。然而，与线性CCA的理论方面被清楚地理解不同，非线性CCA方法在很大程度上是直觉驱动的。特别是，目前还不清楚在什么条件下可以识别跨视图的共享潜在组件-而可识别性在许多应用中起着至关重要的作用。在这项工作中，我们重新审视非线性多视图分析和解决的理论和计算方面。我们的工作利用了一个有用的非线性模型，即后非线性模型，从非线性混合物分离文献。结合多视图数据，我们采取了非线性多视图混合学习的观点，这是线性CCA的经典生成模型的自然扩展。从那里，我们得到了一个学习标准。我们表明，最小化这一标准导致识别的潜在共享组件到一定的模糊性，在合理的条件下。我们的推导和公式化也为现有的基于深度神经网络的CCA公式化提供了新的见解和解释。在计算方面，我们提出了一个有效的算法，简单和可扩展的更新规则。一系列的仿真和实际数据实验证实了我们的理论分析。
2020-03-30 cs.LG stat.ML
On the Identifiability of Causal Abstractions
Mila, McGill University（米拉-麦吉尔大学（Mila））
针对 CRL 中要求所有潜在变量可单独干预的限制，本文提出在任意子集可干预的现实设定下，量化潜在因果模型相对于高层抽象的可辨识程度的理论框架。
2025-03-13 cs.LG stat.ML
Identifiability of Gaussian Structural Equation Models with Dependent Errors Having Equal Variances
Linköping University（林雪平大学）
本文证明了某些具有等方差相依误差的高斯结构方程模型可从其相应的高斯分布中识别。具体来说，我们证明了高斯结构方程模型的可识别性，该模型可以表示为Anderson-Madigan-Perlman链图（Andersson et al.，2001年）。这些链图最初是用来表示独立模型的。然而，它们也适用于表示具有加性噪声的因果模型（Peña，2016年。我们的结果意味着这些因果模型可以单独从观测数据中识别出来。我们的结果推广了Peters和Bühlmann（2014）的结果，他们认为独立误差具有等方差。等误差方差假设的适用性应在每个域的基础上进行评估。
2018-08-28 cs.AI cs.LG stat.ML
Beyond ICA: Identifiability by Symmetry Breaking
SANKEN, University of Osaka（大阪大学 SANKEN（大阪大学蛋白质研究所））
研究在纯无监督下证明带PWA解码器和GMM先验的DGM可识别性，引入三个代数对比原则，利用PWA与GMM结构作用，形成可识别性层次结构，允许不连续和非单射解码器，以代数对称性破缺为非线性可识别性引擎。
2026-07-28 cs.LG math.ST stat.ML
The Incomplete Rosetta Stone Problem: Identifiability Results for Multi-View Nonlinear ICA
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）；University of Cambridge（剑桥大学）；Max Planck ETH Center for Learning Systems（马克斯·普朗克-苏黎世联邦理工学院学习系统中心）；ETH Zürich（苏黎世联邦理工学院）
我们考虑的问题，恢复一个共同的潜在源独立组件从多个视图。这适用于使用多种实验方式测量变量的设置，并且目标是将不同的测量结果合成为单一的统一表示。我们认为的情况下，观察到的意见是一个非线性混合的组件明智的腐败的来源。当视图被单独考虑时，这简化为非线性独立成分分析（ICA），对于该非线性ICA，可以证明不可能撤销混合。我们提出了新的可识别性证明，这是可能的，当多个视图被认为是共同的，表明混合理论上可以撤销使用功能逼近器，如深神经网络。与已知的非线性ICA的可识别性结果相反，我们证明了独立的潜在源与任意混合可以恢复，只要多个，足够不同的噪声视图可用。
2019-08-01 cs.LG stat.ML
Identifiability of Potentially Degenerate Gaussian Mixture Models With Piecewise Affine Mixing
University of Amsterdam（阿姆斯特丹大学）；Samsung AI Lab, Montreal（蒙特利尔三星人工智能实验室）；Saarland University & University of Amsterdam（萨尔州立大学与阿姆斯特丹大学）
本文研究了在分段仿射混合函数下，潜在退化高斯混合模型的可识别性问题，提出通过稀疏正则化和高斯性约束的两阶段方法来估计潜在变量。
2026-04-14 cs.AI cs.LG math.ST
Learning Topic Models: Identifiability and Finite-Sample Analysis
Meta Platforms, Inc.（元平台公司）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
主题模型为学习、提取和发现大型文本语料库中的潜在结构提供了一种有用的文本挖掘工具。虽然已经提出了大量的方法为主题建模，缺乏在文献中是一个正式的理论研究的统计识别性和准确性的潜在主题估计。在本文中，我们提出了一个极大似然估计（MLE）的基础上，一个特定的综合可能性，自然连接到的概念，在计算几何，体积最小化的潜在主题。我们的理论引入了一组新的几何条件的主题模型的可识别性，条件是弱于传统的可分性条件，通常依赖于纯主题文档或锚词的存在。较弱的条件允许更广泛的，从而可能更富有成效的调查。我们进行有限样本误差分析，建议的估计，并讨论我们的结果和以前的调查之间的连接。最后，我们采用模拟和真实数据集的实证研究。
2022-08-10 cs.IR cs.LG stat.ME
Identifiability of deep generative models without auxiliary information
University of Chicago（芝加哥大学）；Carnegie Mellon University（卡内基梅隆大学）
我们证明了广泛的一类深潜变量模型的可识别性，（a）具有普遍的近似能力和（b）是变分自编码器，在实践中常用的解码器。与现有的工作不同，我们的分析不需要弱监督，辅助信息，或在潜在的空间调节。具体来说，我们表明，广泛的一类生成（即无监督）模型与通用近似能力，侧信息$u$是没有必要的：我们证明了整个生成模型的可识别性，我们不观察$u$，只观察数据$x$。我们考虑的模型与实际使用的自动编码器架构相匹配，这些架构利用了潜在空间中的混合先验和编码器中的ReLU/leaky-ReLU激活，例如VaDE和MFC-VAE。我们的主要结果是一个可识别的层次结构，显着概括以前的工作，并暴露不同的假设如何导致不同的“实力”的可识别性，并包括某些“香草”VAE与各向同性高斯先验作为一个特例。例如，我们最弱的结果建立（无监督）的仿射变换的可识别性，从而部分解决了一个开放的问题，在以前的工作中提出的模型可识别性。这些理论结果与模拟和真实数据的实验增强。
2022-10-18 cs.AI cs.LG math.ST
Mechanistic Independence: A Principle for Identifiable Disentangled Representations
Technical University of Munich（慕尼黑技术大学）
本文提出机制独立性原则，通过解耦表示中的机制作用来识别潜在子空间，建立独立性准则层级并提供图论特征描述，无需依赖统计假设。
2026-05-10 cs.LG stat.ML
When Does LeJEPA Learn a World Model?
Cold Spring Harbor Laboratory（冷泉港实验室）；New York University（纽约大学）；Brown University（布朗大学）
本文证明 LeJEPA（对齐加高斯正则化）在潜变量服从平稳加性噪声演化的世界中能够线性恢复潜变量（线性可识别性），并指出高斯分布是唯一保证该性质的潜分布，同时验证了近似可识别性和最优规划能力。
2026-05-25 cs.LG stat.ML
Block Disentanglement in CRL: Bridging Identifiability and Visual State Estimation
Rensselaer Polytechnic Institute（伦斯勒理工学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Swiss AI, EPFL（瑞士人工智能，洛桑联邦理工学院）；Google DeepMind（谷歌DeepMind）；University of Delaware（特拉华大学）
本文为干预性因果表示学习在弱化假设下建立块解缠的可辨识性保证，并将其应用于无标签的具身视觉状态估计，实现从图像视频恢复机器人物理变量，架起理论到实践的桥梁。
2026-10-06 cs.LG stat.ML
Complete or Sparse: A Tale of Two Identifiabilities
Cold Spring Harbor Laboratory（冷泉港实验室）
该研究围绕神经网络可解释性，提出两种因果方向的数据生成过程，证明维度充足时编码器为线性、不足时为非线性，结合约束实现欠完备非线性 ICA 的首个可识别性结果，框架经多类模型数据验证。
2026-10-21 cs.LG stat.ML
Noisy-OR Models with Latent Confounding
HIIT（赫尔辛基信息技术研究所）；University of Helsinki（赫尔辛基大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
给定一组实验，其中观察到的变量的不同子集进行干预，我们考虑问题的因果模型表现出潜在的混淆的可识别性。虽然当每个实验都干预大量变量时，可识别性是微不足道的，但当每个实验只有一个或几个变量受到干预时，情况就更加复杂了。对于具有潜在变量的线性因果模型，Hyttinen等人（2010）给出了这些数据足以识别完整模型的精确条件。虽然他们的结果不能扩展到任意因果关系的离散值变量，我们表明，可以得到类似的结果的因果模型的条件概率分布被限制到一个“噪声或”参数化类。我们进一步表明，识别下的模型，允许负面影响的扩展，并提出学习算法，我们测试的准确性，可扩展性和鲁棒性。
2012-02-14 cs.LG stat.ML
Understanding Latent Correlation-Based Multiview Learning and Self-Supervision: An Identifiability Perspective
Oregon State Univ.（俄勒冈州立大学）；Google Inc.（谷歌公司）；IBM Research（IBM研究院）
数据的多个视图，都是自然获取的（例如，图像和音频）和人工产生的（例如，通过向数据样本添加不同的噪声），已经证明在增强表示学习中是有用的。自然视图通常由多视图分析工具处理，例如，（深度）典型相关分析[（D）CCA]，而人工相关分析经常用于自监督学习（SSL）范例，例如，Byol和Barlow Twins。这两种类型的方法通常涉及学习神经特征提取器，使得数据的嵌入表现出高的跨视图相关性。虽然直观，但基于相关性的神经嵌入的有效性主要是经验验证。这项工作旨在从潜在组件识别的角度来理解基于潜在相关最大化的深度多视图学习。采用直观的多视图数据生成模型，其中视图是共享和私有组件的不同非线性混合。由于共享组件是视图/失真不变的，因此使用此类组件表示数据被认为有效且鲁棒地揭示了样本的身份。在此模型下，潜在的相关性最大化，以保证跨视图（某些歧义）的共享组件的提取。此外，它进一步表明，在每个视图中的私人信息可以证明从共享使用适当的正则化设计解开。有限样本分析，这一直是罕见的非线性混合可识别性研究，也提出。理论结果和新设计的正则化测试一系列的任务。
2022-04-08 cs.AI cs.CV cs.LG
Robust Identifiability in Linear Structural Equation Models of Causal Inference
University of Maryland, College Park（马里兰大学帕克分校）；Indian Institute of Science, Bangalore（班加罗尔印度科学研究所）；Microsoft Research, India（微软研究院（印度））
在这项工作中，我们考虑的问题，从观测数据的线性结构方程模型（LSEMs）的背景下的鲁棒参数估计。LSEM是一种流行的和研究良好的模型，用于推断自然科学和社会科学中的因果关系。与大尺度电磁场相关的主要问题之一是从观测数据中恢复模式参数。在各种条件下的LSEM和模型参数的现有工作提供了有效的算法来恢复的参数。然而，这些结果往往是关于通用的可识别性。在实践中，一般的可识别性是不够的，我们需要鲁棒的可识别性：观测数据的微小变化不应该对参数产生巨大的影响。鲁棒可识别性受到的关注要少得多，而且仍然知之甚少。Sankararaman等人（2019）最近提供了一组关于参数的充分条件，在这些条件下鲁棒可识别性是可行的。然而，他们的工作的一个局限性是，他们的结果只适用于LSEM的一个小子类，称为“无弓路径”。在这项工作中，我们在多个维度上大大扩展了他们的工作。首先，对于一个大的和充分研究的类LSEMs，即“弓自由”模型，我们提供了一个充分条件下，强大的可识别性持有模型参数，从而消除了限制的路径所需的事先工作。然后，我们表明，这一充分条件具有很高的概率，这意味着一个大的参数集强大的可识别性，并为这些参数，现有的算法已经实现了强大的可识别性。最后，我们在模拟和真实世界的数据集上验证了我们的结果。
2020-07-14 cs.AI cs.DS cs.LG
Linear Causal Disentanglement via Interventions
Broad Institute of MIT and Harvard（麻省理工学院和哈佛大学布罗德研究所）；Harvard University（哈佛大学）
本文研究线性潜在因果模型下观测变量的因果解耦可识别性，证明每个潜在变量需至少一次干预以保证可识别性，提出基于推广RQ分解的证明方法，并通过实验验证了理论结果。
2023-06-11 cs.LG stat.ML
Partial Identifiability for Domain Adaptation
Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Broad Institute of MIT and Harvard（麻省理工学院与哈佛大学博德研究所）
本文利用因果机制最小变化性质建立潜变量部分可辨识性理论，并提出 iMSDA 框架，在无监督领域自适应基准上取得优于现有方法的效果。
2025-01-05 cs.LG stat.ML
Nonparametric Identifiability of Causal Representations from Unknown Interventions
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）；Columbia University（哥伦比亚大学）
本文研究未知干预下非参数因果表示学习的可辨识性，证明在一般性条件下，每个节点一次完美干预即可识别两个因果变量，并推广到任意数量变量，同时证明因果影响强度在等价解中保持不变。
2023-10-28 cs.AI cs.LG stat.ML
Identification of Nonlinear Latent Hierarchical Models
Carnegie Mellon University（卡内基梅隆大学）；University of California San Diego（加州大学圣迭戈分校）；Beijing Technology and Business University（北京工商大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文首次在非线性潜在层次因果模型中同时建立因果结构与潜在变量的可识别性保证，通过放宽潜在树假设和参数化假设，提出识别准则并构造渐近估计过程。
2023-10-31 cs.AI cs.LG stat.ML
Identifiability Guarantees for Causal Disentanglement from Soft Interventions
Broad Institute of MIT and Harvard（麻省理工学院与哈佛大学布罗德研究所）；Laboratory for Information and Decision Systems, MIT（麻省理工学院信息与决策系统实验室）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；Google Research（谷歌研究院）
该研究针对潜因果变量不可观测的因果解缠场景，在广义忠实性假设下证明了可识别性，开发自编码变分贝叶斯算法实现框架，可在无限数据下恢复等价类潜因果模型并预测组合干预效果，已应用于基因组学组合扰动效应预测。
2023-11-09 cs.LG math.ST stat.ME
Linear Causal Representation Learning from Unknown Multi-node Interventions
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Google DeepMind（谷歌DeepMind）
研究未知多节点干预下的线性因果表征学习，证明软干预可达祖先级辨识、硬干预可完全辨识，并给出实现该保证的算法。
2024-12-05 cs.LG stat.ML
Identifiability of Gaussian structural equation models with equal error variances
我们考虑结构方程模型中的变量可以写为一个函数，他们的父母和噪声项，这是假设为联合独立。对应于每个结构方程模型，存在描述变量之间关系的有向无环图。在具有线性函数的高斯结构方程模型中，假设忠实性，图只能从联合分布识别到马尔可夫等价类。在这项工作中，我们证明了充分的可识别性，如果所有的噪声变量具有相同的方差：有向无环图可以从联合高斯分布恢复。我们的结果对因果推断有直接的影响：如果数据遵循具有等误差方差的高斯结构方程模型，并假设所有变量都被观测到，则因果结构只能从观测数据中推断出来。我们提出了一个统计方法和算法，利用我们的理论研究结果。
2013-08-28 math.ST stat.ML stat.TH
Prediction Markets as Bayesian Inverse Problems: Uncertainty Quantification, Identifiability, and Information Gain from Price-Volume Histories under Latent Types
Kosmos Ventures（科索莫斯风险投资）；MC SAS
本文将预测市场建模为贝叶斯反问题，通过分析价格-成交量历史推断事件结果，并研究不确定性量化、可识别性和信息增益。
2026-01-22 q-fin.MF stat.ML
Learning Causal Representations from General Environments: Identifiability and Intrinsic Ambiguity
Institute for Computational & Mathematical Engineering, Stanford University（斯坦福大学计算与数学工程研究所）；Department of Management Science & Engineering, Stanford University（斯坦福大学管理科学与工程系）
本研究提出在一般环境下进行因果表示学习的首个可辨识性结果，证明线性模型可恢复因果图但潜在变量存在环绕节点模糊性，并设计算法LiNGCReL验证有效性。
2024-02-03 cs.AI cs.LG econ.EM
On the Identifiability of Nonlinear ICA: Sparsity and Beyond
Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文针对无辅助变量的非线性ICA可识别性问题，提出仅依赖混合过程的结构稀疏性假设，证明隐源可被识别至置换与逐分量变换，并通过实验验证了该理论。
2024-02-26 cs.AI cs.LG stat.ML
Generalizing Nonlinear ICA Beyond Structural Sparsity
Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对结构稀疏性、双射混合及源独立假设的局限，本文在欠完备、部分稀疏、源依赖和灵活分组设置下建立非线性 ICA 的新可辨识性理论，并通过合成与真实数据验证。
2023-11-01 cs.LG eess.SP stat.ML
Physics from Video: Identifiability of Time-Invariant Second-Order ODEs under Minimal Trajectory Conditions
University of Science and Technology of China（中国科学技术大学）
研究从原始像素中辨识连续时间物理定律的结构可辨识性，证明在最小轨迹条件下，编码器-仅管道可唯一恢复二阶线性ODE参数，并引入方差底正则化器稳定无解码器目标。
2026-08-03 cs.CV cs.LG stat.ML
