Descartes' rule of signs and the identifiability of population demographic models from genomic variation data
样本频谱（SFS）是一种广泛使用的同源DNA序列样本中基因组变异的汇总统计量。它提供了一个高效的大规模人口基因组数据的降维，其数学依赖于底层人口统计学是很好的理解，从而使有效的推理算法的发展。然而，最近的研究表明，对于任意大的样本量，非常不同的人口统计学实际上可以产生相同的SFS。虽然原则上这个不可识别性问题对统计推断提出了棘手的挑战，但反例中涉及的种群规模函数在生物学上并不现实。在这里，我们重新审视这个问题，并研究人口模型的可识别性的限制下，人口规模是分段定义的，其中每一块属于一些家庭的生物动机的功能。在此假设下，我们证明了，一个样本的预期SFS唯一地确定了潜在的人口模型，只要样本是足够大的。我们得到了一个一般的约束的样本量足以识别，约束取决于人口模型中的件的数量，也在每一块的人口规模函数的类型。在分段常数，分段指数和分段广义指数模型的情况下，这是经常假设在人口基因组推断，我们提供了明确的公式作为简单的函数的数量件的界限。最后，我们得到类似的结果为“折叠”的SFS，这是经常使用的时候，有歧义的等位基因类型是祖先。我们的结果证明使用推广的笛卡尔多项式的符号规则的Laplace变换的分段连续函数。
2014-12-01 math.ST q-bio.PE stat.AP
Bivariate Matrix-valued Linear Regression (BMLR): Finite-sample performance under Identifiability and Sparsity Assumptions
Cornell University（康奈尔大学）；Capital Fund Management（资本基金管理公司）
本文提出双变量矩阵值线性回归模型，通过显式优化免费估计器在可识别性和稀疏性假设下实现参数高效估计，并通过实验验证其在有限样本下的性能。
2025-12-04 math.ST stat.ML stat.TH
Identifiability and inference for copula-based semiparametric models for random vectors with arbitrary marginal distributions
本文研究任意边际分布下copula半参数模型的可识别性，提出适应不连续情形的伪似然估计方法，并推广秩统计量收敛结果，通过数值实验和水文数据回归验证有效性。
2023-05-09 stat.ME
On identifiability and consistency of the nugget in Gaussian spatial process models
地质统计学中流行的空间过程模型通常将观测数据表示为平滑的潜在过程和白噪声的总和。白噪声的变化归因于测量误差或微尺度变化，并且被称为“块金”。我们正式建立结果的可识别性和一致性的块金在空间模型的基础上，在填充渐近的框架内的高斯过程，即样本量增加的采样域是有界的。我们的工作扩展了无块金空间模型的固定域渐近性结果。更具体地说，我们建立的Matérn协方差函数中的参数的可识别性和一致性的最大似然估计的存在下，由于块金不连续。我们还提出了模拟研究，以证明在空间插值的可识别量的作用。
2023-02-13 math.ST stat.TH
Two Gaussians, Too Many: A bootstrap-based approach to assess identifiability in non-Gaussian structural vector autoregressions
University of Bologna（博洛尼亚大学）
研究非高斯结构向量自回归中识别性问题，提出基于自举法评估条件渐近有效性，通过测量分布差异进行诊断，该方法在多种情况下有效且无预检验偏差，模拟显示其能检测识别失败并保持估计概率覆盖，可验证非高斯识别。
2026-10-15 econ.EM stat.ME
Parsimonious Compactly Supported Covariance Models in the Gauss Hypergeometric Class: Identifiability, Reparameterizations, and Asymptotic Properties
Universidad Adolfo Ibáñez（阿道夫·伊巴涅斯大学）；Università Ca’ Foscari（威尼斯卡福斯卡里大学）；Universidad del Bío-Bío（比奥比奥大学）；Universidad de Santiago de Chile（智利圣地亚哥大学）；Universidad de Chile（智利大学）
本文研究高斯超几何类协方差函数，推导了有效性条件并展示了模型在固定域渐近中的结构可识别性问题，提出稀疏紧凑支持子类并通过最大积分范围准则解决，并在固定域渐近中建立了最大似然估计的强一致性和渐近正态性。
2026-09-15 stat.ME
Identifiability and Estimation in Continuous Lyapunov Models
Department of Mathematical Sciences, University of Copenhagen（哥本哈根大学数学科学系）
本文研究了连续李雅普诺夫模型中参数的可识别性与估计问题，通过推导高阶累积量张量方程，证明了在非高斯假设下连通图中漂移矩阵的通用可识别性，并提出了一种新的半参数估计方法。
2026-03-17 math.ST stat.TH
Identifiability and Information-Based Inference for Epidemic Transmission Models Under Partial Observation
University of Staffordshire（斯塔福德郡大学）
研究部分观测下流行病传播模型的可识别性与推断，建立统一框架，推导信息矩阵，量化信息损失，研究观测因素对参数估计的影响，为评估监测策略提供依据，模拟验证框架准确性，奠定统计推断理论基础。
2026-07-28 math.ST stat.TH
Bias and Identifiability in the Bounded Confidence Model
CENTAI；Sapienza University（Sapienza大学）；Euler Institute（Euler研究所）
本文研究有界置信模型（BCM）两个关键参数的最大似然估计性质，发现置信界估计量有小样本偏差但一致，收敛速率估计量有持续偏差，且联合估计存在参数空间特定区域的可识别性问题，为意见动力学及基于智能体的模型参数校准提供了分析思路与形式化依据。
2025-06-13 cs.CY cs.LG physics.soc-ph
When are Overcomplete Topic Models Identifiable? Uniqueness of Tensor Tucker Decompositions with Structured Sparsity
University of California, Irvine（加州大学欧文分校）；Microsoft Research New England（微软新英格兰研究院）
本文研究了过完备主题模型在特定阶可观察矩下的可识别性，提出通过结构稀疏性约束实现张量Tucker分解的唯一性。
2013-08-13 cs.IR cs.LG cs.NA
A fast algorithm with minimax optimal guarantees for topic models with an unknown number of topics
Cornell University（康奈尔大学）
我们提出了一种新的主题模型估计方法，该方法不是现有单纯形查找算法的变体，而是根据观察到的数据估计主题数量K。我们推导出新的有限样本极大极小估计的A的下界，以及我们提出的估计新的上界。我们描述的情况下，我们的估计是极大极小自适应。我们的有限样本分析对任意数量的文档（n）、单个文档长度（N_i）、字典大小（p）和主题数（K）都是有效的，并且p和K都允许随n而增加，这是以前的分析没有处理好的情况。我们补充我们的理论结果与详细的模拟研究。我们说明了新算法比当前算法更快，更准确，尽管我们开始时不知道正确的主题数K的计算和理论缺点，而我们在模拟中提供了具有正确值的竞争方法。
2019-09-04 cs.LG stat.ML
General Divergence Regularized Optimal Transport: Sample Complexity and Central Limit Theorems
School of Mathematical Sciences, Fudan University（复旦大学数学科学学院）
该研究针对任意波兰空间的经验散度正则化最优传输，建立了样本复杂度界，分离出总体可识别性条件，证明了中心极限定理成立，涵盖非紧及无限维空间等多种情形。
2026-08-25 math.ST stat.TH
Fast Rates for a kNN Classifier Robust to Unknown Asymmetric Label Noise
University of Birmingham（伯明翰大学）
我们认为分类存在类相关的非对称标签噪声与未知的噪声概率。在这种情况下，识别条件是已知的，但额外的假设被证明是需要有限的采样率，到目前为止，只有参数率已获得。假设这些可识别性条件，以及回归函数的测量平滑条件和Tsybakov的裕度条件，我们证明了Gao等人的Robust kNN分类器达到了无噪声设置的最小最大最优速率，直到对数因子，即使在具有未知非对称标签噪声的数据上训练。因此，我们的研究结果提供了坚实的理论支持，这个经验上成功的算法。相比之下，标准kNN在非对称标签噪声的设置中甚至不一致。在我们的分析中的一个关键思想是一个简单的kNN为基础的方法来估计一个函数的最大值，需要远远少于现有的模式估计的假设，这可能是独立的噪声比例估计和随机优化问题的兴趣。
2019-06-11 cs.LG stat.ML
Testing for Principal Component Directions under Weak Identifiability
我们考虑的问题的测试，$p$变量高斯随机样本的基础上，零假设${\cal H}_0: {\pmb θ}_1= {\pmb θ}_1^0$对替代${\cal H}_1: {\pmb θ}_1 \neq {\pmb θ}_1^0$，其中${\pmb θ}_1$是“第一”特征向量的基础协方差矩阵和${\pmb θ}_1^0$是一个固定的单位$p$ -向量。在特征值$λ_1>λ_2\geq \ldots\geq λ_p$固定的经典设置中，Anderson（1963）似然比检验（LRT）和Hallin，Paindaveine和Verdebout（2010）Le Cam最优检验在零假设下是渐近等价的，因此在连续备选项序列下也是如此。我们表明，这种等效性不生存渐近的情况下，$λ_{n1}/λ_{n2}=1+O(r_n)$与$r_n=O(1/\sqrt{n})$。对于这种情况下，乐卡姆最优检验仍然渐近满足标称水平的约束，而LRT严重overrejects零假设。因此，当两个最大样本特征值彼此接近时，前一种检验应优于后一种检验。通过依赖于Le Cam的统计实验的渐近理论，我们研究了Le Cam最优检验在上述渐近情形下的非零和最优性质，并表明该检验的零鲁棒性不是以牺牲功率为代价获得的。我们的渐近调查是广泛的意义上，它允许$r_n$收敛到零，在任意的速度。虽然我们限制单尖峰频谱的形式$λ_{n1}>λ_…
2018-12-30 math.ST stat.TH
When Is Next-Token Prediction Useful? Marginalization, Ergodicity, Mixture Identifiability, Local Sufficiency, RAG, Tools, and Programming
本文通过区分完整条件语言过程、边缘文本过程和模型诱导分布，论证了下一个词预测的有效性依赖于强假设（平稳性、代表性、遍历性）以及观察前缀对潜在上下文的充分性，并解释了RAG和工具使用作为条件充分性机制的作用。
2026-05-29 cs.CL stat.ML
On Finite-Sample Identifiability of Contrastive Learning-Based Nonlinear Independent Component Analysis
Oregon State University（俄勒冈州立大学）
非线性独立分量分析（nICA）的目的是恢复统计上独立的潜在成分，由未知的非线性函数混合。nICA的核心是潜在成分的可识别性，直到最近才变得难以捉摸。具体来说，Hyvärinen等人已经证明，在广义对比学习（GCL）公式下，非线性混合的潜在成分是可识别的（通常是无关紧要的歧义），假设潜在成分是独立的，取决于某个辅助变量。基于GCL的nICA的可识别性是优雅的，并建立了有趣的连接之间的nICA和流行的无监督/自监督学习范式的表示学习，因果学习，和因素解开。然而，现有的nICA的可识别性分析都建立在无限样本假设和使用理想的通用函数学习器的基础上，这在理论和实践之间造成了不可忽视的差距。缩小差距是一个不平凡的挑战，因为缺乏既定的“教科书”例行有限样本分析这样的无监督的问题。本文提出了一种基于GCL的nICA的有限样本可辨识性分析方法。我们的分析框架明智地结合了GCL损失函数，统计泛化分析和数值微分的属性。我们的框架还考虑了学习函数的近似误差，并揭示了所采用的函数学习器的复杂性和表现力之间的直观权衡。数值实验验证了定理的正确性。
2022-06-14 cs.LG stat.ML
Spectral Thresholds for Identifiability and Stability:Finite-Sample Phase Transitions in High-Dimensional Learning
Taiwan Semiconductor Manufacturing Company (TSMC)（台湾半导体制造公司）
本文提出Fisher阈值定理，通过谱正则化方法在高维学习中实现有限样本下的稳定性与可识别性，揭示了样本量与维度比的尖锐相变特性。
2025-11-25 cs.LG stat.ML
The LAN property for McKean-Vlasov models in a mean-field regime
我们建立了局部渐近正态性（LAN）估计的多维参数在一个固定的时间范围内观察到的平均场制度$N \rightarrow \infty$的$N$相互作用粒子系统的漂移的属性。通过实施经典理论的Algimov和Hasminski，我们得到特别尖锐的结果的最大似然估计，超越其简单的渐近正态性感谢哈耶克的卷积定理和强控制的似然过程，产生渐近极小极大最优性（常数）。我们的结构结果揭示了伴随的非线性McKean-Vlasov实验，并使我们能够得到简单而明确的标准，以获得可识别性和非退化的Fisher信息矩阵。这些条件也感兴趣的其他最近的研究主题的相互作用扩散的参数推断。
2022-05-12 math.ST stat.TH
Cost-Aware Learning for Improved Identifiability with Multiple Experiments
Purdue University（普渡大学）
我们分析了从多个实验中学习的样本复杂性，其中实验者有一个总预算来获得样本。在这个问题中，学习者应该选择一个在多个实验及其相关数据分布方面表现良好的假设。每个收集的样本都与取决于特定实验的成本相关联。在我们的设置中，学习者执行$m$实验，同时产生总成本$C$。我们首先表明，从多个实验中学习可以提高可识别性。此外，通过使用Rademacher复杂性方法，我们证明了训练和泛化误差之间的差距是$O(C^{-1/2})$。我们也提供了一些例子，线性预测，两层神经网络和核方法。
2019-07-13 cs.LG stat.ML
Data Reconstruction: Identifiability and Optimization with Sample Splitting
Zhili College at Tsinghua University（清华大学紫荆学院）；Courant Institute for Mathematical Sciences at New York University（纽约大学Courant数学科学研究所）；School of Computing and Data Science at University of Hong Kong（香港大学计算与数据科学学院）；Courant Institute for Mathematical Sciences, and Center for Data Science at New York University（纽约大学Courant数学科学研究所和数据科学中心）
本文研究了数据重建的可识别性与优化问题，提出样本分割方法以提升重建性能。
2026-02-09 cs.CR cs.LG stat.ML
Generalized Identifiability Bounds for Mixture Models with Grouped Samples
Technische Universität Berlin（柏林工业大学）；Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）
最近的工作表明，只要可以访问已知来自相同混合成分的大小为$2m-1$的样本组，具有$m$成分的有限混合模型是可识别的，同时不对混合成分做出任何假设。在这项工作中，我们推广的结果，并表明，如果每个子集的混合模型的$k$混合成分是线性无关的，那么该混合模型是可识别的，每组只有$(2m-1)/(k-1)$样本。我们进一步表明，这个值不能提高。我们证明了一个类似的结果，一个更强的形式的可识别性被称为“determinedness”以及相应的下界。如果从一个$k$维空间中随机选择混合组分，则这种独立性假设几乎肯定成立。我们描述了我们的研究结果多项式混合模型和主题建模的一些影响。
2022-07-22 cs.LG math.ST stat.ML
Identifiability-Guaranteed Simplex-Structured Post-Nonlinear Mixture Learning via Autoencoder
Oregon State University（俄勒冈州立大学）
这项工作的重点是在无监督的方式解开非线性混合的潜在成分的问题。潜在成分被假定为驻留在概率单纯形，并通过一个未知的后非线性混合系统进行转换。该问题在信号和数据分析中有各种应用，例如，非线性高光谱分解、图像嵌入和非线性聚类。线性混合学习问题已经是不适定的，因为目标潜在成分的可识别性通常很难建立。由于涉及未知的非线性，该问题更具挑战性。先前的工作提供了一个函数方程为基础的配方可证明的潜在成分识别。然而，可识别性条件有些严格和不切实际。此外，可识别性分析是基于无限样本（即，总体）的情况下，而实际有限样本情况下的理解一直难以捉摸。此外，在现有的工作中的算法交易模型的表达性与计算的方便性，这往往阻碍了学习性能。我们的贡献是三方面的。首先，在很大程度上放松的假设下，新的可识别性条件。第二，全面的样本复杂性结果-这是第一次。第三，提出了一种基于约束自动编码器的算法框架，有效地规避了现有算法的挑战。合成和实际实验证实了我们的理论分析。
2021-06-16 cs.LG eess.SP stat.ML
Beyond identifiability: Learning causal representations with few environments and finite samples
本文提出在少量环境中通过有限样本学习因果表示的方法，通过扰动分析保证了潜在因果图、混合矩阵和未知干预目标的一致恢复。
2026-03-26 cs.AI cs.LG math.ST
Spectral Identifiability for Interpretable Probe Geometry
Taiwan Semiconductor Manufacturing Company (TSMC)（台湾半导体制造公司）
本文提出谱可识别性原理，通过谱间隙和Fisher误差分析探针稳定性，揭示了探针在不同场景下的可靠性机制。
2025-11-20 cs.LG stat.ML
Local Identifiability of Deep ReLU Neural Networks: the Theory
样本是否足够丰富，至少可以局部确定神经网络的参数？为了回答这个问题，我们引入了一个新的局部参数化的给定深度ReLU神经网络，通过固定它的一些权重值。这使我们能够定义局部提升算子，其逆是高维空间的光滑流形的图表。由深度ReLU神经网络实现的函数将局部提升与依赖于样本的线性算子组成。从这个方便的表示，我们得到了局部可识别的几何充要条件。在切空间中，几何条件提供了：1/一个尖锐的和可检验的可识别性必要条件和2/一个尖锐的和可检验的局部可识别性充分条件。可以使用反向传播和矩阵秩计算数值测试的条件的有效性。
2022-12-20 math.ST stat.ML stat.TH
On The Identifiability of Mixture Models from Grouped Samples
University of Michigan（密歇根大学）
有限混合模型是统计学和机器学习中经常出现的一类统计模型。在这种模型中，假设数据是从随机概率测度中提取的，称为混合分量，其本身是从概率测度上的概率测量P中提取的。在估计混合模型时，通常会对混合成分进行假设，例如参数假设。在本文中，我们没有对混合成分做任何假设，而是假设来自混合模型的观测是分组的，使得同一组中的观测已知来自同一成分。我们表明，任何混合的m概率测度可以唯一地确定，提供有2 m-1观察每组。此外，我们表明，对于任何m，存在一个混合的m概率测度，不能唯一地确定时，组有2 m-2的意见。我们的结果适用于任何含有多个元素的样本空间。
2022-04-02 cs.LG math.ST stat.ML
Learning Topic Models and Latent Bayesian Networks Under Expansion Constraints
University of California, Irvine（加州大学欧文分校）；Microsoft Research New England（微软新英格兰研究院）；Stanford University（斯坦福大学）
潜变量模型的无监督估计是机器学习和统计学的众多应用中的核心基本问题。这项工作提出了一个原则性的方法来估计广泛的类这样的模型，包括概率主题模型和潜在的线性贝叶斯网络，只使用二阶观测矩。这些模型的可识别性的充分条件主要是基于弱扩展约束的主题词矩阵，主题模型，和有向无环图，贝叶斯网络。由于没有对潜在变量之间的分布做出任何假设，该方法可以处理主题或潜在因素之间的任意相关性。此外，通过$\ell_1$优化，提出了一种易于处理的学习方法，并在数值实验中进行了研究。
2013-05-24 cs.LG stat.AP stat.ML
Entropic Causal Inference: Identifiability and Finite Sample Results
MIT（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
熵因果推断是从观测数据中推断两个分类变量之间因果关系方向的框架。核心假设是系统中未观察到的随机性不会太大。这种未观察到的随机性是由基础结构因果模型中的外生变量的熵来衡量的，该模型控制着观察到的变量之间的因果关系。Kocaoglu等人指出，当外生变量的熵不太大时，因果方向是可识别的。在本文中，我们证明了他们的猜想的一个变种。也就是说，我们表明，几乎所有的因果模型的外生变量的熵不与观测变量的状态数的比例，因果方向是可识别的观测数据。我们还考虑了Kocaoglu等人提出的基于最小熵耦合的算法方法，并首次证明了使用有限数量的样本的算法可识别性保证。我们进行了大量的实验，以评估该方法的鲁棒性放松我们的理论中的一些假设，并证明了恒定熵的外生变量和没有潜在的混淆假设可以放松在实践中。我们还经验性地描述了因果识别所需的观察样本的数量。最后，我们将该算法应用于Tuebingen因果对数据集。
2021-01-10 cs.AI cs.IT cs.LG
Polytopic Matrix Factorization: Determinant Maximization Based Criterion and Identifiability
我们介绍多面体矩阵分解（PMF）作为一种新的数据分解方法。在这个新的框架中，我们将输入数据建模为从多面体中提取的一些潜在向量的未知线性变换。在这个意义上，本文考虑了一个半结构化的数据模型，其中输入矩阵被建模为一个完整的列秩矩阵和一个矩阵的产品包含样本的多面体作为其列向量。多面体的选择反映了潜在成分的假定特征及其相互关系。作为因子分解的标准，我们提出了行列式最大化（Det-Max）的样本自相关矩阵的潜在向量。我们引入了一个充分条件的可识别性，这需要的凸壳的潜在的向量包含最大体积内接椭球的多面体具有特定的紧密性约束。基于Det-Max准则和提出的可识别性条件，我们证明了所有满足特定对称性限制的多面体都有资格获得PMF框架。具有无限多个多面体选择提供了表征潜在向量的灵活性。特别是，可以定义具有异构特征的潜在向量，从而能够在子向量级别分配属性，例如非负性和稀疏性。本文提供了一些例子来说明多面体选择和相应的特征表示之间的联系。
2022-02-19 cs.LG eess.SP stat.ML
Sample Complexity of Causal Identification with Temporal Heterogeneity
本文研究了在时间异质性条件下因果图恢复的样本复杂性，通过整合时间结构与环境异质性，提出了统一的可识别性条件，并揭示了厚尾分布下统计恢复的限制。
2026-02-06 cs.LG stat.ML
Spectral Learning for Supervised Topic Models
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
监督主题模型同时对大量文档集合的潜在主题结构和与每个文档相关联的响应变量进行建模。现有的推理方法都是基于变分近似或蒙特卡罗抽样，这往往遭受局部极小缺陷。谱方法已被应用于学习无监督主题模型，如潜在狄利克雷分配（LDA），具有可证明的保证。本文研究了应用谱方法恢复监督LDA（sLDA）参数的可能性。我们首先提出了一个两阶段的谱方法，它恢复LDA的参数，其次是功率更新方法来恢复回归模型参数。然后，我们进一步提出了一个单相谱算法，以联合恢复的主题分布矩阵以及回归权重。我们的谱算法是可证明的正确和计算效率。我们证明了每个算法的样本复杂性界，随后推导出sLDA的可识别性的充分条件。在人工数据集和真实数据集上的实验验证了理论的正确性，并证明了谱算法的实用性。事实上，我们在大规模评论评级数据集上的结果表明，我们的单相谱算法单独获得了与最先进的方法相当甚至更好的性能，而以前关于谱方法的工作很少报告这种有前途的性能。
2016-02-19 cs.CL cs.IR cs.LG
Identifiable Shared Component Analysis of Unpaired Multimodal Mixtures
Oregon State University（俄勒冈州立大学）
本文研究跨模态样本未对齐的多模态线性混合中共享成分的可辨识性问题，提出基于分布散度最小化的损失函数，推导出比独立成分分析更温和的充分条件，并通过合成与真实数据验证了可辨识性。
2024-10-01 cs.AI cs.LG stat.ML
Understanding Latent Correlation-Based Multiview Learning and Self-Supervision: An Identifiability Perspective
Oregon State Univ.（俄勒冈州立大学）；Google Inc.（谷歌公司）；IBM Research（IBM研究院）
数据的多个视图，都是自然获取的（例如，图像和音频）和人工产生的（例如，通过向数据样本添加不同的噪声），已经证明在增强表示学习中是有用的。自然视图通常由多视图分析工具处理，例如，（深度）典型相关分析[（D）CCA]，而人工相关分析经常用于自监督学习（SSL）范例，例如，Byol和Barlow Twins。这两种类型的方法通常涉及学习神经特征提取器，使得数据的嵌入表现出高的跨视图相关性。虽然直观，但基于相关性的神经嵌入的有效性主要是经验验证。这项工作旨在从潜在组件识别的角度来理解基于潜在相关最大化的深度多视图学习。采用直观的多视图数据生成模型，其中视图是共享和私有组件的不同非线性混合。由于共享组件是视图/失真不变的，因此使用此类组件表示数据被认为有效且鲁棒地揭示了样本的身份。在此模型下，潜在的相关性最大化，以保证跨视图（某些歧义）的共享组件的提取。此外，它进一步表明，在每个视图中的私人信息可以证明从共享使用适当的正则化设计解开。有限样本分析，这一直是罕见的非线性混合可识别性研究，也提出。理论结果和新设计的正则化测试一系列的任务。
2022-04-08 cs.AI cs.CV cs.LG
Identifiability of Kronecker-structured Dictionaries for Tensor Data
本文推导了局部恢复坐标字典的充分条件，包括一个Kronecker结构的字典，用于表示$K$的th阶张量数据。张量观测被假设为从克罗内克结构的字典乘以稀疏系数张量，遵循可分离的稀疏模型。这项工作提供了足够的条件，基本的坐标字典，系数和噪声分布，以及样本的数量，保证恢复的个别坐标字典到指定的错误，作为局部最小的目标函数，具有很高的概率。具体地，恢复具有维度$m_k \times p_k$直到估计误差$\varepsilon_k$的$K$坐标字典的样本复杂度被示出为$\max_{k \in [K]}\mathcal{O}(m_kp_k^3\varepsilon_k^{-2})$。
2018-05-25 cs.IT math.IT stat.ML
Computational Identifiability
New York University（纽约大学）
提出“计算可识别性”框架，通过有限计算搜索过程在指定误差容限内找到经验估计量，从而解决理论可识别性在有限样本、模糊图标准等实际场景中的不足。
2026-06-19 cs.AI cs.LG cs.NA
Identifiability of Sparse Causal Effects using Instrumental Variables
本文研究工具变量下稀疏线性因果模型的可识别性，提出图形准则与spaceIV估计器，并证明其一致性及在不可识别时恢复部分因果父节点的能力。
2024-10-18 math.ST stat.ME stat.ML
Identifiability and Stability of Generative Drifting in the Companion-Elliptic Kernel Family
Department of Mathematical Sciences, Korea Advanced Institute of Science and Technology (KAIST)（数学科学系，韩国科学技术院（KAIST））
本文研究了生成漂移框架下漂移场的可识别性和稳定性，引入伴随椭圆核族以解决标准高斯分数场论证失效的问题，并证明该族包含拉普拉斯核和具有平滑参数ν≥1/2的高斯和马特恩核，从而建立任意Borel概率测度下的场可识别性及稳定性条件。
2026-08-14 cs.LG stat.ML
Local identifiability of $l_1$-minimization dictionary learning: a sufficient and almost necessary condition
我们研究了从$N$信号$\mathbf x_i\in \mathbb R^K$学习字典的理论性质，通过$l_1$最小化。我们假设$i.i.d.$是来自完整（即，平方和可逆）参考字典$\mathbf D_0 \in \mathbb R^{K\times K}$。这里，随机线性系数是从$s$稀疏高斯模型或伯努利高斯模型生成的。首先，对于总体情况，我们建立了参考字典$\mathbf D_0$局部可识别的充分且几乎必要的条件，即，期望$l_1$范数目标函数的局部最小值。我们的条件涵盖了随机线性系数的稀疏和稠密情况，并显着改进了Gribonval和Schnass（2010）的充分条件。此外，我们表明，对于一个完整的$μ$相干参考字典，即，具有绝对成对列内积至多$μ\in[0,1)$的字典，即使当随机线性系数向量平均具有至多$O(μ^{-2})$非零值时，局部可识别性也成立。此外，我们的本地可识别性的结果也转化为有限样本的情况下，提供了高概率的信号$N$规模为$O(K\log K)$。
2016-07-12 stat.ML
Nonlinear Multiview Analysis: Identifiability and Neural Network-assisted Implementation
Oregon State University（俄勒冈州立大学）
多视图分析的目的是从在不同域中获取的数据样本中提取共享的潜在成分，例如，图像、文本和音频。经典的多视图分析，例如，典型相关分析（CCA）通过在特定潜在域中匹配线性变换的视图来解决这个问题。最近，强大的非线性学习工具，如核方法和神经网络被用来增强经典的CCA。然而，与线性CCA的理论方面被清楚地理解不同，非线性CCA方法在很大程度上是直觉驱动的。特别是，目前还不清楚在什么条件下可以识别跨视图的共享潜在组件-而可识别性在许多应用中起着至关重要的作用。在这项工作中，我们重新审视非线性多视图分析和解决的理论和计算方面。我们的工作利用了一个有用的非线性模型，即后非线性模型，从非线性混合物分离文献。结合多视图数据，我们采取了非线性多视图混合学习的观点，这是线性CCA的经典生成模型的自然扩展。从那里，我们得到了一个学习标准。我们表明，最小化这一标准导致识别的潜在共享组件到一定的模糊性，在合理的条件下。我们的推导和公式化也为现有的基于深度神经网络的CCA公式化提供了新的见解和解释。在计算方面，我们提出了一个有效的算法，简单和可扩展的更新规则。一系列的仿真和实际数据实验证实了我们的理论分析。
2020-03-30 cs.LG stat.ML
Identifiability and optimal rates of convergence for parameters of multiple types in finite mixtures
本文研究了有限混合模型中多类型参数的可辨识性和收敛性，以及含有混合分量的模型拟合的影响。首先，我们提出了一个强可识别性的一般理论，它扩展了Nguyen [2013]和Chen [1995]以前的工作，以解决广泛的混合模型和处理矩阵变量参数。这些模型共享相同的Wasserstein距离为基础的最佳收敛速度的混合分布的空间-$n^{-1/2}$下$W_1$的精确拟合和$n^{-1/4}$下$W_2$的过度拟合设置，其中$n$是样本量。然而，这一理论并不适用于几个重要的模型类，包括位置尺度多元高斯混合，形状尺度伽玛混合和位置尺度形状斜态混合。这项工作的第二部分是致力于证明这些“弱识别”类，密度族的代数结构在确定模型参数的收敛速度，这显示了非常丰富的行为谱中发挥了根本性的作用。例如，在过拟合的位置协方差高斯混合物中的参数估计的最佳速率由多项式方程的可解系统的阶数精确地确定--当更多的额外分量被添加到模型中时，这些速率迅速恶化。各种设置的既定利率说明了模拟研究。
2015-01-11 math.ST stat.ML stat.TH
Sparse Partially Collapsed MCMC for Parallel Inference in Topic Models
主题模型，更具体地说是潜在狄利克雷分配（LDA）类，广泛用于文本的概率建模。从后验分布进行MCMC采样通常使用塌陷吉布斯采样器来执行。我们提出了一个并行稀疏部分折叠吉布斯采样器，并比较其速度和效率，以国家的最先进的采样器的主题模型上五个著名的文本语料库的不同大小和属性。特别是，我们提出并比较了两种不同的策略，用于对具有潜在主题指标的参数块进行采样。实验表明，统计效率的增加，从只有部分折叠是小于通常假设的，可以超过补偿的加速从并行化和稀疏较大的语料库。我们还证明了部分塌陷的采样器的规模以及与语料库的大小。该算法具有快速、高效、准确的特点，比普通的塌陷采样器适用于更多的建模场合。
2017-08-15 stat.ME stat.ML
Causal Representation Learning Made Identifiable by Grouping of Observational Variables
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Department of Computer Science, University of Helsinki（赫尔辛基大学计算机科学系）
本文提出一种仅依赖观测变量分组这一弱约束的因果表示学习可辨识性方法，无需时间结构、干预或弱监督，并设计了自监督估计框架，在实验中优于现有基线且对混杂因素和因果循环具有鲁棒性。
2024-06-07 cs.LG stat.ML
Prediction Markets as Bayesian Inverse Problems: Uncertainty Quantification, Identifiability, and Information Gain from Price-Volume Histories under Latent Types
Kosmos Ventures（科索莫斯风险投资）；MC SAS
本文将预测市场建模为贝叶斯反问题，通过分析价格-成交量历史推断事件结果，并研究不确定性量化、可识别性和信息增益。
2026-01-22 q-fin.MF stat.ML
Identifiability and Estimation for Unlabeled Finite Mixtures under Marginal Independence
Department of Mathematical and Computing Science, Institute of Science Tokyo（科学东京学院数学与计算科学系）；RIKEN Center for Advanced Intelligence Project（日本学术振兴会先进人工智能项目中心）
研究无标签有限混合模型中，利用边际独立性假设恢复潜在成分和估计混合矩阵，提出PM-MMD估计器并证明其收敛性。
2026-08-14 cs.LG stat.ML
Guaranteed Model Order Estimation and Sample Complexity Bounds for LDA
如何确定混合模型（如潜在狄利克雷分配（LDA））中独立潜在因子（主题）的个数具有重要的实际意义。在大多数应用程序中，主题的确切数量是未知的，并且取决于应用程序和数据集的大小。贝叶斯非参数方法可以避免主题数选择的问题，但它们在大样本量时速度慢得不切实际，并且容易陷入局部最优。我们开发了一个有保证的程序，主题数恢复，不需要事先学习模型的潜在参数。我们的程序依赖于适应随机矩阵理论的结果。我们的主题数恢复程序的性能优于hLDA，一种非参数方法。我们还讨论了我们的研究结果的样本的复杂性和流行的谱学习算法的LDA的准确性的一些影响。我们的结果和过程可以扩展到其他可交换混合模型以及隐马尔可夫模型的谱学习算法。
2014-01-21 stat.ML
