Asymptotic Properties of Recursive Maximum Likelihood Estimation in Non-Linear State-Space Models
使用随机梯度搜索和最优滤波器导数，可以执行递归（即，在线）非线性状态空间模型中的极大似然估计。由于这种模型的最优滤波器及其导数在解析上是难以处理的，因此需要对它们进行数值近似。在[Poyiadjis，Doucet and Singh，Biometrika 2018]中，提出了一种基于粒子逼近最佳滤波器导数的递归最大似然算法，并通过数值模拟进行了研究。本文对该算法及其渐近行为进行了理论分析。我们表明，该算法准确地估计最大值的基本（平均）的对数似然粒子的数量是足够大时。我们还推导出（相对）紧界的估计误差。所得到的结果保持在（相对）温和的条件下，并涵盖了几类非线性状态空间模型在实践中遇到的。
2021-01-02 math.OC math.ST stat.ML
Identifiability and Inference for Generalized Latent Factor Models
Department of Statistics, University of Michigan（密歇根大学统计系）
针对广义潜在因子模型，在常用可识别性条件下建立了最大似然估计的统计推断理论，并通过数值模拟和人格评估数据集验证。
2026-06-27 stat.ME
Inference for mixtures of symmetric distributions
本文讨论了当混合组分是对称的且来自同一位置族时，有限混合模型的参数估计问题。我们把这些混合物称为半参数，因为除了对称性之外，没有对组分分布的参数形式进行额外的假设。由于对称分布的类是如此广泛，参数的可识别性是在这些混合的主要问题。我们提出了有限混合模型的可辨识性的概念，我们称之为k-可辨识性，其中k表示混合模型中组分的个数。当k=2或3时，给出了对称分量位置混合的k-可识别性的充分条件。本文提出了一种新的基于距离的方法来估计k-可辨识模型中的位置参数和混合参数，并证明了估计量的强相合性和渐近正态性.在L_2-距离的特殊情况下，我们证明了我们的估计推广了Hodges-Lehmann估计.我们讨论了这些程序的数值实现，以及经验估计的组件分布，在两个组件的情况下。与假设正态分量的极大似然估计相比，我们的方法在分量真正态的情况下产生稍高的标准误差估计，但在分量重尾的情况下显著优于正态方法.
2007-08-03 math.ST stat.TH
Heavy-tailed max-linear structural equation models in networks with hidden nodes
针对有向无环图存在隐节点时递归最大线性模型的表示问题，提出充分必要条件及图形算法，并给出检测二元正则变异模型的统计算法，模拟与实例验证有效。
2025-07-09 math.ST stat.ME stat.TH
Bias and Identifiability in the Bounded Confidence Model
CENTAI；Sapienza University（Sapienza大学）；Euler Institute（Euler研究所）
本文研究有界置信模型（BCM）两个关键参数的最大似然估计性质，发现置信界估计量有小样本偏差但一致，收敛速率估计量有持续偏差，且联合估计存在参数空间特定区域的可识别性问题，为意见动力学及基于智能体的模型参数校准提供了分析思路与形式化依据。
2025-06-13 cs.CY cs.LG physics.soc-ph
Parsimonious Compactly Supported Covariance Models in the Gauss Hypergeometric Class: Identifiability, Reparameterizations, and Asymptotic Properties
Universidad Adolfo Ibáñez（阿道夫·伊巴涅斯大学）；Università Ca’ Foscari（威尼斯卡福斯卡里大学）；Universidad del Bío-Bío（比奥比奥大学）；Universidad de Santiago de Chile（智利圣地亚哥大学）；Universidad de Chile（智利大学）
本文研究高斯超几何类协方差函数，推导了有效性条件并展示了模型在固定域渐近中的结构可识别性问题，提出稀疏紧凑支持子类并通过最大积分范围准则解决，并在固定域渐近中建立了最大似然估计的强一致性和渐近正态性。
2026-09-15 stat.ME
Learning Topic Models: Identifiability and Finite-Sample Analysis
Meta Platforms, Inc.（元平台公司）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
主题模型为学习、提取和发现大型文本语料库中的潜在结构提供了一种有用的文本挖掘工具。虽然已经提出了大量的方法为主题建模，缺乏在文献中是一个正式的理论研究的统计识别性和准确性的潜在主题估计。在本文中，我们提出了一个极大似然估计（MLE）的基础上，一个特定的综合可能性，自然连接到的概念，在计算几何，体积最小化的潜在主题。我们的理论引入了一组新的几何条件的主题模型的可识别性，条件是弱于传统的可分性条件，通常依赖于纯主题文档或锚词的存在。较弱的条件允许更广泛的，从而可能更富有成效的调查。我们进行有限样本误差分析，建议的估计，并讨论我们的结果和以前的调查之间的连接。最后，我们采用模拟和真实数据集的实证研究。
2022-08-10 cs.IR cs.LG stat.ME
Identifiability of Homoscedastic Linear Structural Equation Models using Algebraic Matroids
研究同方差误差下允许有环的线性结构方程模型的可识别性，通过比较参数化导出的代数拟阵推导充分条件，展示可识别的含环图子类并猜想强化判据。
2023-08-03 math.CO math.ST stat.TH
Jointly interventional and observational data: estimation of interventional Markov equivalence classes of directed acyclic graphs
在许多应用程序中，我们有观察和（随机）干预数据。我们提出了一个高斯似然框架联合建模的不同的数据类型，基于全球参数组成的有向无圈图（DAG）和相应的边缘权重和误差方差。由于参数的全局性质，极大似然估计是合理的，每个干预只有一个或几个数据点。我们证明了BIC标准的一致性，用于估计干预性的马尔可夫等价类的DAG，这是小于的观测模拟，由于增加部分可识别性的干预数据。这种改进的可识别性直接影响到更严格的界限推断因果关系的影响。除了方法和理论推导，我们提出了实证结果，从真实和模拟数据。
2013-03-13 math.ST stat.ME stat.TH
Convergence Rates of Latent Topic Models Under Relaxed Identifiability Conditions
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们研究了潜在狄利克雷分配的频率论收敛速度（Blei等人，2003）主题模型。我们证明了极大似然估计以$n^{-1/4}$的速率收敛到Wasserstein距离度量中的许多等价参数之一，而无需假设潜在主题的可分性或非退化性和/或每个文档存在超过三个单词，从而从信息理论的角度概括了Anandkumar等人（2012，2014）以前的工作。我们还表明，在最坏的情况下，$n^{-1/4}$的收敛速度是最佳的。
2018-03-17 cs.LG stat.ML
Identifiability and improper solutions in the probabilistic partial least squares regression with unique variance
Yamagata University（山形大学）
本文提出通过规范约束解决概率PLS回归中的不恰当解和不可识别性问题，并通过实验验证其有效性。
2025-12-05 physics.data-an stat.ME
Crowdsourcing via Pairwise Co-occurrences: Identifiability and Algorithms
Oregon State University（俄勒冈州立大学）；University of Minnesota（明尼苏达大学）；University of Florida（佛罗里达大学）
数据泛滥带来了对数据标签的高要求。众包（或更一般地说，集成学习）技术旨在通过集成来自注释者的嘈杂的非专家标签来产生准确的标签。经典的Dawid-Skene估计及其相应的期望最大化（EM）算法已被广泛应用，但其理论性质还不完全清楚。张量方法被提出来保证Dawid-Skene模型的识别，但是样本复杂性是应用这种方法的一个障碍-因为张量方法依赖于三阶统计量的可用性，而三阶统计量在有限的数据下很难可靠地估计。在本文中，我们提出了一个框架，使用成对共现的注释器的响应，这自然承认较低的样本复杂度。我们表明，该方法可以识别Dawid-Skene模型在现实条件下。我们提出了一个代数算法，让人想起凸几何为基础的结构化矩阵分解，以有效地解决模型识别问题，和可识别性增强算法处理更具挑战性和关键的情况。实验结果表明，该算法在多种场景下均优于现有算法。
2019-09-26 cs.LG stat.ML
On near-redundancy and identifiability of parametric hazard regression models under censoring
本文针对右删失下参数危险回归模型的推断困难，提出基于分布距离的检测方法，并证明估计量一致性，通过模拟和实例验证，为实际不可辨识性问题提供解决方案。
2023-05-09 stat.ME
Probabilistic partial least squares model: Identifiability, estimation and application
随着数据集的数量和复杂性的快速增加，需要能够提取有用信息的方法，例如为相同的人测量的两个数据集之间的关系。偏最小二乘（PLS）方法可用于该降维任务。在生命科学领域，对各项研究的结果进行了比较和合并。因此，参数需要是可识别的，这不是PLS的情况。此外，PLS是一种算法，而流行病学研究设计往往是结果依赖性的，分析这些数据的方法需要一个概率公式。此外，概率模型为推断提供了统计框架。为了解决这些问题，我们开发了概率PLS（PPLS）。我们得到的极大似然估计，满足可识别性条件，通过使用期望最大化算法与约束优化的M步骤。我们表明，PPLS参数是可识别的签署。仿真研究进行了研究PPLS的性能相比，现有的方法。PPLS估计在各种情况下都表现良好，即使在高维情况下也是如此。最值得注意的是，这些估计值似乎对偏离正态分布的情况具有鲁棒性。为了说明我们的方法，我们将其应用于来自两个队列的IgG聚糖数据。我们的PPLS模型提供了两个队列的洞察力和可解释的结果。
2018-06-05 stat.ME
Maximum likelihood recursive state estimation in state-space models: A new approach based on statistical analysis of incomplete data
本文回顾了Rauch等人（1965）的工作，并提出了一种新的递归极大似然粒子滤波方法。新方法是基于对系统不完全观测值的统计分析。引入了不完全观测/数据的评分函数和条件观测信息，并讨论了它们的分布性质。导出了不完全数据的得分函数和信息矩阵的一些恒等式。利用评分函数和观测信息矩阵给出了状态向量的极大似然估计。特别是，为了处理非线性状态空间，开发了一种序贯蒙特卡罗方法。它由EM-梯度-粒子滤波递归地给出，该EM-梯度-粒子滤波扩展了Lange（1995）的状态估计工作。为了推导状态估计误差的协方差阵，提出了观测信息矩阵的显式形式。它将Louis（1982）关于同一矩阵的一般公式推广到状态向量估计。在状态转移概率分布的Neumann边界条件下，该矩阵的逆与无偏状态估计器的估计误差的协方差阵的Cramer-Rao下界一致。在线性模型的情况下，该方法表明Kalman滤波器是一种完全有效的状态估计器，其估计误差的协方差阵满足Cramer-Rao下界。最后通过数值算例验证了主要结果。
2022-11-09 cs.IT cs.SY eess.SY
Two Gaussians, Too Many: A bootstrap-based approach to assess identifiability in non-Gaussian structural vector autoregressions
University of Bologna（博洛尼亚大学）
研究非高斯结构向量自回归中识别性问题，提出基于自举法评估条件渐近有效性，通过测量分布差异进行诊断，该方法在多种情况下有效且无预检验偏差，模拟显示其能检测识别失败并保持估计概率覆盖，可验证非高斯识别。
2026-10-15 econ.EM stat.ME
Recursive Maximum Likelihood Estimation for Interacting Particle Systems using Virtual Particles
University College London（伦敦大学学院）；Imperial College London（帝国理工学院）
本文研究了基于单个粒子连续观测的交互粒子系统递归最大似然估计，通过虚拟交互粒子系统和虚拟切线交互粒子系统，提出在连续时间内利用随机梯度估计的方法，证明在粒子数趋于无穷时，算法收敛于均场系统的平稳对数似然。
2026-05-01 math.PR stat.ME stat.ML
Using mixtures in seemingly unrelated linear regression models with non-normal errors
引入了误差分布为有限高斯混合的看似无关的线性回归模型。提供了可识别性条件。导出了分数向量和Hessian矩阵。采用极大似然法进行参数估计，并开发了期望最大化算法。所提出的方法和数值评估其属性的有用性说明通过一个真实的数据集的分析。
2014-03-17 stat.ME
Computing maximum likelihood estimates in recursive linear models with correlated errors
在递归线性模型中，所有变量的多元正态联合分布表现出由线性结构方程的递归（或非循环）系统诱导的相关结构。这些线性模型有着悠久的传统，出现在看似无关的回归、结构方程建模和因果推理方法中。它们还通过称为路径图的经典表示与高斯图形模型相关。尽管这些模式有着悠久的历史，但仍存在一些问题。在本文中，我们解决的问题，计算最大似然估计的子类中的“弓自由”递归线性模型。术语“无弓形”是指如果变量$j$的结构方程中出现变量$i$，则变量$i$和$j$的误差不相关的条件。我们介绍了一种新的算法，称为残差迭代条件拟合（RICF），可以实现仅使用最小二乘计算。与现有算法相比，RICF具有清晰的收敛性，并尽可能以封闭形式找到参数估计。
2008-05-23 math.ST stat.TH
Recursive max-linear models with propagating noise
递归最大线性向量通过结构方程模型对节点变量之间的因果关系进行建模，将每个节点变量表示为有向无圈图（DAG）中其父节点的最大线性函数和一些外生创新。对于这样的模型，存在唯一的最小DAG，由其边权重矩阵的Kleene星矩阵表示，该最小DAG识别模型并且可以被估计。为了更真实的统计建模，我们引入了一些随机的观测噪声。这个新的噪声模型的概率分析表明，唯一的最小DAG代表的非噪声模型的分布保持不变，可识别的。此外，模型参数在其左极限的最小比估计量的分布完全由噪声变量的分布决定，直到一个正的常数。在噪声变量的一个规则的变化条件下，我们证明了估计的Kleene星矩阵收敛到一个矩阵的独立的Weibull条目后，适当的中心和缩放。
2020-02-29 math.ST stat.TH
A survey of max-type recursive distributional equations
在各种应用概率设置的某些问题中（从算法的概率分析到统计物理），核心要求是求解形式为X =^d g（（X_i，X_i），i \geq 1）的递归分布方程。这里给出了（X_i）和g（\cdot），X_i是未知分布X的独立副本。我们调查这一领域，强调的例子，函数g（\cdot）本质上是一个“最大”或"最小“的功能。我们提请注意内生性的理论问题：在相关的递归树过程X_i中，X_i是新息过程（X_i）的可测函数吗？
2005-05-20 math.PR math.ST stat.TH
Recursive estimation of possibly misspecified MA(1) models: Convergence of a general algorithm
本文给出了一种递推算法，它具有一般形式，可方便地估计一阶滑动平均模型的系数，并得到了正确和错误设定的MA（1）模型的收敛结果。该算法包括伪线性回归（PLR--也称为AML和$RML_1$）和递归最大似然法（$RML_2$），无需监视。受Hannan（1980）方法的启发，我们的收敛性结果是间接地通过证明递归序列可以用一个满足较简单（Robbins-Monro）形式的递归的序列来近似而得到的，最近已经得到了适用于我们情况的收敛性结果。
2007-02-26 math.ST stat.TH
