State-by-state Minimax Adaptive Estimation for Nonparametric Hidden Markov Models
在本文中，我们引入了一个新的估计的非参数隐马尔可夫模型的排放密度。它是自适应的和最小最大相对于每个国家的规律性-而不是全球最小最大估计，适应最差的规律性之间的排放密度。我们的方法是基于Goldenshluger和Lepski的方法。它是计算效率，只需要一个家庭的初步估计，没有任何限制的类型的估计考虑。我们提出了两个这样的估计，允许达到极大极小率的对数项：谱估计和最小二乘估计。我们将展示如何在实践中校准它，并评估其性能的模拟和真实数据。
2018-07-16 math.ST stat.TH
Consistent estimation of the filtering and marginal smoothing distributions in nonparametric hidden Markov models
本文研究了非参数有限状态空间隐马尔可夫模型（HMM）中参数未知且用估计量代替时的滤波和光滑递推问题。我们提供了一个明确的和时间一致的控制滤波和平滑误差的全变差范数的函数的参数估计误差。我们证明了滤波和平滑误差的风险可以由估计量的风险一致上界。最近证明了有限状态空间非参数迟滞的统计推断是可能的。我们研究了如何最近的谱方法开发的参数设置可能会扩展到非参数框架，我们给出了明确的上界的L2-风险的非参数谱估计。当观测空间是紧的，这提供了明确的速率的滤波和平滑误差在全变差范数。谱方法的性能进行评估与模拟数据的（非参数）条件分布的观测值和估计的边缘平滑分布的估计。
2015-07-23 math.ST stat.TH
Functional Registration and Local Variations: Identifiability, Rank, and Tuning
我们开发的理论和方法的非参数注册的功能数据，已受到随机变形（翘曲）的时间尺度的问题。为了正确地进行进一步的分析，将这种相位变化（“水平”变化）与幅度变化（“垂直”变化）分离是至关重要的，否则可能会严重失真。我们确定精确的非参数条件下，这两种形式的变化是可识别的。这些表明，可识别性微妙地依赖于潜在的排名。通过几个反例，我们表明，我们的条件是尖锐的，如果一个人希望一个真正的非参数设置，并在这样做，我们警告说，流行的补救措施，如结构假设或粗糙度处罚很容易失败。然后，我们提出了一个非参数注册方法的基础上“局部变化的措施”，在阐明可识别性的主要元素。该方法的一个关键优点是，它是免费的任何调整或惩罚参数调节对齐的量，从而规避了在实践中经常遇到的过度/欠配准的问题。我们提供渐近理论的估计下的可识别的制度，但也根据轻度偏离可识别性，量化的幅度变化的频谱间隙方面的偏差。
2020-08-20 stat.ME
Asymptotics for regression models under loss of identifiability
本文讨论了一般条件下回归模型的渐近性态。首先，我们给出了一个一般的不等式估计回归模型的平方误差和（SSE）的差，理论上最好的回归函数在我们的模型。一组广义导数函数是推导这类不等式的重要工具。在适当的Donsker条件下，给出了SSE差的渐近分布。我们展示了如何得到参数模型的Donsker属性，即使表征最佳回归函数的参数不是唯一的。这一结果适用于神经网络回归模型与冗余隐藏单元时，发生损失的可识别性。
2013-09-16 math.ST stat.TH
Extended Asymptotic Identifiability of Nonparametric Item Response Models
本文扩展非参数项目反应模型类别以涵盖多数参数模型，证明其在长测验下的渐近可识别性，为参数与非参数模型比较及拟合优度评估奠定理论基础。
2023-10-31 math.ST stat.TH
A Robbins Monro algorithm for nonparametric estimation of NAR process with Markov-Switching: consistency
本文考虑马尔可夫切换下的泛函自回归过程的非参数估计。首先，我们研究的情况下，完整的数据是可用的，即当我们观察马尔可夫切换制度。然后，我们估计的回归函数在每个政权使用Nadaraya-Watson型估计。其次，我们介绍了隐马尔可夫切换制度的情况下，非参数递归算法。我们的算法通过Monte-Carlo步骤恢复丢失的数据，并通过Robbins-Monro步骤估计回归函数。在这两种情况下，估计的一致性证明。最后，我们提出了一些模拟数据的数值实验，说明我们的非参数估计过程的性能。
2015-03-17 math.ST stat.TH
Statistical Inference for Oscillation Processes
针对具有特定振荡模式的时间序列提出了一种新的模型。该模型由一个隐藏的阶段过程控制的轮询速度和非参数曲线表征的模式，导致一起到一个广义的状态空间模型。证明了模型的可辨识性，并提出了一种基于粒子平滑器和非参数EM算法的统计推断方法。特别是，振荡模式和不可观测的相位过程的估计。所提出的算法是计算效率和它们的性能进行评估，通过模拟和应用到人体心电图记录。
2016-08-12 math.ST stat.AP stat.TH
Identifiability and estimation of the competing risks model under exclusion restrictions
针对竞争风险模型的不可识别性问题，提出基于排除限制与阿基米德连接函数的可识别性方案，并引入半参数估计方法，模拟验证了其有效性。
2023-09-04 stat.ME
Optimal Adjustment Sets for Nonparametric Estimation of Weighted Controlled Direct Effect
The University of Science and Technology of China（中国科学技术大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Cornell Tech, Cornell University（康奈尔大学康奈尔科技校区）
本文提出非参数估计加权受控直接效应的最优调整集，通过建立可识别条件、影响函数和最优调整集，为复杂因果系统中的直接效应估计提供了系统框架。
2026-02-05 math.ST stat.ME stat.TH
Nonparametric intensity estimation from noisy observations of a Poisson process under unknown error distribution
本文研究了圆形模型中Poisson点过程强度函数的间接观测非参数估计$N_1,\ldots,N_n$。这些观察出现从隐藏的点过程实现与目标强度通过污染与添加剂的错误。在误差分布只能从一个额外的样本$Y_1,\ldots,Y_m$估计的情况下，我们推导出极小极大收敛率相对于样本量$n$和$m$在抽象光滑条件下，并提出了一个正交系列估计，达到最佳的收敛速率。估计器的性能取决于维度参数的正确规范，其最佳选择取决于强度和误差密度的平滑特性。我们提出了一个基于模型选择的数据驱动的维度参数的选择，并表明自适应估计达到最小最大最优速率。
2019-02-17 math.ST stat.TH
Empirical Bayes Estimation and Inference via Smooth Nonparametric Maximum Likelihood
Columbia University（哥伦比亚大学）
针对非参数最大似然估计的离散性和慢对数解卷积率，引入高斯平滑层，提出光滑NPMLE，实现多项式解卷积率、近参数去噪性能及后验一致估计，并构建最优边际覆盖集。
2026-06-11 math.ST stat.ME stat.TH
Volatility Estimation of Hidden Markov Processes and Adaptive Filtration
考虑了观测值中含有低噪声的部分可观测线性随机微分方程系统。核型估计用于估计观测过程极限导数的二次变差。然后将该估计量用于不可观测成分波动率平方积分的非参数估计。该估计器也用于构造替代估计器的情况下，在可观测分量的漂移和波动的状态分量依赖于一些未知的参数。然后，这种替代估计器和费舍尔评分设备允许我们介绍一步MLE过程和自适应卡尔曼-布西滤波器。
2022-11-22 math.ST stat.TH
Parameter identifiability of discrete Bayesian networks with hidden variables
参数的可识别性是统计模型在大多数环境中有用的基本属性。然而，建立隐变量贝叶斯网络的参数可识别性仍然具有挑战性。在有限状态空间的背景下，我们给出了代数参数建立一些特殊的模型上的小DAG的可识别性。我们还建立，对于固定的状态空间，通用的参数识别性只取决于马尔可夫等价类的DAG。为了说明这些结果的使用，我们研究了所有二元贝叶斯网络的可识别性，最多有五个变量，其中之一是隐藏的，所有可观察的父母。令人惊讶的是，其中一些模型的参数化一般是4比1，而不是隐藏状态的标签交换所建议的2比1。这导致了解释因果效应的有趣困难。
2014-06-02 math.ST stat.TH
Consistent nonparametric estimation for heavy-tailed sparse graphs
我们研究了图子作为随机块模型的非参数推广，并展示了如何在这个框架下获得稀疏网络的紧表示估计。我们的算法和分析在几个方面超越了以前的工作。首先，我们放松了生成图子的有界性假设，转而处理任意可积图子，这样我们就可以处理度分布中具有长尾的网络。其次，再次激发现实世界中的应用，我们放松通常的假设，即graphon定义在单位区间，允许潜在的位置图，其中潜在的位置生活在一个更一般的空间，我们表征这些graphon和他们的底层位置空间的可识别性。我们分析了三种算法。首先是一个最小二乘算法，它给出了一个近似，我们证明是一致的所有平方可积的graphons，与最好的随机块模型近似生成graphon方面表示的错误。接下来，我们分析一个基于割范数的推广，它适用于任何可积图子（不一定是平方可积的）。最后，我们表明，基于度的聚类工作时，底层的度分布是无原子的。与前两个算法不同，第三个算法在多项式时间内运行。
2016-02-24 math.PR math.ST stat.TH
Nonparametric estimation of multivariate hidden Markov models using tensor-product B-splines
对于由潜在状态驱动的多变量时间序列，隐马尔可夫模型（HMRM）构成了一个强大的框架，可以灵活地适应手头的情况。然而，在实践中，为多变量观测向量选择适当的发射分布可能具有挑战性。例如，边缘数据分布可能不会立即揭示州内分布形式，而且不同的数据流可能在不同的支持下运行，使得使用多元正态分布的常见方法不充分。在这里，我们探讨了一个非参数估计的排放分布在一个多元HMM的张量积B样条的基础上。在两个模拟研究中，我们展示了我们的建模方法的可行性，并展示了参数分布的不适当选择的潜在陷阱。为了说明其实用性，我们提出了一个案例研究，在该案例中，我们使用HMM对2020年欧洲杯期间守门员传球的长度和角度组成的二元时间序列进行建模，研究比赛动态对球队战术的影响。
2023-02-13 stat.ME
Rate-optimal graphon estimation
网络分析正成为统计学中最活跃的研究领域之一。近年来，网络分析的理论、方法和算法的发展取得了重大进展。然而，对最优估计的基础研究却很少。本文建立了图子估计的最优收敛速度。对于$k$簇的随机块模型，我们证明了在均方误差下的最优速率是$n^{-1}\log k+k^2/n^2$。极大极小上界通过求解二次方程的技巧改进了文献中已有的结果。当$k\leq\sqrt{n\log n}$时，随着集群$k$数量的增长，极大极小化率缓慢增长，仅具有对数阶$n^{-1}\log k$。建立下界的一个关键步骤是构造一个新的参数空间的子集，然后应用Fano引理，从中我们看到了一个明显的区别，从经典的非参数回归，由于缺乏可识别的节点的顺序在可交换的随机图模型的非参数图子估计问题。作为一个直接的应用，我们考虑非参数graphon估计的Hölder类光滑$α$。当光滑$α\geq1$时，最优收敛速度是$n^{-1}\log n$，与$α$无关，而对于$α\in(0,1)$，速度是$n^{-2α/(α+1)}$，令人惊讶的是，这与经典的非参数速度相同。
2015-11-17 math.ST stat.TH
Consistency of the maximum likelihood estimator for general hidden Markov models
考虑一个参数化的一般隐马尔可夫模型族，其中观察到的和未观察到的分量都在一个完全可分的度量空间中取值。我们证明了最大似然估计（MLE）的参数是强一致的，而最小的一组假设。作为主要结果的特例，我们得到了一大类非线性状态空间模型的一致性，以及线性高斯状态空间模型和有限状态模型的一般结果.我们的方法的一个新的方面是一个信息理论的技术证明可识别性，这不需要一个明确的表示相对熵率。因此，我们的证明方法可以为更一般的依赖和非马尔可夫时间序列中MLE一致性的研究奠定基础。本文还对$V$ -一致遍历马尔可夫链的一般集中不等式进行了研究.
2011-03-09 math.ST stat.TH
Nonparametric estimation of the mixing density using polynomials
我们考虑从$n$ i.i.d.估计混合密度$f$的问题。观测值根据混合密度分布，混合分布未知。与有限混合模型相比，这里的隐藏变量的分布不局限于一个有限集，而是分布在一个给定的区间上。提出了一种构造混合密度$f$的包含勒让德多项式的正交级数估计的方法。标准正交序列的构造因混合模型而异。最小最大的上界和下界的平均积分平方误差提供适用于各种情况下。在指数混合的特定情况下，它示出的估计是自适应的特定的平滑类的集合，更准确地说，存在一个常数$A\textgreater{}0$，使得，当为了$m$的投影估计验证$m\sim A \log(n)$，估计达到极大极小率在此集合。其他情况下，如伽玛形状的混合物和规模的混合物的compounds支持的密度，包括Beta混合物进行了研究。最后，给出了混合密度$f$支持度的一致估计.
2015-05-23 math.ST stat.TH
Identifiability of Nonparametric Mixture Models and Bayes Optimal Clustering
出于数据聚类中的问题，我们建立一般条件下，家庭的非参数混合模型是可识别的，通过引入一个新的框架，涉及聚类过拟合\emph{parametric}（即误指定）混合模型。这些可识别性条件概括了文献中的现有条件，并且足够灵活以包括例如高斯混合物的混合物。在最近的文献中估计非参数混合，我们允许一般的非参数混合成分，而不是施加规律性假设的基础混合措施。作为我们的主要应用程序，我们将这些结果应用到基于分区的聚类，将贝叶斯最优分区的概念从经典的基于参数模型的聚类推广到非参数设置。此外，这个框架是建设性的，使它产生一个实用的算法学习识别的混合物，这是通过几个例子说明了真实的数据。在分析中的关键概念设备是凸的，度量几何的概率测度的度量空间和连接到Wasserstein收敛的混合措施。其结果是一个灵活的框架，非参数聚类与正式的一致性保证。
2020-02-18 cs.AI cs.LG math.ST
On the Identifiability of Sparse ICA without Assuming Non-Gaussianity
Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文针对高斯源下的独立成分分析，提出基于二阶统计量和结构变异性假设的可辨识性理论，并给出两种稀疏约束估计方法，实验验证其有效性。
2024-08-19 cs.LG stat.ML
InClass Nets: Independent Classifier Networks for Nonparametric Estimation of Conditional Independence Mixture Models and Unsupervised Classification
University of Florida（佛罗里达大学）
我们引入了一种新的基于机器学习的方法，我们称之为独立分类器网络（InClass网）技术，条件独立混合模型（CIMM）的非参数估计。我们将CIMM的估计视为多类分类问题，因为将数据集划分为不同类别自然会导致混合模型的估计。InClass网络由多个独立的分类器神经网络（NN）组成，每个网络处理CIMM的一个变量。通过使用合适的成本函数同时训练各个NN来执行CIMM对数据的拟合。神经网络逼近任意函数的能力使得我们的技术是非参数的。进一步利用NN的能力，我们允许模型的条件独立变量是单独的高维，这是我们的技术相对于现有的非机器学习方法的主要优势。我们得到了一些新的结果的非参数可识别的二元CIMM的形式的一个必要条件和一个（不同的）充分条件的二元CIMM是可识别的。我们提供了一个名为RainDancesVI的Python包，并通过几个示例验证了我们的InClass网技术。我们的方法在无监督和半监督分类问题中也有应用。
2020-08-31 cs.LG econ.EM hep-ph
Identifiability of parameters in latent structure models with many observed variables
虽然各种类型的隐类模型出现在许多统计应用中，但通常很难确定其参数的可识别性。专注于模型，其中有一些结构的独立性的一些观察到的变量的条件下隐藏的，我们展示了一个一般的方法，建立可识别性利用代数参数。Kruskal关于有限状态空间的简单隐类模型的一个定理是我们结果的核心，尽管我们将它应用于一组不同的模型。这些包括有限和非参数产品分布，隐马尔可夫模型和随机图混合模型的混合物，并导致一些新的结果和改进旧的。在参数设置中，这种方法表明，对于这样的模型，可识别性的经典定义通常太强。相反，泛型可识别性成立，这意味着不可识别参数集的测度为零，因此参数推断仍然有意义。特别是，这揭示了伯努利乘积的有限混合物的性质，尽管已知具有不可识别的参数，但伯努利乘积的有限混合物已经使用了几十年。在非参数设置，我们再次获得可识别性只有当某些限制被放置在混合的分布，但我们明确描述的条件。
2009-09-01 math.ST stat.TH
Nonparametric Identification and Inference for Counterfactual Distributions with Confounding
Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出非参数识别和半参数估计联合潜在分布的方法，通过条件Copula推导边界并引入因果表示学习框架，解决混杂因素问题，提供稳健的因果推断基础。
2026-02-17 stat.ME stat.ML
Regression for partially observed variables and nonparametric quantiles of conditional probabilities
在有偏抽样、截尾或截尾情形下的有效估计是一个困难的问题，它已得到部分解答，而且通常的估计量并不总是相容的。对于含变量$(X,Y)$的模型（其中$Y$为指标，$X$为解释变量）或连续变量$(X,Y)$，考虑了几种有偏设计。讨论了模型的可辨识性。提出了回归函数和条件分位数的新的非参数估计。
2007-10-19 math.ST stat.TH
Posterior consistency for nonparametric hidden Markov models with finite state space
本文研究了有限状态空间隐马尔可夫模型参数在不同拓扑下的后验一致性。首先得到了多个连续观测值的边缘密度函数的弱和强后验相合性。我们推导出后验一致性的参数的不同组件。我们还获得后验一致性的边缘光滑分布在离散的情况下。最后，我们将我们的结果应用到独立的发射概率，翻译的发射概率和离散的障碍，根据各种类型的先验。
2014-07-08 math.ST stat.TH
Identifiability and estimation of meta-elliptical copula generators
亚椭圆Copula常被用来描述随机向量的分量之间的依赖关系。它们由相关阵和映射$g$指定，称为密度生成器。虽然后者的相关阵可以很容易地估计从伪样本的观察，密度发生器是难以估计的，特别是当它不属于一个参数的家庭。我们给出了非参数化识别该生成元的充分条件。几个非参数估计的$g$，然后提出，M-估计，基于模拟的推理，或通过迭代程序中提供的R包ElliptCopulas。一些模拟说明了后一种方法的相关性。
2022-02-14 math.ST stat.TH
Identifiable and interpretable nonparametric factor analysis
针对现有因子模型难以兼顾中等样本拟合、可识别性与灵活性的问题，提出带新型潜变量结构的NIFTY非参数因子分析模型，通过扩散映射预训练、MCMC后处理及均匀软约束实现可识别性，在模拟和鸟鸣数据任务中表现良好。
2025-06-18 stat.ME
Minimax adaptive estimation of nonparametric hidden Markov models
我们考虑有限状态空间的平稳隐马尔可夫模型和发射分布的非参数建模。直到最近，人们才知道这种模式是可以识别的。本文提出了一种新的惩罚最小二乘估计，它是统计上最优的，并且在实际中是易于处理的。我们证明了一个非渐近预言不等式的排放分布的非参数估计。一个结果是，这个新的估计率极小极大自适应对数项。我们的方法是基于预测的排放分布到嵌套的子空间的复杂性不断增加。流行的谱估计无法达到最佳速率，但可以用作我们过程中的初始点。仿真结果表明，当连续应用最小二乘最小化的谱估计得到的改善。
2015-12-27 math.ST stat.TH
Consistent order estimation for nonparametric Hidden Markov Models
考虑了非参数隐马尔可夫模型（HMM）隐状态数（阶数）的估计问题。我们提出了两种不同的方法，并证明了他们的几乎必然一致性没有任何事先假设，无论是在顺序或发射分布。这是第一次证明了一致性的结果，在这样一个一般的设置，而不使用限制性的假设，如先验的上界的顺序或参数限制的排放分布。我们的主要方法依赖于惩罚最小二乘准则的最小化。除了一致的顺序估计，我们还证明了这种方法产生率极小极大自适应估计的参数的HMM -对数因子。我们的第二种方法依赖于估计从两个连续观测值的分布获得的矩阵的秩。最后，数值实验是用来比较这两种方法，并研究他们的能力，选择正确的顺序在几种情况下。
2017-05-18 math.ST stat.TH
Flexible unimodal density estimation in hidden Markov models
本文提出了一种基于形状约束样条理论的方法，通过强制样条系数的单峰性来提高隐马尔可夫模型中状态依赖密度估计的可解释性与稳定性。
2025-11-25 stat.AP stat.ME
Regularization Matters: A Nonparametric Perspective on Overparametrized Neural Network
Purdue University（普渡大学）；Hong Kong University of Science and Technology（香港科技大学）；East China Normal University（华东师范大学）
过参数化的神经网络训练梯度下降（GD）可以证明过拟合任何训练数据。然而，泛化保证可能不适用于噪声数据。从非参数的角度，本文研究如何以及过参数化神经网络可以恢复真实的目标函数在随机噪声的存在。我们建立了一个下界的$L_2$估计误差相对于GD迭代，这是远离零，没有一个微妙的计划提前停止。反过来，通过对$\ell_2$正则化GD轨迹的全面分析，我们证明了对于具有$\ell_2$正则化的过参数化的一个隐藏层ReLU神经网络：（1）输出接近于具有相应神经正切核的核岭回归的输出;（2）可以实现$L_2$估计误差的minimax {最优}率。数值实验证实了我们的理论，并进一步表明，$\ell_2$正则化方法提高了训练的鲁棒性，适用于更广泛的神经网络。
2021-09-25 cs.LG stat.ML
Statistical matching of non-Gaussian data
统计匹配问题是一个具有结构化缺失数据的数据集成问题。一般形式涉及对多个数据集的分析，这些数据集只有一个严格的变量子集，这些变量在所有数据集中联合观察。最简单的版本涉及两个数据集，标记为A和B，具有三个感兴趣的变量$X, Y$和$Z$。在数据集A中观察到变量$X$和$Y$，在数据集$B$中观察到变量$X$和$Z$。由于缺乏联合$(Y, Z)$观察结果，统计推断变得复杂。由于可识别性问题和参数估计的难度，参数建模可能具有挑战性。我们使用合适的数据增强方案和可识别性约束开发了计算上可行的非高斯数据统计匹配程序。最近邻插补是一种常见的替代技术，由于其易于使用和通用性。最近邻匹配是基于一个条件独立的假设，可能不适合非高斯数据。违反条件独立性假设可能导致不适当的归责。我们比较了基于模型的方法，最近邻插补的一些流式细胞术数据集，并发现基于模型的方法可以解决一些非参数最近邻技术的弱点。
2019-03-29 stat.ME
Frontiers to the learning of nonparametric hidden Markov models
本文研究了双状态非参数隐马尔可夫模型在可学习与不可学习之间的边界，通过精确的非渐近非参数分析揭示了数据接近独立同分布时，不同平滑度的密度间存在“借用强度”以改善风险的相互作用。
2025-07-15 math.ST stat.TH
Learning Mixtures of Nonparametric and Convolutional Measures on Effectively Low-dimensional Affine Spaces
Duke University（杜克大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
本文提出了一种有限混合卷积分布模型，用于分析近似分布在低维仿射子空间混合体上的连续数据，探讨了该类模型的可识别性和后验收缩速率，以及在子空间聚类中的应用。
2026-04-19 math.ST stat.TH
Causal inference in partially linear structural equation models
本文研究了带高斯噪声的部分线性加性结构方程模型的可辨识性和分布等价模型的估计。因此，我们还包括高斯分布的邻域中的误差的鲁棒性结果。现有的可辨识性结果的框架下加性SEM与高斯噪声仅限于线性和非线性SEM，可以被认为是特殊情况下的PLSEMs消失的非参数或参数部分，分别。我们缩小了这两种特殊情况之间的巨大差距，通过（A）图形，（B）变换，（C）功能和（D）生成给定分布P的PLSEMs的因果排序特征，提供了PLSEMs可识别性的全面理论。特征（C）和（D）回答了一个基本问题，在加性SEM中，高斯噪声的非线性函数在多大程度上限制了潜在因果模型的集合，从而影响了可识别性。在变换表征（B）的基础上，我们提供了一个基于分数的估计过程，该过程输出给定PLSEM的分布等价类的图形表示（A）。我们推导出其（高维）的一致性，并证明其性能的模拟数据集。
2017-12-14 math.ST stat.TH
On the Computational Complexity of Hidden Markov Model Identification
Ruhr University Bochum（波鸿鲁尔大学）；Radboud University Nijmegen（拉德堡德大学奈梅亨分校）
本文研究隐马尔可夫模型可识别性的计算复杂度，证明相关决策问题可在PSPACE内判定，且确定性变体对简单参数化族是coETR-难的。
2026-10-08 cs.CC cs.LG math.ST
Identification of discrete concentration graph models with one hidden binary variable
在无向图中，一个节点代表一个二进制隐变量的离散变量模型的不同类型的可识别性的条件。这些模型可以被看作是潜在类模型的扩展，以允许可观察的随机变量之间的条件关联。由于局部识别对应于参数化映射的满秩，我们建立了参数化映射在参数空间中处处满秩的充要条件。该条件基于与模型相关联的无向图的拓扑。对于非满秩模型，所得到的特征使我们能够找到参数空间的子集，其中的可识别性故障。
2013-12-11 math.ST stat.ME stat.TH
Adaptive Estimation in Multivariate Response Regression with Hidden Variables
本文研究了隐变量多元回归系数矩阵$\Ttheta$的估计，其中$Y$是$m$维响应向量，$X$是可观测特征的$p$维向量，$Z$表示未观测隐变量的$K$维向量，可能与$X$相关，$E$是独立误差.隐藏变量$K$的数量未知，允许但不要求$m$和$p$随样本量$n$增长。由于只有$Y$和$X$是可观测的，我们为$\Ttheta$的可辨识性提供了必要条件。当误差$E$是同方差时，同样的条件集是充分的。我们的可识别性证明是建设性的，并导致一种新的和计算效率高的估计算法，称为HIVE。该算法的第一步是估计$Y$的最佳线性预测给定$X$，其中未知系数矩阵表现出$\Ttheta$的加性分解和源自$X$和隐变量$Z$之间的相关性的稠密矩阵。在$\Ttheta$上的行稀疏性假设下，我们提出了通过组套索惩罚正则化$\Ttheta$和通过多变量岭惩罚正则化稠密矩阵来最小化惩罚最小二乘损失.建立了样本内预测误差的非渐近偏差界。我们的第二步是通过利用来自第一步的残差向量的协方差结构来估计$B^*$的行空间。在最后一步中，我们通过将$Y$投影到$B^*$的估计行空间的补空间上来消除隐藏变量的影响。我们的最终估计的非渐近误差界的建立。模型的可辨识性，参数估计和统计保证进一步扩展到异方差误差的设置。
2021-02-25 math.ST stat.ME stat.TH
A Bayesian nonparametric approach for generalized Bradley-Terry models in random environment
本文讨论了隐随机变量的未知分布的估计问题。这个问题的灵感来自最近的发展布拉德利-特里模型在随机环境中，因为这个框架恰好是相关的预测，例如，从每个团队的几场比赛的观察冠军的问题。本文提供了三个贡献的贝叶斯非参数方法来解决这个问题。首先，我们建立后验分布的收缩率。我们还提出了一个马尔可夫链蒙特卡罗算法近似采样从这个后验分布启发，最近的贝叶斯非参数方法隐马尔可夫模型。最后，该算法的性能是赞赏通过比较预测的问题上的冠军的实际值的基础上的球队和那些通过抽样从估计的后验分布。
2018-08-24 math.ST stat.ME stat.TH
Consistent estimation of the architecture of multilayer perceptrons
我们考虑回归模型，涉及多层感知器（MLP）与一个隐藏层和高斯噪声。MLP的参数的估计可以通过最大化模型的似然来完成。在这个框架中，它是很难确定的真实数量的隐藏单元使用的信息准则，如贝叶斯信息准则（BIC），因为Fisher的信息矩阵是不可逆的，如果隐藏单元的数量被高估。事实上，信息标准的经典理论证明完全依赖于该矩阵的可逆性。然而，使用最近的方法来处理模型的可识别性损失，我们证明了适当的信息准则导致一致的估计的真实数量的隐藏单元。
2008-02-22 math.ST stat.TH
Unsupervised domain adaptation under hidden confounding
提出一种在隐藏混杂下利用因果参数生成模型实现无监督域适应的方法，无需最坏情况优化，模拟和心血管数据验证优于现有方法。
2025-03-31 math.ST stat.TH
Diverse Dictionary Learning
CMU（卡内基梅隆大学）；MBZUAI（马克斯·普朗克人工智能研究所）；NYU（纽约大学）
本文提出多样字典学习问题，探讨在无法完全辨识的情况下，如何通过集合运算恢复潜在变量的结构，并展示其在合成和真实数据中的有效性。
2026-04-19 cs.LG math.ST stat.ML
Nonparametric ridge estimation
Carnegie Mellon University（卡内基梅隆大学）；Sapienza University of Rome（罗马大学）
研究了密度函数的脊估计问题。岭估计是模式发现的扩展，对于理解密度的结构是有用的。它也可以用来发现点云数据中的隐藏结构。我们表明，在温和的正则性条件下，核密度估计的脊一致估计的真密度的脊。当数据是一个流形的噪声测量，我们表明，脊是关闭和拓扑相似的隐藏流形。为了在实践中找到估计的脊，我们采用Ozertem和Erdogmus [J. Mach.学习. 12（2011）1249-1286]。数值实验验证了算法的正确性。
2014-08-28 cs.LG math.ST stat.ML
Nonparametric Factor Analysis and Beyond
Carnegie Mellon University（卡内基梅隆大学）；International Monetary Fund（国际货币基金组织）；Johns Hopkins University（约翰斯·霍普金斯大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
该研究突破无监督表示学习可辨识性依赖加性独立噪声或无噪声假设的局限，提出非参数含噪场景下潜变量辨识的通用框架，证明相关可辨识性结论，开发对应估计方法并验证有效，可为真实场景潜变量处理提供新思路。
2025-03-21 cs.LG math.ST stat.ML
Flexible clustering via hidden hierarchical Dirichlet priors
贝叶斯推理方法的突出之处在于，它自然地允许跨异质群体借用信息，不同的样本可能共享相同的分布。一个流行的贝叶斯非参数模型聚类概率分布是嵌套狄利克雷过程，然而，它有一个缺点，分组分布在一个单一的集群时，观察到的领带跨样本。为了实现一个灵活和有效的聚类方法的样本和观察的目标，我们调查了一个非参数先验，出现作为两个不同的离散随机结构的组成，并推导出一个封闭形式的表达式的诱导分布的随机分区，基本工具调节模型的聚类行为。一方面，这允许更深入地了解模型的理论特性，另一方面，它产生用于评估感兴趣的贝叶斯推断的MCMC算法。此外，我们挑出这种算法的局限性时，与两个以上的人口，因此，设计一种替代更有效的抽样方案，作为一个副产品，允许测试不同人群之间的同质性。最后，我们进行了比较与嵌套狄利克雷过程，并提供说明性的例子，合成和真实的数据。
2022-01-18 math.ST stat.ME stat.TH
Clustering risk in Non-parametric Hidden Markov and I.I.D. Models
本文深入分析隐马尔可夫与独立同分布模型中的聚类贝叶斯风险，揭示其与分类风险的关系，证明贝叶斯分类器在聚类中近似最优，并利用HMM可辨识性建立非参数设定下聚类超额风险的界限。
2025-05-27 math.ST stat.ML stat.TH
Mixture of hidden Markov models for accelerometer data
出于对加速度计数据的分析，我们引入了一个特定的有限混合的隐马尔可夫模型，具有特殊的特点，很好地适应这种类型的数据的特定性质。我们的模型允许计算表征受试者身体活动的统计数据（\emph{e.g.}，在不同活动水平上花费的平均时间和两个活动水平之间的转换概率），而无需预先指定活动水平，而是通过从数据中估计它们。此外，这种方法允许考虑人群的异质性，并定义具有同质体力活动行为的亚群。我们证明了，在温和的假设下，这个模型意味着错误分类的主题的概率下降的指数衰减与其测量序列的长度。模型的可辨识性也进行了研究。我们还报告了一套全面的数值模拟，以支持我们的理论研究结果。方法的动机和应用到PAT研究。
2020-06-10 math.ST stat.ME stat.TH
Efficient Bayesian estimation and use of cut posterior in semiparametric hidden Markov models
本文研究了具有有限状态空间和非参数发射分布的隐马尔可夫模型的估计问题。给出了转移阵的有效估计，并推导出半参数Bernstein-von Mises结果.在此基础上，我们提出了一个模块化的方法，使用切割后联合估计的转移阵和发射密度。我们推导出这种方法的收缩率的一般定理。然后，我们将展示如何将这一结果可以应用于获得收缩率的结果，在我们的设置中的发射密度，一个关键的中间步骤是一个反演不等式有关$L^1$之间的距离的边缘密度之间的$L^1$距离的排放量。最后给出了平滑概率的压缩结果，避免了常用的样本分裂方法。仿真证明了理论和易于实现。
2023-03-08 math.ST stat.ME stat.TH
