Consistency of permutation tests for HSIC and dHSIC
希尔伯特-施密特独立性准则（HSIC）是两个随机变量之间相关性的一种常用度量。统计dHSIC是HSIC的扩展，可用于测试$d$随机变量的联合独立性。这种（联合）独立性的假设检验通常使用置换检验来完成，该检验将观察到的数据与随机置换的数据集进行比较。这项工作的主要贡献是证明了权力的独立性测试收敛到1的样本量收敛到无穷大。这回答了（Pfister，2018）中提出的一个问题。此外，这项工作证明了HSIC和dHSIC置换检验的正确1型错误率，并为如何选择实践中使用的置换数量提供了指导。虽然正确的第1类错误率已经在（Pfister，2018）中得到了证明，但我们提供了一个修改后的证明（Berrett，2019），该证明扩展到非连续数据的情况。例如，Marozzi（2004年）研究了要使用的排列数，但不是在HSIC的背景下，并且在$p$值的估计值和排列而不是排列向量方面略有差异。虽然最后两点有有限的新颖性，我们包括这些给置换测试的HSIC和dHSIC的上下文中的一个完整的概述。
2020-05-13 math.ST stat.TH
Analysis of Conditional Randomisation and Permutation schemes with application to conditional independence testing
本文分析了条件随机化与条件置换两种重采样方案的渐近性质，证明其概率估计量渐近正态且经验条件互信息分布一致，并验证了置换p值的有效性，为基于重采样和调整自由度卡方分布的条件独立性检验提供了理论依据。
2023-04-12 math.ST stat.TH
Theoretical Grounding for Estimation in Conditional Independence Multivariate Finite Mixture Models
对于条件独立的多元有限混合模型的非参数估计，我们提出了一种新的基于惩罚光滑Kullback-Leibler距离的目标函数的形式.非线性平滑优化最小化（NSMM）算法就是从这个角度推导出来的。利用一种新的投影-乘法算子得到了NSMM算法的一个简洁的表示，发现了算法的一个更精确的单调性，并首次证明了主要最优化问题解的存在性.
2015-10-28 math.ST stat.TH
The conditional permutation test for independence while controlling for confounders
我们提出了一个通用的新方法，条件置换测试，用于测试条件独立的变量$X$和$Y$给定一个潜在的高维随机向量$Z$，可能包含混杂因素。所提出的测试不均匀地置换$X$的条目，以便尊重$X$和$Z$之间的现有依赖性，从而解释这些混杂因素的存在。与Candès等人（2018）的条件随机化检验一样，我们的检验依赖于$X \mid Z$分布近似值的可用性。虽然Candès等人（2018）的测试使用此估计值来绘制新的$X$值，但对于我们的测试，我们使用此近似值来设计真实数据中已经看到的$X$值排列的适当非均匀分布。我们提供了一个有效的马尔可夫链蒙特卡罗采样器的实施我们的方法，并建立在$X\mid Z$的条件分布的近似误差方面的第一类错误的界限，发现，对于最坏的情况下的检验统计量，通货膨胀的第一类错误的条件置换测试是不大于条件随机化测试。我们验证了这些理论结果与模拟数据和Capital Bikeshare数据集上的实验。
2019-05-07 math.ST stat.ME stat.TH
A Permutation-Free Kernel Independence Test
Carnegie Mellon University（卡内基梅隆大学）；Yonsei University（延世大学）
在非参数独立性检验中，我们观察i.i.d.。数据$\{(X_i,Y_i)\}_{i=1}^n$，其中$X \in \mathcal{X}, Y \in \mathcal{Y}$位于任何一般空间中，并且我们希望测试$X$独立于$Y$的空值。现代检验统计量，如核希尔伯特-施密特独立准则（HSIC）和距离协方差（dCov），由于基本U-统计量的退化，具有难以处理的零分布。因此，在实践中，人们经常求助于使用置换检验，它提供了一个非渐近的保证，代价是重新计算二次时间统计量（比如说）几百次。本文提供了一个简单但不平凡的修改HSIC和dCov（称为xHSIC和xdCov，发音为“十字架”HSIC/dCov），使他们有一个有限的高斯分布下的零，因此不需要排列。这需要建立在Kim和Ramdas（2020）新开发的交叉U统计理论的基础上，特别是在Shekhar等人（2022）中开发了该理论的几个非平凡扩展，该理论开发了一个类似的无置换核双样本检验。我们表明，我们的新的测试，像原来的，是一致的对固定的替代品，和最小最大速率最优对光滑的本地替代品。数值模拟表明，与完整的dCov或HSIC相比，我们的变体在高达$\sqrt 2$因子的情况下具有相同的功效，为从业者提供了解决大型问题或数据分析管道的新选择，其中计算（而不是样本量）可能是瓶颈。
2022-12-18 cs.LG math.ST stat.ME
The maximum likelihood degree of mixtures of independence models
最大似然度（ML度）度量统计学中基本最优化问题的代数复杂性：极大似然估计。在这个问题中，一个最大化的似然函数的统计模型。模型的ML度是似然函数的局部极值数目的上界，并且可以表示为欧拉示性数的加权和。众所周知，独立模型（即概率单纯形上的秩为1的矩阵）具有ML度为1，这意味着它们是似然函数的唯一局部最大值。然而，对于独立模型的混合（即概率单纯形上的秩为2的矩阵），ML度如何表现是一个悬而未决的问题。本文利用欧拉示性数证明了第一作者Hauenstein和Sturmfels提出的一个著名猜想，给出了独立混合模型ML度的递归表达式和封闭形式表达式.
2017-02-10 math.AG math.AT math.ST
Learning Mixtures of Permutations: Groups of Pairwise Comparisons and Combinatorial Method of Moments
Georgia Institute of Technology（佐治亚理工学院）；Yale University（耶鲁大学）
在秩聚合等应用中，当总体表现出异质性时，经常使用排列的混合模型。在这项工作中，我们研究了广泛使用的Malows混合模型。在高维设置中，我们提出了一个多项式时间算法，学习Mallow混合的$n$元素的最佳样本的复杂性，是成比例的$\log n$，改进以前的结果，规模与$n$的排列。在高噪声的制度，我们表征的样本复杂性的噪声参数的最佳依赖。这两个目标都是通过首先研究分层置换下的无噪声查询模型使用组的成对比较，这可以被看作是时刻的混合分布，然后将这些结果扩展到嘈杂的Mallow模型通过模拟无噪声的神谕。
2022-03-04 cs.DS cs.LG math.ST
Parametric convergence rate of a non-parametric estimator in multivariate mixtures of power series distributions under conditional independence
本文研究条件独立幂级数分布多元混合的非参数估计，证明极大似然估计的Hellinger距离收敛速率，构建达参数速率的新估计量，提出条件独立性检验方法，经模拟和Vélib数据集验证有效。
2025-09-05 math.ST stat.ME stat.TH
Local permutation tests for conditional independence: an adaptive binning perspective
University of Chicago（芝加哥大学）；Carnegie Mellon University（卡内基梅隆大学）
研究给定混杂因素Z时随机变量X和Y的条件独立检验问题，提出数据自适应分箱扩展LPT，给出任意检验统计量I型错误的有限样本界，证明其功效与最优似然比检验相当，分析线性模型中箱大小影响，表明该策略可行且高效。
2026-07-24 math.ST stat.ME stat.TH
A kernel- and optimal transport- based test of independence between covariates and right-censored lifetimes
我们提出了一个非参数检验的独立性，称为optHSIC，协变量和右删失寿命之间。由于删失的存在在应用标准的基于排列的测试方法时产生了挑战，因此我们使用最优输运将删失数据集转换为未删失数据集，同时保留相关的依赖关系。然后，我们应用一个置换检验使用基于内核的依赖性措施作为一个统计数据的转换数据集。在删失与协变量无关的情况下，证明1型错误是正确的。实验表明，optHSIC有权力对更广泛的一类替代品比Cox比例风险回归，它有正确的1型控制，即使在具有挑战性的情况下，审查强烈依赖于协变量。
2020-11-02 math.ST stat.ML stat.TH
Computational barriers for permutation-based problems, and cumulants of weakly dependent random variables
针对缺乏独立性的排列类问题，提出在弱依赖下界定累积量的新技术，以探测多项式时间算法的统计计算极限，并在多特征匹配和序列化问题中发现差距证据。
2025-07-10 math.ST stat.TH
Convergence Rates for Gaussian Mixtures of Experts
University of Texas（德克萨斯大学）；University of California（加利福尼亚大学）
我们提供了一个理论上的治疗过指定的高斯混合专家与无协变量门控网络。我们建立了这些模型的极大似然估计（MLE）的收敛速度。我们的证明技术是基于一个新的概念\emph{algebraic independence}的专家功能。利用最优输运理论，我们建立了代数独立性和某一类偏微分方程（PDE）之间的联系。利用这一联系，使我们能够获得收敛速度和极小极大下界的参数估计。
2022-03-08 cs.LG math.ST stat.ML
An adaptive independence sampler MCMC algorithm for infinite dimensional Bayesian inferences
Shanghai Jiao Tong University（上海交通大学）
本文提出一种自适应独立采样MCMC算法，用于处理无限维贝叶斯推断问题，通过混合有限个特殊参数化的高斯测度作为建议分布，实现维度无关的高效采样，且在多模态后验分布中表现稳健。
2016-04-10 cs.NA math.NA math.ST
Adaptive Geo-Topological Independence Criterion
Columbia University（哥伦比亚大学）
在有限样本的基础上测试两个潜在的多元变量的统计依赖性是一个根本的统计挑战。在这里，我们探索了一系列测试，这些测试适应变量之间关系的复杂性，有望在各种场景中发挥强大的作用。建立在距离相关性，我们引入了一个家庭的自适应独立性标准的非线性单调变换的距离。我们发现，这些标准，如距离相关性和RKHS为基础的标准，提供依赖指标。我们提出了一类自适应（多阈值）检验统计量，形成置换检验的基础。这些检验在经验上优于一些已建立的检验，在一系列单变量和多变量关系的平均和最坏情况下的统计敏感性，提供了有用的见解的数据，可能值得进一步探索。
2020-10-22 cs.AI cs.LG math.ST
Linear Latent Structure Analysis: Mixture Distribution Models with Linear Constraints
提出了一种分析高维分类数据的新方法--线性潜结构分析。LLS模型属于隐结构模型族，是一种受局部独立性约束的混合分布模型。LLS分析将一类混合分布视为线性空间，通过对混合分布施加线性约束得到LLS模型。LLS模型在适度条件下是可识别的，并且是一致可估计的。LLS分析的一个显著特点是存在高性能的数值算法，它将参数估计简化为一系列线性代数问题。初步的仿真实验表明，该算法的原型模型参数的恢复质量良好。
2005-07-01 math.PR math.ST stat.TH
Efficiency of pattern-based independence test
Institute of Actuarial
本文研究基于模式的独立性检验方法，探讨其效率及一致性，通过理论分析和模拟验证，提出新的检验方法并评估其统计效力。
2026-05-12 math.ST stat.TH
Generalized Identifiability Bounds for Mixture Models with Grouped Samples
Technische Universität Berlin（柏林工业大学）；Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）
最近的工作表明，只要可以访问已知来自相同混合成分的大小为$2m-1$的样本组，具有$m$成分的有限混合模型是可识别的，同时不对混合成分做出任何假设。在这项工作中，我们推广的结果，并表明，如果每个子集的混合模型的$k$混合成分是线性无关的，那么该混合模型是可识别的，每组只有$(2m-1)/(k-1)$样本。我们进一步表明，这个值不能提高。我们证明了一个类似的结果，一个更强的形式的可识别性被称为“determinedness”以及相应的下界。如果从一个$k$维空间中随机选择混合组分，则这种独立性假设几乎肯定成立。我们描述了我们的研究结果多项式混合模型和主题建模的一些影响。
2022-07-22 cs.LG math.ST stat.ML
Consistency of mixture models with a prior on the number of components
本文建立了先验为组分个数的贝叶斯有限混合模型的后验相合性的一般条件。也就是说，当数据是从假设的分量分布族上的有限混合生成时，我们提供了充分条件，在该条件下后验集中在真实参数值的邻近区域。具体来说，我们建立几乎必然的一致性的组件的数量，混合物的权重，和组件的参数，到一个置换的组件标签。这里所采取的方法是基于Doob定理，它具有在非常一般的条件下保持的优点，以及仅在先验下具有概率1的一组参数值处保证一致性的缺点。然而，我们表明，事实上，对于常用的选择之前，这会产生一致性勒贝格-几乎所有的参数值-这是令人满意的最实际的目的。我们的目标是以最大限度地提高清晰度，通用性和易用性的方式制定结果。
2022-05-06 math.ST stat.TH
Rates of Convergence of Maximum Smoothed Log-Likelihood Estimators for Semi-Parametric Multivariate Mixtures
本文首次为半参数有限混合模型中基于平滑对数似然的最大估计量建立了严格理论保证，证明其一致性并推导有限维与无限维参数的收敛速率，弥合了实用算法与统计理论之间的差距。
2025-11-06 math.ST stat.TH
Haussdorff consistency of MLE in folded normal and Gaussian mixtures
本文研究了折叠正态分布和高斯混合模型的豪斯多夫一致性，通过构造性证明和统一大数定律，建立了非标准和标准的估计器一致性，并提供了实用的优化指导。
2026-01-30 math.ST stat.ME stat.TH
