Minimax Testing of Identity to a Reference Ergodic Markov Chain
post.bgu.ac.il(BGU(可能是Ben-Gurion University of the Negev,具体需结合上下文))
我们展示了一个有效的测试程序,基于一个单一的长状态序列,是否一个未知的马尔可夫链是相同的或$\varepsilon$ -远离一个给定的参考链。我们获得几乎匹配(对数因子)的样本复杂性上限和下限的距离,这是基于总变差的概念。也许令人惊讶的是,我们发现,样本的复杂性只取决于已知的参考链的属性,并不涉及未知的链在所有,这是甚至没有假设遍历。
2019-09-24 cs.LG math.ST stat.ML
Predictive Independence Testing, Predictive Conditional Independence Testing, and Predictive Graphical Modelling
University College London(伦敦大学学院)
检验多变量随机变量的(条件)独立性是统计推断和一般建模的核心任务-尽管不幸的是,迄今为止还不存在可行的工作流程。最先进的工作流程需要启发式或主观的手动选择、高计算复杂性或强参数假设。我们通过建立多元/条件独立性检验和多元预测建模(又称监督学习任务)中的模型比较之间的理论联系来解决这些问题。这个链接允许在广泛研究的监督学习工作流程中的进步直接转移到独立性测试工作流程中-包括自动调整机器学习类型,其解决了启发式选择的需求,定量权衡计算需求与准确性的能力,以及用于检查和接口的现代黑箱哲学。作为两个工作流之间这种联系的实际实现,我们提出了一个python包“pcit”,它实现了我们新颖的多变量和条件独立性测试,与scikit-learn包的监督学习API接口。理论和包还允许基于图形模型结构的学习的直接独立性测试。我们的经验表明,我们提出的预测独立性测试优于或等同于目前的做法,和派生的图形模型结构学习算法渐近恢复的“真”图。这篇文章,以及它附带的“pcit”包,为多元和条件独立性测试以及图形模型结构学习提供了强大的,可扩展的,可推广的和易于使用的方法。
2018-04-28 cs.LG math.ST stat.ME
Minimax optimal goodness-of-fit testing for densities and multinomials under a local differential privacy constraint
Magdeburg University(马格德堡大学)
寻找匿名化机制来保护个人数据是最近机器学习研究的核心。在这里,我们考虑的后果,局部差分隐私约束的拟合优度测试,即评估样本点是否从一个固定的密度$f_0$,或不产生的统计问题。观测值保持隐藏,并由满足局部差分隐私约束的随机变换代替。在这种情况下,我们提出了一个测试程序,这是基于未观察到的样品和$f_0$的密度$f$之间的二次距离的估计。我们建立了一个上界的分离距离与此测试,和匹配的最小最大分离率的测试下的非交互式隐私的情况下,$f_0$是均匀的,在离散和连续的设置。据我们所知,我们提供了第一个极大极小最优测试和相关的私人变换下的局部差分隐私约束Besov球在连续设置,量化的价格支付数据隐私。我们还提出了一个测试,是适应未知密度的平滑参数,并保持最小最大最优的对数因子。最后,我们注意到,我们的结果可以被翻译到离散的情况下,其中的概率向量的治疗被证明是等价的分段常数密度在我们的设置。这就是为什么我们在连续和离散情况下都使用统一的设置。
2021-04-15 cs.LG math.ST stat.ML
Minimax Lower Bounds of Kernel Discrepancy Estimation: MMD, HSIC, KSD
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);London School of Economics(伦敦政治经济学院)
研究核差异估计(MMD、HSIC、KSD)在一般拓扑空间上的极小极大下界,在对核的温和假设下证明其为\(n^{-1/2}\),解决了这些核差异最优估计问题,均值嵌入等估计也有相同速率。
2026-07-28 cs.LG math.ST stat.ML
Data-Driven Representations for Testing Independence: Modeling, Analysis and Connection with Mutual Information Estimation
University of Chile(智利大学)
这项工作解决了测试两个连续的和有限维的随机变量的数据驱动分区的设计的独立性。采用经验对数似然统计量来近似独立性(已知两个假设)的oracle检验的充分统计量。结果表明,近似的充分统计量的Oracle测试提供了一个学习标准,设计一个数据驱动的分区,连接的互信息估计的问题。应用这些想法的上下文中的数据相关的树结构分区(TSP),我们推导出条件的TSP的参数,以实现一个强一致的分布的独立性测试的概率配备了密度的家庭。补充这一结果,我们提出了有限长度的结果,表明我们的TSP计划的能力,以检测的情况下,独立的结构与数据驱动的分区,以及新的采样复杂性界限,这种检测。最后,一些实验分析提供的证据,我们的计划的优势,测试独立性相比,一些战略,不使用数据驱动的表示。
2021-10-27 cs.IT cs.LG math.IT
Minimax Optimal Goodness-of-Fit Testing with Kernel Stein Discrepancy
本文提出基于谱正则化的核 Stein 散度检验,在一般域上实现极小极大最优拟合优度检验,并引入自适应检验,数值实验验证其优于未正则化方法。
2025-01-22 math.ST stat.ML stat.TH
Minimax Nonparametric Two-sample Test under Smoothing
我们考虑两组之间的概率密度比较的问题。提出了一种新的概率张量积光滑样条框架来模拟两个变量的联合密度。在这种框架下,概率密度比较相当于测试相互作用的存在/不存在。我们提出了一种用于此类相互作用检验的惩罚似然比检验,并表明在原假设下检验统计量是渐进卡方分布的。此外,我们得到了一个尖锐的minimax检验率的基础上的伯恩斯坦宽度的非参数两样本检验,并表明我们提出的检验统计量是minimax最优的。此外,一个数据自适应调整标准的发展,以选择惩罚参数。仿真和实际应用表明,所提出的测试优于传统的方法在各种情况下。
2021-01-11 math.ST stat.AP stat.ME
Nonparametric independence testing via mutual information
我们提出了一个测试的独立性的两个多变量随机向量,给定的样本从底层人口。我们的方法,我们称之为MINT,是基于互信息的估计,其分解为联合和边际熵,便于使用最近开发的高效熵估计来自最近的邻居距离。建议的临界值,这可能是从模拟(在一个边际是已知的情况下)或restaurant,保证测试具有标称大小,我们提供本地电源分析,均匀的密度类,其互信息满足一个下限。我们的想法可以扩展到提供一个新的拟合优度测试的正常线性模型的基础上评估我们的向量的协变量和一个适当定义的概念的误差向量的独立性。模拟和真实数据的数值研究支持的理论。
2017-11-17 cs.IT math.IT math.ST
Optimal Prediction-Augmented Algorithms for Testing Independence of Distributions
Rice University(莱斯大学)
本文提出最优预测增强算法,用于高效检验分布独立性,通过自适应减少样本复杂度并匹配最优下界。
2026-03-04 cs.DS cs.LG stat.ML
Meta-Dependence in Conditional Independence Testing
Thayer School of Engineering Dartmouth College(达特茅斯学院工程学院);Schmidt Center Broad Institute of MIT and Harvard(MIT和哈佛大学Broad研究所Schmidt中心);Laboratory for Information and Decision Systems Massachusetts Institute of Technology(信息与决策系统实验室麻省理工学院);Broad Institute of MIT and Harvard(MIT和哈佛大学Broad研究所)
研究条件独立测试中的元依赖性,利用几何直觉,通过矩投影给出易于计算的度量,该度量不依赖分布图形属性,可直接从汇总统计量计算,还展示其在调整显著性阈值和改进因果发现方面的应用。
2026-07-14 cs.IT cs.LG math.IT
Minimax Optimal Two-Sample Testing under Local Differential Privacy
本文在局部差分隐私下提出两样本检验方法,通过隐私排列检验和自适应检验实现最小分离率,平衡隐私与统计效用。
2024-11-22 cs.CR cs.LG stat.ML
Sequential Kernelized Independence Testing
Carnegie Mellon University(卡内基梅隆大学);Amazon Web Services(亚马逊网络服务)
针对批量独立性检验难以适配流式数据、数据窥探后需多重检验校正导致功效低的问题,基于博弈式检验原则设计了序贯核化独立性检验,适配非独立同分布与时变场景,在模拟与真实数据上均验证了其功效。
2025-05-20 cs.LG math.ST stat.ME
From Conditional to Unconditional Independence: Testing Conditional Independence via Transport Maps
Institute of Statistics and Big Data, Renmin University of China(中国人民大学统计与大数据研究院);Department of Data Science and Artificial Intelligence, The Hong Kong Polytechnic University(香港理工大学数据科学与人工智能学院);Department of Applied Mathematics, The Hong Kong Polytechnic University(香港理工大学应用数学系)
本文提出利用两个由条件连续归一化流估计的传输映射,将条件独立性检验转化为无条件独立性检验,并给出渐近有效的统计量与置换显著性评估,实验验证了其有效性。
2025-07-25 cs.LG stat.ME stat.ML
Distance Profile Embedding for Independence and Conditional Independence Testing of Random Objects
The Pennsylvania State University(宾夕法尼亚州立大学)
该研究提出距离剖面嵌入(DPE)方法,构建适配非欧几里得随机对象的独立性与条件独立性检验统一框架,可处理对象值条件变量,避免置换检验高计算负担,经模拟与真实数据验证有效。
2026-08-03 econ.EM math.ST stat.AP
Towards minimax optimal algorithms for Active Simple Hypothesis Testing
Tata Institute of Fundamental Research(塔塔基础研究所)
本文研究主动简单假设检验(ASHT)问题,通过博弈论和偏微分方程提出近似最优算法,并利用Blackwell可达性设计高效算法,在多种实例中达到最优指数。
2025-04-26 cs.LG stat.ML
Conditional independence testing: a predictive perspective
Federal University of São Carlos(圣卡洛斯联邦大学);University of São Paulo(圣保罗大学)
条件独立性测试是许多机器学习和统计工具需要解决的关键问题。特别是,它是评估监督预测问题上某些特征的有用性的一种方法。我们提出了一种新的条件独立性测试的预测设置,并表明它实现了更好的功率比竞争的方法在几个设置。我们的方法包括使用置换测试来导出p值,其中使用未置换数据集的预测能力与使用感兴趣的特征被置换的数据集的预测能力进行比较。我们的结论是,该方法在模拟和真实数据集上取得了合理的结果。
2019-07-31 cs.LG stat.ML
Optimal rates for independence testing via $U$-statistic permutation tests
我们研究了独立同分布对在$σ$ -有限可分测度空间中取值的独立性检验问题。定义一个自然的措施的依赖$D(f)$的平方$L^2$ -距离之间的联合密度$f$和产品的边缘,我们首先表明,没有有效的测试是一致的独立性,对替代品的形式$\{f: D(f) \geq ρ^2 \}$。因此,我们限制注意的替代品,施加额外的Sobolev型平滑约束,并定义一个置换检验的基础上的扩展和$U$ -统计估计的$D(f)$,我们证明是极大极小最优的分离率在许多情况下。最后,对于$[0,1]^2$上的傅立叶基的情况,我们提供了一个近似的幂函数,提供了一些额外的见解。我们的方法在R包USP中实现。
2020-11-06 math.ST stat.ME stat.ML
A Simple Unified Approach to Testing High-Dimensional Conditional Independences for Categorical and Ordinal Data
Radboud University(拉德堡德大学)
本文提出一种简单统一的高维条件独立性检验方法,适用于分类和有序数据,在稠密图模型检验与结构学习中优于现有基线,并兼具易实现、对称性和合理计算成本等优点。
2022-12-22 cs.LG stat.ML
Conditional independence testing under misspecified inductive biases
University of Michigan(密歇根大学)
本文研究基于回归的条件独立性检验在模型归纳偏置错误设定下的表现,提出依赖错误设定误差的检验误差上界,并设计鲁棒的RBPT方法,通过实验验证其有效性。
2023-10-27 cs.LG math.ST stat.ME
Conditional independence testing via weighted partial copulas and nearest neighbors
本文介绍了测试条件独立性的\textit{weighted partial copula}函数。建议的测试程序结果从这两个成分:(i)测试统计量是一个显式的克莱默-冯米塞斯变换的\textit{weighted partial copula},(ii)拒绝的区域计算使用自举程序,它模仿条件独立性的估计条件边际的产品措施产生的样本。在条件独立性下,证明了当边缘估计采用光滑局部线性估计时,\textit{weighted partial copula proces}的弱收敛性.最后,一个实验部分表明,所提出的测试具有竞争力相比,最近的国家的最先进的方法,如基于内核的测试。
2021-02-12 stat.ME stat.ML
Testing Conditional Independence on Discrete Data using Stochastic Complexity
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland University(萨尔兰大学);CISPA Helmholtz Center for Information Security(亥姆霍兹信息安全研究中心CISPA)
条件独立性测试是基于约束的因果发现的核心内容。虽然常用的测试在理论上是完美的,但它们在实践中往往无法拒绝独立性,特别是当以多个变量为条件时。我们专注于离散数据,并提出了一个新的测试算法的独立性,我们使用随机复杂性的概念的基础上。其中,我们表明,我们提出的测试,SCI,是一个渐近无偏以及$L_2$相合估计量的条件互信息(CMI)。此外,我们表明,SCI可以重新制定,以找到一个合理的阈值CMI,以及有限的样本。实证评估表明,SCI具有较低的第二类错误比常用的测试。因此,当我们在因果发现算法中使用SCI时,我们获得了更高的召回率,而不会影响精度。
2019-03-12 cs.LG stat.ML
Conditional Independence Testing via Latent Representation Learning
Applied Artificial Intelligence Institute(应用人工智能研究院);Deakin University(迪肯大学)
检测条件独立性在一些统计和机器学习任务中起着关键作用,特别是在因果发现算法中。在这项研究中,我们介绍了LCIT(基于潜在表征的条件独立性测试)-一种新的非参数的条件独立性测试方法的基础上表示学习。我们的主要贡献包括提出了一个生成框架,在该框架中,为了测试给定Z的X和Y之间的独立性,我们首先学习推断目标变量X和Y的不包含条件变量Z信息的潜在表示。潜变量,然后调查任何显着的剩余的依赖关系,这可以使用传统的偏相关性测试进行。实证评估表明,LCIT在不同的评估指标下始终优于几个最先进的基线,并且能够很好地适应各种合成和真实数据集的非线性和高维设置。
2022-09-04 cs.LG stat.ML
Sequential Predictive Two-Sample and Independence Testing
Carnegie Mellon University(卡内基梅隆大学)
针对核方法在结构化数据序贯两样本与独立性检验中核选择困难的问题,提出基于预测的博弈检验策略,在结构化场景下效果更优且适用于分布漂移的非独立同分布数据。
2023-07-19 cs.LG math.ST stat.ME
Sequential Kernel-based Conditional Independence Testing via Adaptive Betting
Department of Computer Science, University of British Columbia, Vancouver, Canada(不列颠哥伦比亚大学计算机科学系,温哥华,加拿大);Alberta Machine Intelligence Institute, Edmonton, Canada(阿尔伯塔机器智能研究所,爱德蒙顿,加拿大)
提出一种对估计误差更鲁棒的序列条件独立性检验方法,通过自适应优化核条件独立性统计量、归一化及截断平移校准,在合成与真实数据上控制第一类错误并保持高功效。
2026-08-06 cs.LG stat.ME stat.ML
Minimax Optimal Regression over Sobolev Spaces via Laplacian Regularization on Neighborhood Graphs
在本文中,我们研究的统计性质的拉普拉斯平滑,一个基于图形的方法来非参数回归。在标准的正则性条件下,我们建立了拉普拉斯平滑估计$\widehat{f}$的误差上界,以及基于$\widehat{f}$的拟合优度检验。这些上界匹配的极小极大最优估计和测试速度的收敛在一阶Sobolev类$H^1(\mathcal{X})$,为$\mathcal{X}\subseteq \mathbb{R}^d$和$1 \leq d < 4$ ;在估计问题,为$d = 4$,他们是最佳模一个$\log n$因素。此外,我们证明了拉普拉斯平滑是流形自适应的:如果$\mathcal{X} \subseteq \mathbb{R}^d$是一个$m$维流形与$m < d$,那么拉普拉斯平滑的错误率(无论是估计或测试)只取决于$m$,以同样的方式,如果$\mathcal{X}$是一个全维集在$\mathbb{R}^d$。
2021-06-03 math.ST stat.ML stat.TH
Testing for Conditional Mean Independence with Covariates through Martingale Difference Divergence
在统计学中,一个重要的问题是决定回归模型中是否需要附加变量。我们提出了一个新的多元检验来研究给定X条件下Y对某些已知效应Z的条件均值独立性,即,E(Y| X,Z)= E(Y| Z)。假设E(Y| Z)和Z是线性相关的,我们通过变换重新表达了一个等价的条件均值独立性的概念,它在实践中是近似的。我们应用鞅差散度(Shao and Zhang,2014)来度量条件均值依赖性,并证明近似的估计误差可以忽略不计,因为它在某些正则性假设下对检验统计量的渐近分布没有影响。我们的测试的实施是由模拟和金融数据的例子证明。
2018-05-17 math.ST stat.AP stat.CO
The dynamic generalized covariance measure for conditional independence testing with nonstationary time series
Carnegie Mellon University(卡内基梅隆大学);Queen Mary University of London(伦敦大学玛丽女王学院)
本文提出首个适用于非平稳非线性过程单次实现的条件独立性检验框架,通过时变非线性回归等技术解决线性模型难以捕捉非线性动态的问题,为相关领域的随机过程关系识别提供了新工具。
2026-10-22 math.ST stat.ME stat.ML
Sequential Conditional Independence Testing with Machine Learning Models
Université de Toulouse(图卢兹大学);Inria Paris-Saclay(巴黎萨克雷国家信息与自动化研究所);CWI(荷兰数学与计算机科学研究学会);Leiden University(莱顿大学)
该研究针对条件独立性检验问题,解释了直接检验可交换性的e-变量实践功效更高的现象,探索中间零假设以减少误差,并提供适应三重鲁棒性的估计误差界,实现快速收敛。
2026-10-09 math.ST stat.ML stat.TH
Model-X Sequential Testing for Conditional Independence via Testing by Betting
提出了一种无模型条件独立序贯检验方法。这项被提议的测试允许研究人员分析一个输入的i.i.d.。数据流与任何任意依赖结构,并安全地得出结论,是否有条件的功能与研究中的响应相关联。我们允许在数据点到达后立即在线处理数据点,并在检测到重要结果后停止数据采集,严格控制第一类错误率。我们的测试可以与任何复杂的机器学习算法一起工作,以尽可能提高数据效率。所开发的方法的灵感来自两个统计框架。第一种是X模型条件随机化检验,这是一种条件独立性检验,在样本量预先固定的离线设置中有效。第二种是通过打赌进行测试,这是一种用于连续假设检验的“博弈论”方法。我们进行合成实验,以证明我们的测试的优势,开箱即用的顺序测试,占在时间范围内的测试的多样性,并证明我们的建议的实用性,将其应用到现实世界的任务。
2023-02-19 stat.ME stat.ML
Testing Conditional Mean Independence Using Generative Neural Networks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Maryland, College Park(马里兰大学帕克分校);Washington University in St Louis(圣路易斯华盛顿大学)
本文提出一种基于深度生成式神经网络和自举法的条件均值独立性(CMI)检验方法,通过精心构造检验统计量克服非参数估计误差影响,在高维及多元响应场景中表现出色且保持非平凡势。
2025-01-28 cs.LG stat.ML
Membership Testing in Markov Equivalence Classes via Independence Query Oracles
Massachusetts Institute of Technology(麻省理工学院);Broad Institute of MIT and Harvard(麻省理工学院与哈佛大学布罗德研究所)
该研究针对因果图马尔可夫等价类的成员测试问题,提出基于约束的测试方法,证明了测试所需独立性测试数的上下界均为最大团规模的指数级,表明测试比学习更易,还给出几何解释并探讨其对学习的辅助作用。
2024-03-09 cs.AI cs.LG stat.ME
Amortized Conditional Independence Testing
Applied Artificial Intelligence Institute (A2I2), Deakin University(应用人工智能研究所(A2I2),迪肯大学)
提出基于Transformer的ACID网络,通过监督学习在合成数据上训练以摊销条件独立性检验,在合成与真实数据上均达到最先进性能,且推理时间极低。
2025-02-28 cs.LG stat.ML
Local Independence Testing for Point Processes
基于约束的点过程因果结构学习需要局部独立性的经验检验。现有的测试需要强有力的模型假设,例如,真正的数据生成模型是一个霍克斯过程,没有潜在的混杂因素。即使在限制对霍克斯过程的关注时,潜在混杂因素也是一个主要的技术困难,因为边缘化过程通常本身不是霍克斯过程。我们引入了一个类似于Volterra展开的扩展作为一种工具来表示边缘化的强度。我们的主要理论结果是,这样的扩展可以近似的真实边缘强度任意。在此基础上,我们提出了一个测试的局部独立性,并调查其性质在真实和模拟数据。
2021-10-25 stat.ME stat.ML
Independence Testing for Temporal Data
University of Delaware(特拉华大学);Johns Hopkins University(约翰斯·霍普金斯大学);University of Washington(华盛顿大学);Child Mind Institute(儿童心理研究所)
针对时间序列独立性检验中现有方法的局限,提出基于块置换的时间依赖统计量,实现渐近有效且普遍一致的检验,并兼容多种依赖度量。
2024-05-27 cs.LG stat.ME stat.ML
Large-Scale Kernel Methods for Independence Testing
再生核希尔伯特空间中的概率测度表示为独立性的完全非参数假设检验提供了一个灵活的框架,它可以捕获任何类型的独立性偏离,包括非线性关联和多变量相互作用。然而,这些方法在观测的数量上具有至少二次的计算成本,这在许多应用中可能是禁止的。可以说,正是在这种大规模的数据集,捕捉任何类型的依赖是感兴趣的,所以罢工之间的计算效率和测试性能内核独立性测试的有利的权衡将有直接影响其在实践中的适用性。在这方面的贡献,我们提供了一个广泛的研究使用大规模的内核近似的独立性测试,对比基于块,Nystrom和随机傅立叶特征的方法。通过各种合成数据的实验,它表明,我们的新的大规模的方法提供了与现有的方法相当的性能,同时使用显着更少的计算时间和内存。
2016-06-25 stat.CO stat.ML
Differentially Private Conditional Independence Testing
Amazon(亚马逊公司);Carnegie Mellon University(卡内基梅隆大学)
本研究探讨了差分隐私约束下的条件独立性检验,提出了两种基于广义协方差度量和条件随机化检验的私有检验方法,并提供了理论保证与实证验证,适用于连续变量的一般情况。
2024-03-22 cs.CR cs.LG stat.ML
High-Dimensional Independence Testing via Maximum and Average Distance Correlations
Department of Applied Economics and Statistics, University of Delaware(应用经济学与统计学系,德克萨斯大学);Department of Statistics, Operations, and Data Science, Temple University(统计学、运营与数据科学系,泰勒大学)
本文提出基于最大和平均距离相关性的高维多变量独立性非参数检验,给出卡方快速程序,并通过模拟与癌症血浆真实数据验证其性能。
2025-06-10 cs.LG stat.ME stat.ML
Kernel-based Conditional Independence Test and Application in Causal Discovery
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
条件独立性检验是贝叶斯网络学习和因果发现中的一个重要问题。由于维数灾难,连续变量的条件独立性测试特别具有挑战性。本文提出了一种基于核的条件独立性检验(KCI-test),通过构造一个适当的检验统计量,并在条件独立性的零假设下推导出其渐近分布。所提出的方法是计算效率高,易于实现。实验结果表明,该方法优于其他方法,特别是当条件集很大或样本量不是很大时,在这种情况下,其他方法遇到困难。
2012-02-14 cs.LG stat.ML
On the power of conditional independence testing under model-X
为了测试条件独立性(CI)的响应Y和预测因子X给定协变量Z,最近推出的模型X(MX)框架一直是积极的方法研究的主题,特别是在MX仿制品及其成功应用于全基因组关联研究的背景下。在本文中,我们研究了MX CI测试的力量,对机器学习的作用产生了定量的见解,并为在实践中使用基于可能性的统计提供了证据。本文研究了条件随机化检验(CRT),发现它的条件推理模式允许我们将其重新表述为检验一个涉及X的条件分布的点原假设。奈曼-皮尔逊引理则意味着基于似然性的统计量产生最强大的CRT对一个点的替代。我们也得到了相关的最优性结果的MX仿制品。切换到一个渐近框架与任意增长的协变量维数,我们推导出一个表达式的CRT对本地半参数的替代品的预测误差的机器学习算法的预测误差的检验统计量是基于的限制权力。最后,我们展示了一个重采样免费测试与统一的渐近I型差错控制的假设下,只有前两个时刻的X给定Z是已知的,一个显着放松的MX假设。
2022-10-29 math.ST stat.ME stat.ML
Conditional independence testing based on a nearest-neighbor estimator of conditional mutual information
条件独立性检验是因果发现的基础问题,在非线性和高维依赖的情况下是一项特别具有挑战性的任务。本文提出了一种基于条件互信息和局部置换方案的连续数据全非参数检验方法。通过最近邻方法,测试也有效地适应非光滑分布,由于强非线性依赖。数值实验表明,即使对于小样本量和高维条件集,该测试也能可靠地模拟零分布。该测试比基于核的测试更好地校准,利用零分布的分析近似,特别是对于非光滑密度,并达到相同或更高的功率水平。将局部置换方案与核测试相结合导致更好的校准,但在功率方面受到影响。对于较小的样本量和较低的维度,如果排列方案是(并行地)并行化的,则测试比基于随机傅立叶特征的核测试更快,但是运行时间随着样本量和维度而更急剧地增加。因此,需要更多的理论研究来解析地近似零分布,并加快对更大样本量的估计。
2017-09-05 cs.IT math.IT stat.ME
Joint limiting laws for high-dimensional independence tests
测试独立性在大规模推理的许多重要领域都具有重要意义。用极值型统计量检验稀疏方案和用二次型统计量检验稠密方案是高维独立性的两种重要检验方法。然而,二次型统计遭受低功率对稀疏的替代品,和极值形式的统计遭受低功率对密集的替代品与小的干扰,并可能有大小失真,由于其缓慢的收敛。对于现实世界的应用程序,重要的是要针对更一般的替代方案推导出强大的测试程序。基于中间极限分布,我们导出了极值型和二次型统计量的(无模型)联合极限律,并令人惊讶地证明了它们是渐近独立的.鉴于这样的渐近独立性,我们提出(无模型)测试程序,以提高对一般替代品的权力,并保留正确的渐近大小。在高维情形下,我们导出了封闭形式的极限零分布,并得到了它们的明确的一致收敛性。我们证明了他们一贯的统计权力对一般的替代品。我们证明了我们提出的检验统计量在模拟研究的性能。我们的工作为高维独立性检验提供了非常有用的见解,并填补了一个重要的空白。
2015-12-30 math.ST stat.ME stat.ML
Fast Nonparametric Conditional Independence Testing via Two-Stage Regression
Department of Biomedical Informatics, University of Pittsburgh(生物医学信息学系,匹兹堡大学)
提出BLITZ方法,通过两阶段回归(低阶多项式+浅层树)快速消除条件集影响,实现校准良好的非参数条件独立性检验,适用于因果发现。
2026-06-23 cs.LG stat.ME stat.ML
Conditional Independence Testing using Generative Adversarial Networks
University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所);University of California Los Angeles(加州大学洛杉矶分校)
我们考虑检测条件依赖的假设检验问题,重点是高维特征空间。我们的贡献是一个新的检验统计量,基于生成对抗网络的样本,旨在直接近似编码原假设的条件分布,以最大化功率(真阴性率)的方式。我们表明,这样的方法只需要密度近似是可行的,以确保我们控制第一类错误(误报率),特别是,没有假设需要作出的形式的分布或功能依赖。使用合成模拟与高维数据,我们证明了显着的收益,在竞争的方法的权力。此外,我们还说明了使用我们的测试来发现遗传数据中疾病的因果标记。
2019-12-18 cs.LG stat.ML
Minimax Estimation of Bandable Precision Matrices
逆协方差阵为理解多变量设置中的统计模型提供了相当多的见解。特别地,当假设变量的分布为多元正态分布时,逆协方差阵(通常称为精度矩阵)中的稀疏模式对应于高斯-马尔可夫图的邻接矩阵表示,其编码变量之间的条件独立性陈述。谱范数下的极大极小结果以前已经建立了协方差阵,稀疏和带状,稀疏精度矩阵。我们建立了谱范数下带状精度矩阵的极大极小估计界。我们的研究结果大大提高了现有的界限,特别是,我们发现,估计带状精度矩阵的极大极小率估计带状协方差阵相匹配。在我们的分析中,关键的见解是,我们能够获得几乎没有噪声的估计$k \times k$子块的精度矩阵反转略宽块的经验协方差阵沿对角线。我们的理论结果是补充实验证明我们的界限的清晰度。
2017-10-19 stat.ML
Cause-Effect Inference in Location-Scale Noise Models: Maximum Likelihood vs. Independence Testing
Simon Fraser University(西蒙弗雷泽大学)
本文研究位置-尺度噪声模型中的因果方向推断,发现最大似然方法在噪声分布误设时准确率急剧下降,并提出基于残差独立性检验的模型选择方法具有更强鲁棒性。
2023-10-26 cs.LG stat.ML
Two-sample Hypothesis Testing for Inhomogeneous Random Graphs
网络的研究导致了广泛的高维推理问题。在许多实际应用中,人们需要从一个或几个大型稀疏网络中进行推理。本文研究在这个高维制度,其中的目标是测试两个人口的非齐次随机图定义在同一组$n$顶点之间的图的假设检验。每个群体的大小$m$比$n$小得多,甚至可以是小到1的常数。在这种情况下的关键问题是问题是否是小$m$可解的。我们从极大极小检验的角度来回答这个问题。设$P,Q$为两个稀疏非齐次随机图模型的总体邻接,$d$为适当定义的距离函数.给定一个人口的$m$图从每个模型中,我们得到的问题测试$P=Q$对$d(P,Q)>ρ$的极大极小分离率。我们观察到,如果$m$是小的,那么极小极大分离是太大的$d$,包括相应的分布之间的总变异距离的一些流行的选择。这意味着,在$d$中被广泛分离的一些模型不能被区分为小的$m$,因此,在这些情况下,测试问题通常是不可解决的。我们还表明,如果$m>1$,那么极大极小分离是相对较小的,如果$d$是Frobenius范数或运营商范数之间的距离$P$和$Q$。对于$m=1$,只有后一个距离提供小的极大极小分离。因此,对于这些距离,该问题对于小的$m$是可解的。我们还提出了近最佳的两个样本测试在这两种情况下,测试是自适应的稀疏度水平的图形。
2019-07-17 stat.ME stat.ML
Nonparametric Independence Testing for Small Sample Sizes
本文讨论了非参数独立性检验问题,这是一个基本的决策理论问题,它询问两个任意(可能是多变量)随机变量$X,Y$是否独立,这个问题出现在因果关系和神经科学等许多领域。虽然像$X,Y$的相关性这样的量只测试(单变量)线性独立性,但像$X,Y$的互信息这样的自然替代品由于严重的维数灾难而难以估计。最近的方法,避免这两个问题,估计再生核希尔伯特空间(RKHS)中的\textit{operator}的范数。我们的主要贡献是强有力的经验证据表明,通过采用\textit{shrunk}运营商时,样本量是小的,可以实现在低假阳性率的功率的改善。我们分析了Stein收缩对一个流行的检验统计量称为HSIC(希尔伯特-施密特独立准则)的影响。我们的观察提供了见解到最近提出的收缩估计,SCOSE和FCOSE -我们证明SCOSE是(本质上)最佳的线性收缩方法为\textit{estimating}真正的运营商,然而,非线性收缩FCOSE通常实现更大的改善\textit{test power}。这项工作是重要的更强大的非参数检测的微妙的非线性依赖小样本。
2015-09-03 stat.ML
Conditional Independence Testing with Heteroskedastic Data and Applications to Causal Discovery
针对异方差数据,提出改进的偏相关条件独立性检验,结合专家知识,在因果发现中优于标准检验且保持理论一致性。
2023-06-20 stat.ME stat.ML