Local independence feature screening for nonparametric and semiparametric models by marginal empirical likelihood
我们考虑一个独立的功能筛选技术,以确定解释变量,本地有助于在高维回归分析的响应变量。在不需要底层数据模型的特定参数形式的情况下,我们的方法可以适应广泛的非参数和半参数模型家族。为了检测解释变量的局部贡献,我们的方法结合边际非参数回归在局部构造经验似然。由于我们的方法实际上不需要估计,因此在单指数模型等情况下是有利的,即使是边际模型的规范和识别也是一个问题。通过自动将非参数回归的变化水平,并直接评估的强度,数据证据支持本地的贡献,从每个解释变量,我们的方法提供了一个独特的视角来解决功能筛选问题。理论分析表明,该方法可以处理数据维数随样本量呈指数增长的情况。通过大量的理论说明和数值例子,我们证明了局部独立筛选方法的有效性。
2016-03-30 math.ST stat.TH
Marginal empirical likelihood and sure independence feature screening
我们研究了边际经验似然方法的情况下,当变量的数量与样本量呈指数增长。边际经验似然比作为感兴趣的参数的函数进行了系统的检查,我们发现,边际经验似然比评估为零,可以用来区分是否解释变量是有助于响应变量或没有。基于这一发现,我们提出了一个统一的线性模型和广义线性模型的特征筛选过程。不同于大多数现有的特征筛选方法,依赖于一些边际估计的幅度来识别真实信号,所提出的筛选方法是能够进一步纳入这样的估计的不确定性的水平。这样的优点继承了经验似然方法的自学生化属性,并扩展了现有特征筛选方法的见解。此外,我们表明,我们的筛选方法是限制较少的分布假设,并可以方便地适用于广泛的场景,如使用一般矩条件指定的模型。我们的理论结果和大量的数值模拟和数据分析的例子证明了边际经验似然方法的优点。
2013-11-06 math.ST stat.TH
Distance Covariance in Metric Spaces: Non-Parametric Independence Testing in Metric Spaces (Master's thesis)
本论文的目的是寻找可分度量空间中非参数独立性问题的一个解决方案。假设我们从一个独立同分布中得到有限的样本集合。成对随机元的序列,其中每个边际在某个可分离的度量空间中具有值。非参数独立性问题提出了一个问题,即如何使用这些样本来合理地推断边缘随机元是否独立。我们将试图回答这个问题,利用所谓的距离协方差泛函在度量空间由罗素里昂开发。我们证明了,如果边缘空间是强负型的所谓度量空间(例如可分的希尔伯特空间),则距离协方差泛函成为独立性的直接指标。也就是说,可以直接确定是否边缘是独立的或不完全基于这个功能的值。由于该泛函形式上以同时分布为自变量,在所提出的非参数独立性问题中,其值是未知的。因此,我们构造的距离协方差函数的估计,并表明它们表现出渐近性质,可用于构建渐近一致的统计独立性检验。最后,由于这些统计检验的拒绝阈值是不可追溯的,我们认为它们可以合理地自举。
2017-06-12 math.PR math.ST stat.TH
Signature Cumulants, Ordered Partitions, and Independence of Stochastic Processes
所谓的特征矩序列描述了许多随机过程的规律,类似于矩序列描述向量值随机变量的规律。然而,即使对于向量值随机变量,累积量序列也比矩序列更适合于许多任务。这促使我们研究所谓的签名累积量。要做到这一点,我们开发了一个基本的组合方法,并表明,以同样的方式,累积量涉及到的分区格,签名累积量涉及到所谓的“有序分区”的格。我们利用这一点给出了多元随机过程独立性的一个新的刻画,最后我们构造了一族特征累积量的无偏最小方差估计。
2020-09-01 math.PR math.ST stat.TH
How far are $d$-dimensional copulas with uniform $(d-1)$-marginals from (total) independence?
University of Ljubljana, School of Economics and Business(卢布尔雅那大学经济与企业学院);Institute of Mathematics, Physics and Mechanics(数学、物理与力学研究所);University of Ljubljana, Faculty of Civil and Geodetic Engineering(卢布尔雅那大学土木与测量工程学院);University of Ljubljana, Faculty of Mathematics and Physics(卢布尔雅那大学数学与物理学院)
该研究针对具有均匀(d-1)维边际的d维copula族,分析其与d维乘积copula在两种度量下的距离,得出该族规模超出预期的结论。
2026-08-20 math.PR math.ST stat.TH
Robust Sure Independence Screening for Non-polynomial dimensional Generalized Linear Models
研究了非多项式阶的超高维广义线性模型的变量筛选问题。由于流行的SIS方法是非常不稳定的污染和噪声的存在下,我们讨论了一个新的强大的筛选过程的基础上的边缘回归系数的最小密度功率发散估计(MDPDE)。我们提出的筛选程序在纯数据和污染数据的情况下表现良好。我们提供了一个理论上的动机使用边际MDPDE变量筛选人口以及样本方面,特别是,我们证明了边际MDPDE是一致的,导致我们提出的算法的一定的筛选性能。最后,我们提出了一个适当的MDPDE为基础的扩展,强大的条件筛选GLM随着其肯定的筛选属性的推导。我们提出的方法说明了通过广泛的数值研究,以及一个有趣的实际数据的应用。
2022-11-12 math.ST stat.ME stat.TH
Nonparametric Independence Screening in Sparse Ultra-High Dimensional Additive Models
Fan和Lv(2008)提出了一种通过相关学习进行变量筛选的方法来降低稀疏超高维模型的维数。即使真实模型是线性的,边际回归也可能是高度非线性的。为了解决这个问题,我们进一步将相关学习扩展到边缘非参数学习。我们的非参数独立性筛选被称为NIS,是确定独立性筛选的一个特定成员。提出了几个密切相关的变量筛选程序。在非参数可加模型下,证明了在一些温和的技术条件下,所提出的独立筛选方法具有一定的筛选性质。在何种程度上可以减少独立筛选的维度也明确量化。作为一种方法的扩展,迭代非参数独立筛选(INIS)也被提出来提高有限样本拟合稀疏可加模型的性能。仿真结果和实际数据分析表明,该方法适用于中等样本量和大维数的情况,性能优于竞争方法。
2011-01-18 math.ST stat.CO stat.ME
Reduced-bias estimation of the residual dependence index with unnamed marginals
本文提出了一类针对残差依赖指数 $η$ 的减偏梯度估计器,通过统一边缘标准化改善阈值选择问题,并验证了其在多元极端事件分布和加纳降雨数据中的有效性。
2025-05-02 math.ST stat.TH
Nonparametric Independence Screening in Sparse Ultra-High Dimensional Varying Coefficient Models
变系数模型是一种重要的非参数统计模型,它允许我们研究协变量的影响如何随暴露变量而变化。当协变量的数量很大时,变量选择的问题就来了。本文提出并研究了用于筛选超高维稀疏变系数模型中变量的边缘非参数筛选方法。建议的非参数独立性筛选(NIS)选择的变量排名的非参数边际贡献的每个协变量给定的暴露变量的措施。当维数为非多项式阶时,在一定的技术条件下,建立了确定的独立筛选性质,并对NIS的降维进行了量化。为了提高算法的实用性和有限样本性能,提出了两种数据驱动的迭代NIS方法:条件置换法和贪婪法,分别得到了条件INIS和贪婪INIS。仿真研究和实际数据应用进一步说明了所提出的方法的有效性和灵活性。
2013-03-03 math.ST stat.TH
Nonparametric independence testing via mutual information
我们提出了一个测试的独立性的两个多变量随机向量,给定的样本从底层人口。我们的方法,我们称之为MINT,是基于互信息的估计,其分解为联合和边际熵,便于使用最近开发的高效熵估计来自最近的邻居距离。建议的临界值,这可能是从模拟(在一个边际是已知的情况下)或restaurant,保证测试具有标称大小,我们提供本地电源分析,均匀的密度类,其互信息满足一个下限。我们的想法可以扩展到提供一个新的拟合优度测试的正常线性模型的基础上评估我们的向量的协变量和一个适当定义的概念的误差向量的独立性。模拟和真实数据的数值研究支持的理论。
2017-11-17 cs.IT math.IT math.ST
A Simple Necessary Condition For Independence of Real-Valued Random Variables
检验两个实值随机变量的独立性的标准方法--证明二元联合分布因子是其边缘的乘积--是必要的和充分的。在这里,我们提出了一个简单的必要条件的基础上的支持集的随机变量,这-如果不满足-避免了需要提取的边缘从联合证明依赖。我们审查,在一个方便的方式,测量理论,拓扑和概率的细节,必要的建立背景的旧的和新的想法在这里。我们证明了我们的结果在离散的情况下(在一个简单的设置出现的基本思想),连续的情况下(出现严重的并发症),并为一般的实值随机变量,我们说明了我们的条件在三个简单的例子中的使用。
2021-11-28 math.PR math.ST stat.AP
A new test procedure of independence in copula models via chi-square-divergence
我们引入了一个新的测试程序的框架下的参数copula未知边缘的独立性。该方法基本上是基于符号有限测度上$χ^2$ -发散的对偶表示。在原假设和备择假设下,研究了参数为内点和非检验统计量在简单极限分布和标准极限分布下的渐近性质.
2011-06-20 math.ST stat.TH
Sure independence screening in generalized linear models with NP-dimensionality
超高维变量选择在当代科学发现和统计研究中发挥着越来越重要的作用。Fan和Lv [J. R. stat. Soc. Ser. B Stat.美沙酮70(2008)849 - 911]提出了通过对边际相关性进行排序的独立筛选框架。他们表明,在具有高斯协变量和响应的线性模型的背景下,相关性排序程序具有一定的独立筛选特性。在本文中,我们提出了一个更一般的版本的独立学习排序的最大边际似然估计或最大边际似然本身在广义线性模型。我们证明了所提出的方法,与Fan和Lv [J. R. stat. Soc. Ser. B Stat.美沙酮70(2008)849 - 911]作为非常特殊的情况,也具有假选择率为零的确定筛选性质。独立学习具有确定筛选的条件出奇地简单。这证明了这种简单方法在宽光谱中的适用性。我们明确量化的程度,可以减少独立筛选,这取决于协变量和真实参数的协方差阵的相互作用的维度。仿真研究被用来说明所提出的方法的效用。此外,我们建立了一个指数不等式的拟极大似然估计,这是有用的高维统计学习。
2012-11-13 math.ST stat.ME stat.ML
A note on the distribution of the partial correlation coefficient with nonparametrically estimated marginal regressions
本文提出一种基于样本偏相关系数并采用非参数边际回归的置换检验,证明其在大样本和小样本下均表现良好,用于条件独立性的非参数检验。
2026-09-15 math.ST stat.TH
Local permutation tests for conditional independence: an adaptive binning perspective
University of Chicago(芝加哥大学);Carnegie Mellon University(卡内基梅隆大学)
研究给定混杂因素Z时随机变量X和Y的条件独立检验问题,提出数据自适应分箱扩展LPT,给出任意检验统计量I型错误的有限样本界,证明其功效与最优似然比检验相当,分析线性模型中箱大小影响,表明该策略可行且高效。
2026-07-24 math.ST stat.ME stat.TH
Asymptotic Supervised Predictive Classifiers under Partition Exchangeability
University of Helsinki(赫尔辛基大学)
研究了监督分类中同时预测分类器和边缘预测分类器在分区交换下的收敛性。结果表明,在无限数量的训练或测试数据下,这些分类器都是渐近收敛的,使得在观测了无数的数据后,这些分类器之间的差异可以忽略不计。这是一个重要的结果,从实践的角度来看,在足够大的数据量的存在下,可以用计算上更昂贵的同时一个取代简单的边缘分类。
2021-01-26 cs.LG math.ST stat.ML
Marginals of multivariate Gibbs distributions with applications in Bayesian species sampling
Gibbs划分模型是推广两参数Poisson-Dirichlet族的概率函数乘积形式的最大一类正整数的无限可交换划分。最近,这些模型已被调查的贝叶斯非参数方法的物种抽样问题的替代品的狄利克雷和Pitman-Yor过程先验。在这里,我们推导出的条件和无条件的多元分布的边际所产生的可交换吉布斯分区,以获得显式的联合下降阶乘矩相应的条件和无条件吉布斯抽样公式。我们的证明依赖于一个已知的非独立指标和的阶乘矩的结果。我们提供了一个应用贝叶斯非参数估计的预测概率,观察一个物种已经观察了一定的次数。
2012-08-09 math.PR math.ST stat.TH
Distance-based and RKHS-based Dependence Metrics in High Dimension
在本文中,我们研究了距离协方差,希尔伯特-施密特协方差(又名希尔伯特-施密特独立性标准[Gretton et al.(2008)])和相关的独立性测试在高维场景下。我们证明了两个随机向量之间的样本距离/Hilbert-Schmidt协方差可以近似为分量方向样本互协方差的平方和,直到一个渐近常数因子,这表明基于距离/Hilbert-Schmidt协方差的检验只能捕获高维线性相关。因此,当两个随机向量非线性相关但分量不相关时,Szekely和Rizzo(2013)开发的基于距离相关的独立性t检验具有平凡的限制能力。这种新的和令人惊讶的现象,这似乎是第一次发现,在我们的模拟研究中得到进一步证实。作为一种补救措施,我们提出了测试的基础上聚集的边际样本距离/希尔伯特-施密特协方差,并显示其优越的权力行为对他们的联合同行在模拟中。我们进一步将基于距离相关的t检验扩展到基于希尔伯特-施密特协方差和边缘距离/希尔伯特-施密特协方差的t检验。提出了一种新的统一的方法来分析零假设和备择假设下的学生化样本距离/Hilbert-Schmidt协方差以及学生化样本边缘距离协方差。我们的理论和模拟结果揭示了距离/希尔伯特-施密特协方差的限制时,联合使用的高维设置,并建议聚合的边缘距离/希尔伯特-施密特协方差作为一个有用的替代。
2019-02-08 math.ST stat.ME stat.TH
On Finite Exchangeability and Conditional Independence
研究了随机向量和随机网络上可交换分布的独立性结构。特别地,我们给出了可交换向量的元素完全独立或完全相依的充要条件。我们还提供了一个充分条件的可交换向量,使其元素是边际独立的。然后,我们将这些结果和条件推广到可交换随机网络。在这种情况下,表明情况更加复杂。我们表明,可交换随机网络的独立结构在于在六个制度,是双重的对偶彼此,表示无向和双向独立图的图形模型意义上的图形是互补的。此外,在某些额外的假设下,我们提供了充要条件的可交换网络分布是忠实于这些图中的每一个。
2020-06-12 math.PR math.ST stat.OT
Probability distributions with summary graph structure
一组独立性语句可以定义联合概率分布族中感兴趣的独立性结构。这种结构通常由一个图来捕捉,该图由表示随机变量的节点和耦合节点对的边组成。一个重要的类包含回归图。回归图是一种所谓的链式图,描述了逐步过程,在每一步中,给定过去的相关解释变量,生成单个或联合响应。对于可能的边缘化或条件化后产生的联合密度,我们引入摘要图。这些图反映了减少变量集的生成过程所隐含的独立性结构,并且在额外的边缘化和条件化之后,它们保留了隐含的独立性。它们可以识别保持不变的生成依赖关系,并对由于直接和间接混杂而可能导致的严重失真发出警报。图的矩阵表示的运算符被用来导出汇总图的这些性质,并将它们转化为图中的特殊类型的路径。
2011-07-14 math.ST stat.ME stat.TH
Conditional Sure Independence Screening
在变量数量巨大的情况下,独立筛选是为“大数据”选择变量的一个有力方法。常用的独立性筛选方法是基于边际相关性或边际相关性的变化,在许多应用中,研究者往往有一些先验知识,即某组变量与响应相关。在这种情况下,对其他预测因子的相对重要性的自然评估是在已知变量集存在的情况下各个预测因子的条件贡献。这导致了条件确定独立筛选(CSIS)。条件反射有助于降低变量选择过程中的假阳性率和假阴性率。本文在广义线性模型的背景下提出并研究了CSIS。对于超高维统计问题,我们给出了确定筛选是可能的条件,并导出了所选变量个数的上界。我们还阐明了CSIS产生模型选择一致性的情况下。此外,我们提供了两种数据驱动的方法来选择条件筛选的阈值参数。该程序的效用说明了模拟研究和分析两个真实的数据集。
2012-10-31 math.ST stat.TH
ExSIS: Extended Sure Independence Screening for Ultrahigh-dimensional Linear Models
在超高维线性模型中,统计推断在计算上是禁止的。基于相关性的变量筛选可以用来克服这一挑战,在这种筛选中,在统计推断之前,利用边际相关性从模型中去除不相关的变量。基于相关性的变量筛选的先前工作要么对线性模型施加统计先验,要么假设特定的筛选后推断方法。本文首先将基于相关性的变量筛选分析扩展到任意线性模型和筛选后推理技术。特别是,(i)它表明,一个条件-被称为筛选条件-是足够的成功的相关性为基础的筛选线性模型,和(ii)它提供了见解的依赖边际相关性为基础的筛选不同的问题参数。数值实验证实,这些见解不仅仅是分析的文物,相反,它们反映了与基于边际相关性的变量筛选相关的挑战。其次,本文明确推导出任意(随机或确定性)线性模型的筛选条件,并在此过程中,它建立了-在适当的条件下-有可能减少一个超高维,任意线性模型的尺寸几乎样本量,即使活动变量的数量几乎与样本量成线性比例。第三,它专门的筛选条件,以亚高斯线性模型和对比的最终结果,现有的文献。这种专业化正式验证了本文的主要结果概括了现有的基于相关性的筛选。
2020-07-04 cs.IT math.IT math.ST
Testing independence and conditional independence in high dimensions via coordinatewise Gaussianization
Southwestern University of Finance and Economics(西南财经大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);The London School of Economics and Political Science(伦敦政治经济学院)
本文提出了一种基于坐标wise高斯化的高维独立性检验方法,无需矩条件且能处理高维数据和任意依赖结构。
2026-01-27 math.ST stat.ME stat.TH
Benford's Law Beyond Independence: Tracking Benford Behavior in Copula Models
本福德定律描述了许多自然发生的数据集和分布中的常见现象,其中数据的前导数字以$d$基$B$的第一个数字为$\log_{B}{\frac{d+1}{d}}$的概率分布。由于它经常成功地检测到医疗试验,投票,科学和金融中的欺诈行为,因此已经做出了重大努力来了解分布何时以及如何表现出本福德行为。以前的大部分工作都局限于自变量的情况下,很少有人知道的情况下,涉及依赖。利用Copula函数研究了$n$相依随机变量乘积的Benford行为.我们开发了一种方法来近似的产品的$n$依赖随机变量建模的Copula分布$C$的Benford行为和量化和限制copula分布的距离Benford行为。然后,我们研究了不同的依赖参数和边缘数下的各种copula的Benford行为。我们的研究表明,收敛到本福德行为看到独立的随机变量的产品中的变量的数量增加时,不一定保存的变量是依赖和copula建模。此外,有强烈的迹象表明,本福德行为的产品的依赖随机变量的保存可能更多地联系到copula的结构比本福德行为的边缘分布。
2017-12-31 math.PR math.ST stat.TH
A new correlation coefficient, its orthogonal decomposition and associated tests of independence
两个实随机变量$X$和$Y$的普通相关系数$ρ$的一个可能的缺点是零相关并不意味着独立。在本文中,我们引入了一个新的相关系数$ρ^*$,它假定值在0和1之间,等于零,如果两个变量是独立的,等于一,如果两个变量是线性相关的。系数$ρ^*$和$ρ^2$被证明是密切相关的代数,它们符合分布在$2\times 2$列联表。我们推导出一个正交分解的$ρ^*$作为一个积极的加权和的平方之间的某些边际特征函数的普通相关。估计$ρ^*$及其组件的相关性和它们的渐近分布进行了讨论,我们开发了可视化的工具,用于评估的性质可能的关联在一个双变量数据集。本文包括考虑等级(等级)版本的$ρ^*$以及使用$ρ^*$进行列联表分析。作为特例,得到了Cram{é} r-vonMises检验在$K$有序样本上的一个新推广.
2006-04-28 math.ST stat.TH
Distance Profile Embedding for Independence and Conditional Independence Testing of Random Objects
The Pennsylvania State University(宾夕法尼亚州立大学)
该研究提出距离剖面嵌入(DPE)方法,构建适配非欧几里得随机对象的独立性与条件独立性检验统一框架,可处理对象值条件变量,避免置换检验高计算负担,经模拟与真实数据验证有效。
2026-08-03 econ.EM math.ST stat.AP
Kernel-based Tests for Joint Independence
我们调查的问题,测试是否$d$随机变量,这可能是或可能不是连续的,共同(或相互)独立。我们的方法建立在两个变量的希尔伯特-施密特独立准则(HSIC)的想法,但允许任意数量的变量。我们将$d$维联合分布和边缘值的乘积嵌入到再生核希尔伯特空间中,并定义$d$变量Hilbert-Schmidt独立准则(dHSIC)为嵌入之间的平方距离.在总体情况下,dHSIC的值为零当且仅当$d$变量联合独立,只要内核是特征的。基于dHSIC的经验估计,我们定义了三种不同的非参数假设检验:置换检验、自举检验和基于Gamma近似的检验。我们证明了置换检验达到了显着性水平,自助检验达到了逐点渐近显着性水平和逐点渐近一致性(即,它能够检测大样本限制中的任何类型的固定依赖性)。Gamma近似没有这些保证;但是,它的计算速度非常快,并且对于小$d$,它在实践中表现良好。最后,我们将测试应用于因果发现中的一个问题。
2016-11-04 math.ST stat.ML stat.TH
MixCIT: A Kernel Based Local-Polynomial Debiased Test for Conditional Independence on Mixed-Type Data
Cornell University(康奈尔大学);University of Chicago(芝加哥大学)
针对异构数据条件独立性检验难题,提出MixCIT方法,通过基于图的检验统计量及局部多项式去偏变体,建立渐近零分布,证明检测阈值,开发高效算法,为混合类型数据的条件独立性检验提供统一、高效且有统计保证的解决方案。
2026-07-15 math.ST stat.ML stat.TH
Structure Learning of Contextual Markov Networks using Marginal Pseudo-likelihood
马尔可夫网络是离散多变量系统的流行模型,其中变量的依赖结构由无向图指定。为了允许更有表现力的依赖结构,已经提出了马尔可夫网络的几种推广。在这里,我们考虑一类上下文马尔可夫网络,它考虑到可能的上下文特定的变量对之间的独立性。上下文马尔可夫网络的结构学习是非常具有挑战性的,由于非常大数量的可能结构。其中一个主要的挑战是设计一个分数,通过这个分数,可以根据与复杂性相关的模型拟合来评估结构,而不需要假设弦性。在这里,我们引入了边际伪似然作为一般上下文马尔可夫网络的分析易处理的标准。我们的标准是产生一个一致的结构估计。实验表明,我们的方法在推断模型的预测精度方面具有良好的性能。
2021-03-29 math.ST stat.ME stat.ML