Model-free screening procedure for ultrahigh-dimensional survival data based on Hilbert-Schmidt independence criterion
如何选取对感兴趣事件有显著影响的活动变量是超高维数据统计分析中一个非常重要且有意义的问题。可靠的独立筛选程序已被证明是一种有效的方法,以减少数据的维数从一个大规模到一个相对温和的规模。对于删失生存数据,现有的筛选方法主要采用卡普兰-迈耶估计量来处理删失,对于删失率较高的场景可能效果不佳。在这篇文章中,我们提出了一个无模型筛选程序的基础上希尔伯特-施密特独立准则(HSIC)。该方法避免了从大量协变量中指定实际模型的复杂性。与现有的筛选程序相比,这种新方法有几个优点。首先,它不涉及卡普兰-迈耶估计量,因此它的性能是更强大的情况下,与沉重的删失率。其次,HSIC的经验估计非常简单,因为它只依赖于Gram矩阵乘积的迹。此外,所提出的方法不需要任何复杂的数值优化,因此相应的计算非常简单和快速。最后,采用核方法的所提出的过程实质上更能抵抗离群值。大量的仿真研究表明,所提出的方法具有良好的性能比现有的方法。作为一个例子,我们应用所提出的方法来分析弥漫性大B细胞淋巴瘤(DLBCL)的数据和卵巢癌的数据。
2023-03-27 stat.ME
Kernel-based method for joint independence of functional variables
本文研究了$d$函数随机变量是否联合独立的问题,并利用$d$变量希尔伯特-施密特独立准则($d$ HSIC)的修正估计量,将HSIC推广到$d \geq 2$的情形。在联合独立假设和备择假设下,得到了该估计量的渐近正态性。仿真研究表明,所提出的测试有限样本的良好性能。
2022-08-14 math.ST stat.TH
Nonparametric Independence Testing for Small Sample Sizes
本文讨论了非参数独立性检验问题,这是一个基本的决策理论问题,它询问两个任意(可能是多变量)随机变量$X,Y$是否独立,这个问题出现在因果关系和神经科学等许多领域。虽然像$X,Y$的相关性这样的量只测试(单变量)线性独立性,但像$X,Y$的互信息这样的自然替代品由于严重的维数灾难而难以估计。最近的方法,避免这两个问题,估计再生核希尔伯特空间(RKHS)中的\textit{operator}的范数。我们的主要贡献是强有力的经验证据表明,通过采用\textit{shrunk}运营商时,样本量是小的,可以实现在低假阳性率的功率的改善。我们分析了Stein收缩对一个流行的检验统计量称为HSIC(希尔伯特-施密特独立准则)的影响。我们的观察提供了见解到最近提出的收缩估计,SCOSE和FCOSE -我们证明SCOSE是(本质上)最佳的线性收缩方法为\textit{estimating}真正的运营商,然而,非线性收缩FCOSE通常实现更大的改善\textit{test power}。这项工作是重要的更强大的非参数检测的微妙的非线性依赖小样本。
2015-09-03 stat.ML
The Minimax Rate of HSIC Estimation for Translation-Invariant Kernels
Institute for Program Structures and Data Organization(程序结构与数据组织研究所);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Department of Statistics(统计系);London School of Economics(伦敦政治经济学院)
本文研究了HSIC估计的极小化极大速率,证明了在$\mathbb R^d$上包含高斯分布的Borel测度和连续有界平移不变特征核下,该速率为$\mathcal O(n^{-1/2})$,并证实了常用估计器的最优性。
2024-10-14 cs.IT cs.LG math.IT
Robust Learning with the Hilbert-Schmidt Independence Criterion
Technion Institute of Technology(以色列理工学院)
我们研究了使用非参数独立性度量,希尔伯特-施密特独立性准则(HSIC),作为学习鲁棒回归和分类模型的损失函数。这种损失函数鼓励学习模型,其中标签和模型预测之间的残差分布在统计上独立于实例本身的分布。这个损失函数最早是由Mooij等人(2009)在学习因果图的背景下提出的。我们使其适应于无监督协变量偏移的学习任务:在源域上学习,而不访问来自未知目标域的任何实例或标签,但假设$p(y|x)$(给定实例的标签的条件概率)在目标域中保持不变。我们表明,拟议的损失预计会产生的模型,概括以及一类目标域的特征在于其描述的复杂性内的再生核希尔伯特空间。在无监督协变量偏移任务上的实验表明,使用所提出的损失函数学习的模型优于使用标准损失函数学习的模型,在具有挑战性的细胞显微镜无监督协变量偏移任务上实现了最先进的结果。
2020-07-11 cs.LG stat.ML
A Permutation-Free Kernel Independence Test
Carnegie Mellon University(卡内基梅隆大学);Yonsei University(延世大学)
在非参数独立性检验中,我们观察i.i.d.。数据$\{(X_i,Y_i)\}_{i=1}^n$,其中$X \in \mathcal{X}, Y \in \mathcal{Y}$位于任何一般空间中,并且我们希望测试$X$独立于$Y$的空值。现代检验统计量,如核希尔伯特-施密特独立准则(HSIC)和距离协方差(dCov),由于基本U-统计量的退化,具有难以处理的零分布。因此,在实践中,人们经常求助于使用置换检验,它提供了一个非渐近的保证,代价是重新计算二次时间统计量(比如说)几百次。本文提供了一个简单但不平凡的修改HSIC和dCov(称为xHSIC和xdCov,发音为“十字架”HSIC/dCov),使他们有一个有限的高斯分布下的零,因此不需要排列。这需要建立在Kim和Ramdas(2020)新开发的交叉U统计理论的基础上,特别是在Shekhar等人(2022)中开发了该理论的几个非平凡扩展,该理论开发了一个类似的无置换核双样本检验。我们表明,我们的新的测试,像原来的,是一致的对固定的替代品,和最小最大速率最优对光滑的本地替代品。数值模拟表明,与完整的dCov或HSIC相比,我们的变体在高达$\sqrt 2$因子的情况下具有相同的功效,为从业者提供了解决大型问题或数据分析管道的新选择,其中计算(而不是样本量)可能是瓶颈。
2022-12-18 cs.LG math.ST stat.ME
Adaptive Geo-Topological Independence Criterion
Columbia University(哥伦比亚大学)
在有限样本的基础上测试两个潜在的多元变量的统计依赖性是一个根本的统计挑战。在这里,我们探索了一系列测试,这些测试适应变量之间关系的复杂性,有望在各种场景中发挥强大的作用。建立在距离相关性,我们引入了一个家庭的自适应独立性标准的非线性单调变换的距离。我们发现,这些标准,如距离相关性和RKHS为基础的标准,提供依赖指标。我们提出了一类自适应(多阈值)检验统计量,形成置换检验的基础。这些检验在经验上优于一些已建立的检验,在一系列单变量和多变量关系的平均和最坏情况下的统计敏感性,提供了有用的见解的数据,可能值得进一步探索。
2020-10-22 cs.AI cs.LG math.ST
Minimax Lower Bounds of Kernel Discrepancy Estimation: MMD, HSIC, KSD
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);London School of Economics(伦敦政治经济学院)
研究核差异估计(MMD、HSIC、KSD)在一般拓扑空间上的极小极大下界,在对核的温和假设下证明其为\(n^{-1/2}\),解决了这些核差异最优估计问题,均值嵌入等估计也有相同速率。
2026-07-28 cs.LG math.ST stat.ML
A fast and accurate kernel-based independence test with applications to high-dimensional and functional data
检验两个随机变量之间的相关性是统计学中的一个重要推断问题,因为许多统计过程依赖于两个样本独立的假设。为了测试两个样本是否独立,已经提出了所谓的基于HSIC(希尔伯特-施密特独立性准则)的测试。它的零分布近似置换或伽玛近似。本文提出了一种新的基于HSIC的测试方法。建立了它的渐近零分布和交替分布。结果表明,该测试是root-n一致的。采用三累积量匹配卡方逼近来逼近检验统计量的零分布。通过选择合适的再生核,该方法可以应用于多种不同类型的数据,包括多元、高维和函数型数据。三个模拟研究和两个实际数据的应用表明,在水平精度,功率和计算成本方面,所提出的测试优于现有的多变量,高维和功能性数据的测试。
2023-01-03 math.ST stat.ME stat.TH
On the Limitation of Kernel Dependence Maximization for Feature Selection
Northwestern University(西北大学)
本文通过反例证明以最大化HSIC为准则的特征选择方法存在缺陷,可能遗漏关键特征。
2024-06-11 cs.LG math.ST stat.ML
High-Performance FPGA Implementation of Equivariant Adaptive Separation via Independence Algorithm for Independent Component Analysis
University of Southern California(南加州大学)
独立分量分析(ICA)是一种降维技术,可以提高处理概率密度函数的机器学习模型(例如贝叶斯神经网络)的效率。实现自适应ICA的算法比非自适应ICA收敛得慢,但是,它们能够跟踪输入特征的底层分布的变化。自适应方法的这种固有的缓慢收敛与在非常低的时钟频率下操作的现有硬件实现相结合,需要在算法和硬件设计方面进行根本性的改进。本文提出了一种算法,允许有效的ICA的硬件实现。与以前的工作相比,我们的自适应ICA的FPGA实现提高了至少一个数量级的时钟频率和吞吐量至少两个数量级。我们提出的算法不限于ICA,可以用于各种机器学习问题,使用随机梯度下降优化。
2017-07-06 cs.LG stat.ML
Learning Kernels for Structured Prediction using Polynomial Kernel Transformations
Rutgers University(罗格斯大学)
学习核方法中使用的核函数一直是机器学习中广泛探索的领域。现在人们普遍认为,要获得“好”的性能,学习核函数是关键的挑战。在这项工作中,我们专注于学习结构化回归的内核表示。我们建议使用多项式展开的内核,被称为勋伯格变换和Gegenbaur变换,这是从勋伯格(1938年)的开创性成果。这些核可以被认为是高维再生核希尔伯特空间(RKHS)中输入特征的多项式组合。我们通过结构化数据的输入和输出来学习内核,从而最大化内核特征之间的依赖性。我们使用Hilbert-Schmidt独立准则(HSIC)来衡量这一点。我们还给出了一个有效的,基于矩阵分解的算法来学习这些内核转换,并在几个真实世界的数据集上展示了最先进的结果。
2016-01-07 cs.LG stat.ML
Equivalence of Kernel Machine Regression and Kernel Distance Covariance for Multidimensional Trait Association Studies
将遗传标记与多维表型相关联是一个重要但具有挑战性的问题。在这项工作中,我们建立了两个流行的方法:核机器回归(KMR)和核距离协方差(KDC)之间的等价性。KMR是一个半参数回归框架,它对协变量效应进行参数化建模,而遗传标记被视为非参数化。KDC代表一类方法,包括距离协方差(DC)和希尔伯特-施密特独立性准则(HSIC),它们是独立性的非参数检验。在一定条件下,我们证明了KMR的得分检验与KDC统计量之间的等价性。这一结果导致一个新的概括的KDC测试,结合了协变量。我们的贡献有三个方面:(1)建立KMR和KDC之间的等价性;(2)表明核机器回归的原理可以应用于对KDC的解释;(3)发展了一个更广泛的KDC统计类,其成员是不同核的数量。我们证明了使用模拟研究的建议。来自阿尔茨海默病神经影像学倡议(ADNI)的数据用于探索基因\emph{FLJ16124}上的遗传变异与根据年龄和性别调整的3D结构脑MR图像中所代表的表型之间的关联。结果表明,\emph{FLJ16124}的SNPs表现出强烈的成对相互作用效应,与脑区体积的变化相关。
2014-04-02 stat.ME stat.ML
Kernel Dependence Regularizers and Gaussian Processes with Applications to Algorithmic Fairness
University of Oxford(牛津大学);Universitat de València(瓦伦西亚大学)
目前机器学习在工业、社会和经济活动中的采用引起了人们对自动化决策的公平、公正和道德的担忧。预测模型通常是使用有偏差的数据集开发的,因此在决策和建议中保留甚至加剧了偏见。删除敏感协变量(如性别或种族)不足以解决此问题,因为偏倚可能因其他相关协变量而保留。我们提出了一种正则化方法来解决这个问题,该方法权衡了学习模型的预测准确性(相对于有偏见的标签),以获得统计奇偶性方面的公平性,即决策与敏感协变量的独立性。特别是,我们考虑再生核希尔伯特空间的正则化经验风险最小化的一般框架,并施加一个额外的正则化的预测变量和敏感的协变量之间的依赖性,使用基于核的依赖性的措施,即希尔伯特-施密特独立准则(HSIC)及其规范化版本。这种方法导致平方损失情况下的封闭形式的解决方案,即岭回归。此外,我们表明,依赖正则化修改相应的高斯过程(GP)前有一个解释。因此,可以导出具有鼓励对敏感变量公平的先验的GP模型,允许有原则的超参数选择和在公平约束下研究协变量的相对相关性。在合成的例子和收入和犯罪预测的实际问题的实验结果说明了这种方法,以提高自动化决策的公平性的潜力。
2019-11-11 cs.LG stat.ML
Efficient Aggregated Kernel Tests using Incomplete $U$-statistics
Centre for Artificial Intelligence(人工智能中心);Gatsby Computational Neuroscience Unit(盖茨比计算神经科学研究组);University College London(伦敦大学学院);Inria London(法国国家信息与自动化研究所伦敦分部);Yonsei University(延世大学)
我们提出了一系列计算效率高的非参数检验的两个样本,独立性和拟合优度的问题,分别使用最大均值离散(MMD),希尔伯特施密特独立准则(HSIC),核斯坦离散(KSD)。我们的检验统计量是不完全的$U$ -统计量,与经典的$U$ -统计量测试相关的计算成本,在样本数的线性时间和二次时间之间插值。这三个建议的测试聚合在几个内核带宽检测偏离空在各种规模上:我们呼吁由此产生的测试MMDAggInc,HSICAggInc和KSDAggInc。这个过程提供了一个解决方案的基本内核选择问题,因为我们可以聚合大量的内核与几个带宽,而不会导致显着损失的测试功率。对于测试阈值,我们推导出一个分位数界野生自举不完全$U$统计,这是独立的利益。我们推导出非渐近均匀分离率MMDAggInc和HSICAAggInc,并精确量化计算效率和可达到的速率之间的权衡:这一结果是新的不完整的$U$统计的基础上进行测试,据我们所知。我们进一步表明,在二次时间的情况下,野生引导不会招致惩罚,以测试功率更广泛的基于置换的方法,因为两者都达到相同的最小最大最优速率(这反过来又匹配的速率,使用甲骨文分位数)。我们支持我们的主张与数值实验之间的权衡计算效率和测试功率。在所有三个测试框架中,我们提出的测试的线性时间版本至少执行以及当前的线性时间最先进的测试。
2023-01-26 cs.LG math.ST stat.ME
New improvements in the use of dependence measures for sensitivity analysis and screening
物理现象通常由数值模拟器模拟。这种代码可以作为输入大量的不确定性参数,它是重要的,以确定它们的影响,通过一个整体的敏感性分析(GSA)。然而,这些代码可能是耗时的,这阻止了基于经典Sobol指数的GSA,需要太多的模拟。由于输入的数量非常重要,因此这一点尤其重要。为了解决这个问题,我们考虑了最近的进展,依赖措施,专注于距离相关性和希尔伯特-施密特独立准则(HSIC)。我们的目标是研究这些指标,并将其用于筛选目的。数值试验揭示了相关性测度与经典Sobol指数之间的一些差异,并初步回答了“什么样的敏感性指数对什么样的情况?””是衍生的。然后,提出了两种方法来使用的依赖措施的筛选目的。第一个直接使用这些指数与独立性测试;渐近测试和他们的频谱扩展存在,并详细说明。为了在小样本情况下获得更高的精度,我们提出了一种基于自举抽样的非渐近版本。第二种方法是基于关联两个模拟的线性模型,其将它们的输出差异解释为它们的输入差异的加权和。由此,提出了一种自举方法来选择有影响的输入。我们还提出了一个启发式的方法来校准的HSIC Lasso方法。数值实验进行,并显示这些方法的筛选时,许多输入是没有影响力的潜力。
2014-12-03 math.ST stat.ME stat.TH
Kernel-based Tests for Joint Independence
我们调查的问题,测试是否$d$随机变量,这可能是或可能不是连续的,共同(或相互)独立。我们的方法建立在两个变量的希尔伯特-施密特独立准则(HSIC)的想法,但允许任意数量的变量。我们将$d$维联合分布和边缘值的乘积嵌入到再生核希尔伯特空间中,并定义$d$变量Hilbert-Schmidt独立准则(dHSIC)为嵌入之间的平方距离.在总体情况下,dHSIC的值为零当且仅当$d$变量联合独立,只要内核是特征的。基于dHSIC的经验估计,我们定义了三种不同的非参数假设检验:置换检验、自举检验和基于Gamma近似的检验。我们证明了置换检验达到了显着性水平,自助检验达到了逐点渐近显着性水平和逐点渐近一致性(即,它能够检测大样本限制中的任何类型的固定依赖性)。Gamma近似没有这些保证;但是,它的计算速度非常快,并且对于小$d$,它在实践中表现良好。最后,我们将测试应用于因果发现中的一个问题。
2016-11-04 math.ST stat.ML stat.TH
Dependence and dependence structures: estimation and visualization using the unifying concept of distance multivariance
距离多变量是一种多变量相关性度量,它可以检测任意数量的随机向量之间的相关性,每个随机向量可以具有不同的维度。在这里,我们讨论了几个新的方面,提出了一个简洁的概述,并使用它作为基础上的几个新的结果和概念:特别是,我们表明,距离多变量统一(和扩展)距离协方差和希尔伯特-施密特独立准则HSIC,此外还经典的线性相关措施:协方差,皮尔逊相关性和RV系数出现的限制情况。基于距离多变量定义了几个新的措施:一个多相关,它满足一个自然集的多元相关性测量公理和$m$ -多变量,这是一个依赖措施产生测试成对独立性和独立性的高阶。这些测试在计算上是可行的,并且在非常温和的力矩条件下,它们与所有备选方案一致。此外,提出了一个一般的可视化方案,高阶依赖关系,包括一致的估计(基于距离多变量)的依赖结构。提供了许多说明性的例子。在应用程序中使用距离多变量的所有函数都发布在R软件包“多变量”中。
2019-08-06 math.PR math.ST stat.ME
The Power of Adaptivity in SGD: Self-Tuning Step Sizes with Unbounded Gradients and Affine Variance
University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们研究AdaGrad-Norm的收敛速度作为自适应随机梯度方法(SGD)的一个范例,其中步长根据观察到的随机梯度变化,以最小化非凸,光滑的目标。尽管他们的流行,自适应SGD的分析落后于非自适应方法在这种情况下。具体地说,所有先前的工作都依赖于以下假设的某个子集:(i)均匀有界的梯度范数,(ii)均匀有界的随机梯度方差(甚至噪声支持),(iii)步长和随机梯度之间的条件独立性。在这项工作中,我们表明,AdaGrad-Norm表现出$\mathcal{O}\left(\frac{\mathrm{poly}\log(T)}{\sqrt{T}}\right)$阶最优收敛速度的$T$迭代后,最优调谐非自适应SGD(无界梯度范数和仿射噪声方差缩放)相同的假设下,关键的是,不需要任何调整参数。因此,我们建立自适应梯度方法表现出更广泛的制度比以前理解的顺序最优收敛。
2022-07-25 cs.LG math.OC stat.ML
An adaptive step-down procedure with proven FDR control under independence
在这项工作中,我们研究了一个自适应步下测试$m$假设的过程。它源于重复使用错误发现率来控制线性升压过程(有时称为BH),并利用临界常数$iq/[(m+1-i(1-q)]$、$i=1,...,m$。出于其成功的模型选择过程,以及其渐近最优性,我们感兴趣的是它的错误发现率(FDR)控制性能的有限数量的假设。我们证明了这种逐步下降的程序控制FDR在$q$水平的独立检验统计量。然后,我们数值比较它与其他两个程序证明FDR控制下的独立性,无论是在独立和FDR控制下的正相关的权力。
2009-03-31 math.ST stat.TH
Adaptive FDR control under independence and dependence
在多假设检验的背景下,真实零假设在待检验的假设池中的比例$π_0$通常起着至关重要的作用,尽管它通常是先验未知的。为了提高效率而使用该量的隐式或显式估计的测试过程称为自适应。在本文中,我们专注于错误发现率(FDR)的控制问题,我们提出了新的自适应多测试程序与FDR的控制。首先,在假设独立的$p$值的情况下,我们提出了两个新的程序,并给出了一个统一的审查其他现有的自适应程序,已证明控制FDR。我们报告了大量的模拟结果比较这些程序和测试其鲁棒性时,违反独立性假设。拟议的新程序似乎与现有程序具有竞争力。不过,据报道,总体上最好的是Storey的估计量,但参数设置似乎以前没有考虑过。其次,我们提出了自适应版本的升压程序,证明控制FDR下的正依赖和未指定的依赖的$p$值,分别。虽然模拟只显示了在有限的情况下,非自适应程序的改进,这些是我们的知识,在第一个理论上成立的自适应多个测试程序,控制FDR时,$p$值是不独立的。
2009-02-17 math.ST stat.TH
Pointwise adaptive estimation of a multivariate density under independence hypothesis
本文研究了多元密度的逐点估计问题。我们提供了一个数据驱动的选择规则,从家庭的核估计,并推导出一个逐点预言不等式。使用后者的界限,我们表明,该估计是极大极小和极大极小自适应各向异性的Nikolskii类的规模。需要强调的是,我们的估计方法会自动调整到底层密度的最终独立结构。这反过来又允许显著降低维度对估计精度的影响(维度灾难)。在我们的考虑中使用的主要技术工具是最近在Lepski [数学。22(2013)83-99]。
2015-09-18 math.ST stat.TH
An adaptive independence sampler MCMC algorithm for infinite dimensional Bayesian inferences
Shanghai Jiao Tong University(上海交通大学)
本文提出一种自适应独立采样MCMC算法,用于处理无限维贝叶斯推断问题,通过混合有限个特殊参数化的高斯测度作为建议分布,实现维度无关的高效采样,且在多模态后验分布中表现稳健。
2016-04-10 cs.NA math.NA math.ST
Asymptotic properties of false discovery rate controlling procedures under independence
我们研究了一个家庭的多个比较程序的性能强控制的错误发现率($\mathsf{FDR}$)。$\mathsf{FDR}$是预期的错误发现比例($\mathsf{FDP}$),即所有被拒绝假设中错误拒绝的预期分数。已经提出了对原始Benjamini-Hochberg程序[1]的许多改进,通过估计真零假设的比例来增加功效,或者隐式地导致一阶段自适应程序[4,7],或者显式地导致两阶段自适应(或插件)程序[2,21]。我们使用Genovese和Wasserman [11]提出的随机过程方法的变体来研究这些程序中的每一个在其期望值周围实现的$\mathsf{FDP}$的波动,对于独立的测试假设。我们引入了一个框架,推导出通用的中心极限定理的$\mathsf{FDP}$这些程序,表征相关的正则性条件,并比较各种程序的渐近功率。我们将最近提出的单阶段自适应过程[4,7]解释为众所周知的两阶段自适应过程[2,21]迭代中的不动点。
2008-11-21 math.ST stat.TH
Local permutation tests for conditional independence: an adaptive binning perspective
University of Chicago(芝加哥大学);Carnegie Mellon University(卡内基梅隆大学)
研究给定混杂因素Z时随机变量X和Y的条件独立检验问题,提出数据自适应分箱扩展LPT,给出任意检验统计量I型错误的有限样本界,证明其功效与最优似然比检验相当,分析线性模型中箱大小影响,表明该策略可行且高效。
2026-07-24 math.ST stat.ME stat.TH
Sparsity vs. Statistical Independence in Adaptive Signal Representations: A Case Study of the Spike Process
本文通过尖峰过程案例研究,揭示在自适应信号表示中稀疏性与统计独立性最优基的差异及非唯一性,并证明高维下无法通过线性变换实现真正的统计独立性。
2001-04-06 cs.NA math.NA math.ST
Sparse departures from independence in two-way tables: a heteroscedasticity profile and detection boundary, an adaptive higher-criticism gate, and an assumption-lean exact anchor
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
本文针对双向表独立性的稀疏偏离问题,提出含异方差轮廓与检测边界的理论,给出自适应高阶批评门限及精确锚点检验,验证了5543个表格语料库中三分之二采用精确锚点的结论。
2026-09-10 math.ST stat.ME stat.TH
Adaptive estimation for some nonparametric instrumental variable models
统计学和计量经济学中的内隐问题通常通过引入满足均值独立性假设的工具变量(IV)来处理,即不可观测的是与工具无关的均值。当假设IV和不可观测的完全独立时,非参数IV回归模型和非参数需求模型导致具有未知积分核的非线性积分方程。我们证明了收敛速度的平均积分平方误差的迭代正则化牛顿法适用于这些问题。与相关结果相比,我们得到更强的收敛结果,依赖于较弱的非线性限制。我们证明了在数值模拟的非参数IV回归,该方法产生更好的结果比标准模型。
2021-08-12 econ.EM math.ST stat.CO
Adaptive Testing for High-dimensional Data
针对高维数据的全局检验问题,提出了一类基于$L_q$ -范数的U-统计量.这包括均值向量及其空间符号的检验、线性模型系数的同时检验以及高维观测值的分量独立性检验等。在原假设下,我们在温和的矩和累积量条件下,得到了几个$q$的基于$L_q$ -范数的U-统计量之间的渐近正态性和独立性.一个简单的组合,两个学生化的$L_q$为基础的检验统计量,通过其$p$值的建议,并实现对不同稀疏性的替代品的巨大权力。我们的工作是He et al.(2021)的实质性扩展,主要集中在均值和协方差检验上,并且我们设法为广泛的一类内核提供了基于$L_q$ -范数的U-统计量的渐近独立性的一般处理。为了减轻计算负担,我们通过在求和中使用单调指数来引入所提出的U-统计量的变体,从而得到具有非对称核的U-统计量。引入了一种动态规划方法,以减少计算成本从$O(n^{qr})$,这是需要计算的完整的U-统计量,$O(n^r)$,其中$r$是核的顺序。数值研究进一步证实了所提出的自适应测试相比,一些现有的竞争对手的优势。
2023-03-14 math.ST stat.ME stat.TH
Scalable and adaptive prediction bands with kernel sum-of-squares
Safran Tech(赛峰科技);Univ Rennes(雷恩大学);Ensai(国立统计与数据分析学院);CNRS(法国国家科学研究中心);CREST - UMR 9194(CREST研究中心)
本研究将保形预测问题转化为基于RKHS和核平方和的统计学习问题,提出对偶形式以通过加速梯度法高效求解,并引入基于HSIC的超参数调优策略以提升自适应性。
2026-11-04 cs.LG math.ST stat.TH
Sure Independence Screening for Ultra-High Dimensional Feature Space
变量选择在高维统计建模中起着重要的作用,高维统计建模广泛存在于各个领域,是各种科学发现的关键。对于大规模或维数$p$的问题,估计精度和计算成本是两个首要的问题。在最近的一篇论文中,Candes和Tao(2007)提出了使用$L_1$正则化的Dantzig选择器,并表明它在对数因子$\log p$下实现了理想的风险。当维数过高时,由于因子$\log p$可能很大,他们的一致测不准原理可能失效,他们的创新过程和显著结果受到挑战。出于这些考虑,我们引入了确定性筛选的概念,并提出了一种基于相关学习的确定性筛选方法,称为确定性独立筛选(SIS),以降低从高到中等规模的样本量以下的维度。在一个相当一般的渐近框架中,相关学习被证明对指数增长的维数具有一定的筛选性质。作为一种方法的扩展,迭代SIS(ISIS)也被提出来提高其有限样本性能。随着维度从高样本量精确地减少到低于样本量,变量选择可以在速度和准确性上得到改善,然后可以通过成熟的方法(如SCAD、Dantzig选择器、Lasso或自适应Lasso)来完成。这些惩罚最小二乘方法的连接也阐明。
2008-08-27 math.ST stat.TH
Analysis of Conditional Randomisation and Permutation schemes with application to conditional independence testing
本文分析了条件随机化与条件置换两种重采样方案的渐近性质,证明其概率估计量渐近正态且经验条件互信息分布一致,并验证了置换p值的有效性,为基于重采样和调整自由度卡方分布的条件独立性检验提供了理论依据。
2023-04-12 math.ST stat.TH
Dynamic adaptive procedures that control the false discovery rate
在具有独立检验的多重检验问题中,经典线性逐步上升过程将错误发现率(FDR)控制在$π_0α$水平,其中$π_0$是真零假设的比例,$α$是目标FDR水平。自适应过程可以通过合并$π_0$的估计来提高功率,所述估计通常依赖于调谐参数。固定的自适应程序在看到数据之前设置其调谐参数,并且可以显示为在有限样本中控制FDR。我们开发的动态自适应程序,其调整参数的数据确定的理论结果。我们表明,如果调谐参数选择根据从左到右的停止时间规则,相应的动态自适应过程控制有限样本的FDR。例子包括最近提出的右边界程序和广泛使用的最低斜率程序等。仿真结果表明,在独立和弱相关条件下,右边界方法比其他动态自适应方法更有效。
2019-08-28 math.ST stat.ME stat.TH
Adaptive L-statistics for high dimensional test problem
Nankai University(南开大学)
本研究针对高维单样本位置检验问题,推导了两类L-统计量的极限分布,建立其渐近独立性后提出柯西组合检验,模拟与实证均验证了方法的优势。
2026-08-14 math.ST stat.ME stat.TH