Statistical Inference for Rank Allocation in Low-Rank Adaptation
Department of Mathematics, National University of Singapore(数学系,新加坡国立大学);Department of Mathematics and Department of Electrical and Computer Engineering, National University of Singapore(数学系和电气与计算机工程系,新加坡国立大学)
研究低秩适应中在固定参数预算下分配秩资源的问题,提出StatLoRA方法,将其表述为统计假设检验问题,通过检验统计量和p值确定组件取舍,实验表明该方法在匹配秩预算下性能良好,支持了分配规则稳定性及渐近理论。
2026-07-23 cs.LG math.ST stat.ML
Fast rates with high probability in exp-concave statistical learning
Centrum Wiskunde & Informatica (CWI)(荷兰国家数学与计算机科学研究所)
我们提出了一个算法的统计学习设置有界指数凹损失$d$维度,获得超额风险$O(d \log(1/δ)/n)$的概率至少为$1 - δ$。其核心技术是提高最近的预期$O(d/n)$的经验风险最小化(ERM)的超额风险界限的信心,而不牺牲率,通过利用伯恩斯坦条件,成立由于经验。我们还表明,概率$1 - δ$的标准ERM方法获得超额风险$O(d (\log(n) + \log(1/δ))/n)$。我们进一步表明,在这种情况下,任何在线学习者的遗憾绑定转化为相应的在线到批量转换的在线学习者的高概率超额风险绑定。最后,我们给出了指数凹模型选择集结问题的两个高概率界,它们在一定意义上是分位数自适应的。第一个界限是一个纯粹的指数权重类型算法,获得了几乎最优的速率,并且对损失的Lipschitz连续性没有显式依赖。第二界要求Lipschitz连续性,但获得最优速率。
2016-10-14 cs.LG
Statistical Inference for Low-Rank Tensor Models
本文提出统一框架,通过去偏与切空间投影推断低Tucker秩张量的一般及结构化线性泛函,实现渐近正态与极小化极大最优置信区间,填补了高维张量统计推断的方法论空白。
2025-01-27 math.ST stat.ME stat.ML
Perturbation of matrices and non-negative rank with a view toward statistical models
在本文中,我们研究如何扰动矩阵改变其非负秩。我们证明了非负秩是上连续的,并描述了一些特殊的扰动族。通过对混合模型的极大似然估计的研究,说明了我们的结果与统计量的关系。
2011-07-20 math.AC math.CO math.PR
On asymptotic normality of certain linear rank statistics
我们考虑在临床试验中满足的各种随机化规则下的线性秩统计量的渐近正态性,并设计用于将患者分配到治疗组和安慰剂组。阐述依赖于McLeish(1974)的某些一般极限定理,该定理似乎很适合于所考虑的问题,并可用于本文讨论的其他类似规则。应用的例子包括众所周知的结果以及几个新的。
2017-09-08 math.ST stat.TH
Logarithmic Quantile Estimation for Rank Statistics
证明了函数为连续分布的样本的简单线性秩统计量的几乎必然弱极限定理。作为推论,该结果扩展到具有关系的样本,并且a.s.线性秩统计量向量的中心极限定理此外,我们还得到了某些二次型的弱收敛结果。然后将这些结果应用于分位数估计和非参数统计设计的假设检验,这里通过c样本问题证明,其中样本可能是依赖的。在一般情况下,该方法是已知的自助法和其他非参数方法(\cite{THA, FRI}),我们证实了这一发现的c-样本问题。
2013-05-10 stat.ME
Statistically Optimal and Computationally Efficient Low Rank Tensor Completion from Noisy Entries
在这篇文章中,我们开发的方法来估计一个低秩张量从噪声观测的一个子集的条目,以实现统计和计算效率。最近有很多兴趣在这个问题的噪音张量完成。大部分的注意力都集中在与高阶张量问题相关的基本计算挑战上,但对它们的统计性能知之甚少。为了填补这一空白,在这篇文章中,我们的基本统计限制的噪声张量完成建立极小极大最优收敛率估计$k$阶低秩张量下的一般$\ell_p$($1\le p\le 2$)规范,这表明显着的改进空间比现有的方法。此外,我们提出了一个多项式时间可计算的估计过程的基础上的权力迭代和二阶谱初始化,实现最佳的收敛速度。我们的方法是相当容易实现和数值实验,以进一步证明我们的估计的实际优点。
2018-03-19 cs.IT math.IT math.ST
Rank Based Tests for High Dimensional White Noise
针对高维时间序列白噪声检验问题,提出三类基于秩的无分布检验方法,建立其渐近零分布与速率最优性,其中退化U统计量检验可检测非线性非单调自相关,且首次考虑高维数据截面相关性下的秩相关统计量渐近分布。
2023-07-19 math.ST stat.ME stat.TH
Testing independence in high dimensions with sums of rank correlations
当m可以大于可用的样本量n时,我们处理m个连续变量之间的独立性检验问题。我们考虑三种类型的检验统计量,它们被构造为成对秩相关的和或平方和。在渐近制度中,m和n趋于无穷大,鞅中心极限定理的应用表明,这些统计的零分布收敛到高斯极限,这是有效的,没有具体的分布或矩的数据假设。使用U-统计量的框架,我们的结果涵盖了各种秩相关性,包括Kendall的tau和Spearman的秩相关系数(rho)的主导项,但也包括退化的U-统计量,如Hoeffding的$D$,或Bergsma和Dassios的$τ^*$(2014)。与经典的U-统计量理论一样,当用于构造检验统计量的秩相关性是退化的U-统计量时,需要对它们进行不同的缩放。所考虑的测试的权力,探讨率最优理论下的高斯等相关的替代品,以及在数值实验的具体情况下,更一般的替代品。
2016-12-02 math.ST stat.TH
Statistical inference for high-dimensional convoluted rank regression
本文研究高维卷积秩回归的统计推断,建立惩罚估计误差界与去偏估计的 Bahadur 表示,并借助 Gaussian 近似和 bootstrap 构造同时置信区间。
2025-02-19 stat.ME
Central Limit Theorem for Linear Spectral Statistics of Large Dimensional Kendall's Rank Correlation Matrices and its Applications
本文研究了独立分量和连续分量样本生成的高维Kendall秩相关阵的极限谱行为。我们不要求分量同分布,也不需要任何矩条件,这与随机矩阵理论文献中的假设有很大不同。本文中的统计设置涵盖了广泛的高度偏态和重尾分布。在Marchenko-Pastur渐近条件下,建立了Kendall秩相关阵的线性谱统计量的中心极限定理(CLT),其中维数与样本量成正比地趋于无穷大.我们进一步提出了三种高维独立检验的非参数方法,并通过实现该方法得到了它们的极限零分布。我们的数值比较表明,我们提出的检验统计量在各种混合和重尾情况下的鲁棒性和优越性。
2019-12-13 math.ST stat.ME stat.TH
Finite-Sample Valid Rank Confidence Sets for a Broad Class of Statistical and Machine Learning Models
本文提出Repro Samples方法,通过构建置信集来解决有限样本下广泛统计和机器学习模型中秩估计的不确定性问题,并通过模拟和真实数据验证其有效性。
2025-12-04 math.ST stat.ME stat.TH
Serial and nonserial sign-and-rank statistics: asymptotic representation and asymptotic normality
基于秩的推理的经典理论完全基于不考虑位置(截距)参数的普通秩,或者基于需要对称性假设的符号秩。如果在没有对称性假设的情况下,将中值视为位置参数,则普通秩的最大不变性属性将丧失于秩和符号。这种新的最大不变量因此提出了一种新的统计类别,基于普通的秩和符号。本文对这类统计量,在非序列和序列情形下,发展了一个拉·哈耶克的渐近表示论。相应的渐近正态性结果清楚地表明了符号如何为渐近方差增加单独的贡献,从而潜在地为渐近有效性增加贡献。如Hallin和Werker [Bernoulli 9(2003)137- 165]所示,以适当的方式对最大不变量进行条件化甚至可能导致半参数有效推理。半参数推理在回归和时间序列模型与中位数限制的应用将在即将到来的配套文件中详细处理。
2006-05-18 math.ST stat.TH
Log-rank test with coarsened exact matching
针对临床试验中生存时间比较时协变量等复杂结构建模难的问题,提出基于无需参数模型的CEM的加权对数秩统计量,推导其渐近性质并通过模拟验证其比基于倾向评分的对数秩统计量更稳健。
2024-12-01 math.ST stat.TH
Global Sensitivity Analysis: a new generation of mighty estimators based on rank statistics
提出基于秩统计和Chatterjee相关系数的框架,统一估计多种全局敏感性指标,在小样本下数值高效且一致。
2026-06-06 math.ST stat.TH
Exact and efficient multivariate two-sample tests through generalized linear rank statistics
本文将线性秩统计量推广至多元变量与复合备择假设,构建兼具似然比检验效率、稳健性和可计算精确 p 值的非参数两样本及 K 样本检验方法。
2023-09-30 q-bio.QM stat.ME
Identifying latent classes with ordered categorical indicators
使用蒙特卡罗模拟确定当响应变量具有5个有序类别时,有序分类数据(连续性与离散性类别)的哪些假设最常识别潜在因子结构。还审查了不经常核可的反应类别的影响,这一情况尚未得到充分探讨。在应用研究中,克服不经常被认可的类别的典型方法是将响应选项与相邻类别合并,从而导致更频繁被认可的响应类别更少,但这种方法不一定提供有用的信息。反应类别背书问题已在项目反应理论研究,但这个问题还没有得到解决,在分类分析,也没有合适的措施在这些条件下的性能进行了检查。我们发现,常用的拟合统计量的性能,以确定真正的潜在类的数量取决于是否假设连续性,样本量,和收敛。当假设五个响应选项为分类时,拟合统计量表现最佳。然而,在样本量较低的情况下,当收敛是一个问题时,假设连续性和使用调整后的Lo-Mendell-Rubin似然比检验可能是有用的。
2020-09-15 stat.AP
Estimation of the relative risk following group sequential procedure based upon the weighted log-rank statistic
在本文中,我们考虑一组顺序监测试验的生存终点,监测使用加权对数秩(WLR)统计与确定性权重函数。我们引入了一个汇总统计量的加权平均记录相对风险的形式,并表明,如果没有迹象变化的瞬时记录相对风险,总是存在一个双射之间的WLR统计和加权平均记录相对风险。我们表明,这种双射可以一致地估计在一个合适的形状假设下,我们列出了两种可能性,在每次分析。我们指出如何获得设计调整的p值和置信区间,并建议如何应用偏差校正方法。最后,我们记录了在设计NLST中期分析计划和报告主要终点结果时所做的几个决定。
2011-02-25 stat.ME
Learning to Rank Anomalies: Scalar Performance Criteria and Maximization of Two-Sample Rank Statistics
收集和存储越来越大的数据库的能力一直伴随着有效处理它们的需求。在许多情况下,大多数观测具有相同的行为,而这些观测中可能有一小部分是异常的。检测后者(定义为离群值)是机器学习应用的主要挑战之一(例如,在欺诈检测或预测性维护中)。在本文中,我们提出了一种方法来解决离群点检测的问题,通过学习一个数据驱动的评分函数定义的特征空间,反映了异常程度的观察。这个评分函数是通过一个精心设计的二元分类问题,其经验标准采取的形式是一个双样本的线性秩统计量的理论结果是可用的。我们说明我们的方法与初步令人鼓舞的数值实验。
2021-09-20 math.ST stat.ML stat.TH
Statistical and computational rates in high rank tensor estimation
针对高阶张量估计问题,提出了包含高秩与低秩模型的生成式隐变量张量模型,揭示了高维张量呈对数秩的特性,并设计了多项式时间谱算法以实现计算最优速率。
2023-04-08 math.ST stat.ME stat.ML