Single-index models for extreme value index regression
针对协变量高维时EVI非参数回归的维数灾难问题，在帕累托型尾分布下将单指标模型应用于EVI回归，提出惩罚极大似然估计并推导其渐近性质，数值研究验证了模型有效性。
2025-08-20 math.ST stat.TH
Out-of-Distribution generalization of quantile regression with heavy tailed inputs: an SVM approach
CNRS（法国国家科学研究中心）；ENS Paris Saclay（巴黎萨克雷高等师范学院）；INSERM（法国国家健康与医学研究院）；Centre Borelli（博雷利中心）
针对协变量取异常大值的分位数回归外推问题，提出基于支持向量机（SVM）的框架，利用再生核希尔伯特空间处理高维非线性情况，并建立有限样本学习保证。
2026-05-29 cs.LG stat.ML
Distribution-Free Robust Linear Regression
CREST（经济与统计研究中心）；ENSAE（国立统计与经济管理学院）；Institut Polytechnique de Paris（巴黎理工学院）；University of Oxford（牛津大学）；ETH Zürich（苏黎世联邦理工学院）
我们研究随机设计线性回归，没有假设协变量的分布和重尾响应变量。在这个分布的回归设置，我们表明，有界的条件二阶矩的响应给定的协变量是一个充要条件实现非平凡的保证。作为一个起点，我们证明了一个最佳版本的经典的期望范围内截断最小二乘估计由于Györfi，科勒，Krzyzyzyak，和步行。然而，我们发现，尽管它的最佳预期性能，这个过程失败的概率为常数的一些分布。然后，结合截断最小二乘，中位数的方法，和聚集理论的思想，我们构造了一个非线性估计实现超额风险的顺序$d/n$与一个最佳的次指数尾部。虽然现有的重尾分布的线性回归的方法集中在适当的估计，返回线性函数，我们强调，我们的程序是必要的不适当的分布自由设置实现非平凡的保证。
2021-10-21 cs.LG math.ST stat.ML
Unrestricted conditional maximum likelihood estimation for a Fréchet regression model
KU Leuven（荷语鲁汶大学）；UCLouvain（法语鲁汶大学）
针对Fréchet回归模型，提出无约束条件最大似然估计，证明其在非紧参数空间上的一致性和渐近正态性，并通过宇宙闭包实现参数空间紧化。
2026-09-15 math.ST stat.TH
Partially linear additive quantile regression in ultra-high dimension
本文考虑了一个分析高维异质数据的灵活半参数分位数回归模型。该模型具有以下特点：（1）通过考虑不同的条件分位数，可以得到一个更完整的响应变量的条件分布的图片给定高维协变量。(2)在不同的分位数级别上，允许稀疏性级别不同。(3)部分线性加性结构适应非线性并避免维数灾难。(4)它对重尾分布自然具有鲁棒性。本文采用B样条基函数逼近非线性分量。我们首先研究了当非零分量事先已知且线性部分的协变量个数发散时该模型下的估计。然后，我们研究了同时变量选择和估计的非凸惩罚估计。在松弛条件下，我们得到了一类具有超高维协变量的非凸罚函数的预言性质。为了解决非光滑损失函数、非凸罚函数和非线性成分的存在等问题，我们将最近发展起来的凸差分方法与现代经验过程技术相结合.蒙特卡罗模拟和应用程序的微阵列研究表明，所提出的方法的有效性。我们还讨论了如何为一个单一的分位数的方法可以扩展到同时变量选择和估计在多个分位数。
2016-01-22 math.ST stat.TH
Functional nonparametric estimation of conditional extreme quantiles
当函数协变量信息可用时，以及当分位数的阶数随着样本量的增加而收敛到1时，我们讨论了重尾分布分位数的估计。这样的“极端”分位数可以位于数据的范围内，或者接近甚至超出样本的边界，这取决于它们的阶数收敛到1的收敛速度。引入了这些泛函极值分位数的非参数估计，建立了它们的渐近分布，并研究了它们的有限样本行为。
2011-04-01 math.ST stat.ME stat.TH
Nearest-Neighbour Matching on Unbounded Supports and Covariate Shift Transfer
本文研究了在无界支持上最近邻匹配的收敛性，提出无需假设协变量支持集的紧凑性，而是通过源与目标分布之间的转移性度量来保证估计效率。
2026-05-15 math.ST stat.TH
Convolution Mode Regression
针对偏态肥尾分布下众数回归面临维数灾难和非凸优化问题，提出通过反演条件分位数密度并采用卷积平滑分位数回归的新估计量，实现设计点与带宽双重一致收敛且无维度和优化障碍。
2024-12-07 econ.EM math.ST stat.TH
Convergence rates of least squares regression estimators with heavy-tailed errors
研究了一般非参数回归模型中误差与协变量无关但可能只有$p$阶矩（$p\geq 1$）时最小二乘估计（LSE）的性能.在这样一个重尾回归设置，我们表明，如果该模型满足一个标准的“熵条件”与指数$α\in (0,2)$，那么$L_2$损失的LSE收敛率\begin{align*} \mathcal{O}_{\mathbf{P}}\big(n^{-\frac{1}{2+α}} \vee n^{-\frac{1}{2}+\frac{1}{2p}}\big). \end{align*}这样的速度不能单独的熵条件下得到改善。这个比率量化了LSE在重尾回归设置中的一些积极和消极方面。从积极的方面来看，只要误差具有$p\geq 1+2/α$矩，LSE的$L_2$损失就以与误差为高斯分布时相同的速率收敛。在消极的一面，如果$p<1+2/α$，有（许多）硬模型在任何熵水平$α$的$L_2$损失的LSE收敛速度严格低于其他鲁棒估计。上述比率的有效性主要依赖于协变量和误差的独立性。事实上，当独立性失效时，LSE的$L_2$损失可以任意缓慢地收敛。关键的技术要素是一个新的乘数不等式，它为与伦敦证交所相关的“乘数经验过程”提供了明确的界限。我们进一步应用于具有重尾协变量和误差的稀疏线性回归模型来证明这个新不等式的范围。
2018-07-15 math.ST stat.TH
Quantile regression with deep ReLU Networks: Estimators and minimax rates
分位数回归是从已知协变量的集合中估计指定百分位响应（如中位数）的任务。我们研究了分位数回归，使用修正线性单元（ReLU）神经网络作为所选的模型类。我们推导出用于估计一组协变量条件下的任何分位数的ReLU网络的预期均方误差的上界。该上界仅取决于最佳可能的近似误差、网络中的层数以及每层的节点数。我们进一步表明，上界是紧的两大类功能：组成的Hölder功能和成员的Besov空间。这些严格的界限意味着具有分位数回归的ReLU网络可以为广泛的函数类型集合实现极大极小化率。与现有的工作不同，理论结果保持在最小的假设条件下，并适用于一般的误差分布，包括重尾分布。对一套合成响应函数的实证模拟表明，理论结果可以转化为ReLU网络的实际实现。总的来说，理论和实证结果提供了对ReLU神经网络在广泛的函数类和误差分布中进行分位数回归的强大性能的深入了解。本文的所有代码都可以在https://github.com/tansey/quantile-regression上公开获得。
2020-12-18 math.ST stat.ML stat.TH
Good, great, or lucky? Screening for firms with sustained superior performance using heavy-tailed priors
本文考察了93个国家的53,038家上市公司在过去45年中的ROA（资产回报率）历史模式。我们的目标是筛选那些ROA轨迹表明他们随着时间的推移系统性地优于同行群体的公司。这样一个项目至少面临三个统计困难：相关协变量的调整，大量的多重性和纵向依赖性。我们的结论是，一旦考虑到这些困难，明显优越的性能似乎是相当罕见的。我们比较我们的研究结果与其他最近的管理研究相同的主题，并与流行的文学对企业的成功。我们的方法的贡献是提出了一个新的类的先验用于大规模的同时测试。这些先验是基于超几何的倒β族，并有两个主要的吸引力的特点：重尾和计算的易处理性。该族是正态/逆β先验的四参数推广，并且是分层正态模型中收缩系数的自然共轭先验。我们的研究结果强调了这些重尾先验在大型多重测试问题中的有用性，因为它们在边缘似然$m(y)$中具有温和的尾衰减率--这是一种长期被认为在测试中很重要的属性。
2012-03-22 stat.AP stat.ME
High Dimensional Statistical Estimation under Uniformly Dithered One-bit Quantization
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
在本文中，我们提出了一个均匀抖动的1比特量化方案的高维统计估计。该方案包含截断，抖动和量化作为典型的步骤。作为典型的例子，量化方案被应用于稀疏协方差阵估计、稀疏线性回归（即，压缩感测）和矩阵完成。我们研究了亚高斯和重尾制度，其中重尾数据的基本分布被假设为具有一定数量级的有界矩。我们提出了新的估计的基础上1位量化的数据。在亚高斯制度，我们的估计达到近极大极小率，表明我们的量化方案的成本非常少。在重尾的制度，而我们的估计的速度变得本质上更慢，这些结果要么是第一个在1位量化和重尾设置，或已经改善现有的可比结果从某些方面。根据我们设置中的观察，压缩感知和矩阵完成的速率几乎是紧的。我们的1比特压缩感知结果具有亚高斯甚至重尾的一般感知向量。我们还首先研究了一种新的设置，其中协变量和响应都是量化的。此外，我们的方法1位矩阵完成不依赖于可能性，并代表第一种方法鲁棒性的预量化噪声与未知的分布。合成数据的实验结果支持我们的理论分析。
2023-01-20 cs.LG eess.SP stat.ML
Robust distribution-free tests for the linear model
本文提出 RobustPALMRT 置换检验框架，在重尾或偏斜噪声下控制有限样本第一类错误，支持稳健回归与分位数回归，并通过分离模型拟合与评估、引入 DispersionPALRMT 检验离散度差异，在 Long-COVID 免疫数据中发现了新差异。
2024-12-31 stat.AP stat.ME
Invariance-based Inference in High-Dimensional Regression with Finite-Sample Guarantees
本文提出基于不变性的随机化检验方法，用于高维回归的假设检验与推断，在有限样本下保证有效性并达到极小极大最优速率，同时通过残差检验处理部分假设，增强了对多重共线性和重尾数据的稳健性。
2023-12-22 math.ST stat.ME stat.TH
Information-theoretic evaluation of covariate distributions models
本文用 KL-D 系统比较 copula 与 MICE 等协变量分布模型，并提出结合最近邻估计和子采样的置信区间方法，揭示非高斯模型的拟合优势及各自泛化、过拟合与维度扩展特性。
2025-03-19 q-bio.QM stat.AP
Non-Parametric Goodness-of-Fit Tests Using Tsallis Entropy Measures
本研究基于Tsallis熵提出非参数拟合优度检验新方法，搭配形状参数迭代估计算法，提升重尾与非高斯场景下的检验精度，为多领域提供稳健的分布检验工具。
2025-06-17 math.ST stat.ME stat.TH
High-dimensional robust regression under heavy-tailed data: Asymptotics and Universality
King’s College London（伦敦国王学院）；École Normale Supérieure（巴黎高等师范学院）；PSL & CNRS（巴黎文理研究大学与法国国家科学研究中心）；University of Bologna（博洛尼亚大学）
研究重尾污染下高维稳健回归估计器的渐近性质，发现最优调谐的Huber loss在高维下需进一步正则化，并揭示了ridge regression衰减率的相变与普适性。
2024-05-31 cond-mat.dis-nn cs.LG math.ST
Conditional Diffusion for Nonparametric Instrumental Variable Quantile Regression
Institute of Data Science and Statistics, Shanghai University of Finance and Economics（上海财经大学数据科学与统计研究院）；School of Mathematics and Statistics, Wuhan University（武汉大学数学与统计学院）；School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院）
本研究提出结合条件扩散建模的两阶段非参数工具变量分位数回归方法，建立了重尾分布下的理论保证，经模拟与实际数据验证，其性能优于现有方法且随维度提升优势更明显。
2026-08-11 cs.LG stat.ML
Robust regression with covariate filtering: Heavy tails and adversarial contamination
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Cambridge（剑桥大学）
我们研究了线性回归的问题，其中协变量和响应都是潜在的（i）重尾和（ii）逆向污染。已经提出了几种计算效率高的估计量的协变量是次高斯和未污染的较简单的设置，但是，这些估计量可能会失败时，协变量是重尾或包含离群值。在这项工作中，我们将展示如何修改的Huber回归，最小二乘修剪，最小绝对偏差估计，以获得同时计算和统计效率较强的污染模型的估计。我们的方法是相当简单的，包括应用滤波算法的协变量，然后应用经典的鲁棒回归估计的其余数据。我们发现，在这种情况下，Huber回归估计达到接近最优的差错率，而最小修剪平方和最小绝对偏差估计可以实现后处理步骤后，以达到接近最优的错误。
2021-05-17 cs.LG math.ST stat.ML
Convergence rate for Nearest Neighbour matching: geometry of the domain and higher-order regularity
本文研究了基于k近邻的匹配估计量的偏差高阶性质，通过放宽支撑集包含假设并提出两个更一般的几何条件以避免边界偏差，证明了在协变量维度小于4时该估计量渐近有效。
2025-04-30 math.ST stat.TH
Enveloped Huber Regression
当误差服从重尾分布时，Huber回归（HR）是最小二乘回归的一种流行的稳健替代方法。我们提出了一种新的方法称为包络Huber回归（EHR）考虑包络假设，存在一些子空间的预测，没有与响应，这是被称为非物质部分。更有效的估计是通过去除非实质部分来实现的。与基于最大正态似然估计的包络最小二乘（ENV）模型不同，EHR模型的估计采用广义矩方法。建立了EHR估计量的渐近正态性，证明了EHR比HR更有效，并且当误差分布为重尾分布时，EHR比ENV更有效，而当误差分布为正态分布时，EHR保持较小的效率损失.此外，我们的理论还涵盖了异方差的情况下，误差可能取决于协变量。广泛的模拟研究证实了渐近理论的信息。EHR在真实数据集上进一步说明。
2020-10-30 stat.ME
Two Results on Low-Rank Heavy-Tailed Multiresponse Regressions
本文研究了重尾数据和量化场景下低秩多响应线性模型的参数估计，提出了具有极小极大近最优收敛速度的稳健估计量，并在仅有$(2+ε)$阶矩噪声时保持与次高斯数据相当的收敛速度。
2023-05-23 math.ST stat.TH
Accounting for Preferential Sampling Using a Constructed Covariate
Centre of Mathematics of the University of Minho (CMAT)（米尼奥大学数学中心）；Department of Mathematics of the Nova School of Science and Technology（新大学科学技术学院数学系）；Center for Mathematics and Applications (NOVA Math)（数学与应用研究中心）；NOVA University of Lisbon, Caparica, Portugal（里斯本新大学）；Portuguese Institute for Sea and Atmosphere (IPMA)（葡萄牙海洋与大气研究所）；Center of Statistics and its Applications (CEAUL)（统计学及其应用中心）；Military Academy Research Center - Military University Institute (CINAMIL)（军事学院研究中心）；Engineering Superior Institute of Lisbon (ISEL), Polytechnic Institute of Lisbon（里斯本高等工程学院）；NOVA University of Lisbon, Portugal（里斯本新大学）
研究地质统计学中优先抽样问题，提出基于最近邻观测平均距离构建协变量的方法，经模拟研究和真实数据集验证，该方法能减少优先抽样影响，实现可靠推断并探讨了相关挑战与发展路径。
2026-07-15 stat.ME
Locally sparse quantile estimation for a partially functional interaction model
功能数据分析已广泛开展。在这项研究中，我们考虑了一个部分功能模型，其中一些协变量是标量和线性效应，而其他一些变量是功能和未指定的非线性效应。显着推进从现有的文献中，我们认为一个模型的功能和标量协变量之间的相互作用。为了适应长尾误差分布，这是在数据分析中并不少见，我们采用分位数估计技术。为了实现更可解释的估计，并适应许多实际的设置，我们假设函数协变量的影响是局部稀疏的（即，存在子区域上的影响正好为零），这自然会导致变量/模型选择问题。我们建议尊重“主效应，相互作用”的层次结构，假设，如果一个子区域有一个非零的影响，在一个相互作用项，那么它的效果必须是非零的相应的主要功能的影响。对于估计，识别局部稀疏性，尊重的层次结构，我们提出了一个惩罚的方法。给出了一个有效的计算算法，并在较弱的正则条件下严格地建立了相容性。仿真结果表明了该方法的有效性。Tecator数据的分析进一步证明了其实用性。总体而言，这项研究可以提供一个新的和实际有用的模型和一个统计和数值上令人满意的估计方法。
2023-01-09 stat.ME
Generalized Linear Models for Extremes: Estimation and Inference in High Dimensions
School of Management, University of Science and Technology of China（中国科学技术大学管理学院）；Econometric Institute, Erasmus University Rotterdam（伊拉斯姆斯大学鹿特丹计量经济研究所）
本研究提出一种极端尾部回归模型，通过协变量缩放尾部尺度且不改变形状，采用Bregman散度匹配与ℓ₁惩罚实现高维估计，推导去偏估计量的渐近性质并应用于保险理赔数据。
2026-08-18 stat.ME
Spatial Functional $k$-Nearest-Neighbour Regression under Polynomial Dependence
Université des Sciences et Techniques de Masuku (USTM)（马苏库科学技术大学）
本文针对空间格点上的函数型数据，提出并分析了 $k$-最近邻回归估计量，通过夹逼框架解耦小球轮廓与协方差衰减，推导出不同空间机制下的收敛速率，并验证了理论结果。
2026-10-05 math.ST stat.TH
Heavy-Tailed NGG Mixture Models
本文刻画了归一化广义伽马（NGG）过程的尾部性质，提出两类重尾混合模型及其多变量和依赖预测变量的扩展，并在模拟与神经科学数据中验证了有效性。
2025-04-03 math.ST stat.TH
Estimation and Inference for Change Points in Functional Regression Time Series
University of Notre Dame（圣母大学）；University of Warwick（华威大学）；University of Bristol（布里斯托大学）
本文提出了一种高效的函数回归二分段算法，用于在具有斜率函数变化的回归模型中估计和推断变化点，并通过模拟和实际数据验证了其有效性。
2024-05-08 math.ST stat.ME stat.TH
Flexible Specification Testing in Quantile Regression Models
本文提出了三种新的分位数回归模型的一致性规格检验方法，从三个方面推广了以往的检验方法。首先，我们允许协变量效应是分位数依赖的和非线性的。其次，我们允许通过适当的基函数参数化条件分位数函数，而不是参数化。因此，我们能够测试超出线性的函数形式，同时保留线性效应作为特殊情况。在这两种情况下，诱导类的条件分布函数进行了测试与Cramér-von Mises型检验统计量，我们推导出的理论极限分布，并提出了一个自助法。第三，为了增加检验的功效，我们进一步提出了一种改进的检验统计量。我们强调我们的测试在详细的MC研究和两个真实数据的例子的优点。我们对德国条件收入分配的第一次应用表明，在以年龄和年份为条件时，不仅东西方之间仍然存在显著差异，而且条件收入分配的分位数之间也存在显著差异。从澳大利亚国家电力市场的数据的第二个应用程序揭示了使用交互作用的重要性，建模的高度倾斜和重尾分布的能源价格条件的一天，一天中的时间和需求。
2021-12-05 math.ST stat.ME stat.TH
A Piecewise Lyapunov Analysis of Sub-quadratic SGD: Applications to Robust and Quantile Regression
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Cornell University（康奈尔大学）
针对鲁棒和分位数回归问题，提出分段李雅普诺夫函数分析亚二次尾部局部强凸目标的SGD，推导有限时间矩界、弱收敛等结果，首次给出几何收敛性，应用于在线鲁棒回归和分位数回归。
2025-04-15 cs.LG math.OC math.PR
Factor Augmented Quantile Regression Model
针对高维数据下变量高相关、重尾分布及稀疏稠密效应共存的问题，提出结合分位数回归与因子分析的FAQR框架，引入卷积平滑优化，理论验证其性能，还开发Bootstrap诊断程序，仿真证实其在不同噪声场景下的合理性。
2025-08-01 stat.ME
Statistical consistency and asymptotic normality for high-dimensional robust M-estimators
我们研究了正则化稳健M-估计的理论性质，适用于当数据来自稀疏高维线性模型，并被重尾分布和/或离群值的附加误差和协变量污染时。我们首先在误差分布相当温和的条件下建立了惩罚回归估计的局部统计相合性的一种形式：当损失函数的导数有界且满足局部限制曲率条件时，在真实回归向量的恒定半径内的所有平稳点都以具有亚高斯误差的Lasso所享有的minimax速率收敛.当一个适当的非凸正则化的地方使用的l_1-罚款，我们表明，这样的驻点实际上是唯一的，等于当地的甲骨文解决方案与正确的支持-因此，结果渐近正态性在低维的情况下进行立即到高维设置。这对正则化非凸M-估计的效率有重要的影响，当误差是重尾的。当鲁棒回归函数和/或正则化函数是非凸的并且目标函数在局部区域外具有固定点时，我们对损失函数的局部曲率的分析对于优化也具有有用的后果。我们表明，只要一个复合梯度下降算法初始化的真实回归向量的恒定半径内，连续的迭代将以线性速度收敛到一个固定的点在局部区域内。此外，可以使用凸正则化鲁棒回归函数的全局最优值来获得合适的初始化。其结果是一个新的两步程序，使用凸M-估计，以实现一致性和非凸M-估计，以提高效率。
2015-01-01 cs.IT math.IT math.ST
Nonparametric independence testing via mutual information
我们提出了一个测试的独立性的两个多变量随机向量，给定的样本从底层人口。我们的方法，我们称之为MINT，是基于互信息的估计，其分解为联合和边际熵，便于使用最近开发的高效熵估计来自最近的邻居距离。建议的临界值，这可能是从模拟（在一个边际是已知的情况下）或restaurant，保证测试具有标称大小，我们提供本地电源分析，均匀的密度类，其互信息满足一个下限。我们的想法可以扩展到提供一个新的拟合优度测试的正常线性模型的基础上评估我们的向量的协变量和一个适当定义的概念的误差向量的独立性。模拟和真实数据的数值研究支持的理论。
2017-11-17 cs.IT math.IT math.ST
Adaptive transfer learning
University of Bristol（布里斯托大学）；University of Edinburgh（爱丁堡大学）；University of Cambridge（剑桥大学）
在迁移学习中，当我们可以访问来自分布本身的数据以及来自不同但相关的源分布的数据时，我们希望对目标人群进行推断。我们在二进制分类的背景下引入了一个灵活的迁移学习框架，允许源分布和目标分布之间的协变量依赖关系，这些关系不需要保留贝叶斯决策边界。我们的主要贡献是在这个问题中获得最小最大的最佳收敛率（最多多的多对数因子），并表明，最佳速率可以通过一种算法来实现，该算法适应未知的传输关系的关键方面，以及我们的分布类的平滑度和尾部参数。这个最佳速率原来有几个制度，这取决于之间的相互作用的相对样本量和强度的转移关系，我们的算法实现了最优的仔细，决策树为基础的校准本地最近邻程序。
2021-06-08 cs.LG math.ST stat.ME
A Nonparametric Goodness-of-Fit Test for High-Dimensional Generalized Gaussian Distributions via Nearest-Neighbor Graphs
Faculty of Science, Department of Statistics, Cumhuriyet University（居米舍特大学理学院统计学系）
本文提出基于最近邻图和适应性零原理的非参数检验方法，用于评估高维广义高斯分布模型的拟合优度，通过稳健标准化和交叉边计数实现，具有高维扩展性和几何解释。
2026-04-21 stat.CO stat.ME
Nonparametric contaminated Gaussian mixture of regressions
University of Pretoria（比勒陀利亚大学）；University of California, Riverside（加州大学河滨分校）
本文提出半参数和非参数污染高斯回归混合模型，通过EM和ECM算法实现鲁棒估计，用于观测聚类和异常值检测。
2026-01-10 stat.ME
Extreme-PLS with missing data under weak dependence
本文针对含缺失数据和弱时间相依性的场景扩展Extreme-PLS方法，构建理论框架并确立估计量渐近一致性，实验验证其在重尾、相依及缺失数据下的稳健性，真实应用证实其恢复尾部方向的能力。
2025-11-14 math.ST stat.ME stat.TH
Sparsified-Learning for High-Dimensional Heavy-Tailed Locally Stationary Time Series, Concentration and Oracle Inequalities
Huaiyin Institute of Technology（淮阴工学院）
本文提出了一种适用于高维厚尾局部平稳时间序列的稀疏学习框架，结合加法建模与核平滑，推导了集中性不等式并建立了预测误差界，探讨了不同稀疏结构下的收敛率。
2026-02-08 cs.LG math.ST stat.ML
Semiparametric Expectile Regression for High-dimensional Heavy-tailed and Heterogeneous Data
近年来，高维异构数据引起了人们的广泛关注和讨论。在异质性下，半参数回归是统计学中常用的数据建模方法。本文利用期望回归在计算和分析异质性方面的优势，提出了一种带非凸惩罚的正则化部分线性可加期望回归，如SCAD或MCP等。我们专注于一个更现实的场景：回归误差是重尾分布，只有有限的时刻，这是违反了经典的亚高斯分布假设，在实践中更常见。在一定的正则条件下，我们证明了当概率趋于1时，预言估计是我们的最优化问题的局部极小值之一。理论研究表明，该方法所能处理的线性协变量的维数基数本质上受回归误差矩条件的限制。在计算上，由于相应的最优化问题是非凸的和非光滑的，我们推导了一个两步算法来解决这个问题。最后，我们通过Monto Carlo模拟研究和一个真实数据的例子证明了所提出的方法具有良好的性能，在估计精度和模型选择。此外，通过选取不同的期望权值$α$，我们能够检测异质性并探索响应变量的整个条件分布，这表明我们提出的方法对于分析高维异质数据是有用的。
2019-08-18 math.ST stat.ME stat.TH
Efficient Federated Estimation and Inference for High-Dimensional Tail Index Regression
Nankai University（南开大学）；The University of Melbourne（墨尔本大学）；Shanghai University of Finance and Economics（上海财经大学）
针对异质联邦数据，提出基于稀疏正则化与非凹融合惩罚的高维尾指数回归方法，实现系数估计、变量选择和分组恢复，并建立去偏联邦推断程序。
2026-06-02 stat.ME
Sparse-Smooth Spatially Varying Coefficient Quantile Regression
本文提出了一种稀疏平滑的空间变化系数分位数回归方法，通过自适应组惩罚和图拉普拉斯二次项实现空间连续性，结合ADMM和近端梯度算法，验证了方法在异方差和重尾噪声下的有效性。
2025-11-25 stat.ME
Retire: Robust Expectile Regression in High Dimensions
由于异方差或协变量效应的不齐性，高维数据通常会显示异质性。惩罚分位数和期望回归方法为高维数据的异方差检测提供了有用的工具。前者由于校验丢失的非平滑性质而在计算上具有挑战性，而后者对重尾误差分布敏感。在本文中，我们提出和研究（惩罚）鲁棒期望回归（退休），重点是迭代加权$\ell_1$ -惩罚，减少估计偏差从$\ell_1$ -惩罚，并导致预言的性质。在理论上，我们建立了退休估计在两种状态下的统计性质：（i）低维状态，其中$d \ll n$ ;（ii）高维状态，其中$s\ll n\ll d$和$s$表示显著预测变量的数量。在高维环境中，我们仔细地描述了迭代重加权$\ell_1$ -惩罚退休估计的解路径，该估计来自折叠凹正则化的局部线性近似算法。在一个温和的最小信号强度的条件下，我们表明，经过尽可能多的$\log(\log d)$迭代的最后的迭代享有预言收敛速度。在每一步迭代中，加权$\ell_1$ -惩罚凸规划可以用半光滑牛顿坐标下降算法有效地求解。数值研究表明，所提出的程序相比，无论是非鲁棒或分位数回归为基础的替代品的竞争力表现。
2023-03-22 stat.ME stat.ML
Robust parameter estimation of regression model under weakened moment assumptions
本文给出了当协变量或响应具有较弱矩条件时几种回归模型参数阵估计的一些推广结果。本文研究了Fan等（Ann Stat 49（3）：1239- 1266，2021）关于具有$(1+ε)$阶矩噪声的矩阵完备化模型的$M$估计.观察到了相应的相变现象。当采用$1> ε>0$时，鲁棒估计器具有比以往文献慢的收敛速度.对于高维多指标系数模型，利用逐元截断方法处理有限四阶矩重尾数据，提出了一种改进的估计。大量的仿真研究验证了我们的理论结果。
2022-09-07 math.ST stat.TH
Estimation and Inference for Multi-Kink Quantile Regression
多扭结分位数回归（MKQR）模型是分析具有异质条件分布的数据的重要工具，特别是当响应变量的分位数是感兴趣的时，由于其对响应中的离群值和重尾误差的鲁棒性。它假设在阈值协变量的域的不同区域中具有不同的线性分位数回归形式，但在扭结点处仍然是连续的。本文研究了MKQR模型的参数估计、扭结点检测和统计推断。我们提出了一种迭代分段分位数回归算法，用于估计回归系数和扭结点的位置。该算法的计算效率比网格搜索算法高得多，并且对初始值的选择不敏感。建立了扭折点个数的选择一致性、回归系数和扭折效应估计的渐近正态性等渐近性质，从理论上证明了该方法的合理性.基于部分次梯度的分数检验被用来验证扭结效应是否存在。还构建了扭结位置参数的试验反演置信区间。密集的仿真研究表明，当样本量有限时，所提出的方法工作得很好。最后，我们将MKQR模型与所提出的方法一起应用于中国第二产业结构数据集和冈比亚女性三头肌皮褶厚度数据集，这导致了一些非常有趣的发现。开发了一个新的R包MultiKink来实现所提出的方法。
2020-06-14 stat.ME
Semi-parametric bulk and tail regression using spline-based neural networks
University of Arkansas（阿肯色大学）；University of Edinburgh（爱丁堡大学）
本文提出SPQRx，结合样条神经网络与混合GP分布，实现半参数化密度回归，以可靠处理重尾数据的尾部外推。
2026-02-25 stat.ME
High-Dimensional Differentially Private Quantile Regression: Distributed Estimation and Statistical Inference
School of Statistics and Data Science, Shanghai University of Finance and Economics（上海金融学院统计与数据科学学院）；School of Statistics and Data Science, Southeast University（东南大学统计与数据科学学院）；School of Statistics and Data Science, Shanghai University of International Business and Economics（上海国际商务学院统计与数据科学学院）
针对分布式高维数据隐私保护问题，提出基于牛顿变换的差分隐私分位数回归方法，实现近最优统计精度与形式化隐私保障，并构建去偏估计器与高效自助法进行推断。
2026-06-23 cs.LG stat.ML
Beyond Marginal Validity: Finite-Sample Guarantees for Localized Conformal Prediction
EPITA（法国高等计算机与电子技术学院）
针对随机局部共形预测（RLCP）缺乏同时控制条件有效性和先验效率的有限样本保证的问题，本文在特定假设下推导了相关高概率界，阐明了带宽偏差-方差权衡，还分析了数据拆分学习得分的情况，为RLCP提供了理论支撑。
2026-08-07 cs.LG stat.ML
Robust Clustering in Regression Analysis via the Contaminated Gaussian Cluster-Weighted Model
高斯聚类加权模型（CWM）是具有随机协变量的回归模型的混合，允许对由响应变量和协变量组成的随机向量进行灵活聚类。在每个混合分量中，它对协变量和给定协变量的响应都采用高斯分布。为了鲁棒的方法相对于可能的椭圆重尾偏离正态性，由于存在非典型的观察，污染高斯CWM在这里介绍。除了高斯CWM的参数之外，我们的污染CWM的每个混合成分都有一个控制离群值比例的参数，一个控制杠杆点比例的参数，一个指定相对于响应变量的污染程度，一个指定相对于协变量的污染程度。至关重要的是，这些参数不必事先指定，从而为我们的方法增加了灵活性。此外，一旦模型被估计并且观察被分配到组，则可以直接获得典型点、离群值、好杠杆点和坏杠杆点的更精细的组内分类-稳健回归分析中的首要概念。与其他基于混合的污染模型的关系进行了分析，提供了可识别的条件，期望条件最大化算法概述了参数估计，并讨论了各种实施和操作问题。通过蒙特卡罗实验评价了回归系数估计的性质，并与高斯CWM的估计进行了比较。还根据实际数据集进行了敏感性研究。
2014-09-21 math.ST stat.CO stat.ME
Functional Extreme-PLS
Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK（格勒诺布尔阿尔卑斯大学、法国国家信息与自动化研究所、法国国家科学研究中心、格勒诺布尔理工学院）；Modal’X, Université Paris Nanterre（莫达尔X实验室、巴黎楠泰尔大学）
针对离散化函数型框架提出极端降维方法，结合PLS和SIR技术，通过投影协方差最大化捕捉尾部信息，在非线性逆单指标模型下估计指标，并证明渐近一致性。
2026-06-16 math.ST stat.TH
Heavy Tail Robust Estimation and Inference for Average Treatment Effects
针对处理组与控制组协变量有限重叠导致IPW估计量重尾、收敛慢的问题，提出尾截尾IPW估计量，通过自适应截尾可行Z并改进偏差校正，在仅移除极少极端值时实现低偏差、低均方误差且接近正态的估计。
2024-12-11 math.ST stat.ME stat.TH
Distributed Stochastic Smoothing ADMM for Penalized Quantile Regression
Southern University of Science and Technology（南方科技大学）；Yunnan University（云南大学）
针对大型分布式数据下惩罚分位数回归的计算难题，提出分布式随机平滑ADMM算法，通过Huber平滑检查损失实现并行计算，在同质与异质数据分区下均表现良好，阐明了相关权衡关系。
2026-08-11 stat.CO
Graph Attention Network for Node Regression on Random Geometric Graphs with Erdős--Rényi contamination
Department of Statistics, University of California, Riverside（统计学系，加州大学河滨分校）
本文提出了一种针对随机几何图中带有Erdős--Rényi污染的节点回归任务的图注意力网络，通过去噪代理特征提升回归性能。
2026-01-30 cs.IT cs.LG cs.SI
Block Hyper-g Priors in Bayesian Regression
贝叶斯回归的先验分布的发展传统上是由实现合理的模型选择和参数估计的目标驱动的。表征良好性能的属性的形式化导致了g先验的厚尾混合物的发展和普及，如Zellner-Siow和hyper-g先验。特定先验的性质通常在可能性或先验的限制下阐明。在本文中，我们引入了一个新的，条件信息渐近的动机是由共同的数据分析设置，其中至少有一个回归系数是远远大于其他。我们分析了现有的混合物的g先验在此限制下，揭示了两个新的行为，本质上最小二乘（ELS）估计和条件林德利的paradigm（CLP），并认为这些行为是，在一般情况下，不可取的。由于这两种行为背后的驱动程序是使用一个单一的，潜在的尺度参数，这是共同的所有系数，我们提出了一个块超g先验，定义首先分区的协变量成组，然后将独立的超g先验的相应块的系数。我们提供的条件下，ELS和CLP避免了新的类的先验，并提供传统的样本量渐近下的一致性结果。
2015-01-13 math.ST stat.ME stat.TH
Posterior Convergence of Gaussian and General Stochastic Process Regression Under Possible Misspecifications
本文研究了非参数回归模型的后验收敛性，其中未知的回归函数由适当的随机过程建模。在这方面，我们考虑两个设置。第一种设置是基于高斯过程，其中协变量是随机的或非随机的，噪声可以是正态分布或双指数分布。在第二种设置中，我们假设基本的回归函数是由一些合理光滑的，但未指定的随机过程满足合理的条件。噪声的分布也未指定，但假设是厚尾的。在以前的研究中，关于同样的问题，我们不假设真理在于假设的参数空间，从而明确允许的可能性误指定。我们利用Shalizi（2009）的一般结果，不仅建立了后验一致性，而且建立了后验概率收敛的速率，即Kullback-Leibler发散速率。我们还研究了更熟悉的后验收敛速度。有趣的是，我们表明，后验预测分布可以准确地近似最好的可能的预测分布的意义上说，Hellinger距离，以及两个分布之间的全变差距离可以趋于零，尽管误指定。
2020-05-01 math.ST stat.ME stat.TH
