Non-asymptotic Properties of Generalized Mondrian Forests in Statistical Learning
本文在 Mondrian 森林基础上提出广义统计学习框架，涵盖最小二乘、ℓ1、分位数回归及分类，在温和假设下给出遗憾/风险上界并证明一致性。
2025-02-27 math.ST stat.TH
Statistically Significant Linear Regression Coefficients Solely Driven By Outliers In Finite-sample Inference
本研究通过R模拟验证单个异常值可使线性回归不显著系数呈现统计显著性，对比稳健Huber回归，分析异常值影响与诊断方法，关联正态性假设并警示仅用p值的风险，梳理回归方法与高斯-马尔可夫定理的关系。
2025-05-19 econ.EM math.ST stat.ME
On statistical estimation and inferences in optional regression models
本文的主要研究对象是一个非常一般的回归模型在可选的设置-当一个观察过程是一个可选的半鞅依赖于一个未知的参数。众所周知，统计数据可以在没有通常条件的情况下呈现信息流/过滤。估计问题是通过结构最小二乘（LS）估计及其序列版本。本文的主要结果致力于这种LS-估计的强相合性。对于序贯LS-估计，证明了固定精度的性质。
2021-03-15 math.ST q-fin.ST stat.TH
The exact distribution of the conditional likelihood-ratio test in instrumental variables regression
本文推导了工具变量回归中条件似然比检验在弱工具和多内生变量下的精确渐近分布，以集中矩阵所有特征值为条件，相比现有上界方法显著提高了检验功效，并提供了计算方法与数值验证。
2025-09-07 econ.EM math.ST stat.TH
Statistical Inference for High-Dimensional Robust Linear Regression Models via Recursive Online-Score Estimation
本文提出将递归在线得分估计（ROSE）框架扩展至非凸惩罚M估计，用于稳健高维线性回归的估计与推断，并证明估计量的一致性与渐近正态性，模拟和实际应用验证了其优越性。
2025-04-12 math.ST stat.ME stat.TH
Statistical Inference in High-dimensional Poisson Regression with Applications to Mediation Analysis
本文研究高维稀疏 Poisson 回归的统计推断，提出回归向量线性与二次变换的偏差校正估计量、置信区间和检验方法，并用于计数结果的高维中介分析。
2024-10-28 math.ST stat.ME stat.TH
Regression and Causality
干预的因果效应（治疗/暴露）对结果的影响可以通过以下方式进行估计：i）指定关于数据生成过程的知识; ii）评估在给定指定知识的情况下可以在什么假设下识别目标量，例如因果比值比（并且给定测量数据）;以及然后，iii）使用适当的统计估计技术来估计期望的感兴趣参数。由于回归是统计分析的基石，似乎很明显要问：使用估计的回归参数进行因果效应估计是否合适？事实证明，使用回归进行效果估计是可能的，但通常需要比竞争方法更多的假设。这份手稿提供了一个全面的总结，需要确定和估计的因果参数使用回归的假设，同样重要的是，讨论了统计实践的影响。
2021-03-04 math.ST stat.ME stat.TH
Statistical Inference on High Dimensional Gaussian Graphical Regression Models
针对高维高斯图回归中统计推断未被探索的问题，提出基于多任务学习器的去偏估计量，通过新型投影技术降低计算成本，证明其渐近正态性可支撑有效统计推断，模拟和脑癌基因数据分析验证了实用性。
2024-11-03 math.ST stat.ME stat.TH
Statistical Inference for High-Dimensional Linear Regression with Blockwise Missing Data
本文针对具有块状缺失协变量和部分观测响应变量的高维线性回归模型，提出基于无偏估计方程和块状插补的高效估计器，并利用创新的投影估计方程技术构建渐近正态的去偏估计器，从而实现有效的置信区间和统计检验，在数值研究和阿尔茨海默病数据分析中优于现有方法。
2023-06-28 math.ST stat.ME stat.ML
Debiased Nonparametric Regression for Statistical Inference and Distributionally Robustness
The University of Tokyo（东京大学）
本文提出一种无模型的非参数回归去偏方法，通过加入估计条件期望残差的校正项，使估计量在温和条件下具备风险收敛与渐近正态性，从而支持统计推断并提升协变量偏移下的鲁棒性。
2025-03-17 cs.LG econ.EM math.ST
Statistically and Computationally Efficient Change Point Localization in Regression Settings
检测所观察到的时间序列的潜在分布何时改变是在广泛的应用中出现的基本问题。在本文中，我们研究了高维回归设置中的多个变点定位，这是特别具有挑战性的，因为没有直接观测的参数的兴趣。具体而言，我们假设我们观察到$\{ x_t, y_t\}_{t=1}^n$，其中$ \{ x_t\}_{t=1}^n $是$p$维协变量，$\{y_t\}_{t=1}^n$是满足$\mathbb{E}(y_t) = x_t^\top β_t^* \text{ for } 1\le t \le n $的单变量响应，而$\{β_t^*\}_{t=1}^n $是以分段恒定方式随时间变化的未观察到的回归系数。本文提出了一种新的基于投影的变分算法--方差投影野二进制分割算法（Variance Projected Wild Binary Segmentation~，VPWBS），它将$p$维回归中的变点检测问题转化为一维时间序列均值变点检测问题。VPWBS实现尖锐的本地化率$O_p(1/n)$的对数因子，显着改善，从最佳率$O_p(1/\sqrt{n})$已知在现有文献中的多个变点定位在高维回归。进行了大量的数值实验，以证明两个国家的最先进的算法，特别是当回归系数$\{β_t^*\}_{t=1}^n $的变化的大小是小的VPWBS的鲁棒性和良好的性能。
2021-10-09 math.ST stat.TH
Model-free Study of Ordinary Least Squares Linear Regression
普通最小二乘（OLS）线性回归是数据分析中最基本的统计技术之一。在主流文献和统计教育中，对线性回归的研究通常局限于协变量固定、误差为均值零且方差与（固定）协变量无关的情况。尽管早在20世纪60年代，OLS就在错误规范下进行了研究，但其含义尚未赶上主流文献和应用科学。本文是一个统一的观点，使各种影响的错误规范站出来的尝试。
2018-09-27 math.ST stat.TH
Statistical Query Lower Bounds for List-Decodable Linear Regression
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加州大学圣地亚哥分校）；Web 3 Foundation（Web3基金会）
我们研究了列表可解码线性回归问题，其中对手可以破坏大多数的例子。具体地，我们给出标记的示例$(x, y) \in \mathbb{R}^d \times \mathbb{R}$的集合$T$和参数$0< α<1/2$，使得$T$中的点的$α$分数是i.i.d.样本来自具有高斯协变量的线性回归模型，而剩余的点的$(1-α)$分数来自任意噪声分布。目标是输出一个小的假设向量列表，使得其中至少有一个接近目标回归向量。我们的主要结果是一个统计查询（SQ）下界的$d^{\mathrm{poly}(1/α)}$这个问题。我们的SQ下限定性匹配以前开发的算法的性能，提供证据表明，目前的上限为这项任务几乎是最好的可能。
2021-06-17 cs.DS cs.LG math.ST
Statistical inference in compound functional models
我们考虑一个一般的非参数回归模型称为复合模型。它包括，作为特殊情况，稀疏加性回归和非参数（或线性）回归与许多协变量，但可能有少量的相关协变量。复合模型的特点是由三个主要参数：结构参数描述的“宏观”形式的复合函数，“微观”稀疏性参数表示的最大数量的相关协变量在每个组件和通常的光滑性参数对应的复杂性的成员的化合物。我们发现非渐近极小极大收敛速率的估计在这样的模型作为这三个参数的函数。我们还表明，这种速度可以达到自适应的方式。
2013-01-02 math.ST stat.TH
Sublinear expectation linear regression
非线性期望是概率论的一个新的理论框架，在许多科学领域，特别是在金融风险的度量和管理方面有着潜在的应用价值。然而，在非线性预期框架下，相关的统计模型和统计推断尚未得到很好的建立。本文的目的是构造次线性期望回归并研究其统计推断。首先定义了一个次线性期望线性回归，并给出了它的可辨识性。然后，基于次线性期望的表示定理和新定义的模型，提出了几种参数估计和模型预测，得到了估计的渐近正态性和预测的Minimax性质.此外，还提出了新的方法来实现高维模型的变量选择。最后，仿真研究和现实生活中的例子来说明新的模型和方法。所有开发的概念和方法是本质上不同于经典的，可以被认为是一般的非线性期望统计的基础。
2013-04-12 math.ST stat.TH
Transfer Learning for Linear Regression: a Statistical Test of Gain
EDF R&D（EDF研发中心）；Aix-Marseille Université（艾克斯-马赛大学）；Université Lumière Lyon 2（里昂第二大学）；Université Paris-Est Marne-la-Vallée（巴黎东大学马恩河谷校区）
迁移学习，也被称为知识迁移，旨在将知识从源数据集重用到类似的目标数据集。虽然许多实证研究说明了迁移学习的好处，但很少有理论结果，特别是对于回归问题。本文提出了一个线性模型参数传递问题的理论框架。它示出了一个新的输入向量$x$的传输质量取决于其表示在一个本征基涉及的参数的问题。此外，构建统计检验来预测微调模型对于未观察样本的预测二次风险是否低于基础目标模型。在合成数据和实际用电数据上说明了测试的有效性。
2021-02-18 cs.LG math.ST stat.ML
Statistical Inference for Genetic Relatedness Based on High-Dimensional Logistic Regression
研究了基于个体水平全基因组关联数据的二元性状间遗传相关性的统计推断问题。具体而言，在高维逻辑斯谛回归模型下，我们定义了表征性状间遗传相关、遗传协方差和性状特异性遗传方差的参数。提出了一种新的加权去偏方法，并给出了计算效率较高的去偏估计。研究了这些估计的收敛速度，并在较弱的条件下证明了它们的渐近正态性。此外，我们构造了这些参数的置信区间和统计检验，并提供了理论依据的方法，包括覆盖概率和预期长度的置信区间，以及拟议的测试的大小和功效。在模型生成数据和模拟遗传数据下进行了数值研究，以显示所提出的方法的优越性。通过分析自身免疫性疾病的真实数据集，我们证明了它能够获得关于10种儿科自身免疫性疾病之间共享遗传结构的新见解。
2022-10-05 math.ST stat.AP stat.ME
Statistical Inference for Functional Linear Quantile Regression
我们提出了功能线性分位数回归的推理工具，其中标量响应的条件分位数被假设为功能协变量的线性泛函。与传统的方法相比，我们采用核卷积来平滑原始损失函数。系数函数在再生核希尔伯特空间框架下估计。梯度下降算法的目的是最小化平滑损失函数与粗糙度惩罚。借助于Banach不动点定理，在适当的希尔伯特空间中证明了我们所提出的估计作为正则化损失函数的最小值的存在唯一性.此外，我们建立了估计的收敛速度以及弱收敛。据我们所知，这是函数分位数回归模型的第一个弱收敛结果。然后，基于这些理论性质，开发了真系数函数的逐点置信区间和同步置信带。数值研究，包括模拟和数据应用进行调查的性能，我们的估计和推理工具在有限样本。
2022-02-23 math.ST stat.ME stat.TH
Statistical inference for the slope parameter in functional linear regression
本文考虑了具有函数回归和响应的线性回归模型$Y =S X+\varepsilon $.我们开发了新的推理工具，以量化从一个假设的运营商$S_0$的真实斜率$S$的偏差希尔伯特-施密特规范$\| S- S_0\|^2$，以及预测误差$\mathbb{E} \| S X - S_0 X \|^2$。我们的分析是适用于功能的时间序列和渐近关键统计的基础上。这使得它特别用户友好，因为它避免了选择长期方差估计或相关数据的自举中固有的调整参数。我们还讨论了两个样本问题以及变点检测。有限样本性质的研究通过模拟研究。在数学上，我们的方法是基于流行的频谱截止估计$\hat S_N$的$S$的顺序版本。众所周知，函数回归模型中的$L^2$ -极大极小率，无论是在估计还是预测中，都比$1/\sqrt{N}$（其中$N$表示样本量）慢得多，并且$S$的标准估计量不会弱收敛到非退化极限。然而，我们证明了简单的插件估计-如$\| \hat S_N - S_0 \|^2$为$\| S - S_0 \|^2$ -是$\sqrt{N}$ -一致的，其顺序版本满足弱不变性原则。这些结果是基于$L^2$ -范数的平滑效应，并建立了一个新的证明技术，{ \it平滑移位}，这在其他统计逆问题有潜在的应用。
2021-08-16 math.ST stat.TH
An Exact Pointwise Characterization for Total Variation Denoising in Quantile Regression
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文通过推导分位数总变分去噪估计器的精确minmax/maxmin表示，提供了其解集的完整点wise描述，并揭示了其结构特性及在分位数水平上的非交叉性。
2026-05-02 math.ST stat.TH
Statistical Inference for Gradient Boosting Regression
School of Economics, Fudan University（复旦大学经济学院）；Department of Statistics and Data Science, The Wharton School, University of Pennsylvania（宾夕法尼亚大学沃顿商学院统计与数据科学系）
本文提出融合 dropout/并行训练与正则化的梯度提升回归统计推断框架，基于中心极限定理构建区间估计与变量重要性检验。
2025-09-27 cs.LG math.ST stat.ME
Statistical Inference after Kernel Ridge Regression Imputation under item nonresponse
插补是处理缺失数据的常用技术。我们考虑一个非参数方法填补使用核岭回归技术，并提出一致的方差估计。建议的方差估计是基于一个线性化的方法，采用熵的方法来估计密度比。当在核岭回归插补中利用Sobolev空间时，建立了插补估计的根-n相合性，从而使我们能够发展所提出的方差估计。合成数据实验证实了我们的理论。
2021-01-29 stat.ME stat.ML
Nonparametric regression with nonparametrically generated covariates
我们使用协变量分析非参数回归估计的统计特性，这些协变量是不可直接观察的，但在初步步骤中已经从数据中估计出来。这些所谓的生成协变量出现在许多应用中，包括两阶段非参数回归，估计联立方程模型或截尾回归模型。然而，到目前为止，似乎没有一般的理论，他们对最终估计的统计性质的影响。我们的论文提供了这样的结果。我们推导出一个随机扩展，其特征在于生成步骤对最终估计量的影响，并使用它来获得一致性和渐近分布占所生成的协变量的存在率。
2012-07-24 math.ST stat.TH
Neural Networks for Partially Linear Quantile Regression
深度学习在各种应用中取得了巨大的成功，但它在分位数回归中的应用仍然很少。深度学习方法的一个主要优势是它可以以比非参数平滑方法更简洁的方式灵活地对复杂数据进行建模。然而，尽管深度学习在预测方面带来了突破，但由于具有数百万参数的多层结构的黑箱性质，它往往缺乏可解释性，因此它不太适合统计推断。在本文中，我们利用深度学习的优势将其应用于分位数回归，目标是产生可解释的结果并执行统计推断。我们通过采用基于部分线性分位数回归模型的半参数方法来实现这一点，其中统计推断的主要兴趣协变量线性建模，所有其他协变量通过深度神经网络非参数建模。除了新的方法，我们提供了理论证明所提出的模型，建立根$n$一致性和渐近正态性的参数系数估计和极小极大最优收敛速度的神经非参数函数估计。在几个模拟和真实数据的例子中，我们提出的模型根据经验产生了优于各种替代方法的估计和更准确的预测。
2021-06-11 math.ST stat.TH
SIHR: Statistical Inference in High-Dimensional Linear and Logistic Regression Models
本研究推出用于高维广义线性模型统计推断的R包SIHR，支持单/两样本场景下低维目标的置信区间构建与假设检验，通过数值示例和真实数据应用验证了其性能与实用性。
2023-05-02 stat.CO stat.ME stat.OT
Beyond Covariance Matrix: The Statistical Complexity of Private Linear Regression
本文揭示私有线性回归的统计复杂度由协方差矩阵的 L1 类似物而非协方差矩阵本身刻画，提出信息加权回归方法达到极小极大最优速率，并应用于私有线性上下文赌博机，证明联合隐私几乎无额外代价。
2025-11-05 cs.AI cs.CR cs.LG
Distributed inference for quantile regression processes
大规模数据集的可用性增加，为发现其分布中的微妙模式提供了独特的机会，但也带来了压倒性的计算挑战。为了充分利用大数据中包含的信息，我们提出了一个两步过程：（i）在并行计算环境中估计不同级别的条件分位数函数;（ii）基于这些估计的分位数曲线通过投影构建条件分位数回归过程。我们的一般分位数回归框架涵盖了固定或增长维度的线性模型和系列近似模型。我们证明，所提出的程序不牺牲任何统计推断的准确性，提供了分布式计算单元和分位数水平的数量选择适当。特别是，一个尖锐的上界为前者和一个尖锐的下界为后者推导出捕捉最小的计算成本从统计的角度来看。作为一个重要的应用，考虑了条件分布函数的统计推断。此外，我们提出了计算效率高的方法来进行推理，在上述分布式估计设置。这些方法直接利用子样本估计量的可用性，并且可以在几乎没有额外计算成本的情况下进行。模拟结果证实了我们的统计推断理论。
2018-04-10 math.ST stat.ME stat.TH
MM Algorithms for Statistical Estimation in Quantile Regression
本文针对线性分位数回归的统计估计问题构建并测试易于编码的 MM 算法，并通过模拟比较与多组真实数据应用验证其有效性。
2025-02-17 stat.AP stat.CO stat.ME
Exact computation of GMM estimators for instrumental variable quantile regression models
证明了工具变量分位数回归（IVQR）模型的广义矩估计问题可以等价地转化为一个混合整数二次规划问题.这使得精确计算IVQR模型的GMM估计量。我们通过蒙特卡罗实验和应用程序的鱼的需求说明了我们的算法的实用性。
2017-03-28 stat.CO
Optimum Statistical Estimation with Strategic Data Sources
McGill University（麦吉尔大学）；MIT（麻省理工学院）；U.C. Berkeley（加州大学伯克利分校）
我们提出了一个最佳的机制，提供货币激励的数据源的统计估计，如线性回归，使高质量的数据以低成本提供，在这个意义上，付款和估计误差的总和最小化。该机制适用于广泛的估计，包括线性和多项式回归，核回归，并在一些额外的假设下，岭回归。它还概括到几个目标，包括最小化估计误差的预算约束。除了回归问题的具体结果，我们还提供了一个机制设计框架，通过该框架来设计和分析统计估计量，其示例由工人提供，用于标记所述示例的成本。
2015-04-24 cs.GT cs.LG stat.ML
A statistical perspective of sampling scores for linear regression
本文考虑了从噪声样本中学习线性模型的统计问题。现有的工作集中在近似最小二乘解决方案，通过使用基于分数的重要性抽样分布。然而，没有有限样本的统计保证，没有计算效率的最佳采样策略已被提出。为了评估不同抽样策略的统计特性，我们提出了一个简单而有效的估计，这是易于理论分析，是有用的多任务线性回归。对于任何给定的抽样分数，我们推导出所提出的估计的精确均方误差。基于最小化均方误差，我们提出了估计器和预测器的最佳采样分数，并表明它们受到噪声信号比的影响。数值模拟结果与理论分析吻合较好。
2016-02-10 stat.ML
Parallel square-root statistical linear regression for inference in nonlinear state space models
本文提出一种用于非线性非高斯状态空间模型状态与参数估计的并行时间方法，结合统计线性回归与迭代后验线性化范式，通过平方根形式重写提升数值稳定性并保持并行能力，利用固定点结构实现对数时间复杂度的似然参数估计，并在GPU实验中验证了性能。
2023-04-05 cs.DC stat.CO
Numerically robust square root implementations of statistical linear regression filters and smoothers
针对基于 Cholesky 降级更新的滤波与平滑方法易受舍入误差影响的问题，本文提出采用 QR 分解的统计线性回归滤波器和平滑器平方根实现，并通过双、单精度下的病态问题实验证明其数值更稳健。
2024-06-18 cs.NA math.NA stat.ME
SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression
Google Research（谷歌研究院）；Google Health（谷歌健康）
逻辑斯谛回归仍然是应用统计学、机器学习和数据科学中使用最广泛的工具之一。然而，在中等高维的问题，其中的功能$d$的数量是一个不可忽略的部分的样本大小$n$，逻辑斯谛回归最大似然估计（MLE），和统计程序的基础上，其分布的大样本近似，表现不佳。最近，Sur和Candès（2019）表明，这些问题可以通过在这个高维区域中应用MLE采样分布的新近似来纠正。不幸的是，这些校正在实践中难以实现，因为它们需要\emph{signal strength}的估计，\emph{signal strength}是逻辑斯谛回归的基础参数$β$的函数。为了解决这个问题，我们提出了SLOE，一个快速和直接的方法来估计信号强度的逻辑斯谛回归。SLOE的关键见解是，Sur和Candès（2019）校正可以根据\emph{corrupted signal strength}重新参数化，\emph{corrupted signal strength}仅是估计参数$\widehat β$的函数。我们提出了这个量的估计，证明它是一致的，在相关的高维制度，并表明使用SLOE的维数校正是准确的有限样本。与现有的ProbeFrontier启发式相比，SLOE在概念上更简单，速度更快，适合日常使用。我们证明了常规维度校正的重要性，在心脏病数据集从UCI存储库，和基因组学应用程序使用的数据从英国生物银行。我们为这种方法提供了一个…
2021-05-25 cs.LG math.ST stat.ML
Computationally Efficient and Statistically Optimal Robust High-Dimensional Linear Regression
本文提出投影次梯度下降算法，用于高维稀疏和低秩线性回归，在重尾噪声下实现计算高效且统计最优，并揭示双阶段收敛现象。
2023-05-10 cs.IT math.IT math.ST
New robust statistical procedures for polytomous logistic regression models
本文导出了一类新的估计族，即最小密度幂离估计，作为多分类逻辑斯谛回归模型极大似然估计的稳健推广.在此基础上，引入了线性假设下的Wald型检验统计量族。通过经典的影响函数分析，从理论上研究了所提出的估计量和检验统计量的稳健性。适当的现实生活中的例子，以证明需要适当的强大的统计程序，而不是基于似然推断的多分类逻辑斯谛回归模型。通过适当的模拟研究，进一步证实了本文建立的理论结果的有效性。最后，提出了一种数据驱动的鲁棒性调整参数的选择方法，并给出了经验证明。
2018-06-26 stat.ME
Exact Post-Selection Inference for Sequential Regression Procedures
我们提出了新的推理工具，向前逐步回归，最小角度回归，和套索。假设一个高斯模型的观察向量y，我们首先描述了一个一般的计划，以执行有效的推理后，任何选择事件，可以被描述为y落入一个多面体集。这个框架允许我们在前向逐步回归或最小角度回归的任何一步，或者沿着套索正则化路径的任何一步推导出条件（后选择）假设检验，因为事实证明，这些过程的选择事件可以表示为y上的多面体约束。在有限样本中，与这些检验相关的p值在零分布下完全均匀，得到精确的第一类错误控制。检验也可以反向以产生适当的潜在回归参数的置信区间。R包“selectiveInference”在CRAN库中免费提供，实现了本文中描述的新推理工具。
2015-10-11 stat.ME
A simulation study comparing statistical approaches for estimating extreme quantile regression with an application to forecasting of fire risk
本研究通过模拟框架比较了多种极值分位数回归估计方法在火灾风险预测中的表现，发现最高气温与火灾频率正相关，并提出混合策略以提升极端事件预测的准确性与可解释性。
2025-06-29 stat.ME
Linear Regression with an Unknown Permutation: Statistical and Computational Limits
考虑基于观测$y = Π^* A x^* + w$的具有未知置换的噪声线性观测模型，其中$x^* \in \mathbb{R}^d$是未知向量，$Π^*$是未知$n \times n$置换矩阵，并且$w \in \mathbb{R}^n$是加性高斯噪声。我们分析了在一个随机设计设置中的矩阵$A$的条目被独立同分布绘制的置换恢复问题。从一个标准的高斯分布，并建立尖锐的条件下，$Π^*$是完全和近似可恢复的SNR，样本大小$n$，和尺寸$d$。在计算方面，我们证明了$Π^*$的最大似然估计是NP-难计算的，同时也提供了一个多项式时间的算法时，$d =1$。
2016-08-09 cs.IT math.IT math.ST
Divide and Conquer Kernel Ridge Regression: A Distributed Algorithm with Minimax Optimal Rates
UC Berkeley（加州大学伯克利分校）
我们建立了最佳的收敛速度的分解为基础的可扩展的方法，核岭回归。该方法描述简单：它随机将大小为N的数据集划分为m个相等大小的子集，为每个子集计算独立的核岭回归估计，然后将局部解平均为全局预测器。与对所有N个样本执行核岭回归的标准方法相比，这种划分导致计算时间大幅减少。我们的两个主要定理建立，尽管计算速度加快，统计最优性被保留：只要m不是太大，分区为基础的估计达到统计最小最大率在所有估计使用N个样本的集合。作为具体的例子，我们的理论保证，处理器的数量m可能会增长接近线性有限秩内核和高斯内核和多项式N为索伯列夫空间，这反过来又允许计算成本大幅降低。最后，我们对模拟数据和音乐预测任务进行了实验，补充了我们的理论结果，展示了我们的方法在计算和统计方面的优势。
2014-04-29 cs.LG math.ST stat.ML
Non-Asymptotic Guarantees for Robust Statistical Learning under Infinite Variance Assumption
University of Macau（澳门大学）；Zhuhai UM Science & Technology Research Institute（珠海澳大科技研究院）；Peking University（北京大学）
在统计学和机器学习中，对于具有重尾和有界方差数据的模型，人们对开发鲁棒估计器的兴趣激增，而很少有工作施加无界方差。本文提出了两类稳健估计：岭对数截尾M估计和弹性网对数截尾M估计。第一个估计器应用于凸回归，如分位数回归和广义线性模型，而另一个估计器应用于高维非凸学习问题，如通过深度神经网络的回归。模拟和实际数据分析证明了对数截尾估计相对于标准估计的稳健性。
2022-10-11 cs.LG math.ST stat.ML
How Fast Do Signatures Learn? Statistical Theory and Applications for Path Regression
Mathematical Institute, University of Oxford（牛津大学数学研究所）；Center for Data Science, Peking University（北京大学数据科学中心）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Oxford Man Institute, University of Oxford（牛津大学牛津人学研究所）；Center for Statistical Science, Peking University（北京大学统计科学中心）
研究路径值协变量下基于签名的路径回归，建立伊藤扩散光滑泛函的\(L^2\)逼近率并证明其最优，通过三种统计学习程序传播截断误差并建立一致性，三个实际应用显示签名可改善预测。
2026-08-25 math.ST stat.ME stat.ML
Exact adaptive confidence intervals for linear regression coefficients
提出了一种正态线性回归模型系数的自适应置信区间估计方法。该过程具有作为模型参数的函数恒定的频率覆盖率，但提供比通常的间隔过程更小的间隔，平均跨越回归系数。所提出的程序是通过定义一类CIP，都有确切的$1-α$频率覆盖，然后从这个类中选择的程序，最大限度地减少了事先预期的间隔宽度。这样的过程可以被描述为“频率论，贝叶斯辅助”或FAB。我们描述了一种自适应的方法，用于估计先验分布的数据，使精确的非渐近$1-α$覆盖率保持。此外，在“$p$与$n$一起生长“的渐近场景中，该自适应FAB过程在$1-α$频率主义CIP中是渐近贝叶斯最优的。
2017-07-06 stat.ME
High-Dimensional Gaussian Copula Regression: Adaptive Estimation and Statistical Inference
我们开发的自适应估计和推理方法，高维高斯copula回归，实现相同的性能，而无需知识的边际变换的高维线性回归。利用Kendall的基于τ的协方差阵估计，提出了一个$\ell_1$正则化估计和相应的去偏估计的置信区间的建设和假设检验。理论性质的程序进行了研究，所提出的估计和推理方法是适应未知的单调边际变换。还考虑了对给定协变量值的响应的预测。该程序易于实现，并在数值上表现良好。该方法也被应用于分析社区和犯罪的非规范化数据从UCI机器学习知识库。
2015-12-08 stat.ME
Statistical Estimation: From Denoising to Sparse Regression and Hidden Cliques
这些笔记回顾了Andrea Montanari教授关于线性模型统计估计主题的六次讲座。前两堂课涵盖了从极小极大风险的线性测量中恢复信号的原理。随后的讲座演示了这些原则的应用，在科学和工程的一些实际问题。具体而言，这些主题包括对错误信号的去噪，压缩感知信号的恢复，低秩矩阵的重构，以及大型网络中隐藏集团的发现。
2014-09-19 cs.IT math.IT stat.ML
Statistical inference for high-dimensional convoluted rank regression
本文研究高维卷积秩回归的统计推断，建立惩罚估计误差界与去偏估计的 Bahadur 表示，并借助 Gaussian 近似和 bootstrap 构造同时置信区间。
2025-02-19 stat.ME
Statistical Estimation for Covariance Structures with Tail Estimates using Nodewise Quantile Predictive Regression Models
本文针对带尾部估计的协方差结构，提出用分位数预测回归估计VaR-CoVaR风险矩阵，还构建了无调优参数、具有一致性的FOCE变量选择算法，经真实与模拟数据集验证可用于网络系统性风险建模。
2023-07-24 econ.EM stat.ME
Ising Model Selection Using $\ell_{1}$-Regularized Linear Regression: A Statistical Mechanics Analysis
The University of Tokyo（东京大学）；Institute for Physics of Intelligence（智能物理研究所）；Kyoto University（京都大学）
我们从理论上分析了典型的学习性能的$\ell_{1}$ -正则化线性回归（$\ell_1$ -LinR）伊辛模型选择使用的副本方法从统计力学。对于顺磁相的典型随机正则图，得到了$\ell_1$ -LinR的典型样本复杂度的精确估计.值得注意的是，尽管模型错误指定，$\ell_1$ -LinR是与$\ell_{1}$ -正则化逻辑回归（$\ell_1$ -LogR）相同的样本复杂性顺序一致的模型选择，即，$M=\mathcal{O}\left(\log N\right)$，其中$N$是伊辛模型的变量数。此外，我们提供了一个有效的方法来准确地预测非渐近行为的$\ell_1$ -LinR中度$M, N$，如精度和召回。模拟结果表明，理论预测和实验结果之间有相当好的一致性，即使是有许多循环的图形，这支持了我们的研究结果。虽然本文主要集中在$\ell_1$ -LinR，我们的方法是很容易适用于精确地表征典型的学习性能的广泛的一类$\ell_{1}$ -正则化$M$ -估计，包括$\ell_1$ -LogR和交互筛选。
2021-11-02 cond-mat.dis-nn cs.AI cs.LG
Exact Post Model Selection Inference for Marginal Screening
我们开发了一个框架后模型选择推理，通过边缘筛选，在线性回归。在这个框架的核心是一个结果，其特征在于响应$y$的线性函数的精确分布，条件是选择模型（"选择条件”框架）。这使我们能够为解释选择过程的回归系数构建有效的置信区间和假设检验。在最近的工作在高维统计，我们的结果是准确的（非渐近），不需要特征值的假设上的设计矩阵$X$。此外，与线性回归的成本相比，边缘回归、构造置信区间和假设检验的计算成本可以忽略不计，从而使得我们的方法特别适合于极大的数据集。虽然我们专注于边缘筛选来说明选择框架的条件的适用性，这个框架是更广泛的适用。我们将展示如何将所提出的框架应用于其他几个选择程序，包括正交匹配追求，非负最小二乘，边缘筛选+套索。
2014-02-28 cs.LG math.ST stat.ME
Inverse Sampling of Degenerate Datasets from a Linear Regression Line
当线性回归生成（相关）标量响应与一个或多个自变量之间的关系时，提供不同图形趋势的各种数据集可以基于相同的统计特性发展类似的关系。先进的统计方法，如神经网络和机器学习方法，是非常必要的处理，表征和分析这些退化的数据集。另一方面，在应用统计学的研究和教育中，精确地创建纯退化数据集对于测试新模型是必不可少的。在这种情况下，本研究的特点，著名的Anscombe数据集，并提供了一个通用的算法，用于创建多个配对的数据集相同的统计属性。
2021-08-25 stat.ME
Max-Affine Regression: Provable, Tractable, and Near-Optimal Statistical Estimation
UC Berkeley（加州大学伯克利分校）
最大仿射回归是指这样的模型，其中未知回归函数被建模为固定$k \geq 1$的$k$未知仿射函数的最大值。这推广了线性回归和（实）相位恢复，并且与凸回归密切相关。工作在一个非渐近的框架内，我们研究这个问题在高维设置假设$k$是一个固定的常数，并专注于估计的仿射函数的未知系数的模型。我们分析了自然交替最小化（AM）算法的非凸最小二乘目标时，设计是随机的。我们表明，AM算法，当适当地初始化，收敛概率高，并在几何速度到一个小球周围的最佳系数。为了初始化算法，我们提出并分析了一个组合的谱方法和随机搜索计划在低维空间，这可能是独立的利益。我们获得的最终速率是作为维度、样本量和噪声方差的函数的近参数和最小最大最优（直到多对数因子）。从这个意义上说，我们的方法应该被视为一个直接的和可实现的方法，强制正则化，以减轻凸回归类型的问题的维数灾难。作为我们的分析的一个副产品，我们还获得了保证的经典算法的相位恢复问题的设计分布上的假设比以前已知的要弱得多。数值实验说明了我们的界限在各种问题参数的尖锐性。
2019-06-21 cs.IT cs.LG math.IT
Statistical inference with anchored Bayesian mixture of regressions models: A case study analysis of allometric data
针对哺乳动物脑质量与身体质量异速生长关系的线性模型拟合问题，提出用案例影响诊断选择锚点的锚定贝叶斯回归混合模型，并通过真实数据与模拟比较三种锚定方法。
2023-06-08 stat.AP stat.ME
Communication-Constrained Distributed Quantile Regression with Optimal Statistical Guarantees
我们解决的问题，如何实现分布式分位数回归没有严格的缩放条件下的最佳推理。由于分位数回归（QR）损失函数的非平滑性质，这是具有挑战性的，这使得现有方法的使用无效。通过一个双平滑的方法，适用于本地（在每个数据源）和全球目标函数的困难得到解决。尽管依赖于局部和全局平滑参数的微妙组合，但分位数回归模型是完全参数化的，从而便于解释。在低维的制度，我们建立了一个有限样本的理论框架，顺序定义的分布QR估计。这揭示了通信成本和统计误差之间的权衡。我们进一步讨论和比较几种替代的置信集的建设，基于反演的沃尔德和得分型测试和rescue技术，详细介绍了改进，是有效的更极端的分位数系数。在高维情况下，采用了稀疏框架，其中所提出的双平滑目标函数与$\ell_1$ -惩罚互补。我们表明，相应的分布式惩罚QR估计达到了全局收敛速度后，一个接近常数的通信轮数。一个全面的模拟研究进一步阐明了我们的研究结果。
2022-08-22 stat.ME stat.ML
Statistical Inference for Four-Regime Segmented Regression Models
针对时间相依数据，提出带多元协变量依赖边界的四机制分段回归模型，设计混合整数二次规划估计算法与平滑自助推断方法，经模拟和北京PM2.5案例验证了方法有效性。
2024-10-06 stat.ME
