Sharp Generalization for Nonparametric Regression in Interpolation Space by Over-Parameterized Neural Networks Trained with Preconditioned Gradient Descent and Early Stopping
School of Computing and Augmented Intelligence（计算与增强智能学院）；Arizona State University（亚利桑那州立大学）；VecML Inc.（VecML公司）
本文针对插值空间下的非参数回归问题，提出带早停的预处理梯度下降算法训练过参数化两层神经网络，通过RKHS分解与局部Rademacher复杂度分析，证明其获得了优于现有近似最优速率与标准NTK机制下核回归速率的锐化泛化速率。
2026-10-27 cs.LG math.ST stat.ML
Model inference for Ordinary Differential Equations by parametric polynomial kernel regression
The Alan Turing Institute（艾伦·图灵研究所）；Mathematics Institute, University of Warwick（华威大学数学研究所）
动态系统的模型推断旨在从观测结果中估计系统的未来行为。无模型的统计方法，如人工神经网络，往往对这些任务表现不佳。因此，它们不太适合应用中的许多问题，例如贝叶斯滤波和可靠性估计。这项工作介绍了一个参数多项式核方法，可用于推断未来的行为的常微分方程模型，包括混沌动力系统，从观察。使用数值积分技术，可以使用反向传播和随机梯度下降来学习常微分方程的参数表示。这里提出的多项式技术是基于非参数方法，核岭回归。然而，非参数核岭回归的时间复杂度与训练数据点的数量成三次比例。我们的参数多项式方法避免了这种维数灾难的表现，这在处理大型时间序列数据集时变得特别相关。两个数值演示。首先，一个简单的回归测试的情况下，用来说明该方法，并与标准的人工神经网络技术的性能进行比较。第二，一个更实质性的测试案例是混沌时空动力系统的推论，洛伦兹-伊曼纽尔系统，从观察。我们的方法是能够成功地跟踪系统的未来行为的时间周期远大于训练数据采样率。最后，提出了该方法的一些局限性，以及为未来的工作，以减轻这些限制提出了方向。
2019-08-06 cs.LG stat.ML
Machine Learning for Multi-Output Regression: When should a holistic multivariate approach be preferred over separate univariate ones?
TU Dortmund University（多特蒙德工业大学）
基于树的集成，如随机森林，是统计学习方法中的现代经典。特别是，它们用于预测单变量响应。在多个输出的情况下，问题出现了，我们是否单独拟合单变量模型或直接遵循多变量方法。对于后者，存在几种可能性，例如基于多输出回归的修改的分裂或停止规则。在这项工作中，我们比较了这些方法在广泛的模拟，以帮助回答的主要问题时，使用多元集成技术。
2022-01-14 cs.LG stat.ML
Adaptively Truncated Signature-based Logistic Regression for Semi-parametric Functional Classification
Institute of Mathematical Sciences, ShanghaiTech University（数学科学研究院，上海科技大学）
提出路径签名逻辑回归（PSLR）半参数框架用于向量值功能数据分类。利用路径签名特性，有半参数加法结构及数据驱动的签名截断阶数自适应选择方法，实验表明其性能优于传统方法。
2026-09-29 cs.LG stat.ML
Progression: an extrapolation principle for regression
针对回归分布外泛化时非参数保证失效的问题，研究基于尾依赖理论提出progression半参数外推方法，可结合现有模型提升分布外样本的外推性能并提供近似误差保证。
2024-10-30 stat.ME stat.ML
Optimal stopping via reinforced regression
在这篇文章中，我们提出了一种新的方法来解决数字最优停止问题通过加强回归基于蒙特卡罗算法。该方法的主要思想是在每个反向归纳步骤中通过基于先前估计的连续值添加新的基函数来加强标准线性回归算法。所提出的方法说明了一个数值例子，从数学金融。
2019-07-01 cs.NA math.NA q-fin.CP
On Regularization via Early Stopping for Least Squares Regression
Department of Mathematics, Boston College（波士顿学院数学系）；ORFE Department, Princeton University（普林斯顿大学ORFE系）
研究机器学习中提前停止对模型参数和泛化能力的影响。通过分析线性回归离散全批量梯度下降动态，在最小分布假设下刻画参数轨迹和预期超额风险，证明提前停止与广义岭回归最小范数解等价且有益，并给出最优停止时间估计。
2026-07-07 cs.LG math.OC math.ST
Robust Linear Regression: Gradient-descent, Early-stopping, and Beyond
Facebook AI Research（脸书人工智能研究院）
在这项工作中，我们研究了对抗性攻击的鲁棒性，早期停止策略的梯度下降（GD）方法的线性回归。更准确地说，我们表明，早期停止GD是最佳的鲁棒性（绝对常数）对欧几里德范数对抗攻击。然而，我们表明，这种策略可以任意次优的情况下，一般的马氏攻击。这一观察结果与最近发现的分类~ \cite{Vardi2022GradientMP}的情况下，表明GD可证明收敛到非鲁棒模型是兼容的。为了缓解这个问题，我们建议改为应用GD方案对适应攻击的数据进行变换。这种数据转换相当于应用依赖于特征的学习率，我们证明了这种修改后的GD能够处理任何Mahalanobis攻击，以及在某些条件下更一般的攻击。不幸的是，对于一般攻击来说，选择这样的适应性变换可能很难。为了拯救，我们设计了一个简单易行的估计，其对抗风险在人口制度中的乘法常数1.1124内是最佳的，并且适用于任何规范。
2023-01-31 cs.LG stat.ML
NYTRO: When Subsampling Meets Early Stopping
早期停止是一种公知的方法，用于降低执行大规模学习机的训练和模型选择的时间复杂度。另一方面，存储器/空间（而不是时间）复杂度是许多应用中的主要约束，并且已经提出了随机子采样技术来解决这个问题。在本文中，我们问早期停止和子采样的想法是否可以结合在一个富有成效的方式。我们考虑在最小二乘回归设置的问题，并提出了一种形式的随机迭代正则化的基础上提前停止和子采样。在这种情况下，我们分析所提出的方法的统计和计算特性。理论结果是补充和验证了一个彻底的实验分析。
2018-01-31 stat.ML
Benefits of Early Stopping in Gradient Descent for Overparameterized Logistic Regression
University of California, Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）；New York University（纽约大学）
本文研究了过参数化逻辑回归中梯度下降早停的正则化效应，证明早停GD在逻辑风险和0-1风险上优于渐近GD，并与显式 $\ell_2$-正则化建立非渐近界。
2025-06-30 cs.LG stat.ML
Nonparametric Regression with Shallow Overparameterized Neural Networks Trained by GD with Early Stopping
我们探讨了过参数化的浅层神经网络在使用梯度下降（GD）训练时，在有和没有标签噪声的情况下学习Lipschitz回归函数的能力。为了避免在存在噪声标签的情况下，训练到接近零训练误差的神经网络在这个类上不一致的问题，我们提出了一个早期停止规则，使我们能够显示最佳速率。这为Hu等人（2021）的结果提供了一种替代方案，Hu等人研究了$\ell 2$ -正则化GD在非参数回归中训练浅网络的性能，该非参数回归完全依赖于无限宽网络（神经切线核（NTK））近似。在这里，我们提出了一个更简单的分析，这是基于输入空间的分区参数（如在1-最近邻规则的情况下），再加上这样一个事实，即训练的神经网络是光滑的相对于它们的输入时，GD训练。在无噪声的情况下，证明不依赖于任何核化，可以被视为一个有限宽度的结果。在标签噪声的情况下，通过稍微修改证明，使用Yao，Rosasco和Caponnetto（2007）的技术控制噪声。
2022-12-29 cs.LG stat.ML
Sharp Risk Bounds for Early-Stopping in Gaussian Linear Regression
Department of Computer Science, ETH Zürich（苏黎世联邦理工学院计算机科学系）；Department of Statistics, University of Oxford（牛津大学统计系）
研究高维高斯线性回归中早停镜像下降法的最优风险界，基于局部高斯宽度推导出LSE的风险界扩展，提出Minkowski函数条件下的新势能构造方法，实现ESMD的minimax最优性分析。
2026-04-27 cs.LG math.ST stat.ML
Implicit Sparse Regularization: The Impact of Depth and Early Stopping
Texas A&M University（德克萨斯A&M大学）；AWS AI；New York University（纽约大学）
本文研究了稀疏回归梯度下降算法的隐偏差问题。我们将二次参数化回归的结果（相当于深度为2的对角线性网络）扩展到更一般的深度为N的网络，在更现实的噪声和相关设计设置下。我们发现，早期停止是至关重要的梯度下降收敛到一个稀疏的模型，我们称之为隐式稀疏正则化的现象。这一结果与无噪声和不相关设计情况下的已知结果形成鲜明对比。我们表征的深度和早期停止的影响，并表明，对于一般的深度参数N，梯度下降与早期停止实现极小极大最优稀疏恢复足够小的初始化和步长。特别是，我们表明，增加深度扩大规模的工作初始化和早期停止窗口，使这种隐式稀疏正则化效果更有可能发生。
2021-10-26 cs.LG stat.ML
Fast Robust Kernel Regression through Sign Gradient Descent with Early Stopping
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出KRR的等价目标函数，利用 $\ell_\infty$ 和 $\ell_1$ 惩罚项实现鲁棒和稀疏核回归，并将其分别与符号梯度下降和坐标下降的早停解建立联系，提出高效计算方法，在五个数据集上速度快一到两个数量级且不损失精度。
2025-03-07 cs.LG math.OC stat.ME
A Continuous-Time View of Early Stopping for Least Squares
Carnegie Mellon University（卡内基梅隆大学）
我们研究了梯度下降产生的迭代的统计特性，应用于最小二乘回归的基本问题。我们采用连续时间的观点，即，考虑梯度下降中的无穷小步长，在这种情况下，迭代形成称为梯度流的轨迹。我们的主要重点是比较梯度流和岭回归的风险。在校准$t=1/λ$下-其中$t$是梯度流中的时间参数，$λ$是岭回归中的调整参数-我们证明了梯度流的风险不小于岭的1.69倍，沿着整个路径（对于所有$t \geq 0$）。这适用于对数据模型的假设非常弱的有限样本（特别是，没有对特性$X$的假设）。我们证明，相同的相对风险界持有的预测风险，在平均意义上的潜在信号$β_0$。最后，我们研究限制风险的表达式（在标准的马琴科-帕斯托尔渐近），并给出支持的数值实验。
2019-02-23 cs.LG stat.ML
The Implicit Regularization of Momentum Gradient Descent with Early Stopping
Northeast Normal University（东北师范大学）；Beihua University（北华大学）
基于梯度优化的隐式正则化问题是一个长期的研究课题。本文通过与显式$\ell_2$正则化（岭）的比较，刻画了具有提前停止的动量梯度下降（MGD）的隐式正则化。详细地说，我们在连续时间视图中研究了MGD，即所谓的动量梯度流（MGF），并表明其趋势比梯度下降（GD）更接近山脊[Ali等人，[2019]最小二乘回归此外，我们证明了，在校准$t=\sqrt{2/λ}$下，其中$t$是MGF中的时间参数，$λ$是岭回归中的调整参数，MGF的风险不超过岭的1.54倍。特别地，在最优调整下，MGF对脊的相对贝叶斯风险在1和1.035之间。数值实验有力地支持了我们的理论结果。
2022-01-14 cs.LG stat.ML
Considerations Across Three Cultures: Parametric Regressions, Interpretable Algorithms, and Complex Algorithms
我们考虑扩展利奥Breiman的论文从“统计建模：两种文化”，包括分叉的算法建模，专注于参数回归，可解释的算法，和复杂的（可能解释的）算法。
2021-04-14 stat.AP stat.ML
mlOSP: Towards a Unified Implementation of Regression Monte Carlo Algorithms
我们介绍mlOSP，机器学习的计算模板最优停时问题。该模板在R统计环境中实现，并通过GitHub存储库公开提供。mlOSP提出了回归蒙特卡罗（RMC）方法的统一数值实现，以实现最优停时，提供了一个最先进的，开源的，可重复的和透明的平台。突出其模块化的性质，我们提出了RMC算法的多种新变体，特别是在构建用于训练回归量的模拟设计方面，以及在机器学习回归模块方面。此外，mlOSP嵌套大多数现有的RMC计划，允许现有算法的一致和可验证的基准测试。本文包含大量的R代码片段和图形，并作为底层软件包的一个小插曲。
2022-10-02 q-fin.CP stat.ML
Determinantal Point Processes Implicitly Regularize Semi-parametric Regression Problems
KU Leuven（鲁汶大学）
半参数回归模型用于几个应用程序中，这些应用程序要求在不牺牲准确性的情况下具有可理解性。典型的例子是物理学中的样条插值，或非线性时间序列问题，其中系统包括线性和非线性分量。我们在这里讨论使用有限的行列式点过程（DPP）近似半参数模型。最近，Barthelmé、Tremblay、Amblard和Barthelmé提出了一种新的有限DPP的表示。这些作者制定了扩展的L-系综，可以方便地表示部分投影DPP，并建议使用它们的最佳插值。借助这种形式主义，我们推导出一个关键的恒等式，说明半参数回归和插值的行列式采样的隐式正则化效果。此外，一个新的投影Nyström近似的定义和使用，以获得相应的近似半参数回归的预期风险的约束。这项工作自然扩展了核岭回归得到的类似结果。
2021-03-09 cs.LG stat.ML
A non-parametric conditional factor regression model for high-dimensional input and response
University of Technology, Sydney（悉尼科技大学）
在本文中，我们提出了一个非参数条件因子回归（NCFR）模型的输入和响应的高维域。NCFR以两种方式增强了线性回归：a）引入低维潜在因子，导致降维; b）将印度巴菲特过程（Indian Buffet Process）集成为潜在因子的先验，以导出无限稀疏维度。实验结果比较NCRF的几个替代品提供证据显着的预测性能。
2013-07-02 cs.LG stat.ML
Parametric Gaussian Process Regression for Big Data
Brown University（布朗大学）
这项工作介绍了参数高斯过程（PGP）的概念，这是建立在看似自相矛盾的思想，使高斯过程参数。参数高斯过程，通过构造，被设计为在“大数据”制度中操作，其中人们对量化与噪声数据相关联的不确定性感兴趣。所提出的方法规避了既定的需要随机变分推断，一个可扩展的算法近似后验分布。所提出的方法的有效性证明了使用一个说明性的例子与模拟数据和基准数据集在航空业约600万条记录。
2017-05-04 cs.LG stat.ML
Non-Parametric Calibration of Probabilistic Regression
University of Bristol（布里斯托大学）；University of Tartu（塔尔图大学）
校准的任务是回顾性地调整来自机器学习模型的输出，以提供对目标变量的更好的概率估计。虽然校准已被彻底调查的分类，它还没有很好地建立回归任务。本文考虑了概率回归模型的校准问题，以提高对实值目标的概率密度估计。我们建议通过累积概率密度来校准回归模型，该累积概率密度可以从校准多类分类器中获得。我们提供了三个非参数的方法来解决这个问题，其中两个提供经验估计，第三个提供光滑的密度估计。所提出的方法进行了实验评估，以显示他们的能力，以提高性能的回归模型的预测可能性。
2018-06-20 cs.LG stat.ML
Early Stopping without a Validation Set
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Bernstein Center for Computational Neuroscience（伯恩斯坦计算神经科学中心）
早期停止是一种广泛使用的技术，用于防止通过基于梯度的优化训练过度表达模型时泛化性能差。为了找到一个好的点来停止优化器，一个常见的做法是将数据集分成一个训练集和一个较小的验证集，以获得泛化性能的持续估计。我们提出了一种新的早期停止标准的基础上快速计算的局部统计的计算梯度，并完全消除了需要一个举行了验证集。我们的实验表明，这是一个可行的方法，在设置最小二乘和逻辑回归，以及神经网络。
2017-06-06 cs.LG stat.ML
An implicit function learning approach for parametric modal regression
Univ. of Alberta（阿尔伯塔大学）；Amii（阿尔伯塔机器智能研究院）；Vector Institute（向量研究所）；Univ. of Toronto（多伦多大学）
对于多值函数-例如当给定输入的目标上的条件分布是多模态时-标准回归方法并不总是可取的，因为它们提供了条件均值。模态回归算法通过找到条件模式来解决这个问题。然而，大多数方法都是非参数方法，因此很难扩展。此外，参数逼近器，如神经网络，有助于学习输入和目标之间的复杂关系。在这项工作中，我们提出了一个参数模态回归算法。我们使用隐函数定理来开发一个目标，用于学习输入和目标上的联合函数。我们在几个合成问题上经验性地证明了我们的方法（i）可以学习多值函数并产生条件模式，（ii）可以很好地扩展到高维输入，（iii）甚至可以更有效地处理某些单峰问题，特别是高频函数。我们证明了我们的方法在现实世界的模态回归问题和两个常规回归数据集上具有竞争力。
2020-10-29 cs.LG stat.ML
Gradient Descent Finds Over-Parameterized Neural Networks with Sharp Generalization for Nonparametric Regression
Arizona State University（亚利桑那州立大学）；VecML Inc.（VecML公司）
本文证明带早停的梯度下降训练过参数化两层神经网络可在有界协变量无分布假设下达到与经典核回归相同的锐利非参数回归风险速率，并解决了停止时间、网络宽度下界和恒定学习率等开放问题。
2025-11-06 cs.IT cs.LG math.IT
Sequential Design for Optimal Stopping Problems
我们提出了一种新的方法来解决最优停时问题，通过模拟。工作在向后动态规划/斯内尔信封框架内，我们增加了Longstaff-Schwartz的方法，侧重于近似停止策略。也就是说，我们引入自适应生成的随机网格锚定的模拟样本路径的底层状态过程。这允许分类器的主动学习，将状态空间划分为连续区域和停止区域。为此，我们研究顺序设计方案，自适应地放置新的设计点接近停止边界。然后，我们讨论动态回归算法，可以实现这种递归估计和局部细化的分类。新的算法示出了各种数值实验，显示出一个数量级的节省方面的设计尺寸可以实现。我们还比较与现有的基准的背景下，定价多维的Bundan选项。
2014-07-29 q-fin.CP q-fin.PR stat.ML
Predictive Interval Models for Non-parametric Regression
对于回归模型，我们感兴趣的是找到双侧区间，该区间保证至少包含给定特定预测变量组合的响应变量的条件分布的期望比例。我们将这种间隔称为预测间隔。本文提出了一种新的方法来寻找双边预测区间的非参数最小二乘回归没有同方差假设。我们的预测区间是通过使用查询点邻域中预测误差的容差区间来构建的。我们提出了一个预测区间模型测试，我们也用它作为我们的超参数调整算法的约束。这给出了一个算法，可以找到给定数据集的最小可靠预测区间。我们还介绍了一个措施，比较不同的区间预测方法产生的区间具有不同的大小和覆盖范围。这些实验表明，我们的方法是更可靠的，有效的和精确的比其他区间预测方法。
2016-03-21 cs.LG stat.ML
Semi-parametric Order-based Generalized Multivariate Regression
在本文中，我们考虑一个广义多元回归问题，其中的响应是预测变量线性变换的单调函数。我们提出了一个半参数算法的基础上的顺序的响应是不变的变换函数的函数形式。我们证明了我们的算法，它最大限度地提高了响应的秩相关性和线性变换的预测，是一个真正的系数矩阵的相合估计量。我们还确定了收敛速度，并表明平方估计误差衰减率为$o(1/\sqrt{n})$。然后，我们提出了一个贪婪算法，最大限度地提高我们的模型的高度非光滑的目标函数，并通过广泛的模拟检查其性能。最后，我们比较了我们的算法与传统的多元回归算法在合成和真实数据。
2016-02-19 math.ST stat.ML stat.TH
A consistent deterministic regression tree for non-parametric prediction of time series
EDF R&D（法国电力研发中心）；GREGHEC (HEC Paris, CNRS)（GREGHEC（巴黎高等商学院、法国国家科学研究中心））；Inria（法国国家信息与自动化研究所）
我们研究有界平稳遍历过程的在线预测。要做到这一点，我们考虑设置的预测个别序列，并建立一个确定性的回归树，执行渐近以及最好的L-Lipschitz常数预测。然后，我们证明了为什么所得到的遗憾界需要关于有界平稳遍历过程类的渐近最优性。
2014-05-08 cs.LG math.ST stat.ML
Semi-Parametric Uncertainty Bounds for Binary Classification
MTA SZTAKI: The Institute for Computer Science and Control, Hungarian Academy of Sciences（匈牙利科学院MTA SZTAKI计算机科学与控制研究所）
本文研究二进制分类，旨在估计潜在的回归函数，这是给定输入的类标签的条件期望。回归函数是贝叶斯最优分类器的关键组成部分，除了提供最优预测外，还可以评估误分类的风险。我们的目标是建立回归函数的非渐近置信区域，并提出了三个基于核的半参数估计方法。我们证明了它们都保证区域具有精确的覆盖概率，并且它们是强相容的。
2019-03-23 cs.LG stat.ML
Statistical Early Stopping for Reasoning Models
University of Pennsylvania（宾夕法尼亚大学）；New Jersey Institute of Technology（新泽西理工学院）；Washington University in St. Louis（圣路易斯华盛顿大学）；Argonne National Laboratory（阿贡国家实验室）
本文提出基于统计原理的早停方法，通过监控不确定性信号来提高大语言模型在推理任务中的效率和可靠性，尤其在数学推理中表现突出。
2026-07-27 cs.AI cs.LG stat.ML
SPQR: An R Package for Semi-Parametric Density and Quantile Regression
我们开发了一个R包SPQR，它实现了Xu和Reich（2021）中的半参数分位数回归（SPQR）方法。该方法首先使用单调样条拟合灵活的密度回归模型，其权重使用人工神经网络建模为数据相关函数。随后，条件密度和分位数过程的估计都可以得到。与许多假设线性模型的分位数回归方法不同，SPQR允许协变量和响应分布之间的几乎任何关系，包括非线性效应和不同分位数水平上的不同效应。为了提高SPQR的可解释性和透明度，Apley和Zhu（2020）开发的模型不可知统计用于估计和可视化协变量效应及其对分位数函数的相对重要性。在本文中，我们将详细介绍如何在SPQR中实现此框架，并通过模拟和真实数据示例说明如何在实践中使用此包。
2022-10-26 stat.CO stat.ME stat.ML
Estimating Individual Treatment Effects using Non-Parametric Regression Models: a Review
University College London（伦敦大学学院）
在卫生、经济和社会科学等学科中，大量的观测数据越来越多，研究人员对因果问题而不是预测感兴趣。在本文中，我们研究的问题，估计异质性处理效应使用非参数回归为基础的方法，从一个实证研究，旨在调查参与学校供餐计划对健康指标的影响。首先，我们介绍了与观察或非完全随机化数据进行因果推断相关的设置和问题，以及如何在统计学习工具的帮助下解决这些问题。然后，我们回顾并开发了一个统一的分类现有的国家的最先进的框架，允许个人处理效应估计通过非参数回归模型。在简要概述了模型选择的问题后，我们说明了一些方法在三个不同的模拟研究中的性能。最后，我们通过对学校供餐计划数据的实证分析，展示了一些方法的使用。
2021-11-23 cs.LG stat.ME stat.ML
ScoreStop: Gradient-based early stopping using functional score tests
University of California, Berkeley（加州大学伯克利分校）
提出ScoreStop方法，通过函数得分检验在每次迭代中检验当前预测器是否为总体风险最小化器，从而在梯度提升决策树中实现基于梯度的早期停止，避免过拟合。
2026-06-01 cs.LG stat.ML
Conformal inference is (almost) free for neural networks trained with early stopping
University of Southern California（南加州大学）
本文提出共形化早停方法，通过高效复用留出数据将早停与共形校准结合，使神经网络在保持准确性的同时获得精确的预测推断保证，无需多次数据分割或过度保守调整，并在异常检测、分类和回归任务上验证了其竞争力。
2023-06-26 cs.LG math.ST stat.ML
Accounting for shared covariates in semi-parametric Bayesian additive regression trees
School of Mathematical Sciences, Lancaster University, United Kingdom.；Hamilton Institute, Maynooth University, Co. Kildare, Ireland.；Department of Mathematics \& Statistics, Maynooth University, Co. Kildare, Ireland.；Insight Centre for Data Analytics, Maynooth University, Co. Kildare, Ireland.；Department of Mathematics \& Statistics, Lancaster University, United Kingdom.
本文提出了一种改进的半参数化贝叶斯加法回归树方法，通过处理共享协变量的偏差和非识别问题，以更准确地建模复杂交互作用。
2024-07-30 cs.LG stat.ML
Deep Survival Machines: Fully Parametric Survival Regression and Representation Learning for Censored Data with Competing Risks
Carnegie Mellon University（卡内基梅隆大学）
我们描述了一种新的方法来估计相对风险的时间到事件的预测问题与删失数据在一个完全参数的方式。我们的方法不需要作出强有力的假设，恒定的比例风险的基本生存分布，所需的考克斯比例风险模型。通过联合学习输入协变量的深度非线性表示，我们通过在具有不同删失水平的多个真实世界数据集上进行广泛实验，证明了我们的方法在用于估计生存风险时的优势。我们进一步展示了我们的模型在竞争风险场景中的优势。据我们所知，这是第一个工作涉及完全参数估计的生存时间与竞争风险的存在删失。
2021-06-09 cs.LG stat.AP stat.ML
Early Stopping in Deep Networks: Double Descent and How to Eliminate it
Technical University of Munich（慕尼黑工业大学）；Rice University（莱斯大学）
过度参数化的模型，如大型深度网络，通常会表现出双下降现象，而模型大小的函数，误差首先减少，增加，最后减少。这种有趣的双下降行为也是作为训练时期的函数发生的，并且已经被证明是因为训练时期控制了模型的复杂性。在本文中，我们证明了这种逐时期的双下降是由于不同的原因而产生的：它是由两个或多个偏差-方差权衡的叠加引起的，因为网络的不同部分是在不同的时期学习的，通过适当缩放步长来消除这一点可以显着提高早期停止性能。我们分析了i）线性回归，其中不同尺度的特征会产生偏差-方差权衡的叠加，以及ii）两层神经网络，其中第一层和第二层分别控制偏差-方差权衡。受此理论的启发，我们对两个标准卷积网络进行了实证研究，结果表明，通过调整不同层的步长来消除逐时双下降可以显着提高早期停止性能。
2020-09-19 cs.LG stat.ML
Channel-Wise Early Stopping without a Validation Set via NNK Polytope Interpolation
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；University of Southern California（南加州大学）
最先进的神经网络架构继续在规模上扩展并提供令人印象深刻的泛化结果，尽管这是以有限的可解释性为代价的。特别是，一个关键的挑战是确定何时停止训练模型，因为这对泛化有重大影响。卷积神经网络（ConvNets）包括由多个通道的聚合形成的高维特征空间，其中由于维数灾难，分析中间数据表示和模型的演化可能具有挑战性。我们提出了通道式DeepNNK（CW-DeepNNK），这是一种基于非负核回归（NNK）图的新型通道式泛化估计，我们使用它在低维通道上执行局部多面体插值。这种方法导致基于实例的可解释性的学习数据表示和通道之间的关系。受我们观察的启发，我们使用CW-DeepNNK提出了一种新的早期停止标准，该标准（i）不需要验证集，（ii）基于任务性能指标，（iii）允许在每个通道的不同点停止。我们的实验表明，我们提出的方法相比，基于验证集性能的标准标准具有优势。
2021-07-27 cs.LG stat.ML
Parametric Mean-Field empirical Bayes in high-dimensional linear regression
Columbia University（哥伦比亚大学）；University of Chicago（芝加哥大学）
本文提出了一种在高维线性回归中参数化均场经验贝叶斯估计方法，通过变分下界最大化实现最优估计，并在不同维度下提出去偏差技术以提升性能。
2026-02-24 math.ST stat.ML stat.TH
Comparing Semi-Parametric Model Learning Algorithms for Dynamic Model Estimation in Robotics
German Aerospace Center (DLR)（德国航空航天中心（DLR））
机器人系统行为的物理建模是对许多机器人机构进行满意控制的基础。机构的设计通常也是以这样的方式进行的，即用相对简单的模型和模型识别策略就可以实现良好的模型精度。如果使用基于物理模型的建模精度不够或太复杂，基于机器学习技术的无模型方法可以提供帮助。因此，我们特别感兴趣的问题是，半参数建模技术，即物理模型与机器学习的结合，在多大程度上提高了逆动力学模型的建模精度，这些模型通常用于机器人控制。为此，我们评估了半参数高斯过程回归和一种新的基于模型的神经网络架构，并将其建模精度与一系列朴素的半参数、仅参数和非仅参数回归方法进行了比较。比较已进行了三个测试方案，一个涉及到一个真正的试验台和两个涉及到模拟的情况下，最复杂的情况下，针对模拟机器人的逆动力学模型建模。我们发现，除了一种情况外，在所有情况下，半参数高斯过程回归都能产生最准确的模型，而且训练过程几乎不需要调整。
2019-06-27 cs.LG cs.RO stat.ML
Nowcasting in a Pandemic using Non-Parametric Mixed Frequency VARs
本文发展了贝叶斯计量经济学方法，用于非参数混合频率VAR的后验推断。我们认为，回归树模型非常适合面对极端观测（例如2020年COVID-19大流行产生的观测）的宏观经济即时预测。这是由于它们的灵活性和对离群值建模的能力。在涉及四个主要的欧元区国家的应用程序中，我们发现显着改善临近预报性能相对于线性混合频率VAR。
2020-12-01 econ.EM stat.AP stat.ML
Censored Quantile Regression Forests
Department of Mathematics University of California San Diego（加利福尼亚大学圣地亚哥分校数学系）
随机森林是一种功能强大的非参数回归方法，但在存在随机删失观测值的情况下，其使用受到严重限制，并且由于所产生的偏差，天真地应用可能会表现出较差的预测性能。基于随机森林的局部自适应表示，我们开发了随机截尾回归分位数模型的回归调整。回归调整是基于新的估计方程，适应删失，并导致分位数得分时，数据不显示删失。所提出的方法被称为删失分位数回归森林，允许我们在没有任何参数建模假设的情况下估计事件发生时间的分位数。我们建立了温和的模型规格下的一致性。数值研究表明，所提出的程序的一个明显的优势。
2019-02-08 cs.LG econ.EM stat.ME
Robust non-parametric mortality and fertility modelling and forecasting: Gaussian process regression approaches
School of Mathematics and Actuarial Science, University of Leicester（莱斯特大学数学与精算学院）
本文提出一种基于高斯过程回归的非参数方法，利用自然三次样条均值函数和谱混合协方差函数对年龄别死亡率和生育率进行建模与预测，在多个发达国家数据上相比主流方法显著提升了短期、中期和长期预测的精确性与稳健性。
2021-02-18 cs.LG stat.AP stat.ME
Optimal Stopping via Randomized Neural Networks
ETH Zurich（苏黎世联邦理工学院）；Google Brain（谷歌大脑）；Google（谷歌）
本文提出用隐藏层随机生成、仅训练最后一层的随机化神经网络来近似最优停止问题的延续价值，在高维美式期权定价和分数布朗运动最优停止任务上以更低计算成本达到与最先进方法相当的结果，并能高效计算Greeks。
2023-12-01 cs.LG cs.NA math.NA
Optimal Statistical Rates for Decentralised Non-Parametric Regression with Linear Speed-Up
University of Oxford（牛津大学）
我们分析了学习性能的分布式梯度下降的背景下，多智能体分散的非参数回归与平方损失函数时，i.i.d.将样本分配给代理。我们表明，如果代理持有足够多的样本相对于网络的大小，然后分布式梯度下降达到最佳的统计率与一些迭代的规模，达到一个阈值，与反的频谱间隙的八卦矩阵除以样本的数量由每个代理提出了一个问题相关的权力。阈值的存在来自统计学。它编码了“大数据”机制的存在，其中所需的迭代次数不依赖于网络拓扑。在这种情况下，分布式梯度下降以与网络中所有样本的梯度下降相同的迭代顺序实现最佳统计率。如果通信延迟足够小，分布式协议在运行时产生线性加速，与单机协议相比。这与分散式优化算法相反，分散式优化算法不利用统计数据，并且仅在频谱间隙远离零的图中产生线性加速。我们的研究结果利用了统计集中的代理商持有的数量，并揭示了分散方法中统计和通信之间的相互作用。界限是在标准的非参数设置与源/容量假设。
2019-11-13 cs.DC cs.LG math.OC
Semiparametric discrete data regression with Monte Carlo inference and prediction
离散数据是丰富的，往往出现计数或舍入数据。这些数据通常表现出复杂的分布特征，如零通货膨胀，过度/欠分散，有界性和堆积，使许多参数模型不足。然而，即使是参数回归模型，近似，如MCMC通常需要后验推理。本文介绍了一种贝叶斯建模和算法框架，使半参数回归分析离散数据与蒙特卡罗（不是MCMC）抽样。该方法将非参数边际模型与潜在的线性回归模型配对，以鼓励灵活性和可解释性，即使在模型错误指定的情况下也能提供后验一致性。对于这个模型的参数或大样本近似，我们确定了一类共轭先验与（伪）封闭形式的后验。所有后验分布和预测分布都可以通过分析或直接蒙特卡罗抽样获得。这些工具广泛用于线性回归、通过基展开的非线性模型以及离散数据的变量选择。模拟研究表明，在计算，预测，估计和选择相对于现有的替代品显着的优势。这种新的方法被成功地应用到自我报告的心理健康数据，表现出零通货膨胀，过度分散，有界性和堆积。
2023-02-24 math.ST stat.CO stat.ME
