Generalization bounds for regression and classification on adaptive covering input domains
本文分别探讨了回归与分类任务的泛化界，证明了泛化界与网络参数数量的多项式成反比，强调了过参数化网络的优势并阐明了良性过拟合的条件。
2024-07-29 cs.LG stat.ML
DS-MLR: Exploiting Double Separability for Scaling up Distributed Multinomial Logistic Regression
University of California, Santa Cruz（加州大学圣克鲁兹分校）；University of Tokyo（东京大学）；Amazon（亚马逊）
将多项逻辑回归扩展到具有大量数据点和类别的数据集是一项挑战。这主要是因为需要计算每个数据点上的对数配分函数。这使得分配计算变得困难。在本文中，我们提出了一个分布式的随机梯度下降为基础的优化方法（DS-MLR）的规模扩大多项逻辑回归问题的大规模数据集，而不触及任何存储约束的数据和模型参数。我们的算法利用双重可分性，一个有吸引力的属性，使我们能够同时实现数据以及模型并行。此外，我们引入了一个非阻塞和异步的变种，我们的算法，避免批量同步。我们证明了DS-MLR的多功能性，各种情况下的数据和模型并行，通过广泛的实证研究，使用几个真实世界的数据集。特别是，我们通过解决Reddit数据集（159 GB数据，358 GB参数）上的极端多类分类问题来证明DS-MLR的可扩展性，据我们所知，没有其他现有方法适用。
2018-08-03 cs.LG stat.ML
Byzantine Fault Tolerant Distributed Linear Regression
Georgetown University（乔治城大学）
研究了多智能体系统中分布式线性回归的拜占庭容错问题。然而，所提出的算法给出了更一般的一类分布式优化问题，其中分布线性回归是一个特例。该系统由一个服务器和多个代理组成，其中每个代理持有一定数量的数据点和满足线性关系的响应（可能是噪声）。服务器的目标是确定这种关系，假设系统中的一些代理（最多已知数量）是拜占庭故障（又名。积极对抗）。我们表明，服务器可以实现这一目标，在一个确定性的方式，鲁棒性的原始分布式梯度下降方法使用基于范数的过滤器，即“范数过滤”和“范数帽过滤”，在每次迭代中产生额外的对数线性计算成本。所提出的算法在三个层次上改进了现有的方法：i）不需要对数据点的概率分布进行假设，ii）系统可以部分异步，iii）计算开销（为了处理拜占庭故障代理）在代理数量和数据点维度上是对数线性的。所提出的算法在为它们的正确性所做的假设以及它们使用的梯度滤波器方面彼此不同。
2019-04-04 cs.DC cs.LG stat.ML
Local Steps Speed Up Local GD for Heterogeneous Distributed Logistic Regression
George Mason University（乔治·玛森大学）；George Washington University（乔治·华盛顿大学）
本文针对异构可分离数据的分布式逻辑回归，分析两种局部梯度下降变体，通过采用大步长η≫1/K证明了O(1/KR)的收敛速率，首次展示了局部更新带来的加速优势。
2025-05-07 cs.LG
Distributed Linear Regression with Compositional Covariates
Soochow University（苏州大学）；Southwest Jiaotong University（西南交通大学）
针对海量成分数据，提出基于ADMM和CDMM框架的集中式与去中心化分布式稀疏惩罚线性对数对比模型优化算法，并严格建立其收敛理论与数值验证。
2023-10-21 cs.LG stat.ML
Learning Prediction Intervals for Regression: Generalization and Calibration
Columbia University（哥伦比亚大学）；Alibaba Group（阿里巴巴集团）
我们研究了不确定性量化回归中预测区间的生成。该任务可以形式化为经验约束优化问题，该问题最小化平均间隔宽度，同时保持数据的覆盖准确性。我们加强现有的文献，通过研究这一经验优化的两个方面。首先是一个通用的学习理论，以表征最优性的可行性权衡，包括Lipschitz连续性和VC-子图类，这是在回归树和神经网络的例子。其次是校准机制和相应的统计理论，以最佳地选择管理这种权衡的正则化参数，这绕过了在覆盖率达到以前的方法中的过拟合问题。我们凭经验证明我们的间隔生成和校准算法的测试性能相比，现有的基准的优势。
2021-02-26 cs.LG stat.ML
Singular ridge regression with homoscedastic residuals: generalization error with estimated parameters
本文描述了有限样本岭回归估计的条件分布特性，并使用该结果来评估总的回归和泛化误差，包括在参数估计时所犯的不准确性。文中给出了这些误差的显式计算公式。与其他经典的参考文献在此设置，我们的结果发生在一个完全奇异的设置，不假设存在一个解决方案的非正则化回归问题。作为交换，我们对正则化回归残差调用条件同方差假设，这在我们的发展中至关重要。
2016-05-29 stat.ME stat.ML
Out-of-Distribution Generalization in Kernel Regression
Harvard University（哈佛大学）
在实际应用中，用于训练机器学习模型的数据生成过程通常与模型在测试阶段遇到的不同。理解机器学习模型如何以及是否在这种分布变化下泛化一直是一个理论挑战。在这里，我们使用统计物理学的方法研究了训练和测试分布不同时核回归的泛化。使用副本方法，我们推导出适用于任何核数据集和真实数据集的分布外推广误差的解析公式。我们确定了一个重叠矩阵，量化了给定内核的分布之间的不匹配，作为分布偏移下泛化性能的关键决定因素。使用我们的分析表达式，我们阐明了各种泛化现象，包括可能的改善泛化时，有一个不匹配。我们开发了优化给定数据预算的训练和测试分布的程序，以找到最好和最坏情况下的转变。我们目前的应用程序，我们的理论，真正的和合成的数据集和许多内核。我们将我们的理论应用于神经切线核的结果与宽网络的模拟进行比较，并显示出一致性。我们将进一步深入分析线性回归。
2022-02-04 cond-mat.dis-nn cs.LG stat.ML
Distribution-dependent Generalization Bounds for Tuning Linear Regression Across Tasks
School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）；Machine Learning Department, Carnegie Mellon University（卡内基梅隆大学机器学习系）；Toyota Technological Institute at Chicago（芝加哥丰田技术学院）；Northwestern University（西北大学）
本文研究了跨多个相关任务调节线性回归正则化超参数的方法，提出了分布依赖的泛化误差界，改进了传统方法在高维数据下的表现。
2026-04-07 cs.LG stat.ML
Impact of Positional Encoding: Clean and Adversarial Rademacher Complexity for Transformers under In-Context Regression
Michigan State University（密歇根州立大学）
本文分析了位置编码对Transformer在上下文回归中的泛化能力的影响，提出清洁和对抗Rademacher复杂性的理论框架，证明位置编码扩大了泛化差距，并通过实验验证了其在对抗攻击下的脆弱性。
2026-03-24 cs.LG stat.ML
Optimal Convergence for Distributed Learning with Stochastic Gradient Methods and Spectral Algorithms
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
研究了再生核Hilbert空间（RKHS）上非参数回归分布式算法的推广性质。我们首先研究分布式随机梯度方法（SGM），小批量和多遍数据。我们发现，最佳的泛化误差界可以保留分布式SGM的分区水平不是太大。然后，我们将我们的结果扩展到谱正则化算法（SRA），包括核岭回归（KRR），核主成分分析，和梯度方法。我们的结果优于国家的最先进的理论。特别是，我们的研究结果表明，分布式SGM具有较小的理论计算复杂度，与分布式KRR和经典SGM相比。此外，即使对于非分布式SRA，考虑到回归函数可能不在RKHS中的情况，它们也提供了第一最优的、容量依赖的收敛速率。
2018-11-05 cs.AI cs.LG math.FA
On Generalization of Adaptive Methods for Over-parameterized Linear Regression
UT Austin（得克萨斯大学奥斯汀分校）；Rice University（莱斯大学）
过度参数化和自适应方法在过去十年中对深度学习的成功发挥了至关重要的作用。过度参数化的广泛使用迫使我们通过提出新的现象来重新思考泛化，例如优化算法的隐式正则化和训练过程的双重下降。最近的一系列工作已经开始阐明这些领域，以寻求理解--为什么神经网络泛化能力很好？过参数化线性回归的设置为理解神经网络的这种神秘行为提供了关键的见解。在本文中，我们的目标是在过参数化线性回归设置自适应方法的性能。首先，我们专注于两个子类的自适应方法，根据其泛化性能。对于第一类自适应方法，参数向量保持在数据的跨度中，并收敛到最小范数解，如梯度下降（GD）。另一方面，对于第二类自适应方法，由预条件矩阵引起的梯度旋转导致收敛到最小范数解的参数向量的跨度内分量和饱和的跨度外分量。我们在过参数化线性回归和深度神经网络上的实验支持了这一理论。
2020-11-28 cs.LG stat.ML
Large-scale Feature Selection of Risk Genetic Factors for Alzheimer's Disease via Distributed Group Lasso Regression
1 School of Computing, Informatics；2 Imaging Genetics Center, Institute for Neuroimaging
全基因组关联研究（GWAS）在阿尔茨海默病（AD）的遗传学研究中取得了巨大的成功。不同研究机构的合作成像遗传学研究显示了检测遗传风险因素的有效性。然而，GWAS数据的高维性对检测AD的风险SNP提出了重大挑战。选择相关特征在预测响应变量中至关重要。在这项研究中，我们提出了一种新的分布式特征选择框架（DFSF）进行大规模的成像遗传学研究在多个机构。为了加快学习过程，我们提出了一个家庭的分布式组Lasso筛选规则，以确定不相关的功能，并将它们从优化中删除。然后，我们通过在一系列参数中执行组Lasso特征选择过程来选择相关的组特征。最后，我们采用稳定性选择来对可能有助于早期检测AD的高风险SNP进行排名。据我们所知，这是第一个分布式特征选择模型集成组Lasso特征选择以及检测跨多个研究机构系统的风险遗传因素。对分布在多个机构的809名受试者进行了590万个SNP的实证研究，证明了所提出的方法的效率和有效性。
2017-04-27 cs.LG stat.ML
Distributed Online Linear Regression
The Australian National University（澳大利亚国立大学）；Nanjing University of Science and Technology（南京理工大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；The University of Sydney（悉尼大学）
我们在分布式环境中研究在线线性回归问题，其中数据分布在网络上。在每一轮中，每个网络节点提出线性预测器，其目的是拟合\emph{network-wide}数据。然后，它根据接收到的本地反馈和从相邻节点接收到的信息更新其预测器用于下一轮。通过后悔的概念来评估在给定节点处做出的预测，后悔的概念被定义为它们的累积网络范围平方误差与最佳离线网络范围线性预测器的累积网络范围平方误差之间的差。各种情况下进行了调查，根据本地反馈的性质（充分的信息或强盗反馈），对可用的预测集（决策集），以及数据的生成方式（由一个不经意的或自适应的对手）。我们提出了简单而自然的分布式回归算法，涉及到，在每个节点和每一轮，一个本地的梯度下降步骤和通信和平均步骤，节点的目的是对齐他们的预测他们的邻居。当决策集是无界的时，我们在${\cal O}(T^{3/4})$中建立了后悔上界，当决策集是有界的时，我们在${\cal O}(\sqrt{T})$中建立了后悔上界。
2019-02-13 cs.DC cs.LG math.OC
Subspace Fitting Meets Regression: The Effects of Supervision and Orthonormality Constraints on Double Descent of Generalization Errors
Rice University（莱斯大学）
研究了过参数化环境下的线性子空间拟合问题，其中估计的子空间可以很好地插值训练样本。我们的范围包括子空间拟合任务的最小二乘解决方案，在训练数据中具有不同的监督级别（即，期望的低维映射的输入-输出示例的比例）和定义学习算子的向量的正交性。这个灵活的问题系列将标准的无监督子空间拟合与相应的回归任务连接起来，该子空间拟合强制执行严格的正交性，该回归任务是完全监督的，并且不约束线性算子结构。这类问题是定义在一个监督正交平面，其中每个坐标诱导一个问题的实例与一个独特的一对监督水平和软正交约束。我们探索这个平面，并表明相应的子空间拟合问题的泛化误差遵循双下降的趋势，设置变得更加监督和正交约束。
2020-08-20 cs.LG stat.ML
On the Feasibility of Distributed Kernel Regression for Big Data
在现代科学研究中，经常会遇到具有大量观测数据的海量数据集。为了便于计算过程，分而治之的方案通常用于大数据的分析。在这种策略中，完整的数据集首先被分成几个可管理的部分;然后从各个部分的输出中平均最终输出。尽管它在实践中的普及，它仍然在很大程度上是未知的，这样的分配策略是否提供了有效的理论推断的原始数据。在本文中，我们解决了这个基本问题的分布式核回归（DKR），其中算法的可行性是衡量所得到的估计的泛化性能。为了证明DKR，需要统一的收敛速度来限制各个输出的泛化误差，这在大数据设置中带来了新的和具有挑战性的问题。在较弱的条件下，我们证明了在适当的分段数下，DKR得到的估计量对未知回归函数是广义一致的。所得到的结果证明了DKR的方法，并揭示了使用其他分布式算法处理大数据的可行性。仿真和实际数据的例子都支持该方法有前途的偏好。
2015-05-05 stat.ML
Local SGD in Overparameterized Linear Regression
Technical University of Braunschweig（布伦瑞克工业大学）
我们考虑在多个设备上使用恒定步长SGD（DSGD）的分布式学习，每个设备将最终模型更新发送到中央服务器。在最后一步中，对局部估计进行汇总。我们证明了在设置过参数化线性回归一般上界与匹配的下界，并获得特定的数据生成分布的学习率。我们表明，超额风险的方差的顺序提供的本地节点的数量增长不太大的全球样本量。我们进一步比较了DSGD和分布岭回归（DRR）的样本复杂性，并证明了当两种样本复杂性为相同数量级时，SGD的超额风险小于RR的超额风险.
2022-10-20 cs.LG stat.ML
Generalization Bounds for Causal Regression: Insights, Guarantees and Sensitivity Analysis
Fundação Getúlio Vargas（热图里奥·瓦加斯基金会）；School of Applied Mathematics（应用数学学院）
针对因果机器学习算法缺乏有限样本下质量理论的问题，提出基于泛化界的理论，通过新测度变换不等式给出模型损失紧界，理论严谨且适用于隐藏混杂、正定性违反场景，经半合成与真实数据验证了界的紧性与实用性。
2024-05-15 cs.LG stat.ML
Divide and Conquer Kernel Ridge Regression: A Distributed Algorithm with Minimax Optimal Rates
UC Berkeley（加州大学伯克利分校）
我们建立了最佳的收敛速度的分解为基础的可扩展的方法，核岭回归。该方法描述简单：它随机将大小为N的数据集划分为m个相等大小的子集，为每个子集计算独立的核岭回归估计，然后将局部解平均为全局预测器。与对所有N个样本执行核岭回归的标准方法相比，这种划分导致计算时间大幅减少。我们的两个主要定理建立，尽管计算速度加快，统计最优性被保留：只要m不是太大，分区为基础的估计达到统计最小最大率在所有估计使用N个样本的集合。作为具体的例子，我们的理论保证，处理器的数量m可能会增长接近线性有限秩内核和高斯内核和多项式N为索伯列夫空间，这反过来又允许计算成本大幅降低。最后，我们对模拟数据和音乐预测任务进行了实验，补充了我们的理论结果，展示了我们的方法在计算和统计方面的优势。
2014-04-29 cs.LG math.ST stat.ML
Distributed Convolutional Rank Regression over Decentralized Networks
School of Mathematics and Statistics, Changchun University of Technology（长春工业大学数学与统计学院）
研究分散式网络上的卷积秩回归，提出含核平滑秩损失的分散式CRR框架，依赖本地与邻节点信息，实现隐私保护与高效通信，建立误差界与恢复保证，用广义共识ADMM求解，经实验验证性能良好。
2026-07-29 cs.LG stat.ME
Domain Generalization by Functional Regression
Johannes Kepler University Linz（林茨约翰·开普勒大学）；Austrian Academy of Sciences（奥地利科学院）
该研究将域泛化转化为函数回归问题，提出一种学习从输入边缘分布到输出条件分布的线性算子的新算法，支持构建源分布依赖的再生核希尔伯特空间，满足理想风险的有限样本误差界，且已公开实现代码。
2023-05-17 cs.LG math.ST stat.ML
Efficient Privacy Preserving Logistic Regression for Horizontally Distributed Data
University of Florida（佛罗里达大学）
物联网设备正在迅速扩展并产生大量数据。越来越需要探索从这些设备收集的数据。协作学习为物联网环境提供了战略解决方案，但也引起了公众对数据隐私的担忧。近年来，基于安全多方计算和差分隐私的隐私保护技术得到了大量的发展。协作学习的一个主要挑战是在保持高计算效率的同时平衡泄露风险和数据效用。本文提出了一种基于矩阵加密的隐私保护逻辑回归模型。该方案能够抵抗选择明文攻击、已知明文攻击和合谋攻击，从而使协作学习中的任何机构都能受到攻击。加密的模型估计被解密以提供真实的模型结果而不降低精度。验证阶段的实施是为了检查代理机构之间的不诚实行为。实验结果表明，该算法具有快速收敛和高效性。
2022-07-20 cs.CR cs.LG stat.ML
Towards Data-Algorithm Dependent Generalization: a Case Study on Overparameterized Linear Regression
IIIS, Tsinghua University（清华大学交叉信息研究院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Qi Zhi Institute（上海期智研究院）
本文研究过参数化线性回归的泛化问题，提出数据-算法兼容性概念，通过分析依赖数据的训练轨迹证明考虑早停迭代可在更弱限制下保证泛化。
2023-11-21 cs.LG math.ST stat.ML
Generalization for Least Squares Regression With Simple Spiked Covariances
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Boston College（波士顿学院）
本文针对具有尖峰协方差的线性模型，在渐近比例机制下推导了两个简单模型的泛化误差，揭示了尖峰对应的特征向量和特征值对泛化性能的关键影响。
2024-10-17 cs.LG math.ST stat.ML
A Generalization Theory based on Independent and Task-Identically Distributed Assumption
University of Science and Technology of China（中国科学技术大学）；Beijing Jiaotong University（北京交通大学）；Chinese Academy of Sciences（中国科学院）；Institute of Automation, CAS（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
现有的泛化理论主要从模型复杂度和训练过程两个方面来分析泛化性能。这些理论普遍采用的IID假设忽视了任务的性质，因而无法解释许多泛化现象，也无法指导实际的学习任务。在本文中，我们提出了一个新的独立和任务相同分布（ITID）的假设，考虑到数据生成过程中的任务属性。基于ITID假设推导出的泛化界确定了假设不变性在保证泛化性能方面的重要性。在此基础上，从修改数据分布的角度提出了一种实用的不变性增强算法。最后，我们验证的背景下，图像分类任务的玩具和现实世界的数据集的算法和定理。实验结果证明了ITID假设的合理性和新的泛化理论在提高实际泛化性能方面的有效性。
2019-11-28 cs.LG stat.ML
Estimating Generalization Performance Along the Trajectory of Proximal SGD in Robust Regression
Rutgers University（罗格斯大学）
针对高维重尾误差的鲁棒回归问题，提出可追踪GD、SGD及近端SGD迭代轨迹泛化误差的一致估计量，可用于确定最优停止迭代步，仿真验证了其有效性。
2024-11-03 cs.LG math.ST stat.ME
Generalization Properties of hyper-RKHS and its Applications
KU Leuven（鲁汶大学）；Fudan University（复旦大学）；Shanghai Jiao Tong University（上海交通大学）
本文在超再生核Hilbert空间（hyper-RKHS）中推广正则化回归问题，说明其在核学习和样本外扩展中的应用，并从逼近论的角度证明了引入的回归模型的渐近收敛结果.在数学上，我们考虑了该空间中两种具有二元形式的正则化回归模型，包括具有超RKHS的核岭回归（KRR）和支持向量回归（SVR），并进一步将分治与Nyström近似相结合，以实现大样本情况下的可扩展性。这一框架是一般性的：底层核是从一个广泛的类中学习的，可以是正定的，也可以是非正定的，这适应了核学习的各种要求。在理论上，我们研究了正则化回归算法在超RKHS中的收敛行为，并推导了学习率，由于两两样本的非平凡独立性和超RKHS的特性，这一结果超越了经典的RKHS分析。实验结果表明，该框架能够从任意的相似矩阵中学习出一个通用的核函数，从而在分类任务上取得了令人满意的性能。
2022-10-19 cs.LG stat.ML
Robustness of Iteratively Pre-Conditioned Gradient-Descent Method: The Case of Distributed Linear Regression Problem
University of Maryland（马里兰大学）；Georgetown University（乔治城大学）
针对含观测噪声或过程噪声的多智能体分布式线性回归，本文评估 IPG 方法的鲁棒性，并通过实验证明其相较现有最优算法具有优势。
2021-01-26 cs.LG cs.SY eess.SY
Exact Support Recovery in Federated Regression with One-shot Communication
Purdue University（普渡大学）
联邦学习提供了一个框架，以解决分布式计算的挑战，数据所有权和隐私的大量分布式客户端与低计算和通信能力。在本文中，我们研究了在联邦学习设置中学习稀疏线性回归的精确支持度的问题。我们提供了一个简单的通信有效的算法，它只需要一次与集中式服务器的通信来计算精确的支持。我们的方法不需要客户端解决任何优化问题，因此可以在计算能力较低的设备上运行。我们的方法对于客户端失败，模型中毒和离散客户端的问题自然是鲁棒的。我们正式证明，我们的方法需要每个客户端的样本数量是多项式的支持大小，但独立的问题的维度。我们要求分布式客户端的数量在问题的维度上是对数的。如果预测变量是相互独立的，则总体样本复杂度与非联邦集中式设置的最佳样本复杂度相匹配。此外，我们的方法很容易实现，并具有整体多项式时间的复杂度。
2020-06-22 cs.LG stat.ML
Generalization bounds for nonparametric regression with $β-$mixing samples
在本文中，我们提出了一系列的结果，允许扩展在一个直接的方式统一的偏差不等式的经验过程中，从独立的依赖的情况下，表征额外的错误方面的$β-$混合系数相关联的训练样本。然后，我们将这些结果应用到一些先前获得的独立样本相关的最小二乘误差的偏差在非参数回归的不等式，以获得相应的泛化范围的回归计划，其中的训练样本可能不是独立的。这些结果提供了一个框架来分析相关的误差回归方案的训练样本来自一个大类的$β-$混合序列，包括几何遍历马尔可夫样本，只使用独立的情况下。更一般地说，他们允许一个有意义的扩展Vapnik-Chervonenkis和类似的理论，独立的训练样本，这类$β-$混合样本。
2021-08-02 math.ST stat.ML stat.TH
A Simple Algorithm for Semi-supervised Learning with Improved Generalization Error Bound
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Michigan State University（密歇根州立大学）；Zhejiang University（浙江大学）
在这项工作中，我们开发了一个简单的半监督回归算法。其核心思想是使用来自标记和未标记样本的积分算子的顶部特征函数作为基函数，并通过简单的线性回归来学习预测函数。我们表明，在适当的假设下的积分算子，这种方法是能够实现一个改进的回归误差界优于现有的监督学习的界限。我们还验证了所提出的算法的有效性，通过实证研究。
2012-06-27 cs.LG stat.ML
Kernel ridge regression under power-law data: spectrum and generalization
Departement d’Informatique, École Normale Supérieure, PSL & CNRS（信息学院，巴黎高等师范学院，PSL及CNRS）
本文研究幂律各向异性高斯数据下的高维核岭回归，推导多项式核谱显式刻画并分析超额风险，证明样本复杂度由有效维度决定，优于各向同性数据。
2025-10-06 cs.LG stat.ML
Asymptotic Risk of Learning-Rate Schedules for Least-Squares Regression with Discretely Distributed Features
Inria（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
该研究针对离散分布特征最小二乘回归的Slock模型，推导了SGD最后迭代的有限时间风险及两类学习率调度的渐近等价式，发现冷却调度可改善风险且最优风险依赖于bT。
2026-10-14 cs.LG math.OC stat.ML
Double Double Descent: On Generalization Errors in Transfer Learning between Linear Regression Tasks
Rice University（莱斯大学）
研究了两个线性回归问题之间的迁移学习过程。一个重要的和及时的特殊情况是当回归器是过参数化的，并完美地插值其训练数据。我们研究了一个参数传输机制，其中目标任务解决方案的参数的一个子集被约束到一个相关的源任务学习的值。我们根据迁移学习架构中的突出因素来分析目标任务的泛化误差，即，可用示例的数量、每个任务中的（自由）参数的数量、从源任务传输到目标任务的参数的数量以及两个任务之间的关系。我们的非渐近分析表明，目标任务的泛化误差遵循二维双下降趋势（相对于每个任务中的自由参数的数量），这是由迁移学习因素控制。我们的分析指出了参数的转移作为额外的过度参数化的替代是有益的特定情况（即，目标任务中的附加自由参数）。具体来说，我们表明，迁移学习设置的有用性是脆弱的，并依赖于一组传输参数之间的微妙的相互作用，任务之间的关系，和真正的解决方案。我们还证明了当源任务与目标任务更接近或相同时，过度参数化的迁移学习不一定更有益。
2022-09-28 cs.LG stat.ML
Spectral Bias and Task-Model Alignment Explain Generalization in Kernel Regression and Infinitely Wide Neural Networks
Department of Physics, Harvard University（哈佛大学物理系）；Center for Brain Science, Harvard University（哈佛大学脑科学中心）；John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）
超越训练数据集的泛化是机器学习的主要目标，但泛化的理论理解仍然是许多模型的一个开放问题。最近在深度神经网络中的观察加剧了对新理论的需求，其中过度参数化导致更好的性能，与经典统计学的传统智慧相矛盾。在本文中，我们研究了核回归的泛化误差，核回归除了是一种流行的机器学习方法外，还包括用梯度下降训练的无限过参数化神经网络。我们使用统计力学的技术，推导出适用于任何内核或数据分布的泛化误差的解析表达式。我们提出了我们的理论应用到真实和合成数据集，并为许多内核，包括那些从训练深度神经网络在无限宽的限制。我们阐明了一个归纳的核回归解释数据的偏见与“简单的功能”，这是确定通过解决核特征函数问题的数据分布。这种简单性的概念使我们能够表征内核是否与学习任务兼容，从而从少量训练示例中获得良好的泛化性能。我们发现，更多的数据可能会损害泛化时，噪音或不能表达的内核，导致非单调的学习曲线可能有许多峰值。为了进一步理解这些现象，我们转向广泛的旋转不变核，这与在无限宽度限制下训练深度神经网络有关，并在数据来自球对称分布且输入维数很大时对其进行详细的数学分析。
2022-02-04 cond-mat.dis-nn cs.LG stat.ML
Distributed Function Minimization in Apache Spark
我们使用梯度和拟牛顿方法在Apache Spark上报告了分布式函数最小化的开源实现。我们展示的情况下，它与应用程序的最佳运输和一些可扩展性测试的分类和回归问题。
2019-09-17 cs.LG math.OC stat.ML
Generalization Error Rates in Kernel Regression: The Crossover from the Noiseless to Noisy Regime
EPFL（洛桑联邦理工学院）
本文考虑高斯设计下的核岭回归（KRR）。KRR的过度泛化误差的衰减指数已经在各种工作中报告的特征协方差的特征值的幂律衰减的假设下。然而，这些衰减提供了相当大的不同的设置，即在无噪声的情况下与恒定的正则化和噪声的最佳正则化的情况下。中介机构的设置基本上是未知的。在这项工作中，我们统一和扩展了这一系列工作，提供了所有制度和过量的误差衰减率，可以观察到的噪声和正则化的相互作用方面的特征。特别是，我们表明存在的过渡，在噪声设置之间的无噪声指数，其噪声值的样本复杂性的增加。最后，我们说明了这种交叉也可以在真实数据集上观察到。
2021-12-15 cond-mat.dis-nn cs.LG stat.ML
Training Data Subset Selection for Regression with Controlled Generalization Error
IIT Bombay（印度理工学院孟买分校）；UT Dallas（德克萨斯大学达拉斯分校）
从大量的训练实例中选择数据子集是一种有效且经济的机器学习方法。然而，在较小子集上训练的模型可能表现出较差的泛化能力。在本文中，我们的目标是设计一个算法，用于选择一个子集的训练数据，使模型可以快速训练，而不会显着牺牲的准确性。更具体地说，我们专注于L2正则化回归问题的数据子集选择，并提供了一个新的问题制定，旨在尽量减少训练损失的可训练参数和训练数据的子集，受到验证集上的误差界。我们通过几项技术创新来解决这个问题。首先，我们使用原始训练问题的对偶用简化的约束来表示这个问题，并表明这种新表示的目标是单调和α-次模函数，用于各种各样的建模选择。这些属性使我们开发SELCON，一个有效的优化最小化算法的数据子集选择，承认一个近似保证，即使当训练提供了一个不完美的估计训练模型。最后，我们在几个数据集上的实验表明，SELCON比当前最先进的方法更有效地权衡了准确性和效率。
2021-06-23 cs.LG stat.ML
Generalization Analysis of Transformers in Distribution Regression
School of Mathematics and Statistics, University of Sydney（悉尼大学数学与统计学学院）
提出基于分布回归的Transformer学习框架，通过注意力算子实现分布到函数表示的无损压缩，并证明其在学习复杂结构泛函上优于CNN和全连接网络，最后给出泛化界并解释大模型技术原理。
2026-06-28 cs.LG stat.ML
Generalization in Kernel Regression Under Realistic Assumptions
Weizmann Institute of Science（魏茨曼科学研究所）
本文为现实设定下的核回归建立了统一理论，给出适用于常见核、任意正则化、噪声、输入维数和样本量的超额风险上界，并揭示核特征分解重尾带来的自正则化现象，从而解释高维良性过拟合并给出显式收敛速率。
2024-02-20 cs.AI cs.LG stat.ML
Semi-Supervised Learning with Noisy Proxy Covariates: Generalization Bounds and Distribution Regression
Department of Statistics, Korea University, Seoul, Korea（韩国大学统计系）；Department of Statistics, Seoul National University, Seoul, Korea（首尔国立大学统计系）
针对带噪声代理协变量的半监督回归问题，提出两阶段估计器，利用所有代理协变量学习核本征特征，并在标记数据上拟合岭回归，理论证明在代理扰动可控且未标记代理协变量充足时能恢复快速标记样本率，实验表明在低标记率下优于监督和半监督基线。
2026-05-30 cs.IT cs.LG math.IT
Finite-sample and asymptotic analysis of generalization ability with an application to penalized regression
University of Sydney（悉尼大学）
本文从泛化能力角度研究极值估计器性能，推导了泛化误差上界，并探讨了交叉验证中K值对偏差方差权衡的影响，证明了正则化回归估计在高维数据下的L2一致性。
2016-09-13 cs.LG econ.GN math.ST
Secure multi-party linear regression at plaintext speed
Broad Institute of MIT and Harvard（麻省理工学院与哈佛大学博德研究所）
我们详细介绍了分布式算法的可扩展性，安全的多方线性回归和特征选择在基本上相同的速度作为明文回归。虽然核心的几何思想很简单，但认识到它们在组合时的广泛用途是新颖的。我们的方案为跨多个生物库的高效和安全的全基因组关联研究打开了大门。
2019-07-10 cs.CR cs.LG stat.ML
Communication-Efficient Distributed Optimization of Self-Concordant Empirical Loss
Microsoft Research（微软研究院）
我们考虑源自随机最优化的样本平均近似或机器学习中的经验风险最小化的分布式凸优化问题。我们假设分布式计算系统中的每台机器都可以访问本地经验损失函数，该函数由独立同分布构造。从一个共同分布中采样的数据。我们提出了一个通信效率的分布式算法，以尽量减少整体经验损失，这是平均的本地经验损失。该算法基于不精确阻尼牛顿法，其中不精确牛顿步由分布式预条件共轭梯度法计算。我们分析了它的迭代复杂度和通信效率最小化自协调经验损失函数，并讨论了分布岭回归，逻辑斯谛回归和二进制分类与平滑铰链损失的结果。在监督学习的标准设置中，算法所需的通信轮数不会随着样本量的增加而增加，只会随着机器的数量缓慢增长。
2015-01-01 cs.LG math.OC stat.ML
Rate-Distortion Theoretic Bounds on Generalization Error for Distributed Learning
Paris Research Center, Huawei Technologies France（华为技术法国巴黎研究中心）；Université Paris-Est（巴黎东大学）
在本文中，我们使用率失真理论的工具，建立新的统计分布式学习算法的泛化误差的上界。具体地，存在$K$客户端，其单独选择的模型由中央服务器聚合。边界取决于每个客户端的算法的可压缩性，同时保持其他客户端的算法不被压缩，并且利用每个本地模型中的小变化仅以$1/K$的因子改变聚合模型的事实。采用Sefidgaran等人最近提出的方法，并且将其适当地扩展到分布式设置，这使得能够实现更小的速率失真项，所述速率失真项被示出为转换成更紧的泛化界。然后将该边界应用于分布式支持向量机（SVM），表明分布式设置的泛化误差衰减速度比集中式设置快，其因子为$\mathcal{O}(\log(K)/\sqrt{K})$。这一发现也得到了实验验证。对于多轮联邦学习设置，每个客户端都使用随机梯度Langevin动态（SGLD），也得到了类似的结论。
2022-11-22 cs.IT cs.LG math.IT
Characterizing the Generalization Error of Random Feature Regression with Arbitrary Data-Augmentation
Qube Research & Technologies（Qube研究与技术）；École Polytechnique（巴黎政治学院）
本文研究了数据增强在比例 regime 中对监督回归方法的正则化效应，通过仅依赖真实数据的总体量及增强方案的一阶和二阶统计量，精确表征了测试误差。结果适用于不规范特征映射和仅训练最后一层的网络架构。
2026-05-11 cs.LG math.ST stat.ML
Accelerating Distributed SGD for Linear Regression using Iterative Pre-Conditioning
University of Maryland, College Park（马里兰大学帕克分校）；Georgetown University（乔治城大学）
研究了多智能体分布式线性最小二乘问题。该系统包括多个代理，每个代理具有本地观察的数据点集，以及代理可以与之交互的公共服务器。代理的目标是计算一个线性模型，该模型最适合所有代理观察到的集体数据点。在基于服务器的分布式设置中，服务器不能访问代理持有的数据点。最近提出的迭代预条件连续下降（IPG）方法已被证明收敛速度比其他现有的分布式算法，解决这个问题。在IPG算法中，服务器和代理执行许多迭代计算。这些迭代中的每一个都依赖于代理观察到的整批数据点来更新解决方案的当前估计。在这里，我们将迭代预处理的思想扩展到随机设置，其中服务器在每次迭代时基于单个随机选择的数据点更新估计和迭代预处理矩阵。我们表明，我们提出的迭代预处理随机一致性下降（IPSG）方法的线性收敛的期望接近的解决方案。重要的是，我们的经验表明，建议的IPSG方法的收敛速度相比，毫不逊色，突出的随机算法解决线性最小二乘问题，在基于服务器的网络。
2020-11-28 cs.LG cs.SY eess.SY
Distributed Sparse Regression via Penalization
Purdue University（普渡大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
本研究针对无中心节点的网络稀疏线性回归，提出带一致性惩罚的分布式LASSO方法，证明其统计一致性与线性收敛性，并揭示速度-精度权衡。
2023-06-21 cs.LG math.OC
`Basic' Generalization Error Bounds for Least Squares Regression with Well-specified Models
本说明研究线性高斯（具有固定设计矩阵）和线性最小二乘回归的泛化能力（由样本外均方误差（MSE）定义）的行为。特别是，我们认为一个良好的指定的模型设置，即我们假设存在一个“真正的”模型参数组合内所选择的模型形式。虽然最小二乘回归的统计特性在过去的几十年中得到了广泛的研究-特别是与{ \bf较少限制性的问题陈述}相比，本说明的目标是与文献相比{ \bf非渐近和更定量}的界限。此外，分析公式的分布和边界（上的MSE）直接比较数值实验。推导是在一个独立的和教学的方式，在某种程度上，一个读者与概率和统计的基本知识可以遵循。
2021-09-20 math.PR math.ST stat.TH
Generalization Error Estimation for Primal--Dual Algorithms in Non-Smooth Regression
Department of Statistics, Stanford University（斯坦福大学统计系）；Department of Statistics, Rutgers University（罗格斯大学统计系）
本文针对非光滑回归中原-对偶算法的泛化误差估计问题，开发通用递归框架，构造无协方差的数据驱动校正项，证明有限样本保证并通过数值实验验证其可准确跟踪样本外风险。
2026-08-17 math.ST stat.ML stat.TH
Representation and Regression Problems in Neural Networks: Relaxation, Generalization, and Numerics
Institut de Mathematiques de Bourgogne, Universite Bourgogne Europe, CNRS（勃艮第数学研究所，勃艮第欧洲大学，法国国家科学研究中心）；Universidad Autónoma de Madrid（马德里自治大学）；Fundación Deusto（德乌斯托基金会）
本文通过平均场方法将浅层神经网络训练中的三个非凸优化问题凸化，证明了无松弛间隙，建立了泛化界，并针对高维数据提出稀疏化算法结合梯度下降有效求解原始问题。
2025-04-03 cs.LG math.OC
Optimal Statistical Rates for Decentralised Non-Parametric Regression with Linear Speed-Up
University of Oxford（牛津大学）
我们分析了学习性能的分布式梯度下降的背景下，多智能体分散的非参数回归与平方损失函数时，i.i.d.将样本分配给代理。我们表明，如果代理持有足够多的样本相对于网络的大小，然后分布式梯度下降达到最佳的统计率与一些迭代的规模，达到一个阈值，与反的频谱间隙的八卦矩阵除以样本的数量由每个代理提出了一个问题相关的权力。阈值的存在来自统计学。它编码了“大数据”机制的存在，其中所需的迭代次数不依赖于网络拓扑。在这种情况下，分布式梯度下降以与网络中所有样本的梯度下降相同的迭代顺序实现最佳统计率。如果通信延迟足够小，分布式协议在运行时产生线性加速，与单机协议相比。这与分散式优化算法相反，分散式优化算法不利用统计数据，并且仅在频谱间隙远离零的图中产生线性加速。我们的研究结果利用了统计集中的代理商持有的数量，并揭示了分散方法中统计和通信之间的相互作用。界限是在标准的非参数设置与源/容量假设。
2019-11-13 cs.DC cs.LG math.OC
On the Generalization Bounds of Symbolic Regression with Genetic Programming
Institute of Science Tokyo, Yokohama, Japan（东京科学研究所， Yokohama, 日本）；CyberAgent, Shibuya, Japan（CyberAgent， Shibuya， 日本）
本文对基于遗传规划的符号回归进行学习理论分析，推导出在树大小、深度和可学习常数约束下的泛化界，将泛化差距分解为结构选择和常数拟合两个可解释分量，为遗传规划中的常用实践提供理论依据。
2026-06-15 cs.LG cs.NE
Generalization Analysis of Distributed Kernel-based Robust Gradient Descent Algorithms
Zhejiang University（浙江大学）；Huazhong Agricultural University（华中农业大学）
本文针对分布式核鲁棒梯度下降算法，通过谱特征与误差分析优化参数选择，放宽机器数量限制并保持最优学习率，同时提出通信高效策略提升收敛性能。
2026-09-11 cs.LG math.OA math.PR
