Generalization bounds for regression and classification on adaptive covering input domains
本文分别探讨了回归与分类任务的泛化界，证明了泛化界与网络参数数量的多项式成反比，强调了过参数化网络的优势并阐明了良性过拟合的条件。
2024-07-29 cs.LG stat.ML
Nonlinear functional models for functional responses in reproducing kernel Hilbert spaces
再生核希尔伯特空间（RKHS）理论的扩展为具有功能性反应的函数回归模型建模提供了一个新的框架。该方法只假设一个一般的非线性回归结构，而不是以前研究的线性回归模型。提出了一种自动平滑参数估计的广义交叉验证方法。新的RKHS估计适用于模拟和真实数据作为例证。
2007-02-05 math.ST stat.TH
Singular ridge regression with homoscedastic residuals: generalization error with estimated parameters
本文描述了有限样本岭回归估计的条件分布特性，并使用该结果来评估总的回归和泛化误差，包括在参数估计时所犯的不准确性。文中给出了这些误差的显式计算公式。与其他经典的参考文献在此设置，我们的结果发生在一个完全奇异的设置，不假设存在一个解决方案的非正则化回归问题。作为交换，我们对正则化回归残差调用条件同方差假设，这在我们的发展中至关重要。
2016-05-29 stat.ME stat.ML
Finite-sample and asymptotic analysis of generalization ability with an application to penalized regression
University of Sydney（悉尼大学）
本文从泛化能力角度研究极值估计器性能，推导了泛化误差上界，并探讨了交叉验证中K值对偏差方差权衡的影响，证明了正则化回归估计在高维数据下的L2一致性。
2016-09-13 cs.LG econ.GN math.ST
Convergence Analysis of regularised Nyström method for Functional Linear Regression
本文针对再生核 Hilbert 空间中的函数型线性回归，提出正则化结合 Nyström 子采样的方法，将复杂度降至 $O(m^2 n)$，并证明适当子采样下可达到最优收敛速率。
2024-10-25 math.ST stat.TH
Measure Inducing Classification and Regression Trees for Functional Data
Politecnico di Milano（米兰理工大学）
我们提出了一种基于树的算法，用于功能数据分析背景下的分类和回归问题，该算法允许在节点级别利用表示学习和多个分裂规则，减少泛化错误，同时保留树的可解释性。这是通过学习加权功能$L^{2}$空间的约束凸优化，然后用于提取多个加权积分功能的输入函数，以确定二进制分裂的树的每个内部节点。该方法被设计为通过定义合适的分裂规则和损失函数来管理多个函数输入和/或输出，所述分裂规则和损失函数可以取决于特定问题，并且还可以与标量和分类数据相结合，因为树是用原始贪婪CART算法生长的。我们专注于一维域上定义的标量值函数输入的情况下，并说明我们的方法在分类和回归任务的有效性，通过模拟研究和四个现实世界中的应用。
2020-10-30 cs.LG stat.ML
Out-of-Distribution Generalization in Kernel Regression
Harvard University（哈佛大学）
在实际应用中，用于训练机器学习模型的数据生成过程通常与模型在测试阶段遇到的不同。理解机器学习模型如何以及是否在这种分布变化下泛化一直是一个理论挑战。在这里，我们使用统计物理学的方法研究了训练和测试分布不同时核回归的泛化。使用副本方法，我们推导出适用于任何核数据集和真实数据集的分布外推广误差的解析公式。我们确定了一个重叠矩阵，量化了给定内核的分布之间的不匹配，作为分布偏移下泛化性能的关键决定因素。使用我们的分析表达式，我们阐明了各种泛化现象，包括可能的改善泛化时，有一个不匹配。我们开发了优化给定数据预算的训练和测试分布的程序，以找到最好和最坏情况下的转变。我们目前的应用程序，我们的理论，真正的和合成的数据集和许多内核。我们将我们的理论应用于神经切线核的结果与宽网络的模拟进行比较，并显示出一致性。我们将进一步深入分析线性回归。
2022-02-04 cond-mat.dis-nn cs.LG stat.ML
Functional Adaptive Huber Linear Regression
针对鲁棒估计在函数型线性回归中应用不足的问题，提出带发散鲁棒参数的函数型Huber线性回归方法，在弱矩假设下达到最优误差速率，结果可推广至RKHS函数估计。
2024-09-17 math.ST stat.TH
Learning Prediction Intervals for Regression: Generalization and Calibration
Columbia University（哥伦比亚大学）；Alibaba Group（阿里巴巴集团）
我们研究了不确定性量化回归中预测区间的生成。该任务可以形式化为经验约束优化问题，该问题最小化平均间隔宽度，同时保持数据的覆盖准确性。我们加强现有的文献，通过研究这一经验优化的两个方面。首先是一个通用的学习理论，以表征最优性的可行性权衡，包括Lipschitz连续性和VC-子图类，这是在回归树和神经网络的例子。其次是校准机制和相应的统计理论，以最佳地选择管理这种权衡的正则化参数，这绕过了在覆盖率达到以前的方法中的过拟合问题。我们凭经验证明我们的间隔生成和校准算法的测试性能相比，现有的基准的优势。
2021-02-26 cs.LG stat.ML
Optimal Prediction for Additive Function-on-Function Regression
与经典统计学一样，函数回归模型在函数数据分析中是非常宝贵的。虽然现在有广泛的工具与伴随的理论可用于线性模型，但关于函数数据的非线性模型仍有大量的工作要做。在这项工作中，我们考虑加性函数对函数回归模型，一种类型的非线性模型，使用的功能输出和功能协变量之间的加性关系。我们提出了一种估计方法，再生核希尔伯特空间，并建立我们的估计的预测误差方面的最佳收敛速度。我们还讨论了这种复杂模型所带来的计算挑战，为我们的估计开发了一个代表定理，以及一个更实用和计算效率更高的近似。还提供了2008年金融危机前后的累积日内收益的模拟和应用。
2018-06-22 math.ST stat.TH
`Basic' Generalization Error Bounds for Least Squares Regression with Well-specified Models
本说明研究线性高斯（具有固定设计矩阵）和线性最小二乘回归的泛化能力（由样本外均方误差（MSE）定义）的行为。特别是，我们认为一个良好的指定的模型设置，即我们假设存在一个“真正的”模型参数组合内所选择的模型形式。虽然最小二乘回归的统计特性在过去的几十年中得到了广泛的研究-特别是与{ \bf较少限制性的问题陈述}相比，本说明的目标是与文献相比{ \bf非渐近和更定量}的界限。此外，分析公式的分布和边界（上的MSE）直接比较数值实验。推导是在一个独立的和教学的方式，在某种程度上，一个读者与概率和统计的基本知识可以遵循。
2021-09-20 math.PR math.ST stat.TH
Generalization Error for Linear Regression under Distributed Learning
Uppsala University（乌普萨拉大学）
分布式学习通过将计算负担分布在多个节点上来促进数据处理的规模化。尽管对分布式学习有着广泛的兴趣，但这种方法的泛化性能还没有得到很好的理解。我们通过关注线性回归设置来解决这个差距。我们考虑未知数分布在节点网络上的设置。我们提出了一个分析表征的依赖性的泛化误差的分割的未知数节点。特别是，对于过参数化的情况下，我们的研究结果表明，虽然训练数据的误差保持在相同的范围内的集中式解决方案，分布式解决方案的泛化误差显着增加相比，集中式解决方案时，在任何节点估计的未知数的数量是接近的观察数。我们进一步提供数值例子来验证我们的解析表达式。
2020-05-04 cs.LG eess.SP stat.ML
Functional Output Regression with Infimal Convolution: Exploring the Huber and $ε$-insensitive Losses
KU Leuven（鲁汶大学）；Telecom Paris（巴黎电信学院）；London School of Economics（伦敦政治经济学院）
本文的重点是函数输出回归（FOR）与卷积损失。虽然大多数现有的工作考虑平方损失设置，我们利用扩展的Huber和$ε$ -不敏感的损失（引起的infimal卷积），并提出了一个灵活的框架，能够处理各种形式的离群值和稀疏的FOR家庭。我们推导出计算上易于处理的算法依赖于对偶来解决由此产生的任务的上下文中的向量值再生核希尔伯特空间。该方法的效率证明和对比与经典的平方损失设置在合成和现实世界的基准。
2022-06-16 cs.LG stat.ML
Linear Regression with Distributed Learning: A Generalization Error Perspective
Uppsala University（乌普萨拉大学）
分布式学习提供了一个有吸引力的框架，通过在网络中的多个节点上共享计算负载来扩展学习任务。在这里，我们研究了大规模线性回归的分布式学习性能，其中模型参数，即，未知数分布在网络上。我们采用统计学习方法。与专注于训练数据性能的工作相反，我们专注于泛化误差，即，看不见的数据上的性能。我们提供了高概率的各向同性和相关的高斯数据以及亚高斯数据的泛化误差的界限。这些结果揭示了模型在网络上的划分对泛化性能的依赖性。特别是，我们的研究结果表明，分布式解决方案的泛化误差可以大大高于集中式解决方案，即使在训练数据的错误是在同一水平的集中式和分布式的方法。我们的数值结果说明了与现实世界的图像数据以及合成数据的性能。
2021-08-18 cs.LG eess.SP stat.ML
Minimax Prediction for Functional Linear Regression with Functional Responses in Reproducing Kernel Hilbert Spaces
本文研究了带有函数响应的函数线性回归的收敛速度，其中线性系数位于再生核Hilbert空间（RKHS）中。在不假设再生核和协变量协方差核对齐的情况下，或者假设协方差核的特征值的多项式衰减率的情况下，建立预测风险的收敛率。相应的利率下限是通过减少标量响应的情况下。仿真研究和两个基准数据集被用来说明所提出的方法可以显着优于功能PCA方法的预测。
2012-11-17 stat.ME
Optimal Functional Bilinear Regression with Two-way Functional Covariates via Reproducing Kernel Hilbert Space
针对二维函数协变量回归中估计二维系数函数效率低的问题，提出函数双线性回归模型与三项粗糙度惩罚，在再生核希尔伯特空间下实现极小极大最优预测，并通过迭代广义交叉验证提升计算效率。
2024-11-25 stat.ME
Towards Data-Algorithm Dependent Generalization: a Case Study on Overparameterized Linear Regression
IIIS, Tsinghua University（清华大学交叉信息研究院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Qi Zhi Institute（上海期智研究院）
本文研究过参数化线性回归的泛化问题，提出数据-算法兼容性概念，通过分析依赖数据的训练轨迹证明考虑早停迭代可在更弱限制下保证泛化。
2023-11-21 cs.LG math.ST stat.ML
On regularized polynomial functional regression
University of Genoa（热那亚大学）；Johann Radon Institute for Computational and Applied Mathematics, Austrian Academy of Sciences（奥地利科学院约翰·拉东计算与应用数学研究所）
针对多项式函数回归，本文建立涵盖光滑性、容量与正则化条件的新型有限样本界，推广线性函数回归结果，并用数值实验证明高阶多项式项可提升性能。
2024-05-07 cs.LG cs.NA math.NA
Sparse Symmetric Tensor Regression for Functional Connectivity Analysis
Division of Biostatistics, University of California, Berkeley（加州大学伯克利分校生物统计学系）
张量回归模型，如CP回归和Tucker回归，在神经影像学分析中有许多成功的应用，其中协变量是多维度的，具有复杂的空间结构。高维协变量数组，也称为张量，可以用低秩结构近似，并适合广义线性模型。由此产生的张量回归实现了显着的降维，同时保持有效的估计和预测。大脑功能连接是大脑活动的重要指标，并已显示出与阿尔茨海默病等神经系统疾病的显着关联。函数连通性的对称性是一个在以前的张量回归模型中尚未探索过的性质。在这项工作中，我们提出了一种稀疏对称张量回归，进一步减少了自由参数的数量，并在各种模拟设置下实现了优于对称和普通CP回归的性能。我们将所提出的方法应用于研究阿尔茨海默氏病（AD）和正常老化的伯克利老龄队列研究（BACS），并检测两个区域的兴趣，已被确定为重要的AD。
2020-10-28 cs.LG stat.ML
C-Mixup: Improving Generalization in Regression
Rutgers University（罗格斯大学）；Stanford University（斯坦福大学）；Zhejiang University（浙江大学）
提高深度网络的泛化能力是一个重要的开放性挑战，特别是在没有大量数据的领域。混合算法通过线性内插一对样本及其对应的标签来提高泛化能力。这些内插的示例扩充了原始训练集。混合在各种分类任务中显示出有希望的结果，但在回归中对混合的系统分析仍有待探索。直接在回归标签上使用mixup可能会导致任意错误的标签。在本文中，我们提出了一个简单而强大的算法，C-Mixup，以提高回归任务的泛化能力。vanilla mixup以均匀的概率挑选训练样本进行混合，而C-Mixup则根据标签的相似性调整采样概率。我们的理论分析证实，C-Mixup与标签相似性获得更小的均方误差在监督回归和元回归比香草mixup和使用特征相似性。C-Mixup的另一个好处是它可以提高分布外的鲁棒性，其中测试分布与训练分布不同。通过有选择地内插具有相似标签的示例，它减轻了域相关信息的影响，并产生域不变表示。我们在11个数据集上评估了C-Mixup，从表格数据到视频数据。与最佳先验方法相比，C-Mixup在分布内泛化、任务泛化和分布外鲁棒性方面分别提高了6.56%、4.76%和5.82%。代码发布于https://github.com/huaxiuyao/C-Mixup。
2022-10-11 cs.LG stat.ML
Universal Functional Regression with Neural Operator Flows
California Institute of Technology（加州理工学院）；NVIDIA Corporation（英伟达公司）
针对函数空间回归受限于高斯过程先验的问题，提出通用函数回归概念，开发神经算子流（OpFlow）实现非高斯函数空间先验学习，提升回归准确性与不确定性量化能力。
2024-11-26 cs.LG stat.ML
Functional Mixture Discriminant Analysis with hidden process regression for curve classification
Institut Universitaire de France（法兰西大学研究院）
我们提出了一种新的基于混合模型的判别分析方法的功能数据使用一个特定的隐藏过程回归模型。该方法允许拟合灵活的曲线模型，以每一类复杂形状的曲线呈现政权的变化。通过使用专用的期望最大化（EM）算法，最大化每个类的数据对数似然来学习模型参数。仿真数据与其他方法的比较表明，所提出的方法提供了更好的结果。
2013-12-25 cs.LG stat.ME stat.ML
A hidden process regression model for functional data description. Application to curve discrimination
INRETS（法国国家运输与安全研究所）；Compiègne University of Technology（贡比涅技术大学）；French National Institute for Transport and Safety Research (INRETS)（法国国家运输与安全研究所（INRETS））
本文提出了一种新的功能数据描述方法。它包括一个回归模型与离散隐藏的逻辑过程，适用于建模曲线突然或平滑政权的变化。通过专用的期望最大化（EM）算法在极大似然框架中估计模型参数。从建议的生成模型，曲线的歧视规则，使用最大后验规则。所提出的模型进行评估，使用模拟曲线和现实世界中获得的曲线在铁路道岔操作，通过执行与分段回归方法的曲线建模和分类方面的比较。
2013-12-25 cs.LG stat.ME stat.ML
Ridge regression with adaptive additive rectangles and other piecewise functional templates
Politecnico di Milano（米兰理工大学）
提出了一种基于$L_{2}$的泛函线性回归模型惩罚算法，该算法通过限制基展开将系数函数收缩到数据驱动的形状模板$γ$，并将其约束为一类分段函数.特别是，我们专注于$γ$可以表示为相对于回归误差自适应定位的$q$矩形的总和的情况。由于寻找分段函数的最佳节点位置的问题是非凸的，所提出的参数化允许减少全局优化方案中的变量的数量，从而导致在近似合适的模板和解决凸脊状问题之间交替的拟合算法。我们的方法的预测能力和可解释性显示在多个模拟和两个现实世界的案例研究。
2020-11-02 cs.LG stat.ME stat.ML
Differentially Private Log-Location-Scale Regression Using Functional Mechanism
North Carolina State University（北卡罗来纳州立大学）
针对回归模型的隐私保护需求，提出基于函数机制的差分隐私对数位置尺度回归模型，推导敏感度并证明满足ε-差分隐私，实验验证了影响模型性能的关键因素及数据规模的重要性。
2024-04-12 cs.CR cs.LG stat.AP
FAME: Adaptive Functional Attention with Expert Routing for Function-on-Function Regression
Department of Industrial Engineering（工业工程系）；Tsinghua University（清华大学）；Department of Industrial and Systems Engineering（工业与系统工程系）；University of Iowa（爱荷华大学）
针对泛函数据表示学习的难点，提出端到端数据驱动的FAME框架，结合神经控制微分方程、MoE与多头交叉注意力捕捉函数内外特性，在回归基准上实现SOTA准确率与强鲁棒性。
2025-10-01 cs.AI cs.LG
Learning Functional Dependencies with Sparse Regression
我们研究的问题，发现功能依赖（FD）从一个嘈杂的数据集。我们专注于与数据集中的统计依赖性相对应的FD，并在概率图模型中绘制FD发现和结构学习之间的联系。我们表明，发现FD从嘈杂的数据集是等价于学习的二进制随机变量的图形模型的结构，其中每个随机变量对应于一个功能的数据集属性。基于这一观察，我们引入AutoFD一个概念上简单的框架，在这个框架中，学习函数依赖关系对应于解决稀疏回归问题。我们表明，我们的方法可以在各种真实世界和合成数据集上恢复真正的函数依赖关系，即使在存在噪声或丢失数据的情况下也是如此。我们发现，AutoFD可扩展到具有数百万元组和数百个属性的大型数据实例，同时与最先进的FD发现方法相比，它的平均F1提高了2倍。
2019-05-04 cs.DB cs.LG
