Multi-Observation Regression
University of Colorado, Boulder（科罗拉多大学博尔德分校）；University of Victoria（维多利亚大学）；Harvard University（哈佛大学）；University of Pennsylvania（宾夕法尼亚大学）
最近的工作介绍了损失函数，它测量基于多个同时观测或结果的预测误差。在本文中，我们将探讨当使用这种多观测损失对数据集的$(x,y)$对回归时所出现的理论和实际问题。当损失仅取决于一个观察时，平均经验损失通过将损失应用于每个对来分解，但是对于多观察情况，经验损失甚至没有被良好地定义，并且如果没有具有完全相同的$x$值的几个$(x,y)$对，统计保证的可能性是不清楚的。我们提出了四个算法正式的经验风险最小化的概念，这个问题，其中两个有统计保证的设置，允许慢和快的收敛速度，但这是由其他两个经验表现。实验结果表明，这些算法在低维环境中的实用性，而下限表现出内在的困难，在高维。最后，我们证明了自然基线，使用传统的单观测损失，通过下界和模拟算法的潜在好处。
2018-02-27 cs.LG
On Acceleration of Gradient-Based Empirical Risk Minimization using Local Polynomial Regression
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Rice University（莱斯大学）
我们研究了最近提出的基于局部多项式插值的梯度下降法（LPI-GD）的经验风险最小化问题（ERM）的近似解的加速。我们专注于损失函数是强凸的，光滑的条件数$σ$。我们还假设损失函数对于数据是$η$ -Hölder连续的。对于期望的精度$\varepsilon$，LPI-GD的预言复杂度是$\tilde{O}\left(σm^d \log(1/\varepsilon)\right)$，其中$d$是参数空间的维度，并且$m$是近似网格的基数。因子$m^d$可以显示为按比例缩放为$O((1/\varepsilon)^{d/2η})$。LPI-GD已被证明具有更好的预言复杂度比梯度下降（GD）和随机梯度下降（SGD）的某些参数制度。我们提出了两种基于LPI-GD的ERM问题的加速方法，并给出了$\tilde{O}\left(\sqrtσ m^d \log(1/\varepsilon)\right)$的预言复杂度。此外，我们提供了基于局部多项式插值的梯度方法的第一个实证研究，并证实LPI-GD在某些情况下具有比GD和SGD更好的性能，并且所提出的方法实现了加速。
2022-04-16 cs.LG math.OC stat.ML
Histogram Transform Ensembles for Large-scale Regression
Samsung Research China - Beijing（三星中国研究院-北京）
我们提出了一种新的算法，称为直方图变换集成（HTE），由随机旋转，拉伸和平移的大规模回归问题。首先，我们研究了当回归函数位于Hölder空间$C^{k,α}$，$k \in \mathbb{N}_0$，$α\in (0,1]$中时HTE的理论性质.在$k=0, 1$的情况下，我们采用常数回归，并开发了朴素直方图变换（NHT）。在空间$C^{0,α}$，虽然几乎最优的收敛速度可以得出单一和合奏NHT，我们没有表现出的好处，理论上单一的估计合奏。相反，在子空间$C^{1,α}$，我们证明了，如果$d \geq 2(1+α)/α$，单一的NHT的收敛速度的下限原来是更糟糕的集合NHT的收敛速度的上限。在$k \geq 2$的另一种情况下，NHT可能不再适合于预测更平滑的回归函数。相反，我们应用内核直方图变换（KHT）配备了更平滑的回归，如支持向量机（SVM），事实证明，无论是单一的和合奏KHT享有几乎最佳的收敛速度。然后通过数值实验验证了上述理论结果。一方面，模拟结果表明，系综NHT优于单一NHT。另一方面，面元大小对NHT和KHT精度的影响也与理论分析一致。最后，在真实数据实验中，将集成KHT与自适应直方图变换和其他最先进的大规模回归估计器进行了比较，验证了我们算法的有效性和准确性。
2019-12-08 cs.LG math.ST stat.ML
Federated Empirical Risk Minimization via Second-Order Method
Adobe Research（奥多比研究院）；Boston University（波士顿大学）
本文提出一种联邦学习场景下求解一般经验风险最小化问题的内点法，并证明其每轮迭代通信复杂度为 $\ ilde{O}(d^{3/2})$，其中 $d$ 为特征维度。
2023-05-27 cs.DC cs.LG
Communication-Efficient Distributed Optimization of Self-Concordant Empirical Loss
Microsoft Research（微软研究院）
我们考虑源自随机最优化的样本平均近似或机器学习中的经验风险最小化的分布式凸优化问题。我们假设分布式计算系统中的每台机器都可以访问本地经验损失函数，该函数由独立同分布构造。从一个共同分布中采样的数据。我们提出了一个通信效率的分布式算法，以尽量减少整体经验损失，这是平均的本地经验损失。该算法基于不精确阻尼牛顿法，其中不精确牛顿步由分布式预条件共轭梯度法计算。我们分析了它的迭代复杂度和通信效率最小化自协调经验损失函数，并讨论了分布岭回归，逻辑斯谛回归和二进制分类与平滑铰链损失的结果。在监督学习的标准设置中，算法所需的通信轮数不会随着样本量的增加而增加，只会随着机器的数量缓慢增长。
2015-01-01 cs.LG math.OC stat.ML
Gradient-Based Empirical Risk Minimization using Local Polynomial Regression
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们考虑光滑，强凸损失函数的经验风险最小化（ERM）的问题，使用迭代梯度为基础的方法。这篇文献的一个主要目标是比较不同的算法，如梯度下降（GD）或随机梯度下降（SGD），通过分析他们的速度收敛到$ε$ -近似的解决方案。例如，GD的oracle复杂度是$O(n\log(ε^{-1}))$，其中$n$是训练样本的数量。当$n$很大时，这在实践中可能是昂贵的，并且SGD由于其$O(ε^{-1})$的Oracle复杂性而被优选。这样的标准分析仅利用被优化的参数中的损失函数的平滑性。相比之下，我们证明了当损失函数在数据中是平滑的时，我们可以在每次迭代中学习预言，并在重要的制度中击败GD和SGD的预言复杂性。具体来说，在每次迭代中，我们提出的算法执行局部多项式回归来学习损失函数的梯度，然后估计ERM目标函数的真实梯度。我们建立了我们的算法的甲骨文复杂性规模像$\tilde{O}((p ε^{-1})^{d/(2η)})$（忽略次主导因素），其中$d$和$p$分别是数据和参数空间维度，损失函数的梯度属于$η$ -Hölder类的数据。我们的证明扩展了非参数统计中的局部多项式回归分析，以提供多变量设置中的插值保证，并且还利用了不精确GD文献中的工具。与GD和SGD不同，我们的方法的复杂性取决于$d$和$p$。然而，当$d$很小，损失函数在数据中表现出适度的平滑性时，我们的算法在非常广泛…
2020-11-04 cs.LG math.OC math.ST
CRUDE: Calibrating Regression Uncertainty Distributions Empirically
Stanford University（斯坦福大学）
机器学习中校准的不确定性估计对自动驾驶汽车、医学以及天气和气候预测等许多领域至关重要。虽然有大量的文献不确定性校准分类，分类结果并不总是转化为回归。因此，在回归设置中预测不确定性的现代模型通常会产生未经校准和过度自信的估计。为了解决这些差距，我们提出了一种回归设置的校准方法，该方法不假设误差上的特定不确定性分布：经验校准回归不确定性分布（CRUDE）。CRUDE假设误差分布在整个输出空间中具有恒定的任意形状，由预测的平均值移动，并由预测的标准差缩放。我们详细介绍了CRUDE和共形推理之间的理论联系。在一系列广泛的回归任务中，CRUDE始终表现出比最先进的技术更清晰，更好的校准和更准确的不确定性估计。
2021-03-15 cs.LG stat.ML
In-Context Learning in Linear vs. Quadratic Attention Models: An Empirical Study on Regression Tasks
University of California, Berkeley（加州大学伯克利分校）
本文通过实证研究比较了线性与二次注意力模型在回归任务中的上下文学习表现，分析了模型深度对性能的影响，并揭示了两者在ICL任务中的异同。
2026-02-19 cs.AI cs.LG
Semi-Supervised Ordinal Regression Based on Empirical Risk Minimization
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）；Kyoto University（京都大学）
有序回归的目的是预测有序类标签。在本文中，我们考虑它的半监督制定，其中我们有未标记的数据以及有序标记的数据训练有序回归。有几个度量来评估有序回归的性能，例如平均绝对误差，平均零一误差和均方误差。然而，现有的研究没有考虑评价指标，对模型的选择有限制，没有理论保证。为了克服这些问题，我们提出了一种新的通用框架，半监督有序回归的基础上的经验风险最小化原则，适用于优化上述所有指标。此外，我们的框架具有灵活的模型，代理损失和优化算法的选择，而无需对未标记数据进行常见的几何假设，如聚类假设或流形假设。我们进一步提供了一个估计误差界，以表明我们的风险估计是一致的。最后，我们进行实验，以显示我们的框架的实用性。
2021-06-10 cs.LG stat.ML
Consistency Analysis of an Empirical Minimum Error Entropy Algorithm
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Wuhan University（武汉大学）；Middle Tennessee State University（中田纳西州立大学）；City University of Hong Kong（香港城市大学）
在本文中，我们研究的经验最小误差熵（EML）算法在回归设置的一致性。我们介绍两种类型的一致性。误差熵的一致性，这需要学习函数的误差熵近似最小误差熵，示出总是真的，如果带宽参数以适当的速率趋于0。然而，回归一致性要求学习函数逼近回归函数，这是一个复杂的问题。证明了当噪声与输入变量无关时，误差熵的一致性蕴涵着回归的一致性。但对于异方差模型，一个反例被用来表明，这两种类型的一致性不重合。一个令人惊讶的结果是，回归一致性总是真的，只要带宽参数以适当的速率趋于无穷大。证明了两类特殊模型的回归相合性在固定带宽参数下成立，进一步说明了非线性回归相合性的复杂性。傅里叶变换在我们的分析中起着至关重要的作用。
2014-12-17 cs.LG stat.ML
Generalized Resubstitution for Regression Error Estimation
Texas A&M University（德克萨斯农工大学）
本文提出回归广义重代入误差估计器族，通过选择不同经验概率测度与损失函数改进偏差和方差，并证明其一致性，实验验证了有限样本下的优越性。
2024-10-23 cs.LG
STORM: Foundations of End-to-End Empirical Risk Minimization on the Edge
Rice University（莱斯大学）
经验风险最小化可能是统计学习中最有影响力的思想，以回归和分类模型的形式应用于几乎所有的科学和技术领域。为了分析分布式计算环境中的海量流数据集，从业者越来越倾向于在边缘而不是云中部署回归模型。通过将数据保存在边缘设备上，我们可以最大限度地降低与模型相关的能源、通信和数据安全风险。虽然在边缘训练模型同样有利，但通常的假设是模型最初是在云中训练的，因为训练通常需要大量的计算和内存。为此，我们提出了STORM，一个经验风险最小化的在线草图。STORM将数据流压缩到一个小的整数计数器数组中。这个草图足以估计原始数据集上的各种替代损失。我们提供了严格的理论分析，并表明，风暴可以估计一个精心选择的替代损失的最小二乘目标。在对真实数据集上的线性回归模型进行详尽的实验比较中，我们发现STORM允许训练准确的回归模型。
2020-06-25 cs.LG stat.ML
Analysis of Network Lasso for Semi-Supervised Regression
Aalto University（阿尔托大学）
我们将网络Lasso应用于涉及网络结构化数据的半监督回归问题。这种方法非常自然地适用于高度可扩展的学习算法，其形式是通过代表数据网络结构的经验图传递消息。通过使用一个简单的非参数回归模型，这是由聚类假设的动机，我们提供了一个网络Lasso的估计误差的分析。该分析揭示了保证网络Lasso准确的网络结构和可用训练数据的条件。值得注意的是，网络Lasso的准确性与经验图上存在足够大的网络流有关。因此，我们的分析揭示了网络Lasso和最大流问题之间的联系。
2018-12-27 cs.LG stat.ML
Constructing Variables Using Classifiers as an Aid to Regression: An Empirical Assessment
Orange Innovation（奥兰治创新公司）
本文提出一种通过分类器构造补充变量的回归预处理方法，在33个数据集上用5种回归器验证了其有效性。
2024-03-13 cs.LG
Benefits of Online Tilted Empirical Risk Minimization: A Case Study of Outlier Detection and Robust Regression
MLIP Research Group, KUIS AI Center \& Department of EEE, Koç University İstanbul, Turkey
本文提出一种在线倾斜经验风险最小化方法，通过去除经典目标中的对数项保留倾斜效应，以与ERM相当的单样本计算成本在流式学习中同时实现异常值鲁棒性与少数类公平性。
2025-09-18 cs.LG stat.ML
Resampling strategies for imbalanced regression: a survey and empirical analysis
本文针对回归任务中的不平衡问题，开展广泛的平衡与预测模型实验，并基于回归模型、学习过程和评估指标提出了一种不平衡回归方法的分类法，为重采样策略的应用提供了新见解。
2025-07-16 cs.LG
Semi-Supervised Empirical Risk Minimization: Using unlabeled data to improve prediction
Tel-Aviv University（特拉维夫大学）
我们提出了一个通用的方法，使用未标记的数据设计半监督学习（SSL）变种的经验风险最小化（ERM）学习过程。针对广义线性回归，分析了SSL方法在提高预测性能方面的有效性。关键思想是仔细考虑空模型作为竞争对手，并利用未标记的数据来确定信号噪声组合，其中SSL优于监督学习和空模型。然后，我们使用SSL的自适应方式的基础上估计的信号和噪声。在特殊的情况下，线性回归与高斯协变量，我们证明了非自适应SSL版本实际上是不能够同时提高两个监督估计和空模型，超过一个可以忽略不计的O（1/n）项。另一方面，在这项工作中提出的自适应模型，可以同时实现对两个竞争对手的大幅改善，在各种设置下。这通过大量的模拟经验地显示，并扩展到其他场景，如非高斯协变量，错误指定的线性回归，或广义线性回归与非线性链接函数。
2022-02-05 cs.LG stat.ME stat.ML
Empirical Models for Multidimensional Regression of Fission Systems
Massachusetts Institute of Technology（麻省理工学院）
核电站等裂变系统的下一代自主控制的开发将需要利用机器学习的进步。对于裂变系统，准确预测核输运对于量化安全裕度和优化性能是重要的。解决这个问题的最先进的方法是昂贵的蒙特卡罗（MC）模拟近似的中子输运方程的解决方案。这种方法对于离线计算是可行的，用于设计或许可，但不能用作基于模型的控制器。在这项工作中，我们探索使用人工神经网络（ANN），梯度提升回归（GBR），高斯过程回归（GPR）和支持向量回归（SVR）来生成经验模型。然后可以部署经验模型，例如，在模型预测控制器中。两个裂变系统进行了探讨：亚临界MIT石墨指数堆（MGEP），和临界MIT研究堆（MITR）。这项工作的结果建立了指导方针，为中子输运的多维回归经验模型。的准确性和精度的评估发现，SVR，紧随其后的人工神经网络，表现最好。对于MGEP和MITR，优化的SVR模型表现出的域平均，测试，平均绝对百分比误差为0.17%。性能指标的空间分布表明，性能差的物理区域与最大的中子通量扰动的位置相吻合-这种结果是由ANN和SVR减轻。即使在局部最大值，人工神经网络和SVR的偏见是在实验的不确定性范围内。性能与训练数据集大小的比较发现，SVR是更有效的数据比ANN。ANN和SVR实现了大于7阶减少评估时间与MC模拟。
2021-05-30 cs.LG physics.comp-ph
Practical Contextual Bandits with Regression Oracles
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）；University of Southern California（南加州大学）
上下文强盗的一个主要挑战是设计通用的算法，既实用又有理论依据。我们提出了一种新的技术，具有经验和计算优势的可实现性为基础的方法结合了不可知方法的灵活性。我们的算法利用回归预言的价值函数类，一个更现实和合理的预言比分类预言通常假设的不可知方法的政策的可用性。我们的方法将UCB和LinUCB推广到更有表现力的可能模型类，并在某些分布假设下实现了低遗憾。在一个广泛的实证评估，基于可实现性和不可知的基线相比，我们发现，我们的方法通常给出可比或优越的结果。
2018-03-03 cs.LG stat.ML
Continuous Conditional Generative Adversarial Networks: Novel Empirical Losses and Label Input Mechanisms
University of British Columbia（不列颠哥伦比亚大学）
本文提出连续条件生成对抗网络CcGAN，通过重构经验损失并提出朴素与改进标签输入方法，解决以连续回归标签为条件的图像生成问题，并在多个数据集上显著优于现有cGAN。
2023-10-30 cs.CV cs.LG stat.ML
Empirical Asset Pricing via Ensemble Gaussian Process Regression
École Polytechnique Fédérale de Lausanne（瑞士联邦理工学院）；Swiss Finance Institute（瑞士金融研究所）；Indian Institute of Technology Ropar（印度理工学院罗帕尔分校）
本文提出了一种基于高斯过程回归的集成学习方法，用于预测股票收益率，并在实证分析中展示了其在预测精度和夏普比率上的优越性。
2026-03-07 cs.LG q-fin.RM q-fin.ST
An Empirical Analysis of Constrained Support Vector Quantile Regression for Nonparametric Probabilistic Forecasting of Wind Power
Lehigh University（理海大学）
本文结合支持向量机、非线性分位数回归与非交叉约束提出风电非参数概率预测方法，基于全球能源预测竞赛2014年数据验证，该方法性能优于三个基准模型且避免分位数估计重叠问题。
2026-08-10 cs.LG econ.EM stat.ML
Identification of Empirical Constitutive Models for Age-Hardenable Aluminium Alloy and High-Chromium Martensitic Steel Using Symbolic Regression
University of Bremen（不莱梅大学）；Leibniz Institute for Materials Engineering – IWT（莱比锡材料工程研究所）；University of Applied Sciences Upper Austria（上奥地利应用技术大学）
本研究针对材料科学中过程-结构-性能关系的建模需求，提出使用符号回归推导时效硬化铝合金和高铬马氏体钢的塑性变形本构模型，通过两种测试方法获取数据，验证了该方法的优势并讨论了挑战。
2025-11-11 cond-mat.mtrl-sci cs.LG
An Empirical Wall-Pressure Spectrum Model for Aeroacoustic Predictions Based on Symbolic Regression
ETSIAE-UPM - School of Aeronautics, Universidad Politécnica de Madrid（马德里理工大学航空工程学院（ETSIAE-UPM））；University of Twente（特文特大学）
本研究针对现有翼型壁压谱模型适用范围窄、鲁棒性不足的问题，采用基于遗传算法的AI符号回归构建新经验模型，经多翼型多工况数据验证更优，结合Amiet理论可准确预测全尺寸风机气动噪声。
2025-01-14 cs.AI cs.LG physics.flu-dyn
Stable Update of Regression Trees
University of Bergen（卑尔根大学）；Equinor（Equinor公司）
本文针对回归树更新中的稳定性问题，提出基于初始模型不确定性加权的正则化方法，通过超参数平衡可预测性与经验稳定性，实验证明该方法能在保持或提升预测性能的同时显著提高更新稳定性。
2024-02-21 cs.LG
An Empirical Investigation of Neural ODEs and Symbolic Regression for Dynamical Systems
Department of Physics University of Cambridge（剑桥大学物理系）
该研究通过实证比较神经微分方程与符号回归在动态系统建模中的表现，发现NODEs能有效外推并增强数据，SR能从噪声数据中恢复方程，为科学发现提供了新方法。
2026-01-28 cs.LG physics.comp-ph
On the Minimal Error of Empirical Risk Minimization
MIT（麻省理工学院）
我们研究的最小误差的经验风险最小化（ERM）程序的回归任务，无论是在随机和固定的设计设置。我们清晰的下界揭示了适应生成数据的模型的简单性的可能性（或不可能性）。在固定的设计设置，我们表明，错误是由整个类的全局复杂性。相反，在随机设计中，如果回归函数周围的局部邻域几乎和类本身一样复杂，ERM可能只适用于更简单的模型，这是一个有点违反直觉的结论。我们提供了尖锐的下界的ERM为Donsker和非Donsker类的性能。我们还讨论了我们的结果，通过最近的研究超参数化模型的插值镜头。
2021-02-24 cs.LG math.ST stat.ML
PIT-SUN: A Deployable Empirical Marginal Transform Framework with Expectation-Consistent Recovery for Regression in Recommender Systems
Kuaishou Technology（快手科技）
针对推荐系统中估计原始空间条件期望的问题，提出PIT-SUN框架，通过经验边际表定义相关内容，应用乘法SUN恢复估计期望，实验表明该方法在多方面有提升且部署开销小。
2026-07-10 cs.LG
Empirical Bayes Estimation for Lasso-Type Regularizers: Analysis of Automatic Relevance Determination
Department of Computer Science and Engineering（计算机科学与工程系）
本文针对 lasso 和 group lasso 等稀疏正则化线性回归模型，推导了经验贝叶斯估计量，证明估计量在特定条件下发散从而触发自动相关性确定（ARD）机制，并系统阐明了 ridge、lasso 和 group lasso 产生 ARD 的条件。
2025-07-02 cs.IT cs.LG math.IT
