Minimizers of the Empirical Risk and Risk Monotonicity
University of Copenhagen（哥本哈根大学）；Delft University of Technology（代尔夫特理工大学）
将学习者的平均表现与训练样本的数量绘制成学习曲线。在一个或多个数据集上研究这样的曲线是更好地理解这个学习器的泛化特性的一种方法。然而，学习曲线的行为还没有得到很好的理解，并且可以显示（对大多数研究人员来说）相当意外的行为。我们的工作引入了\emph{risk monotonicity}的正式概念，它要求风险不会随着训练样本的预期训练集大小的增加而恶化。然后，我们提出了令人惊讶的结果，各种标准的学习者，特别是那些经验风险最小化，可以采取行动\emph{non}单调的训练样本大小无关。我们提供了一个理论基础，从分类，回归和密度估计的具体实例。总之，单调性概念的提出开辟了一个全新的研究方向。
2020-03-13 cs.LG stat.ML
Fast Rates for Empirical Risk Minimization of Strict Saddle Problems
The Hebrew University（希伯来大学）
我们得出的经验风险最小化（ERM）的背景下，最小化非凸风险，承认严格的鞍性质的样本复杂性的界限。非凸优化的最新进展已经产生了有效的算法来最小化这样的功能。我们的研究结果表明，这些有效的算法是统计稳定的，也推广得很好。特别是，我们得到快速的利率类似的界限，往往达到强凸设置。我们指定了主成分分析和独立成分分析的界限。我们的结果和技术可能铺平道路的统计分析额外的严格鞍问题。
2017-06-04 cs.LG
Competing with the Empirical Risk Minimizer in a Single Pass
Stanford University（斯坦福大学）；Microsoft Research, New England（微软新英格兰研究院）；MIT（麻省理工学院）
在许多估计问题中，例如线性回归和逻辑斯谛回归，我们希望在给定目标函数的无偏样本的情况下最小化未知目标。此外，我们的目标是使用尽可能少的样本来实现这一目标。在没有计算约束的情况下，观测数据的样本平均值的最小化-通常被称为经验风险最小化（ERM）或$M$估计-被广泛认为是由于其理想的统计收敛特性的选择估计策略。我们在这项工作中的目标是在每个问题上执行ERM，同时最大限度地减少计算资源的使用，如运行时间和空间使用。我们提供了一个简单的流算法，在基本问题的标准规律性假设下，享有以下属性：* 该算法可以实现在线性时间与一个单一的通过观察到的数据，使用空间线性在一个单一的样本的大小。* 该算法在每个问题上都达到了与经验风险最小化相同的统计收敛速度，即使考虑常数因子。* 该算法的性能取决于以超多项式下降的速率的初始误差。* 该算法易于并行化。此外，我们量化的（有限样本）率的算法变得有竞争力的ERM。
2015-02-25 cs.LG stat.ML
Improved Sample Complexity For Diffusion Model Training Without Empirical Risk Minimizer Access
Purdue University（普渡大学）；University of Central Florida（中佛罗里达大学）；Independent Researcher（独立研究员）
本文提出一种改进的扩散模型训练方法，通过结构化分解分数估计误差，建立样本复杂度界O(ε⁻⁴)，无需假设访问经验风险最小化器。
2026-04-11 cs.AI cs.LG stat.ML
Trained Model in Supervised Deep Learning is a Conditional Risk Minimizer
Academy for Advanced Interdisciplinary Studies（前沿交叉学科研究院）；Peking University（北京大学）；MGH/BWH Center for Advanced Medical Computing and Analysis（麻省总医院/布莱根妇女医院高级医学计算与分析中心）；Massachusetts General Hospital and Harvard Medical School（麻省总医院和哈佛医学院）；Beijing International Center for Mathematical Research（北京国际数学研究中心）
我们证明了监督式深度学习中的训练模型可以最小化每个输入的条件风险（定理2.1）。这个属性提供了对训练模型行为的洞察，并在某些情况下建立了监督学习和无监督学习之间的联系。此外，当标签是棘手的，但可以写为一个条件风险最小化，我们证明了一个等价形式的原始监督学习问题与可访问的标签（定理2.2）。我们证明了许多现有的工作，如Noise2Score，Noise2Noise和得分函数估计可以用我们的定理来解释。此外，我们利用定理2.1导出了带噪声标签的分类问题的一个性质，并使用MNIST数据集进行了验证。在此基础上，提出了一种基于定理2.2的图像超分辨率不确定性估计方法，并使用ImageNet数据集进行了验证。我们的代码可以在github上找到。
2022-02-08 cs.CV cs.LG
Diametrical Risk Minimization: Theory and Computations
Target Corporation（塔吉特公司）；Naval Postgraduate School（海军研究生院）
当损失函数具有较大的Lipschitz模和虚假的尖锐极小值时，经验风险最小化（ERM）的理论和经验性能往往会受到影响。我们提出并分析了一个对应的ERM称为直径风险最小化（DRM），它占最坏情况下的经验风险在参数空间的邻里。DRM具有独立于Lipschitz模的凸和非凸问题的推广界，并且可以使用基于随机梯度下降的实用算法来实现。数值结果表明，DRM的能力，找到高质量的解决方案与低泛化误差尖锐的经验风险景观从基准神经网络分类问题与损坏的标签。
2021-07-07 cs.LG math.OC
Non-convergence to global minimizers for Adam and stochastic gradient descent optimization and constructions of local minimizers in the training of artificial neural networks
Shenzhen Research Institute of Big Data（深圳大数据研究院）
本研究证明在浅层ReLU神经网络训练中，SGD类优化器（含Adam）以高概率不收敛于全局极小值，并构造了风险值不同的局部极小值层次结构，解释其训练成功的原因。
2024-02-07 cs.LG math.OC
Differentially Private Empirical Risk Minimization with Sparsity-Inducing Norms
Imperial College London（帝国理工学院）
差分隐私关注的是预测质量，同时衡量隐私对个人的信息包含在数据中的影响。我们考虑差分私人风险最小化问题的正则化诱导结构稀疏。已知这些正则化子是凸的，但它们通常是不可微的。分析了标准的差分隐私算法，如输出扰动、Frank-Wolfe和目标扰动。输出扰动是一种差分私有算法，已知其在最小化强凸风险方面表现良好。以前的作品已经推导出的额外的风险界限是独立的维度。在本文中，我们假设了一类特殊的凸但非光滑的正则化，诱导结构稀疏性和损失函数的广义线性模型。我们还考虑差分私人Frank-Wolfe算法来优化风险最小化问题的对偶。我们推导出这两种算法的超额风险界限。这两个界都依赖于对偶范数的单位球的高斯宽度。我们还证明了风险最小化问题的目标扰动等价于对偶优化问题的输出扰动。这是第一个工作，分析了双重优化问题的风险最小化问题的背景下，差分隐私。
2019-05-13 cs.LG stat.ML
Empirical Evaluation of Biased Methods for Alpha Divergence Minimization
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
在本文中，我们经验性地评估α发散最小化的有偏方法。特别是，我们专注于偏见如何影响找到的最终解决方案，以及这如何取决于问题的维度。我们发现，（i）这些方法返回的解决方案似乎强烈偏向于传统的“排他性”KL-分歧KL（q）的最小值||p），以及（ii）在高维度中，需要不切实际的大量计算来减轻这种偏差并获得实际上最小化感兴趣的α发散的解。
2021-05-13 cs.LG stat.ML
Convex Risk Minimization and Conditional Probability Estimation
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）
本文证明了，在非常一般的设置，凸风险最小化是一个过程，选择一个独特的条件概率模型所确定的分类问题。与大多数以前的工作不同，我们给出的结果是足够一般的情况下，其中不存在最小值，通常会发生，例如，与标准的提升算法。具体地说，我们首先表明，任何序列的预测最小化凸风险的源分布将收敛到这个独特的模型时，类的预测是线性的（但可能是无限维）。其次，我们证明了同样的结果适用于\emph{empirical}风险最小化时，这类预测是有限维的，其中的基本技术贡献是一个无范数的推广界。
2015-06-15 cs.LG stat.ML
Stable-Predictive Optimistic Counterfactual Regret Minimization
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）
CFR框架在实际中已经成为求解大规模可拓形式博弈的有力工具。然而，过去基于CFR的算法收敛到纳什均衡的理论速率是$O(T^{-1/2})$的量级，其中$T$是迭代次数。相比之下，一阶方法可用于实现对迭代的$O(T^{-1})$依赖性，然而这些方法在实践中不太成功。在这项工作中，我们提出了第一个CFR的变种，打破了平方根依赖迭代。通过结合和扩展最近的进展预测和稳定的后悔最小化矩阵游戏设置，我们表明，它是可能的，利用“乐观”后悔最小化实现$O(T^{-3/4})$收敛速度内CFR。这是通过引入一个新的概念，稳定的预测，并通过设置每个反事实的遗憾最小化相对于其在决策树中的位置的稳定性。实验表明，该方法比原来的CFR算法更快，虽然不如新的变种，尽管他们的最坏情况下的$O(T^{-1/2})$依赖于迭代。
2019-02-13 cs.AI cs.GT cs.LG
Chaining Bounds for Empirical Risk Minimization
University of Alberta（阿尔伯塔大学）；Imperial College London（帝国理工学院）
本文推广了标准链技术，证明了在随机设计条件下，即使噪声和估计值的大小是无界的，经验风险最小化的超额风险上界也是存在的。该界适用于许多损失函数，除了平方损失，和尺度仅与亚高斯或亚指数参数没有进一步的统计假设，如有界峰度条件的假设类。一个详细的分析提供了斜率约束和惩罚线性最小二乘回归与亚高斯设置，这往往证明了严格的样本复杂性界对数因子。
2016-09-07 cs.LG stat.ML
Empirical Risk Minimization for Time Series: Nonparametric Performance Bounds for Prediction
Universitat Pompeu Fabra（庞培法布拉大学）；Barcelona Graduate School of Economics（巴塞罗那经济学院）
经验风险最小化是学习理论中选择算法的标准原则。本文研究了时间序列经验风险最小化的性质。进行分析的一般框架，涵盖不同类型的预测应用中遇到的文献。我们关注的是由参数驱动过程产生的单变量时间序列的1步预测。针对时间序列的预测问题，提出了一类递归算法。算法是递归的，在这个意义上说，在一个给定的时期内产生的预测是预测的滞后值和时间序列的函数。时间序列的生成机制和算法类别之间的关系未指定。我们的主要结果建立了由经验风险最小化选择的算法渐近地实现了在该类算法内可达到的最优预测性能。
2021-08-11 cs.LG stat.ML
Excess risk bounds in robust empirical risk minimization
Université Paris-Saclay（巴黎萨克雷大学）；Univ. Paris-Sud（巴黎南大学）；CNRS（法国国家科学研究中心）；Inria Saclay - Ile-de-France（法国国家信息与自动化研究所萨克莱-法兰西岛分院）；University of Southern California（南加州大学）
本文研究了现代统计方法的核心技术之一的一般经验风险最小化算法的鲁棒版本。经验风险最小化的成功是基于这样的事实，即对于由一类函数$f\in \mathcal F$索引的“表现良好”的随机过程$\left\{ f(X), \ f\in \mathcal F\right\}$，在i.i.d.的样本$X_1,\ldots,X_N$上评估的平均$\frac{1}{N}\sum_{j=1}^N f(X_j)$。$X$的副本在大类$f\in \mathcal F$上一致地提供了对期望$\mathbb E f(X)$的良好近似。然而，如果过程的边缘分布是重尾的，或者如果样本包含离群值，则这可能不再正确。我们提出了一个版本的经验风险最小化的基础上的想法，取代样本平均值的强大的代理的期望，并获得高置信度的界限所产生的估计的超额风险。特别是，我们表明，稳健估计的超额风险可以收敛到$0$在快速的速度相对于样本大小。我们讨论的主要结果的影响，线性和逻辑斯谛回归的问题，并评估所提出的方法的数值模拟和真实数据的性能。
2019-10-16 cs.LG stat.ML
Classification from Pairwise Similarities/Dissimilarities and Unlabeled Data via Empirical Risk Minimization
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
数据点之间的成对相似性和不相似性可能比现实世界分类问题中的完全标记数据更容易获得，例如，在隐私意识的情况下。为了处理这样的成对信息，已经提出了一种经验风险最小化方法，给出了分类风险的无偏估计，该估计只能从成对相似性和未标记数据中计算。然而，这个方向到目前为止还不能处理成对的相异。半监督聚类是一种既能利用相似性又能利用相异性的聚类方法。然而，它们通常需要对数据分布进行强几何假设，例如流形假设，这可能会降低性能。在本文中，我们得到了一个无偏的风险估计，它可以处理所有的相似性/相异性和未标记的数据。我们从理论上建立估计误差的界限和实验证明我们的经验风险最小化方法的实用性。
2019-04-26 cs.LG stat.ML
Invariant Risk Minimization
我们引入了不变风险最小化（Invariant Risk Minimization，简称RST），这是一种学习范式，用于估计多个训练分布之间的不变相关性。为了实现这一目标，SVM学习一个数据表示，以便在该数据表示之上的最佳分类器匹配所有训练分布。通过理论和实验，我们展示了通过学习的不变性如何与管理数据的因果结构相关，并使分布外泛化成为可能。
2020-03-27 cs.AI cs.LG stat.ML
Robust Risk Minimization for Statistical Learning
Uppsala University（乌普萨拉大学）
我们考虑一个一般的统计学习问题，其中一个未知的部分的训练数据被损坏。我们开发了一个强大的学习方法，只需要指定一个上限的损坏的数据部分。该方法最小化由具有未知概率权重的非参数分布定义的风险函数。我们推导和分析的最佳权重，并显示它们如何提供对损坏的数据的鲁棒性。此外，我们给出了一个计算效率高的坐标下降算法来解决风险最小化问题。我们展示了广泛的适用性的方法，包括回归，分类，无监督学习和经典的参数估计，与国家的最先进的性能。
2020-02-07 cs.LG eess.SP stat.ML
Stochastic dual averaging methods using variance reduction techniques for regularized empirical risk minimization problems
Tokyo Institute of Technology（东京工业大学）；Japan Science and Technology Agency（日本科学技术振兴机构）
我们考虑一个复合凸最小化问题与正则化的经验风险最小化，这经常出现在机器学习。本文提出了两种新的随机梯度法，它们是基于方差缩减的随机对偶平均方法。我们的方法生成一个稀疏的解决方案比现有的方法，因为我们不需要采取的平均历史的解决方案。这在可解释性和概括性方面都是有利的。此外，我们的方法有理论支持的强和非强凸正则化，并实现现有的非加速随机梯度法之间的最佳收敛速度。
2016-03-08 cs.LG math.OC stat.ML
Zero loss guarantees and explicit minimizers for generic overparametrized Deep Learning networks
University of Texas at Austin（得克萨斯大学奥斯汀分校）
本文研究过参数化深度学习网络达到零损失的充分条件，显式构造无需梯度下降的零损失极小化子，并揭示深度增加可能损害梯度下降优化效率。
2025-02-19 cs.AI cs.LG math.AP
