The trade-off between data minimization and fairness in collaborative filtering
Brown University（布朗大学）；Tufts University（塔夫茨大学）；University of Bergen（卑尔根大学）；Max-Planck Institute for Security and Privacy（马克斯·普朗克安全与隐私研究所）
本文研究了推荐系统中GDPR要求的数据最小化与公平性原则之间的矛盾，通过主动学习策略实现数据最小化，发现不同策略对准确率影响各异且普遍损害公平性，为开发合规推荐系统提供了重要见解。
2024-09-21 cs.CY cs.IR cs.LG
On the Stability of Empirical Risk Minimization in the Presence of Multiple Risk Minimizers
最近，Kespero和Niyogi研究了算法稳定性的几个概念-学习映射的一个属性，在概念上类似于连续性-表明训练稳定性足以保证经验风险最小化的一致性，而无分布CV稳定性对于具有有限VC维度是必要和充分的。本文关注的是由同一作者提出的ERM训练稳定性的一个相变。Kendall和Niyogi证明了有限假设空间中包含唯一风险最小化的ERM具有随样本大小呈指数级变化的训练稳定性，并证明了多个风险最小化的存在甚至阻止了超二次收敛。我们证明了这一结果的严格较弱的概念CV稳定性，积极解决的猜想。
2010-02-10 cs.LG
Diametrical Risk Minimization: Theory and Computations
Target Corporation（塔吉特公司）；Naval Postgraduate School（海军研究生院）
当损失函数具有较大的Lipschitz模和虚假的尖锐极小值时，经验风险最小化（ERM）的理论和经验性能往往会受到影响。我们提出并分析了一个对应的ERM称为直径风险最小化（DRM），它占最坏情况下的经验风险在参数空间的邻里。DRM具有独立于Lipschitz模的凸和非凸问题的推广界，并且可以使用基于随机梯度下降的实用算法来实现。数值结果表明，DRM的能力，找到高质量的解决方案与低泛化误差尖锐的经验风险景观从基准神经网络分类问题与损坏的标签。
2021-07-07 cs.LG math.OC
A Note on k-support Norm Regularized Risk Minimization
École Centrale Paris（巴黎中央理工学院）
最近引入了k-支撑范数来执行相关稀疏正则化。虽然Argyriou等人只报告了使用平方损失的实验，但在这里，我们将其应用于其他几种常用的设置，从而产生了具有有趣和熟悉的极限情况的新型机器学习算法。这里描述的算法的源代码是可用的。
2013-03-27 cs.LG
Invariant Risk Minimization
我们引入了不变风险最小化（Invariant Risk Minimization，简称RST），这是一种学习范式，用于估计多个训练分布之间的不变相关性。为了实现这一目标，SVM学习一个数据表示，以便在该数据表示之上的最佳分类器匹配所有训练分布。通过理论和实验，我们展示了通过学习的不变性如何与管理数据的因果结构相关，并使分布外泛化成为可能。
2020-03-27 cs.AI cs.LG stat.ML
Fast Rates for Empirical Risk Minimization of Strict Saddle Problems
The Hebrew University（希伯来大学）
我们得出的经验风险最小化（ERM）的背景下，最小化非凸风险，承认严格的鞍性质的样本复杂性的界限。非凸优化的最新进展已经产生了有效的算法来最小化这样的功能。我们的研究结果表明，这些有效的算法是统计稳定的，也推广得很好。特别是，我们得到快速的利率类似的界限，往往达到强凸设置。我们指定了主成分分析和独立成分分析的界限。我们的结果和技术可能铺平道路的统计分析额外的严格鞍问题。
2017-06-04 cs.LG
Fairness Without Demographics in Repeated Loss Minimization
Stanford（斯坦福大学）
机器学习模型（例如，语音识别器）通常被训练以最小化平均损失，这导致表示不一致-少数群体（例如，非母语者）对训练目标的贡献较小，因此往往遭受较高的损失。更糟糕的是，由于模型的准确性会影响用户的保留率，少数群体可能会随着时间的推移而缩小。在本文中，我们首先表明，现状的经验风险最小化（ERM）放大代表性的差距随着时间的推移，这甚至可以使最初公平的模型不公平。为了缓解这一问题，我们开发了一种基于分布鲁棒优化（DRO）的方法，该方法最大限度地减少了接近经验分布的所有分布的最坏情况风险。我们证明，这种方法控制风险的少数群体在每个时间步骤，在罗尔斯的分配正义的精神，同时保持遗忘的身份的群体。我们证明，DRO防止差异放大的例子，ERM失败，并显示在现实世界中的文本自动完成任务的少数群体用户满意度的改善。
2018-07-30 cs.LG stat.ML
Empirical Risk Minimization with Relative Entropy Regularization: Optimality and Sensitivity Analysis
INRIA（法国国家信息与自动化研究所）；Université de la Polynésie Française（法属波利尼西亚大学）；University of Sheffield（谢菲尔德大学）；National Chao Tung University（国立交通大学）；Princeton University（普林斯顿大学）
研究了相对熵正则化的经验风险最小化问题（ERM-RER）的最优性和灵敏度，其中参考测度是σ-有限测度而不是概率测度.这种泛化允许在模型集合上结合先验知识时具有更大程度的灵活性。在这种情况下，正则化参数，参考措施，风险函数，和ERM-RER问题的解决方案引起的经验风险的相互作用的特点。这个特征产生了正则化参数存在的必要和充分条件，该正则化参数以任意高的概率实现任意小的经验风险。研究了ERM-RER问题的期望经验风险对偏离解的敏感性。然后，敏感性被用来提供预期的经验风险的上限和下限。此外，它示出的期望的灵敏度是上界，直到一个常数因子，由模型和数据集之间的lautum信息的平方根。
2022-11-12 cs.IT cs.LG math.IT
Differentially Private Empirical Risk Minimization with Sparsity-Inducing Norms
Imperial College London（帝国理工学院）
差分隐私关注的是预测质量，同时衡量隐私对个人的信息包含在数据中的影响。我们考虑差分私人风险最小化问题的正则化诱导结构稀疏。已知这些正则化子是凸的，但它们通常是不可微的。分析了标准的差分隐私算法，如输出扰动、Frank-Wolfe和目标扰动。输出扰动是一种差分私有算法，已知其在最小化强凸风险方面表现良好。以前的作品已经推导出的额外的风险界限是独立的维度。在本文中，我们假设了一类特殊的凸但非光滑的正则化，诱导结构稀疏性和损失函数的广义线性模型。我们还考虑差分私人Frank-Wolfe算法来优化风险最小化问题的对偶。我们推导出这两种算法的超额风险界限。这两个界都依赖于对偶范数的单位球的高斯宽度。我们还证明了风险最小化问题的目标扰动等价于对偶优化问题的输出扰动。这是第一个工作，分析了双重优化问题的风险最小化问题的背景下，差分隐私。
2019-05-13 cs.LG stat.ML
Convex Risk Minimization and Conditional Probability Estimation
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）
本文证明了，在非常一般的设置，凸风险最小化是一个过程，选择一个独特的条件概率模型所确定的分类问题。与大多数以前的工作不同，我们给出的结果是足够一般的情况下，其中不存在最小值，通常会发生，例如，与标准的提升算法。具体地说，我们首先表明，任何序列的预测最小化凸风险的源分布将收敛到这个独特的模型时，类的预测是线性的（但可能是无限维）。其次，我们证明了同样的结果适用于\emph{empirical}风险最小化时，这类预测是有限维的，其中的基本技术贡献是一个无范数的推广界。
2015-06-15 cs.LG stat.ML
Chaining Bounds for Empirical Risk Minimization
University of Alberta（阿尔伯塔大学）；Imperial College London（帝国理工学院）
本文推广了标准链技术，证明了在随机设计条件下，即使噪声和估计值的大小是无界的，经验风险最小化的超额风险上界也是存在的。该界适用于许多损失函数，除了平方损失，和尺度仅与亚高斯或亚指数参数没有进一步的统计假设，如有界峰度条件的假设类。一个详细的分析提供了斜率约束和惩罚线性最小二乘回归与亚高斯设置，这往往证明了严格的样本复杂性界对数因子。
2016-09-07 cs.LG stat.ML
Generalization Performance of Empirical Risk Minimization on Over-parameterized Deep ReLU Nets
University of Sydney（悉尼大学）
在本文中，我们研究了在过参数化深度ReLU网络上实现经验风险最小化（ERM）的全局极小值的泛化性能。使用深度ReLU网络的一种新的深化方案，我们严格证明了在温和的条件下，存在完美的全局最小值，对于许多类型的数据，这些最小值几乎达到了最佳的泛化误差界。由于过度参数化对于确保深度ReLU网络上的ERM全局最小值可以通过广泛使用的随机梯度下降（SGD）算法实现至关重要，因此我们的结果确实填补了优化和泛化之间的空白。
2023-02-28 cs.LG
Kernelized Heterogeneous Risk Minimization
Tsinghua University（清华大学）；National University of Singapore（新加坡国立大学）
在分布变化下的泛化能力对于可靠的机器学习至关重要，而使用经验风险最小化优化的模型通常在非$i.i.d$测试数据上失败。最近，不变量学习方法的分布外（OOD）推广建议找到因果不变的关系与多个环境。然而，现代数据集经常是多源的，没有明确的源标签，使得许多不变学习方法不适用。本文提出了核异构风险最小化（KerHRM）算法，该算法在核空间实现了潜在异构性探索和不变学习，并通过指定不变梯度方向反馈给原神经网络。我们从理论上证明我们的算法和经验验证我们的算法的有效性与广泛的实验。
2021-10-24 cs.LG
Risk Minimization in Structured Prediction using Orbit Loss
Bar-Ilan University（巴伊兰大学）
在结构化预报框架中引入了一种新的替代损失函数轨道损失，具有良好的理论和实用价值。虽然轨道损失不是凸的，但它有一个简单的分析梯度和一个简单的类似感知器的学习规则。我们从理论上分析了新的损失和状态的PAC贝叶斯推广界。我们还证明了新的损失在强意义上是一致的;即，由训练参数集实现的风险接近任何线性解码器在给定特征上可实现的下确界风险。针对风险最小化的方法，例如结构化斜坡损失、结构化概率单位损失和直接损失最小化，每个训练迭代需要至少两个推理操作。从这个意义上说，轨道损失更有效，因为它只需要一个推理操作，同时产生类似的性能。最后，我们提出的损失函数的结构铰链损失，结构斜坡损失，结构概率损失和直接损失最小化方法的几个基准数据集和任务的实证比较的文件。
2015-12-09 cs.LG
Empirical Risk Minimization for Time Series: Nonparametric Performance Bounds for Prediction
Universitat Pompeu Fabra（庞培法布拉大学）；Barcelona Graduate School of Economics（巴塞罗那经济学院）
经验风险最小化是学习理论中选择算法的标准原则。本文研究了时间序列经验风险最小化的性质。进行分析的一般框架，涵盖不同类型的预测应用中遇到的文献。我们关注的是由参数驱动过程产生的单变量时间序列的1步预测。针对时间序列的预测问题，提出了一类递归算法。算法是递归的，在这个意义上说，在一个给定的时期内产生的预测是预测的滞后值和时间序列的函数。时间序列的生成机制和算法类别之间的关系未指定。我们的主要结果建立了由经验风险最小化选择的算法渐近地实现了在该类算法内可达到的最优预测性能。
2021-08-11 cs.LG stat.ML
Fairness-Aware Neural Réyni Minimization for Continuous Features
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；AXA（安盛集团）；Polish Academy of Science（波兰科学院）
在过去的几年里，学术界和社会对公平机器学习的兴趣急剧上升。虽然最近已经提出了大量的公平算法来解决离散变量的这一挑战，但对于连续变量，只有少数想法存在。本文的目标是保证回归模型的输出与任何给定的连续敏感变量之间具有一定的独立性。为此目的，我们使用Hirschal-Gebelein-Rényi（HGR）最大相关系数作为公平性度量。我们提出了两种方法来最小化HGR系数。首先，通过用$χ^{2}$发散的神经网络估计来减小HGR的上界。第二，通过直接使用对抗神经网络架构来最小化HGR。这个想法是预测输出Y，同时最小化对抗神经网络找到预测HGR系数所需的估计变换的能力。我们经验性地评估和比较我们的方法，并证明了显着的改进，以前提出的工作在该领域。
2019-11-12 cs.AI cs.CY cs.LG
Making Risk Minimization Tolerant to Label Noise
Indian Institute of Science（印度科学学院）；GE Global Research（通用电气全球研究中心）
在许多应用中，需要从中学习分类器的训练数据被标签噪声破坏。许多标准算法，如SVM，在标签噪声的存在下表现不佳。本文研究了风险最小化算法对标签噪声的鲁棒性。我们证明了一个充分条件下的损失函数的风险最小化的损失是容忍均匀标签噪声。我们证明了$0-1$损失、S形损失、斜坡损失和概率单位损失满足这个条件，尽管标准凸损失函数都不满足这个条件。我们还证明了，通过在损失函数中选择一个足够大的参数值，S形损失，斜坡损失和概率比特损失也可以容忍不均匀的标签噪声，如果我们可以假设类别在噪声下是可分离的。免费数据分发。通过大量的实证研究，我们表明，风险最小化下的$0-1$损失，S形损失和斜坡损失有更好的鲁棒性标签噪声相比，SVM算法。
2015-09-10 cs.LG
Excess risk bounds in robust empirical risk minimization
Université Paris-Saclay（巴黎萨克雷大学）；Univ. Paris-Sud（巴黎南大学）；CNRS（法国国家科学研究中心）；Inria Saclay - Ile-de-France（法国国家信息与自动化研究所萨克莱-法兰西岛分院）；University of Southern California（南加州大学）
本文研究了现代统计方法的核心技术之一的一般经验风险最小化算法的鲁棒版本。经验风险最小化的成功是基于这样的事实，即对于由一类函数$f\in \mathcal F$索引的“表现良好”的随机过程$\left\{ f(X), \ f\in \mathcal F\right\}$，在i.i.d.的样本$X_1,\ldots,X_N$上评估的平均$\frac{1}{N}\sum_{j=1}^N f(X_j)$。$X$的副本在大类$f\in \mathcal F$上一致地提供了对期望$\mathbb E f(X)$的良好近似。然而，如果过程的边缘分布是重尾的，或者如果样本包含离群值，则这可能不再正确。我们提出了一个版本的经验风险最小化的基础上的想法，取代样本平均值的强大的代理的期望，并获得高置信度的界限所产生的估计的超额风险。特别是，我们表明，稳健估计的超额风险可以收敛到$0$在快速的速度相对于样本大小。我们讨论的主要结果的影响，线性和逻辑斯谛回归的问题，并评估所提出的方法的数值模拟和真实数据的性能。
2019-10-16 cs.LG stat.ML
Sequential Counterfactual Risk Minimization
Criteo AI Lab（Criteo人工智能实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
本文提出序列化反事实风险最小化（SCRM），通过多次部署策略获取新数据，引入新反事实估计器，并证明其能改善超额风险和遗憾率。
2023-05-25 cs.LG
Classification from Pairwise Similarities/Dissimilarities and Unlabeled Data via Empirical Risk Minimization
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
数据点之间的成对相似性和不相似性可能比现实世界分类问题中的完全标记数据更容易获得，例如，在隐私意识的情况下。为了处理这样的成对信息，已经提出了一种经验风险最小化方法，给出了分类风险的无偏估计，该估计只能从成对相似性和未标记数据中计算。然而，这个方向到目前为止还不能处理成对的相异。半监督聚类是一种既能利用相似性又能利用相异性的聚类方法。然而，它们通常需要对数据分布进行强几何假设，例如流形假设，这可能会降低性能。在本文中，我们得到了一个无偏的风险估计，它可以处理所有的相似性/相异性和未标记的数据。我们从理论上建立估计误差的界限和实验证明我们的经验风险最小化方法的实用性。
2019-04-26 cs.LG stat.ML
Heterogeneous Risk Minimization
Tsinghua University（清华大学）
经验风险最小化的机器学习算法通常由于贪婪地利用训练数据之间的相关性而遭受较差的泛化性能，这些相关性在分布移位下是不稳定的。最近，一些不变量学习方法的分布外（OOD）推广已经提出了利用多个训练环境，以找到不变的关系。然而，现代数据集经常通过合并来自多个源的数据来组装，而没有显式的源标签。由此产生的未观察到的异质性使得许多不变的学习方法不适用。在本文中，我们提出了异构风险最小化（HRM）框架，以实现数据之间的潜在异构性和不变关系的联合学习，从而导致稳定的预测，尽管分布的变化。我们从理论上描述了环境标签在不变学习中的作用，并证明了我们新提出的HRM框架。大量的实验结果验证了我们的人力资源管理框架的有效性。
2021-06-17 cs.LG
Noise Tolerance under Risk Minimization
Indian Institute of Science（印度科学学院）
在本文中，我们将探讨分类器的噪声容忍学习。我们将问题表述如下。我们假设有一个无噪声的${\bf unobservable}$训练集。给学习算法的实际训练集是通过破坏每个示例的类标签从这个理想数据集获得的。样本的类标签被破坏的概率是样本的特征向量的函数。这将解释在实践中遇到的大多数噪声数据。我们说一种学习方法是噪声容忍的，如果分类器用理想的无噪声数据和有噪声的数据学习，两者在无噪声数据上具有相同的分类精度。在本文中，我们分析了噪声容忍性能的风险最小化（在不同的损失函数），这是一种通用的方法学习分类器。我们表明，0-1损失函数下的风险最小化具有令人印象深刻的噪声容忍性能和平方误差损失下的容忍均匀噪声，风险最小化下的其他损失函数是不容忍噪声。最后，我们对这些理论结果的影响进行了讨论。
2012-10-13 cs.LG
Differentially Empirical Risk Minimization under the Fairness Lens
Syracuse University（雪城大学）
差分隐私（Differential Privacy，DP）是私有机器学习系统中一种重要的隐私增强技术。它允许测量和约束与个人参与计算相关的风险。然而，最近观察到DP学习系统可能会加剧不同群体的偏见和不公平。本文建立在这些重要的意见，并揭示了不同的私人经验风险最小化的问题所产生的不同影响的原因。它集中在两个研究得很好的DP学习方法：输出扰动和差分私人随机梯度下降的群体之间产生的准确性差距。本文分析了哪些数据和模型属性造成了不成比例的影响，为什么这些方面对不同群体的影响不成比例，并提出了减轻这些影响的指导方针。所提出的方法进行了评估，在几个数据集和设置。
2022-09-08 cs.AI cs.CR cs.LG
f-FERM: A Scalable Framework for Robust Fair Empirical Risk Minimization
University of Southern California（南加州大学）；IIT Bombay（印度理工学院孟买分校）
本文提出基于 f-散度的统一随机公平经验风险最小化框架 f-FERM，保证收敛，并在多种批量和分布偏移场景下取得更优公平性—准确率权衡。
2024-04-07 cs.LG
Robust Risk Minimization for Statistical Learning
Uppsala University（乌普萨拉大学）
我们考虑一个一般的统计学习问题，其中一个未知的部分的训练数据被损坏。我们开发了一个强大的学习方法，只需要指定一个上限的损坏的数据部分。该方法最小化由具有未知概率权重的非参数分布定义的风险函数。我们推导和分析的最佳权重，并显示它们如何提供对损坏的数据的鲁棒性。此外，我们给出了一个计算效率高的坐标下降算法来解决风险最小化问题。我们展示了广泛的适用性的方法，包括回归，分类，无监督学习和经典的参数估计，与国家的最先进的性能。
2020-02-07 cs.LG eess.SP stat.ML
Learning from Satisfying Assignments Using Risk Minimization
IIT-Kharagpur（印度理工学院克勒格布尔分校）；Chang Gung University（长庚大学）
在本文中，我们考虑的问题，从满足学习的\cite{1}介绍找到一个分布，是一个紧密的近似的均匀分布的低复杂度的布尔函数$f$的满意分配。在以后的工作\cite{2}考虑同样的问题，但与知识的一些连续分布$D$和目标是估计$D_f$，这是$D$限制到一个未知的布尔函数$f$的满意的任务。我们考虑这些问题的角度来看，参数估计技术在统计机器学习和证明类似的结果，是基于标准的优化算法的风险最小化。
2021-01-10 cs.LG
MACRO: A Meta-Algorithm for Conditional Risk Minimization
IST Austria（奥地利科学技术研究所）
我们研究条件风险最小化（CRM），即学习的问题，在下一步的顺序到达相关数据的预测风险最小的假设。尽管这是一个基本问题，但到目前为止，CRM意义上的成功学习只使用理论算法来证明，这些算法不能用于实际问题，因为它们需要存储所有传入的数据。在这项工作中，我们介绍了MACRO，CRM的元算法，不受这个缺点，但仍然提供学习保证。它不是存储所有数据，而是维护和迭代更新一组学习子程序。通过适当的近似，MACRO应用于真实数据，与传统的无条件学习相比，预测性能得到了提高。
2018-11-03 cs.LG stat.ML
Dr. FERMI: A Stochastic Distributionally Robust Fair Empirical Risk Minimization Framework
本文提出Dr. FERMI框架，首次在无需因果图知识的前提下，以随机方式实现具有收敛保证的分布鲁棒公平学习，并通过真实数据集实验验证其性能与效率。
2023-09-20 cs.AI cs.CY cs.LG
Dual Free Adaptive Mini-batch SDCA for Empirical Risk Minimization
Lehigh University（利哈伊大学）；Industrial and Systems Engineering（工业与系统工程（注：此处为系别，按规则不提取））
在本文中，我们开发了双自由小批量SDCA与自适应概率正则化的经验风险最小化。这项工作的动机是最近的工作Shai Shalev-Shwartz的对偶自由SDCA方法，但是，我们允许非均匀选择的“对偶”坐标SDCA。此外，概率可以随时间变化，使其比固定均匀或非均匀选择更有效。我们还提出了一个有效的过程，通过迭代过程产生一个随机的非均匀的小批量。最后通过多个数值实验验证了算法的有效性。
2018-05-24 cs.LG math.OC
Stochastic Primal-Dual Method for Empirical Risk Minimization with $\mathcal{O}(1)$ Per-Iteration Complexity
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）；University of California, Davis（加州大学戴维斯分校）；University of Rochester（罗切斯特大学）
带线性预测的正则化经验风险最小化问题是机器学习中经常出现的问题。在本文中，我们提出了一个新的随机原始-对偶方法来解决这类问题。与现有的方法不同，我们提出的方法在每次迭代中只需要O（1）操作。我们还开发了一个方差减少变量的算法，线性收敛。数值实验表明，我们的方法比现有的，如近端SGD，SVRG和SAGA高维问题的速度。
2018-11-03 cs.LG math.OC
Stochastic dual averaging methods using variance reduction techniques for regularized empirical risk minimization problems
Tokyo Institute of Technology（东京工业大学）；Japan Science and Technology Agency（日本科学技术振兴机构）
我们考虑一个复合凸最小化问题与正则化的经验风险最小化，这经常出现在机器学习。本文提出了两种新的随机梯度法，它们是基于方差缩减的随机对偶平均方法。我们的方法生成一个稀疏的解决方案比现有的方法，因为我们不需要采取的平均历史的解决方案。这在可解释性和概括性方面都是有利的。此外，我们的方法有理论支持的强和非强凸正则化，并实现现有的非加速随机梯度法之间的最佳收敛速度。
2016-03-08 cs.LG math.OC stat.ML
Screening Data Points in Empirical Risk Minimization via Ellipsoidal Regions and Safe Loss Functions
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；ENS（巴黎高等师范学院）；PSL（巴黎文理研究大学）
我们设计了简单的筛选测试，以自动丢弃经验风险最小化的数据样本，而不会失去优化保证。我们推导出损失函数，产生一个稀疏的解决方案的双重目标。我们还展示了如何正则化凸损失，以确保这样一个双重稀疏诱导属性，并提出了一个通用的方法来设计筛选测试的分类或回归的基础上椭圆近似的最佳集。除了产生计算增益外，我们的方法还允许我们将数据集压缩为代表点的子集。
2020-06-12 cs.LG stat.ML
Bayesian Counterfactual Risk Minimization
Amazon（亚马逊）
我们提出了一个贝叶斯观点的反事实风险最小化（CRM）离线学习记录的强盗反馈。利用PAC-Bayesian分析，我们得到了一个新的广义界截断逆倾向得分估计。我们将约束应用于一类贝叶斯策略，这激发了一种新的，潜在的数据依赖性，CRM的正则化技术。实验结果表明，该技术优于标准的$L_2$正则化，它是有竞争力的方差正则化，同时更简单的实现和更高的计算效率。
2020-04-02 cs.LG stat.ML
Exploring Vicinal Risk Minimization for Lightweight Out-of-Distribution Detection
Purdue University（普渡大学）
深度神经网络在解决从图像识别到自然语言处理的复杂任务方面得到了广泛的应用。然而，当这些网络呈现不属于训练分布的数据时，即分布外（OoD）样本时，这些网络会做出自信的错误预测。在本文中，我们探讨是否属性的邻近风险最小化（VRM），以顺利地插在不同的类边界之间，有助于训练更好的OoD检测器。我们应用VRM现有的OOD检测技术，并显示其改进的性能。我们观察到，现有的OoD检测器有显着的内存和计算开销，因此，我们利用VRM开发一个OoD检测器与最小的偷听。我们的检测方法引入了一个辅助类分类OoD样本。我们以两种方式利用混淆来实现邻域风险最小化。首先，我们在同一个类中执行mixup，其次，我们在训练辅助类时使用高斯噪声执行mixup。与现有的OoD检测技术相比，我们的方法实现了接近竞争力的性能，计算和内存开销显着减少。这有助于在边缘设备上部署OoD检测，并扩展了我们对用于训练OoD检测器的邻近风险最小化的理解。
2020-12-15 cs.CV cs.LG
Adaptive Newton Method for Empirical Risk Minimization to Statistical Accuracy
University of Pennsylvania（宾夕法尼亚大学）
我们考虑大规模数据集的经验风险最小化。我们引入Ada Newton作为自适应算法，它使用具有自适应样本大小的牛顿方法。Ada Newton的主要思想是将训练集的大小增加一个大于1的因子，使得当前训练集的最小化变量位于下一个训练集的最优参数的局部邻域中。这允许利用牛顿方法的二次收敛特性，并且仅用牛顿方法的一次迭代就达到每个训练集的统计精度。我们从理论上和经验上证明，Ada Newton可以在每次迭代中将训练集的大小增加一倍，以实现整个训练集的统计准确性，大约两次通过数据集。
2016-05-24 cs.LG math.OC
Functional Risk Minimization
MIT（麻省理工学院）；National University of Singapore (NUS)（新加坡国立大学）
本文提出函数风险最小化（FRM）框架，用函数间比较替代传统输出间比较，统一并扩展了ERM，在监督、无监督和强化学习任务中均取得更好性能，并为过参数化下的泛化提供了新视角。
2024-12-30 cs.LG
The Risks of Invariant Risk Minimization
Carnegie Mellon University（卡内基梅隆大学）
不变因果预测（Peters等人，2016）是一种用于分布外泛化的技术，其假设数据分布的某些方面在训练集中变化，但潜在的因果机制保持不变。最近，Arjovsky等人（2019年）提出了不变风险最小化（Invariant Risk Minimization，简称Risk Minimization），这是一个基于这一思想的目标，用于学习数据的深度不变特征，这些特征是潜在变量的复杂函数;随后提出了许多替代方案。然而，对所有这些工程的正式保障严重缺乏。在本文中，我们提出了第一个分析的分类下的目标-以及这些最近提出的替代品-在一个相当自然和一般的模型。在线性的情况下，我们展示了简单的条件下，最佳解决方案成功，或更经常地，未能恢复最佳不变预测。此外，我们提出的第一个结果，在非线性制度：我们证明，如果测试数据是足够相似的训练分布，这正是它的目的是要解决的问题，否则，可失败的灾难性。因此，在这种情况下，我们发现，在标准的经验风险最小化的基础上，风险最小化及其替代方案根本没有改善。
2021-03-27 cs.AI cs.LG stat.ML
On (assessing) the fairness of risk score models
Technical University of Denmark（丹麦技术大学）；Pioneer Centre for AI（人工智能先锋中心）；University of Copenhagen（哥本哈根大学）；Rigshospitalet（哥本哈根大学国立医院）
最近关于算法公平性的工作主要集中在离散决策或分类的公平性上。虽然这种决定往往是基于风险评分模型，风险模型本身的公平性得到了相当少的关注。风险模型之所以令人感兴趣，原因有很多，包括它们向用户传达了潜在结果的不确定性，从而代表了一种能够进行有意义的人类监督的方式。在这里，我们解决风险评分模型的公平性需求。我们确定提供类似的认知价值，以不同的群体作为一个关键的必要条件，风险评分公平。此外，我们将讨论如何定量评估风险评分模型的公平性，包括对指标选择和组间有意义的统计比较的讨论。在这种情况下，我们还介绍了一种新的校准误差度量，这是样本量偏置比以前提出的指标，使不同大小的群体之间的有意义的比较。我们说明了我们的方法-这是广泛适用于许多其他设置-在两个案例研究，一个在累犯风险预测，一个在风险的重性抑郁症（MDD）预测。
2023-02-22 cs.CY cs.LG stat.AP
Fast Nonsmooth Regularized Risk Minimization with Continuation
Hong Kong University of Science and Technology（香港科技大学）
在正则化风险最小化中，当损失和正则化都是非光滑的时，相关的优化问题变得特别困难。现有的方法要么有缓慢或不明确的收敛特性，被限制到有限的问题子类，或需要仔细设置的平滑参数。在本文中，我们提出了一个连续算法，适用于一个大类的非光滑正则化风险最小化问题，可以灵活地使用一些现有的解决方案的基本平滑子问题，并与收敛结果的整个算法，而不仅仅是它的一个子问题。特别是，当使用加速求解器，该算法实现了最快的已知速率的$O(1/T^2)$强凸问题，和$O(1/T)$一般凸问题。非光滑分类和回归任务的实验表明，该算法优于国家的最先进的。
2016-02-25 cs.LG math.OC stat.ML
Out-of-Distribution Optimality of Invariant Risk Minimization
The Institute of Statistical Mathematics（统计数学研究所）
本文针对不变风险最小化（IRM）缺乏理论保证的问题，严格证明了在特定条件下IRM的双层优化问题解可最小化分布外风险，并给出了对应的数据分布和特征空间维度的充分条件。
2024-10-29 cs.LG stat.ML
Empirical Risk Minimization and Stochastic Gradient Descent for Relational Data
Columbia University（哥伦比亚大学）
经验风险最小化是预测问题的主要工具，但其扩展到关系数据仍然没有解决。我们解决这个问题，使用最近的想法，从图抽样论（i）定义一个经验风险的关系数据和（ii）获得随机梯度的经验风险是自动无偏的。这是通过考虑从图中采样数据的方法作为模型设计的显式组件来实现的。通过集成快速实现的图形采样方案与标准的自动微分工具，我们提供了一个有效的交钥匙求解器的风险最小化问题。我们建立的过程的基本理论属性。最后，我们展示了关系ERM与应用程序的两个非标准的问题：一个阶段的训练半监督节点分类，学习嵌入向量的顶点属性。实验证实，交钥匙推理过程是有效的，在实践中，用于模型规格的抽样方案有很强的影响模型的性能。代码可在https://github.com/wooden-spoon/relational-ERM上获得。
2019-02-22 cs.LG cs.SI stat.ML
SOREL: A Stochastic Algorithm for Spectral Risks Minimization
School of Data Science, Fudan University（复旦大学数据科学学院）
本文提出SOREL，首个具有收敛保证的谱风险最小化随机梯度算法，理论上达到近最优速率，实验在多数情况下优于现有算法。
2024-07-19 cs.LG math.OC
Un-regularizing: approximate proximal point and faster stochastic algorithms for empirical risk minimization
Stanford University（斯坦福大学）；Microsoft Research, New England（微软新英格兰研究院）；MIT（麻省理工学院）
我们开发了一个家庭的加速随机算法，最小化凸函数的总和。我们的算法提高了最快的运行时间经验风险最小化（ERM），特别是线性最小二乘回归，在广泛的问题设置。为了实现这一点，我们建立了一个框架的基础上，经典的邻近点算法。也就是说，我们提供了几个算法，减少了一个强凸函数的最小化的函数的正则化的近似最小化。使用这些结果，我们加速最近的快速随机算法在一个黑盒的方式。从经验上讲，我们证明，由此产生的算法表现出的稳定性，在实践中是有利的概念。无论是在理论上还是在实践中，所提供的算法都获得了增加一个大的强凸正则化项的计算优势，而不会对原始问题产生相应的偏差。
2015-06-24 cs.DS cs.LG stat.ML
Theoretical Investigations and Practical Enhancements on Tail Task Risk Minimization in Meta Learning
College of Science, National University of Defense Technology（国防科技大学理学院）
该研究针对元学习中尾任务风险最小化问题，开展理论分析与实践改进，推导泛化界、优化策略并验证其在多模态大模型上的鲁棒性提升效果与可扩展性。
2024-10-30 cs.LG
Accelerated Doubly Stochastic Gradient Algorithm for Large-scale Empirical Risk Minimization
Zhejiang University（浙江大学）
针对大规模经验风险最小化，本文提出融合新型加速多多动量技术的双随机梯度算法，兼顾更优收敛率、小批量采样与坐标块更新，并通过大规模数据集验证其效率。
2023-04-23 cs.LG
Conditional Risk Minimization for Stochastic Processes
IST Austria（奥地利科学技术研究所）
我们研究向非独立身份者学习的任务。数据特别是，我们的目标是学习预测器，最大限度地减少条件风险的随机过程，即预期损失的预测器上的下一个点的条件下，到目前为止观察到的训练样本集。对于非i.i.d.数据，训练集包含有关即将到来的样本的信息，因此可以期望关于条件分布的学习产生比从最小化边际风险的经典设置获得的更好的预测器。我们的主要贡献是基于非参数时间序列预测理论的条件风险的实用估计器，以及有限样本浓度界，该界在过程的某些规律性假设下建立了估计器对真实条件风险的一致收敛。
2016-03-13 cs.LG stat.ML
Learning Augmentation Distributions using Transformed Risk Minimization
University of Pennsylvania（宾夕法尼亚大学）
本研究提出变换风险最小化（TRM）框架，联合优化预测模型与数据变换分布，结合PAC-Bayes正则化与几何变换随机组合的SCALE算法，在CIFAR10/100等数据集上实现更优性能，还可学习数据对称性并提升模型校准度。
2023-10-05 cs.LG stat.ML
Structured Prediction by Conditional Risk Minimization
MIT（麻省理工学院）
我们提出了一个一般的方法，监督学习结构化的输出空间，如组合和多面体集，这是基于最小化估计的条件风险函数。给定一个定义在输出标签对上的损失函数，我们首先通过解决一个（可能是无限的）正则化最小二乘问题来估计条件风险函数。预测是通过解决一个推理问题，最大限度地减少估计的条件风险函数的输出空间。我们表明，这种方法使，在某些情况下，有效的训练和推理，而不显式地引入一个凸代理的原始损失函数，即使它是不连续的。对真实世界和合成数据集的实证评估表明，我们的方法在适应各种损失函数的有效性。
2017-02-26 cs.LG stat.ML
Empirical risk minimization algorithm for multiclass classification of S.D.E. paths
Université Paris 1 Panthéon-Sorbonne（巴黎第一大学先贤祠-索邦大学）；Université Paris-Saclay（巴黎萨克雷大学）；AgroParisTech（巴黎高科农业学院）；INRAE（法国国家农业、食品与环境研究院）
针对漂移不同、扩散系数共同的随机扩散路径多分类问题，提出基于 L2 经验风险最小化的算法，证明其收敛速率及间隔假设下的快速速率，并通过模拟验证数值性能。
2025-03-18 cs.LG stat.ML
Differentially Private Empirical Risk Minimization Revisited: Faster and More General
State University of New York at Buffalo（纽约州立大学布法罗分校）
在本文中，我们研究了在不同的设置不同的私人经验风险最小化（ERM）问题。对于光滑（强）凸损失函数与或不与（非）光滑正则化，我们给出的算法，实现最佳或接近最佳的效用界，与以前的工作相比，梯度复杂性。对于高维（$p\gg n$）环境下具有光滑凸损失函数的ERM，我们给出了一个算法，该算法比以前的算法以更小的梯度复杂度达到上界。最后，将期望超额经验风险从凸损失函数推广到满足Polyak-Lojasiewicz条件的非凸损失函数，并给出了比\cite{ijcai2017-548}更严格的效用上界.
2018-02-14 cs.CR cs.LG stat.ML
Fair Risk Control: A Generalized Framework for Calibrating Multi-group Fairness Risks
Rutgers（罗格斯大学）；Penn（宾夕法尼亚大学）；University of Pennsylvania（宾夕法尼亚大学）；Rutgers University（罗格斯大学）
本文提出广义多维多重校准框架及算法，用于对机器学习模型进行后处理以实现多群体公平性保证，并应用于图像分割、层次分类和文本生成等任务。
2024-05-03 cs.AI cs.CY cs.LG
Average Stability is Invariant to Data Preconditioning. Implications to Exp-concave Empirical Risk Minimization
The Hebrew University（希伯来大学）
我们表明，平均稳定性的概念引入\cite{kearns1999algorithmic, bousquet2002stability}是不变的数据预处理，广泛的一类广义线性模型，其中包括大多数已知的指数凹损失。换句话说，在分析给定算法的稳定性时，我们可以假设数据的最优预处理。这意味着，至少从统计学的角度来看，不需要显式正则化来补偿病态数据，这与广泛使用的方法形成对比，该方法包括用于分析广义线性模型的样本复杂性的正则化。我们的研究结果的几个重要意义包括：（a）我们证明了经验风险最小化（ERM）的超额风险是由预条件稳定率控制的。这立即产生了一个相对简短而优雅的证明，证明了在我们的背景下，ERM所达到的快速速度。b）我们加强了\cite{hardt2015train}关于随机梯度下降算法稳定率的最近界。
2017-04-16 cs.LG
Fairness risk measures
Australian National University（澳大利亚国立大学）；Google（谷歌公司）
确保分类器在敏感特征方面是非歧视性的或公平的（例如，种族或性别）是一个热门问题。要在这方面取得进展，就必须确定公平的定义，过去几年在这方面提出了若干建议。然而，其中几个假设二元敏感特征（从而排除分类或实值敏感组），或导致非凸目标（从而对优化前景产生不利影响）。在本文中，我们提出了一个新的公平性的定义，概括了一些现有的建议，同时允许通用的敏感功能，并导致凸目标。关键思想是强制执行由敏感特征引起的每个子组的预期损失（或风险）是相称的。我们将展示这与数学金融风险度量的丰富文献。作为一个特殊的情况下，这导致了一个新的凸公平意识的目标的基础上最小化的条件风险价值（CVaR）。
2019-01-24 cs.LG stat.ML
MMD-OPT : Maximum Mean Discrepancy Based Sample Efficient Collision Risk Minimization for Autonomous Driving
University of Tartu（塔尔图大学）
本文提出MMD-OPT方法，利用再生核希尔伯特空间嵌入和最大均值差异构建样本高效的碰撞风险代理，在低样本条件下实现比CVaR方法更安全的自动驾驶轨迹优化。
2025-07-07 cs.LG cs.RO
