Heterogeneous Risk Minimization
Tsinghua University（清华大学）
经验风险最小化的机器学习算法通常由于贪婪地利用训练数据之间的相关性而遭受较差的泛化性能，这些相关性在分布移位下是不稳定的。最近，一些不变量学习方法的分布外（OOD）推广已经提出了利用多个训练环境，以找到不变的关系。然而，现代数据集经常通过合并来自多个源的数据来组装，而没有显式的源标签。由此产生的未观察到的异质性使得许多不变的学习方法不适用。在本文中，我们提出了异构风险最小化（HRM）框架，以实现数据之间的潜在异构性和不变关系的联合学习，从而导致稳定的预测，尽管分布的变化。我们从理论上描述了环境标签在不变学习中的作用，并证明了我们新提出的HRM框架。大量的实验结果验证了我们的人力资源管理框架的有效性。
2021-06-17 cs.LG
Exploring Vicinal Risk Minimization for Lightweight Out-of-Distribution Detection
Purdue University（普渡大学）
深度神经网络在解决从图像识别到自然语言处理的复杂任务方面得到了广泛的应用。然而，当这些网络呈现不属于训练分布的数据时，即分布外（OoD）样本时，这些网络会做出自信的错误预测。在本文中，我们探讨是否属性的邻近风险最小化（VRM），以顺利地插在不同的类边界之间，有助于训练更好的OoD检测器。我们应用VRM现有的OOD检测技术，并显示其改进的性能。我们观察到，现有的OoD检测器有显着的内存和计算开销，因此，我们利用VRM开发一个OoD检测器与最小的偷听。我们的检测方法引入了一个辅助类分类OoD样本。我们以两种方式利用混淆来实现邻域风险最小化。首先，我们在同一个类中执行mixup，其次，我们在训练辅助类时使用高斯噪声执行mixup。与现有的OoD检测技术相比，我们的方法实现了接近竞争力的性能，计算和内存开销显着减少。这有助于在边缘设备上部署OoD检测，并扩展了我们对用于训练OoD检测器的邻近风险最小化的理解。
2020-12-15 cs.CV cs.LG
Debiasing Multimodal Models via Causal Information Minimization
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出通过因果信息最小化学习混淆因子表示以消除多模态模型偏差，在多个数据集上提升分布外性能且不损害分布内性能。
2023-11-28 cs.AI cs.CL cs.CV
Invariant Risk Minimization Is A Total Variation Model
Jinan University（暨南大学）
该研究揭示不变风险最小化（IRM）的数学本质是基于$L^2$范数的全变分模型，提出基于TV-$\text{ell}_1$的新型IRM框架，拓展了可用函数类别，在多基准场景下取得有竞争力的分布外泛化性能。
2024-05-17 cs.LG
Maximum Risk Minimization with Random Forests
Department of Mathematical Sciences University of Copenhagen（数学科学系，哥本哈根大学）；ETH Zürich（苏黎世联邦理工学院）；Seminar for Statistics ETH Zürich（统计系，苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）；Biogeochemical Integration Department Max-Planck-Institute for Biogeochemistry（生物地球化学整合部门，马克斯·普朗克生物地球化学研究所）
本文提出基于最大风险最小化原则的随机森林变种，通过计算高效算法和统计一致性证明，提升模型在不同分布环境下的泛化能力。
2026-03-11 cs.AI cs.LG stat.ME
Frustratingly Easy Model Generalization by Dummy Risk Minimization
The Hong Kong Polytechnic University（香港理工大学）；Microsoft Research（微软研究院）；City University of Hong Kong（香港城市大学）
该研究提出实现简单的虚拟风险最小化技术DuRM，通过扩大输出logits维度再用标准梯度下降优化，经理论和多任务实验验证其能持续提升模型泛化性能，且兼容现有泛化技术。
2023-10-07 cs.AI cs.LG
Dual Risk Minimization: Towards Next-Level Robustness in Fine-tuning Zero-Shot Models
The Hong Kong University of Science and Technology（香港科技大学）；Huawei（华为）；University College London（伦敦大学学院）
针对微调基础模型时分布偏移鲁棒性受损的问题，提出双重风险最小化（DRM）方法，结合经验风险与最坏情况风险最小化，利用LLM生成的核心特征描述诱导零样本预测以估计最坏风险，平衡预期与最坏性能，显著提升CLIP在多基准上的分布外性能，建立新SOTA。
2024-11-29 cs.CV cs.LG
Optimal Empirical Risk Minimization under Temporal Distribution Shifts
本文提出 RIDER 方法，在随机分布漂移模型下推导最优加权经验风险最小化，统一了多种常见加权方案，并在 Yearbook、股市波动率和出租车行程时长预测等任务中验证了其优于标准加权策略的样本外预测性能。
2025-07-17 cs.LG stat.ME
Meta-Learned Invariant Risk Minimization
Graduate School of Artificial Intelligence, Kyungpook National University（庆北国立大学人工智能研究生院）
基于经验风险最小化（ERM）的机器学习算法在从分布外（OOD）获得的数据上的泛化性能较弱。为了解决这个问题，提出了不变风险最小化（Invariant Risk Minimization）目标，以找到受数据分布变化影响较小的不变最优预测器。然而，即使有这样的进展，IRMv1，实际的配方，仍然表现出性能下降时，没有足够的训练数据，甚至无法推广到OOD，如果假相关的数量大于环境的数量。在本文中，为了解决这些问题，我们提出了一种新的元学习为基础的方法。在该方法中，我们没有假设分类器的线性，以方便优化，并解决理想的双层分类器目标与模型无关的元学习（MAML）框架。我们的方法是更强大的数据与虚假的相关性，可以提供一个不变的最佳分类器，即使从每个分布的数据是稀缺的。在实验中，我们证明了我们的算法不仅具有更好的OOD泛化性能比IRMv1和所有的IRMv1的变种，但也解决了IRMv1的弱点，提高了稳定性。
2021-03-24 cs.AI cs.LG
Compositional Risk Minimization
Meta FAIR
针对训练与测试间属性组合缺失的组合偏移问题，提出组合风险最小化（CRM）方法，通过加性能量分类器建模并调整，提升模型对未见属性组合的泛化鲁棒性。
2025-07-10 cs.AI cs.LG
Differentially Private Empirical Risk Minimization with Sparsity-Inducing Norms
Imperial College London（帝国理工学院）
差分隐私关注的是预测质量，同时衡量隐私对个人的信息包含在数据中的影响。我们考虑差分私人风险最小化问题的正则化诱导结构稀疏。已知这些正则化子是凸的，但它们通常是不可微的。分析了标准的差分隐私算法，如输出扰动、Frank-Wolfe和目标扰动。输出扰动是一种差分私有算法，已知其在最小化强凸风险方面表现良好。以前的作品已经推导出的额外的风险界限是独立的维度。在本文中，我们假设了一类特殊的凸但非光滑的正则化，诱导结构稀疏性和损失函数的广义线性模型。我们还考虑差分私人Frank-Wolfe算法来优化风险最小化问题的对偶。我们推导出这两种算法的超额风险界限。这两个界都依赖于对偶范数的单位球的高斯宽度。我们还证明了风险最小化问题的目标扰动等价于对偶优化问题的输出扰动。这是第一个工作，分析了双重优化问题的风险最小化问题的背景下，差分隐私。
2019-05-13 cs.LG stat.ML
Convex Risk Minimization and Conditional Probability Estimation
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）
本文证明了，在非常一般的设置，凸风险最小化是一个过程，选择一个独特的条件概率模型所确定的分类问题。与大多数以前的工作不同，我们给出的结果是足够一般的情况下，其中不存在最小值，通常会发生，例如，与标准的提升算法。具体地说，我们首先表明，任何序列的预测最小化凸风险的源分布将收敛到这个独特的模型时，类的预测是线性的（但可能是无限维）。其次，我们证明了同样的结果适用于\emph{empirical}风险最小化时，这类预测是有限维的，其中的基本技术贡献是一个无范数的推广界。
2015-06-15 cs.LG stat.ML
Chaining Bounds for Empirical Risk Minimization
University of Alberta（阿尔伯塔大学）；Imperial College London（帝国理工学院）
本文推广了标准链技术，证明了在随机设计条件下，即使噪声和估计值的大小是无界的，经验风险最小化的超额风险上界也是存在的。该界适用于许多损失函数，除了平方损失，和尺度仅与亚高斯或亚指数参数没有进一步的统计假设，如有界峰度条件的假设类。一个详细的分析提供了斜率约束和惩罚线性最小二乘回归与亚高斯设置，这往往证明了严格的样本复杂性界对数因子。
2016-09-07 cs.LG stat.ML
Empirical Risk Minimization for Time Series: Nonparametric Performance Bounds for Prediction
Universitat Pompeu Fabra（庞培法布拉大学）；Barcelona Graduate School of Economics（巴塞罗那经济学院）
经验风险最小化是学习理论中选择算法的标准原则。本文研究了时间序列经验风险最小化的性质。进行分析的一般框架，涵盖不同类型的预测应用中遇到的文献。我们关注的是由参数驱动过程产生的单变量时间序列的1步预测。针对时间序列的预测问题，提出了一类递归算法。算法是递归的，在这个意义上说，在一个给定的时期内产生的预测是预测的滞后值和时间序列的函数。时间序列的生成机制和算法类别之间的关系未指定。我们的主要结果建立了由经验风险最小化选择的算法渐近地实现了在该类算法内可达到的最优预测性能。
2021-08-11 cs.LG stat.ML
Excess risk bounds in robust empirical risk minimization
Université Paris-Saclay（巴黎萨克雷大学）；Univ. Paris-Sud（巴黎南大学）；CNRS（法国国家科学研究中心）；Inria Saclay - Ile-de-France（法国国家信息与自动化研究所萨克莱-法兰西岛分院）；University of Southern California（南加州大学）
本文研究了现代统计方法的核心技术之一的一般经验风险最小化算法的鲁棒版本。经验风险最小化的成功是基于这样的事实，即对于由一类函数$f\in \mathcal F$索引的“表现良好”的随机过程$\left\{ f(X), \ f\in \mathcal F\right\}$，在i.i.d.的样本$X_1,\ldots,X_N$上评估的平均$\frac{1}{N}\sum_{j=1}^N f(X_j)$。$X$的副本在大类$f\in \mathcal F$上一致地提供了对期望$\mathbb E f(X)$的良好近似。然而，如果过程的边缘分布是重尾的，或者如果样本包含离群值，则这可能不再正确。我们提出了一个版本的经验风险最小化的基础上的想法，取代样本平均值的强大的代理的期望，并获得高置信度的界限所产生的估计的超额风险。特别是，我们表明，稳健估计的超额风险可以收敛到$0$在快速的速度相对于样本大小。我们讨论的主要结果的影响，线性和逻辑斯谛回归的问题，并评估所提出的方法的数值模拟和真实数据的性能。
2019-10-16 cs.LG stat.ML
Classification from Pairwise Similarities/Dissimilarities and Unlabeled Data via Empirical Risk Minimization
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
数据点之间的成对相似性和不相似性可能比现实世界分类问题中的完全标记数据更容易获得，例如，在隐私意识的情况下。为了处理这样的成对信息，已经提出了一种经验风险最小化方法，给出了分类风险的无偏估计，该估计只能从成对相似性和未标记数据中计算。然而，这个方向到目前为止还不能处理成对的相异。半监督聚类是一种既能利用相似性又能利用相异性的聚类方法。然而，它们通常需要对数据分布进行强几何假设，例如流形假设，这可能会降低性能。在本文中，我们得到了一个无偏的风险估计，它可以处理所有的相似性/相异性和未标记的数据。我们从理论上建立估计误差的界限和实验证明我们的经验风险最小化方法的实用性。
2019-04-26 cs.LG stat.ML
Fair Risk Minimization under Causal Path-Specific Effect Constraints
Emory University（埃默里大学）
本文提出路径特异因果效应约束下的公平预测框架，推导均方误差与交叉熵风险约束优化的闭式解，并构建稳健半参数估计策略。
2024-08-03 cs.LG stat.ML
MACRO: A Meta-Algorithm for Conditional Risk Minimization
IST Austria（奥地利科学技术研究所）
我们研究条件风险最小化（CRM），即学习的问题，在下一步的顺序到达相关数据的预测风险最小的假设。尽管这是一个基本问题，但到目前为止，CRM意义上的成功学习只使用理论算法来证明，这些算法不能用于实际问题，因为它们需要存储所有传入的数据。在这项工作中，我们介绍了MACRO，CRM的元算法，不受这个缺点，但仍然提供学习保证。它不是存储所有数据，而是维护和迭代更新一组学习子程序。通过适当的近似，MACRO应用于真实数据，与传统的无条件学习相比，预测性能得到了提高。
2018-11-03 cs.LG stat.ML
Screening Data Points in Empirical Risk Minimization via Ellipsoidal Regions and Safe Loss Functions
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；ENS（巴黎高等师范学院）；PSL（巴黎文理研究大学）
我们设计了简单的筛选测试，以自动丢弃经验风险最小化的数据样本，而不会失去优化保证。我们推导出损失函数，产生一个稀疏的解决方案的双重目标。我们还展示了如何正则化凸损失，以确保这样一个双重稀疏诱导属性，并提出了一个通用的方法来设计筛选测试的分类或回归的基础上椭圆近似的最佳集。除了产生计算增益外，我们的方法还允许我们将数据集压缩为代表点的子集。
2020-06-12 cs.LG stat.ML
Bayesian Counterfactual Risk Minimization
Amazon（亚马逊）
我们提出了一个贝叶斯观点的反事实风险最小化（CRM）离线学习记录的强盗反馈。利用PAC-Bayesian分析，我们得到了一个新的广义界截断逆倾向得分估计。我们将约束应用于一类贝叶斯策略，这激发了一种新的，潜在的数据依赖性，CRM的正则化技术。实验结果表明，该技术优于标准的$L_2$正则化，它是有竞争力的方差正则化，同时更简单的实现和更高的计算效率。
2020-04-02 cs.LG stat.ML
Empirical Risk Minimization under Fairness Constraints
Istituto Italiano di Tecnologia（意大利理工学院）；University of Genova（热那亚大学）；University of Waterloo（滑铁卢大学）；University College London（伦敦大学学院）
我们解决算法公平性的问题：确保敏感变量不会不公平地影响分类器的结果。我们提出了一种基于经验风险最小化的方法，它将公平性约束纳入学习问题。它鼓励学习分类器的条件风险相对于敏感变量近似恒定。我们得到的风险和公平的界限，支持我们的方法的统计一致性。我们指定我们的方法核方法，并观察到公平性的要求意味着可以很容易地添加到这些方法的正交约束。我们进一步观察到，对于线性模型，约束转化为一个简单的数据预处理步骤。实验表明，该方法是经验有效的，并表现出良好的国家的最先进的方法。
2020-01-31 cs.LG stat.ML
Conditional Risk Minimization for Stochastic Processes
IST Austria（奥地利科学技术研究所）
我们研究向非独立身份者学习的任务。数据特别是，我们的目标是学习预测器，最大限度地减少条件风险的随机过程，即预期损失的预测器上的下一个点的条件下，到目前为止观察到的训练样本集。对于非i.i.d.数据，训练集包含有关即将到来的样本的信息，因此可以期望关于条件分布的学习产生比从最小化边际风险的经典设置获得的更好的预测器。我们的主要贡献是基于非参数时间序列预测理论的条件风险的实用估计器，以及有限样本浓度界，该界在过程的某些规律性假设下建立了估计器对真实条件风险的一致收敛。
2016-03-13 cs.LG stat.ML
Learning Augmentation Distributions using Transformed Risk Minimization
University of Pennsylvania（宾夕法尼亚大学）
本研究提出变换风险最小化（TRM）框架，联合优化预测模型与数据变换分布，结合PAC-Bayes正则化与几何变换随机组合的SCALE算法，在CIFAR10/100等数据集上实现更优性能，还可学习数据对称性并提升模型校准度。
2023-10-05 cs.LG stat.ML
Structured Prediction by Conditional Risk Minimization
MIT（麻省理工学院）
我们提出了一个一般的方法，监督学习结构化的输出空间，如组合和多面体集，这是基于最小化估计的条件风险函数。给定一个定义在输出标签对上的损失函数，我们首先通过解决一个（可能是无限的）正则化最小二乘问题来估计条件风险函数。预测是通过解决一个推理问题，最大限度地减少估计的条件风险函数的输出空间。我们表明，这种方法使，在某些情况下，有效的训练和推理，而不显式地引入一个凸代理的原始损失函数，即使它是不连续的。对真实世界和合成数据集的实证评估表明，我们的方法在适应各种损失函数的有效性。
2017-02-26 cs.LG stat.ML
Empirical risk minimization algorithm for multiclass classification of S.D.E. paths
Université Paris 1 Panthéon-Sorbonne（巴黎第一大学先贤祠-索邦大学）；Université Paris-Saclay（巴黎萨克雷大学）；AgroParisTech（巴黎高科农业学院）；INRAE（法国国家农业、食品与环境研究院）
针对漂移不同、扩散系数共同的随机扩散路径多分类问题，提出基于 L2 经验风险最小化的算法，证明其收敛速率及间隔假设下的快速速率，并通过模拟验证数值性能。
2025-03-18 cs.LG stat.ML
STORM: Foundations of End-to-End Empirical Risk Minimization on the Edge
Rice University（莱斯大学）
经验风险最小化可能是统计学习中最有影响力的思想，以回归和分类模型的形式应用于几乎所有的科学和技术领域。为了分析分布式计算环境中的海量流数据集，从业者越来越倾向于在边缘而不是云中部署回归模型。通过将数据保存在边缘设备上，我们可以最大限度地降低与模型相关的能源、通信和数据安全风险。虽然在边缘训练模型同样有利，但通常的假设是模型最初是在云中训练的，因为训练通常需要大量的计算和内存。为此，我们提出了STORM，一个经验风险最小化的在线草图。STORM将数据流压缩到一个小的整数计数器数组中。这个草图足以估计原始数据集上的各种替代损失。我们提供了严格的理论分析，并表明，风暴可以估计一个精心选择的替代损失的最小二乘目标。在对真实数据集上的线性回归模型进行详尽的实验比较中，我们发现STORM允许训练准确的回归模型。
2020-06-25 cs.LG stat.ML
Distributionally Robust Counterfactual Risk Minimization
Criteo AI Labs（Criteo人工智能实验室）；LTCI, Telecom ParisTech（巴黎高等电信学院LTCI实验室）；LPSM, Université Paris 6（巴黎第六大学LPSM实验室）
本文介绍了使用分布鲁棒优化（DRO）的反事实风险最小化（CRM）问题的想法。利用丰富的现有文献，我们表明，DRO是反事实决策的原则性工具。我们还表明，完善的解决方案CRM问题，如样本方差惩罚计划是一个更一般的DRO问题的特殊情况。在这个统一的框架中，可以使用各种概率距离和偏差作为不确定性度量来构建各种分布鲁棒的反事实风险估计器。我们提出了使用库尔贝克-莱布勒散度作为一种替代方法来建模CRM中的不确定性，并推导出一个新的强大的反事实目标。在我们的实验中，我们证明了这种方法在四个基准数据集上的性能优于最先进的方法，验证了在实际应用中使用其他不确定性度量的相关性。
2019-12-14 cs.LG stat.ML
Empirical Risk Minimization for Losses without Variance
Fudan University（复旦大学）；Baidu Research（百度研究院）；Cornell University（康奈尔大学）
本文研究重尾数据（仅有 $p$ 阶矩，$p \in (1,2)$）下的实证风险最小化问题，提出利用 Catoni 方法稳健估计风险值并以此选择优化器，通过广义通用链式方法建立超额风险上界，实验证明其优于基于截断数据的基线方法。
2023-09-07 cs.LG stat.ML
An Empirical Study of Invariant Risk Minimization
Kakao Brain
不变风险最小化（Invariant Risk Minimization，ARJovsky et al.，2019）是最近提出的一个框架，旨在学习预测器，这些预测器在不同的训练环境中对虚假相关性是不变的。然而，尽管有理论上的理由，但在各种环境中，这种方法并没有得到广泛的测试。为了更好地理解该框架，我们使用IRMv1实证研究了几个研究问题，IRMv1是第一个提出来近似解决问题的实用算法。通过以不同的方式扩展ColoredMNIST实验，我们发现IRMv1（i）在训练环境之间的虚假相关性变化更大时表现更好，（ii）当底层关系近似不变时学习近似不变的预测器，（iii）可以扩展到文本分类的类似设置。
2020-07-06 cs.LG stat.ML
Counterfactual Risk Minimization: Learning from Logged Bandit Feedback
Cornell University（康奈尔大学）
我们开发了一个学习原理和一个有效的算法，批量学习从记录的强盗反馈。这种学习设置在在线系统中无处不在（例如，广告投放、网络搜索、推荐），其中算法进行预测（例如，广告排名）对于给定输入（例如，查询）并观察Bandit反馈（例如，用户点击呈现的广告）。我们首先通过倾向评分来解决学习问题的反事实性质。接下来，我们证明了泛化误差的范围，占的倾向加权经验风险估计的方差。这些建设性的界限产生了反事实风险最小化（CRM）原则。我们展示了如何CRM可以用来获得一个新的学习方法-称为政策优化指数模型（POEM）-学习随机线性规则的结构化输出预测。我们提出了一个分解的POEM目标，使有效的随机梯度优化。POEM的几个多标签分类问题进行了评估，表现出显着改善的鲁棒性和泛化性能相比，国家的最先进的。
2015-05-20 cs.LG stat.ML
Generalization Bounds for Vicinal Risk Minimization Principle
Dalian University of Technology（大连理工大学）；University of Technology, Sydney（悉尼科技大学）；The University of Sydney（悉尼大学）
邻位风险最小化（VRM）原理，首先由\citet{vapnik1999nature}提出，是经验风险最小化（ERM）的一种变体，它用邻位函数代替狄拉克质量。虽然有强有力的数值证据表明，VRM优于ERM，如果适当的邻功能选择，一个全面的理论理解VRM仍然缺乏。在本文中，我们研究了VRM的推广界。我们的研究结果支持Vapnik的原始论点，并提供了更深入的了解VRM。首先，在函数类由Lipschitz连续函数组成的假设下，证明了与邻函数卷积的函数类的复杂性可以由原函数类的复杂性控制.然后，由此得到的VRM的推广界表明，VRM的推广性能也受到附近函数的选择和函数类的质量。这些发现可以用来检查是否选择的邻近功能是适当的基于VRM的学习设置。最后，我们提供了一个理论解释现有的VRM模型，例如，基于均匀分布的模型、基于高斯分布的模型和混合模型。
2018-11-11 cs.LG stat.ML
High Dimensional Classification via Regularized and Unregularized Empirical Risk Minimization: Precise Error and Optimal Loss
本文通过理论分析，深入研究了当考虑高维数据时，经验风险最小化框架在岭正则化和非正则化两种情况下的分类性能。专注于分离两类高斯混合的基本问题，建议的分析允许一组足够大的维度$p$的众多数据向量$\mathbf{x} \in \mathbb R^p$的分类误差的精确预测。这个精确的误差取决于损失函数、训练样本的数量以及混合数据模型的统计数据。研究表明，在数据统计的某些额外非稀疏条件下，它仍然超出高斯分布。在此定量误差分析的基础上，我们将简单平方损失确定为脊正则化和非正则化情况下高维分类的最佳选择，无论训练样本的数量如何。
2020-11-25 cs.LG stat.ML
Robust variance-regularized risk minimization with concomitant scaling
Osaka University（大阪大学）
针对重尾损失，提出一种无需精确估计方差的鲁棒风险最小化方法，通过修改无方差均值估计技术，实现简单且可与梯度求解器结合，实验表明其性能优于或等同于CVaR和DRO等方法。
2024-02-09 cs.LG stat.ML
On Invariance Penalties for Risk Minimization
Mayo Clinic（梅奥诊所）；Oxford University（牛津大学）；King’s College London（伦敦国王学院）
不变风险最小化（Invariant Risk Minimization，简称RST）原则最早由Arjovsky et al. [2019]提出，旨在通过利用不同实验条件下的数据异质性来解决领域泛化问题。具体来说，SVM试图找到一种数据表示，在这种数据表示下，最佳分类器在所有域中都保持不变。尽管概念上的上诉，最初提出的不变性惩罚的有效性最近已被质疑。特别是，存在这样的反例：对于非不变数据表示，不变性惩罚可以任意小。我们提出了另一种不变性惩罚通过重新访问的Gramian矩阵的数据表示。我们讨论了它的特征值之间的关系的风险和不变性惩罚的作用，并证明了它是病态的上述反例。所提出的方法是保证恢复一个不变的表示线性设置下温和的非退化条件。在两个广泛的领域泛化测试平台DomainBed和InvarianceUnitTest上的实验证明了该方法的有效性。
2021-06-17 cs.LG stat.ML
Invariant Risk Minimization Games
IBM Research（IBM研究院）；Thomas J. Watson Research Center（托马斯·J·沃森研究中心）
机器学习的标准风险最小化范式在测试分布由于伪相关性而不同于训练分布的环境中操作时是脆弱的。对来自许多环境的数据进行训练，并找到不变的预测因子，通过将模型集中在与结果有因果关系的特征上，减少了虚假特征的影响。在这项工作中，我们提出这样的不变风险最小化，寻找纳什均衡的合奏游戏之间的几个环境。通过这样做，我们开发了一种简单的训练算法，该算法使用最佳响应动态，并且在我们的实验中，产生了类似或更好的经验准确性，其方差比Arjovsky等人（2019）具有挑战性的双层优化问题低得多。一个关键的理论贡献是表明，所提出的游戏的纳什均衡集是等价的不变预测的任何有限数量的环境，即使非线性分类器和变换。因此，我们的方法还保留了Arjovsky等人（2019）中所示的大量环境的泛化保证。该算法增加了成功的博弈论机器学习算法的集合，如生成对抗网络。
2020-03-18 cs.LG stat.ML
Positive-Unlabeled Learning using Random Forests via Recursive Greedy Risk Minimization
The University of Queensland（昆士兰大学）；RIKEN（理化学研究所）
从正的和未标记的数据中学习的需求，或PU学习，出现在许多应用中，并引起了越来越多的兴趣。虽然已知随机森林在具有正数据和负数据的许多任务上表现良好，但最近的PU算法通常基于深度神经网络，并且基于树的PU学习的潜力未被充分开发。在本文中，我们提出了新的随机森林算法的PU学习。我们的方法的关键是一个新的解释决策树算法的积极和消极的数据为\emph{recursive greedy risk minimization algorithms}。我们将这种观点扩展到PU设置，以开发新的决策树学习算法，直接最大限度地减少PU数据的估计预期风险。这使我们能够开发一个有效的PU随机森林算法，PU额外的树。我们的方法具有三个理想的属性：它是强大的损失函数的选择，在这个意义上，各种损失函数导致相同的决策树;它需要很少的超参数调整相比，基于PU学习的神经网络;它支持一个功能的重要性，直接衡量一个功能的风险最小化的贡献。我们的算法在几个数据集上表现出强大的性能。我们的代码可在\url{https://github.com/puetpaper/PUExtraTrees}上找到。
2022-10-16 cs.LG stat.ML
Empirical or Invariant Risk Minimization? A Sample Complexity Perspective
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；IBM Research（IBM研究院）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Google Research（谷歌研究院）
最近，不变风险最小化（IRM）被提出作为解决分布外（OOD）泛化的一个有前途的解决方案。然而，目前还不清楚什么时候应该优先使用风险最小化（ERM）框架。在这项工作中，我们从样本复杂性的角度分析了这两个框架，从而朝着回答这个重要问题迈出了坚实的一步。我们发现，取决于类型的数据生成机制，这两种方法可能有非常不同的有限样本和渐近行为。例如，在协变量偏移设置中，我们看到这两种方法不仅得到相同的渐近解，而且具有相似的有限样本行为，没有明显的赢家。然而，对于其他分布偏移，例如涉及混杂因素或反因果变量的分布偏移，这两种方法得到不同的渐近解，其中，在有限样本范围内，保证接近所需的OOD解，而ERM甚至渐近地有偏。我们进一步研究了不同的因素--环境的数量、模型的复杂性和模型的惩罚权重--如何影响模型的样本复杂性，以及它与OOD解决方案的距离
2022-08-19 cs.LG stat.ML
Treatment Effect Estimation using Invariant Risk Minimization
IBM Research（IBM研究院）；Massachusetts Institute of Technology（麻省理工学院）
从观察数据中推断个体治疗效应（ITE）是一个具有挑战性的问题，治疗分配偏倚的存在加剧了这一困难。在这项工作中，我们提出了一种新的方法来估计ITE使用的领域泛化框架不变的风险最小化（风险）。它使用来自多个领域的数据，学习不利用虚假领域相关因素的预测器，并更好地推广到看不见的领域。我们提出了一个基于IRM的ITE估计，旨在解决治疗分配偏差时，有控制组和治疗组之间的支持重叠。我们通过创建多样性来实现这一点：给定一个数据集，我们人工将数据分为多个域。这些不同的领域，然后利用ESTA更有效地推广基于回归的模型，缺乏支持重叠的数据区域。我们显示出收益超过经典的回归方法，ITE估计的设置时，支持不匹配更明显。
2021-03-13 cs.LG stat.ML
Semi-Supervised Ordinal Regression Based on Empirical Risk Minimization
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）；Kyoto University（京都大学）
有序回归的目的是预测有序类标签。在本文中，我们考虑它的半监督制定，其中我们有未标记的数据以及有序标记的数据训练有序回归。有几个度量来评估有序回归的性能，例如平均绝对误差，平均零一误差和均方误差。然而，现有的研究没有考虑评价指标，对模型的选择有限制，没有理论保证。为了克服这些问题，我们提出了一种新的通用框架，半监督有序回归的基础上的经验风险最小化原则，适用于优化上述所有指标。此外，我们的框架具有灵活的模型，代理损失和优化算法的选择，而无需对未标记数据进行常见的几何假设，如聚类假设或流形假设。我们进一步提供了一个估计误差界，以表明我们的风险估计是一致的。最后，我们进行实验，以显示我们的框架的实用性。
2021-06-10 cs.LG stat.ML
Stochastic dual averaging methods using variance reduction techniques for regularized empirical risk minimization problems
Tokyo Institute of Technology（东京工业大学）；Japan Science and Technology Agency（日本科学技术振兴机构）
我们考虑一个复合凸最小化问题与正则化的经验风险最小化，这经常出现在机器学习。本文提出了两种新的随机梯度法，它们是基于方差缩减的随机对偶平均方法。我们的方法生成一个稀疏的解决方案比现有的方法，因为我们不需要采取的平均历史的解决方案。这在可解释性和概括性方面都是有利的。此外，我们的方法有理论支持的强和非强凸正则化，并实现现有的非加速随机梯度法之间的最佳收敛速度。
2016-03-08 cs.LG math.OC stat.ML
A Dual Optimization View to Empirical Risk Minimization with f-Divergence Regularization
Electronic Engineering, University of Sheffield, Sheffield, U.K.；2 INRIA, Centre Inria d'Universit\'e C\ ote d'Azur, Sophia Antipolis, France.；3 ECE Dept., Princeton University, Princeton, 08544 NJ, USA.
本文提出ERM-fDR的对偶形式，利用Legendre-Fenchel变换和隐函数定理推导归一化函数的非线性ODE，并给出高效计算方法。
2025-08-05 cs.LG stat.ML
Variance Minimization in the Wasserstein Space for Invariant Causal Prediction
Princeton University（普林斯顿大学）；Gladstone Institutes（格莱斯顿研究所）
为结果选择强大的预测因子是机器学习的基础任务。然而，某些类型的问题只能通过识别因果影响结果的预测因素来回答。最近针对该因果推理问题的方法利用了因果机制在不同实验环境中的不变性（Peters等人，2016; Heinze-Deml等人，2018年）。这种方法，不变的因果预测（ICP），有一个重大的计算缺陷-运行时的规模与可能的因果变量的数量呈指数关系。在这项工作中，我们表明，在ICP采取的方法可以重新制定为一系列的非参数检验，线性尺度的预测因子的数量。这些测试中的每一个都依赖于最小化一个新的损失函数-Wasserstein方差-这是从最优运输理论的工具，并用于量化跨环境的分布变异性。我们证明在温和的假设下，我们的方法是能够恢复的一组可识别的直接原因，我们在我们的实验中证明，它是有竞争力的与其他基准的因果发现算法。
2022-02-28 cs.LG stat.ME
On the Stability of Empirical Risk Minimization in the Presence of Multiple Risk Minimizers
最近，Kespero和Niyogi研究了算法稳定性的几个概念-学习映射的一个属性，在概念上类似于连续性-表明训练稳定性足以保证经验风险最小化的一致性，而无分布CV稳定性对于具有有限VC维度是必要和充分的。本文关注的是由同一作者提出的ERM训练稳定性的一个相变。Kendall和Niyogi证明了有限假设空间中包含唯一风险最小化的ERM具有随样本大小呈指数级变化的训练稳定性，并证明了多个风险最小化的存在甚至阻止了超二次收敛。我们证明了这一结果的严格较弱的概念CV稳定性，积极解决的猜想。
2010-02-10 cs.LG
Fast Nonsmooth Regularized Risk Minimization with Continuation
Hong Kong University of Science and Technology（香港科技大学）
在正则化风险最小化中，当损失和正则化都是非光滑的时，相关的优化问题变得特别困难。现有的方法要么有缓慢或不明确的收敛特性，被限制到有限的问题子类，或需要仔细设置的平滑参数。在本文中，我们提出了一个连续算法，适用于一个大类的非光滑正则化风险最小化问题，可以灵活地使用一些现有的解决方案的基本平滑子问题，并与收敛结果的整个算法，而不仅仅是它的一个子问题。特别是，当使用加速求解器，该算法实现了最快的已知速率的$O(1/T^2)$强凸问题，和$O(1/T)$一般凸问题。非光滑分类和回归任务的实验表明，该算法优于国家的最先进的。
2016-02-25 cs.LG math.OC stat.ML
Empirical Risk Minimization and Stochastic Gradient Descent for Relational Data
Columbia University（哥伦比亚大学）
经验风险最小化是预测问题的主要工具，但其扩展到关系数据仍然没有解决。我们解决这个问题，使用最近的想法，从图抽样论（i）定义一个经验风险的关系数据和（ii）获得随机梯度的经验风险是自动无偏的。这是通过考虑从图中采样数据的方法作为模型设计的显式组件来实现的。通过集成快速实现的图形采样方案与标准的自动微分工具，我们提供了一个有效的交钥匙求解器的风险最小化问题。我们建立的过程的基本理论属性。最后，我们展示了关系ERM与应用程序的两个非标准的问题：一个阶段的训练半监督节点分类，学习嵌入向量的顶点属性。实验证实，交钥匙推理过程是有效的，在实践中，用于模型规格的抽样方案有很强的影响模型的性能。代码可在https://github.com/wooden-spoon/relational-ERM上获得。
2019-02-22 cs.LG cs.SI stat.ML
Un-regularizing: approximate proximal point and faster stochastic algorithms for empirical risk minimization
Stanford University（斯坦福大学）；Microsoft Research, New England（微软新英格兰研究院）；MIT（麻省理工学院）
我们开发了一个家庭的加速随机算法，最小化凸函数的总和。我们的算法提高了最快的运行时间经验风险最小化（ERM），特别是线性最小二乘回归，在广泛的问题设置。为了实现这一点，我们建立了一个框架的基础上，经典的邻近点算法。也就是说，我们提供了几个算法，减少了一个强凸函数的最小化的函数的正则化的近似最小化。使用这些结果，我们加速最近的快速随机算法在一个黑盒的方式。从经验上讲，我们证明，由此产生的算法表现出的稳定性，在实践中是有利的概念。无论是在理论上还是在实践中，所提供的算法都获得了增加一个大的强凸正则化项的计算优势，而不会对原始问题产生相应的偏差。
2015-06-24 cs.DS cs.LG stat.ML
Differentially Private Empirical Risk Minimization Revisited: Faster and More General
State University of New York at Buffalo（纽约州立大学布法罗分校）
在本文中，我们研究了在不同的设置不同的私人经验风险最小化（ERM）问题。对于光滑（强）凸损失函数与或不与（非）光滑正则化，我们给出的算法，实现最佳或接近最佳的效用界，与以前的工作相比，梯度复杂性。对于高维（$p\gg n$）环境下具有光滑凸损失函数的ERM，我们给出了一个算法，该算法比以前的算法以更小的梯度复杂度达到上界。最后，将期望超额经验风险从凸损失函数推广到满足Polyak-Lojasiewicz条件的非凸损失函数，并给出了比\cite{ijcai2017-548}更严格的效用上界.
2018-02-14 cs.CR cs.LG stat.ML
A Note on k-support Norm Regularized Risk Minimization
École Centrale Paris（巴黎中央理工学院）
最近引入了k-支撑范数来执行相关稀疏正则化。虽然Argyriou等人只报告了使用平方损失的实验，但在这里，我们将其应用于其他几种常用的设置，从而产生了具有有趣和熟悉的极限情况的新型机器学习算法。这里描述的算法的源代码是可用的。
2013-03-27 cs.LG
Fast Rates for Empirical Risk Minimization of Strict Saddle Problems
The Hebrew University（希伯来大学）
我们得出的经验风险最小化（ERM）的背景下，最小化非凸风险，承认严格的鞍性质的样本复杂性的界限。非凸优化的最新进展已经产生了有效的算法来最小化这样的功能。我们的研究结果表明，这些有效的算法是统计稳定的，也推广得很好。特别是，我们得到快速的利率类似的界限，往往达到强凸设置。我们指定了主成分分析和独立成分分析的界限。我们的结果和技术可能铺平道路的统计分析额外的严格鞍问题。
2017-06-04 cs.LG
Diametrical Risk Minimization: Theory and Computations
Target Corporation（塔吉特公司）；Naval Postgraduate School（海军研究生院）
当损失函数具有较大的Lipschitz模和虚假的尖锐极小值时，经验风险最小化（ERM）的理论和经验性能往往会受到影响。我们提出并分析了一个对应的ERM称为直径风险最小化（DRM），它占最坏情况下的经验风险在参数空间的邻里。DRM具有独立于Lipschitz模的凸和非凸问题的推广界，并且可以使用基于随机梯度下降的实用算法来实现。数值结果表明，DRM的能力，找到高质量的解决方案与低泛化误差尖锐的经验风险景观从基准神经网络分类问题与损坏的标签。
2021-07-07 cs.LG math.OC
Domain Adaptation for Sustainable Soil Management using Causal and Contrastive Constraint Minimization
University of Minnesota Twin Cities（明尼苏达大学双城分校）；Microsoft Research（微软研究院）
本文提出一个多模态可扩展框架，结合因果约束与对比学习，利用遥感数据和稀疏传感器数据估计土壤有机质，以改进跨域泛化能力并识别关键土壤属性。
2024-01-13 cs.LG
Black-Box Uniform Stability for Non-Euclidean Empirical Risk Minimization
University of Oxford（牛津大学）；Carlos III University of Madrid（马德里卡洛斯三世大学）
本文研究非欧几里得凸光滑ERM问题的均匀稳定一阶算法，提出一种黑盒归约方法，利用均匀凸正则化器将Hölder光滑优化算法转化为具有最优统计风险界的均匀稳定学习算法，解决了此前开放的非欧几里得情形问题。
2024-12-20 cs.LG math.OC stat.ML
Revisiting Transformer Layer Parameterization Through Causal Energy Minimization
Microsoft（微软）；Microsoft Research Cambridge（微软研究院剑桥）
本文提出因果能量最小化框架，将Transformer层视为条件能量函数的优化步骤，揭示了权重共享、低秩交互等设计空间，验证了在百万人参数规模下，能量引导的层设计能稳定训练并匹配基线模型。
2026-05-08 cs.AI cs.LG stat.ML
Generalization Performance of Empirical Risk Minimization on Over-parameterized Deep ReLU Nets
University of Sydney（悉尼大学）
在本文中，我们研究了在过参数化深度ReLU网络上实现经验风险最小化（ERM）的全局极小值的泛化性能。使用深度ReLU网络的一种新的深化方案，我们严格证明了在温和的条件下，存在完美的全局最小值，对于许多类型的数据，这些最小值几乎达到了最佳的泛化误差界。由于过度参数化对于确保深度ReLU网络上的ERM全局最小值可以通过广泛使用的随机梯度下降（SGD）算法实现至关重要，因此我们的结果确实填补了优化和泛化之间的空白。
2023-02-28 cs.LG
