Screening Data Points in Empirical Risk Minimization via Ellipsoidal Regions and Safe Loss Functions
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院);ENS(巴黎高等师范学院);PSL(巴黎文理研究大学)
我们设计了简单的筛选测试,以自动丢弃经验风险最小化的数据样本,而不会失去优化保证。我们推导出损失函数,产生一个稀疏的解决方案的双重目标。我们还展示了如何正则化凸损失,以确保这样一个双重稀疏诱导属性,并提出了一个通用的方法来设计筛选测试的分类或回归的基础上椭圆近似的最佳集。除了产生计算增益外,我们的方法还允许我们将数据集压缩为代表点的子集。
2020-06-12 cs.LG stat.ML
Empirical Risk Minimization under Fairness Constraints
Istituto Italiano di Tecnologia(意大利理工学院);University of Genova(热那亚大学);University of Waterloo(滑铁卢大学);University College London(伦敦大学学院)
我们解决算法公平性的问题:确保敏感变量不会不公平地影响分类器的结果。我们提出了一种基于经验风险最小化的方法,它将公平性约束纳入学习问题。它鼓励学习分类器的条件风险相对于敏感变量近似恒定。我们得到的风险和公平的界限,支持我们的方法的统计一致性。我们指定我们的方法核方法,并观察到公平性的要求意味着可以很容易地添加到这些方法的正交约束。我们进一步观察到,对于线性模型,约束转化为一个简单的数据预处理步骤。实验表明,该方法是经验有效的,并表现出良好的国家的最先进的方法。
2020-01-31 cs.LG stat.ML
Learning Augmentation Distributions using Transformed Risk Minimization
University of Pennsylvania(宾夕法尼亚大学)
本研究提出变换风险最小化(TRM)框架,联合优化预测模型与数据变换分布,结合PAC-Bayes正则化与几何变换随机组合的SCALE算法,在CIFAR10/100等数据集上实现更优性能,还可学习数据对称性并提升模型校准度。
2023-10-05 cs.LG stat.ML
Empirical risk minimization algorithm for multiclass classification of S.D.E. paths
Université Paris 1 Panthéon-Sorbonne(巴黎第一大学先贤祠-索邦大学);Université Paris-Saclay(巴黎萨克雷大学);AgroParisTech(巴黎高科农业学院);INRAE(法国国家农业、食品与环境研究院)
针对漂移不同、扩散系数共同的随机扩散路径多分类问题,提出基于 L2 经验风险最小化的算法,证明其收敛速率及间隔假设下的快速速率,并通过模拟验证数值性能。
2025-03-18 cs.LG stat.ML
STORM: Foundations of End-to-End Empirical Risk Minimization on the Edge
Rice University(莱斯大学)
经验风险最小化可能是统计学习中最有影响力的思想,以回归和分类模型的形式应用于几乎所有的科学和技术领域。为了分析分布式计算环境中的海量流数据集,从业者越来越倾向于在边缘而不是云中部署回归模型。通过将数据保存在边缘设备上,我们可以最大限度地降低与模型相关的能源、通信和数据安全风险。虽然在边缘训练模型同样有利,但通常的假设是模型最初是在云中训练的,因为训练通常需要大量的计算和内存。为此,我们提出了STORM,一个经验风险最小化的在线草图。STORM将数据流压缩到一个小的整数计数器数组中。这个草图足以估计原始数据集上的各种替代损失。我们提供了严格的理论分析,并表明,风暴可以估计一个精心选择的替代损失的最小二乘目标。在对真实数据集上的线性回归模型进行详尽的实验比较中,我们发现STORM允许训练准确的回归模型。
2020-06-25 cs.LG stat.ML
Empirical Risk Minimization for Losses without Variance
Fudan University(复旦大学);Baidu Research(百度研究院);Cornell University(康奈尔大学)
本文研究重尾数据(仅有 $p$ 阶矩,$p \in (1,2)$)下的实证风险最小化问题,提出利用 Catoni 方法稳健估计风险值并以此选择优化器,通过广义通用链式方法建立超额风险上界,实验证明其优于基于截断数据的基线方法。
2023-09-07 cs.LG stat.ML
Counterfactual Risk Minimization: Learning from Logged Bandit Feedback
Cornell University(康奈尔大学)
我们开发了一个学习原理和一个有效的算法,批量学习从记录的强盗反馈。这种学习设置在在线系统中无处不在(例如,广告投放、网络搜索、推荐),其中算法进行预测(例如,广告排名)对于给定输入(例如,查询)并观察Bandit反馈(例如,用户点击呈现的广告)。我们首先通过倾向评分来解决学习问题的反事实性质。接下来,我们证明了泛化误差的范围,占的倾向加权经验风险估计的方差。这些建设性的界限产生了反事实风险最小化(CRM)原则。我们展示了如何CRM可以用来获得一个新的学习方法-称为政策优化指数模型(POEM)-学习随机线性规则的结构化输出预测。我们提出了一个分解的POEM目标,使有效的随机梯度优化。POEM的几个多标签分类问题进行了评估,表现出显着改善的鲁棒性和泛化性能相比,国家的最先进的。
2015-05-20 cs.LG stat.ML
Generalization Bounds for Vicinal Risk Minimization Principle
Dalian University of Technology(大连理工大学);University of Technology, Sydney(悉尼科技大学);The University of Sydney(悉尼大学)
邻位风险最小化(VRM)原理,首先由\citet{vapnik1999nature}提出,是经验风险最小化(ERM)的一种变体,它用邻位函数代替狄拉克质量。虽然有强有力的数值证据表明,VRM优于ERM,如果适当的邻功能选择,一个全面的理论理解VRM仍然缺乏。在本文中,我们研究了VRM的推广界。我们的研究结果支持Vapnik的原始论点,并提供了更深入的了解VRM。首先,在函数类由Lipschitz连续函数组成的假设下,证明了与邻函数卷积的函数类的复杂性可以由原函数类的复杂性控制.然后,由此得到的VRM的推广界表明,VRM的推广性能也受到附近函数的选择和函数类的质量。这些发现可以用来检查是否选择的邻近功能是适当的基于VRM的学习设置。最后,我们提供了一个理论解释现有的VRM模型,例如,基于均匀分布的模型、基于高斯分布的模型和混合模型。
2018-11-11 cs.LG stat.ML
High Dimensional Classification via Regularized and Unregularized Empirical Risk Minimization: Precise Error and Optimal Loss
本文通过理论分析,深入研究了当考虑高维数据时,经验风险最小化框架在岭正则化和非正则化两种情况下的分类性能。专注于分离两类高斯混合的基本问题,建议的分析允许一组足够大的维度$p$的众多数据向量$\mathbf{x} \in \mathbb R^p$的分类误差的精确预测。这个精确的误差取决于损失函数、训练样本的数量以及混合数据模型的统计数据。研究表明,在数据统计的某些额外非稀疏条件下,它仍然超出高斯分布。在此定量误差分析的基础上,我们将简单平方损失确定为脊正则化和非正则化情况下高维分类的最佳选择,无论训练样本的数量如何。
2020-11-25 cs.LG stat.ML
Positive-Unlabeled Learning using Random Forests via Recursive Greedy Risk Minimization
The University of Queensland(昆士兰大学);RIKEN(理化学研究所)
从正的和未标记的数据中学习的需求,或PU学习,出现在许多应用中,并引起了越来越多的兴趣。虽然已知随机森林在具有正数据和负数据的许多任务上表现良好,但最近的PU算法通常基于深度神经网络,并且基于树的PU学习的潜力未被充分开发。在本文中,我们提出了新的随机森林算法的PU学习。我们的方法的关键是一个新的解释决策树算法的积极和消极的数据为\emph{recursive greedy risk minimization algorithms}。我们将这种观点扩展到PU设置,以开发新的决策树学习算法,直接最大限度地减少PU数据的估计预期风险。这使我们能够开发一个有效的PU随机森林算法,PU额外的树。我们的方法具有三个理想的属性:它是强大的损失函数的选择,在这个意义上,各种损失函数导致相同的决策树;它需要很少的超参数调整相比,基于PU学习的神经网络;它支持一个功能的重要性,直接衡量一个功能的风险最小化的贡献。我们的算法在几个数据集上表现出强大的性能。我们的代码可在\url{https://github.com/puetpaper/PUExtraTrees}上找到。
2022-10-16 cs.LG stat.ML
Empirical or Invariant Risk Minimization? A Sample Complexity Perspective
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);IBM Research(IBM研究院);Rensselaer Polytechnic Institute(伦斯勒理工学院);Google Research(谷歌研究院)
最近,不变风险最小化(IRM)被提出作为解决分布外(OOD)泛化的一个有前途的解决方案。然而,目前还不清楚什么时候应该优先使用风险最小化(ERM)框架。在这项工作中,我们从样本复杂性的角度分析了这两个框架,从而朝着回答这个重要问题迈出了坚实的一步。我们发现,取决于类型的数据生成机制,这两种方法可能有非常不同的有限样本和渐近行为。例如,在协变量偏移设置中,我们看到这两种方法不仅得到相同的渐近解,而且具有相似的有限样本行为,没有明显的赢家。然而,对于其他分布偏移,例如涉及混杂因素或反因果变量的分布偏移,这两种方法得到不同的渐近解,其中,在有限样本范围内,保证接近所需的OOD解,而ERM甚至渐近地有偏。我们进一步研究了不同的因素--环境的数量、模型的复杂性和模型的惩罚权重--如何影响模型的样本复杂性,以及它与OOD解决方案的距离
2022-08-19 cs.LG stat.ML
Semi-Supervised Ordinal Regression Based on Empirical Risk Minimization
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所先进智能项目中心);Kyoto University(京都大学)
有序回归的目的是预测有序类标签。在本文中,我们考虑它的半监督制定,其中我们有未标记的数据以及有序标记的数据训练有序回归。有几个度量来评估有序回归的性能,例如平均绝对误差,平均零一误差和均方误差。然而,现有的研究没有考虑评价指标,对模型的选择有限制,没有理论保证。为了克服这些问题,我们提出了一种新的通用框架,半监督有序回归的基础上的经验风险最小化原则,适用于优化上述所有指标。此外,我们的框架具有灵活的模型,代理损失和优化算法的选择,而无需对未标记数据进行常见的几何假设,如聚类假设或流形假设。我们进一步提供了一个估计误差界,以表明我们的风险估计是一致的。最后,我们进行实验,以显示我们的框架的实用性。
2021-06-10 cs.LG stat.ML
Robust Risk Minimization for Statistical Learning
Uppsala University(乌普萨拉大学)
我们考虑一个一般的统计学习问题,其中一个未知的部分的训练数据被损坏。我们开发了一个强大的学习方法,只需要指定一个上限的损坏的数据部分。该方法最小化由具有未知概率权重的非参数分布定义的风险函数。我们推导和分析的最佳权重,并显示它们如何提供对损坏的数据的鲁棒性。此外,我们给出了一个计算效率高的坐标下降算法来解决风险最小化问题。我们展示了广泛的适用性的方法,包括回归,分类,无监督学习和经典的参数估计,与国家的最先进的性能。
2020-02-07 cs.LG eess.SP stat.ML
Stochastic dual averaging methods using variance reduction techniques for regularized empirical risk minimization problems
Tokyo Institute of Technology(东京工业大学);Japan Science and Technology Agency(日本科学技术振兴机构)
我们考虑一个复合凸最小化问题与正则化的经验风险最小化,这经常出现在机器学习。本文提出了两种新的随机梯度法,它们是基于方差缩减的随机对偶平均方法。我们的方法生成一个稀疏的解决方案比现有的方法,因为我们不需要采取的平均历史的解决方案。这在可解释性和概括性方面都是有利的。此外,我们的方法有理论支持的强和非强凸正则化,并实现现有的非加速随机梯度法之间的最佳收敛速度。
2016-03-08 cs.LG math.OC stat.ML
The Risks of Invariant Risk Minimization
Carnegie Mellon University(卡内基梅隆大学)
不变因果预测(Peters等人,2016)是一种用于分布外泛化的技术,其假设数据分布的某些方面在训练集中变化,但潜在的因果机制保持不变。最近,Arjovsky等人(2019年)提出了不变风险最小化(Invariant Risk Minimization,简称Risk Minimization),这是一个基于这一思想的目标,用于学习数据的深度不变特征,这些特征是潜在变量的复杂函数;随后提出了许多替代方案。然而,对所有这些工程的正式保障严重缺乏。在本文中,我们提出了第一个分析的分类下的目标-以及这些最近提出的替代品-在一个相当自然和一般的模型。在线性的情况下,我们展示了简单的条件下,最佳解决方案成功,或更经常地,未能恢复最佳不变预测。此外,我们提出的第一个结果,在非线性制度:我们证明,如果测试数据是足够相似的训练分布,这正是它的目的是要解决的问题,否则,可失败的灾难性。因此,在这种情况下,我们发现,在标准的经验风险最小化的基础上,风险最小化及其替代方案根本没有改善。
2021-03-27 cs.AI cs.LG stat.ML
Empirical Risk Minimization and Stochastic Gradient Descent for Relational Data
Columbia University(哥伦比亚大学)
经验风险最小化是预测问题的主要工具,但其扩展到关系数据仍然没有解决。我们解决这个问题,使用最近的想法,从图抽样论(i)定义一个经验风险的关系数据和(ii)获得随机梯度的经验风险是自动无偏的。这是通过考虑从图中采样数据的方法作为模型设计的显式组件来实现的。通过集成快速实现的图形采样方案与标准的自动微分工具,我们提供了一个有效的交钥匙求解器的风险最小化问题。我们建立的过程的基本理论属性。最后,我们展示了关系ERM与应用程序的两个非标准的问题:一个阶段的训练半监督节点分类,学习嵌入向量的顶点属性。实验证实,交钥匙推理过程是有效的,在实践中,用于模型规格的抽样方案有很强的影响模型的性能。代码可在https://github.com/wooden-spoon/relational-ERM上获得。
2019-02-22 cs.LG cs.SI stat.ML
Un-regularizing: approximate proximal point and faster stochastic algorithms for empirical risk minimization
Stanford University(斯坦福大学);Microsoft Research, New England(微软新英格兰研究院);MIT(麻省理工学院)
我们开发了一个家庭的加速随机算法,最小化凸函数的总和。我们的算法提高了最快的运行时间经验风险最小化(ERM),特别是线性最小二乘回归,在广泛的问题设置。为了实现这一点,我们建立了一个框架的基础上,经典的邻近点算法。也就是说,我们提供了几个算法,减少了一个强凸函数的最小化的函数的正则化的近似最小化。使用这些结果,我们加速最近的快速随机算法在一个黑盒的方式。从经验上讲,我们证明,由此产生的算法表现出的稳定性,在实践中是有利的概念。无论是在理论上还是在实践中,所提供的算法都获得了增加一个大的强凸正则化项的计算优势,而不会对原始问题产生相应的偏差。
2015-06-24 cs.DS cs.LG stat.ML
Empirical risk minimization is consistent with the mean absolute percentage error
在本文中,我们研究了使用平均绝对百分比误差(MAPE)作为回归模型质量度量的后果。我们证明了在MAPE下找到最佳模型等价于进行加权平均绝对误差(MAE)回归。我们还表明,在某些假设下,普遍一致的经验风险最小化仍然可能使用MAPE。
2015-09-08 stat.ML
Differentially Private Empirical Risk Minimization Revisited: Faster and More General
State University of New York at Buffalo(纽约州立大学布法罗分校)
在本文中,我们研究了在不同的设置不同的私人经验风险最小化(ERM)问题。对于光滑(强)凸损失函数与或不与(非)光滑正则化,我们给出的算法,实现最佳或接近最佳的效用界,与以前的工作相比,梯度复杂性。对于高维($p\gg n$)环境下具有光滑凸损失函数的ERM,我们给出了一个算法,该算法比以前的算法以更小的梯度复杂度达到上界。最后,将期望超额经验风险从凸损失函数推广到满足Polyak-Lojasiewicz条件的非凸损失函数,并给出了比\cite{ijcai2017-548}更严格的效用上界.
2018-02-14 cs.CR cs.LG stat.ML
Black-Box Uniform Stability for Non-Euclidean Empirical Risk Minimization
University of Oxford(牛津大学);Carlos III University of Madrid(马德里卡洛斯三世大学)
本文研究非欧几里得凸光滑ERM问题的均匀稳定一阶算法,提出一种黑盒归约方法,利用均匀凸正则化器将Hölder光滑优化算法转化为具有最优统计风险界的均匀稳定学习算法,解决了此前开放的非欧几里得情形问题。
2024-12-20 cs.LG math.OC stat.ML
Differentially Private Confidence Intervals for Empirical Risk Minimization
The Pennsylvania State University(宾夕法尼亚州立大学);University of Georgia(佐治亚大学)
差分隐私数据采掘的过程中产生的结果受到两种类型的噪声的影响:由于数据汇集和隐私噪声,旨在防止重建的敏感信息采样噪声。在本文中,我们考虑的问题,设计各种不同的私人机器学习模型的参数的置信区间。该算法可以提供置信区间,满足差分隐私(以及最近提出的集中差分隐私),并可以与现有的差分隐私机制,训练模型使用目标扰动和输出扰动。
2018-04-11 cs.CR cs.LG stat.ML
A Simple Analysis for Exp-concave Empirical Minimization with Arbitrary Convex Regularizer
The University of Iowa(爱荷华大学);Nanjing University(南京大学)
在本文中,我们提出了一个简单的分析{ \bf快速率}与{\bf经验最小化}的{\it高概率}的{\it随机复合优化}在有限维有界凸集上的指数凹损失函数和任意凸正则化。据我们所知,这一结果是同类中的第一个。作为一个副产品,我们可以直接获得具有和不具有任何凸正则化的指数凹经验风险最小化的{ \it high probability}的快速速率,这不仅推广了经验风险最小化的现有结果,而且为分析具有和不具有{ \it any}凸正则化的指数凹经验风险最小化提供了一个统一的框架.我们的证明非常简单,只利用有限维有界集的覆盖数和随机向量的集中不等式。
2017-09-09 cs.LG math.OC stat.ML
LSAM: Asynchronous Distributed Training with Landscape-Smoothed Sharpness-Aware Minimization
针对SAM在分布式大批量训练中效率低的问题,提出结合SAM对抗步骤与异步分布式采样的LSAM优化器,消除同步瓶颈、加快收敛且准确率更高,兼顾泛化优势与训练效率。
2025-09-03 cs.LG stat.ML
Adaptive Differentially Private Empirical Risk Minimization
University of Chicago(芝加哥大学);Toyota Technological Institute at Chicago(芝加哥丰田工业大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们提出了一个自适应(随机)梯度扰动方法差分私人经验风险最小化。在每次迭代中,添加到梯度的随机噪声最佳地适应步长;我们将此过程命名为自适应差分私有(ADP)学习。给定相同的隐私预算,我们证明了ADP方法大大提高了效用保证相比,标准的差分私人的方法,其中香草随机噪声被添加。我们的方法对于具有时变学习率的基于梯度的算法特别有用,包括AdaGrad的变体(Duchi等人,2011年)。我们提供了大量的数值实验来证明所提出的自适应差分隐私算法的有效性。
2021-10-25 cs.LG eess.IV math.OC
On the Minimal Error of Empirical Risk Minimization
MIT(麻省理工学院)
我们研究的最小误差的经验风险最小化(ERM)程序的回归任务,无论是在随机和固定的设计设置。我们清晰的下界揭示了适应生成数据的模型的简单性的可能性(或不可能性)。在固定的设计设置,我们表明,错误是由整个类的全局复杂性。相反,在随机设计中,如果回归函数周围的局部邻域几乎和类本身一样复杂,ERM可能只适用于更简单的模型,这是一个有点违反直觉的结论。我们提供了尖锐的下界的ERM为Donsker和非Donsker类的性能。我们还讨论了我们的结果,通过最近的研究超参数化模型的插值镜头。
2021-02-24 cs.LG math.ST stat.ML
Neutralized Empirical Risk Minimization with Generalization Neutrality Bound
目前,机器学习在许多人的生活和个人活动中发挥着重要作用。因此,有必要设计机器学习算法,以确保通过机器学习做出的决策或预测不会导致歧视、偏见或不公平待遇。在这项工作中,我们引入了一种新的经验风险最小化(ERM)框架的监督学习,中立的ERM(NERM),确保任何分类器获得可以保证是中立的观点假设。更具体地说,给定一个观点假设,NERM的工作是找到一个目标假设,最大限度地减少经验风险,同时确定一个目标假设是中立的观点假设。在NERM框架内,我们得出了一个理论界的经验和泛化中性风险。此外,作为线性分类的NERM的实现,我们推导出一个最大间隔算法,中性支持向量机(SVM)。实验结果表明,我们的中性SVM在真实数据集上显示出更好的分类性能,而不牺牲中立性保证。
2015-11-06 stat.ML
On the Fine-Grained Complexity of Empirical Risk Minimization: Kernel Methods and Neural Networks
MIT(麻省理工学院)
经验风险最小化(ERM)在机器学习中无处不在,并且是大多数监督学习方法的基础。虽然已经有大量的工作,各种ERM问题的算法,确切的计算复杂性的ERM仍然没有被理解。我们解决这个问题的多个流行的ERM问题,包括内核支持向量机,内核岭回归,并训练神经网络的最后一层。特别是,我们给这些问题的复杂性理论假设的基础上,如强指数时间假设的条件硬度结果。在这些假设下,我们表明,有没有算法,解决上述ERM问题的高精度次二次时间。我们也给出了类似的硬度结果计算梯度的经验损失,这是主要的计算负担,在许多非凸学习任务。
2017-04-10 cs.CC cs.DS cs.LG
Schrödinger bridge problem via empirical risk minimization
Duisburg-Essen University(杜伊斯堡-埃森大学);HSE University(俄罗斯高等经济学院)
本文提出通过经验风险最小化求解薛定谔桥问题,改写系统为非线性不动点方程并估计正变换势能,结合随机控制生成样本。
2026-02-09 cs.LG math.PR math.ST
Maximum Risk Minimization with Random Forests
Department of Mathematical Sciences University of Copenhagen(数学科学系,哥本哈根大学);ETH Zürich(苏黎世联邦理工学院);Seminar for Statistics ETH Zürich(统计系,苏黎世联邦理工学院);ETH AI Center(苏黎世联邦理工学院人工智能中心);Biogeochemical Integration Department Max-Planck-Institute for Biogeochemistry(生物地球化学整合部门,马克斯·普朗克生物地球化学研究所)
本文提出基于最大风险最小化原则的随机森林变种,通过计算高效算法和统计一致性证明,提升模型在不同分布环境下的泛化能力。
2026-03-11 cs.AI cs.LG stat.ME
Tilted Empirical Risk Minimization
CMU(卡内基梅隆大学);Facebook AI(脸书人工智能研究院)
经验风险最小化(ERM)通常被设计为在平均损失上表现良好,这可能导致估计量对离群值敏感,概括性差,或不公平地对待子组。虽然许多方法旨在单独解决这些问题,但在这项工作中,我们通过一个统一的框架-倾斜的经验风险最小化(TERM)来探索它们。特别是,我们表明,它是可以灵活地调整个人损失的影响,通过一个简单的扩展到ERM使用一个超参数称为倾斜。我们提供了几种解释所得到的框架:我们表明,TERM可以增加或减少离群值的影响,分别使公平性或鲁棒性;具有方差减少属性,可以有利于推广;可以被视为一个光滑的近似superquantile方法。我们开发了批量和随机一阶优化方法解决TERM,并表明,相对于常见的替代品,该问题可以有效地解决。最后,我们证明了$TERM可以用于多种应用,例如子组之间的公平性,减轻离群值的影响,以及处理类不平衡。$TERM不仅与针对这些个别问题量身定制的现有解决方案相比具有竞争力,而且还可以实现全新的应用,例如同时解决离群值和促进公平。
2021-03-17 cs.IT cs.LG math.IT
High Dimensional Classification through $\ell_0$-Penalized Empirical Risk Minimization
我们考虑了一个高维的二进制分类问题,并构建了一个分类过程,通过最大限度地减少经验误分类的风险与惩罚的数量上选择的功能。我们推导出非渐近概率界的估计稀疏性以及过度的误分类风险。特别是,我们表明,我们的方法产生一个稀疏的解决方案,其l0-范数可以任意接近真正的稀疏性与高概率,并获得超额误分类风险的收敛速度。所提出的程序是通过混合整数线性规划的方法来实现的。它的数值性能说明在蒙特卡罗实验。
2018-11-23 econ.EM stat.ME stat.ML
Optimal Excess Risk Bounds for Empirical Risk Minimization on $p$-Norm Linear Regression
本文研究 $p$-范数线性回归中经验风险最小化的样本复杂度与超额风险,证明可实现情形下 $O(d)$ 样本可精确恢复目标,并给出与渐近速率匹配的高概率最优界。
2024-06-17 math.ST stat.ML stat.TH
Private Non-smooth Empirical Risk Minimization and Stochastic Convex Optimization in Subquadratic Steps
Microsoft Research (MSR) Redmond(微软研究院(雷德蒙德));University of Washington(华盛顿大学);Shanghai Qi Zhi Institute(上海期智研究院)
研究了非光滑凸函数的微分私人经验风险最小化和随机凸优化问题。在次二次梯度复杂度下,得到了超额经验风险和超额人口损失的(近)最优界。更确切地说,我们的差分私有算法需要$O(\frac{N^{3/2}}{d^{1/8}}+ \frac{N^2}{d})$梯度查询以获得最佳超额经验风险,这是在子采样和通过卷积平滑函数的帮助下实现的。这是当$d$是超常数时非光滑情况下的第一次二次算法。作为一个直接的应用,使用Feldman等人的迭代局部化方法\cite{fkt20},我们实现了随机凸优化问题的最优超额人口损失,与$O(\min\{N^{5/4}d^{1/8},\frac{ N^{3/2}}{d^{1/8}}\})$梯度查询。我们的工作取得了进展,解决了Basily等人提出的一个问题。\cite{bfgt20},给第一个算法的私人ERM和SCO的次二次步骤。我们注意到,独立的Asi等人。\cite{afkt21}给出了其他算法的私人ERM和SCO次二次步骤。
2021-03-30 cs.CR cs.DS cs.LG
Stochastic Primal-Dual Coordinate Method for Regularized Empirical Risk Minimization
我们考虑一个一般的凸优化问题与正则化的经验风险最小化的线性预测。问题结构允许我们将其重新表述为一个凹凸鞍点问题。我们提出了一种随机原始-对偶坐标(SPDC)方法,该方法在随机选择的对偶变量上最大化和原始变量上最小化之间交替。对原始变量执行外推步骤以获得加速的收敛速度。我们还开发了一个小批量版本的SPDC方法,便于并行计算,并与加权采样概率的对偶变量,这具有更好的复杂性比均匀采样非归一化数据的扩展。无论是理论上还是经验上,我们都证明了SPDC方法比几种最先进的最优化方法具有相当或更好的性能。
2015-09-09 math.OC stat.ML
Empirical risk minimization for heavy-tailed losses
本文的目的是讨论当损失不一定有界且可能具有厚尾分布时的经验风险最小化。在这种情况下,通常的经验平均值可能无法提供可靠的估计,而经验风险最小化可能会提供大量的超额风险。然而,在文献中提出的一些鲁棒均值估计可以用来代替经验均值。在本文中,我们研究经验风险最小化的基础上提出的稳健估计Catoni。我们开发的性能界限的基础上定制的Catoni的均值估计的链接参数。
2015-11-17 stat.ME
On Empirical Risk Minimization with Dependent and Heavy-Tailed Data
在这项工作中,我们建立的经验风险最小化(ERM)与依赖和重尾数据生成过程的风险界限。我们这样做是通过扩展的开创性的工作Mendelson [Men15,Men18]的分析ERM重尾,但独立和同分布的意见,严格平稳指数$β$混合的情况下。我们的分析是基于显式控制的乘法器的过程中所产生的噪声和输入上的功能评估之间的相互作用。它允许交互甚至是多项式重尾的,这涵盖了学习理论文献中分析的大量重尾模型。我们说明了我们的结果,推导出收敛速度的高维线性回归问题的依赖和重尾数据。
2021-09-10 math.ST stat.ML stat.TH
Optimal Empirical Risk Minimization under Temporal Distribution Shifts
本文提出 RIDER 方法,在随机分布漂移模型下推导最优加权经验风险最小化,统一了多种常见加权方案,并在 Yearbook、股市波动率和出租车行程时长预测等任务中验证了其优于标准加权策略的样本外预测性能。
2025-07-17 cs.LG stat.ME
Empirical risk minimization and complexity of dynamical models
动力学模型由紧致状态空间$\mathcal{X}$的连续自映射$T: \mathcal{X} \to \mathcal{X}$和连续观测函数$f: \mathcal{X} \to \mathbb{R}$组成。本文考虑了用经验风险最小化方法拟合一个参数化的动力学模型族到一个实值随机过程。最小风险参数的极限行为进行了研究,在一般设置。建立了最小风险估计和遍历观测的一般收敛定理。然后,我们研究的条件下,经验风险最小化可以有效地分离的信号从噪声中的加性观测噪声模型。后者结果的关键必要条件是动力学模型族具有有限的复杂性,这通过无穷序列族的熵的概念来量化。建立了平稳过程的熵和极限平均宽度之间的密切联系。
2018-01-23 math.DS math.ST stat.TH
A Mosco sufficient condition for intrinsic stability of non-unique convex Empirical Risk Minimization
Hassan 1st University of Settat(哈桑第一大学)
本文提出一个Mosco充分条件,用于保证非唯一凸经验风险最小化问题的内在稳定性,并通过二次增长特性获得显式偏差界。
2026-01-25 cs.LG math.FA math.OC
Performance of Empirical Risk Minimization for Linear Regression with Dependent Data
本文推广了经验风险最小化在依赖且重尾数据线性回归中的性能界,证明其达到最优性能(至多对数因子),涵盖同分布与异分布情况。
2023-05-29 econ.EM stat.ME
A new analytical approach to consistency and overfitting in regularized empirical risk minimization
这项工作考虑的问题,二元分类:给定的训练数据$x_1, \dots, x_n$从一定的人口,连同相关的标签$y_1,\dots, y_n \in \left\{0,1 \right\}$,确定最好的标签为元素$x$不属于训练数据。更具体地说,这项工作考虑了一个变量的正则化的经验风险功能,这是固有的观测数据定义,并不依赖于底层人口。现代分析的工具被用来获得一个简洁的证明渐近一致性的正则化参数取零率相关的样本的大小。这些分析工具为理解过拟合和欠拟合提供了一个新的框架,并将过拟合的概念与紧性损失严格联系起来。
2016-07-01 math.ST stat.ML stat.TH
Risk minimization by median-of-means tournaments
我们考虑经典的统计学习/回归问题,当一个真实的随机变量Y的值要根据另一个随机变量X的观测值来预测时。给定一个函数类F和一个(X,Y)的独立副本样本,需要从F中选择一个函数f,使得f(X)在均方意义上尽可能地逼近Y。我们引入了一个新的程序,所谓的平均值的比赛,实现最小的假设下的准确性和信心之间的最佳权衡,特别是优于基于经验风险最小化的经典方法。
2016-08-02 math.ST stat.TH
Empirical Risk Minimization with Relative Entropy Regularization: Optimality and Sensitivity Analysis
INRIA(法国国家信息与自动化研究所);Université de la Polynésie Française(法属波利尼西亚大学);University of Sheffield(谢菲尔德大学);National Chao Tung University(国立交通大学);Princeton University(普林斯顿大学)
研究了相对熵正则化的经验风险最小化问题(ERM-RER)的最优性和灵敏度,其中参考测度是σ-有限测度而不是概率测度.这种泛化允许在模型集合上结合先验知识时具有更大程度的灵活性。在这种情况下,正则化参数,参考措施,风险函数,和ERM-RER问题的解决方案引起的经验风险的相互作用的特点。这个特征产生了正则化参数存在的必要和充分条件,该正则化参数以任意高的概率实现任意小的经验风险。研究了ERM-RER问题的期望经验风险对偏离解的敏感性。然后,敏感性被用来提供预期的经验风险的上限和下限。此外,它示出的期望的灵敏度是上界,直到一个常数因子,由模型和数据集之间的lautum信息的平方根。
2022-11-12 cs.IT cs.LG math.IT
Statistical Analysis of Stationary Solutions of Coupled Nonconvex Nonsmooth Empirical Risk Minimization
George Washington University(乔治华盛顿大学);University of Southern California(南加州大学);University of North Carolina, Chapel Hill(北卡罗来纳大学教堂山分校)
本文有两个主要目标:(a)建立了一类耦合非凸非光滑经验风险最小化问题的定态解和定态值的几个统计性质-一致性、渐近分布和收敛速度,(b)通过一个基于噪声幅度的相位恢复问题验证了这些性质,后者是一个非常热门的问题。这些经验风险最小化问题是涉及随机泛函的期望值的最小化的总体风险模型的计算主力。当这些最小化问题是非凸的,其全局最优解的计算是难以捉摸的。再加上不能对一般概率分布计算期望算子的事实,就有必要证明经验问题的定态解是否是人口问题定态解的实际近似。当这两个功能,一般分布和非凸性,再加上不可微性,往往使问题“非克拉克经常”,任务的理由变得具有挑战性。我们的工作旨在在无算法的环境中解决这样的挑战。因此,所得到的分析是不同的,在最近的文献中,是基于本地搜索算法的分析。此外,补充经典的极小化中心的分析,我们的研究结果提供了第一步,以关闭之间的差距耦合非凸非光滑统计估计问题的计算优化和渐近分析,扩大前者与统计特性的实际获得的解决方案,并提供后者与一个更实际的重点有关的计算易处理性。
2019-10-06 cs.LG math.OC math.ST
Sharper lower bounds on the performance of the empirical risk minimization algorithm
我们提出了一个基于多维和一致中心极限定理的论点,证明了在目标函数$T$和学习类$F$之间的一些几何假设下,经验风险最小化算法的超额风险由\[\frac{\mathbb{E}\sup_{q\in Q}G_q}{\sqrt{n}}δ,\]下界,其中$(G_q)_{q\in Q}$是与$Q$相关的规范高斯过程($F$的良好选择的子集),并且$δ$是控制经验超额风险函数在$F$中的小球上的振荡的参数。
2011-02-24 math.ST stat.TH
Suboptimality of Penalized Empirical Risk Minimization in Classification
令$\cF$是具有$[-1,1]$中的值的$M$分类过程的集合。给定一个损失函数,我们要构造一个过程,它以尽可能好的速率模仿$\cF$中的最佳过程。这个最快的速率称为最优聚合速率。考虑连续规模的损失函数与各种类型的凸性,我们证明了最佳的聚合率可以是$((\log M)/n)^{1/2}$或$(\log M)/n$。我们证明,如果所有的$M$分类器是二进制的(惩罚)经验风险最小化程序是次优的(即使在利润率/低噪声条件下)时,损失函数是有点超过凸,而在这种情况下,指数权重的聚合程序达到最佳的聚合率。
2007-03-27 math.ST q-fin.RM stat.TH
Bandwidth selection in kernel empirical risk minimization via the gradient
在本文中,我们处理的数据驱动的选择多维和可能各向异性的带宽的内核经验风险最小化的一般框架。我们提出了一个通用的选择规则,这导致了最佳的自适应结果在各种各样的统计模型,如非参数稳健回归和统计学习的变量中的错误。这些结果的背景下,光滑的损失函数,风险的梯度出现作为一个很好的标准来衡量我们的估计性能。选择规则包括梯度经验风险的比较。它可以被看作是一个非平凡的改进所谓的Goldenshluger-Lepski方法的非线性估计。此外,我们的选择规则的一个主要优点是不依赖于黑塞矩阵的风险,通常涉及在标准的自适应程序。
2015-08-18 math.ST stat.TH
On concentration for (regularized) empirical risk minimization
经验风险最小化的收敛速度在文献中已经得到了很好的研究。在本文中,我们的目标是提供一个补集的结果,特别是通过显示,归一化后,风险的经验最小集中在一个点。正态序列模型中约束估计的~ \cite{chatterjee2014new}已经建立了这样的结果。首先,我们推广和锐化这一结果,正则化最小二乘凸处罚,利用一个“直接”参数的基础上博雷尔定理。然后,我们研究推广到其他损失函数,包括负对数似然指数家庭结合严格凸正则化惩罚。在这个一般设置的结果是基于更多的“间接”的参数,以及浓度的最大值的经验过程的不平等。
2016-01-11 math.ST stat.TH
Fast rates for empirical risk minimization over càdlàg functions with bounded sectional variation norm
对于某些版本的变差范数有界的类函数的经验风险最小化有着悠久的历史,从全变差去噪开始(Rudin等人,1992),并已被认为是最近的几篇文章,特别是方等人,2019和van der Laan,2015。本文考虑了环$[0,1]^d$上具有有界分段变差范数(也称为Hardy-Krause变差)的càdlàg函数类$\mathcal{F}_d$上的经验风险最小化问题.我们展示了如何在$\mathcal{F}_d$中的函数的某种表示允许约束$\mathcal{F}_d$的筛的括号熵,因此得出非参数函数估计的收敛速度。具体地说,对于筛子的增长是由一些速率$a_n$控制,我们证明了经验风险最小化有收敛速率$O_P(n^{-1/3} (\log n)^{2(d-1)/3} a_n)$。值得注意的是,维数仅通过对数因子影响$n$中的速率,这使得该方法特别适用于高维问题。特别是,我们表明,在非参数回归的情况下,在筛的càdlàg功能与有界的部分变差范数,这个上界的收敛速率保持最小二乘估计,随机设计,次指数误差设置。
2019-08-23 math.ST stat.TH
On optimality of empirical risk minimization in linear aggregation
在本文的第一部分中,我们证明了Mendelson(2015)最近引入的小球条件对于重要的局部化函数类(例如小波、分段多项式或三角多项式)可能表现不佳,特别是导致ERM线性聚集问题的收敛速率的次优估计。在第二部分中,我们恢复的最佳收敛率的超额风险的ERM时,字典是由三角函数。考虑到有界的情况下,我们得到了一个单一的点,这是一个信息远比收敛速率更精确的过度风险的集中。在L2噪声的一般设置中,我们最终通过正确选择我们正在寻找的方向来改进小球参数,以这种方式,我们获得了傅立叶字典的最佳聚合速率。
2016-10-18 math.ST stat.TH
Empirical risk minimization is optimal for the convex aggregation problem
设$F$是基数$M$的有限模型,用$\operatorname {conv}(F)$表示其凸壳.凸聚集问题是构造一个风险尽可能接近$\operatorname {conv}(F)$上最小风险的过程。考虑关于由$R(\cdot)$表示的平方风险的有界回归模型。如果${\widehat{f}}_n^{\mathit{ERM-C}}$表示在$\operatorname {conv}(F)$上的经验风险最小化过程,则我们证明对于任何概率大于$1-4\exp(-x)$的$x>0$,其中,\[R({\widehat{f}}_n^{\mathit{ERM-C}})\leq\min_{f\in \operatorname {conv}(F)}R(f)+c_0\max \biggl(ψ_n^{(C)}(M),\frac{x}{n}\biggr),\]是绝对常数,$ψ_n^{(C)}(M)$是在(在计算学习理论和内核机器(COLT-2003)(2003)303-313 Springer)由$ψ_n^{(C)}(M)=M/n$当$M\leq \sqrt{n}$和$ψ_n^{(C)}(M)=\sqrt{\log (\mathrm{e}M/\sqrt{n})/n}$当$M>\sqrt{n}$。
2013-12-16 math.ST stat.TH
Empirical risk minimization in inverse problems: Extended technical version
研究了当观测值可从函数$Af$得到时,多元函数$f:{\bf R}^d \to {\bf R}$的估计问题,其中$A$是一个已知的线性算子.研究了高斯白噪声模型和密度估计。我们定义了一个$L_2$经验风险泛函,它被用来定义一个$δ$ -net极小化器和一个稠密的经验风险极小化器。给出了估计量的积分均方误差的上界。上界显示了估计的难度如何通过算子逆的伴随的范数依赖于算子,以及通过类的熵依赖于底层函数类。相应的下界也来自。作为例子,我们考虑卷积算子和Radon变换。在这些例子中,估计量达到了最佳的收敛速度。此外,对可加模型中的反问题给出了一个新的预言不等式。
2009-04-20 math.ST stat.TH
Smoothed Low Rank and Sparse Matrix Recovery by Iteratively Reweighted Least Squares Minimization
National University of Singapore(新加坡国立大学);Peking University(北京大学)
这项工作提出了一个通用的框架,用于解决低秩和/或稀疏矩阵最小化问题,这可能涉及多个非光滑项。迭代加权最小二乘法(IRLS)是一种快速求解器,它通过交替更新变量及其权重来平滑目标函数并使其最小化。然而,传统的IRLS只能解决稀疏或低秩的平方损失或仿射约束的最小化问题。这项工作推广IRLS解决联合/混合低秩和稀疏最小化问题,这是许多任务的基本配方。作为一个具体的例子,我们用IRLS求解了$p$范数和$\ell_{2,q}$ -范数正则化的低秩表示(LRR)问题,并从理论上证明了所导出的解是一个稳定点(如果$p,q\geq1$是全局最优的).我们的IRLS的收敛性证明比以前的证明更一般,它依赖于$p$范数和$\ell_{2,q}$ -范数的特殊性质.在合成数据集和真实数据集上的大量实验表明,我们的IRLS更有效。
2014-12-06 cs.CV cs.LG stat.ML
Robust descent using smoothed multiplicative noise
Osaka University(大阪大学)
为了改善经典过程的离样本泛化,最大限度地减少潜在重尾数据下的经验风险,近年来提出了新的鲁棒学习算法,其中广义均值策略尤为突出。这些程序在弱矩假设下的潜在损失上享有尖锐的风险界限形式的性能保证,但通常遭受大量的计算开销和大量的偏差时,数据恰好是次高斯,限制了它们的效用。在这项工作中,我们提出了一种新的鲁棒梯度下降过程,它利用平滑乘性噪声直接应用于观察之前,构建一个软截断梯度坐标的总和。我们表明,该程序具有竞争力的理论保证,与一个简单的实现,不需要一个迭代子例程的鲁棒性的主要优势。实证检验加强了理论,更有效的泛化在更广泛的数据分布类。
2018-10-15 cs.LG stat.ML