Chaining Bounds for Empirical Risk Minimization
University of Alberta(阿尔伯塔大学);Imperial College London(帝国理工学院)
本文推广了标准链技术,证明了在随机设计条件下,即使噪声和估计值的大小是无界的,经验风险最小化的超额风险上界也是存在的。该界适用于许多损失函数,除了平方损失,和尺度仅与亚高斯或亚指数参数没有进一步的统计假设,如有界峰度条件的假设类。一个详细的分析提供了斜率约束和惩罚线性最小二乘回归与亚高斯设置,这往往证明了严格的样本复杂性界对数因子。
2016-09-07 cs.LG stat.ML
Empirical Risk Minimization for Losses without Variance
Fudan University(复旦大学);Baidu Research(百度研究院);Cornell University(康奈尔大学)
本文研究重尾数据(仅有 $p$ 阶矩,$p \in (1,2)$)下的实证风险最小化问题,提出利用 Catoni 方法稳健估计风险值并以此选择优化器,通过广义通用链式方法建立超额风险上界,实验证明其优于基于截断数据的基线方法。
2023-09-07 cs.LG stat.ML
Classification from Pairwise Similarities/Dissimilarities and Unlabeled Data via Empirical Risk Minimization
The University of Tokyo(东京大学);RIKEN(理化学研究所)
数据点之间的成对相似性和不相似性可能比现实世界分类问题中的完全标记数据更容易获得,例如,在隐私意识的情况下。为了处理这样的成对信息,已经提出了一种经验风险最小化方法,给出了分类风险的无偏估计,该估计只能从成对相似性和未标记数据中计算。然而,这个方向到目前为止还不能处理成对的相异。半监督聚类是一种既能利用相似性又能利用相异性的聚类方法。然而,它们通常需要对数据分布进行强几何假设,例如流形假设,这可能会降低性能。在本文中,我们得到了一个无偏的风险估计,它可以处理所有的相似性/相异性和未标记的数据。我们从理论上建立估计误差的界限和实验证明我们的经验风险最小化方法的实用性。
2019-04-26 cs.LG stat.ML
Empirical Risk Minimization for Time Series: Nonparametric Performance Bounds for Prediction
Universitat Pompeu Fabra(庞培法布拉大学);Barcelona Graduate School of Economics(巴塞罗那经济学院)
经验风险最小化是学习理论中选择算法的标准原则。本文研究了时间序列经验风险最小化的性质。进行分析的一般框架,涵盖不同类型的预测应用中遇到的文献。我们关注的是由参数驱动过程产生的单变量时间序列的1步预测。针对时间序列的预测问题,提出了一类递归算法。算法是递归的,在这个意义上说,在一个给定的时期内产生的预测是预测的滞后值和时间序列的函数。时间序列的生成机制和算法类别之间的关系未指定。我们的主要结果建立了由经验风险最小化选择的算法渐近地实现了在该类算法内可达到的最优预测性能。
2021-08-11 cs.LG stat.ML
Diametrical Risk Minimization: Theory and Computations
Target Corporation(塔吉特公司);Naval Postgraduate School(海军研究生院)
当损失函数具有较大的Lipschitz模和虚假的尖锐极小值时,经验风险最小化(ERM)的理论和经验性能往往会受到影响。我们提出并分析了一个对应的ERM称为直径风险最小化(DRM),它占最坏情况下的经验风险在参数空间的邻里。DRM具有独立于Lipschitz模的凸和非凸问题的推广界,并且可以使用基于随机梯度下降的实用算法来实现。数值结果表明,DRM的能力,找到高质量的解决方案与低泛化误差尖锐的经验风险景观从基准神经网络分类问题与损坏的标签。
2021-07-07 cs.LG math.OC
Group-realizable multi-group learning by minimizing empirical risk
Columbia University(哥伦比亚大学)
本文提出了一种通过最小化经验风险来实现多组学习的方法,该方法在组可实现设置下能提高样本复杂性,并提出了基于不当学习的替代方案。
2026-01-23 cs.LG stat.ML
Empirical Risk Minimization under Fairness Constraints
Istituto Italiano di Tecnologia(意大利理工学院);University of Genova(热那亚大学);University of Waterloo(滑铁卢大学);University College London(伦敦大学学院)
我们解决算法公平性的问题:确保敏感变量不会不公平地影响分类器的结果。我们提出了一种基于经验风险最小化的方法,它将公平性约束纳入学习问题。它鼓励学习分类器的条件风险相对于敏感变量近似恒定。我们得到的风险和公平的界限,支持我们的方法的统计一致性。我们指定我们的方法核方法,并观察到公平性的要求意味着可以很容易地添加到这些方法的正交约束。我们进一步观察到,对于线性模型,约束转化为一个简单的数据预处理步骤。实验表明,该方法是经验有效的,并表现出良好的国家的最先进的方法。
2020-01-31 cs.LG stat.ML
Efficient Stochastic Approximation of Minimax Excess Risk Optimization
Nanjing University(南京大学);Artificial Productivity Inc.(人工智能生产力公司);Xiaohongshu Inc.(小红书科技有限公司)
本文针对极小极大超额风险优化(MERO)提出高效随机逼近方法,利用随机凸优化估计最小风险,解决有偏梯度下的随机凸-凹优化问题,实现近最优收敛并处理样本量不均场景。
2024-05-28 cs.LG math.OC
Muon Converges under Heavy-Tailed Noise: Nonconvex Hölder-Smooth Empirical Risk Minimization
本文研究Muon在重尾噪声下的收敛性,证明其在非凸Hölder光滑经验风险最小化中能收敛到 stationary 点,并优于mini-batch SGD。
2026-03-17 cs.LG math.OC
Adaptive Differentially Private Empirical Risk Minimization
University of Chicago(芝加哥大学);Toyota Technological Institute at Chicago(芝加哥丰田工业大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们提出了一个自适应(随机)梯度扰动方法差分私人经验风险最小化。在每次迭代中,添加到梯度的随机噪声最佳地适应步长;我们将此过程命名为自适应差分私有(ADP)学习。给定相同的隐私预算,我们证明了ADP方法大大提高了效用保证相比,标准的差分私人的方法,其中香草随机噪声被添加。我们的方法对于具有时变学习率的基于梯度的算法特别有用,包括AdaGrad的变体(Duchi等人,2011年)。我们提供了大量的数值实验来证明所提出的自适应差分隐私算法的有效性。
2021-10-25 cs.LG eess.IV math.OC
Stochastic Primal-Dual Method for Empirical Risk Minimization with $\mathcal{O}(1)$ Per-Iteration Complexity
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室);University of California, Davis(加州大学戴维斯分校);University of Rochester(罗切斯特大学)
带线性预测的正则化经验风险最小化问题是机器学习中经常出现的问题。在本文中,我们提出了一个新的随机原始-对偶方法来解决这类问题。与现有的方法不同,我们提出的方法在每次迭代中只需要O(1)操作。我们还开发了一个方差减少变量的算法,线性收敛。数值实验表明,我们的方法比现有的,如近端SGD,SVRG和SAGA高维问题的速度。
2018-11-03 cs.LG math.OC
Screening Data Points in Empirical Risk Minimization via Ellipsoidal Regions and Safe Loss Functions
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院);ENS(巴黎高等师范学院);PSL(巴黎文理研究大学)
我们设计了简单的筛选测试,以自动丢弃经验风险最小化的数据样本,而不会失去优化保证。我们推导出损失函数,产生一个稀疏的解决方案的双重目标。我们还展示了如何正则化凸损失,以确保这样一个双重稀疏诱导属性,并提出了一个通用的方法来设计筛选测试的分类或回归的基础上椭圆近似的最佳集。除了产生计算增益外,我们的方法还允许我们将数据集压缩为代表点的子集。
2020-06-12 cs.LG stat.ML
Stochastic Primal-Dual Coordinate Method for Regularized Empirical Risk Minimization
我们考虑一个一般的凸优化问题与正则化的经验风险最小化的线性预测。问题结构允许我们将其重新表述为一个凹凸鞍点问题。我们提出了一种随机原始-对偶坐标(SPDC)方法,该方法在随机选择的对偶变量上最大化和原始变量上最小化之间交替。对原始变量执行外推步骤以获得加速的收敛速度。我们还开发了一个小批量版本的SPDC方法,便于并行计算,并与加权采样概率的对偶变量,这具有更好的复杂性比均匀采样非归一化数据的扩展。无论是理论上还是经验上,我们都证明了SPDC方法比几种最先进的最优化方法具有相当或更好的性能。
2015-09-09 math.OC stat.ML
Weighted Empirical Risk Minimization: Sample Selection Bias Correction based on Importance Sampling
LTCI, Télécom Paris(巴黎电信学院LTCI实验室);IDEMIA(艾德米亚)
当训练观测值$Z'_1,\; \ldots,\; Z'_n$的分布$P'$不同于人们寻求最小化的风险所涉及的分布$P$时,我们考虑统计学习问题(称为检验分布),但仍然定义在与$P$相同的可测量空间上并支配它。在似然比$Φ(z)=dP/dP'(z)$已知的不现实情况下,可以使用与重要性抽样背后的思想相同的思想将经验风险最小化(ERM)方法直接扩展到该特定的迁移学习设置,通过最小化从具有权重$Φ(Z'_i)$的“有偏”训练数据$Z'_i$计算的经验风险泛函的加权版本。虽然在实践中的重要性函数$Φ(z)$一般是未知的,我们表明,在实践中经常遇到的各种情况下,它采取一种简单的形式,可以直接估计从$Z'_i$的和一些辅助信息的统计人口$P$。通过线性化技术,我们证明了当将$Φ(Z'_i)$的估计插入到加权经验风险中时,上述方法的推广能力是保持的。除了这些理论保证,数值结果提供了强有力的实证证据的相关性,在这篇文章中提出的方法。
2020-02-19 cs.LG stat.ML
Mitigating Overfitting in Supervised Classification from Two Unlabeled Datasets: A Consistent Risk Correction Approach
The University of Tokyo(东京大学);RIKEN(理化学研究所)
最近提出的未标记-未标记(UU)分类方法允许我们训练一个二元分类器,只有从两个未标记的数据集与不同的类先验。由于该方法基于经验风险最小化,因此它的工作原理就像是一种监督分类方法,与任何模型和优化器兼容。然而,这种方法有时会遭受严重的过拟合,我们希望在本文中防止。我们在应用原始UU方法时的经验发现是,过度拟合经常与经验风险为负同时发生,这是不合理的。因此,我们建议通过某些修正函数来包装导致负经验风险的项。然后,我们证明了校正后的风险估计的一致性,并得到了校正后的风险最小化的估计误差界。实验表明,我们的建议可以成功地减轻UU方法的过拟合,并显着提高分类精度。
2020-03-31 cs.LG stat.ML
Empirical Risk Minimization and Stochastic Gradient Descent for Relational Data
Columbia University(哥伦比亚大学)
经验风险最小化是预测问题的主要工具,但其扩展到关系数据仍然没有解决。我们解决这个问题,使用最近的想法,从图抽样论(i)定义一个经验风险的关系数据和(ii)获得随机梯度的经验风险是自动无偏的。这是通过考虑从图中采样数据的方法作为模型设计的显式组件来实现的。通过集成快速实现的图形采样方案与标准的自动微分工具,我们提供了一个有效的交钥匙求解器的风险最小化问题。我们建立的过程的基本理论属性。最后,我们展示了关系ERM与应用程序的两个非标准的问题:一个阶段的训练半监督节点分类,学习嵌入向量的顶点属性。实验证实,交钥匙推理过程是有效的,在实践中,用于模型规格的抽样方案有很强的影响模型的性能。代码可在https://github.com/wooden-spoon/relational-ERM上获得。
2019-02-22 cs.LG cs.SI stat.ML
STORM: Foundations of End-to-End Empirical Risk Minimization on the Edge
Rice University(莱斯大学)
经验风险最小化可能是统计学习中最有影响力的思想,以回归和分类模型的形式应用于几乎所有的科学和技术领域。为了分析分布式计算环境中的海量流数据集,从业者越来越倾向于在边缘而不是云中部署回归模型。通过将数据保存在边缘设备上,我们可以最大限度地降低与模型相关的能源、通信和数据安全风险。虽然在边缘训练模型同样有利,但通常的假设是模型最初是在云中训练的,因为训练通常需要大量的计算和内存。为此,我们提出了STORM,一个经验风险最小化的在线草图。STORM将数据流压缩到一个小的整数计数器数组中。这个草图足以估计原始数据集上的各种替代损失。我们提供了严格的理论分析,并表明,风暴可以估计一个精心选择的替代损失的最小二乘目标。在对真实数据集上的线性回归模型进行详尽的实验比较中,我们发现STORM允许训练准确的回归模型。
2020-06-25 cs.LG stat.ML
Differentially Private Empirical Risk Minimization Revisited: Faster and More General
State University of New York at Buffalo(纽约州立大学布法罗分校)
在本文中,我们研究了在不同的设置不同的私人经验风险最小化(ERM)问题。对于光滑(强)凸损失函数与或不与(非)光滑正则化,我们给出的算法,实现最佳或接近最佳的效用界,与以前的工作相比,梯度复杂性。对于高维($p\gg n$)环境下具有光滑凸损失函数的ERM,我们给出了一个算法,该算法比以前的算法以更小的梯度复杂度达到上界。最后,将期望超额经验风险从凸损失函数推广到满足Polyak-Lojasiewicz条件的非凸损失函数,并给出了比\cite{ijcai2017-548}更严格的效用上界.
2018-02-14 cs.CR cs.LG stat.ML
Exact Instance Compression for Convex Empirical Risk Minimization via Color Refinement
Program for Research in Mathematics, Engineering, and Science (PRIMES-USA)(数学、工程与科学研究计划(PRIMES-USA));Massachusetts Institute of Technology(麻省理工学院)
本文提出了一种基于颜色细化的无损压缩框架,用于高效解决凸经验风险最小化问题,适用于多种可微凸优化模型。
2026-01-31 cs.LG math.OC
Generalization and Robustness of the Tilted Empirical Risk
The Alan Turing Institute(阿兰·图灵研究所);University of Cambridge(剑桥大学);University of Chicago(芝加哥大学);Google DeepMind(谷歌DeepMind);University of Oxford(牛津大学)
本文研究负倾斜下倾斜经验风险TER的泛化与鲁棒性,给出无界损失且仅有界(1+ε)阶矩时的泛化界及异常值和分布偏移保证,并通过实验验证。
2025-06-07 cs.IT cs.LG math.IT
A Wasserstein distance approach for concentration of empirical risk estimates
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);Tata Consultancy Services Limited(塔塔咨询服务有限公司)
本文提出了一种统一的方法,基于Wasserstein距离来获得集中的经验估计的两大类风险措施的文件中定义的界限。引入的风险措施的类包括作为特殊情况下,众所周知的风险措施,从金融文献,如条件风险价值(CVaR),优化确定性等效风险,频谱风险措施,基于效用的短缺风险,累积前景理论(CPT)值,排名依赖预期效用和扭曲的风险措施。两个估计方案被认为是,一类风险措施。一种估计方案涉及将风险度量应用于由i.i.d.的集合形成的经验分布函数。随机变量(r.v.)的样本,而第二方案涉及将相同的过程应用于截尾样本。所提供的界限适用于三种流行的分布类型,即亚高斯分布、亚指数分布和重尾分布。的界限是由第一个相关的估计误差的真实和经验的分布之间的Wasserstein距离,然后使用最近的浓度范围为后者。以前的集中度界限仅适用于特定的风险度量,如CVaR和CPT值。在本文中推导出的界限,以匹配或改进以前的界限的情况下,他们是可用的。通过一个算法和相应的遗憾界的随机强盗问题,涉及一般的风险措施,从每一个文件中介绍的两个类的界限的有用性。
2022-05-10 cs.LG math.ST stat.ML
A Unified Empirical Risk Minimization Framework for Flexible N-Tuples Weak Supervision
Engineering Research Center of the Ministry of Education for Intelligent Control System and Intelligent Equipment, Yanshan University, Qinhuangdao, China(智能控制与智能设备工程研究中心,燕山大学,秦皇岛,中国)
本文提出一个基于经验风险最小化的统一N元组弱监督学习框架,整合点式无标注数据,推导无偏风险估计器与泛化误差界,并在四个场景中验证其有效性和泛化提升。
2025-09-26 cs.LG stat.ML
Empirical risk minimization is consistent with the mean absolute percentage error
在本文中,我们研究了使用平均绝对百分比误差(MAPE)作为回归模型质量度量的后果。我们证明了在MAPE下找到最佳模型等价于进行加权平均绝对误差(MAE)回归。我们还表明,在某些假设下,普遍一致的经验风险最小化仍然可能使用MAPE。
2015-09-08 stat.ML
Empirical Risk Minimization with $f$-Divergence Regularization
University of Sheffield(谢菲尔德大学);Princeton University(普林斯顿大学);INRIA(法国国家信息与自动化研究所);University of French Polynesia(法属波利尼西亚大学)
本文提出了一种基于f-分歧正则化的经验风险最小化方法,通过引入归一化函数和非线性微分方程,构建了数值算法并展示了不同f函数的选择对模型性能的影响。
2026-01-19 cs.LG stat.ML
Towards Sharper Risk Bounds for Minimax Problems
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Beijing Key Laboratory of Big Data Management and Analysis Methods(北京市大数据管理与分析方法重点实验室)
本文研究极小极大问题的泛化界,通过均匀局部收敛获得了非凸-强凹设定下更尖锐的高概率泛化误差界,并基于此推导出比现有结果快 n 倍的超额原风险界。
2024-10-11 cs.LG stat.ML
Differentially Private Empirical Risk Minimization with Sparsity-Inducing Norms
Imperial College London(帝国理工学院)
差分隐私关注的是预测质量,同时衡量隐私对个人的信息包含在数据中的影响。我们考虑差分私人风险最小化问题的正则化诱导结构稀疏。已知这些正则化子是凸的,但它们通常是不可微的。分析了标准的差分隐私算法,如输出扰动、Frank-Wolfe和目标扰动。输出扰动是一种差分私有算法,已知其在最小化强凸风险方面表现良好。以前的作品已经推导出的额外的风险界限是独立的维度。在本文中,我们假设了一类特殊的凸但非光滑的正则化,诱导结构稀疏性和损失函数的广义线性模型。我们还考虑差分私人Frank-Wolfe算法来优化风险最小化问题的对偶。我们推导出这两种算法的超额风险界限。这两个界都依赖于对偶范数的单位球的高斯宽度。我们还证明了风险最小化问题的目标扰动等价于对偶优化问题的输出扰动。这是第一个工作,分析了双重优化问题的风险最小化问题的背景下,差分隐私。
2019-05-13 cs.LG stat.ML
High Dimensional Classification via Regularized and Unregularized Empirical Risk Minimization: Precise Error and Optimal Loss
本文通过理论分析,深入研究了当考虑高维数据时,经验风险最小化框架在岭正则化和非正则化两种情况下的分类性能。专注于分离两类高斯混合的基本问题,建议的分析允许一组足够大的维度$p$的众多数据向量$\mathbf{x} \in \mathbb R^p$的分类误差的精确预测。这个精确的误差取决于损失函数、训练样本的数量以及混合数据模型的统计数据。研究表明,在数据统计的某些额外非稀疏条件下,它仍然超出高斯分布。在此定量误差分析的基础上,我们将简单平方损失确定为脊正则化和非正则化情况下高维分类的最佳选择,无论训练样本的数量如何。
2020-11-25 cs.LG stat.ML
Empirical risk minimization algorithm for multiclass classification of S.D.E. paths
Université Paris 1 Panthéon-Sorbonne(巴黎第一大学先贤祠-索邦大学);Université Paris-Saclay(巴黎萨克雷大学);AgroParisTech(巴黎高科农业学院);INRAE(法国国家农业、食品与环境研究院)
针对漂移不同、扩散系数共同的随机扩散路径多分类问题,提出基于 L2 经验风险最小化的算法,证明其收敛速率及间隔假设下的快速速率,并通过模拟验证数值性能。
2025-03-18 cs.LG stat.ML
Fast Rates for Empirical Risk Minimization of Strict Saddle Problems
The Hebrew University(希伯来大学)
我们得出的经验风险最小化(ERM)的背景下,最小化非凸风险,承认严格的鞍性质的样本复杂性的界限。非凸优化的最新进展已经产生了有效的算法来最小化这样的功能。我们的研究结果表明,这些有效的算法是统计稳定的,也推广得很好。特别是,我们得到快速的利率类似的界限,往往达到强凸设置。我们指定了主成分分析和独立成分分析的界限。我们的结果和技术可能铺平道路的统计分析额外的严格鞍问题。
2017-06-04 cs.LG
Semi-Supervised Ordinal Regression Based on Empirical Risk Minimization
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所先进智能项目中心);Kyoto University(京都大学)
有序回归的目的是预测有序类标签。在本文中,我们考虑它的半监督制定,其中我们有未标记的数据以及有序标记的数据训练有序回归。有几个度量来评估有序回归的性能,例如平均绝对误差,平均零一误差和均方误差。然而,现有的研究没有考虑评价指标,对模型的选择有限制,没有理论保证。为了克服这些问题,我们提出了一种新的通用框架,半监督有序回归的基础上的经验风险最小化原则,适用于优化上述所有指标。此外,我们的框架具有灵活的模型,代理损失和优化算法的选择,而无需对未标记数据进行常见的几何假设,如聚类假设或流形假设。我们进一步提供了一个估计误差界,以表明我们的风险估计是一致的。最后,我们进行实验,以显示我们的框架的实用性。
2021-06-10 cs.LG stat.ML
MRCpy: A Library for Minimax Risk Classifiers
Basque Center for Applied Mathematics(巴斯克应用数学中心);IKERBASQUE-Foundation for Science(伊克尔巴斯克科学基金会)
本文提出Python库MRCpy,实现了基于鲁棒风险最小化方法的minimax risk classifiers,提供性能保证、高维高效学习及分布偏移适应能力,并实现与scikit-learn等库的无缝集成。
2024-05-29 cs.LG stat.ML
Neutralized Empirical Risk Minimization with Generalization Neutrality Bound
目前,机器学习在许多人的生活和个人活动中发挥着重要作用。因此,有必要设计机器学习算法,以确保通过机器学习做出的决策或预测不会导致歧视、偏见或不公平待遇。在这项工作中,我们引入了一种新的经验风险最小化(ERM)框架的监督学习,中立的ERM(NERM),确保任何分类器获得可以保证是中立的观点假设。更具体地说,给定一个观点假设,NERM的工作是找到一个目标假设,最大限度地减少经验风险,同时确定一个目标假设是中立的观点假设。在NERM框架内,我们得出了一个理论界的经验和泛化中性风险。此外,作为线性分类的NERM的实现,我们推导出一个最大间隔算法,中性支持向量机(SVM)。实验结果表明,我们的中性SVM在真实数据集上显示出更好的分类性能,而不牺牲中立性保证。
2015-11-06 stat.ML
Optimal Excess Risk Bounds for Empirical Risk Minimization on $p$-Norm Linear Regression
本文研究 $p$-范数线性回归中经验风险最小化的样本复杂度与超额风险,证明可实现情形下 $O(d)$ 样本可精确恢复目标,并给出与渐近速率匹配的高概率最优界。
2024-06-17 math.ST stat.ML stat.TH
A Dual Optimization View to Empirical Risk Minimization with f-Divergence Regularization
Electronic Engineering, University of Sheffield, Sheffield, U.K.;2 INRIA, Centre Inria d'Universit\'e C\ ote d'Azur, Sophia Antipolis, France.;3 ECE Dept., Princeton University, Princeton, 08544 NJ, USA.
本文提出ERM-fDR的对偶形式,利用Legendre-Fenchel变换和隐函数定理推导归一化函数的非线性ODE,并给出高效计算方法。
2025-08-05 cs.LG stat.ML
High Dimensional Classification through $\ell_0$-Penalized Empirical Risk Minimization
我们考虑了一个高维的二进制分类问题,并构建了一个分类过程,通过最大限度地减少经验误分类的风险与惩罚的数量上选择的功能。我们推导出非渐近概率界的估计稀疏性以及过度的误分类风险。特别是,我们表明,我们的方法产生一个稀疏的解决方案,其l0-范数可以任意接近真正的稀疏性与高概率,并获得超额误分类风险的收敛速度。所提出的程序是通过混合整数线性规划的方法来实现的。它的数值性能说明在蒙特卡罗实验。
2018-11-23 econ.EM stat.ME stat.ML
Un-regularizing: approximate proximal point and faster stochastic algorithms for empirical risk minimization
Stanford University(斯坦福大学);Microsoft Research, New England(微软新英格兰研究院);MIT(麻省理工学院)
我们开发了一个家庭的加速随机算法,最小化凸函数的总和。我们的算法提高了最快的运行时间经验风险最小化(ERM),特别是线性最小二乘回归,在广泛的问题设置。为了实现这一点,我们建立了一个框架的基础上,经典的邻近点算法。也就是说,我们提供了几个算法,减少了一个强凸函数的最小化的函数的正则化的近似最小化。使用这些结果,我们加速最近的快速随机算法在一个黑盒的方式。从经验上讲,我们证明,由此产生的算法表现出的稳定性,在实践中是有利的概念。无论是在理论上还是在实践中,所提供的算法都获得了增加一个大的强凸正则化项的计算优势,而不会对原始问题产生相应的偏差。
2015-06-24 cs.DS cs.LG stat.ML
Schrödinger bridge problem via empirical risk minimization
Duisburg-Essen University(杜伊斯堡-埃森大学);HSE University(俄罗斯高等经济学院)
本文提出通过经验风险最小化求解薛定谔桥问题,改写系统为非线性不动点方程并估计正变换势能,结合随机控制生成样本。
2026-02-09 cs.LG math.PR math.ST
Generalization Performance of Empirical Risk Minimization on Over-parameterized Deep ReLU Nets
University of Sydney(悉尼大学)
在本文中,我们研究了在过参数化深度ReLU网络上实现经验风险最小化(ERM)的全局极小值的泛化性能。使用深度ReLU网络的一种新的深化方案,我们严格证明了在温和的条件下,存在完美的全局最小值,对于许多类型的数据,这些最小值几乎达到了最佳的泛化误差界。由于过度参数化对于确保深度ReLU网络上的ERM全局最小值可以通过广泛使用的随机梯度下降(SGD)算法实现至关重要,因此我们的结果确实填补了优化和泛化之间的空白。
2023-02-28 cs.LG
Empirical risk minimization for heavy-tailed losses
本文的目的是讨论当损失不一定有界且可能具有厚尾分布时的经验风险最小化。在这种情况下,通常的经验平均值可能无法提供可靠的估计,而经验风险最小化可能会提供大量的超额风险。然而,在文献中提出的一些鲁棒均值估计可以用来代替经验均值。在本文中,我们研究经验风险最小化的基础上提出的稳健估计Catoni。我们开发的性能界限的基础上定制的Catoni的均值估计的链接参数。
2015-11-17 stat.ME
Private Non-smooth Empirical Risk Minimization and Stochastic Convex Optimization in Subquadratic Steps
Microsoft Research (MSR) Redmond(微软研究院(雷德蒙德));University of Washington(华盛顿大学);Shanghai Qi Zhi Institute(上海期智研究院)
研究了非光滑凸函数的微分私人经验风险最小化和随机凸优化问题。在次二次梯度复杂度下,得到了超额经验风险和超额人口损失的(近)最优界。更确切地说,我们的差分私有算法需要$O(\frac{N^{3/2}}{d^{1/8}}+ \frac{N^2}{d})$梯度查询以获得最佳超额经验风险,这是在子采样和通过卷积平滑函数的帮助下实现的。这是当$d$是超常数时非光滑情况下的第一次二次算法。作为一个直接的应用,使用Feldman等人的迭代局部化方法\cite{fkt20},我们实现了随机凸优化问题的最优超额人口损失,与$O(\min\{N^{5/4}d^{1/8},\frac{ N^{3/2}}{d^{1/8}}\})$梯度查询。我们的工作取得了进展,解决了Basily等人提出的一个问题。\cite{bfgt20},给第一个算法的私人ERM和SCO的次二次步骤。我们注意到,独立的Asi等人。\cite{afkt21}给出了其他算法的私人ERM和SCO次二次步骤。
2021-03-30 cs.CR cs.DS cs.LG
On the Fine-Grained Complexity of Empirical Risk Minimization: Kernel Methods and Neural Networks
MIT(麻省理工学院)
经验风险最小化(ERM)在机器学习中无处不在,并且是大多数监督学习方法的基础。虽然已经有大量的工作,各种ERM问题的算法,确切的计算复杂性的ERM仍然没有被理解。我们解决这个问题的多个流行的ERM问题,包括内核支持向量机,内核岭回归,并训练神经网络的最后一层。特别是,我们给这些问题的复杂性理论假设的基础上,如强指数时间假设的条件硬度结果。在这些假设下,我们表明,有没有算法,解决上述ERM问题的高精度次二次时间。我们也给出了类似的硬度结果计算梯度的经验损失,这是主要的计算负担,在许多非凸学习任务。
2017-04-10 cs.CC cs.DS cs.LG
Empirical Risk Minimization with Relative Entropy Regularization: Optimality and Sensitivity Analysis
INRIA(法国国家信息与自动化研究所);Université de la Polynésie Française(法属波利尼西亚大学);University of Sheffield(谢菲尔德大学);National Chao Tung University(国立交通大学);Princeton University(普林斯顿大学)
研究了相对熵正则化的经验风险最小化问题(ERM-RER)的最优性和灵敏度,其中参考测度是σ-有限测度而不是概率测度.这种泛化允许在模型集合上结合先验知识时具有更大程度的灵活性。在这种情况下,正则化参数,参考措施,风险函数,和ERM-RER问题的解决方案引起的经验风险的相互作用的特点。这个特征产生了正则化参数存在的必要和充分条件,该正则化参数以任意高的概率实现任意小的经验风险。研究了ERM-RER问题的期望经验风险对偏离解的敏感性。然后,敏感性被用来提供预期的经验风险的上限和下限。此外,它示出的期望的灵敏度是上界,直到一个常数因子,由模型和数据集之间的lautum信息的平方根。
2022-11-12 cs.IT cs.LG math.IT
On the Minimal Error of Empirical Risk Minimization
MIT(麻省理工学院)
我们研究的最小误差的经验风险最小化(ERM)程序的回归任务,无论是在随机和固定的设计设置。我们清晰的下界揭示了适应生成数据的模型的简单性的可能性(或不可能性)。在固定的设计设置,我们表明,错误是由整个类的全局复杂性。相反,在随机设计中,如果回归函数周围的局部邻域几乎和类本身一样复杂,ERM可能只适用于更简单的模型,这是一个有点违反直觉的结论。我们提供了尖锐的下界的ERM为Donsker和非Donsker类的性能。我们还讨论了我们的结果,通过最近的研究超参数化模型的插值镜头。
2021-02-24 cs.LG math.ST stat.ML
Differentially Private Confidence Intervals for Empirical Risk Minimization
The Pennsylvania State University(宾夕法尼亚州立大学);University of Georgia(佐治亚大学)
差分隐私数据采掘的过程中产生的结果受到两种类型的噪声的影响:由于数据汇集和隐私噪声,旨在防止重建的敏感信息采样噪声。在本文中,我们考虑的问题,设计各种不同的私人机器学习模型的参数的置信区间。该算法可以提供置信区间,满足差分隐私(以及最近提出的集中差分隐私),并可以与现有的差分隐私机制,训练模型使用目标扰动和输出扰动。
2018-04-11 cs.CR cs.LG stat.ML
Information-Theoretic Analysis of Minimax Excess Risk
Sharif University of Technology(谢里夫理工大学);University of Pennsylvania(宾夕法尼亚大学)
机器学习理论中研究的两个主要概念是泛化差距(训练和测试误差之间的差异)和过度风险(测试误差和最小可能误差之间的差异)。虽然信息理论工具已被广泛用于研究学习算法的泛化差距,信息理论的性质,超额风险尚未得到充分研究。在本文中,朝着这个目标采取了一些步骤。我们认为极小极大超额风险的频率论问题是算法设计者与世界之间的零和博弈。然后,我们认为,这是可取的,以修改这个游戏的方式,发挥的顺序可以交换。然后,我们证明了,在一定的规则性条件下,如果世界和设计师可以随机播放的对偶差距是零和播放的顺序可以改变。在这种情况下,贝叶斯问题在对偶表示中浮出水面。这使得有可能利用最近的信息理论的结果,在贝叶斯学习的最小超额风险,以提供界限的极大极小超额风险。我们证明了结果的适用性,提供信息理论的见解两类重要的问题:分类时,假设空间具有有限的VC维,正则化最小二乘。
2023-02-28 cs.IT cs.LG math.IT
Accelerated Doubly Stochastic Gradient Algorithm for Large-scale Empirical Risk Minimization
Zhejiang University(浙江大学)
针对大规模经验风险最小化,本文提出融合新型加速多多动量技术的双随机梯度算法,兼顾更优收敛率、小批量采样与坐标块更新,并通过大规模数据集验证其效率。
2023-04-23 cs.LG
A Mosco sufficient condition for intrinsic stability of non-unique convex Empirical Risk Minimization
Hassan 1st University of Settat(哈桑第一大学)
本文提出一个Mosco充分条件,用于保证非唯一凸经验风险最小化问题的内在稳定性,并通过二次增长特性获得显式偏差界。
2026-01-25 cs.LG math.FA math.OC
Existence and Minimax Theorems for Adversarial Surrogate Risks in Binary Classification
Courant Institute New York University(纽约大学Courant学院);Courant Institute and Center for Data Science New York University(纽约大学Courant学院和数据科学中心)
本文针对二分类中的对抗替代风险,证明了其存在性、正则性与极小极大定理,解释了经验观察并提出了算法开发新方向,同时将已知的对抗分类风险定理推广至替代风险。
2023-12-10 cs.LG math.ST stat.TH
A Distribution Optimization Framework for Confidence Bounds of Risk Measures
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
本研究提出一种分布优化框架,通过基于Wasserstein距离或上确界距离的两种估计方案,改进多种风险度量的置信界,得到更紧的结果,并在CVaR老虎机问题中验证了有效性。
2023-06-12 cs.AI cs.LG stat.ML
Empirical Risk Minimization under Random Censorship: Theory and Practice
Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院);BNP Paribas(法国巴黎银行)
我们考虑经典的监督学习问题,其中一个连续的非负随机标签$Y$(即随机持续时间)是预测的基础上观察一个随机向量$X$值在$\mathbb{R}^d$与$d\geq 1$的回归规则与最小最小二乘误差。在各种应用中,从工业质量控制到公共卫生,例如通过信用风险分析,训练观察可以被正确删失,这意味着统计学习依赖于三元组$(X, \; \min\{Y,\; C\},\; δ)$的$n\geq 1$独立实现的集合,而不是$(X,Y)$的独立副本,其中$C$是具有未知分布的非负r. v.,建模审查,并且$δ=\mathbb{I}\{Y\leq C\}$指示持续时间是否被正确审查。由于在风险计算中忽略审查可能会明显导致严重低估目标持续时间并危及预测,因此我们建议考虑基于审查$C$的条件生存函数的Kaplan-Meier估计量(给定$X$,称为Kaplan-Meier风险)对真实风险进行插件估计,以执行经验风险最小化。它是建立,在温和的条件下,这种偏见/加权经验风险功能的极小化的学习率是为了$O_{\mathbb{P}}(\sqrt{\log(n)/n})$时,忽略固有的插件估计模型偏差问题,可以达到在没有审查。除了理论结果,数值实验,以说明相关的方法开发。
2019-06-05 cs.LG math.ST stat.ML
Equivalence of the Empirical Risk Minimization to Regularization on the Family of f-Divergences
INRIA(法国国家信息与自动化研究所);Princeton University(普林斯顿大学)
本文研究带 f-散度正则化的经验风险最小化,在温和条件下给出唯一最优测度,并证明不同 f-散度正则化可通过风险函数变换相互等价。
2024-10-23 cs.IT cs.LG math.IT
Global Guarantees for Enforcing Deep Generative Priors by Empirical Risk
Northeastern University(东北大学)
我们通过经验风险最小化研究了生成式深度神经网络提供的执行先验的理论特性。特别是,我们考虑两个模型,其中一个的任务是反转生成神经网络访问其最后一层,另一个的任务是反转生成神经网络只压缩线性观察其最后一层。我们建立,在这两种情况下,在适当的制度的网络层的大小和网络权重的随机性假设,由经验风险最小化给出的非凸目标函数没有任何虚假的固定点。也就是说,我们建立了高概率,在任何一点远离小邻域周围的两个标量倍的所需的解决方案,有一个下降方向。因此,在这些邻域之外没有局部极小值、鞍点或其他稳定点。这些结果构成了建立这些非凸优化问题的有利全局几何的第一个理论保证,并且它们弥合了实施深度生成先验的经验成功与对非线性逆问题的严格理解之间的差距。
2018-12-26 cs.IT cs.LG math.IT
Performance of Empirical Risk Minimization for Linear Regression with Dependent Data
本文推广了经验风险最小化在依赖且重尾数据线性回归中的性能界,证明其达到最优性能(至多对数因子),涵盖同分布与异分布情况。
2023-05-29 econ.EM stat.ME
On Empirical Risk Minimization with Dependent and Heavy-Tailed Data
在这项工作中,我们建立的经验风险最小化(ERM)与依赖和重尾数据生成过程的风险界限。我们这样做是通过扩展的开创性的工作Mendelson [Men15,Men18]的分析ERM重尾,但独立和同分布的意见,严格平稳指数$β$混合的情况下。我们的分析是基于显式控制的乘法器的过程中所产生的噪声和输入上的功能评估之间的相互作用。它允许交互甚至是多项式重尾的,这涵盖了学习理论文献中分析的大量重尾模型。我们说明了我们的结果,推导出收敛速度的高维线性回归问题的依赖和重尾数据。
2021-09-10 math.ST stat.ML stat.TH