Empirical Risk Minimization for Time Series: Nonparametric Performance Bounds for Prediction
Universitat Pompeu Fabra(庞培法布拉大学);Barcelona Graduate School of Economics(巴塞罗那经济学院)
经验风险最小化是学习理论中选择算法的标准原则。本文研究了时间序列经验风险最小化的性质。进行分析的一般框架,涵盖不同类型的预测应用中遇到的文献。我们关注的是由参数驱动过程产生的单变量时间序列的1步预测。针对时间序列的预测问题,提出了一类递归算法。算法是递归的,在这个意义上说,在一个给定的时期内产生的预测是预测的滞后值和时间序列的函数。时间序列的生成机制和算法类别之间的关系未指定。我们的主要结果建立了由经验风险最小化选择的算法渐近地实现了在该类算法内可达到的最优预测性能。
2021-08-11 cs.LG stat.ML
Excess risk bounds in robust empirical risk minimization
Université Paris-Saclay(巴黎萨克雷大学);Univ. Paris-Sud(巴黎南大学);CNRS(法国国家科学研究中心);Inria Saclay - Ile-de-France(法国国家信息与自动化研究所萨克莱-法兰西岛分院);University of Southern California(南加州大学)
本文研究了现代统计方法的核心技术之一的一般经验风险最小化算法的鲁棒版本。经验风险最小化的成功是基于这样的事实,即对于由一类函数$f\in \mathcal F$索引的“表现良好”的随机过程$\left\{ f(X), \ f\in \mathcal F\right\}$,在i.i.d.的样本$X_1,\ldots,X_N$上评估的平均$\frac{1}{N}\sum_{j=1}^N f(X_j)$。$X$的副本在大类$f\in \mathcal F$上一致地提供了对期望$\mathbb E f(X)$的良好近似。然而,如果过程的边缘分布是重尾的,或者如果样本包含离群值,则这可能不再正确。我们提出了一个版本的经验风险最小化的基础上的想法,取代样本平均值的强大的代理的期望,并获得高置信度的界限所产生的估计的超额风险。特别是,我们表明,稳健估计的超额风险可以收敛到$0$在快速的速度相对于样本大小。我们讨论的主要结果的影响,线性和逻辑斯谛回归的问题,并评估所提出的方法的数值模拟和真实数据的性能。
2019-10-16 cs.LG stat.ML
Classification from Pairwise Similarities/Dissimilarities and Unlabeled Data via Empirical Risk Minimization
The University of Tokyo(东京大学);RIKEN(理化学研究所)
数据点之间的成对相似性和不相似性可能比现实世界分类问题中的完全标记数据更容易获得,例如,在隐私意识的情况下。为了处理这样的成对信息,已经提出了一种经验风险最小化方法,给出了分类风险的无偏估计,该估计只能从成对相似性和未标记数据中计算。然而,这个方向到目前为止还不能处理成对的相异。半监督聚类是一种既能利用相似性又能利用相异性的聚类方法。然而,它们通常需要对数据分布进行强几何假设,例如流形假设,这可能会降低性能。在本文中,我们得到了一个无偏的风险估计,它可以处理所有的相似性/相异性和未标记的数据。我们从理论上建立估计误差的界限和实验证明我们的经验风险最小化方法的实用性。
2019-04-26 cs.LG stat.ML
Adaptive Differentially Private Empirical Risk Minimization
University of Chicago(芝加哥大学);Toyota Technological Institute at Chicago(芝加哥丰田工业大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们提出了一个自适应(随机)梯度扰动方法差分私人经验风险最小化。在每次迭代中,添加到梯度的随机噪声最佳地适应步长;我们将此过程命名为自适应差分私有(ADP)学习。给定相同的隐私预算,我们证明了ADP方法大大提高了效用保证相比,标准的差分私人的方法,其中香草随机噪声被添加。我们的方法对于具有时变学习率的基于梯度的算法特别有用,包括AdaGrad的变体(Duchi等人,2011年)。我们提供了大量的数值实验来证明所提出的自适应差分隐私算法的有效性。
2021-10-25 cs.LG eess.IV math.OC
A Simple Analysis for Exp-concave Empirical Minimization with Arbitrary Convex Regularizer
The University of Iowa(爱荷华大学);Nanjing University(南京大学)
在本文中,我们提出了一个简单的分析{ \bf快速率}与{\bf经验最小化}的{\it高概率}的{\it随机复合优化}在有限维有界凸集上的指数凹损失函数和任意凸正则化。据我们所知,这一结果是同类中的第一个。作为一个副产品,我们可以直接获得具有和不具有任何凸正则化的指数凹经验风险最小化的{ \it high probability}的快速速率,这不仅推广了经验风险最小化的现有结果,而且为分析具有和不具有{ \it any}凸正则化的指数凹经验风险最小化提供了一个统一的框架.我们的证明非常简单,只利用有限维有界集的覆盖数和随机向量的集中不等式。
2017-09-09 cs.LG math.OC stat.ML
Screening Data Points in Empirical Risk Minimization via Ellipsoidal Regions and Safe Loss Functions
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院);ENS(巴黎高等师范学院);PSL(巴黎文理研究大学)
我们设计了简单的筛选测试,以自动丢弃经验风险最小化的数据样本,而不会失去优化保证。我们推导出损失函数,产生一个稀疏的解决方案的双重目标。我们还展示了如何正则化凸损失,以确保这样一个双重稀疏诱导属性,并提出了一个通用的方法来设计筛选测试的分类或回归的基础上椭圆近似的最佳集。除了产生计算增益外,我们的方法还允许我们将数据集压缩为代表点的子集。
2020-06-12 cs.LG stat.ML
Robust Risk Minimization for Statistical Learning
Uppsala University(乌普萨拉大学)
我们考虑一个一般的统计学习问题,其中一个未知的部分的训练数据被损坏。我们开发了一个强大的学习方法,只需要指定一个上限的损坏的数据部分。该方法最小化由具有未知概率权重的非参数分布定义的风险函数。我们推导和分析的最佳权重,并显示它们如何提供对损坏的数据的鲁棒性。此外,我们给出了一个计算效率高的坐标下降算法来解决风险最小化问题。我们展示了广泛的适用性的方法,包括回归,分类,无监督学习和经典的参数估计,与国家的最先进的性能。
2020-02-07 cs.LG eess.SP stat.ML
Empirical Risk Minimization under Fairness Constraints
Istituto Italiano di Tecnologia(意大利理工学院);University of Genova(热那亚大学);University of Waterloo(滑铁卢大学);University College London(伦敦大学学院)
我们解决算法公平性的问题:确保敏感变量不会不公平地影响分类器的结果。我们提出了一种基于经验风险最小化的方法,它将公平性约束纳入学习问题。它鼓励学习分类器的条件风险相对于敏感变量近似恒定。我们得到的风险和公平的界限,支持我们的方法的统计一致性。我们指定我们的方法核方法,并观察到公平性的要求意味着可以很容易地添加到这些方法的正交约束。我们进一步观察到,对于线性模型,约束转化为一个简单的数据预处理步骤。实验表明,该方法是经验有效的,并表现出良好的国家的最先进的方法。
2020-01-31 cs.LG stat.ML
Uniform Stability for First-Order Empirical Risk Minimization
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
我们考虑经验风险最小化的一致稳定的一阶优化算法的设计问题。一致稳定性常被用来获得优化算法的泛化误差界,我们有兴趣在一个通用的方法来实现它.对于欧几里德几何,我们提出了一个黑盒转换,给出一个光滑的优化算法,产生一个一致稳定的版本的算法,同时保持其收敛速度的对数因子.使用这种约简,我们获得了一个(接近)最优的光滑优化算法,具有收敛速度$\widetilde{O}(1/T^2)$和一致稳定性$O(T^2/n)$,解决了Chen等人的一个公开问题。(2018); Attia和Koren(2021)。对于更一般的几何形状,我们开发了一个变种的镜像下降光滑优化收敛速度$\widetilde{O}(1/T)$和一致稳定性$O(T/n)$,留下开放的问题,设计一个一般的转换方法,在欧几里德的情况下。
2022-07-17 cs.LG math.OC stat.ML
Doubly Accelerated Stochastic Variance Reduced Dual Averaging Method for Regularized Empirical Risk Minimization
NTT DATA Mathematical Systems Inc.(NTT DATA 数理系统公司);The University of Tokyo(东京大学)
在本文中,我们发展了一个新的加速随机梯度法有效地解决凸正则化经验风险最小化问题的小批量设置。小批量的使用正在成为机器学习社区的黄金标准,因为小批量设置稳定了梯度估计,并且可以很容易地利用并行计算。我们提出的方法的核心是我们新的“双加速”技术和方差减少技术的结合。我们从理论上分析了我们提出的方法,并表明,我们的方法大大提高了以前的加速随机方法的小批量效率,基本上只需要大小$\sqrt{n}$小批量实现非强凸和强凸目标的最佳迭代复杂度,其中$n$是训练集的大小。此外,我们表明,即使在非小批量设置,我们的方法实现了最好的已知的收敛速度为非强和强凸的目标。
2017-09-19 cs.LG math.OC stat.ML
On the Fine-Grained Complexity of Empirical Risk Minimization: Kernel Methods and Neural Networks
MIT(麻省理工学院)
经验风险最小化(ERM)在机器学习中无处不在,并且是大多数监督学习方法的基础。虽然已经有大量的工作,各种ERM问题的算法,确切的计算复杂性的ERM仍然没有被理解。我们解决这个问题的多个流行的ERM问题,包括内核支持向量机,内核岭回归,并训练神经网络的最后一层。特别是,我们给这些问题的复杂性理论假设的基础上,如强指数时间假设的条件硬度结果。在这些假设下,我们表明,有没有算法,解决上述ERM问题的高精度次二次时间。我们也给出了类似的硬度结果计算梯度的经验损失,这是主要的计算负担,在许多非凸学习任务。
2017-04-10 cs.CC cs.DS cs.LG
Empirical risk minimization is consistent with the mean absolute percentage error
在本文中,我们研究了使用平均绝对百分比误差(MAPE)作为回归模型质量度量的后果。我们证明了在MAPE下找到最佳模型等价于进行加权平均绝对误差(MAE)回归。我们还表明,在某些假设下,普遍一致的经验风险最小化仍然可能使用MAPE。
2015-09-08 stat.ML
Stochastic Primal-Dual Coordinate Method for Regularized Empirical Risk Minimization
我们考虑一个一般的凸优化问题与正则化的经验风险最小化的线性预测。问题结构允许我们将其重新表述为一个凹凸鞍点问题。我们提出了一种随机原始-对偶坐标(SPDC)方法,该方法在随机选择的对偶变量上最大化和原始变量上最小化之间交替。对原始变量执行外推步骤以获得加速的收敛速度。我们还开发了一个小批量版本的SPDC方法,便于并行计算,并与加权采样概率的对偶变量,这具有更好的复杂性比均匀采样非归一化数据的扩展。无论是理论上还是经验上,我们都证明了SPDC方法比几种最先进的最优化方法具有相当或更好的性能。
2015-09-09 math.OC stat.ML
Learning Augmentation Distributions using Transformed Risk Minimization
University of Pennsylvania(宾夕法尼亚大学)
本研究提出变换风险最小化(TRM)框架,联合优化预测模型与数据变换分布,结合PAC-Bayes正则化与几何变换随机组合的SCALE算法,在CIFAR10/100等数据集上实现更优性能,还可学习数据对称性并提升模型校准度。
2023-10-05 cs.LG stat.ML
Empirical risk minimization algorithm for multiclass classification of S.D.E. paths
Université Paris 1 Panthéon-Sorbonne(巴黎第一大学先贤祠-索邦大学);Université Paris-Saclay(巴黎萨克雷大学);AgroParisTech(巴黎高科农业学院);INRAE(法国国家农业、食品与环境研究院)
针对漂移不同、扩散系数共同的随机扩散路径多分类问题,提出基于 L2 经验风险最小化的算法,证明其收敛速率及间隔假设下的快速速率,并通过模拟验证数值性能。
2025-03-18 cs.LG stat.ML
The Risks of Invariant Risk Minimization
Carnegie Mellon University(卡内基梅隆大学)
不变因果预测(Peters等人,2016)是一种用于分布外泛化的技术,其假设数据分布的某些方面在训练集中变化,但潜在的因果机制保持不变。最近,Arjovsky等人(2019年)提出了不变风险最小化(Invariant Risk Minimization,简称Risk Minimization),这是一个基于这一思想的目标,用于学习数据的深度不变特征,这些特征是潜在变量的复杂函数;随后提出了许多替代方案。然而,对所有这些工程的正式保障严重缺乏。在本文中,我们提出了第一个分析的分类下的目标-以及这些最近提出的替代品-在一个相当自然和一般的模型。在线性的情况下,我们展示了简单的条件下,最佳解决方案成功,或更经常地,未能恢复最佳不变预测。此外,我们提出的第一个结果,在非线性制度:我们证明,如果测试数据是足够相似的训练分布,这正是它的目的是要解决的问题,否则,可失败的灾难性。因此,在这种情况下,我们发现,在标准的经验风险最小化的基础上,风险最小化及其替代方案根本没有改善。
2021-03-27 cs.AI cs.LG stat.ML
Empirical Risk Minimization and Stochastic Gradient Descent for Relational Data
Columbia University(哥伦比亚大学)
经验风险最小化是预测问题的主要工具,但其扩展到关系数据仍然没有解决。我们解决这个问题,使用最近的想法,从图抽样论(i)定义一个经验风险的关系数据和(ii)获得随机梯度的经验风险是自动无偏的。这是通过考虑从图中采样数据的方法作为模型设计的显式组件来实现的。通过集成快速实现的图形采样方案与标准的自动微分工具,我们提供了一个有效的交钥匙求解器的风险最小化问题。我们建立的过程的基本理论属性。最后,我们展示了关系ERM与应用程序的两个非标准的问题:一个阶段的训练半监督节点分类,学习嵌入向量的顶点属性。实验证实,交钥匙推理过程是有效的,在实践中,用于模型规格的抽样方案有很强的影响模型的性能。代码可在https://github.com/wooden-spoon/relational-ERM上获得。
2019-02-22 cs.LG cs.SI stat.ML
STORM: Foundations of End-to-End Empirical Risk Minimization on the Edge
Rice University(莱斯大学)
经验风险最小化可能是统计学习中最有影响力的思想,以回归和分类模型的形式应用于几乎所有的科学和技术领域。为了分析分布式计算环境中的海量流数据集,从业者越来越倾向于在边缘而不是云中部署回归模型。通过将数据保存在边缘设备上,我们可以最大限度地降低与模型相关的能源、通信和数据安全风险。虽然在边缘训练模型同样有利,但通常的假设是模型最初是在云中训练的,因为训练通常需要大量的计算和内存。为此,我们提出了STORM,一个经验风险最小化的在线草图。STORM将数据流压缩到一个小的整数计数器数组中。这个草图足以估计原始数据集上的各种替代损失。我们提供了严格的理论分析,并表明,风暴可以估计一个精心选择的替代损失的最小二乘目标。在对真实数据集上的线性回归模型进行详尽的实验比较中,我们发现STORM允许训练准确的回归模型。
2020-06-25 cs.LG stat.ML
Empirical Risk Minimization for Losses without Variance
Fudan University(复旦大学);Baidu Research(百度研究院);Cornell University(康奈尔大学)
本文研究重尾数据(仅有 $p$ 阶矩,$p \in (1,2)$)下的实证风险最小化问题,提出利用 Catoni 方法稳健估计风险值并以此选择优化器,通过广义通用链式方法建立超额风险上界,实验证明其优于基于截断数据的基线方法。
2023-09-07 cs.LG stat.ML
Differentially Private Empirical Risk Minimization Revisited: Faster and More General
State University of New York at Buffalo(纽约州立大学布法罗分校)
在本文中,我们研究了在不同的设置不同的私人经验风险最小化(ERM)问题。对于光滑(强)凸损失函数与或不与(非)光滑正则化,我们给出的算法,实现最佳或接近最佳的效用界,与以前的工作相比,梯度复杂性。对于高维($p\gg n$)环境下具有光滑凸损失函数的ERM,我们给出了一个算法,该算法比以前的算法以更小的梯度复杂度达到上界。最后,将期望超额经验风险从凸损失函数推广到满足Polyak-Lojasiewicz条件的非凸损失函数,并给出了比\cite{ijcai2017-548}更严格的效用上界.
2018-02-14 cs.CR cs.LG stat.ML
Private Non-smooth Empirical Risk Minimization and Stochastic Convex Optimization in Subquadratic Steps
Microsoft Research (MSR) Redmond(微软研究院(雷德蒙德));University of Washington(华盛顿大学);Shanghai Qi Zhi Institute(上海期智研究院)
研究了非光滑凸函数的微分私人经验风险最小化和随机凸优化问题。在次二次梯度复杂度下,得到了超额经验风险和超额人口损失的(近)最优界。更确切地说,我们的差分私有算法需要$O(\frac{N^{3/2}}{d^{1/8}}+ \frac{N^2}{d})$梯度查询以获得最佳超额经验风险,这是在子采样和通过卷积平滑函数的帮助下实现的。这是当$d$是超常数时非光滑情况下的第一次二次算法。作为一个直接的应用,使用Feldman等人的迭代局部化方法\cite{fkt20},我们实现了随机凸优化问题的最优超额人口损失,与$O(\min\{N^{5/4}d^{1/8},\frac{ N^{3/2}}{d^{1/8}}\})$梯度查询。我们的工作取得了进展,解决了Basily等人提出的一个问题。\cite{bfgt20},给第一个算法的私人ERM和SCO的次二次步骤。我们注意到,独立的Asi等人。\cite{afkt21}给出了其他算法的私人ERM和SCO次二次步骤。
2021-03-30 cs.CR cs.DS cs.LG
Counterfactual Risk Minimization: Learning from Logged Bandit Feedback
Cornell University(康奈尔大学)
我们开发了一个学习原理和一个有效的算法,批量学习从记录的强盗反馈。这种学习设置在在线系统中无处不在(例如,广告投放、网络搜索、推荐),其中算法进行预测(例如,广告排名)对于给定输入(例如,查询)并观察Bandit反馈(例如,用户点击呈现的广告)。我们首先通过倾向评分来解决学习问题的反事实性质。接下来,我们证明了泛化误差的范围,占的倾向加权经验风险估计的方差。这些建设性的界限产生了反事实风险最小化(CRM)原则。我们展示了如何CRM可以用来获得一个新的学习方法-称为政策优化指数模型(POEM)-学习随机线性规则的结构化输出预测。我们提出了一个分解的POEM目标,使有效的随机梯度优化。POEM的几个多标签分类问题进行了评估,表现出显着改善的鲁棒性和泛化性能相比,国家的最先进的。
2015-05-20 cs.LG stat.ML
Generalization Bounds for Vicinal Risk Minimization Principle
Dalian University of Technology(大连理工大学);University of Technology, Sydney(悉尼科技大学);The University of Sydney(悉尼大学)
邻位风险最小化(VRM)原理,首先由\citet{vapnik1999nature}提出,是经验风险最小化(ERM)的一种变体,它用邻位函数代替狄拉克质量。虽然有强有力的数值证据表明,VRM优于ERM,如果适当的邻功能选择,一个全面的理论理解VRM仍然缺乏。在本文中,我们研究了VRM的推广界。我们的研究结果支持Vapnik的原始论点,并提供了更深入的了解VRM。首先,在函数类由Lipschitz连续函数组成的假设下,证明了与邻函数卷积的函数类的复杂性可以由原函数类的复杂性控制.然后,由此得到的VRM的推广界表明,VRM的推广性能也受到附近函数的选择和函数类的质量。这些发现可以用来检查是否选择的邻近功能是适当的基于VRM的学习设置。最后,我们提供了一个理论解释现有的VRM模型,例如,基于均匀分布的模型、基于高斯分布的模型和混合模型。
2018-11-11 cs.LG stat.ML
High Dimensional Classification via Regularized and Unregularized Empirical Risk Minimization: Precise Error and Optimal Loss
本文通过理论分析,深入研究了当考虑高维数据时,经验风险最小化框架在岭正则化和非正则化两种情况下的分类性能。专注于分离两类高斯混合的基本问题,建议的分析允许一组足够大的维度$p$的众多数据向量$\mathbf{x} \in \mathbb R^p$的分类误差的精确预测。这个精确的误差取决于损失函数、训练样本的数量以及混合数据模型的统计数据。研究表明,在数据统计的某些额外非稀疏条件下,它仍然超出高斯分布。在此定量误差分析的基础上,我们将简单平方损失确定为脊正则化和非正则化情况下高维分类的最佳选择,无论训练样本的数量如何。
2020-11-25 cs.LG stat.ML
Empirical risk minimization for heavy-tailed losses
本文的目的是讨论当损失不一定有界且可能具有厚尾分布时的经验风险最小化。在这种情况下,通常的经验平均值可能无法提供可靠的估计,而经验风险最小化可能会提供大量的超额风险。然而,在文献中提出的一些鲁棒均值估计可以用来代替经验均值。在本文中,我们研究经验风险最小化的基础上提出的稳健估计Catoni。我们开发的性能界限的基础上定制的Catoni的均值估计的链接参数。
2015-11-17 stat.ME
Positive-Unlabeled Learning using Random Forests via Recursive Greedy Risk Minimization
The University of Queensland(昆士兰大学);RIKEN(理化学研究所)
从正的和未标记的数据中学习的需求,或PU学习,出现在许多应用中,并引起了越来越多的兴趣。虽然已知随机森林在具有正数据和负数据的许多任务上表现良好,但最近的PU算法通常基于深度神经网络,并且基于树的PU学习的潜力未被充分开发。在本文中,我们提出了新的随机森林算法的PU学习。我们的方法的关键是一个新的解释决策树算法的积极和消极的数据为\emph{recursive greedy risk minimization algorithms}。我们将这种观点扩展到PU设置,以开发新的决策树学习算法,直接最大限度地减少PU数据的估计预期风险。这使我们能够开发一个有效的PU随机森林算法,PU额外的树。我们的方法具有三个理想的属性:它是强大的损失函数的选择,在这个意义上,各种损失函数导致相同的决策树;它需要很少的超参数调整相比,基于PU学习的神经网络;它支持一个功能的重要性,直接衡量一个功能的风险最小化的贡献。我们的算法在几个数据集上表现出强大的性能。我们的代码可在\url{https://github.com/puetpaper/PUExtraTrees}上找到。
2022-10-16 cs.LG stat.ML
Empirical or Invariant Risk Minimization? A Sample Complexity Perspective
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);IBM Research(IBM研究院);Rensselaer Polytechnic Institute(伦斯勒理工学院);Google Research(谷歌研究院)
最近,不变风险最小化(IRM)被提出作为解决分布外(OOD)泛化的一个有前途的解决方案。然而,目前还不清楚什么时候应该优先使用风险最小化(ERM)框架。在这项工作中,我们从样本复杂性的角度分析了这两个框架,从而朝着回答这个重要问题迈出了坚实的一步。我们发现,取决于类型的数据生成机制,这两种方法可能有非常不同的有限样本和渐近行为。例如,在协变量偏移设置中,我们看到这两种方法不仅得到相同的渐近解,而且具有相似的有限样本行为,没有明显的赢家。然而,对于其他分布偏移,例如涉及混杂因素或反因果变量的分布偏移,这两种方法得到不同的渐近解,其中,在有限样本范围内,保证接近所需的OOD解,而ERM甚至渐近地有偏。我们进一步研究了不同的因素--环境的数量、模型的复杂性和模型的惩罚权重--如何影响模型的样本复杂性,以及它与OOD解决方案的距离
2022-08-19 cs.LG stat.ML
On the Minimal Error of Empirical Risk Minimization
MIT(麻省理工学院)
我们研究的最小误差的经验风险最小化(ERM)程序的回归任务,无论是在随机和固定的设计设置。我们清晰的下界揭示了适应生成数据的模型的简单性的可能性(或不可能性)。在固定的设计设置,我们表明,错误是由整个类的全局复杂性。相反,在随机设计中,如果回归函数周围的局部邻域几乎和类本身一样复杂,ERM可能只适用于更简单的模型,这是一个有点违反直觉的结论。我们提供了尖锐的下界的ERM为Donsker和非Donsker类的性能。我们还讨论了我们的结果,通过最近的研究超参数化模型的插值镜头。
2021-02-24 cs.LG math.ST stat.ML
Semi-Supervised Ordinal Regression Based on Empirical Risk Minimization
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所先进智能项目中心);Kyoto University(京都大学)
有序回归的目的是预测有序类标签。在本文中,我们考虑它的半监督制定,其中我们有未标记的数据以及有序标记的数据训练有序回归。有几个度量来评估有序回归的性能,例如平均绝对误差,平均零一误差和均方误差。然而,现有的研究没有考虑评价指标,对模型的选择有限制,没有理论保证。为了克服这些问题,我们提出了一种新的通用框架,半监督有序回归的基础上的经验风险最小化原则,适用于优化上述所有指标。此外,我们的框架具有灵活的模型,代理损失和优化算法的选择,而无需对未标记数据进行常见的几何假设,如聚类假设或流形假设。我们进一步提供了一个估计误差界,以表明我们的风险估计是一致的。最后,我们进行实验,以显示我们的框架的实用性。
2021-06-10 cs.LG stat.ML
A Dual Optimization View to Empirical Risk Minimization with f-Divergence Regularization
Electronic Engineering, University of Sheffield, Sheffield, U.K.;2 INRIA, Centre Inria d'Universit\'e C\ ote d'Azur, Sophia Antipolis, France.;3 ECE Dept., Princeton University, Princeton, 08544 NJ, USA.
本文提出ERM-fDR的对偶形式,利用Legendre-Fenchel变换和隐函数定理推导归一化函数的非线性ODE,并给出高效计算方法。
2025-08-05 cs.LG stat.ML
Cyanure: An Open-Source Toolbox for Empirical Risk Minimization for Python, C++, and soon more
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立高等物理、数学与信息学院)
Cyanure是一个带有Python接口的开源C++软件包。Cyanure的目标是为学习线性模型提供最先进的求解器,基于具有加速机制的随机方差减少随机最优化。Cyanure可以处理各种各样的损失函数(logistic,square,squared hinge,multinomial logistic)和正则化函数(l_2,l_1,elastic-net,fused Lasso,多任务组Lasso)。它提供了一个简单的Python API,非常接近scikit-learn,在不久的将来应该会扩展到其他语言,如R或Matlab。
2019-12-20 cs.LG stat.ML
High Dimensional Classification through $\ell_0$-Penalized Empirical Risk Minimization
我们考虑了一个高维的二进制分类问题,并构建了一个分类过程,通过最大限度地减少经验误分类的风险与惩罚的数量上选择的功能。我们推导出非渐近概率界的估计稀疏性以及过度的误分类风险。特别是,我们表明,我们的方法产生一个稀疏的解决方案,其l0-范数可以任意接近真正的稀疏性与高概率,并获得超额误分类风险的收敛速度。所提出的程序是通过混合整数线性规划的方法来实现的。它的数值性能说明在蒙特卡罗实验。
2018-11-23 econ.EM stat.ME stat.ML
Optimal Excess Risk Bounds for Empirical Risk Minimization on $p$-Norm Linear Regression
本文研究 $p$-范数线性回归中经验风险最小化的样本复杂度与超额风险,证明可实现情形下 $O(d)$ 样本可精确恢复目标,并给出与渐近速率匹配的高概率最优界。
2024-06-17 math.ST stat.ML stat.TH
A Mosco sufficient condition for intrinsic stability of non-unique convex Empirical Risk Minimization
Hassan 1st University of Settat(哈桑第一大学)
本文提出一个Mosco充分条件,用于保证非唯一凸经验风险最小化问题的内在稳定性,并通过二次增长特性获得显式偏差界。
2026-01-25 cs.LG math.FA math.OC
Differentially Private Confidence Intervals for Empirical Risk Minimization
The Pennsylvania State University(宾夕法尼亚州立大学);University of Georgia(佐治亚大学)
差分隐私数据采掘的过程中产生的结果受到两种类型的噪声的影响:由于数据汇集和隐私噪声,旨在防止重建的敏感信息采样噪声。在本文中,我们考虑的问题,设计各种不同的私人机器学习模型的参数的置信区间。该算法可以提供置信区间,满足差分隐私(以及最近提出的集中差分隐私),并可以与现有的差分隐私机制,训练模型使用目标扰动和输出扰动。
2018-04-11 cs.CR cs.LG stat.ML
Schrödinger bridge problem via empirical risk minimization
Duisburg-Essen University(杜伊斯堡-埃森大学);HSE University(俄罗斯高等经济学院)
本文提出通过经验风险最小化求解薛定谔桥问题,改写系统为非线性不动点方程并估计正变换势能,结合随机控制生成样本。
2026-02-09 cs.LG math.PR math.ST
Neutralized Empirical Risk Minimization with Generalization Neutrality Bound
目前,机器学习在许多人的生活和个人活动中发挥着重要作用。因此,有必要设计机器学习算法,以确保通过机器学习做出的决策或预测不会导致歧视、偏见或不公平待遇。在这项工作中,我们引入了一种新的经验风险最小化(ERM)框架的监督学习,中立的ERM(NERM),确保任何分类器获得可以保证是中立的观点假设。更具体地说,给定一个观点假设,NERM的工作是找到一个目标假设,最大限度地减少经验风险,同时确定一个目标假设是中立的观点假设。在NERM框架内,我们得出了一个理论界的经验和泛化中性风险。此外,作为线性分类的NERM的实现,我们推导出一个最大间隔算法,中性支持向量机(SVM)。实验结果表明,我们的中性SVM在真实数据集上显示出更好的分类性能,而不牺牲中立性保证。
2015-11-06 stat.ML
On Empirical Risk Minimization with Dependent and Heavy-Tailed Data
在这项工作中,我们建立的经验风险最小化(ERM)与依赖和重尾数据生成过程的风险界限。我们这样做是通过扩展的开创性的工作Mendelson [Men15,Men18]的分析ERM重尾,但独立和同分布的意见,严格平稳指数$β$混合的情况下。我们的分析是基于显式控制的乘法器的过程中所产生的噪声和输入上的功能评估之间的相互作用。它允许交互甚至是多项式重尾的,这涵盖了学习理论文献中分析的大量重尾模型。我们说明了我们的结果,推导出收敛速度的高维线性回归问题的依赖和重尾数据。
2021-09-10 math.ST stat.ML stat.TH
Empirical risk minimization and complexity of dynamical models
动力学模型由紧致状态空间$\mathcal{X}$的连续自映射$T: \mathcal{X} \to \mathcal{X}$和连续观测函数$f: \mathcal{X} \to \mathbb{R}$组成。本文考虑了用经验风险最小化方法拟合一个参数化的动力学模型族到一个实值随机过程。最小风险参数的极限行为进行了研究,在一般设置。建立了最小风险估计和遍历观测的一般收敛定理。然后,我们研究的条件下,经验风险最小化可以有效地分离的信号从噪声中的加性观测噪声模型。后者结果的关键必要条件是动力学模型族具有有限的复杂性,这通过无穷序列族的熵的概念来量化。建立了平稳过程的熵和极限平均宽度之间的密切联系。
2018-01-23 math.DS math.ST stat.TH
Statistical Analysis of Stationary Solutions of Coupled Nonconvex Nonsmooth Empirical Risk Minimization
George Washington University(乔治华盛顿大学);University of Southern California(南加州大学);University of North Carolina, Chapel Hill(北卡罗来纳大学教堂山分校)
本文有两个主要目标:(a)建立了一类耦合非凸非光滑经验风险最小化问题的定态解和定态值的几个统计性质-一致性、渐近分布和收敛速度,(b)通过一个基于噪声幅度的相位恢复问题验证了这些性质,后者是一个非常热门的问题。这些经验风险最小化问题是涉及随机泛函的期望值的最小化的总体风险模型的计算主力。当这些最小化问题是非凸的,其全局最优解的计算是难以捉摸的。再加上不能对一般概率分布计算期望算子的事实,就有必要证明经验问题的定态解是否是人口问题定态解的实际近似。当这两个功能,一般分布和非凸性,再加上不可微性,往往使问题“非克拉克经常”,任务的理由变得具有挑战性。我们的工作旨在在无算法的环境中解决这样的挑战。因此,所得到的分析是不同的,在最近的文献中,是基于本地搜索算法的分析。此外,补充经典的极小化中心的分析,我们的研究结果提供了第一步,以关闭之间的差距耦合非凸非光滑统计估计问题的计算优化和渐近分析,扩大前者与统计特性的实际获得的解决方案,并提供后者与一个更实际的重点有关的计算易处理性。
2019-10-06 cs.LG math.OC math.ST
Performance of Empirical Risk Minimization for Linear Regression with Dependent Data
本文推广了经验风险最小化在依赖且重尾数据线性回归中的性能界,证明其达到最优性能(至多对数因子),涵盖同分布与异分布情况。
2023-05-29 econ.EM stat.ME
Maximum Risk Minimization with Random Forests
Department of Mathematical Sciences University of Copenhagen(数学科学系,哥本哈根大学);ETH Zürich(苏黎世联邦理工学院);Seminar for Statistics ETH Zürich(统计系,苏黎世联邦理工学院);ETH AI Center(苏黎世联邦理工学院人工智能中心);Biogeochemical Integration Department Max-Planck-Institute for Biogeochemistry(生物地球化学整合部门,马克斯·普朗克生物地球化学研究所)
本文提出基于最大风险最小化原则的随机森林变种,通过计算高效算法和统计一致性证明,提升模型在不同分布环境下的泛化能力。
2026-03-11 cs.AI cs.LG stat.ME
Tilted Empirical Risk Minimization
CMU(卡内基梅隆大学);Facebook AI(脸书人工智能研究院)
经验风险最小化(ERM)通常被设计为在平均损失上表现良好,这可能导致估计量对离群值敏感,概括性差,或不公平地对待子组。虽然许多方法旨在单独解决这些问题,但在这项工作中,我们通过一个统一的框架-倾斜的经验风险最小化(TERM)来探索它们。特别是,我们表明,它是可以灵活地调整个人损失的影响,通过一个简单的扩展到ERM使用一个超参数称为倾斜。我们提供了几种解释所得到的框架:我们表明,TERM可以增加或减少离群值的影响,分别使公平性或鲁棒性;具有方差减少属性,可以有利于推广;可以被视为一个光滑的近似superquantile方法。我们开发了批量和随机一阶优化方法解决TERM,并表明,相对于常见的替代品,该问题可以有效地解决。最后,我们证明了$TERM可以用于多种应用,例如子组之间的公平性,减轻离群值的影响,以及处理类不平衡。$TERM不仅与针对这些个别问题量身定制的现有解决方案相比具有竞争力,而且还可以实现全新的应用,例如同时解决离群值和促进公平。
2021-03-17 cs.IT cs.LG math.IT
Risk minimization by median-of-means tournaments
我们考虑经典的统计学习/回归问题,当一个真实的随机变量Y的值要根据另一个随机变量X的观测值来预测时。给定一个函数类F和一个(X,Y)的独立副本样本,需要从F中选择一个函数f,使得f(X)在均方意义上尽可能地逼近Y。我们引入了一个新的程序,所谓的平均值的比赛,实现最小的假设下的准确性和信心之间的最佳权衡,特别是优于基于经验风险最小化的经典方法。
2016-08-02 math.ST stat.TH
Fast Rates for Nonstationary Weighted Risk Minimization
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文研究了非平稳条件下加权经验风险最小化方法的样本外预测误差,提出了一种将超额风险分解为学习项和分布漂移相关项的通用分解方法,并在混合条件下证明了学习误差的Oracle不等式,考虑了权重向量的有效样本量、权重和假设类的复杂性以及数据依赖性。
2026-10-12 cs.LG math.ST stat.ML
Equivalence of the Empirical Risk Minimization to Regularization on the Family of f-Divergences
INRIA(法国国家信息与自动化研究所);Princeton University(普林斯顿大学)
本文研究带 f-散度正则化的经验风险最小化,在温和条件下给出唯一最优测度,并证明不同 f-散度正则化可通过风险函数变换相互等价。
2024-10-23 cs.IT cs.LG math.IT
Sharper lower bounds on the performance of the empirical risk minimization algorithm
我们提出了一个基于多维和一致中心极限定理的论点,证明了在目标函数$T$和学习类$F$之间的一些几何假设下,经验风险最小化算法的超额风险由\[\frac{\mathbb{E}\sup_{q\in Q}G_q}{\sqrt{n}}δ,\]下界,其中$(G_q)_{q\in Q}$是与$Q$相关的规范高斯过程($F$的良好选择的子集),并且$δ$是控制经验超额风险函数在$F$中的小球上的振荡的参数。
2011-02-24 math.ST stat.TH
Optimal Empirical Risk Minimization under Temporal Distribution Shifts
本文提出 RIDER 方法,在随机分布漂移模型下推导最优加权经验风险最小化,统一了多种常见加权方案,并在 Yearbook、股市波动率和出租车行程时长预测等任务中验证了其优于标准加权策略的样本外预测性能。
2025-07-17 cs.LG stat.ME
Suboptimality of Penalized Empirical Risk Minimization in Classification
令$\cF$是具有$[-1,1]$中的值的$M$分类过程的集合。给定一个损失函数,我们要构造一个过程,它以尽可能好的速率模仿$\cF$中的最佳过程。这个最快的速率称为最优聚合速率。考虑连续规模的损失函数与各种类型的凸性,我们证明了最佳的聚合率可以是$((\log M)/n)^{1/2}$或$(\log M)/n$。我们证明,如果所有的$M$分类器是二进制的(惩罚)经验风险最小化程序是次优的(即使在利润率/低噪声条件下)时,损失函数是有点超过凸,而在这种情况下,指数权重的聚合程序达到最佳的聚合率。
2007-03-27 math.ST q-fin.RM stat.TH
Empirical Risk Minimization with Relative Entropy Regularization: Optimality and Sensitivity Analysis
INRIA(法国国家信息与自动化研究所);Université de la Polynésie Française(法属波利尼西亚大学);University of Sheffield(谢菲尔德大学);National Chao Tung University(国立交通大学);Princeton University(普林斯顿大学)
研究了相对熵正则化的经验风险最小化问题(ERM-RER)的最优性和灵敏度,其中参考测度是σ-有限测度而不是概率测度.这种泛化允许在模型集合上结合先验知识时具有更大程度的灵活性。在这种情况下,正则化参数,参考措施,风险函数,和ERM-RER问题的解决方案引起的经验风险的相互作用的特点。这个特征产生了正则化参数存在的必要和充分条件,该正则化参数以任意高的概率实现任意小的经验风险。研究了ERM-RER问题的期望经验风险对偏离解的敏感性。然后,敏感性被用来提供预期的经验风险的上限和下限。此外,它示出的期望的灵敏度是上界,直到一个常数因子,由模型和数据集之间的lautum信息的平方根。
2022-11-12 cs.IT cs.LG math.IT
A new analytical approach to consistency and overfitting in regularized empirical risk minimization
这项工作考虑的问题,二元分类:给定的训练数据$x_1, \dots, x_n$从一定的人口,连同相关的标签$y_1,\dots, y_n \in \left\{0,1 \right\}$,确定最好的标签为元素$x$不属于训练数据。更具体地说,这项工作考虑了一个变量的正则化的经验风险功能,这是固有的观测数据定义,并不依赖于底层人口。现代分析的工具被用来获得一个简洁的证明渐近一致性的正则化参数取零率相关的样本的大小。这些分析工具为理解过拟合和欠拟合提供了一个新的框架,并将过拟合的概念与紧性损失严格联系起来。
2016-07-01 math.ST stat.ML stat.TH
Bandwidth selection in kernel empirical risk minimization via the gradient
在本文中,我们处理的数据驱动的选择多维和可能各向异性的带宽的内核经验风险最小化的一般框架。我们提出了一个通用的选择规则,这导致了最佳的自适应结果在各种各样的统计模型,如非参数稳健回归和统计学习的变量中的错误。这些结果的背景下,光滑的损失函数,风险的梯度出现作为一个很好的标准来衡量我们的估计性能。选择规则包括梯度经验风险的比较。它可以被看作是一个非平凡的改进所谓的Goldenshluger-Lepski方法的非线性估计。此外,我们的选择规则的一个主要优点是不依赖于黑塞矩阵的风险,通常涉及在标准的自适应程序。
2015-08-18 math.ST stat.TH
Differentially Private Two-Stage Empirical Risk Minimization with Applications to Individualized Treatment Rule
University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
本文提出差分隐私两阶段经验风险最小化(DP-2ERM),通过目标扰动校准全流程的数据依赖敏感性,在因果推断和个体化治疗规则学习中实现隐私保护,并展示了优于逐阶段组合的隐私-效用权衡。
2026-05-23 math.ST stat.ML stat.TH
On concentration for (regularized) empirical risk minimization
经验风险最小化的收敛速度在文献中已经得到了很好的研究。在本文中,我们的目标是提供一个补集的结果,特别是通过显示,归一化后,风险的经验最小集中在一个点。正态序列模型中约束估计的~ \cite{chatterjee2014new}已经建立了这样的结果。首先,我们推广和锐化这一结果,正则化最小二乘凸处罚,利用一个“直接”参数的基础上博雷尔定理。然后,我们研究推广到其他损失函数,包括负对数似然指数家庭结合严格凸正则化惩罚。在这个一般设置的结果是基于更多的“间接”的参数,以及浓度的最大值的经验过程的不平等。
2016-01-11 math.ST stat.TH