Barycentric-alignment and reconstruction loss minimization for domain generalization
Tufts University（塔夫茨大学）；Boston University（波士顿大学）
本文针对领域泛化中因理论风险上界存在双重依赖项而难以优化的问题，利用最优传输不等式提出了完全可优化的新上界，并基于此提出WBAE算法，通过同时最小化分类、重心对齐与重构损失，在多个数据集上优于现有方法。
2023-05-21 cs.LG stat.ML
Empirical Risk Minimization and Stochastic Gradient Descent for Relational Data
Columbia University（哥伦比亚大学）
经验风险最小化是预测问题的主要工具，但其扩展到关系数据仍然没有解决。我们解决这个问题，使用最近的想法，从图抽样论（i）定义一个经验风险的关系数据和（ii）获得随机梯度的经验风险是自动无偏的。这是通过考虑从图中采样数据的方法作为模型设计的显式组件来实现的。通过集成快速实现的图形采样方案与标准的自动微分工具，我们提供了一个有效的交钥匙求解器的风险最小化问题。我们建立的过程的基本理论属性。最后，我们展示了关系ERM与应用程序的两个非标准的问题：一个阶段的训练半监督节点分类，学习嵌入向量的顶点属性。实验证实，交钥匙推理过程是有效的，在实践中，用于模型规格的抽样方案有很强的影响模型的性能。代码可在https://github.com/wooden-spoon/relational-ERM上获得。
2019-02-22 cs.LG cs.SI stat.ML
Gradient-Based Empirical Risk Minimization using Local Polynomial Regression
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们考虑光滑，强凸损失函数的经验风险最小化（ERM）的问题，使用迭代梯度为基础的方法。这篇文献的一个主要目标是比较不同的算法，如梯度下降（GD）或随机梯度下降（SGD），通过分析他们的速度收敛到$ε$ -近似的解决方案。例如，GD的oracle复杂度是$O(n\log(ε^{-1}))$，其中$n$是训练样本的数量。当$n$很大时，这在实践中可能是昂贵的，并且SGD由于其$O(ε^{-1})$的Oracle复杂性而被优选。这样的标准分析仅利用被优化的参数中的损失函数的平滑性。相比之下，我们证明了当损失函数在数据中是平滑的时，我们可以在每次迭代中学习预言，并在重要的制度中击败GD和SGD的预言复杂性。具体来说，在每次迭代中，我们提出的算法执行局部多项式回归来学习损失函数的梯度，然后估计ERM目标函数的真实梯度。我们建立了我们的算法的甲骨文复杂性规模像$\tilde{O}((p ε^{-1})^{d/(2η)})$（忽略次主导因素），其中$d$和$p$分别是数据和参数空间维度，损失函数的梯度属于$η$ -Hölder类的数据。我们的证明扩展了非参数统计中的局部多项式回归分析，以提供多变量设置中的插值保证，并且还利用了不精确GD文献中的工具。与GD和SGD不同，我们的方法的复杂性取决于$d$和$p$。然而，当$d$很小，损失函数在数据中表现出适度的平滑性时，我们的算法在非常广泛…
2020-11-04 cs.LG math.OC math.ST
On Optimal Generalizability in Parametric Learning
Harvard University（哈佛大学）；University of Southern California（南加州大学）
我们考虑参数学习问题，其中学习器的目标由参数损失函数确定。采用可能正则化的经验风险最小化，推断的参数向量将偏向于训练样本。这种偏差在实践中通过交叉验证程序来测量，其中数据集被划分为用于训练的训练集和验证集，验证集不用于训练，而是用于测量样本外性能。经典的交叉验证策略是留一交叉验证（LOOCV），其中一个样本被排除用于验证，并且对呈现给学习者的其余样本进行训练，并且对所有样本重复该过程。由于计算复杂度高，LOOCV在实际中很少使用。在本文中，我们首先开发了一个计算效率的近似LOOCV（ALOOCV），并提供其性能的理论保证。然后，我们使用ALOOCV提供了一个优化算法，找到正则化的经验风险最小化框架。在我们的数值实验中，我们说明了ALOOCV的准确性和效率，以及我们提出的正则化优化框架。
2017-11-14 cs.LG stat.ML
Ringmaster LMO: Asynchronous Linear Minimization Oracle Momentum Method
KAUST（卡斯姆大学）
本文提出Ringmaster LMO，一种用于无约束随机非凸优化的异步线性最小化Oracle动量方法，通过延迟阈值机制改进传统同步方法，适用于异构分布式系统，实验表明其在系统异构性增强时表现更优。
2026-05-18 cs.DC cs.LG math.OC
Scaling-up Empirical Risk Minimization: Optimization of Incomplete U-statistics
LTCI, CNRS, Télécom ParisTech, Université Paris-Saclay（巴黎萨克雷大学巴黎高等电信学院法国国家科学研究中心信息与通信技术实验室）；INRIA Lille – Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）
在诸如排名、聚类或度量学习等广泛的统计学习问题中，通过$U$（程度$d\geq 1$的统计）来准确地估计风险，即具有低方差的训练数据的泛函，其采取$k$元组上的平均值的形式。从计算的角度来看，即使对于中等样本量的$n$，这种统计量的计算也是非常昂贵的，因为它需要对$O(n^d)$项进行平均。这使得依赖于这种数据泛函的优化的学习过程在实践中几乎不可行。这是本文的主要目标，以显示，引人注目的是，这种经验风险可以被替换为大大计算简单的蒙特卡罗估计的基础上$O(n)$条款，通常被称为不完全$U$ -统计，不损害$O_{\mathbb{P}}(1/\sqrt{n})$学习率的经验风险最小化（ERM）程序。为了这个目的，我们建立一致的偏差结果描述的错误时，近似的$U$过程的不完整版本下适当的复杂性假设。扩展到模型选择，快速的情况下，各种采样技术，以及应用随机梯度下降的ERM。最后，数值例子显示，以提供强有力的经验证据表明，我们提倡的方法在很大程度上超过了更天真的子采样技术。
2016-04-19 cs.AI cs.LG stat.ML
Generalization error minimization: a new approach to model evaluation and selection with an application to penalized regression
School of Economics, University of Sydney（悉尼大学经济学院）
本文从泛化能力角度研究模型评估与选择，提出泛化误差最小化框架，统一了正则化回归估计器，并探讨了其在模型选择中的应用。
2016-10-18 econ.GN math.ST q-fin.EC
An Accelerated Doubly Stochastic Gradient Method with Faster Explicit Model Identification
University of Pittsburgh（匹兹堡大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对稀疏正则化损失最小化问题，提出加速双随机梯度下降（ADSGD）方法，通过消除非活动系数实现显式模型识别，理论证明线性收敛与识别速率，实验验证其高效性。
2022-08-11 cs.LG stat.ML
Probable Domain Generalization via Quantile Risk Minimization
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Edinburgh（爱丁堡大学）；University of Cambridge（剑桥大学）；University of Pennsylvania（宾夕法尼亚大学）
针对域泛化中平均情况预测鲁棒性不足、最坏情况预测过于保守的问题，提出基于分位数风险最小化的概率框架及经验算法，提供理论保证并在基准数据集上取得SOTA表现。
2023-08-22 cs.AI cs.CV cs.LG
Constrained Empirical Risk Minimization: Theory and Practice
The Netherlands Cancer Institute（荷兰癌症研究所）；University of Amsterdam（阿姆斯特丹大学）
深度神经网络（DNN）因其有效逼近大类函数的能力而被广泛使用。然而，这种灵活性使得对DNN严格执行约束成为一个开放的问题。在这里，我们提出了一个框架，在温和的假设下，允许对参数化函数集（如DNN）严格执行约束。我们不是通过损失中的附加项来施加“软”约束，而是将DNN参数（的子集）限制在一个子流形上，在整个训练过程中，在该子流形上完全满足约束。我们专注于几何深度学习中使用的等变网络范围之外的约束。作为该框架的一个主要例子，我们限制卷积神经网络（CNN）的滤波器是小波，并将这些小波网络应用于医学领域的轮廓预测任务。
2023-02-09 cs.AI cs.CV cs.LG
Fast Decomposable Submodular Function Minimization using Constrained Total Variation
Imperial College London（帝国理工学院）；INRIA（法国国家信息与自动化研究所）；Ecole normale superieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；Graz University of Technology（格拉茨工业大学）
考虑子模集函数之和极小化问题，假设每个被加数函数都有极小化预言。大多数现有的方法将问题重新表述为相应的Lovász扩展和平方欧几里德范数之和的凸最小化，导致算法需要被加数函数的全变分预言;没有进一步的假设，这些更复杂的预言需要许多调用更简单的最小化预言在实践中经常可用。在本文中，我们考虑了一个修改的凸问题，需要约束版本的总变分预言，可以解决显着较少的调用简单的最小化预言。我们支持我们的主张，显示结果的图形切割的2D和3D图形
2019-05-27 cs.LG stat.ML
Empirical Bayes Regret Minimization
Google Research（谷歌研究院）；DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
大多数的强盗算法设计都是纯理论的。因此，他们有很强的后悔保证，但在实践中也往往过于保守。在这项工作中，我们开创了算法设计的想法，最大限度地减少经验贝叶斯遗憾，平均遗憾的问题实例从一个已知的分布。我们重点讨论了这个问题的一个易处理的例子，置信区间和后验宽度调整，并提出了一个有效的算法来解决它。调整算法进行了分析和评估多臂，线性和广义线性土匪。我们报告了几倍减少贝叶斯遗憾的国家的最先进的强盗算法，简单地通过优化一个小样本的分布。
2020-06-10 cs.LG stat.ML
From Principle to Practice: Vertical Data Minimization for Machine Learning
ETH Zurich（苏黎世联邦理工学院）
针对机器学习部署中数据最小化原则被忽视的问题，提出基于数据泛化的垂直数据最小化（vDM）工作流及PAT算法，在保障数据效用的同时最小化经验隐私风险，为实际应用奠定基础。
2023-11-22 cs.AI cs.CR cs.LG
Stable-Predictive Optimistic Counterfactual Regret Minimization
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）
CFR框架在实际中已经成为求解大规模可拓形式博弈的有力工具。然而，过去基于CFR的算法收敛到纳什均衡的理论速率是$O(T^{-1/2})$的量级，其中$T$是迭代次数。相比之下，一阶方法可用于实现对迭代的$O(T^{-1})$依赖性，然而这些方法在实践中不太成功。在这项工作中，我们提出了第一个CFR的变种，打破了平方根依赖迭代。通过结合和扩展最近的进展预测和稳定的后悔最小化矩阵游戏设置，我们表明，它是可能的，利用“乐观”后悔最小化实现$O(T^{-3/4})$收敛速度内CFR。这是通过引入一个新的概念，稳定的预测，并通过设置每个反事实的遗憾最小化相对于其在决策树中的位置的稳定性。实验表明，该方法比原来的CFR算法更快，虽然不如新的变种，尽管他们的最坏情况下的$O(T^{-1/2})$依赖于迭代。
2019-02-13 cs.AI cs.GT cs.LG
Makespan Minimization in Split Learning: From Theory to Practice
Austrian Science Fund (FWF)（奥地利科学基金）；WWTF Vienna Science and Technology Fund（维也纳科学与技术基金）；Smart Networks and Services Joint Undertaking (SNS JU)（智能网络与服务联合计划）；Horizon MSCA Postdoctoral Fellowship OPALS（Horizon MSCA博士后 fellowship OPALS）
本文提出了一种基于分割学习的5-近似算法，解决了同质和异构任务设置下的训练时间最小化问题，并通过实验验证了其有效性。
2026-02-06 cs.CC cs.LG cs.NI
A majorization-minimization algorithm for nonnegative binary matrix factorization
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）；IRIT（图卢兹信息学研究所）；Université de Toulouse（图卢兹大学）
本文研究了用矩阵分解法分解二进制数据的问题。我们认为家庭的平均参数化的伯努利模型，一类生成模型，非常适合二进制数据建模，并使解释的因素。我们因式分解伯努利参数，并考虑一个额外的Beta先验的因素，以进一步提高模型的表达能力。虽然在文献中已经提出了类似的模型，但它们仅利用Beta先验作为代理，以确保贝叶斯设置中的有效伯努利参数;在实践中，它会减少到均匀或无信息的先验。此外，在这些模型中的估计集中在昂贵的贝叶斯推理。在本文中，我们提出了一个简单而非常有效的最大后验估计优化最小化算法。我们的方法利用Beta先验，其参数可以调整，以提高矩阵完成任务的性能。在三个公开的二进制数据集上进行的实验表明，我们的方法提供了一个很好的权衡之间的预测性能，计算复杂性，可解释性。
2022-04-20 cs.LG stat.ML
Accelerated Doubly Stochastic Gradient Algorithm for Large-scale Empirical Risk Minimization
Zhejiang University（浙江大学）
针对大规模经验风险最小化，本文提出融合新型加速多多动量技术的双随机梯度算法，兼顾更优收敛率、小批量采样与坐标块更新，并通过大规模数据集验证其效率。
2023-04-23 cs.LG
Sharpness-Aware Minimization and Muon: Robustness under the Spectral Norm
University of Bath（巴斯大学）
研究如何通过锐度感知最小化（SAM）提高泛化能力，针对其“小”扰动依赖几何结构的问题，在SAM两阶段引入矩阵感知几何结构，结合逐层谱内扰动与Muon等外更新，实验表明该组合在ViT-Small/16和ResNet-50上验证准确率最佳。
2026-07-29 cs.LG stat.ML
Noise Tolerance under Risk Minimization
Indian Institute of Science（印度科学学院）
在本文中，我们将探讨分类器的噪声容忍学习。我们将问题表述如下。我们假设有一个无噪声的${\bf unobservable}$训练集。给学习算法的实际训练集是通过破坏每个示例的类标签从这个理想数据集获得的。样本的类标签被破坏的概率是样本的特征向量的函数。这将解释在实践中遇到的大多数噪声数据。我们说一种学习方法是噪声容忍的，如果分类器用理想的无噪声数据和有噪声的数据学习，两者在无噪声数据上具有相同的分类精度。在本文中，我们分析了噪声容忍性能的风险最小化（在不同的损失函数），这是一种通用的方法学习分类器。我们表明，0-1损失函数下的风险最小化具有令人印象深刻的噪声容忍性能和平方误差损失下的容忍均匀噪声，风险最小化下的其他损失函数是不容忍噪声。最后，我们对这些理论结果的影响进行了讨论。
2012-10-13 cs.LG
Tensor Completion Made Practical
Massachusetts Institute of Technology（麻省理工学院）
针对低秩张量补全中现有方法难兼顾理论保证与实用性的问题，提出新型交替最小化算法，可在因子高度相关时近线性时间实现线性收敛，并高效补全千维三阶张量。
2021-12-25 cs.DS cs.LG math.ST
SDNA: Stochastic Dual Newton Ascent for Empirical Risk Minimization
University of Edinburgh（爱丁堡大学）；Lehigh University（理海大学）；Telecom Paris-Tech（巴黎高等电信学院）
我们提出了一个新的算法，以最小化正则化的经验损失：随机双牛顿上升（SDNA）。我们的方法本质上是对偶的：在每次迭代中，我们更新对偶变量的随机子集。然而，与现有的方法，如随机双坐标上升，SDNA是能够利用所有的曲率信息中包含的例子，这导致在理论和实践的显着改善-有时由数量级。在特殊情况下，当一个L2-正则化被用于原始的，对偶问题是一个凹二次最大化问题加上一个可分离项。在这种制度下，SDNA在每一步解决了一个近端子问题，涉及一个随机主子矩阵的海森的二次函数;因此该方法的名称。此外，如果损失函数是二次的，我们的方法可以被解释为最近推出的迭代海森草图的一个新的变种。
2015-02-08 cs.LG
Low Rank Matrix Completion via Robust Alternating Minimization in Nearly Linear Time
Institute of Advanced Study（高等研究院）；Adobe Research（奥多比研究院）；Boston University（波士顿大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出一种对近似更新误差具有鲁棒性的交替最小化框架，将低秩矩阵补全的运行时间从近线性于验证时间的角度改进为 $\widetilde O(|Ω| k)$，优于此前 $\widetilde O(|Ω| k^2)$ 的方法。
2024-04-01 cs.DS cs.LG math.OC
Explicit Eigenvalue Regularization Improves Sharpness-Aware Minimization
Monash University（莫纳什大学）；VinAI Research（VinAI研究院）
本文分析SAM训练动态，提出Eigen-SAM算法，通过显式对齐扰动向量与主导特征向量以正则化Hessian最大特征值，提升泛化性能。
2025-01-22 cs.CV cs.LG
Empirical Risk Minimization with Shuffled SGD: A Primal-Dual Perspective and Improved Bounds
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对洗牌SGD理论界过于悲观的问题，从原始-对偶视角分析线性预测器的经验风险最小化，提出依赖数据矩阵的细粒度复杂度界，预测收敛速度更快且实验验证更紧。
2024-02-07 cs.LG math.OC
Discretization-free Multicalibration through Loss Minimization over Tree Ensembles
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；J.P. Morgan Chase AI Research（摩根大通AI研究）
本文提出一种免离散化的多校准方法，通过树集成上的经验风险最小化实现，并证明在损失饱和条件下有效，实验显示其性能匹配或优于现有方法。
2025-05-23 cs.LG
NewVEM: A Newton Vertex Exchange Method for a Class of Constrained Self-Concordant Minimization Problems
Ling Liang Department of Mathematics University of Tennessee, Knoxville 1403 Circle Drive, Knoxville, TN 37916, USA Kim-Chuan Toh Department of Mathematics；Institute of Operations Research；Analytics National University of Singapore 10 Lower Kent Ridge Road, Singapore 119076 Haizhao Yang Department of Mathematics；Department of Computer Science University of Maryland, College Park 4176 Campus Drive, College Park, MD 20742, USA
提出NewVEM算法，结合投影牛顿与顶点交换方法，高效求解广义单纯形约束下的自和谐最小化问题，并辅以半光滑牛顿投影方法，实验验证其高效性与可扩展性。
2025-10-14 cs.LG math.OC
Causal LLM Routing: End-to-End Regret Minimization from Observational Data
MIT（麻省理工学院）；IBM Research（IBM研究院）
本文提出一种基于因果推理的端到端框架，通过最小化决策遗憾从观测数据中学习大语言模型路由策略，实现高效优化和异质成本偏好的处理，实验显示优于现有方法。
2025-12-03 cs.AI cs.CL cs.LG
Variance Reduction for Policy-Gradient Methods via Empirical Variance Minimization
École Polytechnique（巴黎综合理工学院）；HSE University（俄罗斯国立高等经济大学）；University of Duisburg-Essen（杜伊斯堡-埃森大学）
强化学习（RL）中的策略梯度方法是一种非常普遍的方法，在实际应用中得到了广泛的应用，但其性能受到梯度估计的高方差的影响。提出了几种方法来减少它，包括演员-评论家（AC）和优势演员-评论家（A2 C）的方法。最近，由于深度RL的引入，这些方法有了新的视角：新的控制变量（CV）和新的子采样程序在神经网络等复杂模型的设置中变得可用。基于CV的方法的核心部分是CV训练的目标泛函，最流行的是A2 C的最小二乘准则。尽管这一标准在实践中取得了成功，但它并不是唯一可能的标准。在本文中，我们第一次调查的性能称为经验方差（EV）。我们在实验中观察到，不仅EV-标准执行不差于A2 C，但有时可以相当好。除此之外，我们还证明了一些理论保证的实际方差减少非常一般的假设下，并表明A2 C最小二乘目标泛函是EV目标的上界。我们的实验表明，在方差减少方面，基于EV的方法比A2 C好得多，并且允许更强的方差减少。
2022-06-15 cs.LG
Efficient Non-oblivious Randomized Reduction for Risk Minimization with Improved Excess Risk Guarantee
The University of Iowa（爱荷华大学）；Hang Seng Management College（恒生管理学院）；Nanjing University（南京大学）
在本文中，我们解决高维数据的学习问题。以前，基于不经意随机投影的方法将高维特征投影到随机子空间上，已经在实践中用于解决机器学习中的高维挑战。近年来，各种非遗忘随机化约简方法已经被开发和部署用于解决许多数值问题，例如矩阵乘积近似，低秩矩阵近似等。然而，它们对于机器学习任务的探索较少，例如，分类.更严重的是，理论分析的风险最小化，泛化性能的重要措施，超额风险界尚未建立非遗忘随机约简方法。因此，它仍然是一个开放的问题，使用它们比以前的不经意的随机投影为基础的方法的好处。为了解决这些挑战，我们提出了一个算法框架，采用非遗忘随机约简方法，在机器学习任务中，将原始高维特征投影到一个随机子空间上，该子空间是从具有小矩阵近似误差的数据中导出的。然后，我们推导出所提出的非遗忘随机化减少方法的第一个超额风险界，而不需要对训练数据进行强假设。所建立的超额风险界表明，该方法提供了更好的泛化性能，它也提供了更多的见解不同的随机约简方法。最后，我们进行了广泛的实验，合成和真实世界的基准数据集，其尺寸尺度为$O(10^7)$，证明我们所提出的方法的有效性。
2016-12-06 cs.LG
Transfer Meta-Learning: Information-Theoretic Bounds and Information Meta-Risk Minimization
King’s College London（伦敦国王学院）；Chalmers Institute of Technology（查尔姆斯理工大学）
元学习通过观察来自多个相关任务的数据来自动推断归纳偏差。归纳偏差由确定模型类或训练算法的方面的超参数编码，例如初始化或学习率。元学习假设学习任务属于一个任务环境，并且在元训练和元测试期间任务都是从同一个任务环境中提取的。然而，这在实践中可能不成立。在本文中，我们介绍了迁移元学习的问题，其中任务是从目标任务环境中提取的元测试过程中，可能不同于元训练过程中观察到的源任务环境。新的信息理论上界获得的转移元泛化差距，衡量元训练损失之间的差异，在元学习者，和Meta测试数据的平均损失从一个新的，随机选择的，在目标任务环境中的任务。第一个界限，在平均传输元泛化差距，通过源和目标数据分布之间的KL分歧捕获源和目标任务环境之间的元环境转移。第二，PAC贝叶斯界，和第三，单次抽奖界，占这种转变通过源和目标任务分布之间的对数似然比。此外，介绍了两种迁移元学习解决方案。对于第一个，称为经验元风险最小化（EMRM），我们得出的平均最优差距的界限。第二，称为信息元风险最小化（IMRM），是通过最小化PAC贝叶斯界。通过实验表明，IMRM可能优于EMRM。
2020-11-06 cs.IT cs.LG eess.SP
Self-training Avoids Using Spurious Features Under Domain Shift
Stanford University（斯坦福大学）
在无监督的领域自适应中，现有的理论集中在源域和目标域接近的情况下。在实践中，条件熵最小化和伪标记的工作，即使在域的位移是远远大于现有的理论分析。我们确定并分析了一个特定的设置，其中域偏移可能很大，但这些算法可证明是有效的：某些虚假特征与源域中的标签相关，但与目标中的标签无关。我们的分析认为，线性分类的虚假功能是高斯和非虚假的功能是一个混合的对数凹分布。对于这种设置，我们证明，熵最小化未标记的目标数据将避免使用虚假的功能，如果初始化一个体面的准确的源分类，即使目标是非凸的，并包含多个坏的局部极小值使用虚假的功能。我们验证了我们的理论虚假域转移任务半合成Celeb-A和MNIST数据集。我们的研究结果表明，从业者收集和自我训练大型，多样化的数据集，以减少分类器的偏见，即使标签是不切实际的。
2020-12-07 cs.LG stat.ML
Towards closing the gap between the theory and practice of SVRG
Télécom Paris（巴黎电信学院）；IPP（巴黎理工学院）；Princeton University（普林斯顿大学）；INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
最早用于解决经验风险最小化问题的方差缩减随机方法之一是SVRG方法（Johnson & Zhang 2013）。SVRG是基于内外循环的方法，其中在外循环中评估参考全梯度，之后执行内循环的$m \in \mathbb{N}$步骤，其中参考梯度用于构建当前梯度的方差减小估计。SVRG方法及其分析的简单性导致了甚至非凸优化的多种扩展和变体。我们提供了一个更一般的分析SVRG比以前做的任意采样，这使我们能够分析几乎所有形式的迷你通过一个单一的定理。此外，我们的分析重点关注SVRG的更实用变体，包括无环SVRG的新变体（Hofman et al 2015，Kovalev et al 2019，Kulunchakov and Mairal 2019）和k-SVRG的变体（Raj and Stich 2018），其中$m=n$和$n$是数据点的数量。由于我们的设置和分析反映了在实践中所做的，我们能够设置的参数，如小批量大小和步长使用我们的理论在这样一种方式，产生一个更有效的算法在实践中，我们在广泛的数值实验中显示。
2021-07-02 cs.LG math.OC
Learning Clinical Representations Under Systematic Distribution Shift
University of the Chinese Academy of Sciences（中国科学院大学）；Columbia University（哥伦比亚大学）
本文提出了一种实践不变的多模态临床预测框架，通过联合优化预测性能与抑制环境信息，提升模型在分布外情况下的鲁棒性和可转移性。
2026-03-07 cs.LG
