A Unifying Perspective on Descent Directions for Constrained Minimization and Switching Criteria
Georgia Institute of Technology（佐治亚理工学院）；Zuse Institute Berlin（柏林祖斯研究所）；Technische Universität Berlin（柏林工业大学）
本文提出Shadow-CG方法，利用负梯度投影的阴影方向作为最优下降方向，结合Frank-Wolfe顶点步，实现线性收敛，其速率依赖于投影曲线断点数而非金字塔宽度，并给出断点数量的界。
2026-10-06 cs.LG math.OC
Second-order Conditional Gradient Sliding
Technische Universität Berlin（柏林技术大学）
针对约束二阶凸优化需精确求解二次子问题的成本问题，提出无投影的SOCGS算法，在多胞体可行域下经有限线性收敛迭代后进入二次收敛，降低了高精度求解时的计算成本。
2025-06-11 cs.LG math.OC stat.ML
Efficient Sharpness-aware Minimization for Improved Training of Neural Networks
Centre for Frontier AI Research (CFAR), A*STAR（新加坡科技研究局前沿人工智能研究中心）；National University of Singapore（新加坡国立大学）；Institute of High Performance Computing (IHPC), A*STAR（新加坡科技研究局高性能计算研究所）
过度参数化的深度神经网络（DNN）通常可以实现惊人的性能，但可能会导致严重的泛化误差。最近，Foret et al.（2020）建立了损失景观的清晰度与泛化误差之间的关系，其中提出了SharpingAware Minimizer（SAM）来减轻泛化的退化。不幸的是，SAM的计算成本大约是基本优化器（如随机梯度下降（SGD））的两倍。因此，本文提出了高效的共享感知最小化器（ESAM），它提高了SAM的效率，而不牺牲其泛化性能。ESAM包括两种新颖有效的训练策略--随机权值扰动和锐度敏感数据选择。在前者中，通过在每次迭代中扰动随机选择的权重集来近似锐度度量;在后者中，仅使用对锐度敏感的明智选择的数据子集来优化SAM损失。我们提供了理论解释，为什么这些策略表现良好。我们还通过对CIFAR和ImageNet数据集的广泛实验表明，ESAM比SAM提高了效率，从需要100%的额外计算到相对于基本优化器的40%，同时保持甚至提高了测试准确度。
2022-05-28 cs.AI cs.CV cs.LG
Frank-Wolfe with Subsampling Oracle
École Normale Supérieure（巴黎高等师范学院）；UC Berkeley（加州大学伯克利分校）；ETH Zurich（苏黎世联邦理工学院）；CNRS（法国国家科学研究中心）
我们分析了两个新的随机化的弗兰克-沃尔夫（FW）或条件梯度算法的变种。经典的FW算法需要在每次迭代时求解域上的线性最小化问题，而所提出的方法只需要在原始域的小\emph{subset}上求解线性最小化问题。我们提出的第一个算法是一个随机变量的原始FW算法，并实现了$\mathcal{O}(1/t)$次线性收敛速度的确定性对应。第二算法是离开步骤FW算法的随机化变体，并且再次作为其确定性对应物，达到线性（即，指数）收敛速度，使其成为第一个可证明收敛的随机变量的离开步骤FW。在这两种情况下，虽然子采样以恒定因子降低了收敛速度，但是线性最小化步骤可以是确定性版本的成本的一小部分，特别是当数据被流式传输时。我们说明了回归问题的算法的计算收益，涉及$\ell_1$和潜在的组套索处罚。
2018-03-20 cs.LG math.OC stat.ML
MACRO: A Meta-Algorithm for Conditional Risk Minimization
IST Austria（奥地利科学技术研究所）
我们研究条件风险最小化（CRM），即学习的问题，在下一步的顺序到达相关数据的预测风险最小的假设。尽管这是一个基本问题，但到目前为止，CRM意义上的成功学习只使用理论算法来证明，这些算法不能用于实际问题，因为它们需要存储所有传入的数据。在这项工作中，我们介绍了MACRO，CRM的元算法，不受这个缺点，但仍然提供学习保证。它不是存储所有数据，而是维护和迭代更新一组学习子程序。通过适当的近似，MACRO应用于真实数据，与传统的无条件学习相比，预测性能得到了提高。
2018-11-03 cs.LG stat.ML
Regression via Implicit Models and Optimal Transport Cost Minimization
University of Minnesota（明尼苏达大学）；Virginia Tech（弗吉尼亚理工大学）；Criteo AI Lab（Criteo人工智能实验室）；LinkedIn Corporation（领英公司）
本文讨论的经典问题的回归，其中涉及到归纳学习的地图，$y=f(x,z)$，$z$表示噪声，$f:\mathbb{R}^n\times \mathbb{R}^k \rightarrow \mathbb{R}^m$。最近，条件GAN（CGAN）已被应用于回归，并已被证明是优于其他标准的方法，如高斯过程回归，鉴于其隐式建模复杂的噪声形式的能力。然而，当前CGAN的回归实现使用经典的生成器-递归架构和极小极大优化方法，由于训练不稳定或收敛失败等问题，该方法因难以训练而臭名昭著。在本文中，我们采取了另一个步骤回归模型，隐式建模的噪声，并提出了一种解决方案，直接优化的最佳运输成本之间的真实概率分布$p(y|x)$和估计分布$\hat{p}(y|x)$，并没有遭受与极大极小化方法的问题。在各种合成和真实世界的数据集上，我们提出的解决方案实现了最先进的结果。本文附带的代码可在“https://github.com/gurdaspuriya/ot_regression“上获得。
2020-03-03 cs.LG stat.ML
Conditional Risk Minimization for Stochastic Processes
IST Austria（奥地利科学技术研究所）
我们研究向非独立身份者学习的任务。数据特别是，我们的目标是学习预测器，最大限度地减少条件风险的随机过程，即预期损失的预测器上的下一个点的条件下，到目前为止观察到的训练样本集。对于非i.i.d.数据，训练集包含有关即将到来的样本的信息，因此可以期望关于条件分布的学习产生比从最小化边际风险的经典设置获得的更好的预测器。我们的主要贡献是基于非参数时间序列预测理论的条件风险的实用估计器，以及有限样本浓度界，该界在过程的某些规律性假设下建立了估计器对真实条件风险的一致收敛。
2016-03-13 cs.LG stat.ML
Structured Prediction by Conditional Risk Minimization
MIT（麻省理工学院）
我们提出了一个一般的方法，监督学习结构化的输出空间，如组合和多面体集，这是基于最小化估计的条件风险函数。给定一个定义在输出标签对上的损失函数，我们首先通过解决一个（可能是无限的）正则化最小二乘问题来估计条件风险函数。预测是通过解决一个推理问题，最大限度地减少估计的条件风险函数的输出空间。我们表明，这种方法使，在某些情况下，有效的训练和推理，而不显式地引入一个凸代理的原始损失函数，即使它是不连续的。对真实世界和合成数据集的实证评估表明，我们的方法在适应各种损失函数的有效性。
2017-02-26 cs.LG stat.ML
Conditional Density Estimation with Dimensionality Reduction via Squared-Loss Conditional Entropy Minimization
Tokyo Institute of Technology（东京工业大学）
回归的目的是在给定输入的情况下估计输出的条件均值。然而，回归是不够的信息，如果条件密度是多峰，异方差，和不对称的。在这种情况下，估计条件密度本身是优选的，但是条件密度估计（CDE）在高维空间中是具有挑战性的。处理高维的一种简单方法是首先执行降维（DR），然后执行CDE。然而，这样的两步过程在实践中执行得不好，因为在第一DR步骤中引起的误差可能在第二CDE步骤中被放大。在本文中，我们提出了一种新的单次拍摄过程，同时进行CDE和DR在一个集成的方式。我们的主要思想是制定DR作为最小化的条件熵的平方损失变量的问题，这是通过CDE解决。因此，一个额外的CDE步骤是不需要DR后。我们证明了所提出的方法的有用性，通过广泛的实验，包括人形机器人过渡和计算机艺术的各种数据集。
2014-04-28 cs.LG stat.ML
Conditional entropy minimization principle for learning domain invariant representation features
Tufts University（塔夫茨大学）；Boston University（波士顿大学）
基于不变性原理的方法，如不变性风险最小化（Invariant Risk Minimization，简称DG），最近成为领域泛化（Domain Generalization，简称DG）的一种有前途的方法。尽管有前途的理论，这种方法失败，在常见的分类任务，由于真实不变特征和虚假不变特征的混合。为了解决这个问题，我们提出了一个框架的基础上的条件熵最小化（CEM）的原则，过滤掉虚假的不变特征，导致一个新的算法具有更好的泛化能力。我们表明，我们提出的方法是密切相关的著名的信息瓶颈（IB）框架，并证明在一定的假设下，熵最小化可以准确地恢复真正的不变特征。我们的方法提供了有竞争力的分类精度相比，最近的理论原则的国家的最先进的替代品在几个DG数据集。
2022-07-10 cs.AI cs.LG
Super-Level-Set Regression: Conditional Quantiles via Volume Minimization
Sierra team, Inria Paris, France（Inria巴黎研究所）
本文提出超水平集回归，通过直接优化几何边界，解决多变量回归中构造满足条件覆盖的最小体积预测区域的挑战，替代传统密度估计方法。
2026-05-07 cs.AI cs.LG stat.AP
Stochastic Conditional Gradient Methods: From Convex Minimization to Submodular Maximization
Massachusetts Institute of Technology（麻省理工学院）；University of Pennsylvania（宾夕法尼亚大学）；Yale University（耶鲁大学）
本文考虑一类目标函数的随机最优化问题，其中包括凸的和连续的子模。随机近端梯度法已被广泛用于解决这类问题，然而，当问题维数很大，投影到一个凸集是昂贵的，他们的适用性仍然有限。相反，随机条件梯度法被提出作为一种替代解决方案，依赖于（i）通过简单的平均技术近似梯度，每次迭代需要一个单一的随机梯度评估;（ii）求解线性规划来计算下降/上升方向。平均技术降低了噪声的梯度近似随着时间的推移，并取代投影步骤在近似方法由一个线性规划降低了每次迭代的计算复杂性。我们表明，在凸性和光滑性的假设下，我们提出的方法收敛到最佳的目标函数值在一个次线性率$O(1/t^{1/3})$。此外，对于单调和连续的DR-子模函数和一般凸体约束，我们证明了我们提出的方法实现了$((1-1/e)OPT-\eps)$保证与$O(1/\eps^3)$随机梯度计算。这种保证匹配已知的硬度结果，并关闭确定性和随机连续子模最大化之间的差距。此外，对于目标函数是连续的DR-次模但非单调的，且约束集是下闭的情形，我们利用$O(1/\eps^3)$随机梯度得到了$((1/e)OPT -\eps)$保证.通过使用随机连续优化作为一个接口，我们提供了第一个$(1-1/e)$紧逼近保证最大化的单调，但随机子模集函数的拟阵约束和$(1/e)$逼近保证的非单调的情况下。
2018-11-12 cs.LG math.OC stat.ML
Domain Generalization via Domain-based Covariance Minimization
Georgia Institute of Technology（佐治亚理工学院）
数据生成机制受内外部因素的影响，导致训练数据和测试数据的分布差异很大，传统的训练集分类或回归方法在测试数据上无法取得满意的结果，这一直是研究者面临的难题。在本文中，我们解决这个非平凡的域推广问题，找到一个中心子空间，其中基于域的协方差最小化，同时最大限度地保持功能关系。提出了一种新的多域方差度量方法，以最小化各域间条件分布的差异，并得到了理论上的证明和支持，同时通过最大化给定输出的条件期望方差，保持了函数关系.此外，我们还提供了一个快速的实现，需要更少的计算和更小的内存，大规模的矩阵运算，不仅适用于域的推广，但也适合其他基于核的特征值分解。为了显示所提出的方法的实用性，我们比较我们的方法对一些著名的降维和域综合技术的合成数据和现实世界的应用。我们表明，对于小规模的数据集，我们能够实现更好的定量结果，表明在看不见的测试数据集更好的泛化性能。对于大规模的问题，建议的快速实现保持定量的性能，但在一个显着降低计算成本。
2021-10-12 cs.LG stat.ML
Empirical Risk Minimization under Fairness Constraints
Istituto Italiano di Tecnologia（意大利理工学院）；University of Genova（热那亚大学）；University of Waterloo（滑铁卢大学）；University College London（伦敦大学学院）
我们解决算法公平性的问题：确保敏感变量不会不公平地影响分类器的结果。我们提出了一种基于经验风险最小化的方法，它将公平性约束纳入学习问题。它鼓励学习分类器的条件风险相对于敏感变量近似恒定。我们得到的风险和公平的界限，支持我们的方法的统计一致性。我们指定我们的方法核方法，并观察到公平性的要求意味着可以很容易地添加到这些方法的正交约束。我们进一步观察到，对于线性模型，约束转化为一个简单的数据预处理步骤。实验表明，该方法是经验有效的，并表现出良好的国家的最先进的方法。
2020-01-31 cs.LG stat.ML
Stochastic Frank-Wolfe for Constrained Finite-Sum Minimization
University of California, Berkeley（加州大学伯克利分校）；ETH Zurich（苏黎世联邦理工学院）；SumUp Analytics（SumUp分析公司）；Max-Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；MIT Sloan School of Management（麻省理工学院斯隆管理学院）；Google Research（谷歌研究院）
我们提出了一种新的随机Frank-Wolfe（a.k.a.条件梯度）算法的约束光滑有限和最小化与广义线性预测/结构。这类问题包括具有稀疏、低秩或其他结构化约束的经验风险最小化。该方法实现简单，不需要调整步长，并且具有与数据集大小无关的恒定每次迭代成本。此外，作为该方法的副产品，我们得到的Frank-Wolfe间隙的随机估计，可以用作停止准则。根据设置，所提出的方法匹配或改进的最佳计算保证随机弗兰克-沃尔夫算法。几个数据集上的基准突出了不同的制度，其中所提出的方法表现出更快的经验收敛比相关的方法。最后，我们在一个开源包中提供了所有考虑的方法的实现。
2022-09-08 cs.LG math.OC
On the Fine-Grained Complexity of Empirical Risk Minimization: Kernel Methods and Neural Networks
MIT（麻省理工学院）
经验风险最小化（ERM）在机器学习中无处不在，并且是大多数监督学习方法的基础。虽然已经有大量的工作，各种ERM问题的算法，确切的计算复杂性的ERM仍然没有被理解。我们解决这个问题的多个流行的ERM问题，包括内核支持向量机，内核岭回归，并训练神经网络的最后一层。特别是，我们给这些问题的复杂性理论假设的基础上，如强指数时间假设的条件硬度结果。在这些假设下，我们表明，有没有算法，解决上述ERM问题的高精度次二次时间。我们也给出了类似的硬度结果计算梯度的经验损失，这是主要的计算负担，在许多非凸学习任务。
2017-04-10 cs.CC cs.DS cs.LG
Model Function Based Conditional Gradient Method with Armijo-like Line Search
Univeristy of Göttingen（哥廷根大学）；Saarland University（萨尔大学）
将条件梯度法推广到一类非光滑非凸优化问题，在机器学习中有着广泛的应用。该算法通过在约束集上最小化所谓的模型函数来迭代。补充Amijo线搜索程序，我们证明了连续收敛到一个稳定点。模型函数的抽象框架为具体算法的设计提供了极大的灵活性。作为特殊情况，例如，我们开发了一个算法添加剂复合问题和算法的非线性复合问题，导致高斯-牛顿型算法。这两个例子在非光滑非凸优化中是新颖的，并且在机器学习中有许多应用。此外，我们得到了一个混合版本的条件梯度和邻近最小化计划的免费，它结合了两者的优点。我们的算法表现出良好的稀疏非线性鲁棒回归问题，我们讨论了所提出的框架在几个矩阵分解公式的灵活性。
2019-01-23 cs.LG math.OC
Game-Theoretic Algorithms for Conditional Moment Matching
Carnegie Mellon University（卡内基梅隆大学）；Aurora Innovation（极光创新公司）
计量经济学和机器学习中的各种问题，包括工具变量回归和贝尔曼残差最小化，都可以表示为满足一组条件矩约束（CMR）。我们推导出一个一般的，博弈论的策略，满足CMR规模的非线性问题，是服从于基于梯度的优化，并能够占有限样本的不确定性。我们恢复Dikkala等人的方法。和Dai等人。在详细说明各种扩展以及如何有效地解决CMR定义的游戏之前，作为我们的一般框架的特殊情况。
2022-08-19 cs.GT cs.LG
Adaptive Sampling for Stochastic Risk-Averse Learning
ETH Zurich（苏黎世联邦理工学院）；Technion（以色列理工学院）；MIT（麻省理工学院）
在高风险的机器学习应用中，不仅要在平均水平上表现良好，而且要在限制于困难的示例时表现良好。为了解决这个问题，我们考虑以风险规避的方式训练模型的问题。我们提出了一个自适应抽样算法随机优化的条件风险价值（CVaR）的损失分布，衡量其性能的$α$部分最困难的例子。我们使用一个分布鲁棒的制定CVaR短语的问题作为两个玩家之间的零和游戏，并有效地解决它使用遗憾最小化。我们的方法依赖于从结构化的决定性点过程（DPP）中采样，这使得它能够扩展到大型数据集。最后，我们实证证明了其有效性的大规模凸和非凸学习任务。
2020-11-06 cs.LG stat.ML
Self-sufficient Independent Component Analysis for Demixing Flows
University of Bristol（布里斯托大学）
本文提出通过KL最小化流实现自给自足的独立成分分析，无需先验假设，有效解决信号重构问题。
2026-10-14 cs.LG stat.ML
A Meta-learner for Heterogeneous Effects in Difference-in-Differences
Microsoft Research（微软研究院）
提出一种双重稳健元学习器，用于在双重差分框架下估计面板数据的异质处理效应，利用Neyman正交性保证对辅助模型误差的稳健性，并扩展至协变量偏移与工具化设置，实证显示优于现有基线。
2025-04-26 cs.LG stat.ML
Bias-Constrained Diffusion Schedules for PDE Emulations: Reconstruction Error Minimization and Efficient Unrolled Training
Technical University of Munich（慕尼黑工业大学）
本文提出适应性噪声调度和代理展开训练方法，通过减少重构误差和计算成本提升PDE仿真的短期精度和长期稳定性。
2026-04-10 cs.LG
Gap Minimization for Knowledge Sharing and Transfer
University of Western Ontario（西安大略大学）；Massachusetts Institute of Technology（麻省理工学院）；Université Laval（拉瓦尔大学）；Beihang University（北京航空航天大学）；McGill University（麦吉尔大学）；University of Pennsylvania（宾夕法尼亚大学）
在过去二十年中，通过知识共享和转让从多个相关任务中学习变得越来越重要。为了成功地将信息从一个任务转移到另一个任务，理解域之间的相似性和差异性至关重要。在本文中，我们介绍了\emph{performance gap}的概念，一个直观的和新颖的测量学习任务之间的距离。与用作约束任务之间预期风险差异的工具的现有措施不同（例如，$\mathcal{H}$-发散或差异距离），我们从理论上表明，性能差距可以被视为一个数据和算法相关的正则化，控制模型的复杂性，并导致更好的保证。更重要的是，它还提供了新的见解，并激发了一个新的原则，设计战略的知识共享和转让：差距最小化。我们实例化这一原则与两个算法：1。gapBoost，一种新颖且有原则的提升算法，其显式地最小化用于迁移学习的源域与目标域之间的性能差距;以及2. gapMTNN是一种表示学习算法，它将间隙最小化重新表述为多任务学习的语义条件匹配。我们对迁移学习和多任务学习基准数据集的广泛评估表明，我们的方法优于现有的基线。
2023-01-13 cs.AI cs.LG
Out-of-distribution Prediction with Invariant Risk Minimization: The Limitation and An Effective Fix
Arizona State University（亚利桑那州立大学）；Microsoft Research（微软研究院）；Caltech（加州理工学院）
本文研究了分布外（out-of-distribution，OOD）预测问题，其中（1）训练数据来自多个域，（2）测试域在训练中不可见。DNN在OOD预测中失败，因为它们容易获得虚假的相关性。最近，不变风险最小化（Invariant Risk Minimization，简称RST）被提出来解决这个问题。其有效性已在有色MNIST实验中得到证实。然而，我们发现，在\emph{strong $Λ$ spuriousness}下，当虚假特征和类标签之间的虚假相关性很强时，由于它们的共同原因（域标签）对它们两者的因果影响很强时，ESTA的性能会显著下降（见图1）。在这项工作中，我们试图回答的问题：为什么在上述设置中的ESTA失败？为什么RISK适用于原始的彩色MNIST数据集？我们怎样才能解决这一问题？然后，我们提出了一个简单而有效的方法来解决这个问题。我们结合了条件分布匹配，以避免一个特定类型的虚假相关性强$Λ$虚假。经验上，我们设计了一系列的半合成数据集-彩色MNIST加，暴露的问题，并证明了所提出的方法的有效性。
2021-02-22 cs.AI cs.LG
