Faster Stochastic Variance Reduction Methods for Compositional MiniMax Optimization
Central South University(中南大学);Beijing Institute of Technology(北京理工大学)
针对组合极小极大优化现有方法复杂度次优、依赖大批次的问题,提出NSTORM及自适应版本ADA-NSTORM,达最优样本复杂度且无需大批次,实验验证了其效率。
2023-12-12 cs.LG math.OC
Finite-Sum Coupled Compositional Stochastic Optimization: Theory and Applications
The University of Iowa(爱荷华大学);Texas A&M University(德州农工大学)
本文提出有限和耦合组合优化(FCCO)问题,针对非凸与凸目标给出带小批量移动平均估计的随机算法收敛分析,实现并行加速的改进预言复杂度,实验验证了理论结论。
2023-06-12 cs.LG math.OC
Stochastic Compositional Gradient Descent under Compositional Constraints
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);Ecole Polytechnique Federale de Lausanne(洛桑联邦理工学院)
本文研究了约束随机优化问题,其中目标函数和约束函数都是凸的,并表示为随机函数的组合。这个问题出现在公平分类、公平回归和排队系统设计的背景下。特别令人感兴趣的是大规模的设置,其中一个预言机提供了组成函数的随机梯度,目标是用最少数量的调用来解决问题。由于组合形式,由预言机提供的随机梯度不产生目标或约束梯度的无偏估计。相反,我们通过跟踪内部函数的评估来构造近似梯度,从而得到准梯度鞍点算法。我们证明了所提出的算法是保证找到最优的和可行的解决方案几乎肯定。我们进一步建立所提出的算法需要$\mathcal{O}(1/ε^4)$数据样本,以获得一个$ε$近似的最佳点,同时也确保零约束违反。结果匹配的随机成分梯度下降方法的无约束问题的样本复杂性,并提高了最知名的样本复杂性的结果的约束设置。公平分类和公平回归问题的算法的有效性进行了测试。数值结果表明,所提出的算法优于国家的最先进的算法的收敛速度。
2022-09-10 cs.LG
Stability and Generalization of Stochastic Compositional Gradient Descent Algorithms
University at Albany, SUNY(纽约州立大学奥尔巴尼分校);Texas A&M University(德克萨斯农工大学)
本文在统计学习理论框架下,通过引入组合均匀稳定性概念,首次分析了随机组合梯度下降算法(SCGD和SCSC)的稳定性与泛化性,并推导出维度无关的超额风险界。
2023-11-21 cs.LG stat.ML
Multi-block-Single-probe Variance Reduced Estimator for Coupled Compositional Optimization
Nanjing University(南京大学);the University of Iowa(爱荷华大学);Texas A&M University(得克萨斯农工大学)
方差减少技术,如SPIDER/SARAH/STORM已被广泛研究,以提高收敛速度的随机非凸优化,通常保持和更新一个序列的估计一个单一的功能跨越迭代。如果我们需要在迭代中跟踪多个函数映射,但只能在每次迭代中访问$\mathcal{O}(1)$函数映射的随机样本,该怎么办?有一个重要的应用,在解决一个新兴的家庭的耦合组合优化问题的形式$\sum_{i=1}^m f_i(g_i(\mathbf{w}))$,其中$g_i$是通过一个随机预言机访问。关键问题是跟踪和估计跨迭代的$\mathbf g(\mathbf{w})=(g_1(\mathbf{w}), \ldots, g_m(\mathbf{w}))$序列,其中$\mathbf g(\mathbf{w})$具有$m$块,并且仅允许探测$\mathcal{O}(1)$块以获得它们的随机值和雅可比矩阵。为了提高解决这些问题的复杂性,我们提出了一种新的随机方法称为多块单探针方差缩减(MSVR)估计跟踪序列的$\mathbf g(\mathbf{w})$。它受到STORM的启发,但引入了定制的纠错项,以减轻不仅在所选块的随机样本中的噪声,而且在未采样的那些块中的噪声。在MSVR估计器的帮助下,我们开发了几种算法,用于解决上述组合问题,并在非凸/凸/强凸/Polyak-Jasojasiewicz(PL)目标的设置范围内提高了复杂性。我们的结果在几…
2022-12-30 cs.LG math.OC
Compositional Stochastic Average Gradient for Machine Learning and Related Applications
The Pennsylvania State University(宾夕法尼亚州立大学);College of Information Science and Technology(信息科学与技术学院);Department of Computer Science and Engineering(计算机科学与工程系)
许多机器学习、统计推断和投资组合优化问题需要期望价值函数组合(CEVF)的最小化。特别感兴趣的是有限和版本的组合优化问题(FS-CEVF)。组合随机方差约减梯度(C-SVRG)方法结合了随机组合梯度下降(SCGD)和随机方差约减梯度下降(SVRG)方法,是求解FS-CEVF问题的最新方法。本文介绍了合成随机平均梯度下降法(C-SAG),它是随机平均梯度法(SAG)的一种新的扩展,用于最小化有限和函数的合成。与SAG类似,C-SAG通过合并先前梯度信息的记忆来估计梯度。我们提出了C-SAG的理论分析表明,C-SAG,SAG,和C-SVRG,实现了线性收敛速度时,目标函数是强凸的,但C-CAG实现了较低的Oracle查询的复杂度比C-SVRG每次迭代。最后,我们提出的实验结果表明,C-SAG收敛速度大大快于全梯度(FG),以及C-SVRG。
2018-09-07 cs.CC cs.LG stat.ML
Optimal Momentum Methods for Stochastic Multilevel Compositional Optimization
Nanjing University of Science and Technology(南京理工大学);Nanjing University(南京大学);Zhejiang University(浙江大学)
本文提出动量估计器与小批量技术,实现随机多级组合优化的最优样本复杂度,无需强平均光滑假设,并通过实验验证有效性。
2026-10-02 cs.LG math.OC
Projection-Free Variance Reduction Methods for Stochastic Constrained Multi-Level Compositional Optimization
Nanjing University(南京大学);Zhejiang University(浙江大学)
本文针对随机约束多层级复合优化提出无投影方差缩减算法,在梯度映射和Frank-Wolfe间隙准则下均达到或匹配最优复杂度,并扩展至凸与强凸情形,实验验证了其有效性。
2024-06-06 cs.LG math.OC
Decentralized Multi-Level Compositional Optimization Algorithms with Level-Independent Convergence Rate
Temple University(天普大学)
本文研究去中心化随机多层组合优化问题,提出两种新颖的去中心化优化算法,在比现有单机算法更温和的条件下首次实现了与层数无关的非凸收敛速率,并通过大量实验验证了其有效性。
2024-05-31 cs.LG
Nearly Optimal Robust Method for Convex Compositional Problems with Heavy-Tailed Noise
University of Iowa(爱荷华大学)
在本文中,我们提出了鲁棒随机算法求解形式为$f(\E_ξg(\cdot; ξ)) + r(\cdot)$的凸合成问题,通过建立{ \bf sub-Gaussian置信界}在弱假设下的噪声分布,即,{ \bf heavy-tailed noise}具有有界二阶矩。可以通过使用将低概率收敛结果提升为高概率结果的现有提升策略来实现该目标。然而,拼凑现有的解决组合问题的结果有几个缺点:(i)提升技术需要强凸的目标;(ii)它需要一个单独的算法来处理非光滑的$r$ ;(iii)它也遭受了额外的多对数因子的条件数。为了解决这些问题,我们直接开发了一个单次试验随机算法最小化最优强凸组合目标,它有一个接近最优的高概率收敛结果匹配的随机强凸优化的下限的对数因子。据我们所知,这是第一个工作,建立了近最佳的次高斯置信区间的组合问题下重尾假设。
2020-06-17 cs.LG stat.ML
Stochastic Momentum Methods for Non-smooth Non-Convex Finite-Sum Coupled Compositional Optimization
Department of CSE, Texas A&M University(计算机科学与工程系,德克萨斯农工大学);Tippie College of Business, The University of Iowa(泰普斯商学院,爱荷华大学)
针对非凸非光滑有限和耦合组合优化现有方法迭代复杂度高、不适用深度学习的问题,提出带收敛保证的随机动量方法,将迭代复杂度降至$O(1/ε^5)$,还拓展至带不等式约束的非凸优化,实验验证了有效性。
2025-10-29 cs.LG
Solving Finite-sum Coupled Compositional Optimization via Multi-block-Single-probe Estimator
Nanjing University of Science and Technology(南京理工大学);Nanjing University(南京大学)
针对有限和耦合组合优化问题,提出多块单探针方差缩减估计器,在部分块采样下高效追踪多函数,改进非凸等目标的样本复杂度,并在多任务深度AUC最大化中验证优越性。
2026-09-15 cs.LG math.OC
Zeroth-order Stochastic Compositional Algorithms for Risk-Aware Learning
Yale University(耶鲁大学);Princeton University(普林斯顿大学)
我们提出了$\textit{Free-MESSAGE}^{p}$,第一个零阶算法(弱)凸的均值-半指数为基础的风险感知学习,这也是第一个三级零阶组合随机最优化算法。使用非平凡的扩展Nesterov的经典结果高斯平滑,我们开发的$\textit{Free-MESSAGE}^{p}$算法从第一原则,并表明,它基本上解决了一个平滑的替代原来的问题,前者是一个一致逼近,后者,在一个有用的,方便的意义。然后,我们提出了一个完整的分析的$\textit{Free-MESSAGE}^{p}$算法,它建立了收敛在一个用户可调邻域的最优解的凸成本,以及明确的收敛速度凸,弱凸,强凸成本,并在一个统一的方式。顺序,并为固定的问题参数,我们的研究结果表明,没有牺牲收敛速度相比,现有的一阶方法,同时达到一定的平衡之间的条件的问题,它的维数,以及所获得的结果的准确性,自然扩展以前的结果在零阶风险中性学习。
2021-12-13 cs.LG cs.SY eess.SP
Improved Oracle Complexity of Variance Reduced Methods for Nonsmooth Convex Stochastic Composition Optimization
考虑了目标函数为两个有限和函数复合的非光滑凸复合最优化问题,分析了随机复合方差约化梯度(SCVRG)方法. SCVRG及其变体最近因其优于随机成分梯度下降(SCGD)而引起了广泛关注;但理论分析仅假设目标的强凸性,排除了几个重要的例子,如Lasso,逻辑斯谛回归,主成分分析和深度神经网络。相比之下,我们证明了非渐近增量的一阶预言(IFO)复杂性SCVRG或其新的变种非光滑凸组合优化,并表明它们是可证明的速度比SCGD和梯度下降。更具体地说,我们的方法实现了总的IFO复杂度的$O\left((m+n)\log\left(1/ε\right)+1/ε^3\right)$,提高了$O\left(1/ε^{3.5}\right)$和$O\left((m+n)/\sqrtε\right)$分别获得SCGD和加速梯度下降(AGD)。实验结果证实,我们的方法优于几个现有的方法,例如,稀疏均值-方差最优化问题的SCGD和AGD。
2019-07-30 cs.LG math.OC
Katyusha Acceleration for Convex Finite-Sum Compositional Optimization
Rensselaer Polytechnic Institute(伦斯勒理工学院)
在许多应用中出现结构化问题。为了解决这些问题,重要的是利用结构信息。本文主要研究具有有限和组合结构的凸问题。随机和问题是一个随机最优化问题的样本平均近似,也出现在机器学习与大量的训练数据。有限和问题的一种常用数值方法是随机梯度法(SGM)。然而,额外的组合结构禁止容易地获得无偏的随机逼近的梯度,所以直接应用SGM有限和组合优化问题(COP)往往是低效的。我们设计了新的算法来解决强凸和凸两级有限和COP。我们的设计结合了卡秋莎加速技术,并采用了小批量抽样从外层和内层有限和。我们首先分析了强凸有限和COP的算法。类似于一些现有的作品,我们得到线性收敛速率的预期目标误差,并从收敛速度的结果,然后,我们建立复杂性的结果,算法产生一个$\varepsilon$ -解决方案。我们的复杂性的结果有相同的依赖于组件功能的数量现有的作品。然而,由于使用喀秋莎加速,我们的结果有更好的依赖于条件数$κ$和改善$κ^{2.5}$从最著名的$κ^3$。最后,我们分析了凸有限和COPs的算法,它使用强凸有限和COPs的算法作为子程序。再次,我们获得了更好的复杂性结果比现有的作品在$\varepsilon$的依赖,改善$\varepsilon^{-2.5}$从最有名的$\varepsilon^{-3}$。
2021-03-24 cs.LG cs.NA math.NA
Compositional optimization of quantum circuits for quantum kernels of support vector machines
University of British Columbia(不列颠哥伦比亚大学);Stewart Blusson Quantum Matter Institute(斯图尔特·布鲁森量子物质研究所)
虽然量子机器学习(ML)已被认为是量子计算最有前途的应用之一,但如何构建优于经典ML的量子ML模型仍然是一个主要的开放问题。在这里,我们展示了一个贝叶斯算法构建量子内核的支持向量机,适应量子门序列的数据。该算法通过附加以贝叶斯信息准则选择的量子门作为电路选择度量,并对识别出的局部最优量子线路的参数进行贝叶斯优化,从而逐步增加了量子线路的复杂度。我们的目标是为SVM构建量子内核,可以用尽可能少的训练数据解决分类问题。这里考虑的分类问题的量子模型的性能显着超过传统内核的优化经典模型。
2023-03-08 cs.LG quant-ph
Tighter Analysis of Alternating Stochastic Gradient Method for Stochastic Nested Problems
Rensselaer Polytechnic Institute(伦斯勒理工学院);University of California, Los Angeles(加州大学洛杉矶分校)
随机嵌套优化,包括随机组合优化、最小最大优化和双层优化,在许多机器学习应用中越来越受欢迎。虽然这三个问题共享的嵌套结构,现有的作品往往把它们分开,从而开发特定问题的算法和分析。在各种令人兴奋的发展中,简单的SGD型更新(可能是多个变量)在解决这类嵌套问题中仍然很普遍,但与非嵌套问题相比,它们的收敛速度较慢。本文将求解随机嵌套问题的几种SGD型修正方法统一为一种SGD方法,我们称之为交替随机梯度法(ALSET)。通过利用隐藏的光滑性问题,本文提出了一个更严格的分析ALSET随机嵌套问题。在新的分析下,要实现嵌套问题的$ε$ -平稳点,需要${\cal O}(ε^{-2})$样本。在一定的正则条件下,将我们的结果应用于随机组合,最小最大和强化学习问题,可以提高或匹配相应情况下最知名的样本复杂度。我们的研究结果解释了为什么简单的SGD型算法在随机嵌套问题中都工作得很好,在实践中,而不需要进一步的修改。
2021-06-25 cs.LG math.OC stat.ML
Federated Compositional Muon Optimizer for Matrix-Wise Models
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院)
针对现有Muon优化器不适用于分层结构化问题的缺陷,提出FedCoMuon及FedCoMuon-VR优化器,理论分析其收敛性并通过实验验证其在联邦学习等任务中的性能优于基线方法。
2026-08-19 cs.LG math.OC
Faster Adaptive Momentum-Based Federated Methods for Distributed Composition Optimization
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
联邦学习是机器学习中一种流行的分布式学习范式。同时,组合优化是一种有效的分层学习模型,它出现在许多机器学习应用中,如元学习和鲁棒学习。最近,虽然已经提出了一些联邦组合优化算法,但它们仍然受到高样本和通信复杂性的困扰。因此,在本文中,我们提出了一类更快的联邦组合优化算法(即,MFCGD和AdaMFCGD)来求解非凸分布组合问题,该方法建立在基于动量的方差缩减和局部SGD技术的基础上。特别是,我们的自适应算法(即,AdaMFCGD)使用统一的自适应矩阵来灵活地合并各种自适应学习率。此外,我们提供了一个坚实的理论分析,我们的算法在非独立同分布。设置,并证明我们的算法获得了较低的样本和通信复杂性同时比现有的联邦组合算法。具体来说,我们的算法获得较低的样本复杂度的$\tilde{O}(ε^{-3})$与较低的通信复杂性的$\tilde{O}(ε^{-2})$在寻找一个$ε$ -平稳的解决方案。我们在鲁棒的联邦学习和分布式元学习任务上进行了数值实验,以证明我们的算法的效率。
2023-03-30 cs.LG math.OC
Estimation for Compositional Data using Measurements from Nonlinear Systems using Artificial Neural Networks
Schlumberger(斯伦贝谢)
我们的目标是通过一个未知的系统,估计逆的原始系统的训练集后,从其输出响应估计未知的成分输入。所提出的方法,使用人工神经网络(ANN)可以竞争的线性系统,凸优化理论适用的最佳界限,并展示了有前途的结果,为非线性系统反演。我们通过设计许多不同类型的非线性系统进行了广泛的实验。
2020-01-24 cs.LG cs.NE math.OC
Stochastic Learning Rate Optimization in the Stochastic Approximation and Online Learning Settings
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Nevada(内华达大学)
在这项工作中,乘性随机适用于学习率的随机最优化算法,从而产生随机学习率计划。随机梯度下降配备这种新的随机学习率计划下的随机设置,以及在线优化设置下的收敛结果的预期理论收敛结果。实证结果考虑的情况下,自适应均匀分布的乘法随机性,不仅包括随机梯度下降,但也配备了随机学习率的其他流行的算法。相对于其确定性学习率版本,它们表现出明显的优化性能增益。
2022-03-21 cs.LG math.OC
A Factorial Mixture Prior for Compositional Deep Generative Models
DeepMind(深度思维)
我们假设一个高维的数据,像一个图像,是一组属性的组合表达,与数据和它的属性之间的复杂的非线性关系。本文提出了一种用于捕获潜在属性的阶乘混合先验,从而为深度生成模型添加了结构化组合。先验将潜在向量视为属于子空间的笛卡尔积,每个子空间都用高斯混合模型单独量化。只要存在标记的属性,就可以将某些混合成分设置为将属性表示为观察到的随机变量。通过随机变分推断和梯度下降的组合,学习如何推断离散属性的方法,在无监督或半监督的方式概述和经验评估。
2018-12-18 cs.AI cs.LG stat.ML
Compositionality Emerges in a Narrow Depth-Connectivity Regime: Architecture Constraints and Solution Manifolds
National University of Singapore(新加坡国立大学);University of Twente(特温特大学)
研究发现组合性仅在特定稀疏网络和特定深度区间涌现,提出基于相似性的剪枝和深度预测方法,并用理论框架解释原因。
2026-06-19 cs.LG
Federated Compositional Deep AUC Maximization
Temple University(天普大学);Texas A&M University(德克萨斯农工大学)
针对联邦学习中数据类别高度不平衡导致预测性能差的问题,提出直接优化AUC的联邦组合极小极大优化方法,开发带动量的本地随机组合梯度下降上升算法并给出复杂度界限,大量实验验证了其有效性。
2024-05-31 cs.LG
A Learning Theory in Linear Systems under Compositional Models
Schlumberger(斯伦贝谢)
我们提出了一个学习理论的线性系统运营商的培训有一个输入组成变量,并提出了贝叶斯反演方法推断未知变量从一个嘈杂的线性系统的输出。我们假设我们对算子有部分甚至没有知识,但有输入和输出的训练数据。组成变量满足变量的元素都是非负的并且总和为1的约束。我们量化了训练算子的不确定性,并以显式形式给出了随机组合模型下几种有趣情况下的训练收敛率。训练的线性算子与协方差阵,估计从地面实况输入和噪声输出数据对的训练集,进一步用于评估解决方案的后验不确定性。这种后验不确定性清楚地表明了来自噪声训练数据的不确定性传播,并解决了最终解决方案中真实算子和估计算子之间可能存在的不匹配。
2018-06-29 cs.LG stat.ML
A Geometry-Aware Efficient Algorithm for Compositional Entropic Risk Minimization
Texas A\&M University(德克萨斯A&M大学);University of Texas, Austin(德克萨斯大学奥斯汀分校);National Taiwan University(国立台湾大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对组合熵风险最小化问题,提出几何感知随机算法SCENT,利用负指数函数诱导的Bregman散度进行随机近端镜像下降,实现凸问题O(1/√T)收敛率,并在极端分类、部分AUC最大化等任务中优于基线。
2026-06-25 cs.LG
A Compositional Object-Based Approach to Learning Physical Dynamics
MIT(麻省理工学院)
我们提出了神经物理引擎(NPE),这是一个用于学习直观物理模拟器的框架,它可以自然地概括可变的对象数量和不同的场景配置。我们提出了一个可组合的基于对象的表示和一个神经网络架构,其组成结构分解成成对的相互作用的对象动态的一个物理场景的分解。像一个符号物理引擎一样,NPE被赋予了对象及其相互作用的通用概念;实现为神经网络,它可以通过随机梯度下降进行训练,以适应不同世界的特定对象属性和动态。我们评估我们的方法在二维世界中的简单刚体动力学的功效。通过比较结构化程度较低的架构,我们表明,NPE的组成表示的结构在物理相互作用提高了其预测运动的能力,概括在变量对象计数和不同的场景配置,并推断潜在的属性的对象,如质量。
2017-03-04 cs.AI cs.LG
Approximation and learning with compositional tensor trains
Weierstrass Institute for Applied Analysis and Stochastics, Berlin, Germany(魏泽拉斯应用分析与随机学研究所,柏林,德国);Centrale Nantes, Nantes Université, Laboratoire de Mathématiques Jean Leray UMR CNRS 6629, France(南特中央理工大学,南特大学,让·勒拉伊数学实验室,法国)
本文提出组合张量列车(CTTs)作为多变量函数近似的新方法,结合了组合模型的表达力与张量代数的高效算法,为深度神经网络提供了一种更可扩展的替代方案。
2025-12-19 cs.LG cs.NA math.NA
Distributed Linear Regression with Compositional Covariates
Soochow University(苏州大学);Southwest Jiaotong University(西南交通大学)
针对海量成分数据,提出基于ADMM和CDMM框架的集中式与去中心化分布式稀疏惩罚线性对数对比模型优化算法,并严格建立其收敛理论与数值验证。
2023-10-21 cs.LG stat.ML
Stochastic Recursive Variance Reduction for Efficient Smooth Non-Convex Compositional Optimization
Peking University(北京大学);University of Rochester(罗切斯特大学);Kwai Inc.(快手公司)
随机组合优化出现在许多重要的机器学习任务中,例如强化学习和投资组合管理中的价值函数评估。目标函数是随机函数的两个期望的组合,并且比普通随机最优化问题更具有挑战性。本文研究了一般光滑非凸环境下的随机合成优化问题。我们采用最近发展起来的\textit{Stochastic Recursive Gradient Descent}的思想设计了一个新的算法SARAH-Compositional,并证明了一个尖锐的增量一阶Oracle(IFO)复杂性上界:$\mathcal{O}((n+m)^{1/2} \varepsilon^{-2})$在有限和情况下和$\mathcal{O}(\varepsilon^{-3})$在线的情况下.这样的复杂性是已知的最好的一个IFO复杂性结果的非凸随机组合优化,并被认为是最优的。我们的实验验证了我们的算法的理论性能。
2020-01-25 cs.LG math.OC stat.ML
Stochastic Compositional Optimization with Compositional Constraints
Department of Industrial Engineering and Decision Analytics, The Hong Kong University of Science and Technology(香港理工大学工业工程与决策分析系);School of Industrial Engineering, Purdue University(普渡大学工业工程学院);Department of Biostatistics and Bioinformatics, Duke University(杜克大学生物统计与生物信息学系)
本文提出一种融合单层期望值与两层组合约束的随机组合优化模型,并设计原始-对偶算法,以$O(1/√N)$速率收敛至最优解,适用于风险规避优化与投资组合选择。
2025-05-25 cs.LG math.OC
Provable Multi-instance Deep AUC Maximization with Stochastic Pooling
University of Iowa(爱荷华大学);Texas A&M University(德克萨斯农工大学);Beijing Institute of Ophthalmology(北京眼科研究所);Beijing Tongren Hospital(北京同仁医院);Capital Medical University(首都医科大学)
针对多示例学习中包过大导致标准池化难以进行 GPU 反向传播的问题,本文提出带随机平滑最大或注意力池化的可证 MIDAM 算法,并验证其收敛性与性能优势。
2023-06-06 cs.AI cs.LG
Text AutoAugment: Learning Compositional Augmentation Policy for Text Classification
Peking University(北京大学);Tencent Inc(腾讯公司)
数据增强的目的是丰富训练样本,以减轻在低资源或类不平衡的情况下的过拟合问题。传统的方法首先设计特定任务的操作,如同义词替换,然后人为地预设相应的参数,如替换率,这需要大量的先验知识,容易陷入次优。此外,在以前的方法中,编辑操作的数量是有限的,这降低了增强数据的多样性,从而限制了性能增益。为了克服上述局限性,我们提出了一个名为文本自动增强(TAA)的框架,建立一个组合和可学习的范例数据增强。我们把各种操作的组合作为一种增强策略,并利用一种有效的贝叶斯优化算法来自动搜索最佳策略,这大大提高了模型的泛化能力。在六个基准数据集上的实验表明,TAA在低资源和类不平衡的情况下,分类准确率平均分别提高了8.8%和9.7%,优于强基线。
2021-09-01 cs.CL cs.LG
Stochastic Compositional Optimization via Hybrid Momentum Frank--Wolfe
Machine Learning and Optimization Laboratory (MLO)(机器学习与优化实验室)
本文提出混合动量随机Frank-Wolfe算法,无需假设外层函数F的光滑性,结合动量Jacobian追踪器与泰勒修正函数追踪器,实现非凸目标函数的O(K^{-1/4})收敛率。
2026-10-12 cs.LG math.OC
Projection-Free Multi-level Algorithms for Stochastic Constrained Compositional Optimization
Nanjing University of Science and Technology(南京理工大学);Nanjing University(南京大学);Zhejiang University(浙江大学)
本文提出针对随机约束多级组合优化的无投影算法,利用线性最小化预言机,涵盖非凸、凸及强凸情形,并给出复杂度保证与实验验证。
2026-09-15 cs.LG math.OC
FedDRO: Federated Compositional Optimization for Distributionally Robust Learning
Wayne State University(韦恩州立大学);New Jersey Institute of Technology(新泽西理工学院)
本文提出FedDRO框架,通过利用DRO结构设计通信策略解决联邦组合优化中的数据异构与偏差放大问题,实现不依赖大批量梯度的独立精度算法,并达到O(ε^-2)样本与O(ε^-3/2)通信复杂度及客户端线性加速。
2023-11-21 cs.LG math.OC
Learning Unnormalized Statistical Models via Compositional Optimization
Nanjing University(南京大学);University at Buffalo(布法罗大学);Texas A&M University(得克萨斯农工大学)
针对非归一化统计模型配分函数处理难、NCE收敛慢的问题,提出基于组合优化的直接优化方法,通过引入噪声分布将对数配分函数表为组合函数,用随机组合优化算法优化,在收敛性及多个任务上优于NCE。
2023-06-13 cs.LG math.OC
Multistage Conditional Compositional Optimization
EPFL(瑞士联邦理工学院);Rutgers University(罗格斯大学)
本文提出多阶段条件组合优化(MCCO)新范式,结合多阶段随机规划与条件随机优化,通过减少嵌套期望和非线性成本函数来解决不确定性决策问题,适用于最优停止、线性二次调节器、分布鲁棒上下文老虎机等场景。
2026-04-15 cs.LG math.OC stat.ML
Stochastic Nested Compositional Bi-level Optimization for Robust Feature Learning
University of California, Davis(加州大学戴维斯分校);University of Waterloo(滑铁卢大学)
本文提出一种不依赖矩阵求逆和小批量的随机近似算法,用于求解嵌套组合双层优化问题,可达到约 $\ ilde{O}_T(1/ε^{2})$ 的预言机复杂度,并在协变量偏移下的深度神经网络鲁棒特征学习中验证了其有效性。
2023-07-11 cs.DS cs.LG math.OC
Compositional federated learning: Applications in distributionally robust averaging and meta learning
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);University of Pittsburgh(匹兹堡大学)
本文提出ComFedL算法解决组合联邦学习框架,通过将分布鲁棒FL和MAML等极小极大优化问题转化为组合优化问题,并证明其$O(1/\sqrt{T})$的收敛速率。
2023-07-26 cs.DC cs.LG math.OC
Compositional Policy Learning in Stochastic Control Systems with Formal Guarantees
Institute of Science and Technology Austria (ISTA)(奥地利科学技术研究所(ISTA));Massachusetts Institute of Technology(麻省理工学院);The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出在随机环境中学习神经网络策略组合并利用可达-避障上鞅提供形式化概率保证的方法,通过更紧的概率下界支持复杂任务,并在随机九房间环境中验证了有效性。
2023-12-03 cs.LG cs.SY eess.SY
Riemannian Stochastic Gradient Method for Nested Composition Optimization
The Ohio State University(俄亥俄州立大学)
针对黎曼流形上的嵌套组合优化问题,提出黎曼随机组合梯度下降(R-SCGD)方法,解决内层随机近似导致的外层梯度偏差,在两层及多层结构中均达到$O(ε^{-2})$的预言机复杂度,并在强化学习策略评估中验证了其有效性。
2024-03-19 cs.LG math.OC
A Pareto-optimal compositional energy-based model for sampling and optimization of protein sequences
Genentech(基因泰克);New York University(纽约大学)
深度生成模型已经成为生命科学中逆设计问题的流行的基于机器学习的方法。然而,这些问题通常需要采样新的设计,满足感兴趣的多个属性,除了学习数据分布。当属性彼此独立或正交时,这种多目标优化变得更具挑战性。在这项工作中,我们提出了一个帕累托成分的能量为基础的模型(pcEBM),一个框架,使用多个梯度下降采样新的设计,坚持在优化不同的属性的各种约束。我们证明了它能够学习非凸帕累托前沿,并生成同时满足一系列真实抗体设计任务中多种所需特性的序列。
2022-10-19 cs.LG q-bio.QM
Non-Smooth Weakly-Convex Finite-sum Coupled Compositional Optimization
Texas A&M University(得克萨斯农工大学);Stanford University(斯坦福大学)
本文研究非光滑弱凸有限和耦合复合优化问题,提出单循环算法并证明其收敛复杂度,扩展至三层嵌套结构,并在深度学习双向部分AUC最大化任务中验证了有效性。
2024-09-24 cs.AI cs.LG math.OC
TTOM: Test-Time Optimization and Memorization for Compositional Video Generation
National University of Singapore(国立新加坡大学);University of Science and Technology of China(中国科学技术大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
TTOM通过测试时优化与记忆化机制,提升组合视频生成的跨模态对齐能力,实现高效且可扩展的实时生成。
2026-02-28 cs.AI cs.CL cs.CV
Verified Compositional Neuro-Symbolic Control for Stochastic Systems with Temporal Logic Tasks
Washington University in St. Louis (WashU)(圣路易斯华盛顿大学)
针对未知随机动态系统LTL任务中NN控制器组合缺乏安全保证的问题,提出基于自动机理论和数据驱动可达性分析的神经符号控制方法,实现零样本安全行为并验证其正确性与完备性。
2023-11-22 cs.AI cs.LG cs.RO
Nonparametric Stochastic Compositional Gradient Descent for Q-Learning in Continuous Markov Decision Problems
University of Pennsylvania(宾夕法尼亚大学);U.S. Army Research Laboratory(美国陆军研究实验室)
本文提出非参数随机组合梯度下降法用于连续马尔可夫决策问题中的Q学习,通过将贝尔曼最优性方程转化为嵌套非凸随机优化问题,并利用核诱导再生核希尔伯特空间进行参数化,最终证明算法在概率意义下收敛于问题的 stationary 点。
2018-04-19 cs.LG cs.SY eess.SY
On the Convergence of Overparameterized Problems: Inherent Properties of the Compositional Structure of Neural Networks
Northeastern University(东北大学)
本文针对过参数化神经网络优化问题,分析线性激活场景下梯度流的全局收敛性与优化景观普适结构,证明初始化可任意加速收敛,并探讨结论向S型激活网络的推广。
2025-11-12 cs.AI cs.LG cs.SY
Stochastic Optimization of Areas Under Precision-Recall Curves with Provable Convergence
The University of Iowa(爱荷华大学);Texas A&M University(得克萨斯农工大学)
本文针对高度不平衡数据集的AUPRC优化问题,提出基于平均精确率最大化的随机算法SOAP,首次实现AUPRC的可证明收敛优化,并在图像和图数据集上验证了其优越性。
2023-04-12 cs.AI cs.CV cs.LG
Large-scale Stochastic Optimization of NDCG Surrogates for Deep Learning with Provable Convergence
Nanjing University(南京大学);the University of Iowa(爱荷华大学)
NDCG,即归一化贴现累积增益,是信息检索和机器学习中广泛使用的排名度量。然而,仍然缺乏有效的和可证明的随机方法来最大化NDCG,特别是对于深层模型。在本文中,我们提出了一个原则性的方法来优化NDCG和它的顶级$K$变体。首先,我们制定了一个新的组合优化问题优化NDCG代理,和一个新的双层组合优化问题优化顶部的$K$ NDCG代理。然后,我们开发了有效的随机算法与可证明的收敛保证的非凸目标。与现有的NDCG优化方法不同,我们的算法的每次迭代的复杂度与小批量的大小,而不是总项目的数量。为了提高深度学习的有效性,我们进一步提出了使用初始预热和停止梯度算子的实用策略。在多个数据集上的实验结果表明,我们的方法在NDCG方面优于先前的排名方法。据我们所知,这是第一次提出随机算法来优化NDCG与可证明的收敛保证。我们提出的方法在LibAUC库中实现,网址为https://libauc.org/。
2023-02-02 cs.AI cs.IR cs.LG
Adaptive Prompt Structure Factorization: A Framework for Self-Discovering and Optimizing Compositional Prompt Programs
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Taobao and Tmall Group(淘宝天猫集团)
本文提出aPSF框架,通过语义因素发现和单因素更新优化提示程序,提升大语言模型的推理可靠性,实验显示在多个基准上准确率提升2.16个百分点,优化成本降低45-87%。
2026-04-08 cs.CL cs.LG
Taking a Deeper Look at the Inverse Compositional Algorithm
Georgia Institute of Technology(佐治亚理工学院);University of Tübingen(图宾根大学)
在本文中,我们提供了一个现代合成的经典逆合成算法的密集图像对齐。我们首先讨论了这种成熟的技术所做的假设,并随后提出放宽这些假设,将数据驱动的先验模型。更具体地说,我们展开了一个强大的版本的逆合成算法,并使用更有表现力的模型,其参数,我们训练在一个端到端的方式从数据中取代该算法的多个组件。我们在几个具有挑战性的3D刚性运动估计任务上的实验证明了将优化与基于学习的技术相结合的优势,优于经典的逆合成算法以及数据驱动的图像到姿态回归方法。
2019-04-08 cs.AI cs.CV cs.LG
Convex Compositional Reasoning Models
Mohamed bin Zayed University of Artificial Intelligence(莫扎德·本·扎耶德人工智能大学);Applied AI Institute(应用人工智能研究所);Computational Imaging Lab(计算成像实验室)
针对组合推理中能量景观的非凸几何瓶颈,提出凸组合能量最小化框架,通过输入凸神经网络参数化因子并优化紧凸松弛,实现确定性投影一阶优化,在小问题上训练后可零样本迁移到大实例。
2026-10-20 cs.LG
Compositional Abilities Emerge Multiplicatively: Exploring Diffusion Models on a Synthetic Task
Center for Brain Science, Harvard University(哈佛大学脑科学中心);Physics & Informatics Laboratories, NTT Research, Inc.(NTT研究所物理与信息实验室);EECS Department, University of Michigan(密歇根大学电子工程与计算机科学系)
该研究通过受控合成任务考察条件扩散模型的组合泛化,发现能力涌现顺序由数据生成结构决定,组合性能因对子任务的乘法依赖而突然提升,且低频概念组合需更多优化步骤。
2025-07-25 cs.LG