Efficient Minimization of Decomposable Submodular Functions
California Institute of Technology（加州理工学院）
在机器学习中出现的许多组合问题可以归结为最小化子模函数的问题。次模函数是凸函数的一种自然的离散模拟，可以在强多项式时间内极小化。不幸的是，国家的最先进的算法一般次模最小化是棘手的较大的问题。在本文中，我们引入了一个新的子类，我们称之为可分解的子模极小化问题。可分解的子模函数是那些可以表示为应用于模函数的凹函数的和的函数。我们开发了一个算法，SLG，可以有效地减少可分解的子模函数与数万个变量。我们的算法利用最近的结果平滑凸最小化。我们将SLG应用于合成基准和联合分类和分割任务，并表明它优于几个数量级的最先进的通用子模块最小化算法。
2010-10-26 cs.LG math.OC
Differentially Private Decomposable Submodular Maximization
Khoury College of Computer Sciences, Northeastern University（东北大学胡里计算机科学学院）
研究了可分解子模函数的微分私有约束最大化问题。一个子模函数是可分解的，如果它采取子模函数之和的形式。在基数约束下最大化单调可分解子模函数的特殊情况被称为组合公共项目（CPP）问题[Papadimitriou等人，2008年]。Gupta等人的先前工作。[2010]给出了CPP问题的差分私有算法。我们扩展这项工作的设计差分私人算法的单调和非单调可分解的子模最大化一般拟阵的约束下，具有竞争力的效用保证。我们补充我们的理论界限与实验证明经验的性能，这提高了在一般情况下的子模块最大化的差分私有算法，并接近非私有算法的性能。
2020-05-29 cs.CR cs.DS cs.LG
Decomposable Submodular Function Minimization: Discrete and Continuous
Boston University（波士顿大学）；Northeastern University（东北大学）；London School of Economics（伦敦政治经济学院）
本文研究了可分解次模函数极小化的离散方法和连续方法之间的联系。我们提供了改进的运行时间估计的最先进的连续算法的问题，使用组合参数。我们还提供了一个系统的实验比较的两种类型的方法，基于0级和1级算法之间的明确区分。
2017-03-06 cs.DS cs.LG
Reusing Combinatorial Structure: Faster Iterative Projections over Submodular Base Polytopes
Georgia Institute of Technology（佐治亚理工学院）
诸如投影牛顿法、FISTA、镜像下降及其变体之类的优化算法享有接近最优的遗憾界限和收敛速率，但在潜在的每次迭代中遭受计算"投影“的计算瓶颈（例如，$O(T^{1/2})$遗憾的在线镜像下降）。另一方面，条件梯度变体在每次迭代中解决线性优化，但导致次优速率（例如，$O(T^{3/4})$遗憾的在线弗兰克-沃尔夫）。出于这种权衡运行时v/s收敛速度，我们考虑迭代投影的附近点广泛流行的子模块基础多面体$B(f)$。我们首先给出了两个近点投影到多面体的同一个面上的充要条件，然后证明了远离多面体的点以很高的概率投影到多面体的顶点上。接下来，我们使用这个理论，并开发了一个工具包，以加快子模多面体使用离散和连续的角度迭代投影的计算。随后，我们适应了离开步骤弗兰克-沃尔夫算法使用这些信息，并使提前终止。对于基数为基础的子模多面体的特殊情况下，我们提高了运行时间的计算某些Bregman投影的一个因素的$Ω(n/\log(n))$。我们的理论结果表明，在初步的计算实验的数量级减少运行时间。
2023-03-10 cs.LG math.OC
Decomposable Non-Smooth Convex Optimization with Nearly-Linear Gradient Oracle Complexity
University of Washington（华盛顿大学）；Massachusetts Institute of Technology（麻省理工学院）
机器学习中的许多基本问题可以通过凸程序\[ \min_{θ\in R^d}\ \sum_{i=1}^{n}f_{i}(θ), \]来公式化，其中每个$f_i$是在$θ$的$d_i$坐标的子集上支持的凸Lipschitz函数。解决这个问题的一种常见方法，例如随机梯度下降，涉及在每次迭代时对一个$f_i$项进行采样以取得进展。该方法关键地依赖于跨$f_i$的一致性的概念，该概念由其条件数正式地捕获。在这项工作中，我们给出了一个算法，最大限度地减少上述凸配方$ε$ -准确度在$\widetilde{O}(\sum_{i=1}^n d_i \log (1 /ε))$梯度计算，没有假设的条件数。以前最好的算法独立的条件数是标准的割平面法，它需要$O(nd \log (1/ε))$梯度计算。作为推论，我们改进了Axiotis等人（ICML 2021）对可分解子模最小化的评估Oracle复杂性。我们的主要技术贡献是一个自适应的过程中选择一个$f_i$长期在每次迭代通过一个新的组合切割平面和邻域点的方法。
2022-08-07 cs.LG math.OC
Decomposable Submodular Maximization in Federated Setting
Halıcıoğlu Data Science Institute, University of California, San Diego（加州大学圣地亚哥分校哈利西奥格鲁数据科学学院）
针对数百万组件函数的可分解次模优化计算成本高且组件函数存在隐私限制的问题，提出一种联邦优化设置，通过并行局部步长和间歇性子采样聚合实现连续贪心算法，在显著降低通信成本的同时保证良好近似解，并应用于最大覆盖和设施选址等基本问题。
2024-06-03 cs.AI cs.DC cs.DS
Sparsification of Decomposable Submodular Functions
Simon Fraser University（西蒙弗雷泽大学）；National Institute of Informatics（国立信息学研究所）
Submodular functions are at the core of many machine learning and data mining tasks. The underlying submodular functions for many of these tasks are decomposable, i.e., they are sum of several simple submodular functions. In many data intensive applications, however, the number of underlying submodular functions in the original function is so large that we need prohibitively large amount of time to process it and/or it does not even fit in the main memory. To overcome this issue, we introduce the notion of sparsification for decomposable submodular functions whose objective is to obtain an acc…
2022-01-18 cs.DM cs.DS cs.LG
Curvature Beyond Positivity: Greedy Guarantees for Arbitrary Submodular Functions
Department of Computer Science & Engineering, Texas A&M University（计算机科学与工程系，德克萨斯大学阿姆斯特朗分校）
本文提出曲率概念，用于处理非单调性和负值问题，通过贪心算法实现任意子模函数的乘法比，扩展了经典理论。
2026-05-08 cs.DS cs.LG
Gradient Methods for Submodular Maximization
University of Pennsylvania（宾夕法尼亚大学）；University of Southern California（南加州大学）；Yale University（耶鲁大学）
在本文中，我们研究的问题，最大化的连续次模函数，自然出现在许多学习应用，如涉及效用函数的主动学习和传感，矩阵逼近和网络推理。尽管这些函数明显缺乏凸性，但我们证明了随机投影梯度方法可以为凸约束的连续次模函数最大化提供强逼近保证。更具体地说，我们证明了单调连续DR-次模函数，所有不动点的投影梯度上升提供了一个因素$1/2$近似的全球最大值。我们还研究了随机梯度和镜像方法，并表明，$\mathcal{O}(1/ε^2)$迭代后，这些方法达到的解决方案，达到预期的目标值超过$(\frac{\text{OPT}}{2}-ε)$。我们的结果的一个直接应用是最大化的次模函数，定义随机，即次模函数被定义为一个家庭的次模函数与未知的分布的期望。我们将展示如何随机梯度方法自然非常适合这种设置，导致一个因素$1/2$近似时，函数是单调的。特别是，它使我们能够近似最大化离散的，单调的子模块优化问题，通过投影梯度下降的连续松弛，直接连接的离散和连续域。最后，对真实数据的实验表明，与其他连续基线相比，我们的投影梯度方法始终实现最佳效用，同时在计算工作量方面保持竞争力。
2017-08-15 cs.LG math.OC
Stochastic Submodular Maximization: The Case of Coverage Functions
ETH Zurich（苏黎世联邦理工学院）；University of Pennsylvania（宾夕法尼亚大学）
连续目标的随机优化是现代机器学习的核心。然而，许多重要的问题是离散的性质，往往涉及子模块的目标。我们试图释放随机连续优化的力量，即随机梯度下降及其变种，这样的离散问题。我们首先介绍了随机次模块优化问题，其中需要优化的次模块目标，这是作为一个期望。我们的模型捕捉了离散目标作为经验风险出现的情况（例如，在基于样本的聚类的情况下），或者作为显式随机模型给出（例如，在社交网络中影响力最大化的情况下）。通过利用公共扩张线性作用于子模函数类，我们在连续域中采用投影随机梯度上升及其变体，并进行舍入以获得离散解。我们专注于丰富和广泛使用的家庭加权覆盖函数。我们表明，我们的方法产生的解决方案，保证匹配的最佳近似保证，同时减少了几个数量级的计算成本，我们证明经验。
2017-11-05 cs.DM cs.LG stat.ML
Submodular Rank Aggregation on Score-based Permutations for Distributed Automatic Speech Recognition
Georgia Institute of Technology（佐治亚理工学院）；Universidad San Pablo-CEU（圣巴布洛CEU大学）
分布式自动语音识别（ASR）需要聚合基于分布式深度神经网络（DNN）的模型的输出。这项工作研究了使用子模块功能来设计一个基于分数的排列，它可以用于分布式ASR系统在监督和无监督模式的秩聚合。具体地说，我们构造了一个聚合秩函数的基础上的Lovasz Bregman分歧，建立线性结构的凸和嵌套结构的凹函数。该算法是基于随机梯度下降（SGD），可以获得良好的训练聚集模型。在分布式自动语音识别系统上的实验表明，与Adaboost等传统聚合方法相比，子模秩聚合方法可以获得更高的语音识别准确率。代码可在线获取~ \footnote{https://github.com/uwjunqi/Subrank}。
2020-01-27 cs.LG cs.NE cs.SD
Fast Decomposable Submodular Function Minimization using Constrained Total Variation
Imperial College London（帝国理工学院）；INRIA（法国国家信息与自动化研究所）；Ecole normale superieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；Graz University of Technology（格拉茨工业大学）
考虑子模集函数之和极小化问题，假设每个被加数函数都有极小化预言。大多数现有的方法将问题重新表述为相应的Lovász扩展和平方欧几里德范数之和的凸最小化，导致算法需要被加数函数的全变分预言;没有进一步的假设，这些更复杂的预言需要许多调用更简单的最小化预言在实践中经常可用。在本文中，我们考虑了一个修改的凸问题，需要约束版本的总变分预言，可以解决显着较少的调用简单的最小化预言。我们支持我们的主张，显示结果的图形切割的2D和3D图形
2019-05-27 cs.LG stat.ML
Decomposable Submodular Function Minimization via Maximum Flow
MIT（麻省理工学院）；University of Warsaw（华沙大学）；CNRS（法国国家科学研究中心）；IRIF（法国信息学研究所）；Université de Paris（巴黎大学）
本文桥梁离散和连续优化方法可分解的子模函数最小化，在标准和参数设置。我们为这个问题提供了改进的运行时间，通过减少它到一个最大流的Oracle的调用数量。当分解中的每个函数作用在基集$V$的$O(1)$元素上并且多项式有界时，我们的运行时间达到了多项式对数因子，等于在具有$O(\vert V \vert)$顶点和多项式积分容量的稀疏图中求解最大流的时间。我们实现这一点，通过提供一个简单的迭代法，它可以优化到高精度的任何凸函数定义的次模基多面体，只要我们可以有效地减少它的基础多面体对应于一定的图，我们构造的切割功能。我们解决这个最小化问题的参数切割问题，我们通过一个新的有效的组合减少最大流的解决方案。这种减少是独立的利益，并意味着一些以前未知的界限参数最小$s,t$切割问题在多个设置。
2021-03-05 cs.DS cs.LG
Approximate Decomposable Submodular Function Minimization for Cardinality-Based Components
Texas A&M University（德克萨斯A&M大学）；Cornell University（康奈尔大学）
最小化有限支集的简单次模函数之和是一般次模函数最小化的特殊情况，在机器学习中有许多应用。我们开发了快速技术，用于和中的组件是基于基数的实例，这意味着它们只依赖于输入集的大小。这一变式是实践中应用最广泛的变式之一，包括，例如，图像分割中常见的能量函数和最近的广义超图割函数。我们开发的第一个近似算法，这个问题，其中的近似可以通过减少到一个稀疏的图形切割问题，与所需的近似因子控制的图形稀疏快速计算。我们的方法依赖于一个新的连接稀疏图减少技术和分段线性近似凹函数。我们的稀疏减少技术导致显着改善理论运行时，以及大量的实际收益的问题，从基准图像分割任务超图聚类问题。
2021-10-28 cs.DS cs.LG
Variance Reduced Stochastic Proximal Algorithm for AUC Maximization
University of Pennsylvania（宾夕法尼亚大学）
随机梯度下降已经被广泛研究，分类精度作为一个性能指标。然而，当使用不可分解的成对性能度量时，这些随机算法不能直接使用，例如ROC曲线下面积（AUC），这是类不平衡时的常见性能度量。已经提出了几种算法来优化AUC作为性能指标，最近的一个是随机近端梯度算法（SPAM）。但随机方法的缺点是，他们遭受高方差导致收敛速度较慢。为了解决这个问题，已经提出了几种方差缩减方法，其收敛保证比香草随机梯度下降更快。同样，当使用不可分解的性能测量时，这些方差减小的方法不直接适用。在本文中，我们开发了一个方差减少随机邻近算法的AUC最大化（\textsc{VRSPAM}），并进行了理论分析以及实证分析表明，我们的算法收敛速度比SPAM，这是以前的状态，最先进的AUC最大化问题。
2020-12-04 cs.LG stat.ML
Optimizing Non-decomposable Performance Measures: A Tale of Two Classes
Indian Institute of Science（印度科学学院）；Microsoft Research India（微软研究院印度）
现代分类问题经常出现轻度到严重的标签不平衡以及对分类特征的特定要求，并且需要优化在数据集上不可分解的性能度量，例如F-度量。这些措施已经引起了很大的兴趣，并提出了具体的挑战，学习算法，因为它们的非添加剂的性质排除了直接应用的研究充分的大规模优化方法，如随机梯度下降。在本文中，我们揭示了两个大家庭的性能指标，可以表示为真正的正/负利率的函数，它确实是可能的，以实现点随机更新。我们考虑的族是TPR，TNR的凹函数和伪线性函数，它们涵盖了几种常用的性能度量，如F-测度，G-均值和H-均值。我们的核心贡献是这些家庭的自适应线性化计划，使用它，我们开发的优化技术，使真正的基于点的随机更新。对于凹性能指标，我们提出了SPADE，一个随机原始对偶求解器;对于伪线性指标，我们提出了STAMP，一个随机交替最大化过程。这两种方法都有清晰的收敛保证，表现出显着的加速比现有的方法-通常由一个数量级或更多，并给出类似或更准确的预测测试数据。
2015-05-26 cs.LG stat.ML
Online and Stochastic Gradient Methods for Non-decomposable Loss Functions
Microsoft Research（微软研究院）；Indian Institute of Science（印度科学学院）
在敏感领域的现代应用，如生物识别和医学经常需要使用不可分解的损失函数，如精度@k，F-测量等相比，点损失函数，如铰链损失，这些提供了更细粒度的控制预测，但在同一时间提出了新的挑战，在算法设计和分析。在这项工作中，我们发起了在线学习技术的研究，这样的不可分解的损失函数的目的是使增量学习，以及设计可扩展的批量问题求解器。为此，我们提出了一个在线学习框架，这样的损失函数。我们的模型享有几个很好的属性，其中主要是存在有效的在线学习算法与次线性遗憾和在线批量转换的界限。我们的模型是现有的点损失函数在线学习模型的可证明扩展。我们实例化两个流行的损失，prec@k和pAUC，在我们的模型中，并证明了他们两个的次线性遗憾界。我们的证明需要一个新的结构引理排名名单可能是独立的利益。然后，我们开发了可扩展的随机梯度下降求解不可分解的损失函数。我们证明了，对于满足一定的一致收敛性质（包括prec@k，pAUC和F-测度）的损失函数的大家庭，我们的方法可证明收敛到经验风险最小化。这种一致收敛的结果是不知道这些损失，我们建立这些使用新的证明技术。然后，我们在现实生活和基准数据集上进行了广泛的实验，以确定我们的方法可以比最近提出的切割平面方法快几个数量级。
2014-10-24 cs.LG stat.ML
Homotopic Policy Mirror Descent: Policy Convergence, Implicit Regularization, and Improved Sample Complexity
Georgia Institute of Technology（佐治亚理工学院）
我们提出了一种新的策略梯度方法，命名为同伦策略镜像下降（HPMD），用于解决折扣，无限地平线MDP有限的状态和行动空间。HPMD执行一个镜像下降型的政策更新与一个额外的递减正则化项，并拥有几个计算性能，似乎是新的文献。我们首先建立全局线性收敛的HPMD实例与Kullback-Leibler发散，最优性差距，和加权距离的最优策略集。然后在不作任何假设的情况下，得到了这两个量的局部超线性收敛性。利用局部加速和递减正则化方法，我们证明了最后一个策略收敛于唯一的最优策略，并证明了最后一个策略的非渐近性，从而建立了证明和刻画极限策略的策略梯度方法中的第一个结果.然后，我们将上述所有结果扩展到HPMD实例化与广泛的一类可分解Bregman分歧，展示了这些计算性能的一般性。作为一个产品，我们发现有限时间精确收敛的一些常用的Bregman分歧，这意味着持续收敛的HPMD的限制政策，即使目前的政策已经是最优的。最后，我们开发了一个随机版本的HPMD和建立类似的收敛性。通过利用本地加速，我们表明，对于小的最优差距，一个更好的比$\tilde{\mathcal{O}}(\left|\mathcal{S}\right| \left|\mathcal{A}\right| / ε^2)$样本复杂性保持高概率，当假设一个生成模型的政策评估。
2022-11-29 cs.AI cs.LG math.OC
Block Decomposable Methods for Large-Scale Optimization Problems
Texas A&M University（德克萨斯A&M大学）
本论文提出了一种新的近端ADMM算法和两种BCD方法，解决了大规模优化问题中的关键挑战，并在动态误差环境下展示了优越性能。
2026-01-13 cs.LG math.OC
Streaming Submodular Maximization with Differential Privacy
Khoury College of Computer Sciences, Northeastern University（东北大学胡里计算机科学学院）
在这项工作中，我们研究的问题，私人最大化的子模函数在流设置。广泛的工作已经做了私人最大化的子模函数在一般情况下，当功能依赖于个人的私人数据。然而，当从目标函数的域中提取的数据流的大小很大或到达非常快时，必须在流设置的约束内私下优化目标。我们建立基本的差异私人基线这个问题，然后得到更好的权衡隐私和实用程序的特殊情况下，可分解的子模块功能。子模函数是可分解的，当它可以被写为子模函数的和;这种结构自然出现时，每个被加数函数模型的效用的个人和目标是研究总效用的整个人口在著名的组合公共项目问题。最后，我们补充我们的理论分析与实验证实。
2022-10-25 cs.CR cs.DS cs.LG
A Light Touch for Heavily Constrained SGD
Google Inc.（谷歌公司）
经验风险最小化的一组约束条件下，可以是一个有用的策略，学习限制类的功能，如单调函数，submodular功能，分类器，保证一定的类标签的一些子集的例子，等等，但是，这些限制可能会导致非常大的数量的约束。投影随机梯度下降（SGD）通常是机器学习中大规模优化的默认选择，但每次更新后都需要投影。对于严重约束的目标，我们提出了一个有效的扩展SGD保持接近可行域，而只应用约束概率在每次迭代。理论分析表明，一个令人信服的权衡每迭代的工作和迭代的数量需要大量的约束条件的问题。
2016-10-24 cs.LG
Tight Analysis of Decentralized SGD: A Markov Chain Perspective
CMAP, CNRS, École polytechnique, Institut Polytechnique de Paris（CMAP、法国国家科学研究中心、巴黎高等理工学院、巴黎理工学院）
本文从马尔可夫链视角对DSGD算法进行紧分析，揭示其收敛性与去中心化、随机性之间的关系，并证明其在客户端数量上的线性加速特性。
2026-01-11 cs.LG
Coresets for Data-efficient Training of Machine Learning Models
University of California, Los Angeles（加州大学洛杉矶分校）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
增量梯度（IG）方法，如随机梯度下降及其变体，通常用于机器学习中的大规模优化。尽管持续的努力，使IG方法更有效的数据，它仍然是一个悬而未决的问题，如何选择一个训练数据子集，可以在理论上和实际上执行与完整的数据集。在这里，我们开发CRAIG，一种方法来选择一个加权子集（或核心集）的训练数据，密切估计全梯度最大化的子模块功能。我们证明，应用IG到这个子集是保证收敛到（近）最优解的收敛速度相同的IG凸优化。因此，CRAIG实现了与子集大小成反比的加速。据我们所知，这是第一个严格的方法，用于一般机器学习模型的数据有效训练。我们大量的实验表明，CRAIG在实现几乎相同的解决方案的同时，将各种IG方法的速度提高了6倍，用于逻辑回归，3倍用于训练深度神经网络。
2020-11-16 cs.AI cs.LG stat.ML
FNNC: Achieving Fairness through Neural Networks
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
在分类模型中，公平性可以通过求解约束优化问题来保证。我们专注于公平性约束，如差异影响，人口均等和均衡赔率，这是不可分解和非凸的。研究人员定义凸代理的约束，然后应用凸优化框架，以获得公平的分类器。代理仅作为实际约束的上界，凸化公平约束可能具有挑战性。我们提出了一个基于神经网络的框架，\emph{FNNC}，以实现公平性，同时保持高精度的分类。使用拉格朗日乘数将上述公平性约束包括在损失中。我们证明了泛化误差的约束损失渐近为零的界限。该网络使用两步小批量随机梯度下降优化。我们的实验表明，FNNC的表现一样好的最先进的，如果不是更好。实验证据补充了我们的理论保证。总之，我们有一个自动化的解决方案来实现分类的公平性，这是很容易扩展到许多公平性约束。
2020-05-07 cs.LG stat.ML
A Convex Loss Function for Set Prediction with Optimal Trade-offs Between Size and Conditional Coverage
Inria（法国国家信息与自动化研究所）；PSL Research University（巴黎文理研究大学）
本文提出了一种用于集合预测的凸损失函数，通过优化集合大小与条件覆盖之间的平衡，提升分类和回归任务的性能。
2025-12-22 cs.LG math.OC stat.ML
DeepTopPush: Simple and Scalable Method for Accuracy at the Top
Czech Technical University in Prague（布拉格捷克理工大学）；Czech Academy of Sciences（捷克科学院）
顶部准确度是一类特殊的二元分类问题，其性能仅在少量相关（顶部）样本上进行评估。应用包括信息检索系统或带有手动（昂贵）后处理的过程。这导致最小化阈值以上的不相关样本的数量。我们考虑任意（深度）网络形式的分类器，并提出了一种新的方法DeepTopPush，用于最小化顶部的损失函数。由于阈值取决于所有样本，因此问题是不可分解的。我们修改了随机梯度下降，以端到端的训练方式处理不可分解性，并提出了一种方法，仅从当前minibatch和一个延迟值的值来估计阈值。我们展示了DeepTopPush在视觉识别数据集和两个真实世界应用程序上的出色性能。第一个选择了少量的分子进行进一步的药物测试。第二个使用真实的恶意软件数据，我们检测到46\%的恶意软件，误报率极低，为$10^{-5}$。
2023-03-27 cs.LG math.OC stat.ML
Online Parallel Multi-Task Relationship Learning via Alternating Direction Method of Multipliers
School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院）；Tencent AI Lab, Tencent Inc（腾讯公司腾讯AI实验室）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；School of Intelligent Engineering, Henan Institute of Technology（河南工程学院智能工程学院）
针对在线多任务学习中的梯度消失和集中式瓶颈问题，提出基于ADMM的并行框架，动态建模任务关系，支持去中心化部署，实验证明其精度和效率优于SGD方法。
2024-11-09 cs.AI cs.DC cs.LG
Optimizing Rank-based Metrics with Blackbox Differentiation
Max-Planck-Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（蒂宾根大学）；Università degli Studi di Firenze（佛罗伦萨大学）
针对排序指标不可微难以直接优化的问题，提出一种可结合小批量梯度下降的通用黑盒微分方法，解决优化不稳定与监督信号稀疏问题，在图像检索和目标检测任务上取得优异性能。
2020-03-18 cs.LG stat.ML
Melding the Data-Decisions Pipeline: Decision-Focused Learning for Combinatorial Optimization
Center for Artificial Intelligence in Society, University of Southern California（南加州大学社会人工智能中心）
在现实世界中创造影响力需要人工智能技术来跨越从数据到预测模型再到决策的整个流程。这些组件通常单独处理：首先通过预测准确性的测量来训练机器学习模型，然后将其预测用作优化算法的输入，从而产生决策。然而，用于训练模型的损失函数可能很容易与最终目标不一致，最终目标是做出可能的最佳决策。手动调整损失函数以与优化一致是一个困难且容易出错的过程（通常完全跳过）。我们专注于组合优化问题，并介绍了一个通用的框架，决策为重点的学习，机器学习模型直接训练结合优化算法，以产生高质量的决策。从技术上讲，我们的贡献是将常见的离散优化问题集成到深度学习或其他预测模型中，这些模型通常通过梯度下降进行训练。其主要思想是使用离散问题的连续松弛来通过优化过程传播梯度。我们实例化这个框架的两大类组合问题：线性规划和次模最大化。跨多个领域的实验结果表明，与传统方法相比，以决策为中心的学习通常会提高优化性能。我们发现，准确性的标准度量并不是预测模型在优化中的实用性的可靠代理，并且我们的方法能够将真正的目标指定为模型的训练目标，从而在一系列决策问题中产生大量的红利。
2018-11-21 cs.AI cs.LG stat.ML
Approximating Metric Magnitude of Point Sets
University of Edinburgh（爱丁堡大学）；Queen Mary University of London（伦敦玛丽女王大学）；Rutgers University（罗格斯大学）
本文研究点集度量幅度的高效近似，提出快速迭代算法与子集选择方法，并验证其在泛化差距分析、神经网络正则化和聚类中的应用。
2024-09-06 cs.LG math.MG
Rethinking Learnability in Offline Data-driven Optimization
Nanjing University（南京大学）
本文提出算法依赖型可学习性，设计轨迹学习框架，提出UGTL方法，在五个Design-Bench任务上的25种方法中取得最佳综合平均排名3.1/25，验证了轨迹构建的重要作用。
2026-09-03 cs.AI cs.LG cs.NE
Stochastic Conditional Gradient Methods: From Convex Minimization to Submodular Maximization
Massachusetts Institute of Technology（麻省理工学院）；University of Pennsylvania（宾夕法尼亚大学）；Yale University（耶鲁大学）
本文考虑一类目标函数的随机最优化问题，其中包括凸的和连续的子模。随机近端梯度法已被广泛用于解决这类问题，然而，当问题维数很大，投影到一个凸集是昂贵的，他们的适用性仍然有限。相反，随机条件梯度法被提出作为一种替代解决方案，依赖于（i）通过简单的平均技术近似梯度，每次迭代需要一个单一的随机梯度评估;（ii）求解线性规划来计算下降/上升方向。平均技术降低了噪声的梯度近似随着时间的推移，并取代投影步骤在近似方法由一个线性规划降低了每次迭代的计算复杂性。我们表明，在凸性和光滑性的假设下，我们提出的方法收敛到最佳的目标函数值在一个次线性率$O(1/t^{1/3})$。此外，对于单调和连续的DR-子模函数和一般凸体约束，我们证明了我们提出的方法实现了$((1-1/e)OPT-\eps)$保证与$O(1/\eps^3)$随机梯度计算。这种保证匹配已知的硬度结果，并关闭确定性和随机连续子模最大化之间的差距。此外，对于目标函数是连续的DR-次模但非单调的，且约束集是下闭的情形，我们利用$O(1/\eps^3)$随机梯度得到了$((1/e)OPT -\eps)$保证.通过使用随机连续优化作为一个接口，我们提供了第一个$(1-1/e)$紧逼近保证最大化的单调，但随机子模集函数的拟阵约束和$(1/e)$逼近保证的非单调的情况下。
2018-11-12 cs.LG math.OC stat.ML
Tight Bounds for Approximate Carathéodory and Beyond
Google Research（谷歌研究院）；MIT（麻省理工学院）；UC Berkeley（加州大学伯克利分校）
本文给出了一个确定性的近似线性时间算法，用于用凸多面体顶点的稀疏凸组合逼近凸多面体内的任意点。我们的结果为近似Carathéodory问题提供了一个构造性的证明，该证明指出，半径为$D$的$\ell_p$球中包含的多面体内的任何点都可以通过$p \geq 2$的多面体的仅$O\left(D^2 p/ε^2\right)$顶点的凸组合在$\ell_p$范数下近似于$ε$内.我们还表明，这个界是紧的，使用参数的基础上反浓度的二项分布。沿着建立上界的方式，我们开发了一种技术，用于最小化具有复杂几何形状的凸集上的范数;这是通过运行镜像下降通过Sion定理获得的对偶凸函数来实现的。作为我们的方法的简单扩展，然后我们提供了新的算法子模函数最小化和SVM训练。对于次模函数最小化，我们得到一个简化和（可证明）的速度超过沃尔夫的算法，该方法通常被认为是最快的在实践中。对于SVM训练，我们获得了任意核的$O(1/ε^2)$收敛;每次迭代只需要涉及核矩阵的矩阵向量运算，因此我们克服了必须显式存储核或计算其Cholesky分解的障碍。
2015-12-29 cs.DS cs.LG math.OC
Combinatorial optimization for low bit-width neural networks
KU Leuven（鲁汶大学）；University of Bergen（卑尔根大学）
低位宽神经网络已被广泛探索用于部署在边缘设备上以减少计算资源。现有的方法集中在两阶段训练和压缩设置中的基于梯度的优化，或者作为组合优化，其中梯度在训练期间被量化。这种方案在训练阶段需要高性能的硬件，并且通常除了量化的权重之外还存储相等数量的全精度权重。本文研究了二元权风险最小化问题的直接组合优化方法，在一定条件下，该问题等价于非单调子模最大化问题.我们采用的情况下，与单层和多层神经网络的近似算法。对于线性模型，它具有$\mathcal{O}(nd)$时间复杂度，其中$n$是样本大小，$d$是数据维。我们证明了贪婪坐标下降和这种新方法的组合可以在二进制分类任务中获得有竞争力的准确性。
2022-06-04 cs.LG
