Projection-Free Online Optimization with Stochastic Gradient: From Convexity to Submodularity
Yale Institute for Network Science（耶鲁网络科学研究所）；Yale University（耶鲁大学）；University of Pennsylvania（宾夕法尼亚大学）
在线优化已经成为解决计算约束和部分信息下的大规模问题的成功框架。目前的在线凸优化方法在每一步都需要投影或精确的梯度计算，这两者对于大规模应用来说都是非常昂贵的。与此同时，在机器学习社区中，非凸优化的趋势日益增长，并且需要在线方法。连续DR-次模函数具有收益递减的性质，是一类可以有效优化的非凸函数。虽然已经引入了在线方法，但它们也存在类似的问题。在这项工作中，我们提出Meta-Frank-Wolfe，第一个在线投影算法，使用随机梯度估计。该算法依赖于在每一轮梯度的仔细采样，并实现了凸和连续子模块优化的最佳$O( \sqrt{T})$对抗遗憾界。我们还提出了一个简单的算法，只需要一个单一的随机梯度估计，在每一轮，并实现了$O(T^{2/3})$随机遗憾界凸和连续的子模块优化。我们应用我们的方法来开发一种新的“提升”框架的在线离散子模块最大化，也看到他们优于目前最先进的技术在各种实验。
2018-06-14 cs.AI cs.DS cs.LG
Sample-Efficient Optimization over Generative Priors via Coarse Learnability
Google Research（谷歌研究）
本文提出粗粒学习能力假设，设计迭代算法在多项式样本内近似目标分布，为深度生成先验的基于模型优化提供样本复杂度保证。
2026-10-08 cs.DS cs.LG stat.ML
Rethinking Learnability in Offline Data-driven Optimization
Nanjing University（南京大学）
本文提出算法依赖型可学习性，设计轨迹学习框架，提出UGTL方法，在五个Design-Bench任务上的25种方法中取得最佳综合平均排名3.1/25，验证了轨迹构建的重要作用。
2026-09-03 cs.AI cs.LG cs.NE
Efficient Algorithms for Non-convex Isotonic Regression through Submodular Optimization
INRIA（法国国家信息与自动化研究所）；Ecole normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）
本文研究了序约束下的次模函数的极小化问题。我们表明，这个优化问题可以作为一个凸优化问题的一维措施的空间，对应于一阶随机优势的顺序约束。我们提出了新的离散化方案，导致简单而有效的算法的基础上零次，第一次，或更高阶的预言，这些算法也导致改进，而不保序约束。最后，我们的实验表明，非凸损失函数可以更强大的离群保序回归，同时仍然导致一个有效的优化问题。
2017-07-28 cs.LG stat.ML
Learning From An Optimization Viewpoint
Toyota Technological Institute at Chicago（芝加哥丰田技术学院）
本文从优化的角度研究了统计学习和在线学习问题。我们首先考虑在一般学习环境中统计学习问题的可学习性问题。学习能力的问题是很好的研究和充分的特点，为二进制分类和实值监督学习问题，使用一致收敛理论。然而，我们发现，对于一般的学习设置一致收敛理论无法表征可学习性。为了填补这一空白，我们使用学习算法的稳定性，充分表征统计学习能力的一般设置。接下来我们考虑在线学习的问题。与统计学习框架不同的是，一般来说，缺乏通用工具来建立在线学习问题的可学习性和学习率。我们提供在线模拟经典的工具，从统计学习理论，如Rademacher复杂性，覆盖数等，我们进一步使用这些工具，充分表征在线监督学习问题的可学习性。二.在第二部分中，对于一般类凸学习问题，我们提供了适当的镜像下降（MD）更新，用于这些问题的在线和统计学习。此外，我们还证明了MD对于在线凸学习是接近最优的，对于大多数情况下，对于统计凸学习也是接近最优的。接下来，我们考虑凸优化问题，并表明预言复杂性可以下界的所谓脂肪粉碎维度的相关线性类。因此，我们建立了离线凸优化问题和统计学习问题之间的强连接。我们还表明，对于一大类高维优化问题，MD实际上是接近最优的，即使是凸优化。
2012-04-18 cs.GT cs.LG
Online Submodular Maximization via Online Convex Optimization
Northeastern University（东北大学）；Boston University（波士顿大学）
研究一般拟阵约束下的单调次模最大化在线优化问题，通过证明加权阈值势函数可凹松弛，将其归约为在线凸优化（OCO），结合舍入方案实现次线性遗憾，并扩展至动态遗憾、老虎机和乐观学习设定。
2024-01-08 cs.AI cs.LG math.OC
Submodular Functions: from Discrete to Continous Domains
INRIA（法国国家信息与自动化研究所）；Département d’Informatique de l’Ecole Normale Supérieure（巴黎高等师范学院计算机系）
Submodular set-functions have many applications in combinatorial optimization , as they can be minimized and approximately maximized in polynomial time . A key element in many of the algorithms and analyses is the possibility of extending the submodular set-function to a convex function, which opens up tools from convex optimization. Submodularity goes beyond set-functions and has naturally been considered for problems with multiple labels or for functions defined on continuous domains, where it corresponds essentially to cross second-derivatives being nonpositive. In this paper, we show that …
2016-02-23 cs.LG math.OC
Stochastic Submodular Maximization: The Case of Coverage Functions
ETH Zurich（苏黎世联邦理工学院）；University of Pennsylvania（宾夕法尼亚大学）
连续目标的随机优化是现代机器学习的核心。然而，许多重要的问题是离散的性质，往往涉及子模块的目标。我们试图释放随机连续优化的力量，即随机梯度下降及其变种，这样的离散问题。我们首先介绍了随机次模块优化问题，其中需要优化的次模块目标，这是作为一个期望。我们的模型捕捉了离散目标作为经验风险出现的情况（例如，在基于样本的聚类的情况下），或者作为显式随机模型给出（例如，在社交网络中影响力最大化的情况下）。通过利用公共扩张线性作用于子模函数类，我们在连续域中采用投影随机梯度上升及其变体，并进行舍入以获得离散解。我们专注于丰富和广泛使用的家庭加权覆盖函数。我们表明，我们的方法产生的解决方案，保证匹配的最佳近似保证，同时减少了几个数量级的计算成本，我们证明经验。
2017-11-05 cs.DM cs.LG stat.ML
Online Dynamic Submodular Optimization
Polytechnique Montreal（蒙特利尔理工学院）；GERAD（GERAD研究院）；Mila（米拉人工智能研究所）
本文针对动态环境下的在线子模优化问题，提出OSGA和OSPGD两种算法，给出与在线凸优化可比的动态遗憾界，并在电力系统需求响应与配电网重构中验证了有效性。
2024-05-02 cs.LG math.OC
Optimal approximation for unconstrained non-submodular minimization
Massachusetts Institute of Technology（麻省理工学院）
子模函数极小化问题已经得到了很好的研究，现有的算法可以精确地解决它，或者可以达到任意的精度。然而，在许多应用中，例如结构化稀疏学习或批量贝叶斯优化，目标函数不是精确的子模，而是接近的。在这种情况下，不存在理论上的保证。事实上，次模最小化算法依赖于次模性和凸性之间的复杂联系。我们展示了如何将这些关系扩展到最小化非次模函数的近似保证，其特征在于函数是如何接近次模的。我们还将这一结果扩展到噪声函数的评价。我们的近似结果是第一次最小化非次模函数，是最佳的，我们的匹配下界建立。
2022-03-09 cs.DM cs.DS cs.LG
Minimax Optimization: The Case of Convex-Submodular
University of Pennsylvania（宾夕法尼亚大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
极大极小优化是机器学习、对策论和控制理论中各种应用的核心。迄今为止，现有文献主要集中在研究连续域中的此类问题，例如，凸-凹极大极小优化现在在很大程度上被理解。然而，极大极小问题远远超出了连续域的混合连续离散域，甚至完全离散域。本文研究了混合连续-离散Minimax问题，其中极小化是在属于欧几里得空间的连续变量上，而极大化是在给定基集的子集上.我们介绍了一类凸次模极大极小问题，其中的目标是凸的连续变量和次模的离散变量。尽管这些问题在机器学习应用中经常出现，但人们对如何从算法和理论角度解决这些问题知之甚少。对于这样的问题，我们首先表明，获得鞍点是很难达到任何近似，从而引入新的概念（近）最优。然后，我们提供了几个算法程序解决凸和单调次模极大极小问题，并根据我们的概念，最优的收敛速度，计算复杂性和质量的最终解决方案的特点。我们提出的算法是迭代的，并结合了离散和连续优化的工具。最后，我们提供了数值实验来展示我们的目的方法的有效性。
2021-11-01 cs.DS cs.LG cs.SY
From Linear to Linearizable Optimization: A Novel Framework with Applications to Stationary and Non-stationary DR-submodular Optimization
McGill University（麦吉尔大学）；Mila（米拉）；Purdue University（普渡大学）
本文提出上可线性化函数框架，将线性/二次最大化算法统一转换为优化此类函数，应用于DR-子模最大化，首次实现动态与自适应遗憾保证，并在更少假设下改进现有最优结果。
2026-09-15 cs.CC cs.LG math.OC
No-Regret Learnability for Piecewise Linear Losses
Operations Research Center（运筹学研究中心）；Massachusetts Institute of Technology（麻省理工学院）；Dept. of Electrical Engineering and Computer Science（电气工程与计算机科学系）
在在线遗憾最小化的凸优化方法中，已经开发了许多方法来保证具有有界次梯度的次可微凸损失函数的遗憾的$O(\sqrt{T})$界，通过使用线性损失函数的约化。这表明，线性损失函数往往是最难学习的函数，无论底层的决策空间如何。我们系统地研究了这个问题，研究了决策者和敌对环境之间的相互作用。这使我们能够突出关于分段线性损失函数的可学习性的鲜明的独特行为。一方面，当决策者的决策集是一个多面体，我们建立了$Ω(\sqrt{T})$下界后悔的一个大类的分段线性损失函数的重要应用在在线线性优化，重复零和Stackelberg游戏，在线预测边信息，在线两阶段优化。另一方面，我们展示$o(\sqrt{T})$学习率，实现跟随领导者算法，在线线性优化时，决策者的决策集的边界是弯曲的，当$0$不在于环境的决策集的凸包。因此，决策者的决策集的曲率是最佳学习率的决定因素。这些结果在完全对抗的情况下成立。
2016-09-17 cs.LG
Continuous Submodular Function Maximization
Tencent AI Lab（腾讯人工智能实验室）；ETH Zurich（苏黎世联邦理工学院）
连续次模函数是一类具有广泛应用的非凸/非凹函数。这类函数的著名性质-连续子模性-使精确最小化和近似最大化在多。时间连续子模是将子模的概念从离散域推广到连续域而得到的。它直观地捕捉到定义的多元函数的不同维度之间的排斥效应。本文系统地研究了连续次模性和一类非凸优化问题：连续次模函数极大化问题。我们开始由连续次模函数类的一个彻底的特征，并表明，连续次模等价于一个弱版本的收益递减（DR）属性。因此，我们还得到了一个子类的连续次模函数，称为连续DR-次模函数，它享有充分的DR性质。然后，我们提出的操作，保持连续（DR-）子模块，从而产生一般规则组成新的子模块功能。我们建立有趣的属性约束DR-子模极大化问题，如局部-全局关系。我们确定了几个应用程序的连续子模块优化，从影响力最大化，MAP推理的DPP可证明的平均场推理。对于这些应用程序，连续子模块化形式化有价值的领域知识优化这一类的目标。我们提出了两个问题的设置：约束单调DR-子模最大化和约束非单调DR-子模最大化的不可逼近的结果和可证明的算法。最后，我们广泛评估所提出的算法的有效性。
2020-06-24 cs.LG stat.ML
Non-monotone DR-submodular Maximization: Approximation and Regret Guarantees
Sorbonne Université（索邦大学）；Univ Évry, Université Paris-Saclay（埃夫里大学，巴黎-萨克雷大学）
子模优化是一个重要的研究领域，在机器学习、经济学和通信系统中有着广泛的应用。它捕获了非凸优化的一个子类，提供了实践和理论上的保证。本文研究了下闭和一般凸集上非单调DR-次模函数的最大化问题。首先，我们表明，离线最大化非单调DR-次模函数在一般的凸集上，Frank-Wolfe算法实现的近似保证依赖于凸集。其次，我们证明了随机梯度上升算法实现了1/4的近似比与遗憾的$O(1/\sqrt{T})$的最大化问题的非单调DR-子模函数的下闭凸集。这些是相应设置中的第一近似保证。最后，我们基准这些算法在机器学习领域与现实世界的数据集出现的问题。
2019-05-23 cs.DS cs.LG math.OC
Differentiable Submodular Maximization
Microsoft Research Cambridge（微软研究院剑桥）；ETH Zurich（苏黎世联邦理工学院）
我们考虑从数据中学习子模函数。这些功能在机器学习中非常重要，并且具有广泛的应用，例如数据摘要，特征选择和主动学习。尽管它们的组合性质，子模函数可以在多项式时间内近似最大化，并具有强的理论保证。通常，学习子模函数和该函数的优化是分开处理的，即首先使用代理目标学习函数，然后最大化。相反，我们展示了如何联合执行学习和优化。通过将贪婪最大化算法的输出解释为项目序列上的分布，并平滑这些分布，我们得到了一个可微目标。通过这种方式，我们可以通过最大化算法进行区分，并优化模型，以便与优化算法一起工作。我们从理论上描述了我们的方法所产生的误差，从而深入了解平滑性和准确性的权衡。我们证明了我们的方法的有效性，共同学习和优化合成的最大割数据，并在现实世界中的应用，如产品推荐和图像收集总结。
2018-06-14 cs.LG stat.ML
Unified Projection-Free Algorithms for Adversarial DR-Submodular Optimization
Purdue University（普渡大学）；Iowa State University（爱荷华州立大学）
本文提出统一的Frank-Wolfe型无投影算法用于对抗性连续DR-次模优化，覆盖全信息与（半）赌博机反馈、单调与非单调函数及多种约束，在非单调设置中首次获得次线性α-遗憾界，在单调设置8个案例中7个达到最优水平。
2024-04-26 cs.AI cs.CC cs.LG
Random Coordinate Descent Methods for Minimizing Decomposable Submodular Functions
University of Warwick（华威大学）
次模函数最小化是在机器学习和计算机视觉中的若干应用中出现的基本优化问题。已知该问题在多项式时间内是可解的，但是通用算法具有高运行时间并且不适合于大规模问题。最近的工作已经使用凸优化技术，以获得非常实用的算法，最小化的功能，是“简单”的功能。在本文中，我们使用随机坐标下降方法，以获得更快的线性收敛速度和更便宜的迭代费用的算法。与交替投影方法相比，我们的算法不依赖于全维向量运算，并且它们在更少的迭代中收敛。
2015-02-09 cs.AI cs.LG
$γ$-weakly $θ$-up-concavity: A Unified Framework for Non-Convex Optimization Beyond DR-Submodular and OSS Functions
Mila - Quebec AI Institute/McGill University（蒙特利尔人工智能研究所/麦吉尔大学）；Purdue University（普渡大学）
本文提出$γ$-弱$θ$-上凹性条件，为非凸优化提供统一框架，涵盖DR子模和OSS函数，并通过线性化方法获得广泛问题的近似保证。
2026-05-07 cs.AI cs.LG math.OC
Continuous DR-submodular Maximization: Structure and Algorithms
ETH Zurich（苏黎世联邦理工学院）
DR-子模连续函数是重要的目标，具有广泛的现实应用，包括决定点过程（DPP）中的MAP推理，以及概率子模模型的平均场推理等。DR-子模块性捕获非凸函数的子类，其使得能够在多项式时间内实现精确最小化和近似最大化。本文研究了一般下闭凸约束下非单调DR-次模连续函数的极大化问题。我们首先调查的几何性质，这些目标的基础，例如，证明了（近似）稳定点与全局最优解之间的强关系。这些属性，然后用来设计两个优化算法与可证明的保证。具体地说，我们首先设计了一个“两阶段”的算法与$1/4$近似保证。该算法允许使用现有的方法来寻找（近似）固定点作为一个子程序，因此，利用非凸优化的最新进展。然后给出了一个具有$1/e$逼近保证和次线性收敛速度的非单调Frank-Wolfe变式。最后，我们将我们的方法扩展到更广泛的一类广义DR-子模连续函数，它捕获了更广泛的应用。我们的理论研究结果验证合成和现实世界的问题实例。
2019-05-24 cs.AI cs.LG stat.ML
Scalable Combinatorial Bayesian Optimization with Tractable Statistical models
Washington State University（华盛顿州立大学）
我们研究了在组合空间上优化昂贵的黑盒函数的问题（例如，集合、序列、树和图）。BOCS（Baptista和Poloczek，2018）是一种用于易处理统计模型的最先进的贝叶斯优化方法，它执行基于半定规划的获取函数优化（AFO）来选择下一个结构进行评估。不幸的是，BOCS规模不佳，大量的二进制和/或分类变量。基于求解二次规划的子模块松弛（Ito and Fujimaki，2016）的最新进展，我们研究了一种称为参数化子模块松弛（PSR）的方法，以提高求解BOCS模型AFO问题的可扩展性和准确性。PSR方法依赖于两个关键思想。首先，将AFO问题转化为带未知参数的次模松弛问题，利用最小图割算法可以有效地求解该问题。第二，构造一个优化问题来估计与真实目标非常接近的未知参数。在不同的基准问题上的实验表明，PSR对BOCS模型有显著的改进。源代码可在https://github.com/aryandeshwal/Submodular_Relaxation_BOCS上获得。
2020-08-18 cs.LG math.OC stat.ML
Fast Semidifferential-based Submodular Function Optimization
University of Washington（华盛顿大学）；University of California, Berkeley（加州大学伯克利分校）
我们提出了一个实用的和强大的新框架，无约束和有约束的子模函数优化的基础上离散半微分（次和超微分）。由此产生的算法，重复计算，然后有效地优化次模半梯度，提供新的和推广许多旧的方法，次模优化。此外，我们的方法，采取措施，提供一个统一的范式，适用于子模块最小化和最大化，历史上已经处理的问题相当明显。我们的算法的实用性是很重要的，因为在子模块化的兴趣，由于其自然和广泛的适用性，最近在机器学习内的优势。我们分析了我们的算法的理论性质的最小化和最大化，并表明，许多国家的最先进的最大化算法的特殊情况。最后，我们补充我们的理论分析与支持实证实验。
2013-08-05 cs.DM cs.DS cs.LG
Submodular Optimization with Submodular Cover and Submodular Knapsack Constraints
University of Washington（华盛顿大学）
我们研究了两个新的优化问题-最小化submodular函数的submodular下限约束（submodular覆盖）和最大化submodular函数的submodular上限约束（submodular背包）。我们的动机是在机器学习中的一些实际应用，包括传感器放置和数据子集选择，这需要最大化某个子模块功能（如覆盖或多样性），同时最小化另一个（如合作成本）。这些问题通常被提出来最小化子模函数之间的差异[14，35]，这在最坏的情况下是不可近似的。然而，我们表明，通过措辞这些问题的约束优化，这是更自然的许多应用程序，我们实现了一些有界近似的保证。我们还表明，这两个问题是密切相关的，一个近似算法解决一个可以用来获得一个近似保证其他。我们提供了硬度的结果，从而表明我们的近似因子是紧对数因子的问题。最后，我们实证证明了我们的算法的性能和良好的可扩展性。
2013-11-08 cs.AI cs.DM cs.DS
Learning Valuation Functions
在本文中，我们研究的近似可学习性的估值普遍使用的经济学和博弈论的定量编码的代理人的喜好。我们提供了上界和下界的可学习性的重要子类表示无互补性的估值函数。我们的主要研究结果关注他们的近似学习分布学习（PAC风格）设置。我们提供了几乎紧的上下界$\tildeΘ(n^{1/2})$的近似因子学习XOS和次加性估值，都广泛研究的超类的次模估值。有趣的是，我们表明，$\tildeΩ(n^{1/2})$下限可以绕过多项式复杂性的XOS功能，我们提供了一个学习类的XOS估值与多项式大小的表示实现$O(n^{\eps})$近似因子的时间$O(n^{1/\eps})$为任何$\eps > 0$的算法。这突出了考虑目标函数的复杂性对于多项式时间学习的重要性。我们还提供了新的学习结果的子模函数的有趣的子类。我们的分布学习的上限利用所有这些估值类的新结构的结果。我们发现，许多这些结果提供了新的学习结果在Goemans等人。模型（SODA 2009）的近似学习无处不在通过值查询。我们还引入了一个新的模型，在经济环境中，学习者可以设定价格，并观察购买决策，而不是直接观察估值函数。在这个模型中，尽管学习者接收到的信息更少（无论是在分布式环境中还是在值查询中），但我们的大多数上限仍然保持不变，而我们的下限自然会扩展。
2011-09-02 cs.DS cs.GT stat.ML
A Memoization Framework for Scaling Submodular Optimization to Large Scale Problems
Microsoft Corporation（微软公司）；University of Washington（华盛顿大学）
我们的动机是大规模的次模块优化问题，其中标准算法，治疗的次模块功能的\emph{value oracle model}不规模。在本文中，我们提出了一个称为\emph{precomputational complexity model}的模型，以及一个统一的memoization为基础的框架，它着眼于特定形式的子模块功能。在这个框架中的一个关键成分是一个\emph{precomputed statistic}的概念，这是保持在算法的过程中。我们表明，我们可以很容易地集成到一个大类的子模块优化问题，包括约束和无约束的子模块最大化，最小化，子模块优化的差异，优化与子模块约束和其他几个相关的优化问题。此外，memoization可以集成在离散和连续松弛口味的算法，这些问题。我们证明了这一想法的几个常见的子模块化功能，并显示如何预计算模型提供了显着的加速比的值Oracle模型。最后，我们经验证明这是大规模的机器学习问题的数据子集的选择和总结。
2019-02-26 cs.AI cs.DS cs.LG
Bicriteria Submodular Maximization
本文研究子模函数约束最大化问题，提出双准则近似算法，在允许有界违反约束的情况下，覆盖多种约束类型与函数类别，并取得最优或超越现有技术的结果。
2025-07-14 cs.DM cs.DS
Procurement Auctions via Approximately Optimal Submodular Optimization
Google Research（谷歌研究院）；Yale University（耶鲁大学）
本文研究采购拍卖，提出将子模优化算法转化为满足 IC、IR、NAS 且保持近似比的拍卖机制框架，覆盖离线与在线设置，并证明其可适配为对抗性降价拍卖，在数千卖家的公开数据集上验证了福利表现。
2024-11-20 cs.DS cs.GT cs.LG
A Unified Framework of Constrained Robust Submodular Optimization with Applications
University of Texas at Dallas（德克萨斯大学达拉斯分校）
鲁棒优化在机器学习应用中变得越来越重要。本文研究了鲁棒次模优化的一个统一框架。我们从最小化和最大化的角度研究这个问题（以前的工作只集中在强大的子模块最大化的变体）。我们这样做的范围广泛的组合约束，包括基数，背包，拟阵以及基于图形的约束，如削减，路径，匹配和树。此外，我们还研究了多个子模上下界约束下的鲁棒子模极小化和极大化问题。我们发现，所有这些问题的动机是重要的机器学习应用，包括强大的数据子集选择，强大的合作切割和强大的合作匹配。在每种情况下，我们提供了可扩展的近似算法，并研究硬度界限。最后，我们经验证明了我们的算法的实用性合成数据，和现实世界中的应用程序的强大的合作匹配图像对应，强大的数据子集选择语音识别，和图像收集摘要与多个查询。
2021-03-18 cs.DS cs.LG math.OC
Submodular Maximization through the Lens of Linear Programming
线性规划的单纯形算法是基于这样一个事实，即关于多面体邻域的任何局部最优也是全局最优。我们表明，一个类似的结果结转到子模最大化。特别是，每一个局部最优的约束单调子模极大化问题产生一个$1/2$ -近似，我们还提出了一个适当的扩展的非单调设置。然而，快速达到局部最优是一项重要的任务。此外，我们描述了一个快速和非常一般的本地搜索程序，适用于广泛的约束家庭，以及统一和扩展以前的方法。在我们的框架中，我们匹配已知的近似保证，同时解开和简化以前的方法。此外，尽管它的一般性，我们能够表明，我们的本地搜索过程比以前的专门方法稍快。此外，我们解决了一个悬而未决的问题，线性优化和次模最大化之间的关系，即，是否线性优化预言可能足以获得强近似算法次模最大化。我们表明，这是不是这样的情况下，通过提供一个例子的约束家庭的地面集的大小$n$的，如果只给定一个线性优化的预言，任何算法的子模块最大化与多项式数量的调用线性优化预言将有一个近似比只有$O ( \frac{1}{\sqrt{n}} \cdot \frac{\log n}{\log\log n} )$。
2017-11-30 cs.DM cs.DS
Adaptive Submodularity: Theory and Applications in Active Learning and Stochastic Optimization
California Institute of Technology（加州理工学院）；ETH Zurich（苏黎世联邦理工学院）
在部分可观测性下求解随机优化问题，其中需要自适应地做出具有不确定结果的决策，这是一个基本但众所周知的困难挑战。在本文中，我们引入了自适应子模块的概念，推广子模块集函数的自适应政策。我们证明了，如果一个问题满足这一性质，一个简单的自适应贪心算法是保证竞争的最优策略。除了为随机最大化和覆盖提供性能保证之外，还可以利用自适应子模块化通过使用惰性评估来大幅加速贪心算法。我们说明了有用的概念，给出了几个例子，自适应子模块化的目标在不同的应用，包括传感器的位置，病毒式营销和主动学习。证明这些问题的自适应子模块性，使我们能够恢复现有的结果在这些应用中的特殊情况下，提高近似保证和处理自然的推广。
2017-12-06 cs.AI cs.DS cs.LG
Adaptive Submodular Optimization under Matroid Constraints
California Institute of Technology（加州理工学院）
离散优化中的许多重要问题都要求极大化受拟阵约束的单调次模函数。对于这些问题，一个简单的贪心算法保证获得近最优解。在这篇文章中，我们将这个经典的结果扩展到一般类的自适应优化问题的部分可观测性，其中每个选择可以依赖于观测结果从过去的选择。具体来说，我们证明了自然自适应贪心算法为最大化受$p$拟阵约束的自适应单调子模函数的问题提供了$1/(p+1)$逼近，并且更一般地在任意$p$独立系统上。我们说明了我们的结果的实用性，一个复杂的自适应匹配的应用程序。
2011-01-24 cs.AI cs.DS
On Additive Approximate Submodularity
Sapienza University（罗马第一大学）；IIT（印度理工学院）；Google（谷歌）
一个实值集函数是（加性）近似次模的，如果它满足次模性条件，且有一个加性误差。近似子模块性出现在许多设置中，特别是在机器学习中，其中函数评估可能不精确。在本文中，我们研究如何接近这样的近似次模函数是真正的次模函数。我们表明，一个近似的次模函数定义在地面上设置的$n$元素是$O(n^2)$逐点接近的次模函数。这一结果也提供了一个算法工具，可以用来适应现有的子模块优化算法近似子模块功能。为了补充，我们显示了一个$Ω(\sqrt{n})$下界的距离子模块化。这些结果站在相反的情况下，近似的模块化，其中的距离模块化是一个常数，近似凸性，其中的距离凸性是对数。
2020-10-07 cs.DM cs.DS cs.LG
On the Approximation Relationship between Optimizing Ratio of Submodular (RS) and Difference of Submodular (DS) Functions
Adobe Research（奥多比研究院）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；Inria Lille（里尔法国国家信息与自动化研究所）；DeepMind（深度思维）
本文建立了子模比值（RS）与子模差（DS）优化问题之间的近似关系，提出一种统一的贪心算法框架，并给出新颖的分析。
2026-10-06 cs.DS cs.LG stat.ML
Weakly Submodular Functions
子模函数在组合优化、博弈论和经济学中有着广泛的研究。自然递减收益属性使其适用于许多应用。研究单调次模函数的一个扩张，称之为{ \em弱次模函数}.我们的扩展包括一些（温和的）超模函数。我们表明，几个自然的功能属于这个类，并与我们的类最近的一些其他次模函数扩展。本文研究了在一致和一般拟阵约束下，最大化弱次模函数的优化问题。对于均匀拟阵约束，“标准贪心算法“实现了常数近似比，其中常数（实验上）随着基数约束的增加而收敛到5.95。对于一般的拟阵约束，一个简单的局部搜索算法实现了一个常数的近似比，其中常数（解析）收敛到10.22的秩的拟阵增加。
2014-11-16 cs.DM cs.DS math.CO
Submodular Order Functions and Assortment Optimization
本文定义次模序函数这一新集合函数类，为多种约束下的最大化问题给出快速强近似算法及近紧查询复杂度上界，并用于品类优化和流式次模最大化。
2024-02-29 cs.DS math.OC
One Gradient Frank-Wolfe for Decentralized Online Convex and Submodular Optimization
Inria（法国国家信息与自动化研究所）；University Grenoble-Alpes（格勒诺布尔-阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
近年来，分散学习在联邦学习中的广泛应用引起了人们的广泛关注。以往的研究大多集中在离线设置的目标函数是静态的。然而，在众多见证海量数据变化的机器学习应用程序中，离线设置变得不切实际。在本文中，我们提出了\emph{decentralized online}算法的凸和连续DR-次模优化，两类功能，存在于各种机器学习问题。我们的算法实现的性能保证相媲美的集中式离线设置。此外，平均而言，每个参与者在每个时间步仅执行\emph{single}梯度计算。随后，我们将我们的算法扩展到强盗设置。最后，我们说明了我们的算法在现实世界的实验中的竞争力的表现。
2022-10-30 cs.DS cs.LG math.OC
On Unconstrained Quasi-Submodular Function Optimization
Shanghai Jiao Tong University（上海交通大学）
本文提出两种算法用于无约束拟子模函数的最小化和最大化，通过单次子交叉性质，在O(n)次迭代内返回缩减格，并保证目标函数值在每次迭代后严格单调变化。
2014-11-13 cs.DS cs.NA math.NA
Modular and Submodular Optimization with Multiple Knapsack Constraints via Fractional Grouping
一组物品上的多背包约束由一组任意容量的箱子和每个物品的权重定义。约束的分配是将项目的子集分配到符合箱容量的箱。在本文中，我们提出了一个统一的算法，产生有效的近似为广泛的一类子模块化和模块化的优化问题，涉及多个背包约束。一个值得注意的例子是多选择多背包的多项式时间近似方案，改进了$2$的最佳已知比率。另一个例子是非单调次模多背包，我们得到了一个$(0.385-\varepsilon)$ -近似，匹配最好的已知比率为一个单一的背包约束。我们的算法的鲁棒性是通过应用一个新的分数变量的经典线性分组技术，这是独立的利益。
2021-06-28 cs.DS
Maximizing Submodular or Monotone Approximately Submodular Functions by Multi-objective Evolutionary Algorithms
Nanjing University（南京大学）；Southern University of Science and Technology（南方科技大学）
进化算法是一种受自然启发的通用优化算法，在解决各种实际优化问题中表现出了良好的性能。在过去的二十年中，有希望的结果上的运行时间分析（一个重要的理论方面）的EA已经获得，而他们中的大多数集中在孤立的组合优化问题，这并不反映通用的性质EA。为了对进化算法的行为提供一个一般的理论解释，我们需要研究它们在一般组合优化问题上的性能。据我们所知，唯一的结果朝着这个方向是可证明的良好的近似保证EA的最大化单调次模函数与拟阵约束的问题类。这项工作的目的是促进这一研究路线。考虑到许多组合优化问题涉及非单调或非次模目标函数，本文研究了一般问题类：带/不带尺寸约束的最大化次模函数和带尺寸约束的最大化单调近似次模函数。我们证明了一个名为GSEMO-C的简单多目标EA通常可以在多项式预期运行时间内实现良好的逼近保证。
2022-11-28 cs.AI cs.CC cs.DS
Greed is Good: Near-Optimal Submodular Maximization via Greedy Optimization
Open University of Israel（以色列开放大学）；Yale University（耶鲁大学）
众所周知，贪婪方法对于最大化单调子模函数表现良好。同时，这种方法在非单调性面前表现不佳。在本文中，我们显示-可以说，令人惊讶的-调用经典的贪婪算法$O(\sqrt{k})$ -倍导致（目前）最快的确定性算法，称为重复贪婪，最大化的一般次模函数受$k$独立的系统约束。Repeated Greedy使用$O(nr\sqrt{k})$函数求值来实现$(1 + O(1/\sqrt{k}))k$近似（这里，$n$和$r$分别表示基集的大小和可行解的最大大小）。然后，我们表明，通过一个仔细的采样过程中，我们可以运行的贪婪算法只有一次，并获得（目前）最快的随机算法，称为样本贪婪，最大化的子模块功能受$k$ -可扩展的系统约束（一个子类的$k$ -独立的系统约束）。Sample Greedy仅通过$O(nr/k)$函数求值实现了$(k + 3)$ -近似。最后，我们推导出一个几乎匹配的下界，并表明，没有多项式时间算法可以有一个近似比小于$ k + 1/2 - \varepsilon$。为了进一步支持我们的理论结果，我们在一个具体的应用程序（电影推荐）中与现有技术的重复贪婪和样本贪婪的性能进行比较。我们一直观察到，虽然样本贪婪实际上实现了与最佳基线相同的效用，但它的执行速度至少快了两个数量级。
2017-04-05 cs.DS cs.LG
Corporate Needs You to Find the Difference: Revisiting Submodular and Supermodular Ratio Optimization Problems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carleton University（卡尔顿大学）
研究子模/超模集合函数平均值的最优化问题，引入USSS与UDSS两种新表述，证明其与DSS、SFM等经典问题在强多项式时间归约下等价，并利用Fujishige-Wolfe算法和SuperGreedy++作为通用求解器，实验表明通用凸方法与流方法在多种问题上优于专用基线。
2025-05-23 cs.DS cs.LG
Minimum Entropy Submodular Optimization (and Fairness in Cooperative Games)
我们研究最小熵子模优化，最小熵集覆盖问题的一个常见推广，之前由Cardinal等人研究，和次模集合覆盖问题。我们给出了一个一般的界的近似性能的贪心算法使用的方法，可以解释在一个特定类型的偏置网络流。作为应用，我们重新推导已知的最小熵集覆盖和最小熵方向问题的结果，并获得一个新的问题称为最小熵生成树问题的非平凡界。这个问题可以应用于（部分是出于）凹合作博弈中公平性的最坏情况方法的定义，类似于非合作环境中无政府状态的无政府代价的概念。
2014-02-18 cs.DS cs.GT math.CO
Decomposable Submodular Maximization in Federated Setting
Halıcıoğlu Data Science Institute, University of California, San Diego（加州大学圣地亚哥分校哈利西奥格鲁数据科学学院）
针对数百万组件函数的可分解次模优化计算成本高且组件函数存在隐私限制的问题，提出一种联邦优化设置，通过并行局部步长和间歇性子采样聚合实现连续贪心算法，在显著降低通信成本的同时保证良好近似解，并应用于最大覆盖和设施选址等基本问题。
2024-06-03 cs.AI cs.DC cs.DS
An Approximation Algorithm for Risk-averse Submodular Optimization
Princeton University（普林斯顿大学）
研究了在不确定性条件下进行组合决策时引入风险的问题。我们制定了一个离散的子模块最大化问题，选择一组使用条件风险价值（CVaR），金融分析中常用的风险度量。虽然CVaR最近已被用于机器人的线性成本函数的优化，我们采取的第一阶段对扩展到离散子模块优化，并提供了一些积极的结果。具体来说，我们提出了顺序贪心算法，提供了一个近似保证找到最大值的CVaR成本函数下的拟阵约束。近似保证表明，我们的算法所产生的解决方案是在一个恒定的因素的最佳和一个附加项，取决于最佳。我们的分析使用了次模集函数的曲率，并证明了该算法在多项式时间内运行。这公式化了许多出现在机器人学中的组合优化问题。我们使用两个这样的问题，车辆分配的不确定性下的机动性按需和传感器的选择与失败的环境监测，作为案例研究，以证明我们的配方的功效。
2018-10-26 cs.AI cs.DS
Differentially Private Online Submodular Optimization
Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们开发了第一个算法在线子模最小化，保持差分隐私下的完全信息反馈和强盗反馈。$n$元素集合上的$T$子模块函数序列在线到达，并且在每个时间步，算法必须在看到函数之前选择$[n]$的子集。该算法产生的成本等于在所选集合上评估的函数，并试图选择一个序列的集合，实现低预期的遗憾。我们的第一个结果是在全信息设置中，算法可以在每个时间步做出决策后观察整个函数。我们给出了一个算法，在这种情况下，是$ε$ -差分隐私，并达到预期的遗憾$\tilde{O}\left(\frac{n^{3/2}\sqrt{T}}ε\right)$。该算法利用Lovasz扩张将次模函数松弛为凸函数，并模拟了一个差分私有在线凸优化算法。我们的第二个结果是在bandit设置中，算法只能看到其选择的集合所产生的成本，并且不能访问整个函数。该设置明显更具挑战性，因为算法没有接收到足够的信息来计算Lovasz扩展或其子梯度。相反，我们使用单点估计构建无偏估计，然后使用此估计模拟私人在线凸优化。我们的算法使用强盗反馈是$ε$ -差分私有的，并达到预期的遗憾$\tilde{O}\left(\frac{n^{3/2}T^{3/4}}ε\right)$。
2018-07-06 cs.DS cs.LG stat.ML
Improved randomized algorithm for $k$-submodular function maximization
子模性是组合优化中最重要的性质之一，$k$ -子模性是子模性的推广。$k$ -次模函数的最大化需要指数数量的值Oracle查询，并且已经研究了近似算法。对于无约束$k$ -次模极大化，Iwata等人给出了单调函数的随机$k/(2k-1)$ -近似算法和非单调函数的随机$1/2$ -近似算法.本文给出了非单调函数的改进随机算法。我们的算法给出了$k\geq 3$的$\frac{k^2+1}{2k^2+1}$ -逼近。我们还给出了$k=3$的随机$\frac{\sqrt{17}-3}{2}$ -近似算法。我们使用岩田等人和Ward和Wavennovich中使用的相同框架，但概率不同。
2019-07-27 cs.DM cs.DS
Submodular Optimization under Noise
Bar Ilan University（巴伊兰大学）；Harvard University（哈佛大学）
本文研究噪声下单调次模函数的极大化问题。在各种约束条件下的子模函数的优化方面已经有了大量的工作，从而产生了提供理想的近似保证的算法。然而，在许多应用中，我们无法访问我们要优化的子模函数，而是访问它的一些错误或噪声版本。这就提出了一个问题，即在存在错误和噪声的情况下，是否可以获得可证明的保证。我们提供了初步的答案，通过集中在基数约束下的单调子模函数最大化的问题时，获得一个嘈杂的预言的功能。我们证明：- 对于基数约束$k \geq 2$，存在其近似比任意接近于$1-1/e$的近似算法; -对于$k=1$，存在其近似比任意接近于$1/2$的算法。没有随机算法可以获得比$1/2+o(1)$更好的近似比; -如果噪声是对抗性的，则不能获得非平凡近似保证。
2016-11-04 cs.AI cs.DS cs.GT
Bicriteria Algorithms for Submodular Cover with Partition and Fairness Constraints
Texas A&M University（德克萨斯农工大学）
本文提出双标准近似算法，解决具有划分与公平性约束的子模覆盖问题，实现最优近似保证并提升算法效率。
2026-01-16 cs.DS
Fully Dynamic Algorithm for Constrained Submodular Optimization
研究完全动态设置下基数约束单调次模函数最大化问题，提出一种随机化算法，通过维护多对数摊销更新时间的数据结构，实现$(1/2-ε)$-近似解，并经实证验证其性能。
2023-05-24 cs.DS
Submodular Optimization Over Streams with Inhomogeneous Decays
基数约束下的子模函数最大化问题是数据采掘和机器学习应用中的一个关键问题，它的目标是选择一个最大值为$k$的子集来最大化单调子模效用函数.当数据作为流给出时，需要流传输子模块优化（SSO）技术。现有的SSO技术只能应用于其中每个元素具有无限寿命的仅插入流，以及其中每个元素具有相同寿命的滑动窗口流（即，窗口大小）。然而，一些数据流中的元素可能具有任意不同的寿命，这需要在具有连续衰减的流上解决SSO（SSO-ID）。这项工作制定的SSO-ID问题，并提出了三个算法：BasicStreaming是一个基本的流算法，实现了一个$(1/2-ε)$近似因子; HistApprox显着提高了效率，实现了一个$(1/3-ε)$近似因子; HistStreaming是HistApprox的流版本，并使用语法，以进一步提高效率。在真实数据上进行的实验表明，HistStreaming可以找到高质量的解决方案，并且比朴素的贪心算法快两个数量级。
2018-11-14 cs.DS
Diverse Approximations for Monotone Submodular Maximization Problems with a Matroid Constraint
本文研究拟阵约束下单调子模最大化的多样化解问题，提出两种带权衡参数的贪心算法，并给出目标值与多样性的参数化近似保证。
2023-07-14 cs.DS
Submodular Dominance and Applications
在次模优化中，我们经常处理分布$\mathcal{D}$上的次模函数$f$的期望值。在这项工作中，我们研究这样的次模期望负相关分布。我们引入了一个自然的负相关概念，我们称之为弱负回归（WNR），它概括了负关联和负回归。我们观察到，WNR分布满足次模优势，从而在$\mathcal{D}$下的$f$的期望值至少是在具有相同元素边缘的乘积分布下的$f$的期望值。接下来，我们给出了次模优势在次模优化中的几个应用。特别是，我们改善了最有名的次模先知不等式，我们开发了新的舍入技术，允许负相关分布的集系统的多面体，我们证明了存在的竞争解决方案的WNR分布。
2022-07-11 cs.DS cs.GT
Efficient Submodular Optimization under Noise: Local Search is Robust
单调次模极大化问题由于其广泛的应用而得到了广泛的研究。然而，在某些情况下，由于评估中涉及的不确定性或误差，人们只能以扭曲或嘈杂的形式访问目标函数。本文考虑了[Hassidim et al.，2017年]。对于基数约束，我们提出了一种算法，该算法实现了接近最优的$\left(1-\frac{1}{e}-O(\varepsilon)\right)$近似保证（对于任意$\varepsilon > 0$），仅对噪声值oracle进行多项式数量的查询，这改善了[Singer等人，2018年]。对于一般的拟阵约束，我们展示了在噪声存在下的第一常数近似算法。我们的主要方法是设计一个新的局部搜索框架，可以处理噪声的影响，并构造一定的平滑代理函数，以减少噪音。
2022-10-21 cs.DS
Locally Adaptive Optimization: Adaptive Seeding for Monotone Submodular Functions
自适应播种问题是社交网络中的影响力最大化所激发的算法挑战：人们试图在网络中的某些可访问节点中进行选择，然后在这些节点的邻居变得可访问时自适应地进行选择，以最大化全局目标函数。更一般地说，自适应播种是一个随机优化框架，其中第一阶段的选择影响第二阶段的实现，我们的目标是优化。我们的主要结果是一个$(1-1/e)^2$ -近似的自适应播种问题的任何单调子模函数。虽然自适应政策往往是通过非自适应政策近似，我们的算法是基于一种新的方法，我们称之为\emph{locally-adaptive}政策。这些策略结合了非自适应全局结构和局部自适应优化。该方法使一般单调子模函数的$(1-1/e)^2$ -近似，并规避了一些与非自适应策略相关的不可能性。我们还介绍了一个基本问题，在子模块优化，可能是独立的利益：给定一个地面设置的元素，每个元素出现一些小的概率，找到一组预期的大小最多$k$，具有最高的期望值超过实现的元素。我们得到了一个令人惊讶的结果：有一类单调子模函数（包括覆盖），当概率为零时，它们几乎可以最优地近似。对于一般单调次模函数，我们通过减少\textsc{Planted-Clique}，这个问题的近似是不可能获得的。这个优化问题是通过非自适应策略进行自适应播种的重要工具，它的难度促使我们在主要结果中使用的\emph{locally-adaptive}策略的引入。
2015-07-09 cs.DS cs.SI
