Dynamic Non-monotone Submodular Maximization
University of Maryland（马里兰大学）；TU Eindhoven（埃因霍温理工大学）
该研究通过将基数约束下非单调子模最大化归约为单调子模最大化，给出首个该问题的动态算法，实现(8+ε)近似，并在真实数据集验证了其在视频摘要等任务中的有效性。
2023-11-07 cs.DS cs.LG
Maximizing Monotone DR-submodular Continuous Functions by Derivative-free Optimization
USTC（中国科学技术大学）；SUSTech（南方科技大学）
本文研究单调（弱）DR-子模连续极大化问题。而以前的方法需要的梯度信息的目标函数，我们提出了一个衍生物免费算法LDGM的第一次。我们定义了$β$和$α$来分别刻画函数与连续DR-次模和次模的接近程度。在凸多面体约束下，我们证明了LDGM在经过$O(1/ε)$迭代后可以达到$(1-e^{-β}-ε)$ -近似保证，这与以前最好的基于梯度的算法相同。此外，在某些特殊情况下，LDGM的一个变体可以实现（弱）子模函数的$((α/2)(1-e^{-α})-ε)$ -近似保证。我们还比较了LDGM与基于梯度的算法Frank-Wolfe噪声下，并表明LDGM可以更强大。预算分配的实证结果验证了LDGM的有效性。
2019-02-23 cs.LG stat.ML
Group Fairness in Non-monotone Submodular Maximization
University of North Texas（北德克萨斯大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
最大化子模函数在机器学习和数据采掘中有着广泛的应用。一个这样的应用程序是数据汇总，其目标是从一个大的数据集中选择一小组有代表性的和不同的数据项。但是，数据项可能具有敏感属性，如种族或性别，在这种情况下，设计\emph{fairness-aware}算法以减轻可能导致特定组的过度或不足表示的潜在算法偏见非常重要。受此启发，我们提出并研究了经典的非单调子模最大化问题，新的组公平性约束。我们的目标是选择一组最大化非单调子模块函数的项目，同时确保从每个组中选择的项目的数量与其大小成比例，到决策者指定的程度。我们开发了第一个常数因子的近似算法为这个问题。我们还扩展了基本模型，将一个额外的全局大小约束的选定项目的总数。
2023-03-09 cs.DS cs.LG
Non-monotone Sequential Submodular Maximization
Naveen Jindal School of Management, The University of Texas at Dallas（德克萨斯大学达拉斯分校纳文·金德尔管理学院）；Department of Computer Science and Engineering, The University of North Texas（北得克萨斯大学计算机科学与工程系）
本文率先研究非单调子模函数下的序列子模最大化问题，针对不同长度约束及效用函数相同的特殊情况给出有效解法，经视频推荐场景验证有效，可为推荐系统等领域提供参考。
2023-12-12 cs.DS cs.LG
Data Summarization beyond Monotonicity: Non-monotone Two-Stage Submodular Maximization
Naveen Jindal School of Management, The University of Texas at Dallas（德克萨斯大学达拉斯分校纳文·金达尔管理学院）
针对两阶段子模最大化中现有方法依赖单调性假设的局限，本文将其扩展到非单调子模函数，并提出首批常数因子近似算法。
2023-11-02 cs.AI cs.DS cs.LG
Non-monotone DR-submodular Maximization: Approximation and Regret Guarantees
Sorbonne Université（索邦大学）；Univ Évry, Université Paris-Saclay（埃夫里大学，巴黎-萨克雷大学）
子模优化是一个重要的研究领域，在机器学习、经济学和通信系统中有着广泛的应用。它捕获了非凸优化的一个子类，提供了实践和理论上的保证。本文研究了下闭和一般凸集上非单调DR-次模函数的最大化问题。首先，我们表明，离线最大化非单调DR-次模函数在一般的凸集上，Frank-Wolfe算法实现的近似保证依赖于凸集。其次，我们证明了随机梯度上升算法实现了1/4的近似比与遗憾的$O(1/\sqrt{T})$的最大化问题的非单调DR-子模函数的下闭凸集。这些是相应设置中的第一近似保证。最后，我们基准这些算法在机器学习领域与现实世界的数据集出现的问题。
2019-05-23 cs.DS cs.LG math.OC
Parallel Algorithm for Non-Monotone DR-Submodular Maximization
Boston University（波士顿大学）；Northeastern University（东北大学）
在这项工作中，我们给出了一个新的并行算法的最大化问题的非单调递减收益次模函数的基数约束。对于任何期望的精度$ε$，我们的算法实现了$1/e - ε$近似使用$O(\log{n} \log(1/ε) / ε^3)$并行轮的功能评估。近似保证几乎匹配的最佳近似保证已知的问题在顺序设置和并行轮数是接近最佳的任何常数$ε$。以前的算法实现较差的近似保证使用$Ω(\log^2{n})$并行轮。我们的实验评估表明，我们的算法获得的解决方案，其目标值几乎匹配的最先进的顺序算法获得的值，它优于以前的并行算法的并行轮数，迭代次数和解决方案的质量。
2019-05-30 cs.DS cs.LG
Maximizing Submodular or Monotone Functions under Partition Matroid Constraints by Multi-objective Evolutionary Algorithms
The University of Adelaide（阿德莱德大学）
许多重要的问题都可以看作是在一定的约束条件下极大化子模函数的问题。一个简单的多目标进化算法称为GSEMO已被证明是实现良好的近似次模函数有效。虽然已经有很多关于这个问题的研究，大多数现有的运行时分析GSEMO假设一个单一的基数约束。在这项工作中，我们将理论结果推广到分区拟阵约束，推广基数约束，并表明GSEMO一般可以保证良好的近似性能多项式预期的运行时间。此外，我们进行了实验比较与基线贪心算法在最大化无向图割随机图，在各种分区拟阵的约束。结果表明，GSEMO在二次运行时间上的性能优于GREEDY。
2020-09-08 cs.LG cs.NE
Learning and Optimization with Submodular Functions
University of Southern California（南加州大学）
In many naturally occurring optimization problems one needs to ensure that the definition of the optimization problem lends itself to solutions that are tractable to compute. In cases where exact solutions cannot be computed tractably, it is beneficial to have strong guarantees on the tractable approximate solutions. In order operate under these criterion most optimization problems are cast under the umbrella of convexity or submodularity. In this report we will study design and optimization over a common class of functions called submodular functions. Set functions, and specifically submodula…
2015-05-07 cs.LG
Online Non-Monotone DR-submodular Maximization
IBISC；Univ. Evry（埃夫里大学）；University Paris-Saclay（巴黎萨克雷大学）
在本文中，我们研究最大化DR-子模连续函数，在机器学习，经济学，运筹学和通信系统领域的实际应用的基本问题。它捕获了非凸优化的一个子类，提供了理论和实践保证。在这里，我们专注于最小化遗憾的在线到达非单调DR-次模函数在不同类型的凸集：超立方体，下闭和一般凸集。首先，我们提出了一个在线算法，实现了$1/e$ -近似比与遗憾的$O(T^{2/3})$最大化DR-子模函数在任何下闭凸集。请注意，$1/e$的近似比与问题的离线版本的最佳保证匹配。此外，当凸集是超立方体时，我们提出了一个紧1/2近似算法，其遗憾界为$O(\sqrt{T})$。接下来，我们给出了一个在线算法，实现了近似保证（取决于搜索空间）的问题，最大化非单调连续DR-次模函数的\emph{general}凸集（不一定下闭）。据我们所知，没有事先的算法与近似保证已知的非单调DR-子模极大化在线设置。最后，我们运行实验来验证我们的算法在机器学习领域与现实世界的数据集出现的问题的性能。
2020-06-23 cs.DS cs.LG stat.ML
Stronger Approximation Guarantees for Non-Monotone γ-Weakly DR-Submodular Maximization
IIT Indore（印度伊蒂学院）；Purdue University（普渡大学）
本文提出了一种基于Frank-Wolfe引导的连续贪心框架和γ意识的双贪心步骤的算法，实现了非单调γ-弱DR-子模函数最大化的更强近似保证。
2026-01-02 cs.AI cs.CC cs.LG
Randomized Algorithms for Monotone Submodular Function Maximization on the Integer Lattice
University of Padova（帕多瓦大学）；Czech Technical University in Prague（布拉格捷克理工大学）
具有集合次模目标函数的优化问题有许多实际应用。在离散的情况下，同一个项目可以被选择一次以上，该域从一个2元集一般化到一个有界整数格。在这篇文章中，我们考虑了基数约束下有界整数格上单调子模函数的最大化问题。特别是，我们专注于最大化DR-子模函数，即，定义在整数格上的函数，这些函数表现出收益递减特性。对于任意的n> 0，我们给出了一个概率保证为O的随机算法（1 - 1/e -ε）近似，使用由Mirzasoleiman等人为集合次模函数开发的随机贪心算法启发的框架。然后，我们表明，在合成DR-次模函数上，将我们提出的算法应用于整数格上比替代方案更快，包括将目标问题简化到集合域，然后应用最快的已知集合子模最大化算法。
2021-11-19 cs.AI cs.DS cs.LG
Quick Streaming Algorithms for Maximization of Monotone Submodular Functions in Linear Time
Florida State University（佛罗里达州立大学）
考虑基数约束$k$下基集大小为$n$的单调次模极大化问题.对于这个问题，我们介绍了第一个确定性算法的线性时间复杂度，这些算法是流算法。对于任何$c \ge 1$，我们的单遍算法在$\lceil n / c \rceil + c$ Oracle查询中获得恒定的比率。此外，我们提出了一个确定性的，多遍流算法，通过一个恒定的数量，达到接近线性查询和时间复杂度的最佳比例。我们证明了一个下界，这意味着没有常数因子近似存在使用$o(n)$查询，即使查询不可行集是允许的。实证分析表明，我们的算法需要更少的查询（通常大大低于$n$），但仍然实现更好的客观价值比目前的国家的最先进的算法，包括单通，多通，和非流算法。
2021-03-08 cs.DS cs.LG
Optimal Algorithms for Continuous Non-monotone Submodular and DR-Submodular Maximization
Stanford University（斯坦福大学）
在本文中，我们研究了极大化超立方体上的连续非单调子模函数的基本问题，包括有和没有坐标方向的限制。这类优化问题在机器学习、经济学和通信系统中有几个应用。我们的主要结果是第一个$\frac{1}{2}$ -近似算法连续次模函数最大化，这个近似因子的$\frac{1}{2}$是最好的算法，只查询目标函数在多项式多点。对于DR-次模最大化的特殊情况，即当次模函数沿所有坐标也是坐标方向凹时，我们提供了一个不同的$\frac{1}{2}$ -近似算法，它在准线性时间内运行。这两个结果都改进了先前的工作[Bian et al，2017，Soma and Yoshida，2017]。我们的第一个算法使用了新的想法，如减少保证近似问题，以分析每个坐标的零和游戏，并结合了这个零和游戏的几何形状，以固定在这个坐标的值。我们的第二个算法利用坐标明智的搜索，以确定一个单调的平衡条件足以得到所需的近似保证，并使用二进制搜索的平衡点狩猎。我们进一步运行实验来验证我们提出的算法在相关机器学习应用中的性能。
2018-05-24 cs.DS cs.GT cs.LG
Fast and Private Submodular and $k$-Submodular Functions Maximization with Matroid Constraints
Simon Fraser University（西蒙菲莎大学）；National Institute of Informatics（信息科学研究所）
在过去的十年中，极大化非负单调次模函数的问题得到了广泛的研究，并提出了一系列有效的近似算法。许多机器学习问题，包括数据摘要和影响力最大化，可以很自然地建模为最大化单调子模函数的问题。然而，当此类应用程序涉及有关个人的敏感数据时，应解决其隐私问题。本文在差分隐私框架下研究了拟阵约束下的单调次模函数的最大化问题。我们提供了$(1-\frac{1}{\mathrm{e}})$ -近似算法，它改进了以前的结果在近似保证。在我们的算法中，这几乎是用立方数量的函数求值来完成的。此外，我们研究了$k$ -子模块性，子模块性的一个自然推广。我们给第一个$\frac{1}{2}$近似算法，保持差分隐私最大化单调$k$ -子模函数拟阵约束。近似比是渐近紧的，并获得了几乎线性数量的功能评估。
2020-06-28 cs.CR cs.DM cs.DS
Simultaenous Sieves: A Deterministic Streaming Algorithm for Non-Monotone Submodular Maximization
在这项工作中，我们提出了一个组合的，确定性的单通流算法的问题，最大化的子模函数，不一定单调，相对于基数约束（SMCC）。在函数是单调的情况下，我们的算法简化为Badanidiyuru et al.（2014）的最优流算法。一般来说，我们的算法实现比率$α/ (1 + α) - \varepsilon$，对于任何$\varepsilon > 0$，其中$α$是用于后处理的SMCC的离线（确定性）算法的比率。因此，如果指数计算时间是允许的，我们的算法确定性地达到接近最佳的$1/2$比。这些结果几乎与最近提出的随机流算法相匹配，该算法达到了预期的相同比率。对于一个确定性的，单通流算法，我们的算法实现了在多项式时间的最佳逼近因子从以前的文献$1/9$的$\approx 0.2689$的改进。
2020-11-02 cs.DS cs.LG
Optimizing Monotone Chance-Constrained Submodular Functions Using Evolutionary Multi-Objective Algorithms
The University of Adelaide（阿德莱德大学）；School of Computer and Mathematical Sciences（计算机与数学科学学院）；Optimisation and Logistics（优化与物流（机构））
该研究首次分析了基于帕累托优化的进化多目标算法求解机会约束子模函数的运行时间，证明GSEMO在特定条件下可达到与贪心算法相当的性能保证，并通过实验验证进化多目标算法在相关网络问题上性能显著优于现有贪心算法。
2024-11-01 cs.LG cs.NE
Stochastic $k$-Submodular Bandits with Full Bandit Feedback
Iowa State University（爱荷华州立大学）；Purdue University（普渡大学）
本文针对全赌博机反馈下的在线 $k$-子模优化，提出首个次线性 $\alpha$-遗憾界，覆盖多种约束场景，通过离线到在线框架转化算法，并分析离线算法的鲁棒性。
2024-12-14 cs.DS cs.LG stat.ML
Practical Parallel Algorithms for Non-Monotone Submodular Maximization
School of Computer Science and Technology（计算机科学与技术学院）；Soochow University（苏州大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；Alibaba Group（阿里巴巴集团）；Qingdao University of Science and Technology（青岛科技大学）
针对背包与 k-系统约束下的非单调子模最大化，论文提出低自适应复杂度的并行组合算法，给出可证明近似保证并经实验验证有效。
2024-12-03 cs.DS cs.LG
Online Learning for Non-monotone Submodular Maximization: From Full Information to Bandit Feedback
City University of Hong Kong（香港城市大学）；Cainiao Network（菜鸟网络）；National University of Singapore（新加坡国立大学）
在本文中，我们重新审视在线非单调连续DR-次模最大化问题的下闭凸集，发现广泛的现实世界中的应用领域的机器学习，经济学和运筹学。首先，我们提出了Meta-MFW算法，以每轮$T^{3/2}$随机梯度评估为代价，实现了$O(\sqrt{T})$的$1/e$ -遗憾。Meta-MFW是第一个针对下闭凸集上的在线非单调连续DR-次模极大化问题获得$O(\sqrt{T})$的$1/e$ -后悔的算法。此外，与ODC算法\citep{thang2021online}形成鲜明对比，Meta-MFW依赖于简单的在线线性预言，没有离散化，提升或舍入操作。考虑到实际应用的限制，我们提出了Mono-MFW算法，该算法将$T^{3/2}$的每个函数的随机梯度估计减少到1，并达到了$O(T^{4/5})$的$1/e$ -遗憾界。其次，我们将Mono-MFW扩展到Bandit环境，提出了Bandit-MFW算法，该算法达到了$O(T^{8/9})$的$1/e$ -遗憾界。据我们所知，Mono-MFW和Bandit-MFW是第一个次线性后悔算法，分别探索下闭凸集上的在线非单调连续DR-次模极大化问题的一次性和强盗设置。最后，我们在合成和真实世界的数据集上进行了数值实验，以验证我们的方法的有效性。
2022-08-16 cs.LG math.OC
Streaming Submodular Maximization under a $k$-Set System Constraint
The Open University of Israel（以色列开放大学）；Yale Institute for Network Science, Yale University（耶鲁大学网络科学研究所）；University of Haifa（海法大学）
在本文中，我们提出了一个新的框架，将流算法的单调子模块最大化到流算法的非单调子模块最大化。这种减少很容易导致目前最严格的确定性近似比submodular最大化受$k$ -matchoid约束。此外，我们提出了第一个流算法的单调子模最大化受$k$ -可扩展和$k$ -集系统约束。与我们提出的约简一起，我们分别得到了满足上述约束的子模最大化的$O(k\log k)$和$O(k^2\log k)$近似比。我们广泛评估我们的算法对现有的工作在一系列的实验，包括寻找随机生成的图中的最大独立集，最大化线性函数在社交网络，电影推荐，Yelp位置摘要，Twitter数据摘要的经验性能。
2020-02-09 cs.DS cs.LG
Fast Adaptive Non-Monotone Submodular Maximization Subject to a Knapsack Constraint
University of Essex（埃塞克斯大学）；University of Amsterdam（阿姆斯特丹大学）；Sapienza University of Rome（罗马智慧大学（罗马第一大学））
针对背包约束下非单调次模最大化问题，提出运行时间为O(n log n)的随机贪心算法，实现5.83近似比，并在随机版本中首次为非单调目标取得9近似比。
2023-10-23 cs.DS cs.LG
Differentially Private Decomposable Submodular Maximization
Khoury College of Computer Sciences, Northeastern University（东北大学胡里计算机科学学院）
研究了可分解子模函数的微分私有约束最大化问题。一个子模函数是可分解的，如果它采取子模函数之和的形式。在基数约束下最大化单调可分解子模函数的特殊情况被称为组合公共项目（CPP）问题[Papadimitriou等人，2008年]。Gupta等人的先前工作。[2010]给出了CPP问题的差分私有算法。我们扩展这项工作的设计差分私人算法的单调和非单调可分解的子模最大化一般拟阵的约束下，具有竞争力的效用保证。我们补充我们的理论界限与实验证明经验的性能，这提高了在一般情况下的子模块最大化的差分私有算法，并接近非私有算法的性能。
2020-05-29 cs.CR cs.DS cs.LG
Non-Monotone Submodular Maximization with Multiple Knapsacks in Static and Dynamic Settings
Hasso Plattner Institute（哈索普拉特纳研究所）；The University of Adelaide（阿德莱德大学）
研究了多背包约束下非单调次模函数的最大化问题。我们提出了一个简单的离散贪心算法来解决这个问题，并证明了它产生强逼近保证的功能有界曲率。与其他算法相比，这不需要问题松弛到连续域，并且在问题大小上保持恒定因子近似保证。在单背包的情况下，我们的分析表明，标准的贪婪可以用于非单调设置。此外，我们研究这个问题在一个动态的设置，背包的变化过程中的优化过程。我们修改我们的贪心算法，以避免在每个约束更新完全重新启动。这种修改保留了静态情况下的近似保证。我们评估我们的实验结果的视频摘要和传感器的位置任务。我们表明，我们提出的算法竞争与国家的最先进的静态设置。此外，我们表明，在动态设置与紧张的计算时间预算，我们修改后的贪婪产生显着的改善从零开始的贪婪，在解决方案的质量。
2020-02-18 cs.DS cs.LG
Fast First-Order Methods for Monotone Strongly DR-Submodular Maximization
University of Washington（华盛顿大学）
连续DR-次模函数是一类满足收益递减（DR）性质的函数，这意味着它们沿非负方向是凹的。已有的工作研究单调连续DR-子模极大化的凸约束，并提出了有效的算法与近似保证。然而，在许多应用中，例如，计算图的稳定数和概率对数次模模型的平均场推断，DR次模函数具有沿非负方向是\emph{strongly}凹的附加性质，这可以用于获得更快的收敛速率。在本文中，我们首先引入和刻画了一类\emph{strongly DR-submodular}函数，并证明了这样一个性质意味着沿非负方向的强连续性。然后，我们研究了$L$ -光滑单调强DR-次模函数有界曲率，我们展示了如何利用这种额外的结构，以获得改进的近似保证和更快的收敛速度的最大化问题的算法。特别是，我们提出了SDRFW算法，匹配可证明的最佳$1-\frac{c}{e}$近似比后，只有$\lceil\frac{L}μ\rceil$迭代，其中$c\in[0,1]$和$μ\geq 0$的曲率和强DR-子模块化参数。此外，我们研究了投影梯度上升（PGA）方法，并提供了一个改进的$\frac{1}{1+c}$逼近比和线性收敛速度的算法的精细分析。考虑到这两种算法都需要光滑参数$L$的知识，我们提供了DR-子模函数的$L$的\emph{novel}特征，表明在许多情况下，计算$L$可以被公式化为凸问题，即，一个几何规划，可以有效地解决。
2022-05-27 cs.LG math.OC stat.ML
Maximizing a Nonnegative, Monotone, Submodular Function Constrained to Matchings
次模函数有许多应用。比赛有很多应用。双文本词对齐问题可以建模为最大化约束于完全二分图中的匹配的非负、单调、子模函数的问题，其中每个顶点对应于两个输入句子中的一个词，并且每个边表示潜在的词到词的翻译。我们提出了一个更一般的问题，最大化的非负，单调，子模函数定义在一个完整的图约束匹配的边缘集，我们称之为CSM匹配问题。CSM-匹配也推广了最大权匹配问题，它有一个多项式时间的算法，然而，我们表明，它是NP-困难的近似CSM-匹配的一个因素内e/（e-1）通过减少最大k-覆盖问题，我们的主要结果是一个简单的，贪婪的，3-近似算法的CSM-匹配。然后，我们减少CSM匹配最大化一个非负的，单调的，子模函数在两个拟阵，即，CSM-2-Matroids。CSM-2-拟阵有一个（2+ N）-近似算法-称为LSV 2。我们表明，我们可以找到一个（4+）-近似的解决方案，CSM匹配使用LSV 2。我们将这种方法扩展到类似的问题。
2013-01-10 cs.AI cs.CC cs.DS
Practical and Parallelizable Algorithms for Non-Monotone Submodular Maximization with Size Constraint
Texas A&M University（德克萨斯农工大学）
本文针对带大小约束的非单调次模最大化问题，提出修正的ThreshSeq子程序及两个近似算法，在保持低自适应轮数和查询复杂度的同时将近似比提升至0.193-ε，并通过实验验证其高效性。
2024-02-19 cs.DS cs.LG
Bandit Multi-linear DR-Submodular Maximization and Its Applications on Adversarial Submodular Bandits
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Microsoft Research（微软研究院）；Fuzhou University（福州大学）
本文研究了单调多线性DR-次模函数的在线Bandit学习，提出算法$\mathtt{BanditMLSM}$，并首次为带划分拟阵约束的次模Bandit问题给出次线性regret算法，改进了相关问题的现有regret界。
2023-05-21 cs.AI cs.LG
Gradient Methods for Submodular Maximization
University of Pennsylvania（宾夕法尼亚大学）；University of Southern California（南加州大学）；Yale University（耶鲁大学）
在本文中，我们研究的问题，最大化的连续次模函数，自然出现在许多学习应用，如涉及效用函数的主动学习和传感，矩阵逼近和网络推理。尽管这些函数明显缺乏凸性，但我们证明了随机投影梯度方法可以为凸约束的连续次模函数最大化提供强逼近保证。更具体地说，我们证明了单调连续DR-次模函数，所有不动点的投影梯度上升提供了一个因素$1/2$近似的全球最大值。我们还研究了随机梯度和镜像方法，并表明，$\mathcal{O}(1/ε^2)$迭代后，这些方法达到的解决方案，达到预期的目标值超过$(\frac{\text{OPT}}{2}-ε)$。我们的结果的一个直接应用是最大化的次模函数，定义随机，即次模函数被定义为一个家庭的次模函数与未知的分布的期望。我们将展示如何随机梯度方法自然非常适合这种设置，导致一个因素$1/2$近似时，函数是单调的。特别是，它使我们能够近似最大化离散的，单调的子模块优化问题，通过投影梯度下降的连续松弛，直接连接的离散和连续域。最后，对真实数据的实验表明，与其他连续基线相比，我们的投影梯度方法始终实现最佳效用，同时在计算工作量方面保持竞争力。
2017-08-15 cs.LG math.OC
Fairness in Monotone $k$-submodular Maximization: Algorithms and Applications
Iowa State University（爱荷华州立大学）
本文首次将公平性引入单调 $k$-子模最大化，提出贪心与阈值算法，分别实现 $\frac{1}{3}$ 和 $(\frac{1}{3}-ε)$ 近似，并通过案例验证公平约束对解质量影响甚微。
2024-11-08 cs.DS cs.LG
Upper-Linearizability of Online Non-Monotone DR-Submodular Maximization over Down-Closed Convex Sets
Purdue University（普渡大学）；IIT Indore（印度理工学院Indore）；Mila - Quebec AI Institute/McGill University（魁北克AI研究所/麦吉尔大学）
本文提出了一种将非单调DR-子模最大化问题转化为在线线性优化的方法，实现了O(T^{1/2})的静态后悔和改进的动态后悔保证。
2026-07-13 cs.LG math.OC stat.ML
Communication-Efficient Decentralized Online Continuous DR-Submodular Maximization
City University of Hong Kong（香港城市大学）；Cainiao Network（菜鸟网络）
最大化单调子模函数是机器学习、经济学和统计学中的一项基本任务。在本文中，我们提出了两个通信有效的分散在线算法的单调连续DR-子模最大化问题，这两个减少每功能梯度评估的数量和每轮通信复杂性从$T^{3/2}$到$1$。第一个是单次分散元Frank-Wolfe（Mono-DMFW），实现了$O(T^{4/5})$的$(1-1/e)$ -遗憾界。据我们所知，这是第一个用于单调连续DR子模最大化的一次性无投影分散在线算法。其次，受非遗忘提升函数\citep{zhang2022boosting}的启发，提出了分散在线提升梯度上升（DOBGA）算法，该算法实现了$O(\sqrt{T})$的$(1-1/e)$ -遗憾。据我们所知，这是第一个结果，以获得最佳的$O(\sqrt{T})$对$(1-1/e)$ -近似，只有一个梯度查询每个局部目标函数的每一步。最后，各种实验结果证实了所提出的方法的有效性。
2022-08-18 cs.LG math.OC
Conditional Gradient Method for Stochastic Submodular Maximization: Closing the Gap
Simons Institute for the Theory of Computing（西蒙斯理论计算研究所）
本文研究了\textit{constrained}和\textit{stochastic}连续子模极大化问题。即使目标函数是不是凹（也不是凸），并定义在一个期望，我们开发了一个变种的条件梯度法，称为\alg，它实现了\textit{tight}近似保证。更准确地说，对于单调和连续的DR-子模函数和受到\textit{general}凸体约束，我们证明了\alg实现了$[(1-1/e)\text{OPT} -\eps]$保证（在预期中）与$\mathcal{O}{(1/\eps^3)}$随机梯度计算。这种保证匹配已知的硬度结果，并关闭确定性和随机连续子模最大化之间的差距。通过使用随机连续优化作为一个接口，我们还提供了第一$(1-1/e)$紧逼近保证最大化的\textit{monotone but stochastic}子模块\textit{set}功能的一般拟阵约束。
2017-11-05 cs.LG math.OC
Extended Deep Submodular Functions
Sharif University of Technology（谢里夫理工大学）；Institute for Research in Fundamental Sciences (IPM)（基础科学研究所（IPM））
本文提出扩展深度子模函数（EDSFs），可表示所有单调子模函数及任意单调集合函数，保持凹性，并在覆盖函数学习中泛化误差显著低于DSFs。
2024-09-18 cs.DM cs.LG
Improved Regret Bounds for Online Submodular Maximization
University of Washington（华盛顿大学）
在本文中，我们考虑一个在线优化问题$T$轮在每一步$t\in[T]$，该算法选择一个行动$x_t$从固定的凸和紧凑的域集$\mathcal{K}$。然后，揭示效用函数$f_t(\cdot)$，并且算法接收回报$f_t(x_t)$。这个问题已被研究的假设下，公用事业是对立选择单调DR-次模函数和$\mathcal{O}(\sqrt{T})$遗憾界已被导出。我们首先刻画了一类强DR-次模函数，然后，我们得出遗憾的界限，为以下新的在线设置：$(1)$ $\{f_t\}_{t=1}^T$是单调的强DR-次模，并选择adversarially，$(2)$ $\{f_t\}_{t=1}^T$是单调次模（而平均$\frac{1}{T}\sum_{t=1}^T f_t$是强DR-次模），并选择了一个对手，但他们在一个统一的随机顺序到达，$(3)$ $\{f_t\}_{t=1}^T$被绘制i.i.d.从一些未知的分布$f_t\sim \mathcal{D}$，其中期望的函数$f(\cdot)=\mathbb{E}_{f_t\sim\mathcal{D}}[f_t(\cdot)]$是单调DR-子模的。对于$(1)$，我们得到了第一个对数遗憾界。在第二个框架，我们表明，它是可能的，以高概率获得类似的对数界限。最后，对于i.i.d.模型，我们提供了算法与$\tilde{\mathcal{O}}(\sqrt…
2021-06-15 cs.LG math.OC stat.ML
Guaranteed Non-convex Optimization: Submodular Maximization over Continuous Domains
ETH Zurich（苏黎世联邦理工学院）
次模连续函数是一类（一般）非凸/非凹函数，具有广泛的应用。我们描述这些功能，并证明他们可以有效地近似保证最大化。具体地说，i）我们引入了弱DR性质，给出了所有集合、整数格和连续函数的次模性的统一刻画; ii）对于一般下闭凸约束下的单调DR-次模连续函数，我们提出了一个具有$(1-1/e)$逼近保证和次线性收敛速度的Frank-Wolfe变式;（3）对于一般非单调子模连续函数的最大化问题，我们提出了一个具有$1/3$逼近保证的DoubleGreedy算法.子模块连续函数自然地找到应用程序在各种现实世界中的设置，包括影响力和收入最大化与连续分配，传感器能源管理，多分辨率数据汇总，设施位置等实验结果表明，所提出的算法有效地产生优越的解决方案相比，基线算法。
2019-05-06 cs.DS cs.LG
A Unified Approach to Submodular Maximization Under Noise
Google Mountain View, CA（谷歌山景城）；Yale University（耶鲁大学）；Harvard University（哈佛大学）
本文提出了一种统一方法，在噪声环境下实现子模函数最大化，通过 meta 算法将稳健算法转换为噪声环境下的算法，获得不同约束下的近似结果。
2025-12-31 cs.CC cs.DM cs.DS
Continuous Submodular Function Maximization
Tencent AI Lab（腾讯人工智能实验室）；ETH Zurich（苏黎世联邦理工学院）
连续次模函数是一类具有广泛应用的非凸/非凹函数。这类函数的著名性质-连续子模性-使精确最小化和近似最大化在多。时间连续子模是将子模的概念从离散域推广到连续域而得到的。它直观地捕捉到定义的多元函数的不同维度之间的排斥效应。本文系统地研究了连续次模性和一类非凸优化问题：连续次模函数极大化问题。我们开始由连续次模函数类的一个彻底的特征，并表明，连续次模等价于一个弱版本的收益递减（DR）属性。因此，我们还得到了一个子类的连续次模函数，称为连续DR-次模函数，它享有充分的DR性质。然后，我们提出的操作，保持连续（DR-）子模块，从而产生一般规则组成新的子模块功能。我们建立有趣的属性约束DR-子模极大化问题，如局部-全局关系。我们确定了几个应用程序的连续子模块优化，从影响力最大化，MAP推理的DPP可证明的平均场推理。对于这些应用程序，连续子模块化形式化有价值的领域知识优化这一类的目标。我们提出了两个问题的设置：约束单调DR-子模最大化和约束非单调DR-子模最大化的不可逼近的结果和可证明的算法。最后，我们广泛评估所提出的算法的有效性。
2020-06-24 cs.LG stat.ML
Resolving the Approximability of Offline and Online Non-monotone DR-Submodular Maximization over General Convex Sets
University of Haifa（海法大学）
近年来，DR-子模连续函数极大化问题成为一个重要的研究领域，在机器学习、通信系统、运筹学和经济学等领域有着广泛的应用。由于Vondrák（2013）的不可逼近性结果，该领域的大多数工作都研究了下闭凸集约束下的最大化。然而，Durr等人（2021）表明，可以通过证明近似比是$m$的函数来绕过这种不可近似性，$m$是任何可行向量的最小$\ell_{\infty}$范数。鉴于这一观察，它是可能的，以最大化DR-子模函数的一般凸集约束，这导致了多个工作在这个问题上的结果。其中最新的是Du（2022）提出的多项式时间$\tfrac{1}{4}(1 - m)$近似离线算法。然而，只有一个亚指数时间$\tfrac{1}{3\sqrt{3}}(1 - m)$ -近似算法是已知的相应的在线问题。在这项工作中，我们提出了一个多项式时间的在线算法匹配的$\tfrac{1}{4}(1 - m)$近似的国家的最先进的离线算法。我们还提出了一个不可逼近的结果，表明我们的在线算法和杜（2022）的离线算法都是在很强的意义上最优的。最后，我们研究了我们的算法和算法的经验表现杜（这只是理论上研究以前），并表明，他们一贯优于以前建议的算法收入最大化，位置汇总和二次规划应用。
2022-10-12 cs.DS cs.LG
Unified Projection-Free Algorithms for Adversarial DR-Submodular Optimization
Purdue University（普渡大学）；Iowa State University（爱荷华州立大学）
本文提出统一的Frank-Wolfe型无投影算法用于对抗性连续DR-次模优化，覆盖全信息与（半）赌博机反馈、单调与非单调函数及多种约束，在非单调设置中首次获得次线性α-遗憾界，在单调设置8个案例中7个达到最优水平。
2024-04-26 cs.AI cs.CC cs.LG
Stochastic Conditional Gradient Methods: From Convex Minimization to Submodular Maximization
Massachusetts Institute of Technology（麻省理工学院）；University of Pennsylvania（宾夕法尼亚大学）；Yale University（耶鲁大学）
本文考虑一类目标函数的随机最优化问题，其中包括凸的和连续的子模。随机近端梯度法已被广泛用于解决这类问题，然而，当问题维数很大，投影到一个凸集是昂贵的，他们的适用性仍然有限。相反，随机条件梯度法被提出作为一种替代解决方案，依赖于（i）通过简单的平均技术近似梯度，每次迭代需要一个单一的随机梯度评估;（ii）求解线性规划来计算下降/上升方向。平均技术降低了噪声的梯度近似随着时间的推移，并取代投影步骤在近似方法由一个线性规划降低了每次迭代的计算复杂性。我们表明，在凸性和光滑性的假设下，我们提出的方法收敛到最佳的目标函数值在一个次线性率$O(1/t^{1/3})$。此外，对于单调和连续的DR-子模函数和一般凸体约束，我们证明了我们提出的方法实现了$((1-1/e)OPT-\eps)$保证与$O(1/\eps^3)$随机梯度计算。这种保证匹配已知的硬度结果，并关闭确定性和随机连续子模最大化之间的差距。此外，对于目标函数是连续的DR-次模但非单调的，且约束集是下闭的情形，我们利用$O(1/\eps^3)$随机梯度得到了$((1/e)OPT -\eps)$保证.通过使用随机连续优化作为一个接口，我们提供了第一个$(1-1/e)$紧逼近保证最大化的单调，但随机子模集函数的拟阵约束和$(1/e)$逼近保证的非单调的情况下。
2018-11-12 cs.LG math.OC stat.ML
Ranking with submodular functions on a budget
KTH Royal Institute of Technology（KTH皇家理工学院）；HIIT（赫尔辛基信息技术研究所）；University of Helsinki（赫尔辛基大学）
次模最大化一直是许多重要机器学习问题的基础，并应用于病毒式营销，多样化，传感器放置等。然而，最大化次模函数的研究主要局限于选择一组项目的上下文中。另一方面，许多现实世界的应用程序需要一个解决方案，即对一组项目进行排名。在次模函数最大化的背景下的排名问题已经被认为是以前，但在很小的程度上比项目选择配方。在本文中，我们探索了一种新的配方，排名项目的子模块估值和预算约束。我们把这个问题称为最大次模排序（Max-Submodular Ranking，MSR）。更详细地说，给定一组项目和一组非递减子模块函数，其中每个函数与预算相关联，我们的目标是找到一组项目的排名，最大化预算约束下所有函数所实现的值的总和。对于基数和背包型预算约束的MSR问题，我们提出了实用的近似保证算法。此外，我们进行了实证评估，这表明了所提出的算法对强基线的优越性能。
2022-04-08 cs.DS cs.LG
Online Two-Stage Submodular Maximization
Boston University（波士顿大学）；EPFL（苏黎世联邦理工学院）；Northeastern University（东北大学）
针对在线两阶段子模最大化问题，提出算法在一般拟阵和均匀拟阵下分别达到亚线性遗憾界，并在真实数据上验证性能。
2025-10-22 cs.DS cs.LG
Fast algorithms for k-submodular maximization subject to a matroid constraint
Shandong Normal University（山东师范大学）
本文提出阈值递减算法，在拟阵约束下最大化k-子模函数，以较小近似比损失降低查询复杂度，分别给出单调与非单调情形的近似算法及复杂度分析，并推广到总规模约束。
2023-07-26 cs.DS cs.LG
Curvature Beyond Positivity: Greedy Guarantees for Arbitrary Submodular Functions
Department of Computer Science & Engineering, Texas A&M University（计算机科学与工程系，德克萨斯大学阿姆斯特朗分校）
本文提出曲率概念，用于处理非单调性和负值问题，通过贪心算法实现任意子模函数的乘法比，扩展了经典理论。
2026-05-08 cs.DS cs.LG
Robust Approximation Algorithms for Non-monotone $k$-Submodular Maximization under a Knapsack Constraint
VNU University of Engineering and Technology（越南国立大学工程技术大学）；Phenikaa University（菲尼卡大学）；Halong University（下龙大学）
本文针对背包约束下非单调k-次模最大化问题提出两种确定性近似算法，在O(nk)查询复杂度内分别达到1/19和1/5-ε的近似比，显著降低查询次数并通过实验验证其有效性。
2023-09-21 cs.CC cs.DS cs.LG
Distributed Submodular Maximization
ETH Zurich（苏黎世联邦理工学院）；Yale University（耶鲁大学）；University of Edinburgh（爱丁堡大学）
许多大规模的机器学习问题--聚类、非参数学习、核机器等--需要从大数据集中选择一个小而有代表性的子集。此类问题通常可以简化为在各种约束下最大化子模集函数。子模块优化的经典方法需要集中访问完整的数据集，这对于真正的大规模问题是不切实际的。在本文中，我们考虑了问题的子模函数最大化的分布式方式。我们开发了一个简单的，两阶段的协议GreeDi，这是很容易实现的MapReduce风格的计算。我们从理论上分析了我们的方法，并表明，在一定的自然条件下，可以实现接近集中式方法的性能。我们开始单调submodular最大化的基数约束，然后扩展这种方法来获得近似保证（不一定单调）submodular最大化的更一般的约束，包括拟阵或背包约束。在我们广泛的实验中，我们证明了我们的方法在几个应用程序上的有效性，包括稀疏高斯过程推理和基于范例的聚类数千万例使用Hadoop。
2016-06-27 cs.AI cs.DC cs.IR
Continuous DR-submodular Maximization: Structure and Algorithms
ETH Zurich（苏黎世联邦理工学院）
DR-子模连续函数是重要的目标，具有广泛的现实应用，包括决定点过程（DPP）中的MAP推理，以及概率子模模型的平均场推理等。DR-子模块性捕获非凸函数的子类，其使得能够在多项式时间内实现精确最小化和近似最大化。本文研究了一般下闭凸约束下非单调DR-次模连续函数的极大化问题。我们首先调查的几何性质，这些目标的基础，例如，证明了（近似）稳定点与全局最优解之间的强关系。这些属性，然后用来设计两个优化算法与可证明的保证。具体地说，我们首先设计了一个“两阶段”的算法与$1/4$近似保证。该算法允许使用现有的方法来寻找（近似）固定点作为一个子程序，因此，利用非凸优化的最新进展。然后给出了一个具有$1/e$逼近保证和次线性收敛速度的非单调Frank-Wolfe变式。最后，我们将我们的方法扩展到更广泛的一类广义DR-子模连续函数，它捕获了更广泛的应用。我们的理论研究结果验证合成和现实世界的问题实例。
2019-05-24 cs.AI cs.LG stat.ML
Deletion Robust Non-Monotone Submodular Maximization over Matroids
Google Research（谷歌研究院）；Sapienza University of Rome（罗马大学）
本文针对拟阵约束下的删除鲁棒子模最大化问题，提出了集中式和流式场景下的常数因子近似算法，其空间复杂度依赖于拟阵秩和删除元素数，并分别实现了4.597和9.435等近似比，且在单调情形下得到改进。
2022-08-16 cs.DS cs.LG stat.ML
Online Non-Monotone DR-Submodular Maximization Matching the Offline $0.401$ Factor
Purdue University（普渡大学）
该研究针对d维单位立方体紧凸下闭子集上的非负非单调DR-子模函数在线最大化问题，提出算法实现与离线相当的0.401近似因子，同时具有次线性近似遗憾，还通过批处理等优化调整神谕调用与遗憾的权衡。
2026-09-03 cs.AI cs.CC cs.LG
