Differentiable Submodular Maximization
Microsoft Research Cambridge（微软研究院剑桥）；ETH Zurich（苏黎世联邦理工学院）
我们考虑从数据中学习子模函数。这些功能在机器学习中非常重要，并且具有广泛的应用，例如数据摘要，特征选择和主动学习。尽管它们的组合性质，子模函数可以在多项式时间内近似最大化，并具有强的理论保证。通常，学习子模函数和该函数的优化是分开处理的，即首先使用代理目标学习函数，然后最大化。相反，我们展示了如何联合执行学习和优化。通过将贪婪最大化算法的输出解释为项目序列上的分布，并平滑这些分布，我们得到了一个可微目标。通过这种方式，我们可以通过最大化算法进行区分，并优化模型，以便与优化算法一起工作。我们从理论上描述了我们的方法所产生的误差，从而深入了解平滑性和准确性的权衡。我们证明了我们的方法的有效性，共同学习和优化合成的最大割数据，并在现实世界中的应用，如产品推荐和图像收集总结。
2018-06-14 cs.LG stat.ML
Scaling the Indian Buffet Process via Submodular Maximization
Engineering Department, Cambridge University（剑桥大学工程系）
潜在特征模型的推理本质上是困难的，因为推理空间随着输入数据的大小和潜在特征的数量呈指数增长。在这项工作中，我们使用Kurihara & Welling（2008）的最大化期望框架来执行近似MAP推理的线性高斯潜在特征模型与印度巴菲特过程（IBP）之前。该公式产生对应于模型证据上的下限的特征的子模块函数。通过给这个函数增加一个常数，我们得到一个非负的子模函数，可以通过贪婪算法最大化，该算法至少获得最优解的三分之一近似。我们的推理方法与输入数据的大小呈线性关系，我们显示了我们的方法在目前使用IBP模型分析的最大数据集上的有效性。
2013-07-24 cs.LG stat.ML
Regularized Submodular Maximization at Scale
Yale Institute for Network Science（耶鲁网络科学研究所）；Yale University（耶鲁大学）；Expedia Group（亿客行集团）；University of Haifa（海法大学）
在本文中，我们提出了可扩展的方法，最大化的正则次模函数$f = g - \ell$表示为单调次模函数$g$和模块化函数$\ell$之间的差异。事实上，子模块性与多样性、覆盖面和代表性的概念有着内在的联系。特别是，找到许多流行的概率模型的多样性，如行列式点过程，次模概率模型和强对数凹分布的模式，涉及（正则化）次模函数的最大化。由于正则化函数$f$可能具有负值，因此严重依赖于次模函数的非负性假设的经典次模最大化理论可能不适用。为了规避这一挑战，我们开发了第一个单程流算法，用于最大化受$k$基数约束的正则化子模函数。它返回一个解决方案$S$，并保证$f(S)\geq(ϕ^{-2}-ε) \cdot g(OPT)-\ell (OPT)$，其中$ϕ$是黄金比例。此外，我们开发了第一个分布式算法，该算法返回一个解决方案$S$，并保证$\mathbb{E}[f(S)] \geq (1-ε) [(1-e^{-1}) \cdot g(OPT)-\ell(OPT)]$在$O(1/ ε)$轮MapReduce计算中，而无需在每轮中保留整个数据集的多个副本（通常是这样做的）。我们应该强调的是，我们的结果，即使是非正规化的情况下，模块项$\ell$为零，提高了内存和通信的复杂性，现有的工作的一个因素，$O(1/ ε)$，同时可以说提供了一个更简单的分布式算法和统一的分析。我们还实证研究了我们的可扩展的方法在…
2020-02-10 cs.LG stat.ML
Differentially Private Decomposable Submodular Maximization
Khoury College of Computer Sciences, Northeastern University（东北大学胡里计算机科学学院）
研究了可分解子模函数的微分私有约束最大化问题。一个子模函数是可分解的，如果它采取子模函数之和的形式。在基数约束下最大化单调可分解子模函数的特殊情况被称为组合公共项目（CPP）问题[Papadimitriou等人，2008年]。Gupta等人的先前工作。[2010]给出了CPP问题的差分私有算法。我们扩展这项工作的设计差分私人算法的单调和非单调可分解的子模最大化一般拟阵的约束下，具有竞争力的效用保证。我们补充我们的理论界限与实验证明经验的性能，这提高了在一般情况下的子模块最大化的差分私有算法，并接近非私有算法的性能。
2020-05-29 cs.CR cs.DS cs.LG
Horizontally Scalable Submodular Maximization
ETH Zurich（苏黎世联邦理工学院）；Google Research（谷歌研究院）
各种大规模的机器学习问题可以被转换为受约束的子模最大化的实例。现有的分布式子模块最大化方法有一个严重的缺点：容量（可以容纳在内存中的实例数量）必须随着数据集的大小而增长。在实践中，虽然可以提供多台机器，但每台机器的容量受到物理约束的限制。我们提出了一个真正可扩展的方法，分布式子模块最大化在固定的容量。所提出的框架适用于广泛的算法和约束，并提供理论保证的近似因子的任何可用的能力。我们经验评估所提出的算法对各种数据集，并证明它实现了性能竞争力的集中式贪婪的解决方案。
2016-05-31 cs.DC cs.DM cs.LG
Scaling Submodular Maximization via Pruned Submodularity Graphs
University of Washington（华盛顿大学）；Yahoo Research（雅虎研究院）
我们提出了一种新的随机修剪方法（称为“子模块稀疏化（SS）”），以减少子模块最大化的成本。修剪通过“子模块图”应用于$n$基元素，其中每个有向边与由子模块函数定义的成对依赖性相关联。在每个步骤中，SS使用仅基于少量（$O(\log n)$）随机采样的节点计算的边上的权重来修剪节点的$1-1/\sqrt{c}$（对于$c>1$）部分。该算法需要$\log_{\sqrt{c}}n$步骤，每步计算量小且高度并行。一个精度-速度折衷参数$c$，设置为$c = 8$，导致快速收缩率$\sqrt{2}/4$和小的迭代复杂度$\log_{2\sqrt{2}}n$。分析显示，对大小为$O(\log^2 n)$的修剪集的贪婪算法可以实现与处理原始数据集的保证类似的保证。在新闻和视频摘要任务中，SS能够大幅降低计算成本和内存使用，同时保持（甚至略微超过）原始（成本更高）贪婪算法的质量。
2016-06-01 cs.LG math.CO stat.ML
Adaptive Cascade Submodular Maximization
Naveen Jindal School of Management, The University of Texas at Dallas（德克萨斯大学达拉斯分校纳文·金达尔管理学院）；Department of Computer Science, The University of Texas at Dallas（德克萨斯大学达拉斯分校计算机科学系）
本文提出并研究了自适应设置下的级联子模极大化问题。我们的问题的输入是一组项目，每个项目都处于特定的状态（即，一个项目的边际贡献），其从已知的概率分布中得出。与已有的随机次模极大化研究相比，我们的问题的一个独特之处在于，每一项都与一个连续概率相关联，该概率表示在选择当前项之后，允许继续选择下一项的概率。直观地说，这个术语抓住了选择一个项目对所有后续项目的外部性，即被选择的机会。因此，一个策略可以选择的实际项目集取决于它选择项目时所采用的特定排序，这使得我们的问题与经典的子模集优化问题有着根本的不同。我们的目标是确定最佳的选择项目的顺序，以最大限度地提高所选项目的预期效用。我们提出了一类随机效用函数\emph{adaptive cascade submodular functions}，并证明了在许多实际应用领域的目标函数满足自适应级联子模块。然后，我们开发了一个$0.12$近似算法的自适应级联子模块最大化问题。
2021-02-12 cs.AI cs.LG stat.ML
Streaming Submodular Maximization under a $k$-Set System Constraint
The Open University of Israel（以色列开放大学）；Yale Institute for Network Science, Yale University（耶鲁大学网络科学研究所）；University of Haifa（海法大学）
在本文中，我们提出了一个新的框架，将流算法的单调子模块最大化到流算法的非单调子模块最大化。这种减少很容易导致目前最严格的确定性近似比submodular最大化受$k$ -matchoid约束。此外，我们提出了第一个流算法的单调子模最大化受$k$ -可扩展和$k$ -集系统约束。与我们提出的约简一起，我们分别得到了满足上述约束的子模最大化的$O(k\log k)$和$O(k^2\log k)$近似比。我们广泛评估我们的算法对现有的工作在一系列的实验，包括寻找随机生成的图中的最大独立集，最大化线性函数在社交网络，电影推荐，Yelp位置摘要，Twitter数据摘要的经验性能。
2020-02-09 cs.DS cs.LG
Continuous DR-submodular Maximization: Structure and Algorithms
ETH Zurich（苏黎世联邦理工学院）
DR-子模连续函数是重要的目标，具有广泛的现实应用，包括决定点过程（DPP）中的MAP推理，以及概率子模模型的平均场推理等。DR-子模块性捕获非凸函数的子类，其使得能够在多项式时间内实现精确最小化和近似最大化。本文研究了一般下闭凸约束下非单调DR-次模连续函数的极大化问题。我们首先调查的几何性质，这些目标的基础，例如，证明了（近似）稳定点与全局最优解之间的强关系。这些属性，然后用来设计两个优化算法与可证明的保证。具体地说，我们首先设计了一个“两阶段”的算法与$1/4$近似保证。该算法允许使用现有的方法来寻找（近似）固定点作为一个子程序，因此，利用非凸优化的最新进展。然后给出了一个具有$1/e$逼近保证和次线性收敛速度的非单调Frank-Wolfe变式。最后，我们将我们的方法扩展到更广泛的一类广义DR-子模连续函数，它捕获了更广泛的应用。我们的理论研究结果验证合成和现实世界的问题实例。
2019-05-24 cs.AI cs.LG stat.ML
Black Box Submodular Maximization: Discrete and Continuous Settings
Yale Institute for Network Science（耶鲁网络科学研究所）；Yale University（耶鲁大学）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们考虑黑盒连续次模最大化问题，我们只能访问的功能值，没有信息的导数提供。对于单调和连续的DR-子模函数，并受到有界凸体约束，我们提出了黑盒连续贪婪，一个导数免费的算法，可证明实现了紧$[(1-1/e)OPT-ε]$近似保证与$O(d/ε^3)$功能评价。然后，我们将我们的结果扩展到随机设置的函数值受到随机零均值噪声。正是通过这种随机推广，我们重新审视离散次模最大化问题，并使用多线性扩展作为离散和连续设置之间的桥梁。最后，我们广泛评估我们的算法的性能，连续和离散submodular目标函数使用合成和真实数据。
2020-03-01 cs.DS cs.LG math.OC
Distributionally Robust Submodular Maximization
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；USC（南加利福尼亚大学）
子模块函数在整个机器学习中都有应用，但在许多设置中，我们无法直接存取底层函数$f$。我们专注于随机函数，给出了一个分布$P$的期望函数。在实践中，我们通常只有来自$P$的有限样本集$f_i$。标准方法通过最大化$f_i$的和来间接优化$f$。然而，这忽略了对真实（未知）分布的泛化。在本文中，我们通过直接优化偏差和方差的组合，在实际的底层函数$f$上实现了更好的性能。在数学上，我们完成了这一点，展示了如何进行分布式鲁棒优化（DRO）的次模函数，提供有效的算法支持的理论保证，利用几个新的贡献DRO的一般理论。我们还展示了令人信服的经验证据，DRO提高了推广到未知的随机次模函数。
2018-06-06 cs.LG math.OC stat.ML
Beyond Pointwise Submodularity: Non-Monotone Adaptive Submodular Maximization subject to Knapsack and $k$-System Constraints
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文研究了带有背包和$k$ -系统约束的非单调自适应次模极大化问题。我们的问题的输入是一组项目，其中每个项目都有一个特定的状态，从一个已知的先验分布。然而，一个项目的状态最初是未知的，必须选择一个项目，以揭示该项目的状态。有一个效用函数是定义在项目和状态上的。我们的目标是顺序选择一组项目，以最大化预期效用。虽然基数约束非单调自适应次模极大化问题在文献中得到了很好的研究，但背包约束或$k$ -系统约束的自适应次模极大化问题是否存在常数近似解仍然是一个悬而未决的问题.事实上，它只解决了点态子模性的额外假设。在本文中，我们删除了点态子模性的共同假设，并提出了第一常数近似解决方案的两种情况。最近的两项研究的启发，非单调自适应子模块最大化，我们开发了一个基于采样的随机算法，实现了一个背包约束的情况下的$\frac{1}{10}$近似，并实现了$\frac{1}{2k+4}$近似比的情况下的$k$系统约束。
2021-09-28 cs.DS cs.LG
Online DR-Submodular Maximization with Stochastic Cumulative Constraints
University of Washington（华盛顿大学）
本文研究了线性随机长期约束下的在线连续DR-子模极大化问题。与在线次模最大化的先前工作相比，我们的设置引入了随机线性约束函数的额外复杂性，这些函数是独立同分布的。在每一轮产生。确切地说，在步骤$t\in\{1,\dots,T\}$，DR-子模效用函数$f_t(\cdot)$和约束向量$p_t$，i.i.d.从具有平均$p$的未知分布中生成，在提交动作$x_t$后显示，并且我们的目标是在预期的累积资源消耗$\sum_{t=1}^T \langle p,x_t\rangle$低于固定预算$B_T$时最大化总体效用。随机长期约束自然出现在应用程序中，其中有一个有限的预算或资源可用，在每一步的资源消耗是由随机时变环境。我们提出了在线拉格朗日Frank-Wolfe（OLFW）算法来解决这类在线问题。我们分析了OLFW算法的性能，我们得到了次线性遗憾界以及次线性累积约束违反界，无论是在期望和高概率。
2021-05-21 cs.LG math.OC stat.ML
Using Partial Monotonicity in Submodular Maximization
University of Haifa（海法大学）
在过去的二十年里，次模函数最大化一直是机器学习应用中许多离散优化问题的主力。传统上，子模函数的研究是基于二元函数的性质。然而，这样的属性有一个继承的弱点，即，如果一个算法假设函数具有特定的属性，那么它不会为违反此属性的函数提供保证，即使违反非常轻微。因此，最近的工作开始考虑连续版本的函数属性。其中最重要的（到目前为止）可能是子模比和曲率，它们被广泛地一起和单独研究。集函数的单调性在次模极大化中起着核心作用。然而，尽管有上述所有工作，迄今为止（据我们所知）还没有提出这个属性的连续版本。这是不幸的，因为几乎单调的子模函数经常出现在机器学习应用中。在这项工作中，我们填补了这一空白，定义的单调性比，这是一个连续版本的单调性属性。然后，我们表明，对于许多标准的子模最大化算法，可以证明新的近似保证，依赖于单调性比，从而提高近似比的电影推荐，二次规划和图像摘要的常见机器学习应用。
2022-05-17 cs.DS cs.LG math.OC
Stochastic Submodular Maximization: The Case of Coverage Functions
ETH Zurich（苏黎世联邦理工学院）；University of Pennsylvania（宾夕法尼亚大学）
连续目标的随机优化是现代机器学习的核心。然而，许多重要的问题是离散的性质，往往涉及子模块的目标。我们试图释放随机连续优化的力量，即随机梯度下降及其变种，这样的离散问题。我们首先介绍了随机次模块优化问题，其中需要优化的次模块目标，这是作为一个期望。我们的模型捕捉了离散目标作为经验风险出现的情况（例如，在基于样本的聚类的情况下），或者作为显式随机模型给出（例如，在社交网络中影响力最大化的情况下）。通过利用公共扩张线性作用于子模函数类，我们在连续域中采用投影随机梯度上升及其变体，并进行舍入以获得离散解。我们专注于丰富和广泛使用的家庭加权覆盖函数。我们表明，我们的方法产生的解决方案，保证匹配的最佳近似保证，同时减少了几个数量级的计算成本，我们证明经验。
2017-11-05 cs.DM cs.LG stat.ML
Submodular Maximization via Taylor Series Approximation
Northeastern University（东北大学）
本文研究带拟阵约束的子模最大化问题，提出用泰勒级数近似替代采样，使连续贪心算法达到接近1-1/e的近似比，并大幅缩短执行时间。
2021-01-19 cs.LG
Noisy Submodular Maximization via Adaptive Sampling with Applications to Crowdsourced Image Collection Summarization
ETH Zurich（苏黎世联邦理工学院）
我们解决的问题，最大限度地提高一个未知的子模块功能，只能通过嘈杂的评价。我们的工作动机是总结内容的任务，例如，图像集合，通过利用用户以点击或评级形式的反馈。对于以最大化覆盖率和多样性为目标的摘要任务，子模集函数是一个自然的选择。当底层子模函数未知时，用户的反馈可能会对我们寻求最大化的函数提供嘈杂的评估。我们提供了一个通用算法-- \submM{} --用于在基数约束下最大化未知子模函数。该算法利用了一种新的探索模块-- \blbox{} --提出了基于自适应采样噪声函数评估的好元素。\blbox{}能够适应不同类型的观察模型，例如值查询和成对比较。我们为\submM{}获得的解决方案的质量和采样成本提供PAC式保证。我们证明了我们的方法在互动，众包图像收集摘要应用程序的有效性。
2015-12-01 cs.AI cs.LG stat.ML
Fast First-Order Methods for Monotone Strongly DR-Submodular Maximization
University of Washington（华盛顿大学）
连续DR-次模函数是一类满足收益递减（DR）性质的函数，这意味着它们沿非负方向是凹的。已有的工作研究单调连续DR-子模极大化的凸约束，并提出了有效的算法与近似保证。然而，在许多应用中，例如，计算图的稳定数和概率对数次模模型的平均场推断，DR次模函数具有沿非负方向是\emph{strongly}凹的附加性质，这可以用于获得更快的收敛速率。在本文中，我们首先引入和刻画了一类\emph{strongly DR-submodular}函数，并证明了这样一个性质意味着沿非负方向的强连续性。然后，我们研究了$L$ -光滑单调强DR-次模函数有界曲率，我们展示了如何利用这种额外的结构，以获得改进的近似保证和更快的收敛速度的最大化问题的算法。特别是，我们提出了SDRFW算法，匹配可证明的最佳$1-\frac{c}{e}$近似比后，只有$\lceil\frac{L}μ\rceil$迭代，其中$c\in[0,1]$和$μ\geq 0$的曲率和强DR-子模块化参数。此外，我们研究了投影梯度上升（PGA）方法，并提供了一个改进的$\frac{1}{1+c}$逼近比和线性收敛速度的算法的精细分析。考虑到这两种算法都需要光滑参数$L$的知识，我们提供了DR-子模函数的$L$的\emph{novel}特征，表明在许多情况下，计算$L$可以被公式化为凸问题，即，一个几何规划，可以有效地解决。
2022-05-27 cs.LG math.OC stat.ML
Optimal Algorithms for Continuous Non-monotone Submodular and DR-Submodular Maximization
Stanford University（斯坦福大学）
在本文中，我们研究了极大化超立方体上的连续非单调子模函数的基本问题，包括有和没有坐标方向的限制。这类优化问题在机器学习、经济学和通信系统中有几个应用。我们的主要结果是第一个$\frac{1}{2}$ -近似算法连续次模函数最大化，这个近似因子的$\frac{1}{2}$是最好的算法，只查询目标函数在多项式多点。对于DR-次模最大化的特殊情况，即当次模函数沿所有坐标也是坐标方向凹时，我们提供了一个不同的$\frac{1}{2}$ -近似算法，它在准线性时间内运行。这两个结果都改进了先前的工作[Bian et al，2017，Soma and Yoshida，2017]。我们的第一个算法使用了新的想法，如减少保证近似问题，以分析每个坐标的零和游戏，并结合了这个零和游戏的几何形状，以固定在这个坐标的值。我们的第二个算法利用坐标明智的搜索，以确定一个单调的平衡条件足以得到所需的近似保证，并使用二进制搜索的平衡点狩猎。我们进一步运行实验来验证我们提出的算法在相关机器学习应用中的性能。
2018-05-24 cs.DS cs.GT cs.LG
Very Fast Streaming Submodular Function Maximization
TU Dortmund University（多特蒙德工业大学）
数据摘要已经成为理解甚至是TB级数据的有价值的工具。次模函数由于其令人信服的理论性质，一直是摘要算法研究的热点。这些算法提供了最坏情况下的近似保证，以牺牲更高的计算和存储器的要求。然而，许多实际应用程序并不属于这种最坏情况，而是通常表现得更好。在本文中，我们提出了一个新的子模函数最大化算法称为ThreeSieves，它忽略了最坏的情况下，但提供了一个很好的解决方案，在高概率。它从动态数据流中选择信息量最大的项，并在固定的内存预算上保持可证明的性能。在一个广泛的评估，我们比较我们的方法对$6$其他方法在$8$不同的数据集和没有概念漂移。我们表明，我们的算法优于目前最先进的算法，并在同一时间，使用更少的资源。最后，我们强调了我们的算法在伽马射线天文学中的数据汇总的一个真实用例。我们在https://github.com/sbuschjaeger/SubmodularStreamingMaximization上公开发布我们的代码。
2021-05-08 cs.DM cs.LG stat.ML
Online Non-Monotone DR-submodular Maximization
IBISC；Univ. Evry（埃夫里大学）；University Paris-Saclay（巴黎萨克雷大学）
在本文中，我们研究最大化DR-子模连续函数，在机器学习，经济学，运筹学和通信系统领域的实际应用的基本问题。它捕获了非凸优化的一个子类，提供了理论和实践保证。在这里，我们专注于最小化遗憾的在线到达非单调DR-次模函数在不同类型的凸集：超立方体，下闭和一般凸集。首先，我们提出了一个在线算法，实现了$1/e$ -近似比与遗憾的$O(T^{2/3})$最大化DR-子模函数在任何下闭凸集。请注意，$1/e$的近似比与问题的离线版本的最佳保证匹配。此外，当凸集是超立方体时，我们提出了一个紧1/2近似算法，其遗憾界为$O(\sqrt{T})$。接下来，我们给出了一个在线算法，实现了近似保证（取决于搜索空间）的问题，最大化非单调连续DR-次模函数的\emph{general}凸集（不一定下闭）。据我们所知，没有事先的算法与近似保证已知的非单调DR-子模极大化在线设置。最后，我们运行实验来验证我们的算法在机器学习领域与现实世界的数据集出现的问题的性能。
2020-06-23 cs.DS cs.LG stat.ML
The FAST Algorithm for Submodular Maximization
Harvard University（哈佛大学）
在本文中，我们描述了一种新的算法，称为快速自适应排序技术（FAST）的基数约束$k$的近似比是任意接近$1-1/e$的单调子模函数最大化，是$O(\log(n) \log^2(\log k))$自适应，并使用了总的$O(n \log\log(k))$查询。最近的算法在渐近最坏情况分析方面有可比的保证，但它们的实际轮数和查询复杂性在精度和置信度方面依赖于非常大的常数和多项式，这使得它们对于大数据集不切实际。我们的主要贡献是一个设计，是非常有效的非渐近最坏情况下的查询复杂性和轮数，并在其实际运行时间。我们表明，该算法优于任何算法的子模块最大化，我们知道，包括超优化的并行版本的最先进的串行算法，通过运行实验的大数据集。这些实验表明FAST比最先进的快几个数量级。
2019-07-14 cs.DS cs.LG stat.ML
Conditional Gradient Method for Stochastic Submodular Maximization: Closing the Gap
Simons Institute for the Theory of Computing（西蒙斯理论计算研究所）
本文研究了\textit{constrained}和\textit{stochastic}连续子模极大化问题。即使目标函数是不是凹（也不是凸），并定义在一个期望，我们开发了一个变种的条件梯度法，称为\alg，它实现了\textit{tight}近似保证。更准确地说，对于单调和连续的DR-子模函数和受到\textit{general}凸体约束，我们证明了\alg实现了$[(1-1/e)\text{OPT} -\eps]$保证（在预期中）与$\mathcal{O}{(1/\eps^3)}$随机梯度计算。这种保证匹配已知的硬度结果，并关闭确定性和随机连续子模最大化之间的差距。通过使用随机连续优化作为一个接口，我们还提供了第一$(1-1/e)$紧逼近保证最大化的\textit{monotone but stochastic}子模块\textit{set}功能的一般拟阵约束。
2017-11-05 cs.LG math.OC
Group Equality in Adaptive Submodular Maximization
Naveen Jindal School of Management, The University of Texas at Dallas（德克萨斯大学达拉斯分校纳文·金德尔管理学院）；Department of Computer Science and Engineering, The University of North Texas（北德克萨斯大学计算机科学与工程系）
针对受组平等性约束的子模最大化问题，提出首个常数因子近似算法，并扩展至自适应设置、全局基数约束及其他公平性概念。
2023-08-29 cs.DS cs.LG
Weakly Submodular Maximization Beyond Cardinality Constraints: Does Randomization Help Greedy?
Yale University（耶鲁大学）；The Open University of Israel（以色列开放大学）
次模函数是集合函数的一个广泛的类别，它自然地出现在不同的领域。已经提出了许多算法来最大化这些函数。不幸的是，一旦函数偏离子模块性，已知的算法可能执行任意差。修正这一问题，通过获得集函数的近似结果推广次模函数，一直是最近的工作的焦点。其中一类，称为弱次模函数，受到了很多关注。Das和Kempe（2011）证明的一个关键结果表明，受基数约束的弱子模块最大化的贪心算法的近似比随着与子模块的距离而平滑地下降。然而，没有结果已获得最大化的约束超出基数。特别是，它是不知道的贪心算法是否达到任何非平凡的近似比这样的约束。在本文中，我们证明了贪心算法的随机版本（以前由Buchbinder等人使用。（2014）用于不同的问题）对于受一般拟阵约束的弱子模函数的最大化实现了$(1 + 1/γ)^{-2}$的近似比，其中$γ$是测量函数与子模性的距离的参数。此外，我们还实验比较了这个版本的贪心算法对自然基准的现实世界中的问题的性能，并表明，我们研究的算法在实践中也表现良好。据我们所知，这是第一个算法与非平凡的近似保证最大化弱次模函数的约束，而不是简单的基数约束。特别是，它是第一个算法，这样一个保证的重要和广泛的类拟阵约束。
2017-07-13 cs.AI cs.DM cs.DS
A Note On Deterministic Submodular Maximization With Bounded Curvature
The Ohio State University（俄亥俄州立大学）
本文基于 Buchbinder 和 Feldman 在 FOCS'24 的突破性结果，提出一种确定性的 $(1-κ_{f}/e-\varepsilon)$-近似算法，用于拟阵约束下曲率为 $κ_{f}$ 的子模最大化问题。
2024-08-25 cs.DS cs.LG
Randomized Greedy Learning for Non-monotone Stochastic Submodular Maximization Under Full-bandit Feedback
KAUST（阿卜杜拉国王科技大学）；Purdue University（普渡大学）；Iowa State University（爱荷华州立大学）
研究了具有完全反馈和随机报酬的无约束组合多臂次模最大化问题。以前的作品调查同样的问题，假设一个子模块和单调的奖励函数。在这项工作中，我们研究了一个更普遍的问题，即，当报酬函数不一定是单调的，并且子模块性仅在期望中被假设时。提出了随机贪婪学习算法（RGL），并从理论上证明了该算法对于水平$T$和臂数$n$都达到了$\frac{1}{2}$ -遗憾上界$\tilde{\mathcal{O}}(n T^{\frac{2}{3}})$.我们还表明，在实验中，RGL经验优于其他充分的强盗变种submodular和nonsubmodular设置。
2023-02-02 cs.AI cs.LG math.OC
Stochastic Submodular Maximization via Polynomial Estimators
Northeastern University（东北大学）
在本文中，我们研究随机次模最大化问题一般拟阵约束，自然出现在在线学习，团队形成，设施位置，影响力最大化，主动学习和传感目标函数。换句话说，我们专注于最大化子模函数，这些子模函数被定义为具有未知分布的一类子模函数的期望。我们表明，对于这种形式的单调函数，随机连续贪心算法达到的逼近比（在预期中）任意接近$(1-1/e) \approx 63\%$使用多项式估计的梯度。我们认为，使用这个多项式估计，而不是现有技术，使用采样消除了随机性的来源，并通过实验减少了执行时间。
2023-03-17 cs.AI cs.LG math.OC
Streaming Submodular Maximization with Differential Privacy
Khoury College of Computer Sciences, Northeastern University（东北大学胡里计算机科学学院）
在这项工作中，我们研究的问题，私人最大化的子模函数在流设置。广泛的工作已经做了私人最大化的子模函数在一般情况下，当功能依赖于个人的私人数据。然而，当从目标函数的域中提取的数据流的大小很大或到达非常快时，必须在流设置的约束内私下优化目标。我们建立基本的差异私人基线这个问题，然后得到更好的权衡隐私和实用程序的特殊情况下，可分解的子模块功能。子模函数是可分解的，当它可以被写为子模函数的和;这种结构自然出现时，每个被加数函数模型的效用的个人和目标是研究总效用的整个人口在著名的组合公共项目问题。最后，我们补充我们的理论分析与实验证实。
2022-10-25 cs.CR cs.DS cs.LG
Unconstrained Submodular Maximization with Constant Adaptive Complexity
Yale Institute for Network Science, Yale University（耶鲁大学耶鲁网络科学研究所）；The Open University of Israel（以色列开放大学）
本文研究了无约束次模极大化问题。我们提出了这个问题，实现了紧密的$(1/2-\varepsilon)$近似保证使用$\tilde{O}(\varepsilon^{-1})$自适应轮和线性数量的函数评估的第一个算法。对于这个问题，没有先前已知的算法使用少于$Ω(n)$轮的自适应性来实现比$1/3$更好的近似比，其中$n$是基集的大小。此外，我们的算法很容易扩展到最大化的非负连续DR-子模函数的框约束，并实现了紧密的$(1/2-\varepsilon)$近似保证这个问题，同时保持相同的自适应和查询的复杂性。
2018-11-19 cs.DS cs.LG
The Power of Randomization: Distributed Submodular Maximization on Massive Datasets
University of Warwick（华威大学）
机器学习中的各种各样的问题，包括样本聚类、文档摘要和传感器放置，可以被转换为受约束的子模块最大化问题。不幸的是，由此产生的子模块优化问题往往太大，无法在一台机器上解决。我们开发了一个简单的分布式算法，是并行的，它实现了可证明的，恒定的因素，最坏情况下的近似保证。在我们的实验中，我们证明了它的效率在大型问题与不同种类的约束，目标值总是接近什么是在集中式设置中可以实现的。
2015-04-22 cs.AI cs.DC cs.LG
Streaming Adaptive Submodular Maximization
Naveen Jindal School of Management, University of Texas at Dallas（德克萨斯大学达拉斯分校纳文·金达尔管理学院）；Department of Computer Science, University of North Texas（北德克萨斯大学计算机科学系）
许多序贯决策问题可以表述为一个自适应子模极大化问题。然而，大多数现有的研究在这一领域集中在基于池的设置，其中一个可以选择项目以任何顺序，并有一些研究的基于流的设置项目到达任意顺序，必须立即决定是否选择一个项目或不在其到来。在本文中，我们引入了一类新的效用函数，半策略次模函数。我们开发了一系列有效的算法，以最大化一个半策略的子模函数下基于流的设置。
2022-08-17 cs.AI cs.LG
Continuous Submodular Maximization: Beyond DR-Submodularity
University of Haifa（海法大学）；Yale University（耶鲁大学）
在本文中，我们提出了第一个连续优化算法，实现了常数因子近似保证问题的单调连续子模最大化的线性约束。我们首先证明了一个简单的变种香草坐标上升，称为Coordinate-Ascent+，实现了$(\frac{e-1}{2e-1}-\varepsilon)$ -近似保证，同时执行$O(n/\varepsilon)$迭代，其中每次迭代的计算复杂性大致为$O(n/\sqrt{\varepsilon}+n\log n)$（在这里，$n$表示优化问题的维度）。然后，我们提出了Coordinate-Ascent++，它实现了严格的$(1-1/e-\varepsilon)$近似保证，同时执行相同数量的迭代，但在一个更高的计算复杂性，大约$O(n^3/\varepsilon^{2.5} + n^3 \log n / \varepsilon^2)$每次迭代。然而，每轮Coordinate-Ascent++的计算可以很容易地并行化，使得每台机器的计算成本按$O(n/\sqrt{\varepsilon}+n\log n)$缩放。
2020-06-21 cs.DS cs.LG
Robust Adaptive Submodular Maximization
Naveen Jindal School of Management, The University of Texas at Dallas（德克萨斯大学达拉斯分校纳文·金达尔管理学院）
序贯决策问题的目标是设计一个交互式策略，自适应地选择一组项目，每次选择都是基于过去的反馈，以最大化所选项目的期望效用。它已被证明，许多现实世界中的应用程序的效用函数是自适应子模。然而，现有的自适应子模块优化算法的研究大多集中在平均情况下。不幸的是，具有良好平均情况性能的策略在最坏情况实现下可能具有非常差的性能。在这项研究中，我们建议研究两个变种的自适应子模块优化问题，即最坏情况下的自适应子模块最大化和鲁棒子模块最大化。第一个问题的目的是找到一个政策，最大化最坏情况下的效用和后者的目的是找到一个政策，如果有的话，同时实现近最优的平均情况下的效用和最坏情况下的效用。我们引入了一类新的随机函数，称为\emph{worst-case submodular function}。对于$p$系统约束下的最坏情况自适应次模块最大化问题，如果效用函数是最坏情况次模块化的，我们提出了一种自适应最坏情况贪婪策略，该策略可以实现对最优最坏情况效用的$\frac{1}{p+1}$逼近比.对于基数约束下的鲁棒自适应次模最大化问题（分别为分割拟阵约束），如果效用函数是最坏情况下的次模和自适应次模，我们开发了一种混合自适应策略，实现了接近$1-e^{-\frac{1}{2}}$（分别为）的近似。$1/3$）同时在最差情况和平均情况设置下。我们还描述了我们的理论结果的几个应用，包括池为基础的主动学习，随机子模块集覆…
2022-09-12 cs.DS cs.LG math.OC
Efficient algorithms for robust submodular maximization under matroid constraints
Georgia Institute of Technology（佐治亚理工学院）
在这项工作中，我们考虑鲁棒次模最大化与拟阵约束。我们给出了一个有效的双准则近似算法，输出一个小家庭的可行集，其工会有（近）最佳的目标值。该算法理论上执行的函数调用比以前的作品在成本上添加更多的元素到最终的解决方案。我们还提供了显着的实现改进，表明我们的算法优于现有文献中的算法。最后，我们评估我们的贡献在三个现实世界中的应用程序的性能。
2018-07-25 cs.DM cs.DS cs.LG
Partial-Adaptive Submodular Maximization
Naveen Jindal School of Management, The University of Texas at Dallas（德克萨斯大学达拉斯分校纳文·金达尔管理学院）；Department of Computer Science, The University of Texas at Dallas（德克萨斯大学达拉斯分校计算机科学系）
一个典型的自适应序贯决策问题的目标是设计一个交互式的政策，选择一组项目顺序，根据一些部分的意见，以最大化的期望效用。许多实际应用的效用函数，包括基于池的主动学习和自适应影响力最大化，都满足自适应子模块性的性质。然而，大多数关于自适应子模最大化的现有研究都集中在完全自适应设置上，即，在进行下一个选择之前，必须等待来自\emph{all}过去选择的反馈。虽然这种方法可以充分利用来自过去的反馈来做出明智的决定，但与非自适应解决方案相比，它可能需要更长的时间来完成选择过程，在非自适应解决方案中，所有选择都是在进行任何观察之前提前进行的。在本文中，我们探讨了部分自适应次模最大化的问题，其中一个是允许在一批同时进行多个选择，并观察他们的实现在一起。我们的方法具有自适应性的优点，同时减少了等待过去选择的观察结果所花费的时间。据我们所知，没有结果是已知的部分自适应政策的非单调自适应次模最大化问题。我们在基数约束和背包约束下研究了这个问题，并为这两种情况开发了有效和高效的解决方案。我们还分析了批量查询的复杂性，即，一个策略完成选择过程所需的批次数，在一些额外的假设下，我们的策略。
2021-11-01 cs.LG
Robust Maximization of Non-Submodular Objectives
EPFL（洛桑联邦理工学院）
我们研究的问题，最大化的单调集函数的基数约束$k$的设置中删除一些元素$τ$从返回的集合。这项工作的重点是最坏情况下的对抗性设置。虽然当函数是子模块时存在常数因子保证，但对于非子模块目标没有保证。在这项工作中，我们提出了一个新的算法遗忘贪婪，并证明了第一个常数因子近似保证更广泛的非次模目标。所获得的理论界限是第一个常数因子界限，也保持在线性制度，即当删除$τ$的数量是线性的$k$。我们的界限依赖于已建立的参数，如子模比和一些新的，如逆曲率。我们约束这些参数的两个重要目标，包括支持选择和方差减少。最后，我们在各种数据集上证明了遗忘贪婪算法对这两个目标的鲁棒性能。
2020-05-02 cs.AI cs.DS cs.LG
Online Two-Stage Submodular Maximization
Boston University（波士顿大学）；EPFL（苏黎世联邦理工学院）；Northeastern University（东北大学）
针对在线两阶段子模最大化问题，提出算法在一般拟阵和均匀拟阵下分别达到亚线性遗憾界，并在真实数据上验证性能。
2025-10-22 cs.DS cs.LG
Differentiable Greedy Submodular Maximization: Guarantees, Gradient Estimators, and Applications
Graduate School of Information Sciences and Technology（信息科学与技术研究生院）；The University of Tokyo（东京大学）
例如，随着灵敏度分析和端到端学习的发展，对可微优化算法的需求显著增加。在本文中，我们建立了一个理论上有保证的通用框架，使单调子模函数最大化的贪心算法可微。我们通过随机化对贪心算法进行了光滑化，并证明了在基数和$κ$ -可扩展系统约束的情况下，它几乎可以在期望中恢复原始的近似保证。我们还展示了如何有效地计算任何预期的输出相关量的无偏梯度估计。我们证明了我们的框架的实用性，通过实例化它的各种应用程序。
2020-06-12 cs.DS cs.LG
Guaranteed Non-convex Optimization: Submodular Maximization over Continuous Domains
ETH Zurich（苏黎世联邦理工学院）
次模连续函数是一类（一般）非凸/非凹函数，具有广泛的应用。我们描述这些功能，并证明他们可以有效地近似保证最大化。具体地说，i）我们引入了弱DR性质，给出了所有集合、整数格和连续函数的次模性的统一刻画; ii）对于一般下闭凸约束下的单调DR-次模连续函数，我们提出了一个具有$(1-1/e)$逼近保证和次线性收敛速度的Frank-Wolfe变式;（3）对于一般非单调子模连续函数的最大化问题，我们提出了一个具有$1/3$逼近保证的DoubleGreedy算法.子模块连续函数自然地找到应用程序在各种现实世界中的设置，包括影响力和收入最大化与连续分配，传感器能源管理，多分辨率数据汇总，设施位置等实验结果表明，所提出的算法有效地产生优越的解决方案相比，基线算法。
2019-05-06 cs.DS cs.LG
A Parallel Double Greedy Algorithm for Submodular Maximization
Boston University（波士顿大学）；Northeastern University（东北大学）
研究了极大化非负次模函数问题的并行算法。我们的主要结果是一个算法，实现了接近最佳的$1/2 -ε$近似使用$O(\log(1/ε) / ε)$并行轮的功能评估。我们的算法是基于一个连续的双贪心算法的Buchbinder等人。实现最佳的$1/2$近似的顺序设置。我们的算法更普遍地适用于最大化连续递减收益（DR）函数的问题。
2018-12-04 cs.DS cs.LG
Non-monotone DR-submodular Maximization: Approximation and Regret Guarantees
Sorbonne Université（索邦大学）；Univ Évry, Université Paris-Saclay（埃夫里大学，巴黎-萨克雷大学）
子模优化是一个重要的研究领域，在机器学习、经济学和通信系统中有着广泛的应用。它捕获了非凸优化的一个子类，提供了实践和理论上的保证。本文研究了下闭和一般凸集上非单调DR-次模函数的最大化问题。首先，我们表明，离线最大化非单调DR-次模函数在一般的凸集上，Frank-Wolfe算法实现的近似保证依赖于凸集。其次，我们证明了随机梯度上升算法实现了1/4的近似比与遗憾的$O(1/\sqrt{T})$的最大化问题的非单调DR-子模函数的下闭凸集。这些是相应设置中的第一近似保证。最后，我们基准这些算法在机器学习领域与现实世界的数据集出现的问题。
2019-05-23 cs.DS cs.LG math.OC
Fast and Private Submodular and $k$-Submodular Functions Maximization with Matroid Constraints
Simon Fraser University（西蒙菲莎大学）；National Institute of Informatics（信息科学研究所）
在过去的十年中，极大化非负单调次模函数的问题得到了广泛的研究，并提出了一系列有效的近似算法。许多机器学习问题，包括数据摘要和影响力最大化，可以很自然地建模为最大化单调子模函数的问题。然而，当此类应用程序涉及有关个人的敏感数据时，应解决其隐私问题。本文在差分隐私框架下研究了拟阵约束下的单调次模函数的最大化问题。我们提供了$(1-\frac{1}{\mathrm{e}})$ -近似算法，它改进了以前的结果在近似保证。在我们的算法中，这几乎是用立方数量的函数求值来完成的。此外，我们研究了$k$ -子模块性，子模块性的一个自然推广。我们给第一个$\frac{1}{2}$近似算法，保持差分隐私最大化单调$k$ -子模函数拟阵约束。近似比是渐近紧的，并获得了几乎线性数量的功能评估。
2020-06-28 cs.CR cs.DM cs.DS
Distributed Submodular Maximization
ETH Zurich（苏黎世联邦理工学院）；Yale University（耶鲁大学）；University of Edinburgh（爱丁堡大学）
许多大规模的机器学习问题--聚类、非参数学习、核机器等--需要从大数据集中选择一个小而有代表性的子集。此类问题通常可以简化为在各种约束下最大化子模集函数。子模块优化的经典方法需要集中访问完整的数据集，这对于真正的大规模问题是不切实际的。在本文中，我们考虑了问题的子模函数最大化的分布式方式。我们开发了一个简单的，两阶段的协议GreeDi，这是很容易实现的MapReduce风格的计算。我们从理论上分析了我们的方法，并表明，在一定的自然条件下，可以实现接近集中式方法的性能。我们开始单调submodular最大化的基数约束，然后扩展这种方法来获得近似保证（不一定单调）submodular最大化的更一般的约束，包括拟阵或背包约束。在我们广泛的实验中，我们证明了我们的方法在几个应用程序上的有效性，包括稀疏高斯过程推理和基于范例的聚类数千万例使用Hadoop。
2016-06-27 cs.AI cs.DC cs.IR
Bandit Multi-linear DR-Submodular Maximization and Its Applications on Adversarial Submodular Bandits
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Microsoft Research（微软研究院）；Fuzhou University（福州大学）
本文研究了单调多线性DR-次模函数的在线Bandit学习，提出算法$\mathtt{BanditMLSM}$，并首次为带划分拟阵约束的次模Bandit问题给出次线性regret算法，改进了相关问题的现有regret界。
2023-05-21 cs.AI cs.LG
Fairness in Streaming Submodular Maximization: Algorithms and Hardness
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Google Zurich（谷歌苏黎世）；EPFL（洛桑联邦理工学院）；Microsoft Research（微软研究院）
子模块最大化已成为选择具有代表性和多样性的数据摘要的任务的选择方法。然而，如果数据点具有敏感的属性，如性别或年龄，这种机器学习算法，如果不加以检查，就会表现出偏见：特定群体的代表性不足或过度。这使得公平的机器学习算法的设计变得越来越重要。在这项工作中，我们解决了一个问题：是否有可能为大规模数据集创建公平的摘要？为此，我们开发的第一个流近似算法子模最大化公平性约束下，单调和非单调函数。我们在基于范例的聚类、电影推荐、基于DPP的摘要和社交网络中的最大覆盖率方面实证验证了我们的发现，表明公平性约束不会显着影响效用。
2020-10-18 cs.DS cs.LG
Stronger Approximation Guarantees for Non-Monotone γ-Weakly DR-Submodular Maximization
IIT Indore（印度伊蒂学院）；Purdue University（普渡大学）
本文提出了一种基于Frank-Wolfe引导的连续贪心框架和γ意识的双贪心步骤的算法，实现了非单调γ-弱DR-子模函数最大化的更强近似保证。
2026-01-02 cs.AI cs.CC cs.LG
Bandit Submodular Maximization under Matroid Constraints: Learning Compressed Exchange Policy
Great Bay University（湾大大学）；Fuzhou University（福州大学）
该研究针对拟阵约束下的对抗博弈子模极大化问题，提出基于平衡分数交换的多项式时间算法，实现次线性regret，是该方向首个此类算法。
2026-08-26 cs.LG
Data Summarization beyond Monotonicity: Non-monotone Two-Stage Submodular Maximization
Naveen Jindal School of Management, The University of Texas at Dallas（德克萨斯大学达拉斯分校纳文·金达尔管理学院）
针对两阶段子模最大化中现有方法依赖单调性假设的局限，本文将其扩展到非单调子模函数，并提出首批常数因子近似算法。
2023-11-02 cs.AI cs.DS cs.LG
Practical Parallel Algorithms for Non-Monotone Submodular Maximization
School of Computer Science and Technology（计算机科学与技术学院）；Soochow University（苏州大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；Alibaba Group（阿里巴巴集团）；Qingdao University of Science and Technology（青岛科技大学）
针对背包与 k-系统约束下的非单调子模最大化，论文提出低自适应复杂度的并行组合算法，给出可证明近似保证并经实验验证有效。
2024-12-03 cs.DS cs.LG
Streaming Algorithms for News and Scientific Literature Recommendation: Submodular Maximization with a d-Knapsack Constraint
Texas A&M University（德克萨斯A&M大学）
次模极大化问题属于组合优化问题族，有着广泛的应用。在本文中，我们专注于最大化单调子模函数的问题受到$d$ -背包约束，为此，我们提出了一个流算法，实现了$\left(\frac{1}{1+2d}-ε\right)$ -近似的最优值，而它只需要一个单一的通过数据集，而不存储在内存中的所有数据。在我们的实验中，我们广泛评估我们提出的算法的有效性，通过两个应用程序：新闻推荐和科学文献推荐。据观察，所提出的流算法实现了执行加速和内存节省了几个数量级，与现有的方法相比。
2016-07-05 cs.DS cs.LG
Dynamic Non-monotone Submodular Maximization
University of Maryland（马里兰大学）；TU Eindhoven（埃因霍温理工大学）
该研究通过将基数约束下非单调子模最大化归约为单调子模最大化，给出首个该问题的动态算法，实现(8+ε)近似，并在真实数据集验证了其在视频摘要等任务中的有效性。
2023-11-07 cs.DS cs.LG
Balancing Utility and Fairness in Submodular Maximization (Technical Report)
East China Normal University（华东师范大学）；Singapore Management University（新加坡管理大学）；CENTAI Institute（CENTAI研究所）；Eurecat（Eurecat技术中心）
针对子模最大化中效用与公平性难以兼顾的问题，提出双准则子模最大化（BSM）问题，并设计两种实例相关近似算法，在最大覆盖、影响力最大化和设施选址中验证了有效性。
2023-06-19 cs.DS cs.LG
Guarantees for Greedy Maximization of Non-submodular Functions with Applications
ETH Zurich（苏黎世联邦理工学院）
研究了非次模非减集函数基数约束最大化问题的标准贪心算法的性能。虽然有很强的理论保证贪婪的性能最大化次模函数，有几个保证非次模的。然而，Greedy对于许多重要的非次模函数具有很强的经验性能，例如，实验设计中贝叶斯A-最优性目标。我们证明了支持实证性能的理论保证。我们的保证的特征在于（广义）曲率$α$和子模块比$γ$的组合。特别是，我们证明了贪婪享有紧逼近保证$\frac{1}α(1- e^{-γα})$基数约束最大化。此外，我们绑定的子模块比和曲率的几个重要的现实世界的目标，包括贝叶斯A-最优目标，一个正方形子矩阵的行列式函数和某些线性规划的组合约束。我们的实验验证了我们的理论研究结果的合成和现实世界的应用。
2019-05-14 cs.AI cs.DM cs.DS
