On Additive Approximate Submodularity
Sapienza University（罗马第一大学）；IIT（印度理工学院）；Google（谷歌）
一个实值集函数是（加性）近似次模的，如果它满足次模性条件，且有一个加性误差。近似子模块性出现在许多设置中，特别是在机器学习中，其中函数评估可能不精确。在本文中，我们研究如何接近这样的近似次模函数是真正的次模函数。我们表明，一个近似的次模函数定义在地面上设置的$n$元素是$O(n^2)$逐点接近的次模函数。这一结果也提供了一个算法工具，可以用来适应现有的子模块优化算法近似子模块功能。为了补充，我们显示了一个$Ω(\sqrt{n})$下界的距离子模块化。这些结果站在相反的情况下，近似的模块化，其中的距离模块化是一个常数，近似凸性，其中的距离凸性是对数。
2020-10-07 cs.DM cs.DS cs.LG
Sampling and Reconstruction of Graph Signals via Weak Submodularity and Semidefinite Relaxation
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Rochester（罗切斯特大学）
我们研究了在噪声存在的情况下对带限图信号进行采样的问题，其目标是选择一个具有规定基数的节点子集，使信号重建的均方误差（MSE）最小。为此，我们制定手头的任务作为二进制约束的MSE最小化，并通过半定规划（SDP）松弛近似产生的NP-难问题。此外，我们提供了一个替代配方的基础上最大化单调弱次模函数，并提出了一个随机贪婪算法找到一个次优子集。然后，我们推导出一般非平稳图形信号的随机贪婪算法返回的MSE的最坏情况下的性能保证。所提出的方法的有效性说明通过数值模拟合成和现实世界的图形。值得注意的是，随机贪婪算法产生了一个数量级的加速比最先进的贪婪采样方案，而只会导致边际MSE性能损失。
2017-10-31 cs.LG stat.ML
Discriminative training of conditional random fields with probably submodular constraints
KU Leuven（鲁汶大学）
图像分割、去噪、配准和三维重建等问题常采用图割算法来解决。然而，解决无约束图切割问题是NP-难的。对于易处理的优化，成对势函数必须满足子模不等式。在我们的学习范例中，成对势被创建为学习向量w与正特征向量的点积。为了约束这样的模型保持易处理，先前的方法已经强制权重向量对于标签不同的成对电位为正，并且在标签保持相同的情况下将成对电位设置为零。这样的约束足以保证所得到的成对势满足子模不等式。然而，我们发现这种方法不必要地限制了学习模型的能力。保证所有可能的输入的子模块性，无论多么不可能，将推理误差有效地减少到零，但增加了模型误差。相比之下，我们放宽了保证子模块化的解决方案，可能是近似子模块化的要求。我们表明，概念上简单的策略，执行子模块化的训练样本保证低样本的复杂性，测试图像也将产生子模块成对的潜力。结果是在二进制和多类设置，显示从所产生的增加模型容量的实质性改善。
2019-11-25 cs.CV cs.LG stat.ML
Adaptive Sequence Submodularity
Yale University（耶鲁大学）；Open University of Israel（以色列开放大学）；ETH Zürich（苏黎世联邦理工学院）
在许多机器学习应用中，需要交互地选择项目序列（例如，基于用户的反馈推荐电影）或以特定顺序做出连续的决定（例如，引导代理通过一系列状态）。不仅序列已经构成了一个令人生畏的大搜索空间，而且我们还必须考虑到过去的观察，以及未来结果的不确定性。如果没有进一步的结构，找到一个最佳的序列是众所周知的挑战，如果不是完全棘手的。在本文中，我们通过子模块化的镜头，自适应和顺序决策的问题，并提出了一个自适应的贪婪政策，具有较强的理论保证。此外，为了证明我们的结果的实际效用，我们运行亚马逊产品推荐和维基百科链接预测任务的实验。
2019-06-20 cs.DS cs.LG stat.ML
Scalable Greedy Feature Selection via Weak Submodularity
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
贪婪算法广泛用于机器学习中的问题，例如特征选择和集合函数优化。不幸的是，对于大型数据集，即使是贪婪算法的运行时间也可能相当长。这是因为对于每个贪婪步骤，我们需要使用先前选择的选项和新的候选项重新拟合模型或计算函数。最近引入了两种算法，它们是贪婪前向选择的更快近似（[Mirzasoleiman et al. 2013，2015]）。它们分别利用了分布式计算和随机评估来获得更好的性能。这两个算法都有可证明的性能保证子模函数。在本文中，我们表明，从以前持有的意见不同，子模块是不需要获得这两个算法的近似保证。具体来说，我们证明了一个广义的概念，弱子模足以给乘法近似保证。我们的结果扩展了这些算法的适用性更大的一类功能。此外，我们表明，一个有界的次模比可以用来提供数据依赖的界限，有时可以更严格的次模函数。我们通过在人工和真实数据集上显示快速贪婪近似与几个已建立的基线相比的优越性能来经验性地验证我们的工作。
2017-03-08 cs.IT cs.LG math.IT
Restricted Strong Convexity Implies Weak Submodularity
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们连接高维子集选择和子模最大化。我们的结果将Das和Kempe（2011）的工作从线性回归的设定扩展到任意目标函数。对于贪婪特征选择，这种连接使我们能够在没有统计建模假设的情况下获得几种方法的强乘法性能界限。我们还得到了恢复保证，这种形式下的标准假设。我们的工作表明，贪婪算法在一个恒定的因素，从最好的可能的子集选择解决方案的广泛的一般目标函数。我们的方法允许直接控制所获得的特征的数量，而不是只隐式控制稀疏性的正则化参数。我们的证明技术使用的概念，弱子模块最初定义的达斯和肯普。我们画出凸分析和子模块集函数理论，这可能是独立的兴趣，其他统计学习应用程序的组合结构之间的连接。
2017-10-12 cs.IT cs.LG math.IT
Resurrecting Submodularity for Neural Text Generation
Nanyang Technological University（南洋理工大学）；Salesforce Research Asia（Salesforce亚洲研究院）
子模块化对于内容选择中的各种目标是期望的，其中当前的神经编码器-解码器框架是不足的。然而，到目前为止，它还没有被探索在神经编码器-解码器系统的文本生成。在这项工作中，我们定义了减少注意力与子模块功能，反过来，证明了有效的神经覆盖的子模块性。贪心算法近似求解子模最大化问题，不适用于自回归生成中的注意力分数优化。因此，而不是遵循如何子模函数已被广泛使用，我们提出了一个简化的，但原则性的解决方案。由此产生的注意力模块提供了一种架构简单且经验有效的方法来提高神经文本生成的覆盖率。我们在三个有向文本生成任务上进行了实验，这些任务具有不同的恢复率水平，跨越两种模式，三种不同的神经模型架构和两种训练策略变体。结果和分析表明，我们的方法在这些设置中推广良好，产生高质量的文本，并优于最先进的基线。
2020-10-04 cs.CL cs.LG
Fast Parallel Algorithms for Statistical Subset Selection Problems
Harvard University（哈佛大学）
在本文中，我们提出了一个新的框架，设计快速并行算法的基本统计子集选择任务，包括特征选择和实验设计。这样的任务是已知的弱次模块化，并服从通过标准的贪心算法优化。尽管它的理想的近似保证，贪心算法是固有的顺序，在最坏的情况下，其并行运行时间是线性的数据的大小。最近，出现了一个激增的兴趣，在一个并行优化技术称为自适应采样，产生的解决方案与期望的近似保证submodular最大化指数更快的并行运行时。不幸的是，我们表明，一般弱次模函数，这样的加速是不可能的。本文的主要贡献是提出了一种新的子模松弛方法，我们称之为微分子模松弛。我们首先证明了差分子模块性的特点，如特征选择和实验设计的目标。然后，我们设计了一个自适应采样算法的差分次模函数的并行运行时间是对数的数据的大小，并实现了强大的近似保证。通过实验，我们表明，该算法的性能是有竞争力的国家的最先进的方法，并获得显着的加速特征选择和实验设计问题。
2021-04-01 cs.LG stat.ML
Beyond Pointwise Submodularity: Non-Monotone Adaptive Submodular Maximization subject to Knapsack and $k$-System Constraints
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文研究了带有背包和$k$ -系统约束的非单调自适应次模极大化问题。我们的问题的输入是一组项目，其中每个项目都有一个特定的状态，从一个已知的先验分布。然而，一个项目的状态最初是未知的，必须选择一个项目，以揭示该项目的状态。有一个效用函数是定义在项目和状态上的。我们的目标是顺序选择一组项目，以最大化预期效用。虽然基数约束非单调自适应次模极大化问题在文献中得到了很好的研究，但背包约束或$k$ -系统约束的自适应次模极大化问题是否存在常数近似解仍然是一个悬而未决的问题.事实上，它只解决了点态子模性的额外假设。在本文中，我们删除了点态子模性的共同假设，并提出了第一常数近似解决方案的两种情况。最近的两项研究的启发，非单调自适应子模块最大化，我们开发了一个基于采样的随机算法，实现了一个背包约束的情况下的$\frac{1}{10}$近似，并实现了$\frac{1}{2k+4}$近似比的情况下的$k$系统约束。
2021-09-28 cs.DS cs.LG
Adaptive Submodularity: Theory and Applications in Active Learning and Stochastic Optimization
California Institute of Technology（加州理工学院）；ETH Zurich（苏黎世联邦理工学院）
在部分可观测性下求解随机优化问题，其中需要自适应地做出具有不确定结果的决策，这是一个基本但众所周知的困难挑战。在本文中，我们引入了自适应子模块的概念，推广子模块集函数的自适应政策。我们证明了，如果一个问题满足这一性质，一个简单的自适应贪心算法是保证竞争的最优策略。除了为随机最大化和覆盖提供性能保证之外，还可以利用自适应子模块化通过使用惰性评估来大幅加速贪心算法。我们说明了有用的概念，给出了几个例子，自适应子模块化的目标在不同的应用，包括传感器的位置，病毒式营销和主动学习。证明这些问题的自适应子模块性，使我们能够恢复现有的结果在这些应用中的特殊情况下，提高近似保证和处理自然的推广。
2017-12-06 cs.AI cs.DS cs.LG
Learning and Optimization with Submodular Functions
University of Southern California（南加州大学）
In many naturally occurring optimization problems one needs to ensure that the definition of the optimization problem lends itself to solutions that are tractable to compute. In cases where exact solutions cannot be computed tractably, it is beneficial to have strong guarantees on the tractable approximate solutions. In order operate under these criterion most optimization problems are cast under the umbrella of convexity or submodularity. In this report we will study design and optimization over a common class of functions called submodular functions. Set functions, and specifically submodula…
2015-05-07 cs.LG
Continuous Submodular Maximization: Beyond DR-Submodularity
University of Haifa（海法大学）；Yale University（耶鲁大学）
在本文中，我们提出了第一个连续优化算法，实现了常数因子近似保证问题的单调连续子模最大化的线性约束。我们首先证明了一个简单的变种香草坐标上升，称为Coordinate-Ascent+，实现了$(\frac{e-1}{2e-1}-\varepsilon)$ -近似保证，同时执行$O(n/\varepsilon)$迭代，其中每次迭代的计算复杂性大致为$O(n/\sqrt{\varepsilon}+n\log n)$（在这里，$n$表示优化问题的维度）。然后，我们提出了Coordinate-Ascent++，它实现了严格的$(1-1/e-\varepsilon)$近似保证，同时执行相同数量的迭代，但在一个更高的计算复杂性，大约$O(n^3/\varepsilon^{2.5} + n^3 \log n / \varepsilon^2)$每次迭代。然而，每轮Coordinate-Ascent++的计算可以很容易地并行化，使得每台机器的计算成本按$O(n/\sqrt{\varepsilon}+n\log n)$缩放。
2020-06-21 cs.DS cs.LG
Adaptivity in Adaptive Submodularity
Google Research（谷歌研究院）；Yale University（耶鲁大学）
自适应序贯决策是机器学习和人工智能的核心挑战之一。在这样的问题中，目标是设计一个交互式策略，该策略计划从有限的$n$动作集合中采取一个动作，给出一些部分观察。它已被证明，在许多应用程序，如主动学习，机器人，顺序实验设计，和主动检测，效用函数满足自适应子模块化，一个概念，推广的概念回报递减的政策。在本文中，我们重新审视权力的自适应最大化的自适应单调子模函数。我们提出了一个有效的半自适应政策，与$O(\log n \times\log k)$自适应轮的意见，可以实现一个几乎紧密的$1-1/e-ε$近似保证相对于一个最佳的政策，进行$k$行动在一个完全顺序的方式。为了补充我们的结果，我们还表明，这是不可能实现一个常数因子近似与$o(\log n)$自适应轮。我们还扩展我们的结果的情况下，自适应随机最小成本覆盖的目标是达到所需的效用$Q$与最便宜的政策。我们首先证明了著名的Golovin和Krause的工作的猜想表明，贪婪的政策实现了渐近紧对数近似保证，而不诉诸更强的适应性概念。然后，我们提出了一个半自适应的政策，提供了相同的保证，在多对数自适应轮通过类似的信息并行计划。我们的研究结果缩小了自适应子模块最大化的自适应差距的指数因子。
2020-07-27 cs.DS cs.LG stat.ML
Streaming Weak Submodularity: Interpreting Neural Networks on the Fly
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Open University of Israel（以色列开放大学）；Yale University（耶鲁大学）
在许多机器学习应用中，解释黑盒分类器的预测是很重要的。例如，为什么深度神经网络会将图像分配给特定的类？我们将黑盒分类器的可解释性转化为一个组合最大化问题，并提出了一个有效的流算法来解决它的基数约束。通过扩展Badanidiyuru等人的思想。[2014]，我们在随机流顺序和弱子模目标函数的情况下为我们的算法提供了常数因子近似保证。这是第一个这样的理论保证这一类功能，我们还表明，没有这样的算法存在的最坏情况下流的顺序。我们的算法比Ribeiro等人[2016]的最先进的LIME框架快$10$倍地获得了Inception V3预测的类似解释。
2017-11-22 cs.IT cs.LG math.IT
Discrete Energy Minimization, beyond Submodularity: Applications and Approximations
Weizmann Institute of Science（魏茨曼科学研究所）
在这篇论文中，我将探讨主要在计算机视觉任务中出现的具有挑战性的离散能量最小化问题。这项工作激励使用这种“难以优化”的非次模泛函，并提出了方法和算法，以应付NP-硬度的优化。因此，本论文围绕两个轴：应用和近似。应用程序轴通过引入新的任务来激励使用这种“难以优化”的能量。随着能量的约束和结构变得更少，人们获得了更高的表达能力，目标函数实现了更准确的模型。结果表明，对于某些计算机视觉应用来说，具有挑战性的、难以优化的能量是多么的充足。为了克服由此产生的具有挑战性的优化任务，本文的第二个轴提出了近似算法，以应付NP-硬度的优化。实验表明，这些新的方法产生了良好的效果代表性的挑战性问题。
2012-11-07 cs.CV cs.LG math.OC
Revisiting Matching Pursuit: Beyond Approximate Submodularity
Fraunhofer HHI（弗劳恩霍夫海因里希·赫兹研究所）；Technische Universität Berlin（柏林工业大学）；Delft University of Technology（代尔夫特理工大学）；EURECOM（欧洲通信学院）
本文重新审视向量选择问题，提出一个期望子模函数，通过贪心算法保证近最优性并改进匹配追踪算法，实验验证了其在到达角估计中的优势。
2023-05-12 cs.LG eess.SP
Scalable Submodular Policy Optimization via Pruned Submodularity Graph
Indian Institute of Technology Jammu（印度理工学院贾姆鲁学院）
本文针对奖励函数为子模函数的强化学习问题，提出基于剪枝子模图的可扩展策略优化方法，在保证近似性能的同时降低计算开销，实验表明其获得的奖励优于基线方法。
2025-07-18 cs.AI cs.LG cs.MA
Projection-Free Online Optimization with Stochastic Gradient: From Convexity to Submodularity
Yale Institute for Network Science（耶鲁网络科学研究所）；Yale University（耶鲁大学）；University of Pennsylvania（宾夕法尼亚大学）
在线优化已经成为解决计算约束和部分信息下的大规模问题的成功框架。目前的在线凸优化方法在每一步都需要投影或精确的梯度计算，这两者对于大规模应用来说都是非常昂贵的。与此同时，在机器学习社区中，非凸优化的趋势日益增长，并且需要在线方法。连续DR-次模函数具有收益递减的性质，是一类可以有效优化的非凸函数。虽然已经引入了在线方法，但它们也存在类似的问题。在这项工作中，我们提出Meta-Frank-Wolfe，第一个在线投影算法，使用随机梯度估计。该算法依赖于在每一轮梯度的仔细采样，并实现了凸和连续子模块优化的最佳$O( \sqrt{T})$对抗遗憾界。我们还提出了一个简单的算法，只需要一个单一的随机梯度估计，在每一轮，并实现了$O(T^{2/3})$随机遗憾界凸和连续的子模块优化。我们应用我们的方法来开发一种新的“提升”框架的在线离散子模块最大化，也看到他们优于目前最先进的技术在各种实验。
2018-06-14 cs.AI cs.DS cs.LG
Comments on the proof of adaptive submodular function minimization
Boston University（波士顿大学）
我们指出了定理5中出现的一个问题，“基于组的主动查询选择快速诊断在时间关键的情况下”。定理5限定了贪婪算法的期望查询数，以在最优的常数因子内识别项目的类。该定理是基于自适应子模函数极小化的一个结果的正确性。我们给出了一个例子，表明定理A.11中的一个关键步骤“自适应子模块：理论和应用在主动学习和随机最优化“是不正确的。
2017-05-10 cs.LG stat.ML
Poisson Exchange Beyond Submodularity: Effective Approximation Algorithms for Offline and Online Subset Selection over Matroids
Nanyang Technological University（南洋理工大学）；University of Technology Sydney（悉尼科技大学）；Great Bay University（大湾区大学）
针对拟阵约束下γ-弱子模函数最大化问题，提出基于非齐次泊松时钟的MGPE算法，实现优于现有界且渐近最优的近似比，并自动恢复特殊情形下的紧比率。
2026-09-23 cs.DS cs.LG math.OC
Finite-time Analysis for the Knowledge-Gradient Policy
Princeton University（普林斯顿大学）
我们考虑序贯决策问题，我们自适应地选择一个众多的替代品，并观察到一个随机奖励。我们提供了一个新的视角来解释贝叶斯排序和选择问题的自适应随机多集最大化问题，并推导出第一个有限时间界的知识梯度政策的自适应子模块化目标函数。此外，我们引入了先验最优性的概念，并提供了另一种见解的知识梯度政策的性能的基础上的子模块假设的信息的价值。我们证明了子模块的两个选择的情况下，并提供其他条件更一般的问题，提出了问题和子模块在学习问题中的重要性。通过实验进一步说明了知识梯度策略的有限时间行为。
2016-06-15 cs.LG
Weakly Submodular Maximization Beyond Cardinality Constraints: Does Randomization Help Greedy?
Yale University（耶鲁大学）；The Open University of Israel（以色列开放大学）
次模函数是集合函数的一个广泛的类别，它自然地出现在不同的领域。已经提出了许多算法来最大化这些函数。不幸的是，一旦函数偏离子模块性，已知的算法可能执行任意差。修正这一问题，通过获得集函数的近似结果推广次模函数，一直是最近的工作的焦点。其中一类，称为弱次模函数，受到了很多关注。Das和Kempe（2011）证明的一个关键结果表明，受基数约束的弱子模块最大化的贪心算法的近似比随着与子模块的距离而平滑地下降。然而，没有结果已获得最大化的约束超出基数。特别是，它是不知道的贪心算法是否达到任何非平凡的近似比这样的约束。在本文中，我们证明了贪心算法的随机版本（以前由Buchbinder等人使用。（2014）用于不同的问题）对于受一般拟阵约束的弱子模函数的最大化实现了$(1 + 1/γ)^{-2}$的近似比，其中$γ$是测量函数与子模性的距离的参数。此外，我们还实验比较了这个版本的贪心算法对自然基准的现实世界中的问题的性能，并表明，我们研究的算法在实践中也表现良好。据我们所知，这是第一个算法与非平凡的近似保证最大化弱次模函数的约束，而不是简单的基数约束。特别是，它是第一个算法，这样一个保证的重要和广泛的类拟阵约束。
2017-07-13 cs.AI cs.DM cs.DS
Linear-Time Algorithms for Adaptive Submodular Maximization
Naveen Jindal School of Management, The University of Texas at Dallas（德克萨斯大学达拉斯分校纳文·金德尔管理学院）
在本文中，我们开发了两个随机子模极大化问题的快速算法。我们从研究充分的自适应次模最大化问题的基数约束。我们开发了第一个线性时间算法，实现了$(1-1/e-ε)$近似比。值得注意的是，我们的算法的时间复杂度是$O(n\log\frac{1}ε)$（函数评估的数量），这是独立的基数约束，其中$n$是基集的大小。然后，我们引入了完全自适应子模的概念，并开发了一个线性时间算法，最大化一个完全自适应子模函数受分割拟阵约束。我们表明，我们的算法实现了$\frac{1-1/e-ε}{4-2/e-2ε}$的近似比，只使用$O(n\log\frac{1}ε)$数量的功能评估。
2020-07-08 cs.LG stat.ML
Beyond Adaptive Submodularity: Adaptive Influence Maximization with Intermediary Constraints
Columbia University（哥伦比亚大学）
我们考虑一个具有给定预算的品牌，希望通过多轮影响者营销推广产品。在每一轮中，它委托一个影响者在社交网络上推广产品，然后观察产品的后续扩散，然后自适应地选择下一个影响者进行委托。这个过程在预算用完时终止。我们假设扩散过程遵循流行的独立级联模型。我们还考虑在线学习设置，其中品牌最初不知道与模型相关联的扩散参数，并且必须随着时间的推移逐渐学习参数。与现有模型不同，我们模型中的轮次通过中介约束相互关联：每个用户可以被委托无限次。但是，每个用户最多传播一次影响力而不收取佣金。由于这种附加的约束，影响者被选择的顺序可以改变影响扩散，使得基于自适应子模块化概念的现有分析技术过时。我们设计了一个样本路径分析证明，一个贪婪的政策，知道扩散参数实现至少$1-1/e - ε$倍的最优策略的预期回报。在在线学习环境中，我们是第一个考虑真正自适应决策框架的人，而不是假设独立的时代，以及仅在时代内的自适应性。在温和的假设下，我们推导出我们的算法的遗憾界。在我们的数值实验中，我们模拟信息扩散的四个Twitter子网络，并比较我们的基于UCB的学习算法与几个基线自适应播种策略。我们的学习算法始终优于基线，并实现接近于知道真实扩散参数的贪婪策略的奖励。
2019-11-08 cs.LG math.OC
Fast and Private Submodular and $k$-Submodular Functions Maximization with Matroid Constraints
Simon Fraser University（西蒙菲莎大学）；National Institute of Informatics（信息科学研究所）
在过去的十年中，极大化非负单调次模函数的问题得到了广泛的研究，并提出了一系列有效的近似算法。许多机器学习问题，包括数据摘要和影响力最大化，可以很自然地建模为最大化单调子模函数的问题。然而，当此类应用程序涉及有关个人的敏感数据时，应解决其隐私问题。本文在差分隐私框架下研究了拟阵约束下的单调次模函数的最大化问题。我们提供了$(1-\frac{1}{\mathrm{e}})$ -近似算法，它改进了以前的结果在近似保证。在我们的算法中，这几乎是用立方数量的函数求值来完成的。此外，我们研究了$k$ -子模块性，子模块性的一个自然推广。我们给第一个$\frac{1}{2}$近似算法，保持差分隐私最大化单调$k$ -子模函数拟阵约束。近似比是渐近紧的，并获得了几乎线性数量的功能评估。
2020-06-28 cs.CR cs.DM cs.DS
Non-submodular Function Maximization subject to a Matroid Constraint, with Applications
Sharif University（谢里夫大学）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
标准的贪心算法最近已被证明享受近似保证约束非子模非减集函数最大化。虽然这些最近的结果可以更好地描述经验的成功的贪心算法，他们只适用于简单的基数约束。本文研究了一般拟阵约束下非次模非减集函数的极大化问题。我们首先表明，标准的贪心算法提供了一个近似因子的$\frac{0.4 γ^{2}}{\sqrt{γr} + 1}$，其中$γ$是子模块比的功能和$r$是秩的拟阵。然后，我们表明，相同的贪心算法提供了一个恒定的逼近因子$(1 + 1/(1-α))^{-1}$，其中$α$是广义曲率的功能。此外，我们证明了这些近似保证是适用于几个现实世界中的应用，其中的子模比和广义曲率可以有界。最后，我们证明了我们的贪心算法在实践中使用各种实验合成和真实世界的数据确实取得了竞争力的表现。
2019-10-08 cs.DM cs.DS cs.LG
Approximate Submodular Functions and Performance Guarantees
University of Southern California（南加州大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文研究非负非减集函数的极大化问题。虽然最近的大部分工作集中在利用子模块化，事实证明，我们在实践中遇到的几个目标是不是子模块化。尽管如此，我们经常利用子模函数中使用的贪心算法来确定非子模函数的解。在此之后，我们提出解决原来的问题，由\emph{approximating}的非子模函数，并分析所产生的错误，以及性能的权衡。为了量化的近似误差，我们引入了一个新的概念，$δ$ -近似的函数，我们用来定义的子模函数的空间，位于近似误差。我们提供的必要条件，存在这样的$δ$ -近似函数，这可能不是唯一的。因此，我们把这个子空间称为\emph{region of submodularity}。此外，子模函数是已知的，导致不同的次最优性保证，所以我们推广到\emph{greedy curvature}的概念上的$δ$ -近似的依赖关系。最后，我们使用后一个概念来简化一些现有的结果，并有效地（即，线性复杂度）使用实际设置中常用的目标函数来确定次优性保证的收紧界限，并使用真实数据来验证它们。
2018-06-17 cs.DS cs.LG
Guarantees for Greedy Maximization of Non-submodular Functions with Applications
ETH Zurich（苏黎世联邦理工学院）
研究了非次模非减集函数基数约束最大化问题的标准贪心算法的性能。虽然有很强的理论保证贪婪的性能最大化次模函数，有几个保证非次模的。然而，Greedy对于许多重要的非次模函数具有很强的经验性能，例如，实验设计中贝叶斯A-最优性目标。我们证明了支持实证性能的理论保证。我们的保证的特征在于（广义）曲率$α$和子模块比$γ$的组合。特别是，我们证明了贪婪享有紧逼近保证$\frac{1}α(1- e^{-γα})$基数约束最大化。此外，我们绑定的子模块比和曲率的几个重要的现实世界的目标，包括贝叶斯A-最优目标，一个正方形子矩阵的行列式函数和某些线性规划的组合约束。我们的实验验证了我们的理论研究结果的合成和现实世界的应用。
2019-05-14 cs.AI cs.DM cs.DS
Batch greedy maximization of non-submodular functions: Guarantees and applications to experimental design
Massachusetts Institute of Technology（麻省理工学院）
提出并分析了非子模非减集函数基数约束最大化问题的批量贪婪算法。我们考虑标准的贪婪范式，以及它的分布式贪婪和随机贪婪的变种。我们的理论保证的特点是子模块化和超模块化比率的组合。我们认为，这些参数如何定义紧模块化边界的增量增益的基础上，并提供了一种新的重新解释的经典贪婪算法使用minorize-maximum（MM）的原则。基于这种类比，我们提出了一类新的方法，利用任何合理的模块化界限。在线性贝叶斯逆问题的最优试验设计中，当目标函数是基于互信息时，我们定义了子模块度和超模块度的比值.我们还开发了新的模块化界限的互信息在这种情况下，并描述了某些连接到多面体组合。我们讨论如何使用这些模块化的界限算法与建立的统计概念，如杠杆分数和最近的努力，如体积采样。我们展示了我们的理论研究结果的合成问题和现实世界的气候监测的例子。
2021-08-10 cs.DM cs.DS cs.LG
Optimal approximation for unconstrained non-submodular minimization
Massachusetts Institute of Technology（麻省理工学院）
子模函数极小化问题已经得到了很好的研究，现有的算法可以精确地解决它，或者可以达到任意的精度。然而，在许多应用中，例如结构化稀疏学习或批量贝叶斯优化，目标函数不是精确的子模，而是接近的。在这种情况下，不存在理论上的保证。事实上，次模最小化算法依赖于次模性和凸性之间的复杂联系。我们展示了如何将这些关系扩展到最小化非次模函数的近似保证，其特征在于函数是如何接近次模的。我们还将这一结果扩展到噪声函数的评价。我们的近似结果是第一次最小化非次模函数，是最佳的，我们的匹配下界建立。
2022-03-09 cs.DM cs.DS cs.LG
Beyond Submodularity: A Unified Framework of Randomized Set Selection with Group Fairness Constraints
Naveen Jindal School of Management, University of Texas at Dallas（德克萨斯大学达拉斯分校纳文·金达尔管理学院）；University of North Texas（北德克萨斯大学）
本文提出一个统一框架，在随机子集选择中引入群体公平性约束，通过最大化全局效用并满足各群体期望配额，统一并推广了机器学习与运筹学中的多种应用，并改进了相关近似算法结果。
2023-04-13 cs.AI cs.CY cs.DS
Continuous DR-submodular Maximization: Structure and Algorithms
ETH Zurich（苏黎世联邦理工学院）
DR-子模连续函数是重要的目标，具有广泛的现实应用，包括决定点过程（DPP）中的MAP推理，以及概率子模模型的平均场推理等。DR-子模块性捕获非凸函数的子类，其使得能够在多项式时间内实现精确最小化和近似最大化。本文研究了一般下闭凸约束下非单调DR-次模连续函数的极大化问题。我们首先调查的几何性质，这些目标的基础，例如，证明了（近似）稳定点与全局最优解之间的强关系。这些属性，然后用来设计两个优化算法与可证明的保证。具体地说，我们首先设计了一个“两阶段”的算法与$1/4$近似保证。该算法允许使用现有的方法来寻找（近似）固定点作为一个子程序，因此，利用非凸优化的最新进展。然后给出了一个具有$1/e$逼近保证和次线性收敛速度的非单调Frank-Wolfe变式。最后，我们将我们的方法扩展到更广泛的一类广义DR-子模连续函数，它捕获了更广泛的应用。我们的理论研究结果验证合成和现实世界的问题实例。
2019-05-24 cs.AI cs.LG stat.ML
Randomized Greedy Learning for Non-monotone Stochastic Submodular Maximization Under Full-bandit Feedback
KAUST（阿卜杜拉国王科技大学）；Purdue University（普渡大学）；Iowa State University（爱荷华州立大学）
研究了具有完全反馈和随机报酬的无约束组合多臂次模最大化问题。以前的作品调查同样的问题，假设一个子模块和单调的奖励函数。在这项工作中，我们研究了一个更普遍的问题，即，当报酬函数不一定是单调的，并且子模块性仅在期望中被假设时。提出了随机贪婪学习算法（RGL），并从理论上证明了该算法对于水平$T$和臂数$n$都达到了$\frac{1}{2}$ -遗憾上界$\tilde{\mathcal{O}}(n T^{\frac{2}{3}})$.我们还表明，在实验中，RGL经验优于其他充分的强盗变种submodular和nonsubmodular设置。
2023-02-02 cs.AI cs.LG math.OC
Robust Maximization of Non-Submodular Objectives
EPFL（洛桑联邦理工学院）
我们研究的问题，最大化的单调集函数的基数约束$k$的设置中删除一些元素$τ$从返回的集合。这项工作的重点是最坏情况下的对抗性设置。虽然当函数是子模块时存在常数因子保证，但对于非子模块目标没有保证。在这项工作中，我们提出了一个新的算法遗忘贪婪，并证明了第一个常数因子近似保证更广泛的非次模目标。所获得的理论界限是第一个常数因子界限，也保持在线性制度，即当删除$τ$的数量是线性的$k$。我们的界限依赖于已建立的参数，如子模比和一些新的，如逆曲率。我们约束这些参数的两个重要目标，包括支持选择和方差减少。最后，我们在各种数据集上证明了遗忘贪婪算法对这两个目标的鲁棒性能。
2020-05-02 cs.AI cs.DS cs.LG
Lower Bound on the Greedy Approximation Ratio for Adaptive Submodular Cover
University of Michigan（密歇根大学）
本文证明了自适应子模覆盖的贪心算法近似比下界为 1.3*(1+ln Q)，并推翻了 Golovin-Krause 先前声称的 (1+ln Q)^2 近似比结果。
2024-05-23 cs.AI cs.DS cs.LG
Fast Semidifferential-based Submodular Function Optimization
University of Washington（华盛顿大学）；University of California, Berkeley（加州大学伯克利分校）
我们提出了一个实用的和强大的新框架，无约束和有约束的子模函数优化的基础上离散半微分（次和超微分）。由此产生的算法，重复计算，然后有效地优化次模半梯度，提供新的和推广许多旧的方法，次模优化。此外，我们的方法，采取措施，提供一个统一的范式，适用于子模块最小化和最大化，历史上已经处理的问题相当明显。我们的算法的实用性是很重要的，因为在子模块化的兴趣，由于其自然和广泛的适用性，最近在机器学习内的优势。我们分析了我们的算法的理论性质的最小化和最大化，并表明，许多国家的最先进的最大化算法的特殊情况。最后，我们补充我们的理论分析与支持实证实验。
2013-08-05 cs.DM cs.DS cs.LG
Concave Aspects of Submodular Functions
University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of Washington（华盛顿大学）
次模函数是一类特殊的集合函数，它推广了信息论中的熵、互信息等量[1]。次模函数具有次梯度和次微分[2]，并且允许多项式时间算法用于最小化，这两者都是凸函数的基本特征。子模函数也显示类似于的符号。次模函数极大化虽然是NP困难的，但它具有常数因子逼近保证，并且由模函数组成的凹函数是次模函数。在本文中，我们试图提供一个更完整的子模块性与子模块性之间的关系。我们刻画了与上界相关的超微分和多面体，并利用超微分给出了次模极大化的最优性条件。本文是我们较长的预印本[3]的简洁和较短的版本。
2020-06-27 cs.DM cs.IT cs.LG
Guaranteed Non-convex Optimization: Submodular Maximization over Continuous Domains
ETH Zurich（苏黎世联邦理工学院）
次模连续函数是一类（一般）非凸/非凹函数，具有广泛的应用。我们描述这些功能，并证明他们可以有效地近似保证最大化。具体地说，i）我们引入了弱DR性质，给出了所有集合、整数格和连续函数的次模性的统一刻画; ii）对于一般下闭凸约束下的单调DR-次模连续函数，我们提出了一个具有$(1-1/e)$逼近保证和次线性收敛速度的Frank-Wolfe变式;（3）对于一般非单调子模连续函数的最大化问题，我们提出了一个具有$1/3$逼近保证的DoubleGreedy算法.子模块连续函数自然地找到应用程序在各种现实世界中的设置，包括影响力和收入最大化与连续分配，传感器能源管理，多分辨率数据汇总，设施位置等实验结果表明，所提出的算法有效地产生优越的解决方案相比，基线算法。
2019-05-06 cs.DS cs.LG
Multi-Agent Reinforcement Learning with Submodular Reward
Department of Computer Science and Engineering, Texas A&M University（计算机科学与工程系，德克萨斯A&M大学）
本文提出了一种具有子模奖励的多智能体强化学习框架，通过贪心策略优化和UCB算法分别在已知和未知动态下实现了高效的样本效率和后悔界保证。
2026-03-06 cs.DS cs.LG
