Continuous DR-submodular Maximization: Structure and Algorithms
ETH Zurich（苏黎世联邦理工学院）
DR-子模连续函数是重要的目标，具有广泛的现实应用，包括决定点过程（DPP）中的MAP推理，以及概率子模模型的平均场推理等。DR-子模块性捕获非凸函数的子类，其使得能够在多项式时间内实现精确最小化和近似最大化。本文研究了一般下闭凸约束下非单调DR-次模连续函数的极大化问题。我们首先调查的几何性质，这些目标的基础，例如，证明了（近似）稳定点与全局最优解之间的强关系。这些属性，然后用来设计两个优化算法与可证明的保证。具体地说，我们首先设计了一个“两阶段”的算法与$1/4$近似保证。该算法允许使用现有的方法来寻找（近似）固定点作为一个子程序，因此，利用非凸优化的最新进展。然后给出了一个具有$1/e$逼近保证和次线性收敛速度的非单调Frank-Wolfe变式。最后，我们将我们的方法扩展到更广泛的一类广义DR-子模连续函数，它捕获了更广泛的应用。我们的理论研究结果验证合成和现实世界的问题实例。
2019-05-24 cs.AI cs.LG stat.ML
Using Partial Monotonicity in Submodular Maximization
University of Haifa（海法大学）
在过去的二十年里，次模函数最大化一直是机器学习应用中许多离散优化问题的主力。传统上，子模函数的研究是基于二元函数的性质。然而，这样的属性有一个继承的弱点，即，如果一个算法假设函数具有特定的属性，那么它不会为违反此属性的函数提供保证，即使违反非常轻微。因此，最近的工作开始考虑连续版本的函数属性。其中最重要的（到目前为止）可能是子模比和曲率，它们被广泛地一起和单独研究。集函数的单调性在次模极大化中起着核心作用。然而，尽管有上述所有工作，迄今为止（据我们所知）还没有提出这个属性的连续版本。这是不幸的，因为几乎单调的子模函数经常出现在机器学习应用中。在这项工作中，我们填补了这一空白，定义的单调性比，这是一个连续版本的单调性属性。然后，我们表明，对于许多标准的子模最大化算法，可以证明新的近似保证，依赖于单调性比，从而提高近似比的电影推荐，二次规划和图像摘要的常见机器学习应用。
2022-05-17 cs.DS cs.LG math.OC
Linear-Time Algorithms for Adaptive Submodular Maximization
Naveen Jindal School of Management, The University of Texas at Dallas（德克萨斯大学达拉斯分校纳文·金德尔管理学院）
在本文中，我们开发了两个随机子模极大化问题的快速算法。我们从研究充分的自适应次模最大化问题的基数约束。我们开发了第一个线性时间算法，实现了$(1-1/e-ε)$近似比。值得注意的是，我们的算法的时间复杂度是$O(n\log\frac{1}ε)$（函数评估的数量），这是独立的基数约束，其中$n$是基集的大小。然后，我们引入了完全自适应子模的概念，并开发了一个线性时间算法，最大化一个完全自适应子模函数受分割拟阵约束。我们表明，我们的算法实现了$\frac{1-1/e-ε}{4-2/e-2ε}$的近似比，只使用$O(n\log\frac{1}ε)$数量的功能评估。
2020-07-08 cs.LG stat.ML
Noisy Submodular Maximization via Adaptive Sampling with Applications to Crowdsourced Image Collection Summarization
ETH Zurich（苏黎世联邦理工学院）
我们解决的问题，最大限度地提高一个未知的子模块功能，只能通过嘈杂的评价。我们的工作动机是总结内容的任务，例如，图像集合，通过利用用户以点击或评级形式的反馈。对于以最大化覆盖率和多样性为目标的摘要任务，子模集函数是一个自然的选择。当底层子模函数未知时，用户的反馈可能会对我们寻求最大化的函数提供嘈杂的评估。我们提供了一个通用算法-- \submM{} --用于在基数约束下最大化未知子模函数。该算法利用了一种新的探索模块-- \blbox{} --提出了基于自适应采样噪声函数评估的好元素。\blbox{}能够适应不同类型的观察模型，例如值查询和成对比较。我们为\submM{}获得的解决方案的质量和采样成本提供PAC式保证。我们证明了我们的方法在互动，众包图像收集摘要应用程序的有效性。
2015-12-01 cs.AI cs.LG stat.ML
Optimal Algorithms for Continuous Non-monotone Submodular and DR-Submodular Maximization
Stanford University（斯坦福大学）
在本文中，我们研究了极大化超立方体上的连续非单调子模函数的基本问题，包括有和没有坐标方向的限制。这类优化问题在机器学习、经济学和通信系统中有几个应用。我们的主要结果是第一个$\frac{1}{2}$ -近似算法连续次模函数最大化，这个近似因子的$\frac{1}{2}$是最好的算法，只查询目标函数在多项式多点。对于DR-次模最大化的特殊情况，即当次模函数沿所有坐标也是坐标方向凹时，我们提供了一个不同的$\frac{1}{2}$ -近似算法，它在准线性时间内运行。这两个结果都改进了先前的工作[Bian et al，2017，Soma and Yoshida，2017]。我们的第一个算法使用了新的想法，如减少保证近似问题，以分析每个坐标的零和游戏，并结合了这个零和游戏的几何形状，以固定在这个坐标的值。我们的第二个算法利用坐标明智的搜索，以确定一个单调的平衡条件足以得到所需的近似保证，并使用二进制搜索的平衡点狩猎。我们进一步运行实验来验证我们提出的算法在相关机器学习应用中的性能。
2018-05-24 cs.DS cs.GT cs.LG
Robust Submodular Maximization: A Non-Uniform Partitioning Approach
EPFL（洛桑联邦理工学院）
我们研究的问题最大化的单调子模函数的基数约束$k$，增加的扭曲，一些项目$τ$从返回的集合可能会被删除。我们专注于（Orlin等人，2016），其中为$τ= o(\sqrt{k})$提供了恒定因子近似保证。在本文中，我们解决了其中提出的一个关键的开放问题，提出了一个新的分区鲁棒（PRo）子模块最大化算法，实现了更一般的$τ= o(k)$相同的保证。我们的算法构造分区组成的桶呈指数增长的大小，并应用标准的子模块优化子程序的桶，以构建强大的解决方案。我们用数值方法证明了PRo在数据汇总和影响最大化方面的性能，证明了贪婪算法和（Orlin et al.，2016）。
2017-06-15 cs.LG stat.ML
Horizontally Scalable Submodular Maximization
ETH Zurich（苏黎世联邦理工学院）；Google Research（谷歌研究院）
各种大规模的机器学习问题可以被转换为受约束的子模最大化的实例。现有的分布式子模块最大化方法有一个严重的缺点：容量（可以容纳在内存中的实例数量）必须随着数据集的大小而增长。在实践中，虽然可以提供多台机器，但每台机器的容量受到物理约束的限制。我们提出了一个真正可扩展的方法，分布式子模块最大化在固定的容量。所提出的框架适用于广泛的算法和约束，并提供理论保证的近似因子的任何可用的能力。我们经验评估所提出的算法对各种数据集，并证明它实现了性能竞争力的集中式贪婪的解决方案。
2016-05-31 cs.DC cs.DM cs.LG
Optimal DR-Submodular Maximization and Applications to Provable Mean Field Inference
ETH Zurich（苏黎世联邦理工学院）
概率模型中的平均场推断通常是一个高度非凸的问题。现有的优化方法，例如，坐标上升算法，只能产生局部最优解。在这项工作中，我们提出了可证明的平均场方法的概率对数次模模型和它的后验协议（PA）与强近似保证。主要的算法技术是一个新的双贪婪计划，称为DR-DoubleGreedy，连续DR-子模最大化盒约束。它是一个具有线性时间复杂度的一遍算法，达到最佳的1/2近似比，这可能是独立的利益。我们验证了我们的算法对合成和真实世界的数据集上的基线算法的优越性能。
2018-11-29 cs.LG stat.ML
Online Non-Monotone DR-submodular Maximization
IBISC；Univ. Evry（埃夫里大学）；University Paris-Saclay（巴黎萨克雷大学）
在本文中，我们研究最大化DR-子模连续函数，在机器学习，经济学，运筹学和通信系统领域的实际应用的基本问题。它捕获了非凸优化的一个子类，提供了理论和实践保证。在这里，我们专注于最小化遗憾的在线到达非单调DR-次模函数在不同类型的凸集：超立方体，下闭和一般凸集。首先，我们提出了一个在线算法，实现了$1/e$ -近似比与遗憾的$O(T^{2/3})$最大化DR-子模函数在任何下闭凸集。请注意，$1/e$的近似比与问题的离线版本的最佳保证匹配。此外，当凸集是超立方体时，我们提出了一个紧1/2近似算法，其遗憾界为$O(\sqrt{T})$。接下来，我们给出了一个在线算法，实现了近似保证（取决于搜索空间）的问题，最大化非单调连续DR-次模函数的\emph{general}凸集（不一定下闭）。据我们所知，没有事先的算法与近似保证已知的非单调DR-子模极大化在线设置。最后，我们运行实验来验证我们的算法在机器学习领域与现实世界的数据集出现的问题的性能。
2020-06-23 cs.DS cs.LG stat.ML
The FAST Algorithm for Submodular Maximization
Harvard University（哈佛大学）
在本文中，我们描述了一种新的算法，称为快速自适应排序技术（FAST）的基数约束$k$的近似比是任意接近$1-1/e$的单调子模函数最大化，是$O(\log(n) \log^2(\log k))$自适应，并使用了总的$O(n \log\log(k))$查询。最近的算法在渐近最坏情况分析方面有可比的保证，但它们的实际轮数和查询复杂性在精度和置信度方面依赖于非常大的常数和多项式，这使得它们对于大数据集不切实际。我们的主要贡献是一个设计，是非常有效的非渐近最坏情况下的查询复杂性和轮数，并在其实际运行时间。我们表明，该算法优于任何算法的子模块最大化，我们知道，包括超优化的并行版本的最先进的串行算法，通过运行实验的大数据集。这些实验表明FAST比最先进的快几个数量级。
2019-07-14 cs.DS cs.LG stat.ML
Submodular Maximization Through Barrier Functions
Google（谷歌）；Yale University（耶鲁大学）；Stanford University（斯坦福大学）
在本文中，我们介绍了一种新的技术约束子模最大化，连续优化中的障碍函数的启发。这种连接不仅提高了运行时间的约束子模最大化，但也提供了最先进的保证。更确切地说，对于最大化的单调子模函数的组合的$k$ -matchoid和$\ell$ -背包约束（$\ell\leq k$），我们提出了一个潜在的功能，可以近似最小化。一旦我们最小化的潜在功能，直到$ε$错误，它是保证，我们已经找到了一个可行的设置与$2(k+1+ε)$ -近似因子，确实可以进一步改善$(k+1+ε)$的枚举技术。我们广泛评估我们提出的算法在几个现实世界的应用程序，包括电影推荐系统，YouTube视频，Twitter的饲料和Yelp的业务位置，总结任务和一组覆盖问题的性能。
2020-02-10 cs.LG stat.ML
Beyond Pointwise Submodularity: Non-Monotone Adaptive Submodular Maximization in Linear Time
Naveen Jindal School of Management, The University of Texas at Dallas（德克萨斯大学达拉斯分校纳文·金达尔管理学院）
本文研究了基数约束下的非单调自适应次模极大化问题。我们首先回顾了自适应随机贪心算法提出的\citep{gotovos2015non}，他们表明，该算法实现了$1/e$逼近比，如果目标函数是自适应次模和逐点次模。目前还不清楚在自适应子模块化（不诉诸逐点子模块化）下是否有相同的保证。我们的第一个贡献是表明，自适应随机贪心算法实现了$1/e$自适应子模块化下的近似比。自适应随机贪心算法的一个限制是它需要$O(n\times k)$值Oracle查询，其中$n$是基集的大小，$k$是基数约束。我们的第二个贡献是发展的第一个线性时间算法的非单调自适应次模最大化问题。我们的算法实现了一个$1/e-ε$近似比（这个界是改进的$1-1/e-ε$单调的情况下），只使用$O(nε^{-2}\log ε^{-1})$值的Oracle查询。值得注意的是，$O(nε^{-2}\log ε^{-1})$独立于基数约束。对于单调的情况下，我们提出了一个更快的算法，实现了$1-1/e-ε$近似比的期望与$O(n \log \frac{1}ε)$值Oracle查询。我们还推广了我们的研究，考虑分区拟阵约束，并开发了一个线性时间算法的单调和完全自适应次模函数。
2020-12-15 cs.LG stat.ML
Streaming Submodular Maximization with Differential Privacy
Khoury College of Computer Sciences, Northeastern University（东北大学胡里计算机科学学院）
在这项工作中，我们研究的问题，私人最大化的子模函数在流设置。广泛的工作已经做了私人最大化的子模函数在一般情况下，当功能依赖于个人的私人数据。然而，当从目标函数的域中提取的数据流的大小很大或到达非常快时，必须在流设置的约束内私下优化目标。我们建立基本的差异私人基线这个问题，然后得到更好的权衡隐私和实用程序的特殊情况下，可分解的子模块功能。子模函数是可分解的，当它可以被写为子模函数的和;这种结构自然出现时，每个被加数函数模型的效用的个人和目标是研究总效用的整个人口在著名的组合公共项目问题。最后，我们补充我们的理论分析与实验证实。
2022-10-25 cs.CR cs.DS cs.LG
Differentiable Submodular Maximization
Microsoft Research Cambridge（微软研究院剑桥）；ETH Zurich（苏黎世联邦理工学院）
我们考虑从数据中学习子模函数。这些功能在机器学习中非常重要，并且具有广泛的应用，例如数据摘要，特征选择和主动学习。尽管它们的组合性质，子模函数可以在多项式时间内近似最大化，并具有强的理论保证。通常，学习子模函数和该函数的优化是分开处理的，即首先使用代理目标学习函数，然后最大化。相反，我们展示了如何联合执行学习和优化。通过将贪婪最大化算法的输出解释为项目序列上的分布，并平滑这些分布，我们得到了一个可微目标。通过这种方式，我们可以通过最大化算法进行区分，并优化模型，以便与优化算法一起工作。我们从理论上描述了我们的方法所产生的误差，从而深入了解平滑性和准确性的权衡。我们证明了我们的方法的有效性，共同学习和优化合成的最大割数据，并在现实世界中的应用，如产品推荐和图像收集总结。
2018-06-14 cs.LG stat.ML
Non-monotone DR-submodular Maximization: Approximation and Regret Guarantees
Sorbonne Université（索邦大学）；Univ Évry, Université Paris-Saclay（埃夫里大学，巴黎-萨克雷大学）
子模优化是一个重要的研究领域，在机器学习、经济学和通信系统中有着广泛的应用。它捕获了非凸优化的一个子类，提供了实践和理论上的保证。本文研究了下闭和一般凸集上非单调DR-次模函数的最大化问题。首先，我们表明，离线最大化非单调DR-次模函数在一般的凸集上，Frank-Wolfe算法实现的近似保证依赖于凸集。其次，我们证明了随机梯度上升算法实现了1/4的近似比与遗憾的$O(1/\sqrt{T})$的最大化问题的非单调DR-子模函数的下闭凸集。这些是相应设置中的第一近似保证。最后，我们基准这些算法在机器学习领域与现实世界的数据集出现的问题。
2019-05-23 cs.DS cs.LG math.OC
Scaling Submodular Maximization via Pruned Submodularity Graphs
University of Washington（华盛顿大学）；Yahoo Research（雅虎研究院）
我们提出了一种新的随机修剪方法（称为“子模块稀疏化（SS）”），以减少子模块最大化的成本。修剪通过“子模块图”应用于$n$基元素，其中每个有向边与由子模块函数定义的成对依赖性相关联。在每个步骤中，SS使用仅基于少量（$O(\log n)$）随机采样的节点计算的边上的权重来修剪节点的$1-1/\sqrt{c}$（对于$c>1$）部分。该算法需要$\log_{\sqrt{c}}n$步骤，每步计算量小且高度并行。一个精度-速度折衷参数$c$，设置为$c = 8$，导致快速收缩率$\sqrt{2}/4$和小的迭代复杂度$\log_{2\sqrt{2}}n$。分析显示，对大小为$O(\log^2 n)$的修剪集的贪婪算法可以实现与处理原始数据集的保证类似的保证。在新闻和视频摘要任务中，SS能够大幅降低计算成本和内存使用，同时保持（甚至略微超过）原始（成本更高）贪婪算法的质量。
2016-06-01 cs.LG math.CO stat.ML
Scaling the Indian Buffet Process via Submodular Maximization
Engineering Department, Cambridge University（剑桥大学工程系）
潜在特征模型的推理本质上是困难的，因为推理空间随着输入数据的大小和潜在特征的数量呈指数增长。在这项工作中，我们使用Kurihara & Welling（2008）的最大化期望框架来执行近似MAP推理的线性高斯潜在特征模型与印度巴菲特过程（IBP）之前。该公式产生对应于模型证据上的下限的特征的子模块函数。通过给这个函数增加一个常数，我们得到一个非负的子模函数，可以通过贪婪算法最大化，该算法至少获得最优解的三分之一近似。我们的推理方法与输入数据的大小呈线性关系，我们显示了我们的方法在目前使用IBP模型分析的最大数据集上的有效性。
2013-07-24 cs.LG stat.ML
Regularized Submodular Maximization at Scale
Yale Institute for Network Science（耶鲁网络科学研究所）；Yale University（耶鲁大学）；Expedia Group（亿客行集团）；University of Haifa（海法大学）
在本文中，我们提出了可扩展的方法，最大化的正则次模函数$f = g - \ell$表示为单调次模函数$g$和模块化函数$\ell$之间的差异。事实上，子模块性与多样性、覆盖面和代表性的概念有着内在的联系。特别是，找到许多流行的概率模型的多样性，如行列式点过程，次模概率模型和强对数凹分布的模式，涉及（正则化）次模函数的最大化。由于正则化函数$f$可能具有负值，因此严重依赖于次模函数的非负性假设的经典次模最大化理论可能不适用。为了规避这一挑战，我们开发了第一个单程流算法，用于最大化受$k$基数约束的正则化子模函数。它返回一个解决方案$S$，并保证$f(S)\geq(ϕ^{-2}-ε) \cdot g(OPT)-\ell (OPT)$，其中$ϕ$是黄金比例。此外，我们开发了第一个分布式算法，该算法返回一个解决方案$S$，并保证$\mathbb{E}[f(S)] \geq (1-ε) [(1-e^{-1}) \cdot g(OPT)-\ell(OPT)]$在$O(1/ ε)$轮MapReduce计算中，而无需在每轮中保留整个数据集的多个副本（通常是这样做的）。我们应该强调的是，我们的结果，即使是非正规化的情况下，模块项$\ell$为零，提高了内存和通信的复杂性，现有的工作的一个因素，$O(1/ ε)$，同时可以说提供了一个更简单的分布式算法和统一的分析。我们还实证研究了我们的可扩展的方法在…
2020-02-10 cs.LG stat.ML
Non-submodular Function Maximization subject to a Matroid Constraint, with Applications
Sharif University（谢里夫大学）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
标准的贪心算法最近已被证明享受近似保证约束非子模非减集函数最大化。虽然这些最近的结果可以更好地描述经验的成功的贪心算法，他们只适用于简单的基数约束。本文研究了一般拟阵约束下非次模非减集函数的极大化问题。我们首先表明，标准的贪心算法提供了一个近似因子的$\frac{0.4 γ^{2}}{\sqrt{γr} + 1}$，其中$γ$是子模块比的功能和$r$是秩的拟阵。然后，我们表明，相同的贪心算法提供了一个恒定的逼近因子$(1 + 1/(1-α))^{-1}$，其中$α$是广义曲率的功能。此外，我们证明了这些近似保证是适用于几个现实世界中的应用，其中的子模比和广义曲率可以有界。最后，我们证明了我们的贪心算法在实践中使用各种实验合成和真实世界的数据确实取得了竞争力的表现。
2019-10-08 cs.DM cs.DS cs.LG
Distributionally Robust Submodular Maximization
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；USC（南加利福尼亚大学）
子模块函数在整个机器学习中都有应用，但在许多设置中，我们无法直接存取底层函数$f$。我们专注于随机函数，给出了一个分布$P$的期望函数。在实践中，我们通常只有来自$P$的有限样本集$f_i$。标准方法通过最大化$f_i$的和来间接优化$f$。然而，这忽略了对真实（未知）分布的泛化。在本文中，我们通过直接优化偏差和方差的组合，在实际的底层函数$f$上实现了更好的性能。在数学上，我们完成了这一点，展示了如何进行分布式鲁棒优化（DRO）的次模函数，提供有效的算法支持的理论保证，利用几个新的贡献DRO的一般理论。我们还展示了令人信服的经验证据，DRO提高了推广到未知的随机次模函数。
2018-06-06 cs.LG math.OC stat.ML
Online DR-Submodular Maximization with Stochastic Cumulative Constraints
University of Washington（华盛顿大学）
本文研究了线性随机长期约束下的在线连续DR-子模极大化问题。与在线次模最大化的先前工作相比，我们的设置引入了随机线性约束函数的额外复杂性，这些函数是独立同分布的。在每一轮产生。确切地说，在步骤$t\in\{1,\dots,T\}$，DR-子模效用函数$f_t(\cdot)$和约束向量$p_t$，i.i.d.从具有平均$p$的未知分布中生成，在提交动作$x_t$后显示，并且我们的目标是在预期的累积资源消耗$\sum_{t=1}^T \langle p,x_t\rangle$低于固定预算$B_T$时最大化总体效用。随机长期约束自然出现在应用程序中，其中有一个有限的预算或资源可用，在每一步的资源消耗是由随机时变环境。我们提出了在线拉格朗日Frank-Wolfe（OLFW）算法来解决这类在线问题。我们分析了OLFW算法的性能，我们得到了次线性遗憾界以及次线性累积约束违反界，无论是在期望和高概率。
2021-05-21 cs.LG math.OC stat.ML
Stochastic Submodular Maximization: The Case of Coverage Functions
ETH Zurich（苏黎世联邦理工学院）；University of Pennsylvania（宾夕法尼亚大学）
连续目标的随机优化是现代机器学习的核心。然而，许多重要的问题是离散的性质，往往涉及子模块的目标。我们试图释放随机连续优化的力量，即随机梯度下降及其变种，这样的离散问题。我们首先介绍了随机次模块优化问题，其中需要优化的次模块目标，这是作为一个期望。我们的模型捕捉了离散目标作为经验风险出现的情况（例如，在基于样本的聚类的情况下），或者作为显式随机模型给出（例如，在社交网络中影响力最大化的情况下）。通过利用公共扩张线性作用于子模函数类，我们在连续域中采用投影随机梯度上升及其变体，并进行舍入以获得离散解。我们专注于丰富和广泛使用的家庭加权覆盖函数。我们表明，我们的方法产生的解决方案，保证匹配的最佳近似保证，同时减少了几个数量级的计算成本，我们证明经验。
2017-11-05 cs.DM cs.LG stat.ML
Fast First-Order Methods for Monotone Strongly DR-Submodular Maximization
University of Washington（华盛顿大学）
连续DR-次模函数是一类满足收益递减（DR）性质的函数，这意味着它们沿非负方向是凹的。已有的工作研究单调连续DR-子模极大化的凸约束，并提出了有效的算法与近似保证。然而，在许多应用中，例如，计算图的稳定数和概率对数次模模型的平均场推断，DR次模函数具有沿非负方向是\emph{strongly}凹的附加性质，这可以用于获得更快的收敛速率。在本文中，我们首先引入和刻画了一类\emph{strongly DR-submodular}函数，并证明了这样一个性质意味着沿非负方向的强连续性。然后，我们研究了$L$ -光滑单调强DR-次模函数有界曲率，我们展示了如何利用这种额外的结构，以获得改进的近似保证和更快的收敛速度的最大化问题的算法。特别是，我们提出了SDRFW算法，匹配可证明的最佳$1-\frac{c}{e}$近似比后，只有$\lceil\frac{L}μ\rceil$迭代，其中$c\in[0,1]$和$μ\geq 0$的曲率和强DR-子模块化参数。此外，我们研究了投影梯度上升（PGA）方法，并提供了一个改进的$\frac{1}{1+c}$逼近比和线性收敛速度的算法的精细分析。考虑到这两种算法都需要光滑参数$L$的知识，我们提供了DR-子模函数的$L$的\emph{novel}特征，表明在许多情况下，计算$L$可以被公式化为凸问题，即，一个几何规划，可以有效地解决。
2022-05-27 cs.LG math.OC stat.ML
Very Fast Streaming Submodular Function Maximization
TU Dortmund University（多特蒙德工业大学）
数据摘要已经成为理解甚至是TB级数据的有价值的工具。次模函数由于其令人信服的理论性质，一直是摘要算法研究的热点。这些算法提供了最坏情况下的近似保证，以牺牲更高的计算和存储器的要求。然而，许多实际应用程序并不属于这种最坏情况，而是通常表现得更好。在本文中，我们提出了一个新的子模函数最大化算法称为ThreeSieves，它忽略了最坏的情况下，但提供了一个很好的解决方案，在高概率。它从动态数据流中选择信息量最大的项，并在固定的内存预算上保持可证明的性能。在一个广泛的评估，我们比较我们的方法对$6$其他方法在$8$不同的数据集和没有概念漂移。我们表明，我们的算法优于目前最先进的算法，并在同一时间，使用更少的资源。最后，我们强调了我们的算法在伽马射线天文学中的数据汇总的一个真实用例。我们在https://github.com/sbuschjaeger/SubmodularStreamingMaximization上公开发布我们的代码。
2021-05-08 cs.DM cs.LG stat.ML
Adaptive Maximization of Pointwise Submodular Functions With Budget Constraint
University of Cambridge（剑桥大学）；Georgia Institute of Technology（佐治亚理工学院）
我们研究了预算约束下的最坏情况自适应优化问题，该问题可用于人工智能和机器学习中的各种实际应用建模。我们调查的近最优性的贪心算法这个问题的模块化和非模块化的成本函数。在这两种情况下，我们证明了两个简单的贪心算法不是近最优的，但他们之间的最好的是近最优的，如果效用函数满足逐点子模块和逐点成本敏感子模块分别。这意味着相对于使用一半预算的最优算法而言接近最优的组合算法。我们讨论我们的理论结果的应用，并报告实验比较贪心算法的主动学习问题。
2017-05-22 cs.AI cs.DM math.OC
