Online Two-Stage Submodular Maximization
Boston University(波士顿大学);EPFL(苏黎世联邦理工学院);Northeastern University(东北大学)
针对在线两阶段子模最大化问题,提出算法在一般拟阵和均匀拟阵下分别达到亚线性遗憾界,并在真实数据上验证性能。
2025-10-22 cs.DS cs.LG
Differentiable Greedy Submodular Maximization: Guarantees, Gradient Estimators, and Applications
Graduate School of Information Sciences and Technology(信息科学与技术研究生院);The University of Tokyo(东京大学)
例如,随着灵敏度分析和端到端学习的发展,对可微优化算法的需求显著增加。在本文中,我们建立了一个理论上有保证的通用框架,使单调子模函数最大化的贪心算法可微。我们通过随机化对贪心算法进行了光滑化,并证明了在基数和$κ$ -可扩展系统约束的情况下,它几乎可以在期望中恢复原始的近似保证。我们还展示了如何有效地计算任何预期的输出相关量的无偏梯度估计。我们证明了我们的框架的实用性,通过实例化它的各种应用程序。
2020-06-12 cs.DS cs.LG
Guaranteed Non-convex Optimization: Submodular Maximization over Continuous Domains
ETH Zurich(苏黎世联邦理工学院)
次模连续函数是一类(一般)非凸/非凹函数,具有广泛的应用。我们描述这些功能,并证明他们可以有效地近似保证最大化。具体地说,i)我们引入了弱DR性质,给出了所有集合、整数格和连续函数的次模性的统一刻画; ii)对于一般下闭凸约束下的单调DR-次模连续函数,我们提出了一个具有$(1-1/e)$逼近保证和次线性收敛速度的Frank-Wolfe变式;(3)对于一般非单调子模连续函数的最大化问题,我们提出了一个具有$1/3$逼近保证的DoubleGreedy算法.子模块连续函数自然地找到应用程序在各种现实世界中的设置,包括影响力和收入最大化与连续分配,传感器能源管理,多分辨率数据汇总,设施位置等实验结果表明,所提出的算法有效地产生优越的解决方案相比,基线算法。
2019-05-06 cs.DS cs.LG
A Parallel Double Greedy Algorithm for Submodular Maximization
Boston University(波士顿大学);Northeastern University(东北大学)
研究了极大化非负次模函数问题的并行算法。我们的主要结果是一个算法,实现了接近最佳的$1/2 -ε$近似使用$O(\log(1/ε) / ε)$并行轮的功能评估。我们的算法是基于一个连续的双贪心算法的Buchbinder等人。实现最佳的$1/2$近似的顺序设置。我们的算法更普遍地适用于最大化连续递减收益(DR)函数的问题。
2018-12-04 cs.DS cs.LG
No-regret algorithms for online $k$-submodular maximization
我们提出了一个多项式时间算法在线最大化的$k$ -子模最大化。对于在线(非单调)$k$ -次模最大化,我们的算法实现了一个紧密的近似因子的近似遗憾。对于在线单调$k$ -次模最大化,我们的近似遗憾匹配最知名的近似比,这是紧渐近$k$趋于无穷大。我们的方法是基于Blackwell逼近定理和在线线性优化。
2018-07-13 cs.DS
Fairness in Streaming Submodular Maximization: Algorithms and Hardness
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Google Zurich(谷歌苏黎世);EPFL(洛桑联邦理工学院);Microsoft Research(微软研究院)
子模块最大化已成为选择具有代表性和多样性的数据摘要的任务的选择方法。然而,如果数据点具有敏感的属性,如性别或年龄,这种机器学习算法,如果不加以检查,就会表现出偏见:特定群体的代表性不足或过度。这使得公平的机器学习算法的设计变得越来越重要。在这项工作中,我们解决了一个问题:是否有可能为大规模数据集创建公平的摘要?为此,我们开发的第一个流近似算法子模最大化公平性约束下,单调和非单调函数。我们在基于范例的聚类、电影推荐、基于DPP的摘要和社交网络中的最大覆盖率方面实证验证了我们的发现,表明公平性约束不会显着影响效用。
2020-10-18 cs.DS cs.LG
Practical Parallel Algorithms for Non-Monotone Submodular Maximization
School of Computer Science and Technology(计算机科学与技术学院);Soochow University(苏州大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学);Alibaba Group(阿里巴巴集团);Qingdao University of Science and Technology(青岛科技大学)
针对背包与 k-系统约束下的非单调子模最大化,论文提出低自适应复杂度的并行组合算法,给出可证明近似保证并经实验验证有效。
2024-12-03 cs.DS cs.LG
Streaming Algorithms for News and Scientific Literature Recommendation: Submodular Maximization with a d-Knapsack Constraint
Texas A&M University(德克萨斯A&M大学)
次模极大化问题属于组合优化问题族,有着广泛的应用。在本文中,我们专注于最大化单调子模函数的问题受到$d$ -背包约束,为此,我们提出了一个流算法,实现了$\left(\frac{1}{1+2d}-ε\right)$ -近似的最优值,而它只需要一个单一的通过数据集,而不存储在内存中的所有数据。在我们的实验中,我们广泛评估我们提出的算法的有效性,通过两个应用程序:新闻推荐和科学文献推荐。据观察,所提出的流算法实现了执行加速和内存节省了几个数量级,与现有的方法相比。
2016-07-05 cs.DS cs.LG
Dynamic Non-monotone Submodular Maximization
University of Maryland(马里兰大学);TU Eindhoven(埃因霍温理工大学)
该研究通过将基数约束下非单调子模最大化归约为单调子模最大化,给出首个该问题的动态算法,实现(8+ε)近似,并在真实数据集验证了其在视频摘要等任务中的有效性。
2023-11-07 cs.DS cs.LG
Balancing Utility and Fairness in Submodular Maximization (Technical Report)
East China Normal University(华东师范大学);Singapore Management University(新加坡管理大学);CENTAI Institute(CENTAI研究所);Eurecat(Eurecat技术中心)
针对子模最大化中效用与公平性难以兼顾的问题,提出双准则子模最大化(BSM)问题,并设计两种实例相关近似算法,在最大覆盖、影响力最大化和设施选址中验证了有效性。
2023-06-19 cs.DS cs.LG
Fairness in Monotone $k$-submodular Maximization: Algorithms and Applications
Iowa State University(爱荷华州立大学)
本文首次将公平性引入单调 $k$-子模最大化,提出贪心与阈值算法,分别实现 $\frac{1}{3}$ 和 $(\frac{1}{3}-ε)$ 近似,并通过案例验证公平约束对解质量影响甚微。
2024-11-08 cs.DS cs.LG
Online and Streaming Algorithms for Constrained $k$-Submodular Maximization
Boston University(波士顿大学);Northeastern University(东北大学)
本文针对基数约束和背包约束下的单调与非单调 k-子模最大化问题,提出了具有常数因子近似保证的单遍流式和在线组合算法,在近似比、空间和运行时间上均达到最优,并在广告分配等应用中验证了其高效性和可扩展性。
2023-05-25 cs.DS cs.LG
Derandomization for k-submodular maximization
子模性是组合优化的重要性质之一,$k$ -子模性是子模性的推广。$k$ -次模函数的极大化是NP难的,研究了近似算法.对于单调$k$ -次模函数,[Iwata,Tanigawa,and Yoshida 2016]给出了$k/(2k-1)$ -近似算法。本文通过对该算法的去随机化,给出了一个确定性算法。去随机化方案来自[Buchbinder and Feldman 2016]。我们的算法是$k/(2k-1)$ -近似和多项式时间算法。
2017-02-15 cs.DS
Deletion-Robust Submodular Maximization at Scale
Yale University(耶鲁大学);Google Research(谷歌研究院)
我们能否有效地从用户生成的大型数据集中提取有用的信息,同时保护用户的隐私和/或确保表示的公平性?我们把这个问题作为一个删除鲁棒子模块最大化的实例,其中部分数据可能会被删除,由于隐私问题或公平标准。我们提出了第一个内存高效的集中式,流式和分布式方法,具有恒定因子近似保证,可以防止任何数量的对抗性删除。我们广泛地评估了我们的算法对现有技术在现实世界中的应用,包括(i)位置隐私约束的Uber拾取位置;(ii)收入预测和犯罪率预测的公平约束的特征选择;(iii)对人口普查数据的删除摘要具有鲁棒性,由2,458,285个特征向量组成。
2017-11-21 cs.DS cs.LG
Do Less, Get More: Streaming Submodular Maximization with Subsampling
Open University of Israel(以色列开放大学);Yale University(耶鲁大学)
在本文中,我们开发了第一个单程流算法子模块最大化,不评估整个流,甚至一次。通过仔细地对数据流的每个元素进行子采样,我们的算法在各种设置中享有最严格的近似保证,同时具有最小的内存占用和最少的函数求值次数。更具体地说,对于单调子模函数和$p$ -拟阵约束,我们的随机算法实现了$4p$近似比(预期)与$O(k)$内存和每个元素的$O(km/p)$查询($k$是最大可行解的大小和$m$是用于定义约束的拟阵的数量)。对于非单调的情况下,我们的近似比仅略微增加到$4p+2-o(1)$。据我们所知,我们的算法是第一个以一种新颖的方式结合流和子采样的优点,以便真正将子模块最大化扩展到大规模机器学习问题。为了展示其实用性,我们经验性地评估了我们的算法在视频摘要应用程序上的性能,并观察到它比最先进的算法性能高出50倍,同时保持几乎相同的实用性。
2018-02-20 cs.DS cs.LG
Instance Specific Approximations for Submodular Maximization
Columbia University(哥伦比亚大学);Harvard University(哈佛大学)
对于机器学习中的许多优化问题,找到最优解在计算上是困难的,我们寻求在实践中表现良好的算法。由于计算的棘手性往往导致病态的情况下,我们寻找的方法来基准的算法对现实世界中的实例的最佳解决方案的性能。主要的挑战是,对于棘手的问题,无法有效地计算出最优解,因此我们通常不知道解决方案离最优解有多远。因此,一个主要的问题是如何衡量一个算法的性能相比,我们在实践中遇到的情况下的最佳解决方案。在本文中,我们解决这个问题的上下文中的子模块优化问题。对于基数约束下的次模最大化的规范问题,很难计算出比最优解的$1-1/e \approx 0.63$分数更好的解。像著名的贪心算法这样的算法保证在任何实例上都能达到这个$1-1/e$界限,并在实践中使用。我们的主要贡献是不是一个新的算法submodular最大化,但分析方法,衡量如何接近submodular最大化算法是最优的一个给定的问题实例。我们使用这种方法表明,在各种各样的现实世界的数据集和目标,贪婪找到的解决方案的近似远远超过$1-1/e$,往往是至少0.95。我们开发这种方法使用一种新的技术,下界的目标的对偶最小化问题,以获得一个最优解的原始最大化问题的值的上限。
2021-02-23 cs.DS cs.LG
Group Fairness in Non-monotone Submodular Maximization
University of North Texas(北德克萨斯大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
最大化子模函数在机器学习和数据采掘中有着广泛的应用。一个这样的应用程序是数据汇总,其目标是从一个大的数据集中选择一小组有代表性的和不同的数据项。但是,数据项可能具有敏感属性,如种族或性别,在这种情况下,设计\emph{fairness-aware}算法以减轻可能导致特定组的过度或不足表示的潜在算法偏见非常重要。受此启发,我们提出并研究了经典的非单调子模最大化问题,新的组公平性约束。我们的目标是选择一组最大化非单调子模块函数的项目,同时确保从每个组中选择的项目的数量与其大小成比例,到决策者指定的程度。我们开发了第一个常数因子的近似算法为这个问题。我们还扩展了基本模型,将一个额外的全局大小约束的选定项目的总数。
2023-03-09 cs.DS cs.LG
Non-monotone Sequential Submodular Maximization
Naveen Jindal School of Management, The University of Texas at Dallas(德克萨斯大学达拉斯分校纳文·金德尔管理学院);Department of Computer Science and Engineering, The University of North Texas(北得克萨斯大学计算机科学与工程系)
本文率先研究非单调子模函数下的序列子模最大化问题,针对不同长度约束及效用函数相同的特殊情况给出有效解法,经视频推荐场景验证有效,可为推荐系统等领域提供参考。
2023-12-12 cs.DS cs.LG
Differentially Private Decomposable Submodular Maximization
Khoury College of Computer Sciences, Northeastern University(东北大学胡里计算机科学学院)
研究了可分解子模函数的微分私有约束最大化问题。一个子模函数是可分解的,如果它采取子模函数之和的形式。在基数约束下最大化单调可分解子模函数的特殊情况被称为组合公共项目(CPP)问题[Papadimitriou等人,2008年]。Gupta等人的先前工作。[2010]给出了CPP问题的差分私有算法。我们扩展这项工作的设计差分私人算法的单调和非单调可分解的子模最大化一般拟阵的约束下,具有竞争力的效用保证。我们补充我们的理论界限与实验证明经验的性能,这提高了在一般情况下的子模块最大化的差分私有算法,并接近非私有算法的性能。
2020-05-29 cs.CR cs.DS cs.LG
Weakly Submodular Function Maximization Using Local Submodularity Ratio
弱次模是报酬递减性质的一种自然松弛,与次模等价。弱子模性已经被用来证明,许多在实践中出现的(单调)函数可以有效地最大化与可证明的保证。在这项工作中,我们介绍了两个自然推广的弱次模的非单调函数。我们表明,一个有效的随机贪心算法具有可证明的近似保证最大化这些功能的基数约束。然后,我们提供了更精确的分析,该分析考虑到弱子模块性参数可能会在算法执行过程中发生变化(有时会改善)。这导致在某些设置中改进的近似保证。我们提供应用程序的单调和非单调最大化问题的结果。
2020-09-23 cs.DS
Fast algorithms for k-submodular maximization subject to a matroid constraint
Shandong Normal University(山东师范大学)
本文提出阈值递减算法,在拟阵约束下最大化k-子模函数,以较小近似比损失降低查询复杂度,分别给出单调与非单调情形的近似算法及复杂度分析,并推广到总规模约束。
2023-07-26 cs.DS cs.LG
Partial-Monotone Adaptive Submodular Maximization
University of Texas at Dallas(德克萨斯大学达拉斯分校);University of North Texas(北德克萨斯大学)
许多序列决策问题,包括基于池的主动学习和自适应病毒式营销,可以制定为一个自适应子模块最大化问题。现有的自适应次模优化问题的研究大多集中在单调和非单调两种情况。具体地说,如果效用函数是单调的和自适应的子模,\cite{golovin2011adaptive}开发了一个贪婪的政策,达到$(1-1/e)$近似比服从基数约束。如果效用函数是非单调的和自适应的子模,\cite{tang2021beyond}表明,一个随机贪婪的政策达到$1/e$近似比服从基数约束。在这项工作中,我们的目标是推广上述结果通过研究部分单调自适应次模极大化问题。为此,我们引入自适应单调性比$m\in[0,1]$的符号来衡量一个函数的单调性程度。我们的主要结果是表明,一个随机贪婪的政策,实现了$m(1-1/e)+(1-m)(1/e)$的近似比,如果效用函数是$m$ -自适应单调和自适应子模。值得注意的是,当分别为$m = 0$和$m = 1$时,该结果恢复了上述$(1-1/e)$和$1/e$近似比。我们进一步扩展我们的结果考虑背包约束。我们表明,基于采样的政策实现了$(m+1)/10$的近似比,如果效用函数是$m$ -自适应单调和自适应子模块。我们的结果的一个重要含义是,即使是一个非单调的效用函数,我们仍然可以实现一个近似比接近$(1-1/e)$,如果这个功能是“接近”的单调函数。这导致许多机器学习应用程序的性能边界…
2022-12-11 cs.DS cs.LG
Quick Streaming Algorithms for Maximization of Monotone Submodular Functions in Linear Time
Florida State University(佛罗里达州立大学)
考虑基数约束$k$下基集大小为$n$的单调次模极大化问题.对于这个问题,我们介绍了第一个确定性算法的线性时间复杂度,这些算法是流算法。对于任何$c \ge 1$,我们的单遍算法在$\lceil n / c \rceil + c$ Oracle查询中获得恒定的比率。此外,我们提出了一个确定性的,多遍流算法,通过一个恒定的数量,达到接近线性查询和时间复杂度的最佳比例。我们证明了一个下界,这意味着没有常数因子近似存在使用$o(n)$查询,即使查询不可行集是允许的。实证分析表明,我们的算法需要更少的查询(通常大大低于$n$),但仍然实现更好的客观价值比目前的国家的最先进的算法,包括单通,多通,和非流算法。
2021-03-08 cs.DS cs.LG
Robust Adaptive Submodular Maximization
Naveen Jindal School of Management, The University of Texas at Dallas(德克萨斯大学达拉斯分校纳文·金达尔管理学院)
序贯决策问题的目标是设计一个交互式策略,自适应地选择一组项目,每次选择都是基于过去的反馈,以最大化所选项目的期望效用。它已被证明,许多现实世界中的应用程序的效用函数是自适应子模。然而,现有的自适应子模块优化算法的研究大多集中在平均情况下。不幸的是,具有良好平均情况性能的策略在最坏情况实现下可能具有非常差的性能。在这项研究中,我们建议研究两个变种的自适应子模块优化问题,即最坏情况下的自适应子模块最大化和鲁棒子模块最大化。第一个问题的目的是找到一个政策,最大化最坏情况下的效用和后者的目的是找到一个政策,如果有的话,同时实现近最优的平均情况下的效用和最坏情况下的效用。我们引入了一类新的随机函数,称为\emph{worst-case submodular function}。对于$p$系统约束下的最坏情况自适应次模块最大化问题,如果效用函数是最坏情况次模块化的,我们提出了一种自适应最坏情况贪婪策略,该策略可以实现对最优最坏情况效用的$\frac{1}{p+1}$逼近比.对于基数约束下的鲁棒自适应次模最大化问题(分别为分割拟阵约束),如果效用函数是最坏情况下的次模和自适应次模,我们开发了一种混合自适应策略,实现了接近$1-e^{-\frac{1}{2}}$(分别为)的近似。$1/3$)同时在最差情况和平均情况设置下。我们还描述了我们的理论结果的几个应用,包括池为基础的主动学习,随机子模块集覆…
2022-09-12 cs.DS cs.LG math.OC
Efficient algorithms for robust submodular maximization under matroid constraints
Georgia Institute of Technology(佐治亚理工学院)
在这项工作中,我们考虑鲁棒次模最大化与拟阵约束。我们给出了一个有效的双准则近似算法,输出一个小家庭的可行集,其工会有(近)最佳的目标值。该算法理论上执行的函数调用比以前的作品在成本上添加更多的元素到最终的解决方案。我们还提供了显着的实现改进,表明我们的算法优于现有文献中的算法。最后,我们评估我们的贡献在三个现实世界中的应用程序的性能。
2018-07-25 cs.DM cs.DS cs.LG
Submodular Maximization Subject to Uniform and Partition Matroids: From Theory to Practical Applications and Distributed Solutions
本文系统研究受均匀与划分拟阵约束的子模最大化问题,重点分析顺序贪心算法及其有效性,并扩展到分布式优化场景,为理论与实际应用搭建桥梁。
2025-01-02 cs.DS
Submodular Maximization by Simulated Annealing
我们考虑最大化一个非负(可能非单调)的子模集函数的问题,有或没有约束。Feige等人[FOCS'07]证明了无约束问题的2/5近似,并证明了在值预言模型中不可能有比1/2更好的近似。对于子模最大化受拟阵独立约束(因子为0.309 Vondrak [FOCS'09])和子模最大化受拟阵基约束,也给出了常数因子近似,前提是分数基包装数至少为2(1/4近似,Vondrak [FOCS'09])。本文基于{ \em模拟退火}的思想,提出了一种新的子模最大化算法。我们证明了该算法实现了两个问题的改进近似:0.41近似无约束的子模最大化,和0.325近似子模最大化受到拟阵独立约束。在硬度方面,我们表明,在价值预言模型是不可能实现0.478近似submodular最大化的拟阵独立约束,或0.394近似拟阵基地约束的拟阵有两个不相交的基地。即使在基数约束的特殊情况下,我们证明了它是不可能达到0.491-近似。(以前可以想象,这些问题存在1/2近似。对于无约束的子模极大化问题,1/2近似是否可能仍然是一个悬而未决的问题。
2010-07-09 cs.DS
Submodular Maximization over Sliding Windows
在本文中,我们研究的数据流模型中的子模块最大化形式的代表元素的提取。与以往的流次模最大化问题不同,我们只对最近的数据感兴趣,并研究了滑动窗口上的最大化问题。我们提供了一个一般的减少从滑动窗口模型的标准流模型,因此我们的方法适用于一般的约束条件,只要有一个相应的流算法在标准流模型。因此,我们得到的第一个算法在滑动窗口模型的基数和拟阵约束下的单调/非单调子模函数最大化。我们还提出了几种算法,并在现实世界的数据集上显示了它们的效率。
2016-11-01 cs.DS
Fast Maximization of Non-Submodular, Monotonic Functions on the Integer Lattice
整数格上次模函数的优化问题近年来受到广泛关注,但许多应用的目标函数都是非次模的。我们提供了两个近似算法最大化的整数格的基数约束的非子模函数,这些是第一个算法,用于此目的,具有多项式查询的复杂性。我们提出了一个一般的框架,影响力最大化的整数格,概括了以前的作品在这个主题上,我们证明了我们的算法在这种情况下的效率。
2018-05-17 cs.DS
Data Summarization beyond Monotonicity: Non-monotone Two-Stage Submodular Maximization
Naveen Jindal School of Management, The University of Texas at Dallas(德克萨斯大学达拉斯分校纳文·金达尔管理学院)
针对两阶段子模最大化中现有方法依赖单调性假设的局限,本文将其扩展到非单调子模函数,并提出首批常数因子近似算法。
2023-11-02 cs.AI cs.DS cs.LG
Structured Robust Submodular Maximization: Offline and Online Algorithms
约束次模函数最大化已被用于子集选择问题,如选择最翔实的传感器位置。虽然这些模型已经相当流行,解决方案约束次模函数最大化已被用于子集选择问题,如选择最多信息的传感器位置。虽然这些模型已经相当流行,通过这种方法获得的解决方案是不稳定的数据定义的子模函数的扰动。鲁棒子模块最大化已被提出作为一个更丰富的模型,旨在克服这种差异,以及增加建模范围的子模块优化。在这项工作中,我们考虑了结构化组合约束下的鲁棒次模极大化问题,并给出了具有可证明保证的有效算法。我们的方法适用于由单个或多个拟阵,背包以及分布鲁棒性标准定义的约束。我们既考虑了离线设置,其中定义问题的数据是预先已知的,也考虑了在线设置,其中输入数据随着时间的推移而被揭示。对于离线设置,我们给出了一个一般的(近)最佳的双标准近似算法,依赖于新的扩展的经典算法子模最大化。对于在线版本的问题,我们给出了一个算法,返回一个双标准的解决方案与次线性遗憾。
2020-10-13 cs.DS
Deterministic (1/2 + ε)-Approximation for Submodular Maximization over a Matroid
研究了拟阵约束下的单调次模函数的极大化问题,给出了一个确定性算法,该算法实现了对该问题的(1/2 + ε)-逼近.该算法是第一个已知的确定性算法,以改善1/2近似比的经典贪心算法证明Nemhauser,Wolsely和Fisher在1978年。
2018-07-15 cs.DS
Profit Maximization in Social Networks and Non-monotone DR-submodular Maximization
本文研究了整数格上非单调DR-子模函数极大化问题。定义了整数格上的函数的次模性质,类似于集合函数的次模性。DR-次模是整数格上函数的进一步扩展的次模概念,它捕获了收益递减性质。这样的函数在机器学习、社交网络、无线网络等中有许多应用。用于子模集函数最大化的技术可以应用于DR-子模函数最大化,例如,双贪心算法具有$1/2$ -近似比,其运行时间为$O(nB)$,其中$n$是基集的大小,$B$是坐标的整数界。在我们的研究中,我们设计了一个$1/2$ -近似二分搜索双贪心算法,我们证明了它的时间复杂度为$O(n\log B)$,显著提高了运行时间。具体地,我们考虑了它在社交网络中的应用,该问题是一个二部模型,目标是最大化产品促销活动的净利润,即影响力收益与促销成本之差。我们证明了目标函数是整数格上的DR-子模。将二分查找双贪心算法应用于该问题,并验证了其有效性。
2022-12-13 cs.DS cs.SI
Deterministic Algorithms for Submodular Maximization Problems
随机化是在计算机科学的许多理论和实践领域中使用的基本工具。我们在这里研究的作用,随机化在该地区的次模函数最大化。在这个领域中,大多数算法是随机的,并且在几乎所有情况下,由当前随机算法获得的近似比优于由已知的确定性算法获得的最佳结果。一般次模函数最大化算法的去随机化似乎很难,因为对函数的访问是通过值预言完成的。例如,这使得应用标准的去随机化技术(如条件期望)变得困难。因此,在这一领域的一个有趣的基本问题是随机化是否本质上是必要的,以获得良好的近似比。在这项工作中,我们给出的证据表明,随机化是没有必要获得良好的算法,提出了一种新的技术去随机化的子模函数最大化的算法。我们的高层次的想法是保持明确的(小)分布在算法的状态,并仔细更新它使用的边缘值从一个合适的线性公式的极值点解决方案。我们在无约束子模最大化和最大化受基数约束的子模函数的两个最新算法上展示了我们的技术。特别是,对于无约束的子模最大化,我们得到了一个最佳的确定性$1/2$ -近似随机化是不必要的,以获得最佳的结果,这种设置。
2015-08-10 cs.DS
A Threshold Greedy Algorithm for Noisy Submodular Maximization
针对噪声查询下的次模最大化,本文提出自适应阈值采样子程序,并据此设计基数、拟阵约束及无约束情形的样本高效算法,逼近值预言机近似保证且经实验验证。
2024-04-09 cs.DS
Constrained Submodular Maximization: Beyond 1/e
在这项工作中,我们提出了一个新的算法最大化的非单调子模函数的一般约束。我们的算法找到了一个近似的分数的解决方案,最大化的多线性扩展的功能在一个下封闭的多面体。近似保证值为0.372,这是对统一连续贪心算法[Feldman等人,FOCS 2011]。
2016-08-11 cs.DS
Fast and Private Submodular and $k$-Submodular Functions Maximization with Matroid Constraints
Simon Fraser University(西蒙菲莎大学);National Institute of Informatics(信息科学研究所)
在过去的十年中,极大化非负单调次模函数的问题得到了广泛的研究,并提出了一系列有效的近似算法。许多机器学习问题,包括数据摘要和影响力最大化,可以很自然地建模为最大化单调子模函数的问题。然而,当此类应用程序涉及有关个人的敏感数据时,应解决其隐私问题。本文在差分隐私框架下研究了拟阵约束下的单调次模函数的最大化问题。我们提供了$(1-\frac{1}{\mathrm{e}})$ -近似算法,它改进了以前的结果在近似保证。在我们的算法中,这几乎是用立方数量的函数求值来完成的。此外,我们研究了$k$ -子模块性,子模块性的一个自然推广。我们给第一个$\frac{1}{2}$近似算法,保持差分隐私最大化单调$k$ -子模函数拟阵约束。近似比是渐近紧的,并获得了几乎线性数量的功能评估。
2020-06-28 cs.CR cs.DM cs.DS
Sensitivity Analysis of Submodular Function Maximization
我们研究了最近引入的想法,最坏大小写敏感度单调子模最大化基数约束$k$,它捕获的程度,输出参数的变化删除的输入中的一个元素。我们发现,对于大类的算法,非平凡的灵敏度的$o(k)$是不可能的,即使有界曲率,这些结果也保持在分布式框架。然而,我们也表明,在制度$k = Ω(n)$,我们可以获得$O(1)$足够低的曲率的灵敏度。
2020-10-08 cs.DS
Interlaced Greedy Algorithm for Maximization of Submodular Functions in Nearly Linear Time
基于交错两个贪婪过程的思想,提出了一个确定性近似算法,求解基数约束为$k$且大小为$n$的基集上非单调子模函数的最大化问题.该算法使用交错的,阈值贪婪的过程,以获得紧比$1/4 - ε$在$O \left( \frac{n}ε \log \left( \frac{k}ε \right) \right)$查询的目标函数,这提高了比和二次时间复杂度的以前最快的确定性算法为这个问题。该算法的非单调子模最大化,它优于最快的确定性和随机算法在以前的文献中的两个应用程序的上下文中进行验证。
2019-10-24 cs.DS
Non-monotone DR-Submodular Function Maximization
我们考虑非单调DR-子模函数最大化,其中DR-子模性(递减返回子模性)是基于递减返回性质概念的整数格上函数的子模性的扩展。最大化非单调DR-次模函数在机器学习中有许多应用,这些应用不能被次模集函数捕获。在本文中,我们提出了一个$\frac{1}{2+ε}$ -近似算法的运行时间约为$O(\frac{n}ε\log^2 B)$,其中$n$是基集的大小,$B$是坐标的最大值,和$ε> 0$是一个参数。近似比几乎是紧的,并且运行时间对$B$的依赖性指数小于朴素的贪心算法。在合成数据集和真实数据集上的实验表明,与其他基线算法相比,我们的算法输出几乎是最好的解决方案,而其运行时间快了几个数量级。
2016-12-03 cs.DS
Improved randomized algorithm for $k$-submodular function maximization
子模性是组合优化中最重要的性质之一,$k$ -子模性是子模性的推广。$k$ -次模函数的最大化需要指数数量的值Oracle查询,并且已经研究了近似算法。对于无约束$k$ -次模极大化,Iwata等人给出了单调函数的随机$k/(2k-1)$ -近似算法和非单调函数的随机$1/2$ -近似算法.本文给出了非单调函数的改进随机算法。我们的算法给出了$k\geq 3$的$\frac{k^2+1}{2k^2+1}$ -逼近。我们还给出了$k=3$的随机$\frac{\sqrt{17}-3}{2}$ -近似算法。我们使用岩田等人和Ward和Wavennovich中使用的相同框架,但概率不同。
2019-07-27 cs.DM cs.DS
Scalable Distributed Algorithms for Size-Constrained Submodular Maximization in the MapReduce and Adaptive Complexity Models
Texas A&M University(德克萨斯农工大学);Florida State University(佛罗里达州立大学)
该研究针对规模约束单调子模最大化问题,证明多类亚自适应算法满足MapReduce模型的一致性要求,提出首个线性查询复杂度的分布式算法,并给出提升MR算法最大基数约束的方法。
2024-09-16 cs.DC cs.DS cs.LG
A $(k + 3)/2$-approximation algorithm for monotone submodular maximization over a $k$-exchange system
研究了$k$ -交换系统中单调次模函数的最大化问题.这些系统由Feldman等人引入,将拟阵k-奇偶问题推广到更广泛的拟阵类中,并捕获了许多其他组合优化问题。Feldman等人证明了一种简单的非遗忘局部搜索算法可以获得$(k + 1)/2$近似比,用于求解$k$ -交换系统中的线性最大化问题。在这里,我们扩展这种方法的情况下,单调的子模目标函数。对于$k$ -交换系统中的单调子模函数最大化问题,给出了一个确定的非遗忘局部搜索算法,该算法的逼近比为$(k + 3)/2$.
2011-09-28 cs.DS
Efficient Algorithms for Monotone Non-Submodular Maximization with Partition Matroid Constraint
本文研究了带分划拟阵约束的单调非次模极大化问题。虽然在文献中已经研究了这个问题的推广,我们的工作重点是利用分割拟阵约束的性质(1)提出具有理论界和有效查询复杂度的算法;(2)提供更好的分析理论性能保证的一些现有技术。我们进一步研究了这些算法在两个应用中的性能:提升影响传播和视频摘要。实验表明,我们的算法返回比较结果的国家的最先进的算法,而采取更少的查询。
2022-04-29 cs.DS
Non-monotone Submodular Maximization in Exponentially Fewer Iterations
在本文中,我们考虑并行化的应用程序,其目标可以表示为最大化的基数约束下的非单调子模函数。我们的主要结果是一个算法,其近似是任意接近$1/2e$在$O(\log^2 n)$自适应轮,其中$n$是地面集的大小。这是一个指数加速并行运行时间超过任何以前研究的算法约束非单调子模最大化。除了其可证明的保证,该算法在实践中表现良好。具体来说,流量监测和个性化数据汇总应用程序的实验表明,该算法找到的解决方案,其值是竞争力的最先进的算法,同时运行在指数级更少的并行迭代。
2018-07-30 cs.DS
Black Box Submodular Maximization: Discrete and Continuous Settings
Yale Institute for Network Science(耶鲁网络科学研究所);Yale University(耶鲁大学);University of Pennsylvania(宾夕法尼亚大学)
在本文中,我们考虑黑盒连续次模最大化问题,我们只能访问的功能值,没有信息的导数提供。对于单调和连续的DR-子模函数,并受到有界凸体约束,我们提出了黑盒连续贪婪,一个导数免费的算法,可证明实现了紧$[(1-1/e)OPT-ε]$近似保证与$O(d/ε^3)$功能评价。然后,我们将我们的结果扩展到随机设置的函数值受到随机零均值噪声。正是通过这种随机推广,我们重新审视离散次模最大化问题,并使用多线性扩展作为离散和连续设置之间的桥梁。最后,我们广泛评估我们的算法的性能,连续和离散submodular目标函数使用合成和真实数据。
2020-03-01 cs.DS cs.LG math.OC
Subspace Selection via DR-Submodular Maximization on Lattices
子空间选择问题寻找一个子空间,使目标函数在一定的约束下最大化。这个问题包括几个重要的机器学习问题,如主成分分析和稀疏字典选择问题。通常,这些问题可以通过贪心算法来解决。在这里,我们感兴趣的是为什么这些问题可以通过贪心算法来解决,以及哪些类别的目标函数和约束允许此属性。为了回答这个问题,我们将问题表述为格上的优化问题。然后,我们引入了一类新的函数,方向DR-次模函数,来刻画问题的可逼近性。我们看到,主成分分析,稀疏字典选择问题,这些推广有方向DR-子模块。我们表明,在几个约束条件下,有向DR-子模函数最大化问题可以有效地解决可证明的近似因子。
2018-05-18 cs.DS
A Note on Submodular Maximization over Independence Systems
本文研究了独立系统约束下的次模函数的最大化问题。由于子模函数的广泛适用性,这个问题在文献中已经被广泛研究,在专门的独立系统。对于一般的独立系统,即使当所有的基地的独立系统具有相同的大小,我们表明,对于任何$ε> 0$,问题是很难近似在$(2/n)^{1-ε}$,其中$n$是地面集的大小。在同样的情况下,我们证明了贪心算法在一个额外的温和的额外假设下确实获得了$2/n$的比率。最后,我们给出了$p$ -可扩展独立系统上非单调子模函数最大化的第一个近似线性时间算法。
2019-06-07 cs.DS
Randomized Algorithms for Monotone Submodular Function Maximization on the Integer Lattice
University of Padova(帕多瓦大学);Czech Technical University in Prague(布拉格捷克理工大学)
具有集合次模目标函数的优化问题有许多实际应用。在离散的情况下,同一个项目可以被选择一次以上,该域从一个2元集一般化到一个有界整数格。在这篇文章中,我们考虑了基数约束下有界整数格上单调子模函数的最大化问题。特别是,我们专注于最大化DR-子模函数,即,定义在整数格上的函数,这些函数表现出收益递减特性。对于任意的n> 0,我们给出了一个概率保证为O的随机算法(1 - 1/e -ε)近似,使用由Mirzasoleiman等人为集合次模函数开发的随机贪心算法启发的框架。然后,我们表明,在合成DR-次模函数上,将我们提出的算法应用于整数格上比替代方案更快,包括将目标问题简化到集合域,然后应用最快的已知集合子模最大化算法。
2021-11-19 cs.AI cs.DS cs.LG
A New Framework for Distributed Submodular Maximization
University of Warwick(华威大学);Boston University(波士顿大学);Northeastern University(东北大学);EPFL(洛桑联邦理工学院)
机器学习中的各种各样的问题,包括样本聚类、文档摘要和传感器放置,可以被转换为受约束的子模块最大化问题。很多最近的努力一直致力于开发分布式算法,这些问题。然而,这些结果遭受高轮数,次优近似比,或两者兼而有之。我们开发了一个框架,使现有的算法在顺序设置的分布式设置,实现接近最佳的近似比,许多设置在只有一个恒定数量的MapReduce轮。我们的技术也给出了一个快速的顺序算法的非单调最大化受拟阵约束。
2016-08-11 cs.AI cs.DC cs.DS
Deterministic & Adaptive Non-Submodular Maximization via the Primal Curvature
虽然贪心算法长期以来一直被观察到表现良好的各种各样的问题,到目前为止,近似比只知道他们的应用程序的问题,子模块的目标函数$f$。由于许多实际问题具有非子模块性$f$,因此迫切需要设计新的技术来约束非子模块性情况下的贪心算法的性能。我们的主要贡献是引入了一种新的技术,用于估计的贪心算法的最大化单调非减函数的曲率的基础上,$f$不依赖于子模块约束的近似比。我们表明,这种技术减少到经典的$(1 - 1/e)$比率的次模函数。此外,我们开发了一个扩展的自适应贪心算法,它允许应用到非次模随机最大化问题的比率。这显著地扩展了对具有不确定性的不完整数据建模的应用程序的支持。
2018-01-12 cs.DM cs.DS
Practical $0.385$-Approximation for Submodular Maximization Subject to a Cardinality Constraint
DataHeroes Israel(DataHeroes以色列公司);University of Haifa(海法大学)
针对基数约束下的非单调子模最大化,提出一种结合$0.385$近似保证与$O(n+k^2)$低查询复杂度的实用算法,并在多个机器学习应用中验证其有效性。
2024-05-22 cs.DM cs.DS cs.LG
Using Partial Monotonicity in Submodular Maximization
University of Haifa(海法大学)
在过去的二十年里,次模函数最大化一直是机器学习应用中许多离散优化问题的主力。传统上,子模函数的研究是基于二元函数的性质。然而,这样的属性有一个继承的弱点,即,如果一个算法假设函数具有特定的属性,那么它不会为违反此属性的函数提供保证,即使违反非常轻微。因此,最近的工作开始考虑连续版本的函数属性。其中最重要的(到目前为止)可能是子模比和曲率,它们被广泛地一起和单独研究。集函数的单调性在次模极大化中起着核心作用。然而,尽管有上述所有工作,迄今为止(据我们所知)还没有提出这个属性的连续版本。这是不幸的,因为几乎单调的子模函数经常出现在机器学习应用中。在这项工作中,我们填补了这一空白,定义的单调性比,这是一个连续版本的单调性属性。然后,我们表明,对于许多标准的子模最大化算法,可以证明新的近似保证,依赖于单调性比,从而提高近似比的电影推荐,二次规划和图像摘要的常见机器学习应用。
2022-05-17 cs.DS cs.LG math.OC
Streaming Algorithms for Submodular Function Maximization
我们考虑的问题最大化的非负子模集函数$f:2^{\mathcal{N}} \rightarrow \mathbb{R}^+$受$p$ -matchoid约束的单通道流设置。以前的工作在这方面已经考虑了流算法的模块化功能和单调的子模块化功能。主要结果是对子模函数是{ \em非单调}。我们描述了确定性和随机算法,获得一个$Ω(\frac{1}{p})$ -近似使用$O(k \log k)$ -空间,其中$k$是所需的集的基数上界。该模型假设值预言机访问$f$和成员资格预言机的拟阵定义的$p$ -matchoid约束。
2015-04-29 cs.DS