Black Box Submodular Maximization: Discrete and Continuous Settings
Yale Institute for Network Science(耶鲁网络科学研究所);Yale University(耶鲁大学);University of Pennsylvania(宾夕法尼亚大学)
在本文中,我们考虑黑盒连续次模最大化问题,我们只能访问的功能值,没有信息的导数提供。对于单调和连续的DR-子模函数,并受到有界凸体约束,我们提出了黑盒连续贪婪,一个导数免费的算法,可证明实现了紧$[(1-1/e)OPT-ε]$近似保证与$O(d/ε^3)$功能评价。然后,我们将我们的结果扩展到随机设置的函数值受到随机零均值噪声。正是通过这种随机推广,我们重新审视离散次模最大化问题,并使用多线性扩展作为离散和连续设置之间的桥梁。最后,我们广泛评估我们的算法的性能,连续和离散submodular目标函数使用合成和真实数据。
2020-03-01 cs.DS cs.LG math.OC
Randomized Algorithms for Monotone Submodular Function Maximization on the Integer Lattice
University of Padova(帕多瓦大学);Czech Technical University in Prague(布拉格捷克理工大学)
具有集合次模目标函数的优化问题有许多实际应用。在离散的情况下,同一个项目可以被选择一次以上,该域从一个2元集一般化到一个有界整数格。在这篇文章中,我们考虑了基数约束下有界整数格上单调子模函数的最大化问题。特别是,我们专注于最大化DR-子模函数,即,定义在整数格上的函数,这些函数表现出收益递减特性。对于任意的n> 0,我们给出了一个概率保证为O的随机算法(1 - 1/e -ε)近似,使用由Mirzasoleiman等人为集合次模函数开发的随机贪心算法启发的框架。然后,我们表明,在合成DR-次模函数上,将我们提出的算法应用于整数格上比替代方案更快,包括将目标问题简化到集合域,然后应用最快的已知集合子模最大化算法。
2021-11-19 cs.AI cs.DS cs.LG
Using Partial Monotonicity in Submodular Maximization
University of Haifa(海法大学)
在过去的二十年里,次模函数最大化一直是机器学习应用中许多离散优化问题的主力。传统上,子模函数的研究是基于二元函数的性质。然而,这样的属性有一个继承的弱点,即,如果一个算法假设函数具有特定的属性,那么它不会为违反此属性的函数提供保证,即使违反非常轻微。因此,最近的工作开始考虑连续版本的函数属性。其中最重要的(到目前为止)可能是子模比和曲率,它们被广泛地一起和单独研究。集函数的单调性在次模极大化中起着核心作用。然而,尽管有上述所有工作,迄今为止(据我们所知)还没有提出这个属性的连续版本。这是不幸的,因为几乎单调的子模函数经常出现在机器学习应用中。在这项工作中,我们填补了这一空白,定义的单调性比,这是一个连续版本的单调性属性。然后,我们表明,对于许多标准的子模最大化算法,可以证明新的近似保证,依赖于单调性比,从而提高近似比的电影推荐,二次规划和图像摘要的常见机器学习应用。
2022-05-17 cs.DS cs.LG math.OC
Group Equality in Adaptive Submodular Maximization
Naveen Jindal School of Management, The University of Texas at Dallas(德克萨斯大学达拉斯分校纳文·金德尔管理学院);Department of Computer Science and Engineering, The University of North Texas(北德克萨斯大学计算机科学与工程系)
针对受组平等性约束的子模最大化问题,提出首个常数因子近似算法,并扩展至自适应设置、全局基数约束及其他公平性概念。
2023-08-29 cs.DS cs.LG
A Note On Deterministic Submodular Maximization With Bounded Curvature
The Ohio State University(俄亥俄州立大学)
本文基于 Buchbinder 和 Feldman 在 FOCS'24 的突破性结果,提出一种确定性的 $(1-κ_{f}/e-\varepsilon)$-近似算法,用于拟阵约束下曲率为 $κ_{f}$ 的子模最大化问题。
2024-08-25 cs.DS cs.LG
Unconstrained Submodular Maximization with Constant Adaptive Complexity
Yale Institute for Network Science, Yale University(耶鲁大学耶鲁网络科学研究所);The Open University of Israel(以色列开放大学)
本文研究了无约束次模极大化问题。我们提出了这个问题,实现了紧密的$(1/2-\varepsilon)$近似保证使用$\tilde{O}(\varepsilon^{-1})$自适应轮和线性数量的函数评估的第一个算法。对于这个问题,没有先前已知的算法使用少于$Ω(n)$轮的自适应性来实现比$1/3$更好的近似比,其中$n$是基集的大小。此外,我们的算法很容易扩展到最大化的非负连续DR-子模函数的框约束,并实现了紧密的$(1/2-\varepsilon)$近似保证这个问题,同时保持相同的自适应和查询的复杂性。
2018-11-19 cs.DS cs.LG
Non-Smooth, Hölder-Smooth, and Robust Submodular Maximization
本文研究非光滑连续 DR-子模最大化,分别用连续贪心与 mirror-prox 给出 Hölder 光滑和非光滑情形的近似保证,并应用于鲁棒及 Wasserstein 分布鲁棒优化。
2023-09-28 cs.DS math.OC
Differentially Private Decomposable Submodular Maximization
Khoury College of Computer Sciences, Northeastern University(东北大学胡里计算机科学学院)
研究了可分解子模函数的微分私有约束最大化问题。一个子模函数是可分解的,如果它采取子模函数之和的形式。在基数约束下最大化单调可分解子模函数的特殊情况被称为组合公共项目(CPP)问题[Papadimitriou等人,2008年]。Gupta等人的先前工作。[2010]给出了CPP问题的差分私有算法。我们扩展这项工作的设计差分私人算法的单调和非单调可分解的子模最大化一般拟阵的约束下,具有竞争力的效用保证。我们补充我们的理论界限与实验证明经验的性能,这提高了在一般情况下的子模块最大化的差分私有算法,并接近非私有算法的性能。
2020-05-29 cs.CR cs.DS cs.LG
Continuous Submodular Maximization: Beyond DR-Submodularity
University of Haifa(海法大学);Yale University(耶鲁大学)
在本文中,我们提出了第一个连续优化算法,实现了常数因子近似保证问题的单调连续子模最大化的线性约束。我们首先证明了一个简单的变种香草坐标上升,称为Coordinate-Ascent+,实现了$(\frac{e-1}{2e-1}-\varepsilon)$ -近似保证,同时执行$O(n/\varepsilon)$迭代,其中每次迭代的计算复杂性大致为$O(n/\sqrt{\varepsilon}+n\log n)$(在这里,$n$表示优化问题的维度)。然后,我们提出了Coordinate-Ascent++,它实现了严格的$(1-1/e-\varepsilon)$近似保证,同时执行相同数量的迭代,但在一个更高的计算复杂性,大约$O(n^3/\varepsilon^{2.5} + n^3 \log n / \varepsilon^2)$每次迭代。然而,每轮Coordinate-Ascent++的计算可以很容易地并行化,使得每台机器的计算成本按$O(n/\sqrt{\varepsilon}+n\log n)$缩放。
2020-06-21 cs.DS cs.LG
Derandomization for k-submodular maximization
子模性是组合优化的重要性质之一,$k$ -子模性是子模性的推广。$k$ -次模函数的极大化是NP难的,研究了近似算法.对于单调$k$ -次模函数,[Iwata,Tanigawa,and Yoshida 2016]给出了$k/(2k-1)$ -近似算法。本文通过对该算法的去随机化,给出了一个确定性算法。去随机化方案来自[Buchbinder and Feldman 2016]。我们的算法是$k/(2k-1)$ -近似和多项式时间算法。
2017-02-15 cs.DS
Guarantees for Greedy Maximization of Non-submodular Functions with Applications
ETH Zurich(苏黎世联邦理工学院)
研究了非次模非减集函数基数约束最大化问题的标准贪心算法的性能。虽然有很强的理论保证贪婪的性能最大化次模函数,有几个保证非次模的。然而,Greedy对于许多重要的非次模函数具有很强的经验性能,例如,实验设计中贝叶斯A-最优性目标。我们证明了支持实证性能的理论保证。我们的保证的特征在于(广义)曲率$α$和子模块比$γ$的组合。特别是,我们证明了贪婪享有紧逼近保证$\frac{1}α(1- e^{-γα})$基数约束最大化。此外,我们绑定的子模块比和曲率的几个重要的现实世界的目标,包括贝叶斯A-最优目标,一个正方形子矩阵的行列式函数和某些线性规划的组合约束。我们的实验验证了我们的理论研究结果的合成和现实世界的应用。
2019-05-14 cs.AI cs.DM cs.DS
Online Two-Stage Submodular Maximization
Boston University(波士顿大学);EPFL(苏黎世联邦理工学院);Northeastern University(东北大学)
针对在线两阶段子模最大化问题,提出算法在一般拟阵和均匀拟阵下分别达到亚线性遗憾界,并在真实数据上验证性能。
2025-10-22 cs.DS cs.LG
Differentiable Greedy Submodular Maximization: Guarantees, Gradient Estimators, and Applications
Graduate School of Information Sciences and Technology(信息科学与技术研究生院);The University of Tokyo(东京大学)
例如,随着灵敏度分析和端到端学习的发展,对可微优化算法的需求显著增加。在本文中,我们建立了一个理论上有保证的通用框架,使单调子模函数最大化的贪心算法可微。我们通过随机化对贪心算法进行了光滑化,并证明了在基数和$κ$ -可扩展系统约束的情况下,它几乎可以在期望中恢复原始的近似保证。我们还展示了如何有效地计算任何预期的输出相关量的无偏梯度估计。我们证明了我们的框架的实用性,通过实例化它的各种应用程序。
2020-06-12 cs.DS cs.LG
Guaranteed Non-convex Optimization: Submodular Maximization over Continuous Domains
ETH Zurich(苏黎世联邦理工学院)
次模连续函数是一类(一般)非凸/非凹函数,具有广泛的应用。我们描述这些功能,并证明他们可以有效地近似保证最大化。具体地说,i)我们引入了弱DR性质,给出了所有集合、整数格和连续函数的次模性的统一刻画; ii)对于一般下闭凸约束下的单调DR-次模连续函数,我们提出了一个具有$(1-1/e)$逼近保证和次线性收敛速度的Frank-Wolfe变式;(3)对于一般非单调子模连续函数的最大化问题,我们提出了一个具有$1/3$逼近保证的DoubleGreedy算法.子模块连续函数自然地找到应用程序在各种现实世界中的设置,包括影响力和收入最大化与连续分配,传感器能源管理,多分辨率数据汇总,设施位置等实验结果表明,所提出的算法有效地产生优越的解决方案相比,基线算法。
2019-05-06 cs.DS cs.LG
A Parallel Double Greedy Algorithm for Submodular Maximization
Boston University(波士顿大学);Northeastern University(东北大学)
研究了极大化非负次模函数问题的并行算法。我们的主要结果是一个算法,实现了接近最佳的$1/2 -ε$近似使用$O(\log(1/ε) / ε)$并行轮的功能评估。我们的算法是基于一个连续的双贪心算法的Buchbinder等人。实现最佳的$1/2$近似的顺序设置。我们的算法更普遍地适用于最大化连续递减收益(DR)函数的问题。
2018-12-04 cs.DS cs.LG
Optimal Algorithms for Continuous Non-monotone Submodular and DR-Submodular Maximization
Stanford University(斯坦福大学)
在本文中,我们研究了极大化超立方体上的连续非单调子模函数的基本问题,包括有和没有坐标方向的限制。这类优化问题在机器学习、经济学和通信系统中有几个应用。我们的主要结果是第一个$\frac{1}{2}$ -近似算法连续次模函数最大化,这个近似因子的$\frac{1}{2}$是最好的算法,只查询目标函数在多项式多点。对于DR-次模最大化的特殊情况,即当次模函数沿所有坐标也是坐标方向凹时,我们提供了一个不同的$\frac{1}{2}$ -近似算法,它在准线性时间内运行。这两个结果都改进了先前的工作[Bian et al,2017,Soma and Yoshida,2017]。我们的第一个算法使用了新的想法,如减少保证近似问题,以分析每个坐标的零和游戏,并结合了这个零和游戏的几何形状,以固定在这个坐标的值。我们的第二个算法利用坐标明智的搜索,以确定一个单调的平衡条件足以得到所需的近似保证,并使用二进制搜索的平衡点狩猎。我们进一步运行实验来验证我们提出的算法在相关机器学习应用中的性能。
2018-05-24 cs.DS cs.GT cs.LG
The Power of Randomization: Efficient and Effective Algorithms for Constrained Submodular Maximization
子模块优化有许多应用,如众包和病毒式营销。本文研究了$k$ -系统约束下非负次模函数最大化的基本问题,该约束推广了次模优化中的基数约束、拟阵约束和$k$ -可扩系统约束.针对这个问题的现有方法基于确定性算法框架实现了$k+2\sqrt{k+2}+3$(对于一般子模块函数)的最佳近似比。我们提出了几个随机算法,提高了国家的最先进的算法的近似比和时间复杂度,无论是在非自适应设置和自适应设置。在数据采掘和社会计算的几个应用程序中,我们的算法的经验性能进行了广泛的评估,实验结果表明,我们的算法在实用性和效率方面的优势。
2021-06-15 cs.DS math.OC
Weakly Submodular Function Maximization Using Local Submodularity Ratio
弱次模是报酬递减性质的一种自然松弛,与次模等价。弱子模性已经被用来证明,许多在实践中出现的(单调)函数可以有效地最大化与可证明的保证。在这项工作中,我们介绍了两个自然推广的弱次模的非单调函数。我们表明,一个有效的随机贪心算法具有可证明的近似保证最大化这些功能的基数约束。然后,我们提供了更精确的分析,该分析考虑到弱子模块性参数可能会在算法执行过程中发生变化(有时会改善)。这导致在某些设置中改进的近似保证。我们提供应用程序的单调和非单调最大化问题的结果。
2020-09-23 cs.DS
Fairness in Streaming Submodular Maximization: Algorithms and Hardness
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Google Zurich(谷歌苏黎世);EPFL(洛桑联邦理工学院);Microsoft Research(微软研究院)
子模块最大化已成为选择具有代表性和多样性的数据摘要的任务的选择方法。然而,如果数据点具有敏感的属性,如性别或年龄,这种机器学习算法,如果不加以检查,就会表现出偏见:特定群体的代表性不足或过度。这使得公平的机器学习算法的设计变得越来越重要。在这项工作中,我们解决了一个问题:是否有可能为大规模数据集创建公平的摘要?为此,我们开发的第一个流近似算法子模最大化公平性约束下,单调和非单调函数。我们在基于范例的聚类、电影推荐、基于DPP的摘要和社交网络中的最大覆盖率方面实证验证了我们的发现,表明公平性约束不会显着影响效用。
2020-10-18 cs.DS cs.LG
Curvature Beyond Positivity: Greedy Guarantees for Arbitrary Submodular Functions
Department of Computer Science & Engineering, Texas A&M University(计算机科学与工程系,德克萨斯大学阿姆斯特朗分校)
本文提出曲率概念,用于处理非单调性和负值问题,通过贪心算法实现任意子模函数的乘法比,扩展了经典理论。
2026-05-08 cs.DS cs.LG
Practical Parallel Algorithms for Non-Monotone Submodular Maximization
School of Computer Science and Technology(计算机科学与技术学院);Soochow University(苏州大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学);Alibaba Group(阿里巴巴集团);Qingdao University of Science and Technology(青岛科技大学)
针对背包与 k-系统约束下的非单调子模最大化,论文提出低自适应复杂度的并行组合算法,给出可证明近似保证并经实验验证有效。
2024-12-03 cs.DS cs.LG
Streaming Algorithms for News and Scientific Literature Recommendation: Submodular Maximization with a d-Knapsack Constraint
Texas A&M University(德克萨斯A&M大学)
次模极大化问题属于组合优化问题族,有着广泛的应用。在本文中,我们专注于最大化单调子模函数的问题受到$d$ -背包约束,为此,我们提出了一个流算法,实现了$\left(\frac{1}{1+2d}-ε\right)$ -近似的最优值,而它只需要一个单一的通过数据集,而不存储在内存中的所有数据。在我们的实验中,我们广泛评估我们提出的算法的有效性,通过两个应用程序:新闻推荐和科学文献推荐。据观察,所提出的流算法实现了执行加速和内存节省了几个数量级,与现有的方法相比。
2016-07-05 cs.DS cs.LG
Dynamic Non-monotone Submodular Maximization
University of Maryland(马里兰大学);TU Eindhoven(埃因霍温理工大学)
该研究通过将基数约束下非单调子模最大化归约为单调子模最大化,给出首个该问题的动态算法,实现(8+ε)近似,并在真实数据集验证了其在视频摘要等任务中的有效性。
2023-11-07 cs.DS cs.LG
On maximizing a monotone k-submodular function subject to a matroid constraint
$k$ -次模函数是次模函数的扩展,因为其输入由$k$不相交子集而不是单个子集给出。对于无约束的非负$k$ -次模极大化问题,Ward和Yakiivnikov提出了一个常数因子近似算法,Iwata,Tanigawa和Yoshida最近提出了一个$1/2$ -近似算法。Iwata等人也给出了单调$k$ -次模最大化的一个$k/(2k-1)$ -近似算法,并证明了它的近似比是渐近紧的.最近,Ohnik和Yoshida提出了单调$k$的常数因子算法-具有几个大小约束的子模最大化。然而,虽然子模最大化与各种约束已被广泛研究,没有近似算法已开发的约束$k$ -子模最大化,除了大小约束的情况下。在本文中,我们证明了一个贪心算法输出的$1/2$ -近似解单调$k$ -子模极大化与拟阵约束。该算法在$O(M|E|(\text{MO} + k\text{EO}))$时间内运行,其中$M$是极大最优解的大小,$|E|$是基集的大小,$\text{MO}, \text{EO}$分别表示拟阵的成员预言和$k$ -子模函数的求值预言的时间.
2016-08-22 cs.DM cs.DS math.OC
Balancing Utility and Fairness in Submodular Maximization (Technical Report)
East China Normal University(华东师范大学);Singapore Management University(新加坡管理大学);CENTAI Institute(CENTAI研究所);Eurecat(Eurecat技术中心)
针对子模最大化中效用与公平性难以兼顾的问题,提出双准则子模最大化(BSM)问题,并设计两种实例相关近似算法,在最大覆盖、影响力最大化和设施选址中验证了有效性。
2023-06-19 cs.DS cs.LG
Efficient algorithms for robust submodular maximization under matroid constraints
Georgia Institute of Technology(佐治亚理工学院)
在这项工作中,我们考虑鲁棒次模最大化与拟阵约束。我们给出了一个有效的双准则近似算法,输出一个小家庭的可行集,其工会有(近)最佳的目标值。该算法理论上执行的函数调用比以前的作品在成本上添加更多的元素到最终的解决方案。我们还提供了显着的实现改进,表明我们的算法优于现有文献中的算法。最后,我们评估我们的贡献在三个现实世界中的应用程序的性能。
2018-07-25 cs.DM cs.DS cs.LG
Submodular Maximization Subject to Uniform and Partition Matroids: From Theory to Practical Applications and Distributed Solutions
本文系统研究受均匀与划分拟阵约束的子模最大化问题,重点分析顺序贪心算法及其有效性,并扩展到分布式优化场景,为理论与实际应用搭建桥梁。
2025-01-02 cs.DS
Submodular Maximization by Simulated Annealing
我们考虑最大化一个非负(可能非单调)的子模集函数的问题,有或没有约束。Feige等人[FOCS'07]证明了无约束问题的2/5近似,并证明了在值预言模型中不可能有比1/2更好的近似。对于子模最大化受拟阵独立约束(因子为0.309 Vondrak [FOCS'09])和子模最大化受拟阵基约束,也给出了常数因子近似,前提是分数基包装数至少为2(1/4近似,Vondrak [FOCS'09])。本文基于{ \em模拟退火}的思想,提出了一种新的子模最大化算法。我们证明了该算法实现了两个问题的改进近似:0.41近似无约束的子模最大化,和0.325近似子模最大化受到拟阵独立约束。在硬度方面,我们表明,在价值预言模型是不可能实现0.478近似submodular最大化的拟阵独立约束,或0.394近似拟阵基地约束的拟阵有两个不相交的基地。即使在基数约束的特殊情况下,我们证明了它是不可能达到0.491-近似。(以前可以想象,这些问题存在1/2近似。对于无约束的子模极大化问题,1/2近似是否可能仍然是一个悬而未决的问题。
2010-07-09 cs.DS
Non-monotone DR-submodular Maximization: Approximation and Regret Guarantees
Sorbonne Université(索邦大学);Univ Évry, Université Paris-Saclay(埃夫里大学,巴黎-萨克雷大学)
子模优化是一个重要的研究领域,在机器学习、经济学和通信系统中有着广泛的应用。它捕获了非凸优化的一个子类,提供了实践和理论上的保证。本文研究了下闭和一般凸集上非单调DR-次模函数的最大化问题。首先,我们表明,离线最大化非单调DR-次模函数在一般的凸集上,Frank-Wolfe算法实现的近似保证依赖于凸集。其次,我们证明了随机梯度上升算法实现了1/4的近似比与遗憾的$O(1/\sqrt{T})$的最大化问题的非单调DR-子模函数的下闭凸集。这些是相应设置中的第一近似保证。最后,我们基准这些算法在机器学习领域与现实世界的数据集出现的问题。
2019-05-23 cs.DS cs.LG math.OC
Profit Maximization in Social Networks and Non-monotone DR-submodular Maximization
本文研究了整数格上非单调DR-子模函数极大化问题。定义了整数格上的函数的次模性质,类似于集合函数的次模性。DR-次模是整数格上函数的进一步扩展的次模概念,它捕获了收益递减性质。这样的函数在机器学习、社交网络、无线网络等中有许多应用。用于子模集函数最大化的技术可以应用于DR-子模函数最大化,例如,双贪心算法具有$1/2$ -近似比,其运行时间为$O(nB)$,其中$n$是基集的大小,$B$是坐标的整数界。在我们的研究中,我们设计了一个$1/2$ -近似二分搜索双贪心算法,我们证明了它的时间复杂度为$O(n\log B)$,显著提高了运行时间。具体地,我们考虑了它在社交网络中的应用,该问题是一个二部模型,目标是最大化产品促销活动的净利润,即影响力收益与促销成本之差。我们证明了目标函数是整数格上的DR-子模。将二分查找双贪心算法应用于该问题,并验证了其有效性。
2022-12-13 cs.DS cs.SI
Batch greedy maximization of non-submodular functions: Guarantees and applications to experimental design
Massachusetts Institute of Technology(麻省理工学院)
提出并分析了非子模非减集函数基数约束最大化问题的批量贪婪算法。我们考虑标准的贪婪范式,以及它的分布式贪婪和随机贪婪的变种。我们的理论保证的特点是子模块化和超模块化比率的组合。我们认为,这些参数如何定义紧模块化边界的增量增益的基础上,并提供了一种新的重新解释的经典贪婪算法使用minorize-maximum(MM)的原则。基于这种类比,我们提出了一类新的方法,利用任何合理的模块化界限。在线性贝叶斯逆问题的最优试验设计中,当目标函数是基于互信息时,我们定义了子模块度和超模块度的比值.我们还开发了新的模块化界限的互信息在这种情况下,并描述了某些连接到多面体组合。我们讨论如何使用这些模块化的界限算法与建立的统计概念,如杠杆分数和最近的努力,如体积采样。我们展示了我们的理论研究结果的合成问题和现实世界的气候监测的例子。
2021-08-10 cs.DM cs.DS cs.LG
Submodular Maximization over Sliding Windows
在本文中,我们研究的数据流模型中的子模块最大化形式的代表元素的提取。与以往的流次模最大化问题不同,我们只对最近的数据感兴趣,并研究了滑动窗口上的最大化问题。我们提供了一个一般的减少从滑动窗口模型的标准流模型,因此我们的方法适用于一般的约束条件,只要有一个相应的流算法在标准流模型。因此,我们得到的第一个算法在滑动窗口模型的基数和拟阵约束下的单调/非单调子模函数最大化。我们还提出了几种算法,并在现实世界的数据集上显示了它们的效率。
2016-11-01 cs.DS
Fast Maximization of Non-Submodular, Monotonic Functions on the Integer Lattice
整数格上次模函数的优化问题近年来受到广泛关注,但许多应用的目标函数都是非次模的。我们提供了两个近似算法最大化的整数格的基数约束的非子模函数,这些是第一个算法,用于此目的,具有多项式查询的复杂性。我们提出了一个一般的框架,影响力最大化的整数格,概括了以前的作品在这个主题上,我们证明了我们的算法在这种情况下的效率。
2018-05-17 cs.DS
Data Summarization beyond Monotonicity: Non-monotone Two-Stage Submodular Maximization
Naveen Jindal School of Management, The University of Texas at Dallas(德克萨斯大学达拉斯分校纳文·金达尔管理学院)
针对两阶段子模最大化中现有方法依赖单调性假设的局限,本文将其扩展到非单调子模函数,并提出首批常数因子近似算法。
2023-11-02 cs.AI cs.DS cs.LG
Fairness in Monotone $k$-submodular Maximization: Algorithms and Applications
Iowa State University(爱荷华州立大学)
本文首次将公平性引入单调 $k$-子模最大化,提出贪心与阈值算法,分别实现 $\frac{1}{3}$ 和 $(\frac{1}{3}-ε)$ 近似,并通过案例验证公平约束对解质量影响甚微。
2024-11-08 cs.DS cs.LG
Online and Streaming Algorithms for Constrained $k$-Submodular Maximization
Boston University(波士顿大学);Northeastern University(东北大学)
本文针对基数约束和背包约束下的单调与非单调 k-子模最大化问题,提出了具有常数因子近似保证的单遍流式和在线组合算法,在近似比、空间和运行时间上均达到最优,并在广告分配等应用中验证了其高效性和可扩展性。
2023-05-25 cs.DS cs.LG
Fast and Private Submodular and $k$-Submodular Functions Maximization with Matroid Constraints
Simon Fraser University(西蒙菲莎大学);National Institute of Informatics(信息科学研究所)
在过去的十年中,极大化非负单调次模函数的问题得到了广泛的研究,并提出了一系列有效的近似算法。许多机器学习问题,包括数据摘要和影响力最大化,可以很自然地建模为最大化单调子模函数的问题。然而,当此类应用程序涉及有关个人的敏感数据时,应解决其隐私问题。本文在差分隐私框架下研究了拟阵约束下的单调次模函数的最大化问题。我们提供了$(1-\frac{1}{\mathrm{e}})$ -近似算法,它改进了以前的结果在近似保证。在我们的算法中,这几乎是用立方数量的函数求值来完成的。此外,我们研究了$k$ -子模块性,子模块性的一个自然推广。我们给第一个$\frac{1}{2}$近似算法,保持差分隐私最大化单调$k$ -子模函数拟阵约束。近似比是渐近紧的,并获得了几乎线性数量的功能评估。
2020-06-28 cs.CR cs.DM cs.DS
Structured Robust Submodular Maximization: Offline and Online Algorithms
约束次模函数最大化已被用于子集选择问题,如选择最翔实的传感器位置。虽然这些模型已经相当流行,解决方案约束次模函数最大化已被用于子集选择问题,如选择最多信息的传感器位置。虽然这些模型已经相当流行,通过这种方法获得的解决方案是不稳定的数据定义的子模函数的扰动。鲁棒子模块最大化已被提出作为一个更丰富的模型,旨在克服这种差异,以及增加建模范围的子模块优化。在这项工作中,我们考虑了结构化组合约束下的鲁棒次模极大化问题,并给出了具有可证明保证的有效算法。我们的方法适用于由单个或多个拟阵,背包以及分布鲁棒性标准定义的约束。我们既考虑了离线设置,其中定义问题的数据是预先已知的,也考虑了在线设置,其中输入数据随着时间的推移而被揭示。对于离线设置,我们给出了一个一般的(近)最佳的双标准近似算法,依赖于新的扩展的经典算法子模最大化。对于在线版本的问题,我们给出了一个算法,返回一个双标准的解决方案与次线性遗憾。
2020-10-13 cs.DS
Deletion-Robust Submodular Maximization at Scale
Yale University(耶鲁大学);Google Research(谷歌研究院)
我们能否有效地从用户生成的大型数据集中提取有用的信息,同时保护用户的隐私和/或确保表示的公平性?我们把这个问题作为一个删除鲁棒子模块最大化的实例,其中部分数据可能会被删除,由于隐私问题或公平标准。我们提出了第一个内存高效的集中式,流式和分布式方法,具有恒定因子近似保证,可以防止任何数量的对抗性删除。我们广泛地评估了我们的算法对现有技术在现实世界中的应用,包括(i)位置隐私约束的Uber拾取位置;(ii)收入预测和犯罪率预测的公平约束的特征选择;(iii)对人口普查数据的删除摘要具有鲁棒性,由2,458,285个特征向量组成。
2017-11-21 cs.DS cs.LG
Do Less, Get More: Streaming Submodular Maximization with Subsampling
Open University of Israel(以色列开放大学);Yale University(耶鲁大学)
在本文中,我们开发了第一个单程流算法子模块最大化,不评估整个流,甚至一次。通过仔细地对数据流的每个元素进行子采样,我们的算法在各种设置中享有最严格的近似保证,同时具有最小的内存占用和最少的函数求值次数。更具体地说,对于单调子模函数和$p$ -拟阵约束,我们的随机算法实现了$4p$近似比(预期)与$O(k)$内存和每个元素的$O(km/p)$查询($k$是最大可行解的大小和$m$是用于定义约束的拟阵的数量)。对于非单调的情况下,我们的近似比仅略微增加到$4p+2-o(1)$。据我们所知,我们的算法是第一个以一种新颖的方式结合流和子采样的优点,以便真正将子模块最大化扩展到大规模机器学习问题。为了展示其实用性,我们经验性地评估了我们的算法在视频摘要应用程序上的性能,并观察到它比最先进的算法性能高出50倍,同时保持几乎相同的实用性。
2018-02-20 cs.DS cs.LG
Improved randomized algorithm for $k$-submodular function maximization
子模性是组合优化中最重要的性质之一,$k$ -子模性是子模性的推广。$k$ -次模函数的最大化需要指数数量的值Oracle查询,并且已经研究了近似算法。对于无约束$k$ -次模极大化,Iwata等人给出了单调函数的随机$k/(2k-1)$ -近似算法和非单调函数的随机$1/2$ -近似算法.本文给出了非单调函数的改进随机算法。我们的算法给出了$k\geq 3$的$\frac{k^2+1}{2k^2+1}$ -逼近。我们还给出了$k=3$的随机$\frac{\sqrt{17}-3}{2}$ -近似算法。我们使用岩田等人和Ward和Wavennovich中使用的相同框架,但概率不同。
2019-07-27 cs.DM cs.DS
Deterministic (1/2 + ε)-Approximation for Submodular Maximization over a Matroid
研究了拟阵约束下的单调次模函数的极大化问题,给出了一个确定性算法,该算法实现了对该问题的(1/2 + ε)-逼近.该算法是第一个已知的确定性算法,以改善1/2近似比的经典贪心算法证明Nemhauser,Wolsely和Fisher在1978年。
2018-07-15 cs.DS
Instance Specific Approximations for Submodular Maximization
Columbia University(哥伦比亚大学);Harvard University(哈佛大学)
对于机器学习中的许多优化问题,找到最优解在计算上是困难的,我们寻求在实践中表现良好的算法。由于计算的棘手性往往导致病态的情况下,我们寻找的方法来基准的算法对现实世界中的实例的最佳解决方案的性能。主要的挑战是,对于棘手的问题,无法有效地计算出最优解,因此我们通常不知道解决方案离最优解有多远。因此,一个主要的问题是如何衡量一个算法的性能相比,我们在实践中遇到的情况下的最佳解决方案。在本文中,我们解决这个问题的上下文中的子模块优化问题。对于基数约束下的次模最大化的规范问题,很难计算出比最优解的$1-1/e \approx 0.63$分数更好的解。像著名的贪心算法这样的算法保证在任何实例上都能达到这个$1-1/e$界限,并在实践中使用。我们的主要贡献是不是一个新的算法submodular最大化,但分析方法,衡量如何接近submodular最大化算法是最优的一个给定的问题实例。我们使用这种方法表明,在各种各样的现实世界的数据集和目标,贪婪找到的解决方案的近似远远超过$1-1/e$,往往是至少0.95。我们开发这种方法使用一种新的技术,下界的目标的对偶最小化问题,以获得一个最优解的原始最大化问题的值的上限。
2021-02-23 cs.DS cs.LG
Deterministic Algorithms for Submodular Maximization Problems
随机化是在计算机科学的许多理论和实践领域中使用的基本工具。我们在这里研究的作用,随机化在该地区的次模函数最大化。在这个领域中,大多数算法是随机的,并且在几乎所有情况下,由当前随机算法获得的近似比优于由已知的确定性算法获得的最佳结果。一般次模函数最大化算法的去随机化似乎很难,因为对函数的访问是通过值预言完成的。例如,这使得应用标准的去随机化技术(如条件期望)变得困难。因此,在这一领域的一个有趣的基本问题是随机化是否本质上是必要的,以获得良好的近似比。在这项工作中,我们给出的证据表明,随机化是没有必要获得良好的算法,提出了一种新的技术去随机化的子模函数最大化的算法。我们的高层次的想法是保持明确的(小)分布在算法的状态,并仔细更新它使用的边缘值从一个合适的线性公式的极值点解决方案。我们在无约束子模最大化和最大化受基数约束的子模函数的两个最新算法上展示了我们的技术。特别是,对于无约束的子模最大化,我们得到了一个最佳的确定性$1/2$ -近似随机化是不必要的,以获得最佳的结果,这种设置。
2015-08-10 cs.DS
A Threshold Greedy Algorithm for Noisy Submodular Maximization
针对噪声查询下的次模最大化,本文提出自适应阈值采样子程序,并据此设计基数、拟阵约束及无约束情形的样本高效算法,逼近值预言机近似保证且经实验验证。
2024-04-09 cs.DS
Group Fairness in Non-monotone Submodular Maximization
University of North Texas(北德克萨斯大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
最大化子模函数在机器学习和数据采掘中有着广泛的应用。一个这样的应用程序是数据汇总,其目标是从一个大的数据集中选择一小组有代表性的和不同的数据项。但是,数据项可能具有敏感属性,如种族或性别,在这种情况下,设计\emph{fairness-aware}算法以减轻可能导致特定组的过度或不足表示的潜在算法偏见非常重要。受此启发,我们提出并研究了经典的非单调子模最大化问题,新的组公平性约束。我们的目标是选择一组最大化非单调子模块函数的项目,同时确保从每个组中选择的项目的数量与其大小成比例,到决策者指定的程度。我们开发了第一个常数因子的近似算法为这个问题。我们还扩展了基本模型,将一个额外的全局大小约束的选定项目的总数。
2023-03-09 cs.DS cs.LG
Non-monotone Sequential Submodular Maximization
Naveen Jindal School of Management, The University of Texas at Dallas(德克萨斯大学达拉斯分校纳文·金德尔管理学院);Department of Computer Science and Engineering, The University of North Texas(北得克萨斯大学计算机科学与工程系)
本文率先研究非单调子模函数下的序列子模最大化问题,针对不同长度约束及效用函数相同的特殊情况给出有效解法,经视频推荐场景验证有效,可为推荐系统等领域提供参考。
2023-12-12 cs.DS cs.LG
Fast algorithms for k-submodular maximization subject to a matroid constraint
Shandong Normal University(山东师范大学)
本文提出阈值递减算法,在拟阵约束下最大化k-子模函数,以较小近似比损失降低查询复杂度,分别给出单调与非单调情形的近似算法及复杂度分析,并推广到总规模约束。
2023-07-26 cs.DS cs.LG
Constrained Submodular Maximization: Beyond 1/e
在这项工作中,我们提出了一个新的算法最大化的非单调子模函数的一般约束。我们的算法找到了一个近似的分数的解决方案,最大化的多线性扩展的功能在一个下封闭的多面体。近似保证值为0.372,这是对统一连续贪心算法[Feldman等人,FOCS 2011]。
2016-08-11 cs.DS
Fairness in Submodular Maximization over a Matroid Constraint
Samsung - SAIT AI Lab(三星-三星先进技术研究院人工智能实验室);Microsoft Research(微软研究院);Google(谷歌);Stanford University(斯坦福大学)
本文针对拟阵约束下的子模最大化问题,提出多种算法和不可能性结果,在质量、公平性和通用性之间提供权衡,填补了非流式设置及非单调目标的空白。
2023-12-21 cs.CY cs.DM cs.DS
Partial-Monotone Adaptive Submodular Maximization
University of Texas at Dallas(德克萨斯大学达拉斯分校);University of North Texas(北德克萨斯大学)
许多序列决策问题,包括基于池的主动学习和自适应病毒式营销,可以制定为一个自适应子模块最大化问题。现有的自适应次模优化问题的研究大多集中在单调和非单调两种情况。具体地说,如果效用函数是单调的和自适应的子模,\cite{golovin2011adaptive}开发了一个贪婪的政策,达到$(1-1/e)$近似比服从基数约束。如果效用函数是非单调的和自适应的子模,\cite{tang2021beyond}表明,一个随机贪婪的政策达到$1/e$近似比服从基数约束。在这项工作中,我们的目标是推广上述结果通过研究部分单调自适应次模极大化问题。为此,我们引入自适应单调性比$m\in[0,1]$的符号来衡量一个函数的单调性程度。我们的主要结果是表明,一个随机贪婪的政策,实现了$m(1-1/e)+(1-m)(1/e)$的近似比,如果效用函数是$m$ -自适应单调和自适应子模。值得注意的是,当分别为$m = 0$和$m = 1$时,该结果恢复了上述$(1-1/e)$和$1/e$近似比。我们进一步扩展我们的结果考虑背包约束。我们表明,基于采样的政策实现了$(m+1)/10$的近似比,如果效用函数是$m$ -自适应单调和自适应子模块。我们的结果的一个重要含义是,即使是一个非单调的效用函数,我们仍然可以实现一个近似比接近$(1-1/e)$,如果这个功能是“接近”的单调函数。这导致许多机器学习应用程序的性能边界…
2022-12-11 cs.DS cs.LG
ResQue Greedy: Rewiring Sequential Greedy for Improved Submodular Maximization
针对基数约束下的子模最大化问题,提出融合集合曲率度量的ResQue Greedy算法,通过曲率感知重构策略修正标准序列贪心的次优决策,在不显著提升复杂度的情况下获得更紧的近似最优界。
2025-05-19 cs.DM cs.DS math.OC
Sensitivity Analysis of Submodular Function Maximization
我们研究了最近引入的想法,最坏大小写敏感度单调子模最大化基数约束$k$,它捕获的程度,输出参数的变化删除的输入中的一个元素。我们发现,对于大类的算法,非平凡的灵敏度的$o(k)$是不可能的,即使有界曲率,这些结果也保持在分布式框架。然而,我们也表明,在制度$k = Ω(n)$,我们可以获得$O(1)$足够低的曲率的灵敏度。
2020-10-08 cs.DS
Interlaced Greedy Algorithm for Maximization of Submodular Functions in Nearly Linear Time
基于交错两个贪婪过程的思想,提出了一个确定性近似算法,求解基数约束为$k$且大小为$n$的基集上非单调子模函数的最大化问题.该算法使用交错的,阈值贪婪的过程,以获得紧比$1/4 - ε$在$O \left( \frac{n}ε \log \left( \frac{k}ε \right) \right)$查询的目标函数,这提高了比和二次时间复杂度的以前最快的确定性算法为这个问题。该算法的非单调子模最大化,它优于最快的确定性和随机算法在以前的文献中的两个应用程序的上下文中进行验证。
2019-10-24 cs.DS