Minimum Entropy Submodular Optimization (and Fairness in Cooperative Games)
我们研究最小熵子模优化,最小熵集覆盖问题的一个常见推广,之前由Cardinal等人研究,和次模集合覆盖问题。我们给出了一个一般的界的近似性能的贪心算法使用的方法,可以解释在一个特定类型的偏置网络流。作为应用,我们重新推导已知的最小熵集覆盖和最小熵方向问题的结果,并获得一个新的问题称为最小熵生成树问题的非平凡界。这个问题可以应用于(部分是出于)凹合作博弈中公平性的最坏情况方法的定义,类似于非合作环境中无政府状态的无政府代价的概念。
2014-02-18 cs.DS cs.GT math.CO
Submodular Functions: Learnability, Structure, and Optimization
Georgia Institute of Technology(佐治亚理工学院);University of British Columbia(不列颠哥伦比亚大学)
次模函数是离散函数,它模拟收益递减规律,并享有许多算法应用。它们已被用于许多领域,包括组合优化、机器学习和经济学。本文从学习理论的角度研究了次模函数。我们提供学习次模函数的算法,以及它们的可学习性的下界。在这样做的时候,我们发现了一些新的结构结果揭示了子模块功能可以令人惊讶的结构化和令人惊讶的非结构化的方式。我们提供了一些具体的影响,我们的工作在其他领域,包括算法博弈论和组合优化。在技术层面上,这项研究结合了许多领域的思想,包括学习理论(分布式学习和PAC风格的分析),组合学和优化(拟阵和子模函数),以及伪随机性(无损扩展图)。
2012-08-22 cs.DM cs.DS cs.LG
Maximizing Submodular or Monotone Approximately Submodular Functions by Multi-objective Evolutionary Algorithms
Nanjing University(南京大学);Southern University of Science and Technology(南方科技大学)
进化算法是一种受自然启发的通用优化算法,在解决各种实际优化问题中表现出了良好的性能。在过去的二十年中,有希望的结果上的运行时间分析(一个重要的理论方面)的EA已经获得,而他们中的大多数集中在孤立的组合优化问题,这并不反映通用的性质EA。为了对进化算法的行为提供一个一般的理论解释,我们需要研究它们在一般组合优化问题上的性能。据我们所知,唯一的结果朝着这个方向是可证明的良好的近似保证EA的最大化单调次模函数与拟阵约束的问题类。这项工作的目的是促进这一研究路线。考虑到许多组合优化问题涉及非单调或非次模目标函数,本文研究了一般问题类:带/不带尺寸约束的最大化次模函数和带尺寸约束的最大化单调近似次模函数。我们证明了一个名为GSEMO-C的简单多目标EA通常可以在多项式预期运行时间内实现良好的逼近保证。
2022-11-28 cs.AI cs.CC cs.DS
Procurement Auctions via Approximately Optimal Submodular Optimization
Google Research(谷歌研究院);Yale University(耶鲁大学)
本文研究采购拍卖,提出将子模优化算法转化为满足 IC、IR、NAS 且保持近似比的拍卖机制框架,覆盖离线与在线设置,并证明其可适配为对抗性降价拍卖,在数千卖家的公开数据集上验证了福利表现。
2024-11-20 cs.DS cs.GT cs.LG
Adaptive Submodularity: Theory and Applications in Active Learning and Stochastic Optimization
California Institute of Technology(加州理工学院);ETH Zurich(苏黎世联邦理工学院)
在部分可观测性下求解随机优化问题,其中需要自适应地做出具有不确定结果的决策,这是一个基本但众所周知的困难挑战。在本文中,我们引入了自适应子模块的概念,推广子模块集函数的自适应政策。我们证明了,如果一个问题满足这一性质,一个简单的自适应贪心算法是保证竞争的最优策略。除了为随机最大化和覆盖提供性能保证之外,还可以利用自适应子模块化通过使用惰性评估来大幅加速贪心算法。我们说明了有用的概念,给出了几个例子,自适应子模块化的目标在不同的应用,包括传感器的位置,病毒式营销和主动学习。证明这些问题的自适应子模块性,使我们能够恢复现有的结果在这些应用中的特殊情况下,提高近似保证和处理自然的推广。
2017-12-06 cs.AI cs.DS cs.LG
Fast Semidifferential-based Submodular Function Optimization
University of Washington(华盛顿大学);University of California, Berkeley(加州大学伯克利分校)
我们提出了一个实用的和强大的新框架,无约束和有约束的子模函数优化的基础上离散半微分(次和超微分)。由此产生的算法,重复计算,然后有效地优化次模半梯度,提供新的和推广许多旧的方法,次模优化。此外,我们的方法,采取措施,提供一个统一的范式,适用于子模块最小化和最大化,历史上已经处理的问题相当明显。我们的算法的实用性是很重要的,因为在子模块化的兴趣,由于其自然和广泛的适用性,最近在机器学习内的优势。我们分析了我们的算法的理论性质的最小化和最大化,并表明,许多国家的最先进的最大化算法的特殊情况。最后,我们补充我们的理论分析与支持实证实验。
2013-08-05 cs.DM cs.DS cs.LG
Efficient Submodular Optimization under Noise: Local Search is Robust
单调次模极大化问题由于其广泛的应用而得到了广泛的研究。然而,在某些情况下,由于评估中涉及的不确定性或误差,人们只能以扭曲或嘈杂的形式访问目标函数。本文考虑了[Hassidim et al.,2017年]。对于基数约束,我们提出了一种算法,该算法实现了接近最优的$\left(1-\frac{1}{e}-O(\varepsilon)\right)$近似保证(对于任意$\varepsilon > 0$),仅对噪声值oracle进行多项式数量的查询,这改善了[Singer等人,2018年]。对于一般的拟阵约束,我们展示了在噪声存在下的第一常数近似算法。我们的主要方法是设计一个新的局部搜索框架,可以处理噪声的影响,并构造一定的平滑代理函数,以减少噪音。
2022-10-21 cs.DS
Projection-Free Online Optimization with Stochastic Gradient: From Convexity to Submodularity
Yale Institute for Network Science(耶鲁网络科学研究所);Yale University(耶鲁大学);University of Pennsylvania(宾夕法尼亚大学)
在线优化已经成为解决计算约束和部分信息下的大规模问题的成功框架。目前的在线凸优化方法在每一步都需要投影或精确的梯度计算,这两者对于大规模应用来说都是非常昂贵的。与此同时,在机器学习社区中,非凸优化的趋势日益增长,并且需要在线方法。连续DR-次模函数具有收益递减的性质,是一类可以有效优化的非凸函数。虽然已经引入了在线方法,但它们也存在类似的问题。在这项工作中,我们提出Meta-Frank-Wolfe,第一个在线投影算法,使用随机梯度估计。该算法依赖于在每一轮梯度的仔细采样,并实现了凸和连续子模块优化的最佳$O( \sqrt{T})$对抗遗憾界。我们还提出了一个简单的算法,只需要一个单一的随机梯度估计,在每一轮,并实现了$O(T^{2/3})$随机遗憾界凸和连续的子模块优化。我们应用我们的方法来开发一种新的“提升”框架的在线离散子模块最大化,也看到他们优于目前最先进的技术在各种实验。
2018-06-14 cs.AI cs.DS cs.LG
Submodular Order Functions and Assortment Optimization
本文定义次模序函数这一新集合函数类,为多种约束下的最大化问题给出快速强近似算法及近紧查询复杂度上界,并用于品类优化和流式次模最大化。
2024-02-29 cs.DS math.OC
On Unconstrained Quasi-Submodular Function Optimization
Shanghai Jiao Tong University(上海交通大学)
本文提出两种算法用于无约束拟子模函数的最小化和最大化,通过单次子交叉性质,在O(n)次迭代内返回缩减格,并保证目标函数值在每次迭代后严格单调变化。
2014-11-13 cs.DS cs.NA math.NA
Modular and Submodular Optimization with Multiple Knapsack Constraints via Fractional Grouping
一组物品上的多背包约束由一组任意容量的箱子和每个物品的权重定义。约束的分配是将项目的子集分配到符合箱容量的箱。在本文中,我们提出了一个统一的算法,产生有效的近似为广泛的一类子模块化和模块化的优化问题,涉及多个背包约束。一个值得注意的例子是多选择多背包的多项式时间近似方案,改进了$2$的最佳已知比率。另一个例子是非单调次模多背包,我们得到了一个$(0.385-\varepsilon)$ -近似,匹配最好的已知比率为一个单一的背包约束。我们的算法的鲁棒性是通过应用一个新的分数变量的经典线性分组技术,这是独立的利益。
2021-06-28 cs.DS
A Unified Framework of Constrained Robust Submodular Optimization with Applications
University of Texas at Dallas(德克萨斯大学达拉斯分校)
鲁棒优化在机器学习应用中变得越来越重要。本文研究了鲁棒次模优化的一个统一框架。我们从最小化和最大化的角度研究这个问题(以前的工作只集中在强大的子模块最大化的变体)。我们这样做的范围广泛的组合约束,包括基数,背包,拟阵以及基于图形的约束,如削减,路径,匹配和树。此外,我们还研究了多个子模上下界约束下的鲁棒子模极小化和极大化问题。我们发现,所有这些问题的动机是重要的机器学习应用,包括强大的数据子集选择,强大的合作切割和强大的合作匹配。在每种情况下,我们提供了可扩展的近似算法,并研究硬度界限。最后,我们经验证明了我们的算法的实用性合成数据,和现实世界中的应用程序的强大的合作匹配图像对应,强大的数据子集选择语音识别,和图像收集摘要与多个查询。
2021-03-18 cs.DS cs.LG math.OC
Guaranteed Non-convex Optimization: Submodular Maximization over Continuous Domains
ETH Zurich(苏黎世联邦理工学院)
次模连续函数是一类(一般)非凸/非凹函数,具有广泛的应用。我们描述这些功能,并证明他们可以有效地近似保证最大化。具体地说,i)我们引入了弱DR性质,给出了所有集合、整数格和连续函数的次模性的统一刻画; ii)对于一般下闭凸约束下的单调DR-次模连续函数,我们提出了一个具有$(1-1/e)$逼近保证和次线性收敛速度的Frank-Wolfe变式;(3)对于一般非单调子模连续函数的最大化问题,我们提出了一个具有$1/3$逼近保证的DoubleGreedy算法.子模块连续函数自然地找到应用程序在各种现实世界中的设置,包括影响力和收入最大化与连续分配,传感器能源管理,多分辨率数据汇总,设施位置等实验结果表明,所提出的算法有效地产生优越的解决方案相比,基线算法。
2019-05-06 cs.DS cs.LG
Decomposable Submodular Maximization in Federated Setting
Halıcıoğlu Data Science Institute, University of California, San Diego(加州大学圣地亚哥分校哈利西奥格鲁数据科学学院)
针对数百万组件函数的可分解次模优化计算成本高且组件函数存在隐私限制的问题,提出一种联邦优化设置,通过并行局部步长和间歇性子采样聚合实现连续贪心算法,在显著降低通信成本的同时保证良好近似解,并应用于最大覆盖和设施选址等基本问题。
2024-06-03 cs.AI cs.DC cs.DS
Bicriteria Algorithms for Submodular Cover with Partition and Fairness Constraints
Texas A&M University(德克萨斯农工大学)
本文提出双标准近似算法,解决具有划分与公平性约束的子模覆盖问题,实现最优近似保证并提升算法效率。
2026-01-16 cs.DS
Fully Dynamic Algorithm for Constrained Submodular Optimization
研究完全动态设置下基数约束单调次模函数最大化问题,提出一种随机化算法,通过维护多对数摊销更新时间的数据结构,实现$(1/2-ε)$-近似解,并经实证验证其性能。
2023-05-24 cs.DS
Submodular Optimization Over Streams with Inhomogeneous Decays
基数约束下的子模函数最大化问题是数据采掘和机器学习应用中的一个关键问题,它的目标是选择一个最大值为$k$的子集来最大化单调子模效用函数.当数据作为流给出时,需要流传输子模块优化(SSO)技术。现有的SSO技术只能应用于其中每个元素具有无限寿命的仅插入流,以及其中每个元素具有相同寿命的滑动窗口流(即,窗口大小)。然而,一些数据流中的元素可能具有任意不同的寿命,这需要在具有连续衰减的流上解决SSO(SSO-ID)。这项工作制定的SSO-ID问题,并提出了三个算法:BasicStreaming是一个基本的流算法,实现了一个$(1/2-ε)$近似因子; HistApprox显着提高了效率,实现了一个$(1/3-ε)$近似因子; HistStreaming是HistApprox的流版本,并使用语法,以进一步提高效率。在真实数据上进行的实验表明,HistStreaming可以找到高质量的解决方案,并且比朴素的贪心算法快两个数量级。
2018-11-14 cs.DS
Diverse Approximations for Monotone Submodular Maximization Problems with a Matroid Constraint
本文研究拟阵约束下单调子模最大化的多样化解问题,提出两种带权衡参数的贪心算法,并给出目标值与多样性的参数化近似保证。
2023-07-14 cs.DS
Ordered Submodularity and its Applications to Diversifying Recommendations
从影响力最大化到传感器放置到内容推荐,许多重要优化问题的基本任务是从较大的集合中选择最优的$k$项组。子模块性在允许近似算法用于这样的子集选择问题方面是非常有效的。然而,在一些应用中,我们不仅对集合中的元素感兴趣,而且对它们出现的顺序感兴趣,打破了所有选择的项目都得到平等考虑的假设。一种这样的应用类别涉及搜索结果、产品推荐、新闻文章和其他内容的呈现,这是由于人类对排名较高的项目给予更多关注的有据可查的现象。因此,针对多样性、用户覆盖、校准或其他目标的内容呈现的优化更准确地表示序列选择问题,传统的子模块近似结果不再适用于该问题。虽然扩展的子模块序列已被提出,没有被设计为模型设置项目的基础上,他们在排名列表中的位置作出贡献,因此,他们不能表达这些类型的优化问题。在本文中,我们的目标是解决这一建模差距。在这里,我们提出了一个新的形式主义的有序子模块,捕捉这些排序问题的内容呈现,更一般的一类优化问题排名序列中,不同的列表位置有助于不同的目标函数。我们分析了自然有序的模拟贪心算法,并表明它提供了一个$2$ -近似。我们还表明,这个界限是紧的,建立我们的新框架是从概念上和定量上不同于以前的形式主义的集合和序列子模块。
2022-03-01 cs.DS cs.GT cs.SI
Bicriteria Submodular Maximization
本文研究子模函数约束最大化问题,提出双准则近似算法,在允许有界违反约束的情况下,覆盖多种约束类型与函数类别,并取得最优或超越现有技术的结果。
2025-07-14 cs.DM cs.DS
Locally Adaptive Optimization: Adaptive Seeding for Monotone Submodular Functions
自适应播种问题是社交网络中的影响力最大化所激发的算法挑战:人们试图在网络中的某些可访问节点中进行选择,然后在这些节点的邻居变得可访问时自适应地进行选择,以最大化全局目标函数。更一般地说,自适应播种是一个随机优化框架,其中第一阶段的选择影响第二阶段的实现,我们的目标是优化。我们的主要结果是一个$(1-1/e)^2$ -近似的自适应播种问题的任何单调子模函数。虽然自适应政策往往是通过非自适应政策近似,我们的算法是基于一种新的方法,我们称之为\emph{locally-adaptive}政策。这些策略结合了非自适应全局结构和局部自适应优化。该方法使一般单调子模函数的$(1-1/e)^2$ -近似,并规避了一些与非自适应策略相关的不可能性。我们还介绍了一个基本问题,在子模块优化,可能是独立的利益:给定一个地面设置的元素,每个元素出现一些小的概率,找到一组预期的大小最多$k$,具有最高的期望值超过实现的元素。我们得到了一个令人惊讶的结果:有一类单调子模函数(包括覆盖),当概率为零时,它们几乎可以最优地近似。对于一般单调次模函数,我们通过减少\textsc{Planted-Clique},这个问题的近似是不可能获得的。这个优化问题是通过非自适应策略进行自适应播种的重要工具,它的难度促使我们在主要结果中使用的\emph{locally-adaptive}策略的引入。
2015-07-09 cs.DS cs.SI
Optimal approximation for submodular and supermodular optimization with bounded curvature
我们设计了新的近似算法的优化问题的子模和超模函数受一个单一的拟阵约束。具体地说,我们考虑的情况下,我们希望最大化一个非减次模函数或最小化一个非增超模函数的设置有界的全曲率$c$。在次模最大化的情况下,曲率$c$,我们得到一个$(1-c/e)$ -近似-第一次改进的贪婪$(1-e^{-c})/c$ -近似Conforti和Cornuejols从1984年,它适用于基数约束,以及最近的方法,适用于任意拟阵约束。我们的方法是基于修改的连续贪心算法和非遗忘局部搜索,并允许我们近似最大化的总和的非负,非减次模函数和(可能是负的)线性函数。我们展示了如何减少子模最大化和超模最小化这个一般问题时,目标函数有界的总曲率。我们证明,我们得到的近似结果是最好的可能值预言机模型,即使在基数约束的情况下。我们定义了一个扩展的概念,曲率一般单调集函数,并显示$(1-c)$ -近似最大化和$1/(1-c)$ -近似最小化的情况下。最后,我们给出了我们的结果在最大熵抽样和列子集选择问题中的两个具体应用。
2014-12-12 cs.DS
Multivariate Submodular Optimization
近年来,次模函数在数据科学和机器学习模型中有了大量的新应用。这已经与子模优化领域的许多算法进展相结合:(SO)$\min/\max~f(S): S \in \mathcal{F}$,其中$\mathcal{F}$是基集$V$上的给定可行集族,而$f:2^V \rightarrow \mathbb{R}$是子模的。在这项工作中,我们专注于一个更一般的类\emph{multivariate submodular optimization}(MVSO)的问题:$\min/\max~f (S_1,S_2,\ldots,S_k): S_1 \uplus S_2 \uplus \cdots \uplus S_k \in \mathcal{F}$。在这里,我们使用$\uplus$表示不相交的联盟,因此这个模型是有吸引力的资源分配在$k$代理,谁共享一个“联合”多变量非负目标$f(S_1,S_2,\ldots,S_k)$,捕捉某种类型的子模块化(即收益递减)属性。我们提供了一些明确的例子和潜在的应用,这个新的框架。对于最大化,我们表明,实际的算法,如加速贪婪的变种和分布式算法实现良好的近似保证非常一般的家庭(如拟阵和$p$系统)。对于任意的家庭,我们表明,单调(resp。非单调)MVSO承认$α(1-1/e)$(分别)。$α\cdot 0.385$)近似,无论何时单调(分别为非单调)SO承认$α$…
2019-01-28 cs.DS
A Unified Approach to Submodular Maximization Under Noise
Google Mountain View, CA(谷歌山景城);Yale University(耶鲁大学);Harvard University(哈佛大学)
本文提出了一种统一方法,在噪声环境下实现子模函数最大化,通过 meta 算法将稳健算法转换为噪声环境下的算法,获得不同约束下的近似结果。
2025-12-31 cs.CC cs.DM cs.DS
No-regret algorithms for online $k$-submodular maximization
我们提出了一个多项式时间算法在线最大化的$k$ -子模最大化。对于在线(非单调)$k$ -次模最大化,我们的算法实现了一个紧密的近似因子的近似遗憾。对于在线单调$k$ -次模最大化,我们的近似遗憾匹配最知名的近似比,这是紧渐近$k$趋于无穷大。我们的方法是基于Blackwell逼近定理和在线线性优化。
2018-07-13 cs.DS
Submodular Optimization Beyond Nonnegativity: Adaptive Seed Selection in Incentivized Social Advertising
University of Texas at Dallas(德克萨斯大学达拉斯分校)
社交广告(或社交推广)的想法是选择一组有影响力的个人(a.k.a \emph{seeds})通过在线社交网络帮助推广某些产品或想法。社交广告生态系统中有两个主要参与者:广告商和平台。该平台通过将广告插入种子的饲料中,向广告商出售病毒式互动,如“喜欢“。这些种子从平台获得货币激励,以换取他们参与社交广告活动。一旦某个种子的追随者参与了一个广告,平台就会从广告主那里收到一笔固定金额的付款,称为每次参与的成本。这则广告可能会吸引更多粉丝的关注,并引发病毒式传播。在广告活动开始时,广告主向平台提交预算,该预算可用于两个目的:招募种子和支付种子产生的病毒式互动。请注意,第一部分支付给种子,第二部分是平台收取的实际收入。在这种情况下,平台面临的问题是招募一批种子,以便在预算限制的情况下收集尽可能多的收入。我们制定这个问题作为一个种子选择问题,其目标函数是非单调的,它可能会采取负值,现有的结果子模块优化和影响力最大化不适用于我们的设置。我们研究这个问题下的非自适应和自适应设置。虽然我们专注于社会广告在本文中,我们的结果适用于任何优化问题,其目标函数是期望的最小值的随机子模函数和线性函数。
2021-09-30 cs.AI cs.DS
Derandomization for k-submodular maximization
子模性是组合优化的重要性质之一,$k$ -子模性是子模性的推广。$k$ -次模函数的极大化是NP难的,研究了近似算法.对于单调$k$ -次模函数,[Iwata,Tanigawa,and Yoshida 2016]给出了$k/(2k-1)$ -近似算法。本文通过对该算法的去随机化,给出了一个确定性算法。去随机化方案来自[Buchbinder and Feldman 2016]。我们的算法是$k/(2k-1)$ -近似和多项式时间算法。
2017-02-15 cs.DS
Submodular Maximization Subject to Uniform and Partition Matroids: From Theory to Practical Applications and Distributed Solutions
本文系统研究受均匀与划分拟阵约束的子模最大化问题,重点分析顺序贪心算法及其有效性,并扩展到分布式优化场景,为理论与实际应用搭建桥梁。
2025-01-02 cs.DS
Two-Sided Weak Submodularity for Matroid Constrained Optimization and Regression
我们研究以下问题:给定一个感兴趣的变量,我们想找到一个最好的线性预测它通过选择一个子集的$k$相关变量服从拟阵约束。这个问题是子集选择问题的自然推广,其中需要在多个不同的类之间传播观察。我们得到新的,加强保证这个问题,通过改进分析的剩余随机贪心算法,并通过开发一种新的扭曲的本地搜索算法。为了量化我们的近似保证,我们完善了弱次模块化的定义Das和Kempe,并引入了上次模块化比的概念,我们连接到最小的$k$稀疏特征值的协方差矩阵。更一般地说,我们看看在拟阵约束下的最大化一组函数$f$与较低和较高的子模块比$γ$和$β$的问题。对于这个问题,我们的算法有渐近逼近保证$1/2$和$1-e^{-1}$的功能是更接近子模。作为第二个应用程序,我们表明,贝叶斯A-最优设计目标属于我们的框架,导致这个问题的新的保证。
2023-01-18 cs.DS
On the Approximation Relationship between Optimizing Ratio of Submodular (RS) and Difference of Submodular (DS) Functions
Adobe Research(奥多比研究院);ENS Paris-Saclay(巴黎萨克雷高等师范学院);Inria Lille(里尔法国国家信息与自动化研究所);DeepMind(深度思维)
本文建立了子模比值(RS)与子模差(DS)优化问题之间的近似关系,提出一种统一的贪心算法框架,并给出新颖的分析。
2026-10-06 cs.DS cs.LG stat.ML
Weakly Submodular Functions
子模函数在组合优化、博弈论和经济学中有着广泛的研究。自然递减收益属性使其适用于许多应用。研究单调次模函数的一个扩张,称之为{ \em弱次模函数}.我们的扩展包括一些(温和的)超模函数。我们表明,几个自然的功能属于这个类,并与我们的类最近的一些其他次模函数扩展。本文研究了在一致和一般拟阵约束下,最大化弱次模函数的优化问题。对于均匀拟阵约束,“标准贪心算法“实现了常数近似比,其中常数(实验上)随着基数约束的增加而收敛到5.95。对于一般的拟阵约束,一个简单的局部搜索算法实现了一个常数的近似比,其中常数(解析)收敛到10.22的秩的拟阵增加。
2014-11-16 cs.DM cs.DS math.CO
Submodular Maximization through the Lens of Linear Programming
线性规划的单纯形算法是基于这样一个事实,即关于多面体邻域的任何局部最优也是全局最优。我们表明,一个类似的结果结转到子模最大化。特别是,每一个局部最优的约束单调子模极大化问题产生一个$1/2$ -近似,我们还提出了一个适当的扩展的非单调设置。然而,快速达到局部最优是一项重要的任务。此外,我们描述了一个快速和非常一般的本地搜索程序,适用于广泛的约束家庭,以及统一和扩展以前的方法。在我们的框架中,我们匹配已知的近似保证,同时解开和简化以前的方法。此外,尽管它的一般性,我们能够表明,我们的本地搜索过程比以前的专门方法稍快。此外,我们解决了一个悬而未决的问题,线性优化和次模最大化之间的关系,即,是否线性优化预言可能足以获得强近似算法次模最大化。我们表明,这是不是这样的情况下,通过提供一个例子的约束家庭的地面集的大小$n$的,如果只给定一个线性优化的预言,任何算法的子模块最大化与多项式数量的调用线性优化预言将有一个近似比只有$O ( \frac{1}{\sqrt{n}} \cdot \frac{\log n}{\log\log n} )$。
2017-11-30 cs.DM cs.DS
Submodular Maximization with Nearly Optimal Approximation, Adaptivity and Query Complexity
针对大规模子模优化,提出一种在基数约束下最大化单调子模函数的分布式算法,实现了最优近似比与查询复杂度及近乎最优自适应性,并扩展至子模覆盖问题。
2023-04-07 cs.DS
An Optimal Approximation for Submodular Maximization under a Matroid Constraint in the Adaptive Complexity Model
本文研究了自适应复杂性模型中拟阵约束下的次模最大化问题。该模型最近在[BS 18a]中的子模块优化的背景下引入,以量化并行计算模型中黑盒优化的信息论复杂度。非正式地,算法的自适应性是当每一轮可以并行执行多项式多个函数求值时,它所进行的顺序轮数。由于子模块优化经常应用于大型数据集,我们寻求具有低适应性的算法,以通过并行化实现加速。因此,最近的工作一直致力于设计常数因子近似算法,用于在自适应复杂性模型[BS 18 a,BS 18 b,BBS 18,BRS 19,EN 19,FMZ 19,CQ 19,ENV 18,FMZ 18]中的各种约束下最大化子模函数。尽管在自适应复杂性模型的子模最大化工作的爆发,最大化一个单调的子模函数在拟阵约束下的基本问题仍然难以捉摸。特别是,所有已知的技术都不能解决这个问题,并且没有已知的常数因子近似算法,其自适应性在拟阵$k$的秩中是次线性的,或者在最坏的情况下在基集$n$的大小中是次线性的。针对自适应复杂度模型中拟阵约束下的单调子模函数极大化问题,提出了一种近似算法。该算法的逼近保证是任意接近最优$1-1/e$的,并具有$O(\log(n)\log(k))$的近最优自适应性。这一结果是使用一种新的技术,自适应排序,从以前的子模块最大化的自适应复杂性模型的技术出发。
2018-11-07 cs.DS
Submodular Functions: Extensions, Distributions, and Algorithms. A Survey
子模块性是组合优化中的一个基本现象。子模函数出现在各种组合设置,如覆盖问题,切割问题,福利最大化,等等。因此,大量的工作一直关注最大化或最小化的子模函数,往往受到组合约束。许多这些算法的结果表现出一个共同的结构。也就是说,函数被扩展为凸域上的连续的,通常是非线性的函数。然后,求解该松弛,并且将分数解四舍五入以产生积分解。通常,连续扩张在基集子集上的分布方面有一个自然的解释。这种解释往往对结果及其分析至关重要。本综述的目的是强调这种连接之间的扩展,分布,松弛和优化的上下文中的子模函数。我们还提出了第一常数因子近似算法的最小化对称次模函数的基数约束。
2011-11-06 cs.DS
One Gradient Frank-Wolfe for Decentralized Online Convex and Submodular Optimization
Inria(法国国家信息与自动化研究所);University Grenoble-Alpes(格勒诺布尔-阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院)
近年来,分散学习在联邦学习中的广泛应用引起了人们的广泛关注。以往的研究大多集中在离线设置的目标函数是静态的。然而,在众多见证海量数据变化的机器学习应用程序中,离线设置变得不切实际。在本文中,我们提出了\emph{decentralized online}算法的凸和连续DR-次模优化,两类功能,存在于各种机器学习问题。我们的算法实现的性能保证相媲美的集中式离线设置。此外,平均而言,每个参与者在每个时间步仅执行\emph{single}梯度计算。随后,我们将我们的算法扩展到强盗设置。最后,我们说明了我们的算法在现实世界的实验中的竞争力的表现。
2022-10-30 cs.DS cs.LG math.OC
Continuous Submodular Maximization: Beyond DR-Submodularity
University of Haifa(海法大学);Yale University(耶鲁大学)
在本文中,我们提出了第一个连续优化算法,实现了常数因子近似保证问题的单调连续子模最大化的线性约束。我们首先证明了一个简单的变种香草坐标上升,称为Coordinate-Ascent+,实现了$(\frac{e-1}{2e-1}-\varepsilon)$ -近似保证,同时执行$O(n/\varepsilon)$迭代,其中每次迭代的计算复杂性大致为$O(n/\sqrt{\varepsilon}+n\log n)$(在这里,$n$表示优化问题的维度)。然后,我们提出了Coordinate-Ascent++,它实现了严格的$(1-1/e-\varepsilon)$近似保证,同时执行相同数量的迭代,但在一个更高的计算复杂性,大约$O(n^3/\varepsilon^{2.5} + n^3 \log n / \varepsilon^2)$每次迭代。然而,每轮Coordinate-Ascent++的计算可以很容易地并行化,使得每台机器的计算成本按$O(n/\sqrt{\varepsilon}+n\log n)$缩放。
2020-06-21 cs.DS cs.LG
Submodular Optimization for Coupled Task Allocation and Intermittent Deployment Problems
Virginia Polytechnic Institute and State University(弗吉尼亚理工学院暨州立大学)
在本文中,我们证明了一个公式优化耦合次模最大化问题可证明的次最优性界。在机器人应用中,优化问题相互耦合,因此无法独立解决,这是很常见的。具体来说,我们认为两个问题耦合,如果第一个问题的结果影响的第二个问题,在一个较长的时间尺度上运作的解决方案。例如,在我们的激励问题的环境监测,我们认为,多机器人任务分配将潜在地影响环境动态,从而影响未来的监测质量,在这里建模为多机器人间歇性部署问题。解决这种类型的耦合问题的一般理论方法是通过这个激励的例子证明。具体来说,我们提出了一种方法来解决耦合问题建模的子模集函数与拟阵约束。一个贪心算法解决这类问题,以及次优性保证。最后,通过Monte Carlo模拟,实际的最优性比显示,该算法可以产生高效率的近优解。
2021-11-17 cs.DS cs.MA cs.RO
Multi-Agent Submodular Optimization
近年来,在次模优化领域已经看到了许多算法的进步:(SO)$\min/\max~f(S): S \in \mathcal{F}$,其中$\mathcal{F}$是基集$V$上的可行集的给定族,并且$f:2^V \rightarrow \mathbb{R}$是次模的。这一进展与这些模型的大量新应用相结合。我们的重点是更一般的一类\emph{multi-agent submodular optimization}(MASO),这是由Goel等人在最小化设置中引入的:$\min \sum_i f_i(S_i): S_1 \uplus S_2 \uplus \cdots \uplus S_k \in \mathcal{F}$。在这里,我们使用$\uplus$来表示不相交的联合,因此这个模型是有吸引力的资源分配跨$k$代理,每个有自己的子模块成本函数$f_i()$。在本文中,我们将探讨在何种程度上的多智能体问题的近似性链接到他们的单智能体{ \em原语},非正式地称为{ \em多智能体差距}。我们提出了不同的减少,将多代理问题转化为一个单一的代理。对于最大化,我们表明,(MASO)承认一个$O(α)$ -近似每当(SO)承认一个$α$ -近似的多线性制定,从而大大扩大家庭的听话的模型。我们还讨论了几个家庭类(如生成树,拟阵,$p$系统),有一个可证明的多智能体差距为1。在最小化设置中,我们表明…
2018-11-04 cs.DS
Submodular Norms with Applications To Online Facility Location and Stochastic Probing
该研究提出次模范数概念,证明其可表示或近似多类经典范数,并将其应用于在线设施选址等优化问题,得到多项新的算法与理论结果。
2023-10-06 cs.DS
Minimax Optimization: The Case of Convex-Submodular
University of Pennsylvania(宾夕法尼亚大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
极大极小优化是机器学习、对策论和控制理论中各种应用的核心。迄今为止,现有文献主要集中在研究连续域中的此类问题,例如,凸-凹极大极小优化现在在很大程度上被理解。然而,极大极小问题远远超出了连续域的混合连续离散域,甚至完全离散域。本文研究了混合连续-离散Minimax问题,其中极小化是在属于欧几里得空间的连续变量上,而极大化是在给定基集的子集上.我们介绍了一类凸次模极大极小问题,其中的目标是凸的连续变量和次模的离散变量。尽管这些问题在机器学习应用中经常出现,但人们对如何从算法和理论角度解决这些问题知之甚少。对于这样的问题,我们首先表明,获得鞍点是很难达到任何近似,从而引入新的概念(近)最优。然后,我们提供了几个算法程序解决凸和单调次模极大极小问题,并根据我们的概念,最优的收敛速度,计算复杂性和质量的最终解决方案的特点。我们提出的算法是迭代的,并结合了离散和连续优化的工具。最后,我们提供了数值实验来展示我们的目的方法的有效性。
2021-11-01 cs.DS cs.LG cs.SY
Scalable Fair Influence Blocking Maximization via Approximately Monotonic Submodular Optimization
China University of Mining and Technology(中国矿业大学);Mine Digitization Engineering Research Center of the Ministry of Education(教育部矿山数字化工程研究中心)
本文提出CELF-R算法,通过近似单调子模优化实现公平与阻断效果的权衡,有效提升大规模网络中的影响阻断最大化性能。
2026-01-30 cs.DS
An Efficient Evolutionary Algorithm for Minimum Cost Submodular Cover
研究了最小费用次模覆盖问题,即最小化一个模费用函数,使得单调次模效益函数大于一个阈值。对于这个问题,进化算法EASC的介绍,实现了一个常数,双准则近似在预期的多项式时间,这是第一个多项式时间进化近似算法的最小成本子模块覆盖。为了实现这个运行时间,子模块化和单调性的动机的想法被纳入进化过程中,这可能会扩展到其他子模块优化问题。在实际应用中,EASC表现出优于贪心算法和收敛速度比竞争的进化算法为这个问题。
2019-08-02 cs.DS
The Power of Randomization: Efficient and Effective Algorithms for Constrained Submodular Maximization
子模块优化有许多应用,如众包和病毒式营销。本文研究了$k$ -系统约束下非负次模函数最大化的基本问题,该约束推广了次模优化中的基数约束、拟阵约束和$k$ -可扩系统约束.针对这个问题的现有方法基于确定性算法框架实现了$k+2\sqrt{k+2}+3$(对于一般子模块函数)的最佳近似比。我们提出了几个随机算法,提高了国家的最先进的算法的近似比和时间复杂度,无论是在非自适应设置和自适应设置。在数据采掘和社会计算的几个应用程序中,我们的算法的经验性能进行了广泛的评估,实验结果表明,我们的算法在实用性和效率方面的优势。
2021-06-15 cs.DS math.OC
Differentially Private Online Submodular Optimization
Georgia Institute of Technology(佐治亚理工学院)
在本文中,我们开发了第一个算法在线子模最小化,保持差分隐私下的完全信息反馈和强盗反馈。$n$元素集合上的$T$子模块函数序列在线到达,并且在每个时间步,算法必须在看到函数之前选择$[n]$的子集。该算法产生的成本等于在所选集合上评估的函数,并试图选择一个序列的集合,实现低预期的遗憾。我们的第一个结果是在全信息设置中,算法可以在每个时间步做出决策后观察整个函数。我们给出了一个算法,在这种情况下,是$ε$ -差分隐私,并达到预期的遗憾$\tilde{O}\left(\frac{n^{3/2}\sqrt{T}}ε\right)$。该算法利用Lovasz扩张将次模函数松弛为凸函数,并模拟了一个差分私有在线凸优化算法。我们的第二个结果是在bandit设置中,算法只能看到其选择的集合所产生的成本,并且不能访问整个函数。该设置明显更具挑战性,因为算法没有接收到足够的信息来计算Lovasz扩展或其子梯度。相反,我们使用单点估计构建无偏估计,然后使用此估计模拟私人在线凸优化。我们的算法使用强盗反馈是$ε$ -差分私有的,并达到预期的遗憾$\tilde{O}\left(\frac{n^{3/2}T^{3/4}}ε\right)$。
2018-07-06 cs.DS cs.LG stat.ML
Fast Maximization of Non-Submodular, Monotonic Functions on the Integer Lattice
整数格上次模函数的优化问题近年来受到广泛关注,但许多应用的目标函数都是非次模的。我们提供了两个近似算法最大化的整数格的基数约束的非子模函数,这些是第一个算法,用于此目的,具有多项式查询的复杂性。我们提出了一个一般的框架,影响力最大化的整数格,概括了以前的作品在这个主题上,我们证明了我们的算法在这种情况下的效率。
2018-05-17 cs.DS
Non-monotone Submodular Maximization with Nearly Optimal Adaptivity and Query Complexity
针对非单调次模最大化问题,本文提出首个在基数约束下兼具低自适应轮数与低查询复杂度的常数因子近似算法,实验证明其在减少资源消耗的同时能找到具竞争力的解。
2023-04-07 cs.DS
Generalized Assignment via Submodular Optimization with Reserved Capacity
我们研究了一个变形的\emph{generalized assignment problem}({ \sf GAP})与组的限制。{ \sf Group GAP}的一个实例是一组$I$项,被划分为$L$组和一组$m$统一(单位大小)箱。每个项目$i \in I$有一个大小$s_i >0$,和利润$p_{i,j} \geq 0$,如果包装在斌$j$。如果一组项目的所有项目都已打包,则该组项目为\emph{satisfied}。我们的目标是找到一个可行的包装箱中的一个子集的项目,使总利润最大化满意组。我们指出了{ \sf Group GAP}在视频点播服务、移动设备到设备网络缓存和5G网络中的基站协作中的中心应用。我们的主要结果是一个$\frac{1}{6}$ -近似算法{ \sf组间隙}的实例中,每个组的总大小是最多$\frac{m}{2}$。在我们的算法的核心在于一个有趣的推导子模块功能从经典的LP制定{ \sf GAP},这有利于建设一个高利润的解决方案,利用最多一半的总箱容量,而另一半是\emph{reserved}供以后使用。特别是,我们给出了一个算法submodular最大化的背包约束,找到一个解决方案的利润至少$\frac{1}{3}$的最佳,使用最多一半的背包容量,在温和的限制下,元素的大小。我们的新方法的子模块优化受背包\emph{with reserved capa…
2019-09-16 cs.DS
Faster Guarantees of Evolutionary Algorithms for Maximization of Monotone Submodular Functions
研究了单调次模极大化问题。SM是从大小为$n$的论域中找到大小为$κ$的子集,该子集最大化单调子模目标函数$f$。我们表明,使用一种新的分析,帕累托优化算法实现了$(1-ε)(1-1/e)$的最坏情况下的比率,在期望的每个基数约束$κ< P$,其中$P\leq n+1$是一个输入,在$O(nP\ln(1/ε))$查询$f$。此外,一种新的进化算法,称为偏Pareto优化算法,提出了实现最坏情况下的比例$(1-ε)(1-1/e)$的期望为每个基数约束$κ< P$在$O(n\ln(P)\ln(1/ε))$查询$f$。此外,可以修改偏置帕累托优化算法,以便在$f$的$O(n\ln(1/ε))$查询中实现基数约束$κ$的期望中的最差情况比率$(1-ε)(1-1/e)$。经验评估证实了我们的理论分析的算法,因为算法超过随机贪婪的解决方案的值大致时,我们的分析的基础上预期。
2021-07-05 cs.DS
Greed is Good: Near-Optimal Submodular Maximization via Greedy Optimization
Open University of Israel(以色列开放大学);Yale University(耶鲁大学)
众所周知,贪婪方法对于最大化单调子模函数表现良好。同时,这种方法在非单调性面前表现不佳。在本文中,我们显示-可以说,令人惊讶的-调用经典的贪婪算法$O(\sqrt{k})$ -倍导致(目前)最快的确定性算法,称为重复贪婪,最大化的一般次模函数受$k$独立的系统约束。Repeated Greedy使用$O(nr\sqrt{k})$函数求值来实现$(1 + O(1/\sqrt{k}))k$近似(这里,$n$和$r$分别表示基集的大小和可行解的最大大小)。然后,我们表明,通过一个仔细的采样过程中,我们可以运行的贪婪算法只有一次,并获得(目前)最快的随机算法,称为样本贪婪,最大化的子模块功能受$k$ -可扩展的系统约束(一个子类的$k$ -独立的系统约束)。Sample Greedy仅通过$O(nr/k)$函数求值实现了$(k + 3)$ -近似。最后,我们推导出一个几乎匹配的下界,并表明,没有多项式时间算法可以有一个近似比小于$ k + 1/2 - \varepsilon$。为了进一步支持我们的理论结果,我们在一个具体的应用程序(电影推荐)中与现有技术的重复贪婪和样本贪婪的性能进行比较。我们一直观察到,虽然样本贪婪实际上实现了与最佳基线相同的效用,但它的执行速度至少快了两个数量级。
2017-04-05 cs.DS cs.LG
Corporate Needs You to Find the Difference: Revisiting Submodular and Supermodular Ratio Optimization Problems
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carleton University(卡尔顿大学)
研究子模/超模集合函数平均值的最优化问题,引入USSS与UDSS两种新表述,证明其与DSS、SFM等经典问题在强多项式时间归约下等价,并利用Fujishige-Wolfe算法和SuperGreedy++作为通用求解器,实验表明通用凸方法与流方法在多种问题上优于专用基线。
2025-05-23 cs.DS cs.LG
Submodular Optimization over Sliding Windows
在基数约束下最大化子模函数是众多数据采掘和机器学习应用的核心,包括数据多样化,数据汇总和覆盖问题。在这项工作中,我们在数据流的背景下研究这个问题,其中元素一次到达一个,我们希望设计低内存和快速更新时间的算法,保持良好的解决方案。具体地说,我们关注滑动窗口模型,其中要求我们维护一个仅考虑最后$W$项的解决方案。在这种情况下,我们提供了第一个非平凡的算法,保持一个可证明的近似的最佳使用空间次线性的窗口的大小。特别是,我们给出了一个$\frac{1}{3} - ε$近似算法,它使用空间多项式的元素,$Φ$的值的传播,并在任何常数$ε> 0$的解决方案的大小$k$线性。同时,处理每个元素只需要函数本身的多对数计算。当一个更好的近似,我们展示了一个不同的算法,在使用更多的内存的成本,提供了一个$\frac{1}{2} - ε$近似,并允许平均更新时间和空间之间的可调权衡。该算法匹配的最佳已知的近似保证子模块优化的插入只流,一个不太一般的制定的问题。我们证明了一些现实世界的数据集上的算法的有效性,表明其实际性能远远超过理论界限。该算法在具有数百万项的流中保留高质量的解决方案,同时存储其中可以忽略不计的一部分。
2016-10-31 cs.DS
Non-monotone DR-submodular Maximization: Approximation and Regret Guarantees
Sorbonne Université(索邦大学);Univ Évry, Université Paris-Saclay(埃夫里大学,巴黎-萨克雷大学)
子模优化是一个重要的研究领域,在机器学习、经济学和通信系统中有着广泛的应用。它捕获了非凸优化的一个子类,提供了实践和理论上的保证。本文研究了下闭和一般凸集上非单调DR-次模函数的最大化问题。首先,我们表明,离线最大化非单调DR-次模函数在一般的凸集上,Frank-Wolfe算法实现的近似保证依赖于凸集。其次,我们证明了随机梯度上升算法实现了1/4的近似比与遗憾的$O(1/\sqrt{T})$的最大化问题的非单调DR-子模函数的下闭凸集。这些是相应设置中的第一近似保证。最后,我们基准这些算法在机器学习领域与现实世界的数据集出现的问题。
2019-05-23 cs.DS cs.LG math.OC
Improved randomized algorithm for $k$-submodular function maximization
子模性是组合优化中最重要的性质之一,$k$ -子模性是子模性的推广。$k$ -次模函数的最大化需要指数数量的值Oracle查询,并且已经研究了近似算法。对于无约束$k$ -次模极大化,Iwata等人给出了单调函数的随机$k/(2k-1)$ -近似算法和非单调函数的随机$1/2$ -近似算法.本文给出了非单调函数的改进随机算法。我们的算法给出了$k\geq 3$的$\frac{k^2+1}{2k^2+1}$ -逼近。我们还给出了$k=3$的随机$\frac{\sqrt{17}-3}{2}$ -近似算法。我们使用岩田等人和Ward和Wavennovich中使用的相同框架,但概率不同。
2019-07-27 cs.DM cs.DS