Data Summarization beyond Monotonicity: Non-monotone Two-Stage Submodular Maximization
Naveen Jindal School of Management, The University of Texas at Dallas(德克萨斯大学达拉斯分校纳文·金达尔管理学院)
针对两阶段子模最大化中现有方法依赖单调性假设的局限,本文将其扩展到非单调子模函数,并提出首批常数因子近似算法。
2023-11-02 cs.AI cs.DS cs.LG
Online Submodular Maximization via Online Convex Optimization
Northeastern University(东北大学);Boston University(波士顿大学)
研究一般拟阵约束下的单调次模最大化在线优化问题,通过证明加权阈值势函数可凹松弛,将其归约为在线凸优化(OCO),结合舍入方案实现次线性遗憾,并扩展至动态遗憾、老虎机和乐观学习设定。
2024-01-08 cs.AI cs.LG math.OC
Adaptive Cascade Submodular Maximization
Naveen Jindal School of Management, The University of Texas at Dallas(德克萨斯大学达拉斯分校纳文·金达尔管理学院);Department of Computer Science, The University of Texas at Dallas(德克萨斯大学达拉斯分校计算机科学系)
本文提出并研究了自适应设置下的级联子模极大化问题。我们的问题的输入是一组项目,每个项目都处于特定的状态(即,一个项目的边际贡献),其从已知的概率分布中得出。与已有的随机次模极大化研究相比,我们的问题的一个独特之处在于,每一项都与一个连续概率相关联,该概率表示在选择当前项之后,允许继续选择下一项的概率。直观地说,这个术语抓住了选择一个项目对所有后续项目的外部性,即被选择的机会。因此,一个策略可以选择的实际项目集取决于它选择项目时所采用的特定排序,这使得我们的问题与经典的子模集优化问题有着根本的不同。我们的目标是确定最佳的选择项目的顺序,以最大限度地提高所选项目的预期效用。我们提出了一类随机效用函数\emph{adaptive cascade submodular functions},并证明了在许多实际应用领域的目标函数满足自适应级联子模块。然后,我们开发了一个$0.12$近似算法的自适应级联子模块最大化问题。
2021-02-12 cs.AI cs.LG stat.ML
Distributed Submodular Maximization
ETH Zurich(苏黎世联邦理工学院);Yale University(耶鲁大学);University of Edinburgh(爱丁堡大学)
许多大规模的机器学习问题--聚类、非参数学习、核机器等--需要从大数据集中选择一个小而有代表性的子集。此类问题通常可以简化为在各种约束下最大化子模集函数。子模块优化的经典方法需要集中访问完整的数据集,这对于真正的大规模问题是不切实际的。在本文中,我们考虑了问题的子模函数最大化的分布式方式。我们开发了一个简单的,两阶段的协议GreeDi,这是很容易实现的MapReduce风格的计算。我们从理论上分析了我们的方法,并表明,在一定的自然条件下,可以实现接近集中式方法的性能。我们开始单调submodular最大化的基数约束,然后扩展这种方法来获得近似保证(不一定单调)submodular最大化的更一般的约束,包括拟阵或背包约束。在我们广泛的实验中,我们证明了我们的方法在几个应用程序上的有效性,包括稀疏高斯过程推理和基于范例的聚类数千万例使用Hadoop。
2016-06-27 cs.AI cs.DC cs.IR
Stronger Approximation Guarantees for Non-Monotone γ-Weakly DR-Submodular Maximization
IIT Indore(印度伊蒂学院);Purdue University(普渡大学)
本文提出了一种基于Frank-Wolfe引导的连续贪心框架和γ意识的双贪心步骤的算法,实现了非单调γ-弱DR-子模函数最大化的更强近似保证。
2026-01-02 cs.AI cs.CC cs.LG
Streaming Submodular Maximization under a $k$-Set System Constraint
The Open University of Israel(以色列开放大学);Yale Institute for Network Science, Yale University(耶鲁大学网络科学研究所);University of Haifa(海法大学)
在本文中,我们提出了一个新的框架,将流算法的单调子模块最大化到流算法的非单调子模块最大化。这种减少很容易导致目前最严格的确定性近似比submodular最大化受$k$ -matchoid约束。此外,我们提出了第一个流算法的单调子模最大化受$k$ -可扩展和$k$ -集系统约束。与我们提出的约简一起,我们分别得到了满足上述约束的子模最大化的$O(k\log k)$和$O(k^2\log k)$近似比。我们广泛评估我们的算法对现有的工作在一系列的实验,包括寻找随机生成的图中的最大独立集,最大化线性函数在社交网络,电影推荐,Yelp位置摘要,Twitter数据摘要的经验性能。
2020-02-09 cs.DS cs.LG
Continuous DR-submodular Maximization: Structure and Algorithms
ETH Zurich(苏黎世联邦理工学院)
DR-子模连续函数是重要的目标,具有广泛的现实应用,包括决定点过程(DPP)中的MAP推理,以及概率子模模型的平均场推理等。DR-子模块性捕获非凸函数的子类,其使得能够在多项式时间内实现精确最小化和近似最大化。本文研究了一般下闭凸约束下非单调DR-次模连续函数的极大化问题。我们首先调查的几何性质,这些目标的基础,例如,证明了(近似)稳定点与全局最优解之间的强关系。这些属性,然后用来设计两个优化算法与可证明的保证。具体地说,我们首先设计了一个“两阶段”的算法与$1/4$近似保证。该算法允许使用现有的方法来寻找(近似)固定点作为一个子程序,因此,利用非凸优化的最新进展。然后给出了一个具有$1/e$逼近保证和次线性收敛速度的非单调Frank-Wolfe变式。最后,我们将我们的方法扩展到更广泛的一类广义DR-子模连续函数,它捕获了更广泛的应用。我们的理论研究结果验证合成和现实世界的问题实例。
2019-05-24 cs.AI cs.LG stat.ML
Randomized Algorithms for Monotone Submodular Function Maximization on the Integer Lattice
University of Padova(帕多瓦大学);Czech Technical University in Prague(布拉格捷克理工大学)
具有集合次模目标函数的优化问题有许多实际应用。在离散的情况下,同一个项目可以被选择一次以上,该域从一个2元集一般化到一个有界整数格。在这篇文章中,我们考虑了基数约束下有界整数格上单调子模函数的最大化问题。特别是,我们专注于最大化DR-子模函数,即,定义在整数格上的函数,这些函数表现出收益递减特性。对于任意的n> 0,我们给出了一个概率保证为O的随机算法(1 - 1/e -ε)近似,使用由Mirzasoleiman等人为集合次模函数开发的随机贪心算法启发的框架。然后,我们表明,在合成DR-次模函数上,将我们提出的算法应用于整数格上比替代方案更快,包括将目标问题简化到集合域,然后应用最快的已知集合子模最大化算法。
2021-11-19 cs.AI cs.DS cs.LG
A New Framework for Distributed Submodular Maximization
University of Warwick(华威大学);Boston University(波士顿大学);Northeastern University(东北大学);EPFL(洛桑联邦理工学院)
机器学习中的各种各样的问题,包括样本聚类、文档摘要和传感器放置,可以被转换为受约束的子模块最大化问题。很多最近的努力一直致力于开发分布式算法,这些问题。然而,这些结果遭受高轮数,次优近似比,或两者兼而有之。我们开发了一个框架,使现有的算法在顺序设置的分布式设置,实现接近最佳的近似比,许多设置在只有一个恒定数量的MapReduce轮。我们的技术也给出了一个快速的顺序算法的非单调最大化受拟阵约束。
2016-08-11 cs.AI cs.DC cs.DS
Beyond Pointwise Submodularity: Non-Monotone Adaptive Submodular Maximization subject to Knapsack and $k$-System Constraints
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文研究了带有背包和$k$ -系统约束的非单调自适应次模极大化问题。我们的问题的输入是一组项目,其中每个项目都有一个特定的状态,从一个已知的先验分布。然而,一个项目的状态最初是未知的,必须选择一个项目,以揭示该项目的状态。有一个效用函数是定义在项目和状态上的。我们的目标是顺序选择一组项目,以最大化预期效用。虽然基数约束非单调自适应次模极大化问题在文献中得到了很好的研究,但背包约束或$k$ -系统约束的自适应次模极大化问题是否存在常数近似解仍然是一个悬而未决的问题.事实上,它只解决了点态子模性的额外假设。在本文中,我们删除了点态子模性的共同假设,并提出了第一常数近似解决方案的两种情况。最近的两项研究的启发,非单调自适应子模块最大化,我们开发了一个基于采样的随机算法,实现了一个背包约束的情况下的$\frac{1}{10}$近似,并实现了$\frac{1}{2k+4}$近似比的情况下的$k$系统约束。
2021-09-28 cs.DS cs.LG
Differentially Private Decomposable Submodular Maximization
Khoury College of Computer Sciences, Northeastern University(东北大学胡里计算机科学学院)
研究了可分解子模函数的微分私有约束最大化问题。一个子模函数是可分解的,如果它采取子模函数之和的形式。在基数约束下最大化单调可分解子模函数的特殊情况被称为组合公共项目(CPP)问题[Papadimitriou等人,2008年]。Gupta等人的先前工作。[2010]给出了CPP问题的差分私有算法。我们扩展这项工作的设计差分私人算法的单调和非单调可分解的子模最大化一般拟阵的约束下,具有竞争力的效用保证。我们补充我们的理论界限与实验证明经验的性能,这提高了在一般情况下的子模块最大化的差分私有算法,并接近非私有算法的性能。
2020-05-29 cs.CR cs.DS cs.LG
RobustFSM: Submodular Maximization in Federated Setting with Malicious Clients
Department of Computer Science, University of Massachusetts, Boston, USA(计算机科学系,马萨诸塞大学波士顿分校)
针对联邦子模最大化中恶意客户端共享虚假信息的问题,本文提出鲁棒的RobustFSM方案,并通过真实数据集验证其在严重攻击下解质量可显著优于传统联邦算法,提升幅度最高达200%。
2025-11-08 cs.AI cs.DC cs.LG
Submodular Maximization via Taylor Series Approximation
Northeastern University(东北大学)
本文研究带拟阵约束的子模最大化问题,提出用泰勒级数近似替代采样,使连续贪心算法达到接近1-1/e的近似比,并大幅缩短执行时间。
2021-01-19 cs.LG
Predicting Contextual Sequences via Submodular Function Maximization
Carnegie Mellon University(卡内基梅隆大学)
序列优化,其中列表中的项目被排序以最大化某些奖励,具有许多应用,例如网络广告放置,搜索和机器人中的控制库。先前的序列优化工作产生了一个静态的排序,不考虑项目的任何特征或问题的上下文。在这项工作中,我们提出了一种通用的方法来根据上下文(例如,感知信息、环境描述和目标)。我们采用一种简单、高效、基于约简的方法,通过重复学习序列中每个“槽”的简单分类器或回归器来确定项目的选择和顺序。我们的方法利用最近的子模块函数最大化的工作,提供一个正式的遗憾减少子模块序列优化简单的成本敏感的预测。我们应用我们的上下文序列预测算法来优化控制库,并展示了两个机器人问题的结果:机械手轨迹预测和移动机器人路径规划。
2012-02-09 cs.AI cs.LG cs.RO
Online Continuous Submodular Maximization: From Full-Information to Bandit Feedback
Yale University(耶鲁大学);University of Pennsylvania(宾夕法尼亚大学)
在本文中,我们提出了三个在线算法子模最大化。第一个是Mono-Frank-Wolfe,它将$T^{1/2}$ [Chen 2018 Online]和$T^{3/2}$ [chen 2018 projection]中每个函数的梯度评估数量减少到1,并实现了$O(T^{4/5})$的$(1-1/e)$ -遗憾界。第二个是Bandit-Frank-Wolfe算法,它是第一个求解连续DR-子模极大化的Bandit算法,其$(1-1/e)$ -遗憾界为$O(T^{8/9})$ .最后,我们扩展Bandit-Frank-Wolfe的离散次模最大化,响应弗兰克-Wolfe,它达到了一个$(1-1/e)$ -遗憾界的$O(T^{8/9})$在响应强盗设置的强盗算法。
2019-10-28 cs.LG stat.ML
Guarantees for Greedy Maximization of Non-submodular Functions with Applications
ETH Zurich(苏黎世联邦理工学院)
研究了非次模非减集函数基数约束最大化问题的标准贪心算法的性能。虽然有很强的理论保证贪婪的性能最大化次模函数,有几个保证非次模的。然而,Greedy对于许多重要的非次模函数具有很强的经验性能,例如,实验设计中贝叶斯A-最优性目标。我们证明了支持实证性能的理论保证。我们的保证的特征在于(广义)曲率$α$和子模块比$γ$的组合。特别是,我们证明了贪婪享有紧逼近保证$\frac{1}α(1- e^{-γα})$基数约束最大化。此外,我们绑定的子模块比和曲率的几个重要的现实世界的目标,包括贝叶斯A-最优目标,一个正方形子矩阵的行列式函数和某些线性规划的组合约束。我们的实验验证了我们的理论研究结果的合成和现实世界的应用。
2019-05-14 cs.AI cs.DM cs.DS
Noisy Submodular Maximization via Adaptive Sampling with Applications to Crowdsourced Image Collection Summarization
ETH Zurich(苏黎世联邦理工学院)
我们解决的问题,最大限度地提高一个未知的子模块功能,只能通过嘈杂的评价。我们的工作动机是总结内容的任务,例如,图像集合,通过利用用户以点击或评级形式的反馈。对于以最大化覆盖率和多样性为目标的摘要任务,子模集函数是一个自然的选择。当底层子模函数未知时,用户的反馈可能会对我们寻求最大化的函数提供嘈杂的评估。我们提供了一个通用算法-- \submM{} --用于在基数约束下最大化未知子模函数。该算法利用了一种新的探索模块-- \blbox{} --提出了基于自适应采样噪声函数评估的好元素。\blbox{}能够适应不同类型的观察模型,例如值查询和成对比较。我们为\submM{}获得的解决方案的质量和采样成本提供PAC式保证。我们证明了我们的方法在互动,众包图像收集摘要应用程序的有效性。
2015-12-01 cs.AI cs.LG stat.ML
Dec-BFTRL: Squre-Root Regret for Decentralized Online Upper-Linearizable Optimization under Separation Access with Application to Continuous Submodular Maximization
Purdue University(普渡大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学)
本文提出Dec-BFTRL算法,用于分离访问下分散式在线上线性化优化,实现平方根遗憾,并应用于连续子模最大化。
2026-10-01 cs.AI cs.LG math.OC
Conditional Gradient Method for Stochastic Submodular Maximization: Closing the Gap
Simons Institute for the Theory of Computing(西蒙斯理论计算研究所)
本文研究了\textit{constrained}和\textit{stochastic}连续子模极大化问题。即使目标函数是不是凹(也不是凸),并定义在一个期望,我们开发了一个变种的条件梯度法,称为\alg,它实现了\textit{tight}近似保证。更准确地说,对于单调和连续的DR-子模函数和受到\textit{general}凸体约束,我们证明了\alg实现了$[(1-1/e)\text{OPT} -\eps]$保证(在预期中)与$\mathcal{O}{(1/\eps^3)}$随机梯度计算。这种保证匹配已知的硬度结果,并关闭确定性和随机连续子模最大化之间的差距。通过使用随机连续优化作为一个接口,我们还提供了第一$(1-1/e)$紧逼近保证最大化的\textit{monotone but stochastic}子模块\textit{set}功能的一般拟阵约束。
2017-11-05 cs.LG math.OC
Group Equality in Adaptive Submodular Maximization
Naveen Jindal School of Management, The University of Texas at Dallas(德克萨斯大学达拉斯分校纳文·金德尔管理学院);Department of Computer Science and Engineering, The University of North Texas(北德克萨斯大学计算机科学与工程系)
针对受组平等性约束的子模最大化问题,提出首个常数因子近似算法,并扩展至自适应设置、全局基数约束及其他公平性概念。
2023-08-29 cs.DS cs.LG
Linear-Time Algorithms for Adaptive Submodular Maximization
Naveen Jindal School of Management, The University of Texas at Dallas(德克萨斯大学达拉斯分校纳文·金德尔管理学院)
在本文中,我们开发了两个随机子模极大化问题的快速算法。我们从研究充分的自适应次模最大化问题的基数约束。我们开发了第一个线性时间算法,实现了$(1-1/e-ε)$近似比。值得注意的是,我们的算法的时间复杂度是$O(n\log\frac{1}ε)$(函数评估的数量),这是独立的基数约束,其中$n$是基集的大小。然后,我们引入了完全自适应子模的概念,并开发了一个线性时间算法,最大化一个完全自适应子模函数受分割拟阵约束。我们表明,我们的算法实现了$\frac{1-1/e-ε}{4-2/e-2ε}$的近似比,只使用$O(n\log\frac{1}ε)$数量的功能评估。
2020-07-08 cs.LG stat.ML
Weakly Submodular Maximization Beyond Cardinality Constraints: Does Randomization Help Greedy?
Yale University(耶鲁大学);The Open University of Israel(以色列开放大学)
次模函数是集合函数的一个广泛的类别,它自然地出现在不同的领域。已经提出了许多算法来最大化这些函数。不幸的是,一旦函数偏离子模块性,已知的算法可能执行任意差。修正这一问题,通过获得集函数的近似结果推广次模函数,一直是最近的工作的焦点。其中一类,称为弱次模函数,受到了很多关注。Das和Kempe(2011)证明的一个关键结果表明,受基数约束的弱子模块最大化的贪心算法的近似比随着与子模块的距离而平滑地下降。然而,没有结果已获得最大化的约束超出基数。特别是,它是不知道的贪心算法是否达到任何非平凡的近似比这样的约束。在本文中,我们证明了贪心算法的随机版本(以前由Buchbinder等人使用。(2014)用于不同的问题)对于受一般拟阵约束的弱子模函数的最大化实现了$(1 + 1/γ)^{-2}$的近似比,其中$γ$是测量函数与子模性的距离的参数。此外,我们还实验比较了这个版本的贪心算法对自然基准的现实世界中的问题的性能,并表明,我们研究的算法在实践中也表现良好。据我们所知,这是第一个算法与非平凡的近似保证最大化弱次模函数的约束,而不是简单的基数约束。特别是,它是第一个算法,这样一个保证的重要和广泛的类拟阵约束。
2017-07-13 cs.AI cs.DM cs.DS
Horizontally Scalable Submodular Maximization
ETH Zurich(苏黎世联邦理工学院);Google Research(谷歌研究院)
各种大规模的机器学习问题可以被转换为受约束的子模最大化的实例。现有的分布式子模块最大化方法有一个严重的缺点:容量(可以容纳在内存中的实例数量)必须随着数据集的大小而增长。在实践中,虽然可以提供多台机器,但每台机器的容量受到物理约束的限制。我们提出了一个真正可扩展的方法,分布式子模块最大化在固定的容量。所提出的框架适用于广泛的算法和约束,并提供理论保证的近似因子的任何可用的能力。我们经验评估所提出的算法对各种数据集,并证明它实现了性能竞争力的集中式贪婪的解决方案。
2016-05-31 cs.DC cs.DM cs.LG
A Note On Deterministic Submodular Maximization With Bounded Curvature
The Ohio State University(俄亥俄州立大学)
本文基于 Buchbinder 和 Feldman 在 FOCS'24 的突破性结果,提出一种确定性的 $(1-κ_{f}/e-\varepsilon)$-近似算法,用于拟阵约束下曲率为 $κ_{f}$ 的子模最大化问题。
2024-08-25 cs.DS cs.LG
Unconstrained Submodular Maximization with Constant Adaptive Complexity
Yale Institute for Network Science, Yale University(耶鲁大学耶鲁网络科学研究所);The Open University of Israel(以色列开放大学)
本文研究了无约束次模极大化问题。我们提出了这个问题,实现了紧密的$(1/2-\varepsilon)$近似保证使用$\tilde{O}(\varepsilon^{-1})$自适应轮和线性数量的函数评估的第一个算法。对于这个问题,没有先前已知的算法使用少于$Ω(n)$轮的自适应性来实现比$1/3$更好的近似比,其中$n$是基集的大小。此外,我们的算法很容易扩展到最大化的非负连续DR-子模函数的框约束,并实现了紧密的$(1/2-\varepsilon)$近似保证这个问题,同时保持相同的自适应和查询的复杂性。
2018-11-19 cs.DS cs.LG
Robust Submodular Maximization: A Non-Uniform Partitioning Approach
EPFL(洛桑联邦理工学院)
我们研究的问题最大化的单调子模函数的基数约束$k$,增加的扭曲,一些项目$τ$从返回的集合可能会被删除。我们专注于(Orlin等人,2016),其中为$τ= o(\sqrt{k})$提供了恒定因子近似保证。在本文中,我们解决了其中提出的一个关键的开放问题,提出了一个新的分区鲁棒(PRo)子模块最大化算法,实现了更一般的$τ= o(k)$相同的保证。我们的算法构造分区组成的桶呈指数增长的大小,并应用标准的子模块优化子程序的桶,以构建强大的解决方案。我们用数值方法证明了PRo在数据汇总和影响最大化方面的性能,证明了贪婪算法和(Orlin et al.,2016)。
2017-06-15 cs.LG stat.ML
Optimal DR-Submodular Maximization and Applications to Provable Mean Field Inference
ETH Zurich(苏黎世联邦理工学院)
概率模型中的平均场推断通常是一个高度非凸的问题。现有的优化方法,例如,坐标上升算法,只能产生局部最优解。在这项工作中,我们提出了可证明的平均场方法的概率对数次模模型和它的后验协议(PA)与强近似保证。主要的算法技术是一个新的双贪婪计划,称为DR-DoubleGreedy,连续DR-子模最大化盒约束。它是一个具有线性时间复杂度的一遍算法,达到最佳的1/2近似比,这可能是独立的利益。我们验证了我们的算法对合成和真实世界的数据集上的基线算法的优越性能。
2018-11-29 cs.LG stat.ML
Continuous Submodular Maximization: Beyond DR-Submodularity
University of Haifa(海法大学);Yale University(耶鲁大学)
在本文中,我们提出了第一个连续优化算法,实现了常数因子近似保证问题的单调连续子模最大化的线性约束。我们首先证明了一个简单的变种香草坐标上升,称为Coordinate-Ascent+,实现了$(\frac{e-1}{2e-1}-\varepsilon)$ -近似保证,同时执行$O(n/\varepsilon)$迭代,其中每次迭代的计算复杂性大致为$O(n/\sqrt{\varepsilon}+n\log n)$(在这里,$n$表示优化问题的维度)。然后,我们提出了Coordinate-Ascent++,它实现了严格的$(1-1/e-\varepsilon)$近似保证,同时执行相同数量的迭代,但在一个更高的计算复杂性,大约$O(n^3/\varepsilon^{2.5} + n^3 \log n / \varepsilon^2)$每次迭代。然而,每轮Coordinate-Ascent++的计算可以很容易地并行化,使得每台机器的计算成本按$O(n/\sqrt{\varepsilon}+n\log n)$缩放。
2020-06-21 cs.DS cs.LG
Submodular Maximization Through Barrier Functions
Google(谷歌);Yale University(耶鲁大学);Stanford University(斯坦福大学)
在本文中,我们介绍了一种新的技术约束子模最大化,连续优化中的障碍函数的启发。这种连接不仅提高了运行时间的约束子模最大化,但也提供了最先进的保证。更确切地说,对于最大化的单调子模函数的组合的$k$ -matchoid和$\ell$ -背包约束($\ell\leq k$),我们提出了一个潜在的功能,可以近似最小化。一旦我们最小化的潜在功能,直到$ε$错误,它是保证,我们已经找到了一个可行的设置与$2(k+1+ε)$ -近似因子,确实可以进一步改善$(k+1+ε)$的枚举技术。我们广泛评估我们提出的算法在几个现实世界的应用程序,包括电影推荐系统,YouTube视频,Twitter的饲料和Yelp的业务位置,总结任务和一组覆盖问题的性能。
2020-02-10 cs.LG stat.ML
Robust Adaptive Submodular Maximization
Naveen Jindal School of Management, The University of Texas at Dallas(德克萨斯大学达拉斯分校纳文·金达尔管理学院)
序贯决策问题的目标是设计一个交互式策略,自适应地选择一组项目,每次选择都是基于过去的反馈,以最大化所选项目的期望效用。它已被证明,许多现实世界中的应用程序的效用函数是自适应子模。然而,现有的自适应子模块优化算法的研究大多集中在平均情况下。不幸的是,具有良好平均情况性能的策略在最坏情况实现下可能具有非常差的性能。在这项研究中,我们建议研究两个变种的自适应子模块优化问题,即最坏情况下的自适应子模块最大化和鲁棒子模块最大化。第一个问题的目的是找到一个政策,最大化最坏情况下的效用和后者的目的是找到一个政策,如果有的话,同时实现近最优的平均情况下的效用和最坏情况下的效用。我们引入了一类新的随机函数,称为\emph{worst-case submodular function}。对于$p$系统约束下的最坏情况自适应次模块最大化问题,如果效用函数是最坏情况次模块化的,我们提出了一种自适应最坏情况贪婪策略,该策略可以实现对最优最坏情况效用的$\frac{1}{p+1}$逼近比.对于基数约束下的鲁棒自适应次模最大化问题(分别为分割拟阵约束),如果效用函数是最坏情况下的次模和自适应次模,我们开发了一种混合自适应策略,实现了接近$1-e^{-\frac{1}{2}}$(分别为)的近似。$1/3$)同时在最差情况和平均情况设置下。我们还描述了我们的理论结果的几个应用,包括池为基础的主动学习,随机子模块集覆…
2022-09-12 cs.DS cs.LG math.OC
Efficient algorithms for robust submodular maximization under matroid constraints
Georgia Institute of Technology(佐治亚理工学院)
在这项工作中,我们考虑鲁棒次模最大化与拟阵约束。我们给出了一个有效的双准则近似算法,输出一个小家庭的可行集,其工会有(近)最佳的目标值。该算法理论上执行的函数调用比以前的作品在成本上添加更多的元素到最终的解决方案。我们还提供了显着的实现改进,表明我们的算法优于现有文献中的算法。最后,我们评估我们的贡献在三个现实世界中的应用程序的性能。
2018-07-25 cs.DM cs.DS cs.LG
Beyond Pointwise Submodularity: Non-Monotone Adaptive Submodular Maximization in Linear Time
Naveen Jindal School of Management, The University of Texas at Dallas(德克萨斯大学达拉斯分校纳文·金达尔管理学院)
本文研究了基数约束下的非单调自适应次模极大化问题。我们首先回顾了自适应随机贪心算法提出的\citep{gotovos2015non},他们表明,该算法实现了$1/e$逼近比,如果目标函数是自适应次模和逐点次模。目前还不清楚在自适应子模块化(不诉诸逐点子模块化)下是否有相同的保证。我们的第一个贡献是表明,自适应随机贪心算法实现了$1/e$自适应子模块化下的近似比。自适应随机贪心算法的一个限制是它需要$O(n\times k)$值Oracle查询,其中$n$是基集的大小,$k$是基数约束。我们的第二个贡献是发展的第一个线性时间算法的非单调自适应次模最大化问题。我们的算法实现了一个$1/e-ε$近似比(这个界是改进的$1-1/e-ε$单调的情况下),只使用$O(nε^{-2}\log ε^{-1})$值的Oracle查询。值得注意的是,$O(nε^{-2}\log ε^{-1})$独立于基数约束。对于单调的情况下,我们提出了一个更快的算法,实现了$1-1/e-ε$近似比的期望与$O(n \log \frac{1}ε)$值Oracle查询。我们还推广了我们的研究,考虑分区拟阵约束,并开发了一个线性时间算法的单调和完全自适应次模函数。
2020-12-15 cs.LG stat.ML
Partial-Adaptive Submodular Maximization
Naveen Jindal School of Management, The University of Texas at Dallas(德克萨斯大学达拉斯分校纳文·金达尔管理学院);Department of Computer Science, The University of Texas at Dallas(德克萨斯大学达拉斯分校计算机科学系)
一个典型的自适应序贯决策问题的目标是设计一个交互式的政策,选择一组项目顺序,根据一些部分的意见,以最大化的期望效用。许多实际应用的效用函数,包括基于池的主动学习和自适应影响力最大化,都满足自适应子模块性的性质。然而,大多数关于自适应子模最大化的现有研究都集中在完全自适应设置上,即,在进行下一个选择之前,必须等待来自\emph{all}过去选择的反馈。虽然这种方法可以充分利用来自过去的反馈来做出明智的决定,但与非自适应解决方案相比,它可能需要更长的时间来完成选择过程,在非自适应解决方案中,所有选择都是在进行任何观察之前提前进行的。在本文中,我们探讨了部分自适应次模最大化的问题,其中一个是允许在一批同时进行多个选择,并观察他们的实现在一起。我们的方法具有自适应性的优点,同时减少了等待过去选择的观察结果所花费的时间。据我们所知,没有结果是已知的部分自适应政策的非单调自适应次模最大化问题。我们在基数约束和背包约束下研究了这个问题,并为这两种情况开发了有效和高效的解决方案。我们还分析了批量查询的复杂性,即,一个策略完成选择过程所需的批次数,在一些额外的假设下,我们的策略。
2021-11-01 cs.LG
Robust Maximization of Non-Submodular Objectives
EPFL(洛桑联邦理工学院)
我们研究的问题,最大化的单调集函数的基数约束$k$的设置中删除一些元素$τ$从返回的集合。这项工作的重点是最坏情况下的对抗性设置。虽然当函数是子模块时存在常数因子保证,但对于非子模块目标没有保证。在这项工作中,我们提出了一个新的算法遗忘贪婪,并证明了第一个常数因子近似保证更广泛的非次模目标。所获得的理论界限是第一个常数因子界限,也保持在线性制度,即当删除$τ$的数量是线性的$k$。我们的界限依赖于已建立的参数,如子模比和一些新的,如逆曲率。我们约束这些参数的两个重要目标,包括支持选择和方差减少。最后,我们在各种数据集上证明了遗忘贪婪算法对这两个目标的鲁棒性能。
2020-05-02 cs.AI cs.DS cs.LG
Online Two-Stage Submodular Maximization
Boston University(波士顿大学);EPFL(苏黎世联邦理工学院);Northeastern University(东北大学)
针对在线两阶段子模最大化问题,提出算法在一般拟阵和均匀拟阵下分别达到亚线性遗憾界,并在真实数据上验证性能。
2025-10-22 cs.DS cs.LG
Differentiable Greedy Submodular Maximization: Guarantees, Gradient Estimators, and Applications
Graduate School of Information Sciences and Technology(信息科学与技术研究生院);The University of Tokyo(东京大学)
例如,随着灵敏度分析和端到端学习的发展,对可微优化算法的需求显著增加。在本文中,我们建立了一个理论上有保证的通用框架,使单调子模函数最大化的贪心算法可微。我们通过随机化对贪心算法进行了光滑化,并证明了在基数和$κ$ -可扩展系统约束的情况下,它几乎可以在期望中恢复原始的近似保证。我们还展示了如何有效地计算任何预期的输出相关量的无偏梯度估计。我们证明了我们的框架的实用性,通过实例化它的各种应用程序。
2020-06-12 cs.DS cs.LG
Guaranteed Non-convex Optimization: Submodular Maximization over Continuous Domains
ETH Zurich(苏黎世联邦理工学院)
次模连续函数是一类(一般)非凸/非凹函数,具有广泛的应用。我们描述这些功能,并证明他们可以有效地近似保证最大化。具体地说,i)我们引入了弱DR性质,给出了所有集合、整数格和连续函数的次模性的统一刻画; ii)对于一般下闭凸约束下的单调DR-次模连续函数,我们提出了一个具有$(1-1/e)$逼近保证和次线性收敛速度的Frank-Wolfe变式;(3)对于一般非单调子模连续函数的最大化问题,我们提出了一个具有$1/3$逼近保证的DoubleGreedy算法.子模块连续函数自然地找到应用程序在各种现实世界中的设置,包括影响力和收入最大化与连续分配,传感器能源管理,多分辨率数据汇总,设施位置等实验结果表明,所提出的算法有效地产生优越的解决方案相比,基线算法。
2019-05-06 cs.DS cs.LG
A Parallel Double Greedy Algorithm for Submodular Maximization
Boston University(波士顿大学);Northeastern University(东北大学)
研究了极大化非负次模函数问题的并行算法。我们的主要结果是一个算法,实现了接近最佳的$1/2 -ε$近似使用$O(\log(1/ε) / ε)$并行轮的功能评估。我们的算法是基于一个连续的双贪心算法的Buchbinder等人。实现最佳的$1/2$近似的顺序设置。我们的算法更普遍地适用于最大化连续递减收益(DR)函数的问题。
2018-12-04 cs.DS cs.LG
Fast and Private Submodular and $k$-Submodular Functions Maximization with Matroid Constraints
Simon Fraser University(西蒙菲莎大学);National Institute of Informatics(信息科学研究所)
在过去的十年中,极大化非负单调次模函数的问题得到了广泛的研究,并提出了一系列有效的近似算法。许多机器学习问题,包括数据摘要和影响力最大化,可以很自然地建模为最大化单调子模函数的问题。然而,当此类应用程序涉及有关个人的敏感数据时,应解决其隐私问题。本文在差分隐私框架下研究了拟阵约束下的单调次模函数的最大化问题。我们提供了$(1-\frac{1}{\mathrm{e}})$ -近似算法,它改进了以前的结果在近似保证。在我们的算法中,这几乎是用立方数量的函数求值来完成的。此外,我们研究了$k$ -子模块性,子模块性的一个自然推广。我们给第一个$\frac{1}{2}$近似算法,保持差分隐私最大化单调$k$ -子模函数拟阵约束。近似比是渐近紧的,并获得了几乎线性数量的功能评估。
2020-06-28 cs.CR cs.DM cs.DS
Fairness in Streaming Submodular Maximization: Algorithms and Hardness
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Google Zurich(谷歌苏黎世);EPFL(洛桑联邦理工学院);Microsoft Research(微软研究院)
子模块最大化已成为选择具有代表性和多样性的数据摘要的任务的选择方法。然而,如果数据点具有敏感的属性,如性别或年龄,这种机器学习算法,如果不加以检查,就会表现出偏见:特定群体的代表性不足或过度。这使得公平的机器学习算法的设计变得越来越重要。在这项工作中,我们解决了一个问题:是否有可能为大规模数据集创建公平的摘要?为此,我们开发的第一个流近似算法子模最大化公平性约束下,单调和非单调函数。我们在基于范例的聚类、电影推荐、基于DPP的摘要和社交网络中的最大覆盖率方面实证验证了我们的发现,表明公平性约束不会显着影响效用。
2020-10-18 cs.DS cs.LG
Bandit Submodular Maximization under Matroid Constraints: Learning Compressed Exchange Policy
Great Bay University(湾大大学);Fuzhou University(福州大学)
该研究针对拟阵约束下的对抗博弈子模极大化问题,提出基于平衡分数交换的多项式时间算法,实现次线性regret,是该方向首个此类算法。
2026-08-26 cs.LG
Practical Parallel Algorithms for Non-Monotone Submodular Maximization
School of Computer Science and Technology(计算机科学与技术学院);Soochow University(苏州大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学);Alibaba Group(阿里巴巴集团);Qingdao University of Science and Technology(青岛科技大学)
针对背包与 k-系统约束下的非单调子模最大化,论文提出低自适应复杂度的并行组合算法,给出可证明近似保证并经实验验证有效。
2024-12-03 cs.DS cs.LG
Streaming Algorithms for News and Scientific Literature Recommendation: Submodular Maximization with a d-Knapsack Constraint
Texas A&M University(德克萨斯A&M大学)
次模极大化问题属于组合优化问题族,有着广泛的应用。在本文中,我们专注于最大化单调子模函数的问题受到$d$ -背包约束,为此,我们提出了一个流算法,实现了$\left(\frac{1}{1+2d}-ε\right)$ -近似的最优值,而它只需要一个单一的通过数据集,而不存储在内存中的所有数据。在我们的实验中,我们广泛评估我们提出的算法的有效性,通过两个应用程序:新闻推荐和科学文献推荐。据观察,所提出的流算法实现了执行加速和内存节省了几个数量级,与现有的方法相比。
2016-07-05 cs.DS cs.LG
Dynamic Non-monotone Submodular Maximization
University of Maryland(马里兰大学);TU Eindhoven(埃因霍温理工大学)
该研究通过将基数约束下非单调子模最大化归约为单调子模最大化,给出首个该问题的动态算法,实现(8+ε)近似,并在真实数据集验证了其在视频摘要等任务中的有效性。
2023-11-07 cs.DS cs.LG
Differentiable Submodular Maximization
Microsoft Research Cambridge(微软研究院剑桥);ETH Zurich(苏黎世联邦理工学院)
我们考虑从数据中学习子模函数。这些功能在机器学习中非常重要,并且具有广泛的应用,例如数据摘要,特征选择和主动学习。尽管它们的组合性质,子模函数可以在多项式时间内近似最大化,并具有强的理论保证。通常,学习子模函数和该函数的优化是分开处理的,即首先使用代理目标学习函数,然后最大化。相反,我们展示了如何联合执行学习和优化。通过将贪婪最大化算法的输出解释为项目序列上的分布,并平滑这些分布,我们得到了一个可微目标。通过这种方式,我们可以通过最大化算法进行区分,并优化模型,以便与优化算法一起工作。我们从理论上描述了我们的方法所产生的误差,从而深入了解平滑性和准确性的权衡。我们证明了我们的方法的有效性,共同学习和优化合成的最大割数据,并在现实世界中的应用,如产品推荐和图像收集总结。
2018-06-14 cs.LG stat.ML
Scaling Submodular Maximization via Pruned Submodularity Graphs
University of Washington(华盛顿大学);Yahoo Research(雅虎研究院)
我们提出了一种新的随机修剪方法(称为“子模块稀疏化(SS)”),以减少子模块最大化的成本。修剪通过“子模块图”应用于$n$基元素,其中每个有向边与由子模块函数定义的成对依赖性相关联。在每个步骤中,SS使用仅基于少量($O(\log n)$)随机采样的节点计算的边上的权重来修剪节点的$1-1/\sqrt{c}$(对于$c>1$)部分。该算法需要$\log_{\sqrt{c}}n$步骤,每步计算量小且高度并行。一个精度-速度折衷参数$c$,设置为$c = 8$,导致快速收缩率$\sqrt{2}/4$和小的迭代复杂度$\log_{2\sqrt{2}}n$。分析显示,对大小为$O(\log^2 n)$的修剪集的贪婪算法可以实现与处理原始数据集的保证类似的保证。在新闻和视频摘要任务中,SS能够大幅降低计算成本和内存使用,同时保持(甚至略微超过)原始(成本更高)贪婪算法的质量。
2016-06-01 cs.LG math.CO stat.ML
Balancing Utility and Fairness in Submodular Maximization (Technical Report)
East China Normal University(华东师范大学);Singapore Management University(新加坡管理大学);CENTAI Institute(CENTAI研究所);Eurecat(Eurecat技术中心)
针对子模最大化中效用与公平性难以兼顾的问题,提出双准则子模最大化(BSM)问题,并设计两种实例相关近似算法,在最大覆盖、影响力最大化和设施选址中验证了有效性。
2023-06-19 cs.DS cs.LG
Black Box Submodular Maximization: Discrete and Continuous Settings
Yale Institute for Network Science(耶鲁网络科学研究所);Yale University(耶鲁大学);University of Pennsylvania(宾夕法尼亚大学)
在本文中,我们考虑黑盒连续次模最大化问题,我们只能访问的功能值,没有信息的导数提供。对于单调和连续的DR-子模函数,并受到有界凸体约束,我们提出了黑盒连续贪婪,一个导数免费的算法,可证明实现了紧$[(1-1/e)OPT-ε]$近似保证与$O(d/ε^3)$功能评价。然后,我们将我们的结果扩展到随机设置的函数值受到随机零均值噪声。正是通过这种随机推广,我们重新审视离散次模最大化问题,并使用多线性扩展作为离散和连续设置之间的桥梁。最后,我们广泛评估我们的算法的性能,连续和离散submodular目标函数使用合成和真实数据。
2020-03-01 cs.DS cs.LG math.OC
Regularized Submodular Maximization at Scale
Yale Institute for Network Science(耶鲁网络科学研究所);Yale University(耶鲁大学);Expedia Group(亿客行集团);University of Haifa(海法大学)
在本文中,我们提出了可扩展的方法,最大化的正则次模函数$f = g - \ell$表示为单调次模函数$g$和模块化函数$\ell$之间的差异。事实上,子模块性与多样性、覆盖面和代表性的概念有着内在的联系。特别是,找到许多流行的概率模型的多样性,如行列式点过程,次模概率模型和强对数凹分布的模式,涉及(正则化)次模函数的最大化。由于正则化函数$f$可能具有负值,因此严重依赖于次模函数的非负性假设的经典次模最大化理论可能不适用。为了规避这一挑战,我们开发了第一个单程流算法,用于最大化受$k$基数约束的正则化子模函数。它返回一个解决方案$S$,并保证$f(S)\geq(ϕ^{-2}-ε) \cdot g(OPT)-\ell (OPT)$,其中$ϕ$是黄金比例。此外,我们开发了第一个分布式算法,该算法返回一个解决方案$S$,并保证$\mathbb{E}[f(S)] \geq (1-ε) [(1-e^{-1}) \cdot g(OPT)-\ell(OPT)]$在$O(1/ ε)$轮MapReduce计算中,而无需在每轮中保留整个数据集的多个副本(通常是这样做的)。我们应该强调的是,我们的结果,即使是非正规化的情况下,模块项$\ell$为零,提高了内存和通信的复杂性,现有的工作的一个因素,$O(1/ ε)$,同时可以说提供了一个更简单的分布式算法和统一的分析。我们还实证研究了我们的可扩展的方法在…
2020-02-10 cs.LG stat.ML
Optimal Algorithms for Continuous Non-monotone Submodular and DR-Submodular Maximization
Stanford University(斯坦福大学)
在本文中,我们研究了极大化超立方体上的连续非单调子模函数的基本问题,包括有和没有坐标方向的限制。这类优化问题在机器学习、经济学和通信系统中有几个应用。我们的主要结果是第一个$\frac{1}{2}$ -近似算法连续次模函数最大化,这个近似因子的$\frac{1}{2}$是最好的算法,只查询目标函数在多项式多点。对于DR-次模最大化的特殊情况,即当次模函数沿所有坐标也是坐标方向凹时,我们提供了一个不同的$\frac{1}{2}$ -近似算法,它在准线性时间内运行。这两个结果都改进了先前的工作[Bian et al,2017,Soma and Yoshida,2017]。我们的第一个算法使用了新的想法,如减少保证近似问题,以分析每个坐标的零和游戏,并结合了这个零和游戏的几何形状,以固定在这个坐标的值。我们的第二个算法利用坐标明智的搜索,以确定一个单调的平衡条件足以得到所需的近似保证,并使用二进制搜索的平衡点狩猎。我们进一步运行实验来验证我们提出的算法在相关机器学习应用中的性能。
2018-05-24 cs.DS cs.GT cs.LG
Scaling the Indian Buffet Process via Submodular Maximization
Engineering Department, Cambridge University(剑桥大学工程系)
潜在特征模型的推理本质上是困难的,因为推理空间随着输入数据的大小和潜在特征的数量呈指数增长。在这项工作中,我们使用Kurihara & Welling(2008)的最大化期望框架来执行近似MAP推理的线性高斯潜在特征模型与印度巴菲特过程(IBP)之前。该公式产生对应于模型证据上的下限的特征的子模块函数。通过给这个函数增加一个常数,我们得到一个非负的子模函数,可以通过贪婪算法最大化,该算法至少获得最优解的三分之一近似。我们的推理方法与输入数据的大小呈线性关系,我们显示了我们的方法在目前使用IBP模型分析的最大数据集上的有效性。
2013-07-24 cs.LG stat.ML
Using Partial Monotonicity in Submodular Maximization
University of Haifa(海法大学)
在过去的二十年里,次模函数最大化一直是机器学习应用中许多离散优化问题的主力。传统上,子模函数的研究是基于二元函数的性质。然而,这样的属性有一个继承的弱点,即,如果一个算法假设函数具有特定的属性,那么它不会为违反此属性的函数提供保证,即使违反非常轻微。因此,最近的工作开始考虑连续版本的函数属性。其中最重要的(到目前为止)可能是子模比和曲率,它们被广泛地一起和单独研究。集函数的单调性在次模极大化中起着核心作用。然而,尽管有上述所有工作,迄今为止(据我们所知)还没有提出这个属性的连续版本。这是不幸的,因为几乎单调的子模函数经常出现在机器学习应用中。在这项工作中,我们填补了这一空白,定义的单调性比,这是一个连续版本的单调性属性。然后,我们表明,对于许多标准的子模最大化算法,可以证明新的近似保证,依赖于单调性比,从而提高近似比的电影推荐,二次规划和图像摘要的常见机器学习应用。
2022-05-17 cs.DS cs.LG math.OC
Communication-Efficient Decentralized Online Continuous DR-Submodular Maximization
City University of Hong Kong(香港城市大学);Cainiao Network(菜鸟网络)
最大化单调子模函数是机器学习、经济学和统计学中的一项基本任务。在本文中,我们提出了两个通信有效的分散在线算法的单调连续DR-子模最大化问题,这两个减少每功能梯度评估的数量和每轮通信复杂性从$T^{3/2}$到$1$。第一个是单次分散元Frank-Wolfe(Mono-DMFW),实现了$O(T^{4/5})$的$(1-1/e)$ -遗憾界。据我们所知,这是第一个用于单调连续DR子模最大化的一次性无投影分散在线算法。其次,受非遗忘提升函数\citep{zhang2022boosting}的启发,提出了分散在线提升梯度上升(DOBGA)算法,该算法实现了$O(\sqrt{T})$的$(1-1/e)$ -遗憾。据我们所知,这是第一个结果,以获得最佳的$O(\sqrt{T})$对$(1-1/e)$ -近似,只有一个梯度查询每个局部目标函数的每一步。最后,各种实验结果证实了所提出的方法的有效性。
2022-08-18 cs.LG math.OC
Fairness in Monotone $k$-submodular Maximization: Algorithms and Applications
Iowa State University(爱荷华州立大学)
本文首次将公平性引入单调 $k$-子模最大化,提出贪心与阈值算法,分别实现 $\frac{1}{3}$ 和 $(\frac{1}{3}-ε)$ 近似,并通过案例验证公平约束对解质量影响甚微。
2024-11-08 cs.DS cs.LG