Submodular Maximization Through Barrier Functions
Google（谷歌）；Yale University（耶鲁大学）；Stanford University（斯坦福大学）
在本文中，我们介绍了一种新的技术约束子模最大化，连续优化中的障碍函数的启发。这种连接不仅提高了运行时间的约束子模最大化，但也提供了最先进的保证。更确切地说，对于最大化的单调子模函数的组合的$k$ -matchoid和$\ell$ -背包约束（$\ell\leq k$），我们提出了一个潜在的功能，可以近似最小化。一旦我们最小化的潜在功能，直到$ε$错误，它是保证，我们已经找到了一个可行的设置与$2(k+1+ε)$ -近似因子，确实可以进一步改善$(k+1+ε)$的枚举技术。我们广泛评估我们提出的算法在几个现实世界的应用程序，包括电影推荐系统，YouTube视频，Twitter的饲料和Yelp的业务位置，总结任务和一组覆盖问题的性能。
2020-02-10 cs.LG stat.ML
Shaping Level Sets with Submodular Functions
INRIA（法国国家信息与自动化研究所）；Laboratoire d’Informatique de l’Ecole Normale Supérieure（巴黎高等师范学院计算机实验室）
我们考虑一类基于次模函数的稀疏诱导正则化项。虽然以前的工作主要集中在非减函数，我们探讨对称次模函数及其\lova扩展。我们证明了Lovasz扩展可以被看作是依赖于水平集的函数的凸包络（即，其基础预测器的对应分量大于给定常数的索引集合）：这导致一类凸结构正则化项，其将先验知识强加于水平集，而不仅仅是基础预测器的支持。我们提供了一套统一的优化算法，如近似运算符和理论保证（允许的水平集和恢复条件）。通过选择特定的子模函数，我们给出了一个新的解释，已知的规范，如总变差，我们还定义了新的规范，特别是那些基于顺序统计与应用程序的聚类和离群值检测，并在嘈杂的削减图中的应用程序的变化点检测中存在离群值。
2011-06-10 cs.LG stat.ML
A Memoization Framework for Scaling Submodular Optimization to Large Scale Problems
Microsoft Corporation（微软公司）；University of Washington（华盛顿大学）
我们的动机是大规模的次模块优化问题，其中标准算法，治疗的次模块功能的\emph{value oracle model}不规模。在本文中，我们提出了一个称为\emph{precomputational complexity model}的模型，以及一个统一的memoization为基础的框架，它着眼于特定形式的子模块功能。在这个框架中的一个关键成分是一个\emph{precomputed statistic}的概念，这是保持在算法的过程中。我们表明，我们可以很容易地集成到一个大类的子模块优化问题，包括约束和无约束的子模块最大化，最小化，子模块优化的差异，优化与子模块约束和其他几个相关的优化问题。此外，memoization可以集成在离散和连续松弛口味的算法，这些问题。我们证明了这一想法的几个常见的子模块化功能，并显示如何预计算模型提供了显着的加速比的值Oracle模型。最后，我们经验证明这是大规模的机器学习问题的数据子集的选择和总结。
2019-02-26 cs.AI cs.DS cs.LG
Online Non-Monotone DR-submodular Maximization
IBISC；Univ. Evry（埃夫里大学）；University Paris-Saclay（巴黎萨克雷大学）
在本文中，我们研究最大化DR-子模连续函数，在机器学习，经济学，运筹学和通信系统领域的实际应用的基本问题。它捕获了非凸优化的一个子类，提供了理论和实践保证。在这里，我们专注于最小化遗憾的在线到达非单调DR-次模函数在不同类型的凸集：超立方体，下闭和一般凸集。首先，我们提出了一个在线算法，实现了$1/e$ -近似比与遗憾的$O(T^{2/3})$最大化DR-子模函数在任何下闭凸集。请注意，$1/e$的近似比与问题的离线版本的最佳保证匹配。此外，当凸集是超立方体时，我们提出了一个紧1/2近似算法，其遗憾界为$O(\sqrt{T})$。接下来，我们给出了一个在线算法，实现了近似保证（取决于搜索空间）的问题，最大化非单调连续DR-次模函数的\emph{general}凸集（不一定下闭）。据我们所知，没有事先的算法与近似保证已知的非单调DR-子模极大化在线设置。最后，我们运行实验来验证我们的算法在机器学习领域与现实世界的数据集出现的问题的性能。
2020-06-23 cs.DS cs.LG stat.ML
Deep Submodular Functions
University of Washington（华盛顿大学）
We start with an overview of a class of submodular functions called SCMMs (sums of concave composed with non-negative modular functions plus a final arbitrary modular). We then define a new class of submodular functions we call { \em deep submodular functions} or DSFs. We show that DSFs are a flexible parametric family of submodular functions that share many of the properties and advantages of deep neural networks (DNNs). DSFs can be motivated by considering a hierarchy of descriptive concepts over ground elements and where one wishes to allow submodular interaction throughout this hierarchy. …
2017-01-31 cs.LG
Competitive Algorithms for Online Budget-Constrained Continuous DR-Submodular Problems
University of Washington（华盛顿大学）；Tetration Analytics, Cisco Systems, Inc.（思科系统公司Tetration Analytics部门）
在本文中，我们研究了一类在线最优化问题，其中的目标是最大化一个函数，不一定是凹的，并满足递减收益（DR）的预算约束下的性质。我们分析了一个原始对偶法，称为广义序列算法，我们得到的竞争比的第一界的在线单调DR-次模函数最大化的线性包装约束下匹配的特殊情况下的线性目标函数紧界。
2019-06-30 cs.LG math.OC stat.ML
Distributionally Robust Submodular Maximization
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；USC（南加利福尼亚大学）
子模块函数在整个机器学习中都有应用，但在许多设置中，我们无法直接存取底层函数$f$。我们专注于随机函数，给出了一个分布$P$的期望函数。在实践中，我们通常只有来自$P$的有限样本集$f_i$。标准方法通过最大化$f_i$的和来间接优化$f$。然而，这忽略了对真实（未知）分布的泛化。在本文中，我们通过直接优化偏差和方差的组合，在实际的底层函数$f$上实现了更好的性能。在数学上，我们完成了这一点，展示了如何进行分布式鲁棒优化（DRO）的次模函数，提供有效的算法支持的理论保证，利用几个新的贡献DRO的一般理论。我们还展示了令人信服的经验证据，DRO提高了推广到未知的随机次模函数。
2018-06-06 cs.LG math.OC stat.ML
Neural Estimation of Submodular Functions with Applications to Differentiable Subset Selection
Indian Institute of Technology Bombay（印度理工学院孟买分校）
Submodular functions and variants, through their ability to characterize diversity and coverage, have emerged as a key tool for data selection and summarization. Many recent approaches to learn submodular functions suffer from limited expressiveness. In this work, we propose FLEXSUBNET, a family of flexible neural models for both monotone and non-monotone submodular functions. To fit a latent submodular function from (set, value) observations, FLEXSUBNET applies a concave function on modular functions in a recursive manner. We do not draw the concave function from a restricted family, but rath…
2022-10-20 cs.LG
Optimal approximation for unconstrained non-submodular minimization
Massachusetts Institute of Technology（麻省理工学院）
子模函数极小化问题已经得到了很好的研究，现有的算法可以精确地解决它，或者可以达到任意的精度。然而，在许多应用中，例如结构化稀疏学习或批量贝叶斯优化，目标函数不是精确的子模，而是接近的。在这种情况下，不存在理论上的保证。事实上，次模最小化算法依赖于次模性和凸性之间的复杂联系。我们展示了如何将这些关系扩展到最小化非次模函数的近似保证，其特征在于函数是如何接近次模的。我们还将这一结果扩展到噪声函数的评价。我们的近似结果是第一次最小化非次模函数，是最佳的，我们的匹配下界建立。
2022-03-09 cs.DM cs.DS cs.LG
Approximate Submodular Functions and Performance Guarantees
University of Southern California（南加州大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文研究非负非减集函数的极大化问题。虽然最近的大部分工作集中在利用子模块化，事实证明，我们在实践中遇到的几个目标是不是子模块化。尽管如此，我们经常利用子模函数中使用的贪心算法来确定非子模函数的解。在此之后，我们提出解决原来的问题，由\emph{approximating}的非子模函数，并分析所产生的错误，以及性能的权衡。为了量化的近似误差，我们引入了一个新的概念，$δ$ -近似的函数，我们用来定义的子模函数的空间，位于近似误差。我们提供的必要条件，存在这样的$δ$ -近似函数，这可能不是唯一的。因此，我们把这个子空间称为\emph{region of submodularity}。此外，子模函数是已知的，导致不同的次最优性保证，所以我们推广到\emph{greedy curvature}的概念上的$δ$ -近似的依赖关系。最后，我们使用后一个概念来简化一些现有的结果，并有效地（即，线性复杂度）使用实际设置中常用的目标函数来确定次优性保证的收紧界限，并使用真实数据来验证它们。
2018-06-17 cs.DS cs.LG
Very Fast Streaming Submodular Function Maximization
TU Dortmund University（多特蒙德工业大学）
数据摘要已经成为理解甚至是TB级数据的有价值的工具。次模函数由于其令人信服的理论性质，一直是摘要算法研究的热点。这些算法提供了最坏情况下的近似保证，以牺牲更高的计算和存储器的要求。然而，许多实际应用程序并不属于这种最坏情况，而是通常表现得更好。在本文中，我们提出了一个新的子模函数最大化算法称为ThreeSieves，它忽略了最坏的情况下，但提供了一个很好的解决方案，在高概率。它从动态数据流中选择信息量最大的项，并在固定的内存预算上保持可证明的性能。在一个广泛的评估，我们比较我们的方法对$6$其他方法在$8$不同的数据集和没有概念漂移。我们表明，我们的算法优于目前最先进的算法，并在同一时间，使用更少的资源。最后，我们强调了我们的算法在伽马射线天文学中的数据汇总的一个真实用例。我们在https://github.com/sbuschjaeger/SubmodularStreamingMaximization上公开发布我们的代码。
2021-05-08 cs.DM cs.LG stat.ML
Differentially Private Online Submodular Optimization
Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们开发了第一个算法在线子模最小化，保持差分隐私下的完全信息反馈和强盗反馈。$n$元素集合上的$T$子模块函数序列在线到达，并且在每个时间步，算法必须在看到函数之前选择$[n]$的子集。该算法产生的成本等于在所选集合上评估的函数，并试图选择一个序列的集合，实现低预期的遗憾。我们的第一个结果是在全信息设置中，算法可以在每个时间步做出决策后观察整个函数。我们给出了一个算法，在这种情况下，是$ε$ -差分隐私，并达到预期的遗憾$\tilde{O}\left(\frac{n^{3/2}\sqrt{T}}ε\right)$。该算法利用Lovasz扩张将次模函数松弛为凸函数，并模拟了一个差分私有在线凸优化算法。我们的第二个结果是在bandit设置中，算法只能看到其选择的集合所产生的成本，并且不能访问整个函数。该设置明显更具挑战性，因为算法没有接收到足够的信息来计算Lovasz扩展或其子梯度。相反，我们使用单点估计构建无偏估计，然后使用此估计模拟私人在线凸优化。我们的算法使用强盗反馈是$ε$ -差分私有的，并达到预期的遗憾$\tilde{O}\left(\frac{n^{3/2}T^{3/4}}ε\right)$。
2018-07-06 cs.DS cs.LG stat.ML
Planning with Submodular Objective Functions
Carnegie Mellon University（卡内基梅隆大学）；Duke University（杜克大学）；Sarcos Robotics（萨科斯机器人公司）
我们研究规划与次模块化的目标函数，而不是最大化的累积奖励，目标是最大化的目标值诱导的次模块化的功能。我们的框架包含标准规划和子模最大化基数约束作为特例，因此许多实际应用可以自然地制定在我们的框架。基于多线性扩展的概念，我们提出了一个新的和理论上的原则算法框架规划与子模块化的目标函数，恢复经典算法时，适用于上述两种特殊情况。从经验上讲，我们的方法在合成环境和导航任务上的性能明显优于基线算法。
2020-10-22 cs.AI cs.LG
Sparsification of Decomposable Submodular Functions
Simon Fraser University（西蒙弗雷泽大学）；National Institute of Informatics（国立信息学研究所）
Submodular functions are at the core of many machine learning and data mining tasks. The underlying submodular functions for many of these tasks are decomposable, i.e., they are sum of several simple submodular functions. In many data intensive applications, however, the number of underlying submodular functions in the original function is so large that we need prohibitively large amount of time to process it and/or it does not even fit in the main memory. To overcome this issue, we introduce the notion of sparsification for decomposable submodular functions whose objective is to obtain an acc…
2022-01-18 cs.DM cs.DS cs.LG
On Additive Approximate Submodularity
Sapienza University（罗马第一大学）；IIT（印度理工学院）；Google（谷歌）
一个实值集函数是（加性）近似次模的，如果它满足次模性条件，且有一个加性误差。近似子模块性出现在许多设置中，特别是在机器学习中，其中函数评估可能不精确。在本文中，我们研究如何接近这样的近似次模函数是真正的次模函数。我们表明，一个近似的次模函数定义在地面上设置的$n$元素是$O(n^2)$逐点接近的次模函数。这一结果也提供了一个算法工具，可以用来适应现有的子模块优化算法近似子模块功能。为了补充，我们显示了一个$Ω(\sqrt{n})$下界的距离子模块化。这些结果站在相反的情况下，近似的模块化，其中的距离模块化是一个常数，近似凸性，其中的距离凸性是对数。
2020-10-07 cs.DM cs.DS cs.LG
Submodular Functions Are Noise Stable
UT Austin（德克萨斯大学奥斯汀分校）
我们证明了所有非负子模函数都具有高的{ \em噪声稳定性}。因此，我们得到了多项式时间学习算法，这类关于任何产品分布在$\{-1,1\}^n$（任何恒定的精度参数$ε$）。我们的算法也成功地在不可知论的设置。以前学习子模块函数的工作需要查询访问或对要学习的子模块函数的类型进行强假设（并且在不可知论设置中不成立）。
2011-06-13 cs.CC cs.GT cs.LG
Directly Optimizing IoU for Bounding Box Localization
本文针对边界框定位中IoU难以直接优化的问题，提出Smooth IoU损失函数，在多个数据集上验证其优于标准Huber损失。
2023-04-14 cs.CV cs.LG
A Reduction for Optimizing Lattice Submodular Functions with Diminishing Returns
University of Warwick（华威大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
一个函数$f: \mathbb{Z}_+^E \rightarrow \mathbb{R}_+$是DR-次模的，如果它对所有${\bf x}\le {\bf y}, i\in E$都满足$f({\bf x} + χ_i) -f ({\bf x}) \ge f({\bf y} + χ_i) - f({\bf y})$。最近，最大化的DR-子模函数$f: \mathbb{Z}_+^E \rightarrow \mathbb{R}_+$的预算约束$\|{\bf x}\|_1 \leq B$以及额外的约束的问题已经得到了显着的关注\cite{SKIK14,SY15,MYK15,SY16}。本文给出了从DR-次模集到次模集的一般约简。约简的运行时间和产生的子模块实例的大小仅取决于\emph{logarithmically}和$B$。使用这种减少，可以将无约束和约束子模最大化的结果以统一的方式转换为许多类型的约束的DR-子模设置。
2018-05-25 cs.AI cs.DS cs.LG
Submodular Combinatorial Information Measures with Applications in Machine Learning
University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of Washington（华盛顿大学）；Tata Institute of Fundamental Research（塔塔基础研究院）
信息理论中的量，如熵和互信息，在机器学习中有许多用途。众所周知，这些熵量和次模性之间有很强的联系，因为一组随机变量上的熵是次模的。在本文中，我们研究了组合信息的措施，推广的独立性，（条件）熵，（条件）互信息，和总的相关性定义的（不一定是随机的）变量集。这些测度严格地推广了相应的熵测度，因为它们都是通过子模函数参数化的，子模函数本身严格地推广了熵。关键是，我们表明，不同于熵互信息一般，次模互信息实际上是次模的一个参数，持有其他固定的，为一大类次模函数的三阶偏导数满足非负性。这包括一些实际上有用的情况，如设施位置和集合覆盖函数。我们研究具体的子模块信息措施的实例，以及概率覆盖，图形切割，饱和覆盖函数，并看到他们都有数学直观和实用的表达式。关于应用程序，我们连接子模块（条件）互信息的最大化的问题，如基于互信息，基于查询，和隐私保护的总结-我们连接优化多组子模块互信息聚类和强大的分区。
2021-03-02 cs.DS cs.IT cs.LG
Streaming Adaptive Submodular Maximization
Naveen Jindal School of Management, University of Texas at Dallas（德克萨斯大学达拉斯分校纳文·金达尔管理学院）；Department of Computer Science, University of North Texas（北德克萨斯大学计算机科学系）
许多序贯决策问题可以表述为一个自适应子模极大化问题。然而，大多数现有的研究在这一领域集中在基于池的设置，其中一个可以选择项目以任何顺序，并有一些研究的基于流的设置项目到达任意顺序，必须立即决定是否选择一个项目或不在其到来。在本文中，我们引入了一类新的效用函数，半策略次模函数。我们开发了一系列有效的算法，以最大化一个半策略的子模函数下基于流的设置。
2022-08-17 cs.AI cs.LG
Conditional Gradient Method for Stochastic Submodular Maximization: Closing the Gap
Simons Institute for the Theory of Computing（西蒙斯理论计算研究所）
本文研究了\textit{constrained}和\textit{stochastic}连续子模极大化问题。即使目标函数是不是凹（也不是凸），并定义在一个期望，我们开发了一个变种的条件梯度法，称为\alg，它实现了\textit{tight}近似保证。更准确地说，对于单调和连续的DR-子模函数和受到\textit{general}凸体约束，我们证明了\alg实现了$[(1-1/e)\text{OPT} -\eps]$保证（在预期中）与$\mathcal{O}{(1/\eps^3)}$随机梯度计算。这种保证匹配已知的硬度结果，并关闭确定性和随机连续子模最大化之间的差距。通过使用随机连续优化作为一个接口，我们还提供了第一$(1-1/e)$紧逼近保证最大化的\textit{monotone but stochastic}子模块\textit{set}功能的一般拟阵约束。
2017-11-05 cs.LG math.OC
Weakly Submodular Maximization Beyond Cardinality Constraints: Does Randomization Help Greedy?
Yale University（耶鲁大学）；The Open University of Israel（以色列开放大学）
次模函数是集合函数的一个广泛的类别，它自然地出现在不同的领域。已经提出了许多算法来最大化这些函数。不幸的是，一旦函数偏离子模块性，已知的算法可能执行任意差。修正这一问题，通过获得集函数的近似结果推广次模函数，一直是最近的工作的焦点。其中一类，称为弱次模函数，受到了很多关注。Das和Kempe（2011）证明的一个关键结果表明，受基数约束的弱子模块最大化的贪心算法的近似比随着与子模块的距离而平滑地下降。然而，没有结果已获得最大化的约束超出基数。特别是，它是不知道的贪心算法是否达到任何非平凡的近似比这样的约束。在本文中，我们证明了贪心算法的随机版本（以前由Buchbinder等人使用。（2014）用于不同的问题）对于受一般拟阵约束的弱子模函数的最大化实现了$(1 + 1/γ)^{-2}$的近似比，其中$γ$是测量函数与子模性的距离的参数。此外，我们还实验比较了这个版本的贪心算法对自然基准的现实世界中的问题的性能，并表明，我们研究的算法在实践中也表现良好。据我们所知，这是第一个算法与非平凡的近似保证最大化弱次模函数的约束，而不是简单的基数约束。特别是，它是第一个算法，这样一个保证的重要和广泛的类拟阵约束。
2017-07-13 cs.AI cs.DM cs.DS
Online Continuous Submodular Maximization
Yale Institute for Network Science（耶鲁大学网络科学研究所）；Department of Electrical Engineering, Yale University（耶鲁大学电气工程系）；Department of Electrical and Systems Engineering, University of Pennsylvania（宾夕法尼亚大学电气与系统工程系）
在本文中，我们考虑一个在线优化过程，其中的目标函数不是凸（也不是凹），而是属于一个广泛的连续子模函数类。首先，我们提出了一个变体的弗兰克-沃尔夫算法，可以访问的目标函数的全梯度。我们表明，它实现了遗憾界的$O(\sqrt{T})$（$T$是地平线的在线优化问题）对$(1-1/e)$ -近似的最佳可行的解决方案在事后。然而，在许多情况下，只有梯度的无偏估计可用。对于这样的设置，然后，我们提出了一个在线的随机梯度上升算法，也实现了遗憾界的$O(\sqrt{T})$遗憾，虽然对一个较弱的$1/2$ -近似的最佳可行的解决方案在事后。我们还将所得结果推广到$γ$ -弱次模函数，并证明了相同的次线性后悔界。最后，我们证明了我们的算法的效率在一些问题的情况下，包括非凸/非凹二次规划，子模集函数的多线性扩展，和D-最优设计。
2018-02-16 cs.AI cs.DS cs.LG
Deep Submodular Peripteral Networks
University of Washington（华盛顿大学）
针对子模函数缺乏实用学习方法、分级成对偏好（GPC）缩放学习研究不足的问题，提出深度子模周缘网络（DSPNs）及配套周缘损失、采样策略，可从GPC中学习子模函数，在实验设计和在线流应用中表现更优。
2024-10-31 cs.AI cs.LG
Algorithms for Approximate Minimization of the Difference Between Submodular Functions, with Applications
University of Washington（华盛顿大学）
我们扩展了Narasimhan和Bilmes [30]的工作，用于最小化可表示为子模函数之间的差异的集函数。与[30]类似，我们的新算法保证在每一步都单调减少目标函数。我们的经验和理论表明，我们的算法的每次迭代成本远低于[30]，我们的算法可以用来有效地减少各种组合约束下的子模函数之间的差异，以前没有解决的问题。我们提供了计算界和硬度结果的乘法不可逼近的最小化子模函数之间的差异。然而，我们表明，它是可能的，以提供一个多项式时间计算下限的最小值的最坏情况下的添加剂的界限。最后，我们展示了如何将一些机器学习问题建模为最小化子模块函数之间的差异。我们的实验表明，我们的算法的有效性，通过测试他们的问题上的特征选择与子模块成本功能。
2013-08-24 cs.DS cs.LG
Partial-Monotone Adaptive Submodular Maximization
University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of North Texas（北德克萨斯大学）
许多序列决策问题，包括基于池的主动学习和自适应病毒式营销，可以制定为一个自适应子模块最大化问题。现有的自适应次模优化问题的研究大多集中在单调和非单调两种情况。具体地说，如果效用函数是单调的和自适应的子模，\cite{golovin2011adaptive}开发了一个贪婪的政策，达到$(1-1/e)$近似比服从基数约束。如果效用函数是非单调的和自适应的子模，\cite{tang2021beyond}表明，一个随机贪婪的政策达到$1/e$近似比服从基数约束。在这项工作中，我们的目标是推广上述结果通过研究部分单调自适应次模极大化问题。为此，我们引入自适应单调性比$m\in[0,1]$的符号来衡量一个函数的单调性程度。我们的主要结果是表明，一个随机贪婪的政策，实现了$m(1-1/e)+(1-m)(1/e)$的近似比，如果效用函数是$m$ -自适应单调和自适应子模。值得注意的是，当分别为$m = 0$和$m = 1$时，该结果恢复了上述$(1-1/e)$和$1/e$近似比。我们进一步扩展我们的结果考虑背包约束。我们表明，基于采样的政策实现了$(m+1)/10$的近似比，如果效用函数是$m$ -自适应单调和自适应子模块。我们的结果的一个重要含义是，即使是一个非单调的效用函数，我们仍然可以实现一个近似比接近$(1-1/e)$，如果这个功能是“接近”的单调函数。这导致许多机器学习应用程序的性能边界…
2022-12-11 cs.DS cs.LG
Maximizing Submodular Functions for Recommendation in the Presence of Biases
Yale University（耶鲁大学）
该研究针对存在社会偏差的推荐场景下的子模函数最大化问题，证明约束式干预无法保证常数比例最优效用，提出一种可实现近优效用且保障群体比例代表性的算法，经实验验证其效用优于基线。
2023-05-03 cs.AI cs.CY cs.IR
Submodlib: A Submodular Optimization Library
Indian Institute of Technology Bombay（印度理工学院孟买分校）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
次模函数是一类特殊的集合函数，它自然地模拟了代表性，多样性，覆盖等概念，并且已经被证明在计算上非常有效。过去的许多工作都应用子模块优化来寻找各种情况下的最优子集。一些示例包括用于高效人工消耗的数据汇总，找到有效的较小的训练数据子集以减少模型开发时间（训练，超参数调整），找到未标记数据的有效子集以降低标记成本，最近的一项工作也利用子模函数提出了子模信息测度，这些测度在解决引导子集问题中非常有用选择和引导总结。在这项工作中，我们提出了Submodlib，这是一个开源的，易于使用的，高效的和可扩展的Python库，用于子模块优化与C++优化引擎。Submodlib在总结、数据子集选择、超参数调整、高效训练等方面都有应用。通过丰富的API，它在使用方式上提供了很大的灵活性。Submodlib的源代码可以在https://github.com/decile-team/submodlib上找到。
2022-02-23 cs.IR cs.LG
Random Coordinate Descent Methods for Minimizing Decomposable Submodular Functions
University of Warwick（华威大学）
次模函数最小化是在机器学习和计算机视觉中的若干应用中出现的基本优化问题。已知该问题在多项式时间内是可解的，但是通用算法具有高运行时间并且不适合于大规模问题。最近的工作已经使用凸优化技术，以获得非常实用的算法，最小化的功能，是“简单”的功能。在本文中，我们使用随机坐标下降方法，以获得更快的线性收敛速度和更便宜的迭代费用的算法。与交替投影方法相比，我们的算法不依赖于全维向量运算，并且它们在更少的迭代中收敛。
2015-02-09 cs.AI cs.LG
Submodular + Concave
Yale University（耶鲁大学）；University of Haifa（海法大学）
一阶最优化方法可以收敛到凹函数的最大目标值，并为（非凸/非凹）连续次模函数提供常数因子逼近保证。在这项工作中，我们开始研究的形式$F(x) = G(x) +C(x)$在可解凸体$P$，其中$G$是一个光滑的DR-次模函数和$C$是一个光滑的凹函数的函数的最大化。这类函数是凹的和连续的DR-次模函数的严格扩展，对于这些次模函数没有理论保证。我们提供了一套Frank-Wolfe风格的算法，根据目标函数的性质（即，如果$G$和$C$是单调的或非单调的，以及非负的或非负的）以及集合$P$的性质（即，无论是否向下闭合），提供$1-1/e$、$1/e$或$1/2$近似保证。然后，我们使用我们的算法得到一个框架，从一个给定的地面集（对应于一个决定性的点过程的模式），并选择一组聚集的元素（对应于一个合适的凹函数的最大值）选择不同的元素之间平滑插值。此外，我们将我们的算法应用于上述类（DR-次模+凹）中的各种函数，在约束和无约束的设置，并表明我们的算法始终优于自然基线。
2021-06-09 cs.DS cs.LG math.OC
SIMILAR: Submodular Information Measures Based Active Learning In Realistic Scenarios
University of Texas at Dallas（德克萨斯大学达拉斯分校）
主动学习已被证明是有用的，通过选择信息量最大的样本，最大限度地减少标签成本。然而，现有的主动学习方法在现实场景中不能很好地工作，例如不平衡或稀有类，未标记集中的分布数据和冗余。在这项工作中，我们提出了SIMILAR（基于子模块信息测量的主动学习），一个统一的主动学习框架，使用最近提出的子模块信息测量（SIM）作为采集功能。我们认为，SIMILAR不仅适用于标准的主动学习，而且还可以轻松扩展到上面考虑的现实环境，并作为一个一站式的主动学习解决方案，可扩展到大型现实世界的数据集。从经验上讲，我们表明，SIMILAR在稀有类的情况下比现有的主动学习算法性能高出约5%-18%，在CIFAR-10，MNIST和ImageNet等几个图像分类任务的分布数据的情况下比现有的主动学习算法性能高出约5%-10%。SIMILAR是DISTIL工具包的一部分："www.example.com"。
2021-11-03 cs.CV cs.LG
Extended Deep Submodular Functions
Sharif University of Technology（谢里夫理工大学）；Institute for Research in Fundamental Sciences (IPM)（基础科学研究所（IPM））
本文提出扩展深度子模函数（EDSFs），可表示所有单调子模函数及任意单调集合函数，保持凹性，并在覆盖函数学习中泛化误差显著低于DSFs。
2024-09-18 cs.DM cs.LG
Bandit Guided Submodular Curriculum for Adaptive Subset Selection
Indian Institute of Technology Bombay（印度理工学院孟买分校）
本文提出ONLINESUBMOD方法，通过多臂老虎机框架和亚模函数优化，实现自适应子集选择，提升课程学习的准确性与效率。
2025-11-28 cs.AI cs.LG
Deep Submodular Networks for Extractive Data Summarization
University of Texas, Dallas（得克萨斯大学达拉斯分校）；University of Washington, Seattle（华盛顿大学西雅图分校）
深度模型在摘要问题（例如文档、视频和图像）中越来越普遍，因为它们能够学习复杂的特征交互和表示。然而，它们没有对多样性、表示和覆盖等特征进行建模，这些特征对于摘要任务也非常重要。另一方面，子模函数由于其收益递减属性而自然地模拟这些特征。大多数建模和学习次模函数的方法都依赖于非常简单的模型，例如次模函数的加权混合。不幸的是，这些模型只能学习不同子模块函数的相对重要性（例如多样性，表示或重要性），但不能学习更复杂的特征表示，这通常是最先进的性能所需的。我们提出了深度子模块化网络（DSN），这是一个端到端的学习框架，有助于学习更复杂的功能和更丰富的功能，为更好地建模总结的各个方面而精心制作。DSN框架可用于从头开始学习适合于摘要的功能。我们展示了通用和查询集中的图像收集摘要的DSN的效用，并显示出显着的改进，在国家的最先进的。特别是，我们表明，DSN优于简单的混合模型使用现成的功能。其次，我们还证明了在DSN中使用四个子模块函数进行端到端学习，可以使用手工制作的594个组件来实现最先进的混合模型，并且优于其他图像集合摘要方法。
2020-10-16 cs.CL cs.IR cs.LG
Distributed Submodular Minimization via Block-Wise Updates and Communications
Alma Mater Studiorum Università di Bologna（博洛尼亚大学）
在本文中，我们处理网络的计算代理与本地处理和相邻的通信能力，旨在解决（没有任何中央单元）的子模块最优化问题。费用函数是许多局部次模函数的和，并且网络中的每个代理仅可以访问和中的一个函数。在这种\emph{distributed}设置中，为了保护自己的隐私，代理与邻居通信，但不共享其本地费用函数。我们提出了一种分布式算法，在该算法中，代理诉诸Lovàsz扩展其本地次模函数和执行本地更新和通信的整个优化变量的单块。通过贪婪算法执行更新，该算法仅运行到计算出所选块为止，从而导致计算负担减少。所提出的算法收敛于期望值的最优成本的问题，和一个近似解的子模块化问题的阈值操作检索。作为一个应用程序，我们考虑分布式图像分割问题，其中每个代理只能访问整个图像的一部分。虽然代理不能分割整个图像本身，他们正确地完成任务，通过合作，通过提出的分布式算法。
2020-05-25 cs.LG math.CO math.OC
Predicting Contextual Sequences via Submodular Function Maximization
Carnegie Mellon University（卡内基梅隆大学）
序列优化，其中列表中的项目被排序以最大化某些奖励，具有许多应用，例如网络广告放置，搜索和机器人中的控制库。先前的序列优化工作产生了一个静态的排序，不考虑项目的任何特征或问题的上下文。在这项工作中，我们提出了一种通用的方法来根据上下文（例如，感知信息、环境描述和目标）。我们采用一种简单、高效、基于约简的方法，通过重复学习序列中每个“槽”的简单分类器或回归器来确定项目的选择和顺序。我们的方法利用最近的子模块函数最大化的工作，提供一个正式的遗憾减少子模块序列优化简单的成本敏感的预测。我们应用我们的上下文序列预测算法来优化控制库，并展示了两个机器人问题的结果：机械手轨迹预测和移动机器人路径规划。
2012-02-09 cs.AI cs.LG cs.RO
Batch greedy maximization of non-submodular functions: Guarantees and applications to experimental design
Massachusetts Institute of Technology（麻省理工学院）
提出并分析了非子模非减集函数基数约束最大化问题的批量贪婪算法。我们考虑标准的贪婪范式，以及它的分布式贪婪和随机贪婪的变种。我们的理论保证的特点是子模块化和超模块化比率的组合。我们认为，这些参数如何定义紧模块化边界的增量增益的基础上，并提供了一种新的重新解释的经典贪婪算法使用minorize-maximum（MM）的原则。基于这种类比，我们提出了一类新的方法，利用任何合理的模块化界限。在线性贝叶斯逆问题的最优试验设计中，当目标函数是基于互信息时，我们定义了子模块度和超模块度的比值.我们还开发了新的模块化界限的互信息在这种情况下，并描述了某些连接到多面体组合。我们讨论如何使用这些模块化的界限算法与建立的统计概念，如杠杆分数和最近的努力，如体积采样。我们展示了我们的理论研究结果的合成问题和现实世界的气候监测的例子。
2021-08-10 cs.DM cs.DS cs.LG
