Growing Controllable Networks via Whiskering and Submodular Optimization
网络的拓扑结构直接影响网络上动态过程的行为和可控性。因此,在研究分布式系统的控制时,网络拓扑的设计是一个重要的研究领域。我们讨论了一种方法,称为whiskering网络增长,以及这个过程的推广,并证明他们保持可控性。然后,我们使用子模块优化技术来分析优化算法,以向网络中添加新节点来优化某些目标,例如图的连通性。
2016-09-28 math.OC
Decentralized Submodular Maximization: Bridging Discrete and Continuous Settings
在本文中,我们展示了网络结构设置中离散和连续优化之间的相互作用。我们提出了第一个完全分散的最优化方法的广泛的一类非凸目标函数,具有收益递减属性。更具体地说,给定一个任意连接的网络和一个全球连续的次模函数,形成了一个本地功能的总和,我们开发分散连续贪婪(DCG),消息传递算法,收敛到紧(1-1/e)的近似因子的最佳全球解决方案,只使用本地计算和通信。我们还提供了强大的收敛界作为一个函数的网络规模和频谱特征的基础拓扑结构。有趣的是,DCG很容易通过连续松弛的方式为分散的离散子模最大化提供了一个简单的方法。形式上,我们证明,通过提升局部离散函数的连续域和使用DCG作为接口,我们可以开发一个共识算法,也实现了紧(1-1/e)近似保证的全球离散解决方案,一旦适当的舍入方案。
2018-02-11 math.OC
A Spatial Branch-and-Bound Approach for Maximization of Non-Factorable Monotone Continuous Submodular Functions
与许多假设目标函数和约束条件是可分解的连续全局最优化方法不同,我们研究了如何找到不可分解问题的全局最大解,重点是一类特定的问题。具体来说,我们开发了一种方法,非减连续次模函数的约束。我们的特点,这些功能的hypograph和开发一个切割平面算法,发现近似解和边界使用的hypograph的凸包的近似。我们还测试了一个空间分支定界的方法,利用近似切割平面算法形成一个外近似,并获得子矩形的上界,并比较我们的方法与最先进的商业求解器。主要结果是,对于某些问题,子模性比可因式分解性更有用。
2022-08-29 math.OC
Robust optimization-based heuristic algorithm for the chance-constrained knapsack problem using submodularity
针对机会约束二进制背包问题(CKP),提出了一种基于鲁棒优化的启发式算法。我们假设项目的权重是独立的正态分布。该方法利用次模函数的性质,将CKP问题近似为具有基数约束的不确定性集的鲁棒背包问题,该不确定性集由不确定性预算参数表示.该方法通过求解近似的鲁棒背包问题得到启发式解,而鲁棒背包问题的最优解可以通过迭代求解普通的二进制背包问题得到。计算结果表明了该方法的有效性和效率。
2018-11-05 math.OC
Provable Non-Convex Optimization and Algorithm Validation via Submodularity
ETH Zurich(苏黎世联邦理工学院);Shanghai Jiao Tong University(上海交通大学)
子模块性是组合优化以及机器学习和数据采掘的许多应用中研究最多的问题类的性质之一,对保证优化具有很强的意义。在这篇论文中,我们研究子模块性在可证非凸优化和算法验证中的作用。深刻理解哪类函数可以被可追踪地优化仍然是非凸优化的核心挑战。通过推进子模块化的概念,连续域(称为“连续子模块化”),我们刻画了一类一般非凸和非凹的功能-连续子模块化功能,并推导出算法近似最大化他们的强逼近保证。与此同时,连续子模块化捕获了广泛的应用,从一般营销策略的收入最大化,DPP的MAP推理到概率对数子模块模型的平均场推理,这使得它成为优化这类目标的有价值的领域知识。算法验证是一个信息理论框架,用于研究算法对输入/观测值波动的鲁棒性及其泛化能力。我们研究了一个典型的无约束子模最大化问题:MaxCut的各种算法。由于子模块的MaxCut目标,我们能够提出有效的方法来计算MaxCut算法的算法信息内容。这些结果为MaxCut的不同算法技术的鲁棒性提供了见解。
2019-12-18 cs.LG math.OC stat.ML
Black Box Submodular Maximization: Discrete and Continuous Settings
Yale Institute for Network Science(耶鲁网络科学研究所);Yale University(耶鲁大学);University of Pennsylvania(宾夕法尼亚大学)
在本文中,我们考虑黑盒连续次模最大化问题,我们只能访问的功能值,没有信息的导数提供。对于单调和连续的DR-子模函数,并受到有界凸体约束,我们提出了黑盒连续贪婪,一个导数免费的算法,可证明实现了紧$[(1-1/e)OPT-ε]$近似保证与$O(d/ε^3)$功能评价。然后,我们将我们的结果扩展到随机设置的函数值受到随机零均值噪声。正是通过这种随机推广,我们重新审视离散次模最大化问题,并使用多线性扩展作为离散和连续设置之间的桥梁。最后,我们广泛评估我们的算法的性能,连续和离散submodular目标函数使用合成和真实数据。
2020-03-01 cs.DS cs.LG math.OC
Convex Analysis and Optimization with Submodular Functions: a Tutorial
INRIA(法国国家信息与自动化研究所);Laboratoire d’Informatique de l’Ecole Normale Supérieure(巴黎高等师范学院计算机实验室)
集合函数出现在计算机科学和应用数学的许多领域,如机器学习、计算机视觉、运筹学或电子网络。在这些集合函数中,次模函数起着重要的作用,类似于向量空间上的凸函数。在本教程中,子模函数的理论,在一个独立的方式,与第一原理显示的所有结果。一个很好的知识凸分析假设。
2010-11-14 cs.LG math.OC stat.ML
Gradient Methods for Submodular Maximization
University of Pennsylvania(宾夕法尼亚大学);University of Southern California(南加州大学);Yale University(耶鲁大学)
在本文中,我们研究的问题,最大化的连续次模函数,自然出现在许多学习应用,如涉及效用函数的主动学习和传感,矩阵逼近和网络推理。尽管这些函数明显缺乏凸性,但我们证明了随机投影梯度方法可以为凸约束的连续次模函数最大化提供强逼近保证。更具体地说,我们证明了单调连续DR-次模函数,所有不动点的投影梯度上升提供了一个因素$1/2$近似的全球最大值。我们还研究了随机梯度和镜像方法,并表明,$\mathcal{O}(1/ε^2)$迭代后,这些方法达到的解决方案,达到预期的目标值超过$(\frac{\text{OPT}}{2}-ε)$。我们的结果的一个直接应用是最大化的次模函数,定义随机,即次模函数被定义为一个家庭的次模函数与未知的分布的期望。我们将展示如何随机梯度方法自然非常适合这种设置,导致一个因素$1/2$近似时,函数是单调的。特别是,它使我们能够近似最大化离散的,单调的子模块优化问题,通过投影梯度下降的连续松弛,直接连接的离散和连续域。最后,对真实数据的实验表明,与其他连续基线相比,我们的投影梯度方法始终实现最佳效用,同时在计算工作量方面保持竞争力。
2017-08-15 cs.LG math.OC
Submodular Order Functions and Assortment Optimization
本文定义次模序函数这一新集合函数类,为多种约束下的最大化问题给出快速强近似算法及近紧查询复杂度上界,并用于品类优化和流式次模最大化。
2024-02-29 cs.DS math.OC
Adaptive Robust Optimization with Nearly Submodular Structure
University of Texas at Dallas(德克萨斯大学达拉斯分校)
约束子模极大化问题近年来得到了广泛的研究。本文研究了具有近似次模结构的自适应鲁棒优化问题。我们的目标是随机选择一个子集的项目,同时最大化的最坏情况下的几个奖励函数的值。我们的工作与现有的研究有两个不同之处:(1)我们研究了自适应设置下的鲁棒优化问题,即,一个需要自适应地选择项目的基础上收集的反馈,从挑选的项目,和(2)我们的结果适用于广泛的奖励功能的特点是$ε$ -近次模函数。我们首先分析了ARONSS的自适应间隙,并证明了最佳自适应解和最佳非自适应解之间的间隙是有界的。然后,我们提出了一个近似的解决方案,这个问题时,所有的奖励功能是次模。在考虑拟阵约束的情况下,算法达到了逼近比$(1-1/e)$.最后,我们给出了一般情况下的两种算法。所有提出的解决方案都是非自适应的,易于实现。
2019-07-29 cs.LG math.OC
Conditional Gradient Method for Stochastic Submodular Maximization: Closing the Gap
Simons Institute for the Theory of Computing(西蒙斯理论计算研究所)
本文研究了\textit{constrained}和\textit{stochastic}连续子模极大化问题。即使目标函数是不是凹(也不是凸),并定义在一个期望,我们开发了一个变种的条件梯度法,称为\alg,它实现了\textit{tight}近似保证。更准确地说,对于单调和连续的DR-子模函数和受到\textit{general}凸体约束,我们证明了\alg实现了$[(1-1/e)\text{OPT} -\eps]$保证(在预期中)与$\mathcal{O}{(1/\eps^3)}$随机梯度计算。这种保证匹配已知的硬度结果,并关闭确定性和随机连续子模最大化之间的差距。通过使用随机连续优化作为一个接口,我们还提供了第一$(1-1/e)$紧逼近保证最大化的\textit{monotone but stochastic}子模块\textit{set}功能的一般拟阵约束。
2017-11-05 cs.LG math.OC
Optimal Algorithms for Continuous Non-monotone Submodular and DR-Submodular Maximization
Stanford University(斯坦福大学)
在本文中,我们研究了极大化超立方体上的连续非单调子模函数的基本问题,包括有和没有坐标方向的限制。这类优化问题在机器学习、经济学和通信系统中有几个应用。我们的主要结果是第一个$\frac{1}{2}$ -近似算法连续次模函数最大化,这个近似因子的$\frac{1}{2}$是最好的算法,只查询目标函数在多项式多点。对于DR-次模最大化的特殊情况,即当次模函数沿所有坐标也是坐标方向凹时,我们提供了一个不同的$\frac{1}{2}$ -近似算法,它在准线性时间内运行。这两个结果都改进了先前的工作[Bian et al,2017,Soma and Yoshida,2017]。我们的第一个算法使用了新的想法,如减少保证近似问题,以分析每个坐标的零和游戏,并结合了这个零和游戏的几何形状,以固定在这个坐标的值。我们的第二个算法利用坐标明智的搜索,以确定一个单调的平衡条件足以得到所需的近似保证,并使用二进制搜索的平衡点狩猎。我们进一步运行实验来验证我们提出的算法在相关机器学习应用中的性能。
2018-05-24 cs.DS cs.GT cs.LG
Fractional 0-1 programming and submodularity
本文研究了一类广泛的NP-难组合最优化问题--多比率分式0- 1规划。特别是,在一些相对温和的假设下,我们提供了一个完整的条件,这确保了一个单一的比率函数是次模的特征。然后,我们说明我们的理论结果与品种优化和设施定位问题,并讨论实际情况下,保证子模块化在考虑的应用设置。在这种情况下,可以通过简单的贪婪算法找到多比率分数0- 1规划的近最优解。
2020-12-14 math.OC
Optimization of Chance-Constrained Submodular Functions
Association for the Advancement of Artificial Intelligence(美国人工智能协会);École Polytechnique(巴黎综合理工学院);Institut Polytechnique de Paris(巴黎理工学院);Sorbonne Université(索邦大学);The University of Adelaide(阿德莱德大学);University of Minnesota Duluth(明尼苏达大学德卢斯分校)
子模优化在许多实际问题中起着关键作用。在许多现实世界的场景中,还需要处理不确定性,并且需要避免违反随机设置中的约束的潜在破坏性事件。本文研究了带机会约束的次模优化问题。我们提供了第一次分析的近似行为流行的贪心算法的机会约束的次模块化问题。我们的研究结果表明,这些算法是非常有效的,当使用代理函数,估计约束违反的基础上的bounds。此外,我们调查流行的社会网络问题的算法的行为,并表明,高质量的解决方案仍然可以获得,即使有很强的限制所施加的机会约束。
2019-11-26 cs.LG math.OC
Distributed Submodular Minimization And Motion Coordination Over Discrete State Space
我们开发了一个分布式最小化次模函数的框架。次模函数是凸函数的一种离散模拟,广泛应用于大规模组合最优化问题中。虽然凸优化问题的分布式公式已经引起了很大的兴趣,但次模函数的分布式最小化却受到了相对较少的关注。我们的框架依赖于一个等价的凸重构的子模块最小化问题,这是有效的计算。然后,我们使用这种松弛来开发凸函数的分布式优化方法。所提出的框架是适用于次模集函数以及更广泛的一类次模函数定义在某些格。提出了一种基于次模函数极小化的离散状态空间分布式运动协调问题的求解方法。我们建立通过一个具有挑战性的设置捕获的旗帜游戏,子模块功能的格子可以用来设计人工势场离散状态空间中的代理人被吸引到他们的目标,并从障碍物和彼此避免碰撞。
2018-01-21 math.CO math.OC
Submodular Optimization with Applications to Decision and Control
University of Waterloo(滑铁卢大学);Queen’s University(女王大学)
本文综述子模集函数的理论、算法及其在决策与控制中的应用,重点介绍基于贪心算法的近似保证和曲率、子模比等结构性质,并涵盖传感器调度、多智能体协调等应用场景。
2026-06-08 cs.SY eess.SY math.OC
On Unconstrained Quasi-Submodular Function Optimization
Shanghai Jiao Tong University(上海交通大学)
本文提出两种算法用于无约束拟子模函数的最小化和最大化,通过单次子交叉性质,在O(n)次迭代内返回缩减格,并保证目标函数值在每次迭代后严格单调变化。
2014-11-13 cs.DS cs.NA math.NA
Robust Budget Allocation via Continuous Submodular Functions
Massachusetts Institute of Technology(麻省理工学院)
在过去的几年里,资源的最佳分配以最大限度地提高影响力、信息传播或覆盖范围,特别是在机器学习和数据采掘中,已经引起了人们的关注。但在实际应用中,问题的参数很少被精确地知道,使用错误的参数可能会导致不期望的结果。因此,我们从鲁棒优化的角度重新审视了Alon等人(2012)引入的预算分配或二分影响力最大化问题的连续版本。在这种情况下,对手可能会选择置信集内最不利的参数。由此产生的问题是一个非凹凸鞍点问题(或对策)。我们表明,这个非凸问题可以完全解决利用连接到连续的次模函数,并通过解决一个约束次模最小化问题。虽然有约束的子模最小化是很难在一般情况下,在这里,我们建立的条件下,这样的问题可以解决到任意精度$ε$。
2017-06-13 cs.AI cs.DS cs.LG
Online Submodular Maximization via Online Convex Optimization
Northeastern University(东北大学);Boston University(波士顿大学)
研究一般拟阵约束下的单调次模最大化在线优化问题,通过证明加权阈值势函数可凹松弛,将其归约为在线凸优化(OCO),结合舍入方案实现次线性遗憾,并扩展至动态遗憾、老虎机和乐观学习设定。
2024-01-08 cs.AI cs.LG math.OC
Competitive Algorithms for Online Budget-Constrained Continuous DR-Submodular Problems
University of Washington(华盛顿大学);Tetration Analytics, Cisco Systems, Inc.(思科系统公司Tetration Analytics部门)
在本文中,我们研究了一类在线最优化问题,其中的目标是最大化一个函数,不一定是凹的,并满足递减收益(DR)的预算约束下的性质。我们分析了一个原始对偶法,称为广义序列算法,我们得到的竞争比的第一界的在线单调DR-次模函数最大化的线性包装约束下匹配的特殊情况下的线性目标函数紧界。
2019-06-30 cs.LG math.OC stat.ML
Submodular Functions: from Discrete to Continous Domains
INRIA(法国国家信息与自动化研究所);Département d’Informatique de l’Ecole Normale Supérieure(巴黎高等师范学院计算机系)
Submodular set-functions have many applications in combinatorial optimization , as they can be minimized and approximately maximized in polynomial time . A key element in many of the algorithms and analyses is the possibility of extending the submodular set-function to a convex function, which opens up tools from convex optimization. Submodularity goes beyond set-functions and has naturally been considered for problems with multiple labels or for functions defined on continuous domains, where it corresponds essentially to cross second-derivatives being nonpositive. In this paper, we show that …
2016-02-23 cs.LG math.OC
Communication-Efficient Decentralized Online Continuous DR-Submodular Maximization
City University of Hong Kong(香港城市大学);Cainiao Network(菜鸟网络)
最大化单调子模函数是机器学习、经济学和统计学中的一项基本任务。在本文中,我们提出了两个通信有效的分散在线算法的单调连续DR-子模最大化问题,这两个减少每功能梯度评估的数量和每轮通信复杂性从$T^{3/2}$到$1$。第一个是单次分散元Frank-Wolfe(Mono-DMFW),实现了$O(T^{4/5})$的$(1-1/e)$ -遗憾界。据我们所知,这是第一个用于单调连续DR子模最大化的一次性无投影分散在线算法。其次,受非遗忘提升函数\citep{zhang2022boosting}的启发,提出了分散在线提升梯度上升(DOBGA)算法,该算法实现了$O(\sqrt{T})$的$(1-1/e)$ -遗憾。据我们所知,这是第一个结果,以获得最佳的$O(\sqrt{T})$对$(1-1/e)$ -近似,只有一个梯度查询每个局部目标函数的每一步。最后,各种实验结果证实了所提出的方法的有效性。
2022-08-18 cs.LG math.OC
Disjunctive Submodular Functions: Envelopes and Applications to Inventory and 0-1 Quadratic Optimization
Antai College of Economics and Management, Shanghai Jiao Tong University(上海交通大学安泰经济与管理学院);Mitch Daniels School of Business, Purdue University(普渡大学米切尔·丹尼尔斯商学院)
本文针对析取子模函数提出首个强多项式分离算法,并刻画其凸包络,应用于库存与0-1二次优化,循环不等式可大幅缩小松弛间隙。
2026-09-28 math.OC
Distributionally robust optimization through the lens of submodularity
本文提出子模模糊集以统一处理离散和连续不确定性的分布鲁棒优化,离散情形可多项式精确求解,连续情形可伪多项式近似求解,并给出线性/半正定规划重构及数值验证。
2025-05-27 math.OC
Linear Optimization over a Polymatroid with Side Constraints -- Scheduling Queues and Minimizing Submodular Functions
多类调度系统的调度和最小化次模函数这两个看似不相关的问题,通过一方面以次模集函数为特征,另一方面又代表调度系统性能多胞形的多拟阵有着相当深的联系.我们首先开发了一个我们称之为{ \it grouping}的算法,它解决了边约束下的排序问题,计算工作量为$O(n^3LP(n))$,$n$是作业类的数量,LP(n)是求解不超过$n$变量和$n$约束的线性规划的计算工作量。该算法将作业类组织成组,并将最优策略确定为跨组的优先级规则和每个组内的随机规则(以强制执行侧约束)。然后,我们应用分组算法的次模函数最小化,后者映射到一个调度问题的侧约束。%每次应用该算法时,它识别一个子集;并且我们表明可以通过应用分组算法$n$次来识别最小化子集。因此,这导致一个算法,最小化一个次模函数的努力$O(n^4LP(n))$。
2008-05-09 math.OC
A Unified Framework of Constrained Robust Submodular Optimization with Applications
University of Texas at Dallas(德克萨斯大学达拉斯分校)
鲁棒优化在机器学习应用中变得越来越重要。本文研究了鲁棒次模优化的一个统一框架。我们从最小化和最大化的角度研究这个问题(以前的工作只集中在强大的子模块最大化的变体)。我们这样做的范围广泛的组合约束,包括基数,背包,拟阵以及基于图形的约束,如削减,路径,匹配和树。此外,我们还研究了多个子模上下界约束下的鲁棒子模极小化和极大化问题。我们发现,所有这些问题的动机是重要的机器学习应用,包括强大的数据子集选择,强大的合作切割和强大的合作匹配。在每种情况下,我们提供了可扩展的近似算法,并研究硬度界限。最后,我们经验证明了我们的算法的实用性合成数据,和现实世界中的应用程序的强大的合作匹配图像对应,强大的数据子集选择语音识别,和图像收集摘要与多个查询。
2021-03-18 cs.DS cs.LG math.OC
Online Dynamic Submodular Optimization
Polytechnique Montreal(蒙特利尔理工学院);GERAD(GERAD研究院);Mila(米拉人工智能研究所)
本文针对动态环境下的在线子模优化问题,提出OSGA和OSPGD两种算法,给出与在线凸优化可比的动态遗憾界,并在电力系统需求响应与配电网重构中验证了有效性。
2024-05-02 cs.LG math.OC
Non-Smooth, Hölder-Smooth, and Robust Submodular Maximization
本文研究非光滑连续 DR-子模最大化,分别用连续贪心与 mirror-prox 给出 Hölder 光滑和非光滑情形的近似保证,并应用于鲁棒及 Wasserstein 分布鲁棒优化。
2023-09-28 cs.DS math.OC
Discrete and Continuous Difference of Submodular Minimization
McGill(麦吉尔大学);Department of Mathematics and Statistics(数学与统计学系);McGill University(麦吉尔大学);Samsung(三星);Samsung AI Lab(三星人工智能实验室)
本文研究离散与连续域上次模(DS)函数之差的最小化,证明相关函数均为DS函数,提出DC算法新变体并应用于DC规划,在整数压缩感知和最小二乘实验中优于基线。
2025-11-04 cs.DS cs.LG math.OC
Submodular Minimax Optimization: Finding Effective Sets
University of Haifa(海法大学);ASAPP(ASAPP公司);Yale University(耶鲁大学);Google Research(谷歌研究院)
本文提出子模块极小极大优化框架,刻画在组合环境下寻找对任意响应均有效的集合的条件,并应用于提示工程、拼车和对抗样本等任务,实验显示算法一致优于基线。
2023-05-26 cs.DM cs.LG math.OC
Near-optimal Approximate Discrete and Continuous Submodular Function Minimization
在本文中,我们提供了改进的运行时间和甲骨文的复杂性近似最小化的子模函数。我们的主要结果是一个随机算法,它给出了定义在$n$ -元素上的任意子模函数,其值域为$[-1, 1]$,在$\tilde{O}(n/ε^2)$ oracle求值中以高概率计算出一个$ε$ -可加近似极小元.这改进了Chakrabarty \etal ~(STOC 2017)的$\tilde{O}(n^{5/3}/ε^2)$ oracle评估算法和Hamoudi \etal的$\tilde{O}(n^{3/2}/ε^2)$ oracle评估算法。此外,我们利用这一结果的推广,以获得有效的算法,最小化广泛的一类非凸函数。对于任何功能$f$域$[0, 1]^n$满足$\frac{\partial^2f}{\partial x_i \partial x_j} \le 0$的所有$i \neq j$和$L$ -Lipschitz关于$L^\infty$ -规范,我们给出了一个算法,计算一个$ε$ -加性近似极小值与$\tilde{O}(n \cdot \mathrm{poly}(L/ε))$功能评估与高概率。
2019-08-31 cs.DS math.OC
Leader Selection in Multi-Agent Networks with Switching Topologies via Submodular Optimization
在具有切换拓扑结构的主从多智能体网络中,选择一个智能体子集作为领导者是实现期望性能的关键步骤。在本文中,我们集中在选择一个最小的领导人,确保跟踪的参考信号在高阶线性多智能体网络与一组给定的拓扑结构相关的停留时间(TDDT)的问题。首先,我们推导出一个充分条件,保证所有代理的状态收敛到一个预期的状态轨迹。其次,利用次模优化方法,我们制定了一个最小的领导集,满足所提出的充分条件的识别问题。第三,我们提出了一个算法与可证明的最优性界来解决制定的问题。最后,通过数值算例验证了所设计的选择方案的有效性。
2019-12-12 cs.MA math.OC
Reflection methods for user-friendly submodular optimization
UC Berkeley(加州大学伯克利分校);INRIA - ENS(法国国家信息与自动化研究所 - 巴黎高等师范学院);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
本文提出一种高效的子模函数优化方法,通过连续最佳逼近问题的反射序列求解,实现连续和离散问题的双重解决,应用于图像分割任务。
2013-11-18 cs.LG cs.NA cs.RO
Joint Continuous and Discrete Model Selection via Submodularity
University of California at Los Angeles(加州大学洛杉矶分校)
在机器学习的模型选择问题中,对具有有意义结构的性能良好的模型的期望通常通过正则化最优化问题来表达。然而,在许多情况下,有意义的结构被指定在一些离散空间,导致困难的非凸最优化问题。在本文中,我们连接的模型选择问题与结构促进正则化次模函数最小化连续和离散的参数。特别是,我们利用理论的次模函数,以确定一类这些问题,可以准确和有效地解决与不可知的组合离散和连续优化例程。我们展示了如何简单的连续或离散约束也可以处理某些问题类,并将这些想法扩展到一个强大的优化框架。我们还展示了这个类之外的一些问题如何可以嵌入到类中,进一步扩展了我们的框架可以容纳的问题类。最后,我们数值验证我们的理论结果与几个概念验证的例子与合成和真实世界的数据,比较国家的最先进的算法。
2022-11-08 cs.LG cs.SY eess.SY
Multilinear Extensions in Submodular Optimization for Optimal Sensor Scheduling in Nonlinear Networks
本文针对非线性动态网络的最优传感节点选择问题,利用系统动力学的变分形式证明可观测性指标具有次模性,并通过多线性连续扩展求解,在天然气燃烧网络上验证了其优于贪心算法的性能。
2025-03-11 cs.SY eess.SY math.OC
From Linear to Linearizable Optimization: A Novel Framework with Applications to Stationary and Non-stationary DR-submodular Optimization
McGill University(麦吉尔大学);Mila(米拉);Purdue University(普渡大学)
本文提出上可线性化函数框架,将线性/二次最大化算法统一转换为优化此类函数,应用于DR-子模最大化,首次实现动态与自适应遗憾保证,并在更少假设下改进现有最优结果。
2026-09-15 cs.CC cs.LG math.OC
Risk-Aware Submodular Optimization for Multi-Robot Coordination
Virginia Tech(弗吉尼亚理工大学);University of Pennsylvania(宾夕法尼亚大学);University of Maryland(马里兰大学)
研究了在不确定性条件下进行组合决策时引入风险的问题。我们制定了一个离散的子模块最大化问题,选择一组使用条件风险价值(CVaR),金融分析中常用的风险度量。虽然CVaR最近已被用于机器人的线性成本函数的优化,我们采取的第一步扩展到离散子模块优化,并提供了一些积极的结果。具体来说,我们提出了顺序贪心算法,提供了一个近似保证找到最大值的CVaR成本函数下的拟阵约束。近似保证表明,我们的算法所产生的解决方案是在一个恒定的因素的最佳和一个附加项,取决于最佳。我们的分析使用了次模集函数的曲率,并证明了该算法在多项式时间内运行。这公式化了许多出现在机器人学中的组合优化问题。我们使用两个这样的问题,车辆分配的不确定性下的机动性按需和传感器的选择与失败的环境监测,作为案例研究,以证明我们的配方的功效。特别是,对于按需移动性的研究,我们提出了一个在线触发分配算法,触发一个新的分配只可能导致减少在需求位置的等待时间。通过仿真验证了序贯贪心算法和在线触发分配算法的性能。
2022-03-18 cs.RO math.OC
Discrete Adversarial Attacks and Submodular Optimization with Applications to Text Classification
UT Austin(德克萨斯大学奥斯汀分校);IBM Research(IBM研究院);Amazon(亚马逊)
对抗样本是对输入的精心构造的修改,完全改变了分类器的输出,但人类无法察觉。尽管对连续数据(如图像和音频样本)进行了这些成功的攻击,但事实证明,为文本等离散结构生成对抗性示例更具挑战性。在本文中,我们将对集合函数进行离散输入的攻击制定为一项优化任务。在简化假设下,我们证明了该集合函数对于一些流行的神经网络文本分类器是次模的。这一发现保证了使用贪心算法的攻击的$1-1/e$近似因子。同时,我们展示了如何使用被攻击分类器的梯度来指导贪婪搜索。我们提出的优化方案的实证研究表明,显着提高攻击能力和效率,在三个不同的文本分类任务在不同的基线。我们还使用了一个联合的句子和单词的释义技术,以保持原来的语义和语法的文本。这是通过对我们生成的对抗文本的质量和语义一致性的主观度量的人类主体评估来验证的。
2019-04-04 cs.CR cs.LG math.OC
Parallel Quasi-concave set optimization: A new frontier that scales without needing submodularity
集函数类以及基集的选择是确定和开发贪婪算法的相应变体以获得组合最优化问题的有效解的基础。近似约束子模块优化类在良好的计算效率、通用性和近似保证的交叉点上取得了巨大的进步,而无约束子模块优化的精确解是NP-困难的。当子模块性不成立时,有什么替代方案?能否得到有效的全局精确解?我们引入这样一个新的前沿:类的拟凹集函数作为一个对偶类单调联系函数诱导。我们提供了一个并行算法的时间复杂度为$\mathcal{O}(n^2g) +\mathcal{O}(\log{\log{n}})$的$n$处理器,其中$n$是基数的基础集和$g$是计算单调连接函数,导致相应的拟凹集函数通过对偶的复杂度。复杂性在$n^2$处理器上降低为$\mathcal{O}(gn\log(n))$,在$n^3$处理器上降低为$\mathcal{O}(gn)$。我们的算法提供了一个全局最优解的最大最小问题,而不是子模块优化,这是近似的。我们显示了广泛的应用潜力,通过一个例子,不同的功能子集选择与确切的全球最大最小的保证后,显示一个统计依赖性措施,称为距离相关性可以用来诱导一个准凹集函数。
2021-08-19 cs.DC math.CO math.OC
Decentralized Projection-free Online Upper-Linearizable Optimization with Applications to DR-Submodular Optimization
Purdue University(普渡大学);Mila - Quebec AI Institute/McGill University(魁北克AI研究所/麦吉尔大学)
本文提出了一种去中心化投影自由优化框架,用于解决DR-子模优化问题,并在不同反馈模型下实现了高效的算法性能。
2026-10-01 cs.CC cs.LG math.OC
Submodular Optimization for Consensus Networks with Noise-Corrupted Leaders
Rensselaer Polytechnic Institute(伦斯勒理工学院)
研究在存在噪声干扰的共识网络中,通过子模优化选择领袖以最小化节点状态稳态方差,分析贪心算法的性能。
2017-12-21 cs.SY eess.SY math.OC
Dec-BFTRL: Squre-Root Regret for Decentralized Online Upper-Linearizable Optimization under Separation Access with Application to Continuous Submodular Maximization
Purdue University(普渡大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学)
本文提出Dec-BFTRL算法,用于分离访问下分散式在线上线性化优化,实现平方根遗憾,并应用于连续子模最大化。
2026-10-01 cs.AI cs.LG math.OC
Optimizing Chance-Constrained Submodular Problems with Variable Uncertainties
University of Adelaide(阿德莱德大学);Central South University(中南大学);Xiangjiang Laboratory(湘江实验室);University of Birmingham(伯明翰大学)
针对物品权重同期望、不同离散度的可变不确定性机会约束子模优化问题,本文提出具有常数近似比的贪心算法,并在最大覆盖和影响力最大化实例上验证其有效性。
2023-09-23 cs.AI math.OC
One Gradient Frank-Wolfe for Decentralized Online Convex and Submodular Optimization
Inria(法国国家信息与自动化研究所);University Grenoble-Alpes(格勒诺布尔-阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院)
近年来,分散学习在联邦学习中的广泛应用引起了人们的广泛关注。以往的研究大多集中在离线设置的目标函数是静态的。然而,在众多见证海量数据变化的机器学习应用程序中,离线设置变得不切实际。在本文中,我们提出了\emph{decentralized online}算法的凸和连续DR-次模优化,两类功能,存在于各种机器学习问题。我们的算法实现的性能保证相媲美的集中式离线设置。此外,平均而言,每个参与者在每个时间步仅执行\emph{single}梯度计算。随后,我们将我们的算法扩展到强盗设置。最后,我们说明了我们的算法在现实世界的实验中的竞争力的表现。
2022-10-30 cs.DS cs.LG math.OC
Continuous Non-monotone DR-submodular Maximization with Down-closed Convex Constraint
研究了受向下闭合凸约束的连续非单调DR-次模最大化问题,通过构建实例揭示驻点近似比差的缺陷,并将两种离散算法扩展至连续域以获得更优的近似比。
2024-03-26 cs.DS math.OC
Minimax Optimization: The Case of Convex-Submodular
University of Pennsylvania(宾夕法尼亚大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
极大极小优化是机器学习、对策论和控制理论中各种应用的核心。迄今为止,现有文献主要集中在研究连续域中的此类问题,例如,凸-凹极大极小优化现在在很大程度上被理解。然而,极大极小问题远远超出了连续域的混合连续离散域,甚至完全离散域。本文研究了混合连续-离散Minimax问题,其中极小化是在属于欧几里得空间的连续变量上,而极大化是在给定基集的子集上.我们介绍了一类凸次模极大极小问题,其中的目标是凸的连续变量和次模的离散变量。尽管这些问题在机器学习应用中经常出现,但人们对如何从算法和理论角度解决这些问题知之甚少。对于这样的问题,我们首先表明,获得鞍点是很难达到任何近似,从而引入新的概念(近)最优。然后,我们提供了几个算法程序解决凸和单调次模极大极小问题,并根据我们的概念,最优的收敛速度,计算复杂性和质量的最终解决方案的特点。我们提出的算法是迭代的,并结合了离散和连续优化的工具。最后,我们提供了数值实验来展示我们的目的方法的有效性。
2021-11-01 cs.DS cs.LG cs.SY
Integrating Aggregated Electric Vehicle Flexibilities in Unit Commitment Models using Submodular Optimization
EDF Lab Paris-Saclay(法国电力集团巴黎萨克雷实验室);Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LIG(格勒诺布尔阿尔卑斯大学、法国国家信息与自动化研究所、法国国家科学研究中心、格勒诺布尔理工学院、信息学实验室);Inria, and CMAP, École polytechnique, IP Paris, CNRS(法国国家信息与自动化研究所、巴黎综合理工学院数学与应用中心、巴黎文理研究大学、法国国家科学研究中心)
本研究提出结合割平面法与次模优化的精确算法,将聚合电动汽车灵活性整合到机组组合模型,可线性时间内精确求解机组组合问题,并通过欧洲电网与法国电动汽车用户行为数据的真实实例验证方法有效性。
2026-08-05 math.OC
Sum of Squares Submodularity
Mitsubishi Electric Research Laboratories(三菱电机研究实验室);INSEAD(欧洲工商管理学院)
提出t-平方和子模性层次结构,通过半定规划验证子模性,并应用于子模回归、近似最大化下界和差分子模优化。
2026-06-29 math.AG math.FA math.OC
The Power of Randomization: Efficient and Effective Algorithms for Constrained Submodular Maximization
子模块优化有许多应用,如众包和病毒式营销。本文研究了$k$ -系统约束下非负次模函数最大化的基本问题,该约束推广了次模优化中的基数约束、拟阵约束和$k$ -可扩系统约束.针对这个问题的现有方法基于确定性算法框架实现了$k+2\sqrt{k+2}+3$(对于一般子模块函数)的最佳近似比。我们提出了几个随机算法,提高了国家的最先进的算法的近似比和时间复杂度,无论是在非自适应设置和自适应设置。在数据采掘和社会计算的几个应用程序中,我们的算法的经验性能进行了广泛的评估,实验结果表明,我们的算法在实用性和效率方面的优势。
2021-06-15 cs.DS math.OC
Stochastic Conditional Gradient Methods: From Convex Minimization to Submodular Maximization
Massachusetts Institute of Technology(麻省理工学院);University of Pennsylvania(宾夕法尼亚大学);Yale University(耶鲁大学)
本文考虑一类目标函数的随机最优化问题,其中包括凸的和连续的子模。随机近端梯度法已被广泛用于解决这类问题,然而,当问题维数很大,投影到一个凸集是昂贵的,他们的适用性仍然有限。相反,随机条件梯度法被提出作为一种替代解决方案,依赖于(i)通过简单的平均技术近似梯度,每次迭代需要一个单一的随机梯度评估;(ii)求解线性规划来计算下降/上升方向。平均技术降低了噪声的梯度近似随着时间的推移,并取代投影步骤在近似方法由一个线性规划降低了每次迭代的计算复杂性。我们表明,在凸性和光滑性的假设下,我们提出的方法收敛到最佳的目标函数值在一个次线性率$O(1/t^{1/3})$。此外,对于单调和连续的DR-子模函数和一般凸体约束,我们证明了我们提出的方法实现了$((1-1/e)OPT-\eps)$保证与$O(1/\eps^3)$随机梯度计算。这种保证匹配已知的硬度结果,并关闭确定性和随机连续子模最大化之间的差距。此外,对于目标函数是连续的DR-次模但非单调的,且约束集是下闭的情形,我们利用$O(1/\eps^3)$随机梯度得到了$((1/e)OPT -\eps)$保证.通过使用随机连续优化作为一个接口,我们提供了第一个$(1-1/e)$紧逼近保证最大化的单调,但随机子模集函数的拟阵约束和$(1/e)$逼近保证的非单调的情况下。
2018-11-12 cs.LG math.OC stat.ML
Unified Projection-Free Algorithms for Adversarial DR-Submodular Optimization
Purdue University(普渡大学);Iowa State University(爱荷华州立大学)
本文提出统一的Frank-Wolfe型无投影算法用于对抗性连续DR-次模优化,覆盖全信息与(半)赌博机反馈、单调与非单调函数及多种约束,在非单调设置中首次获得次线性α-遗憾界,在单调设置8个案例中7个达到最优水平。
2024-04-26 cs.AI cs.CC cs.LG
Performance guarantees for greedy maximization of non-submodular controllability metrics
University of Texas at Dallas(德克萨斯大学达拉斯分校);ETH Zürich(苏黎世联邦理工学院)
本文研究了非子模可控性度量的贪心最大化问题,提出通过子模性比率和曲率来获得性能保证,以改进复杂网络的信息与控制拓扑设计。
2018-11-19 cs.SY eess.SY math.OC
Supermodular Rank: Set Function Decomposition and Optimization
UCLA(加州大学洛杉矶分校);Harvard University(哈佛大学);MPI MiS(马克斯·普朗克数学研究所)
本文定义了格上函数的超模秩与子模秩,并提出一种利用子模分解将优化问题拆分为子模子问题的算法,从而在取决于子模秩的计算开销下,有效提升了单调集合函数最大化等问题的近似比保证。
2026-10-22 cs.CC cs.DM cs.LG
Data-Efficient Structured Pruning via Submodular Optimization
Samsung - SAIT AI Lab(三星-三星先进技术研究院人工智能实验室);Harvard University(哈佛大学);Mila(米拉研究所);Université de Montreal(蒙特利尔大学)
结构化剪枝是压缩大型预训练神经网络而不显著影响其性能的有效方法。然而,大多数当前的结构化修剪方法不提供任何性能保证,并且经常需要微调,这使得它们不适用于有限的数据制度。我们提出了一个原则性的数据有效的结构化修剪方法的基础上子模块优化。特别地,对于给定的层,我们选择要修剪的神经元/通道以及下一层的相应新权重,这使得修剪引起的下一层输入的变化最小化。我们表明,这个选择问题是一个弱次模极大化问题,因此它可以证明近似使用一个有效的贪心算法。在合理的假设下,我们的方法保证在原始模型和修剪后的模型输出之间具有指数递减的误差。它也是文献中仅使用有限数量的训练数据且不使用标签的少数方法之一。我们的实验结果表明,我们的方法优于国家的最先进的方法在有限的数据制度。
2023-02-10 cs.AI cs.DM cs.LG