An unbiased approach to compressed sensing
在压缩感知中,稀疏向量是从欠定方程组$Ax=b$中近似获取的。精确检索意味着解决一个大型的组合问题,这是众所周知的NP-难。对于形式为$Ax_0+ε$的$b$,其中$x_0$和$ε$是噪声,如果您先验地知道$x_0$的支持,则“oracle解决方案”是您得到的解决方案,并且是人们所希望的最佳解决方案。我们提供了一个非凸泛函,它的全局极小值是oracle解,具有任何其他局部极小值必然具有高基数的性质。我们提供的估计类型$\|\hat x-x_0\|_2\leq C\|ε\|_2$与常数$C$是显着低于竞争的方法或定理,我们的理论依赖于软假设的矩阵$A$,在比较标准的结果在该领域。该框架还允许将所寻求的向量的基数的先验信息。在这种情况下,我们表明,尽管是非凸的,我们的成本功能没有虚假的局部最小值和全局最小值再次是“预言解决方案”,从而提供了第一种方法,保证找到这一点的合理水平的噪音,而不诉诸组合方法。
2021-04-05 math.OC
Combinatorial and algorithmic aspects of hyperbolic polynomials
设$p(x_1,...,x_n) =\sum_{(r_1,...,r_n) \in I_{n,n}} a_{(r_1,...,r_n)} \prod_{1 \leq i \leq n} x_{i}^{r_{i}}$是关于$n$实变量的$n$次齐次多项式,系数为整数非负.这种多项式$p(x_1,...,x_n)$的支持被定义为$supp(p) = \{(r_1,...,r_n) \in I_{n,n} : a_{(r_1,...,r_n)} \neq 0 \}$。$supp(p)$的凸包$CO(supp(p))$称为$p$的牛顿多面体。我们研究了以下决策问题,它们是经典完美匹配问题的深远推广:{itemize} { \bf问题1}。考虑$n$实变量中次数为$n$的齐次多项式$p(x_1,...,x_n)$,其非负整数系数被给定为黑盒(oracle)。{ \it $(1,1,..,1) \in supp(p)$是真的吗?} { \bf问题2。}考虑$n$实变量中次数为$n$的齐次多项式$p(x_1,...,x_n)$,其非负整数系数被给定为黑盒(oracle)。{ \it $(1,1,..,1) \in CO(supp(p))$是真的吗?} {itemize}我们证明了双曲多项式这两个问题是等价的,可以解决的确定性多项式时间的预言算法。这个结果是基于Rado定理的“双曲”推广。
2005-04-13 math.CO math.OC
Distributionally Robust Optimization via Ball Oracle Acceleration
我们开发和分析算法的凸损失的分布鲁棒优化(DRO)。特别是,我们考虑组结构和有界$f$ -发散不确定集。我们的方法依赖于一个加速的方法,查询一个球优化预言,即,一个子程序,最小化目标在一个小球周围的查询点。我们的主要贡献是有效地实现这个预言的DRO目标。对于具有$N$非光滑损失函数的DRO,所得到的算法使用对各个损失函数的$\widetilde{O}\left(Nε^{-2/3} + ε^{-2}\right)$一阶Oracle查询找到$ε$精确解。与现有的算法相比,这个问题,我们提高了复杂性的一个因素高达$ε^{-4/3}$。
2022-03-24 cs.DS cs.LG math.OC
Oracle-Based Distributionally Robust Optimization under Optimal Transport Ambiguity Sets
University of Michigan(密歇根大学);Cornell University(康奈尔大学)
本文针对最优传输歧义集下DRO求解的扩展性问题,提出将内部最坏期望归约为标量预算分配的高效算法,结合神谕框架实现近似原始-对偶解,实验性能优于现有重构型求解器。
2026-08-05 math.OC
Saddle Point Optimization with Approximate Minimization Oracle and its Application to Robust Berthing Control
我们提出了一种方法,鞍点优化只依赖于预言机,解决近似最小化问题。我们分析了它在强凸-凹问题上的收敛性,并证明了它向全局极小-极大鞍点的线性收敛。基于收敛性分析,我们开发了一种启发式方法来适应学习率。所开发的方法,使用(1+1)-CMA-ES作为最小化的预言,即逆境-CMA-ES,实现优于现有的几种方法的测试问题。数值评估证实了理论收敛速度界的紧密性以及学习速率自适应机制的效率。作为一个实际问题的例子,建议的最优化方法应用于模型不确定性下的自动靠泊控制问题,显示其在获得解决方案的不确定性的实用性。
2022-01-04 cs.NE math.OC
Oracle-Based Robust Optimization via Online Learning
Technion(以色列理工学院)
鲁棒优化是不确定性优化中的一种常用框架,它是指当问题参数未知时,但已知参数属于某个给定的不确定性集合。在鲁棒优化框架中,所解决的问题是一个最小-最大问题,其中根据参数的最差可能实现的性能来判断解决方案。在许多情况下,某种类型的鲁棒最优化问题的直接解决方案需要解决更复杂类型的最优化问题,并且在某些情况下甚至是NP难的。例如,解决一个强大的圆锥二次规划,如在强大的SVM,椭球不确定性一般导致一个半定的计划。在本文中,我们开发了一种方法,近似解决一个强大的最优化问题使用工具,从在线凸优化,在每一个阶段的标准(非鲁棒)优化程序解决。我们的算法找到一个近似的强大的解决方案,使用一些调用的预言,解决了原来的(非鲁棒性)的问题,是成反比的目标精度的平方。
2014-02-25 cs.LG math.OC
Multiparametric robust solutions for combinatorial problems with parameterized locally budgeted uncertainty
本文研究了具有参数化局部预算不确定性的组合问题。我们正在寻找一个解决方案集,使得对于任何参数向量,都存在一个鲁棒性接近最优的解决方案。该算法包括应用多参数算法,以获得一个接近最优的多参数解决方案相对于目标函数的组合问题,定义为找到一个强大的解决方案,参数固定。据我们所知,这是第一个提出来做这项任务的算法。最短路径和$p$ -中位数问题的计算经验
2023-01-25 math.OC
Online First-Order Framework for Robust Convex Optimization
鲁棒优化(RO)已经成为有效地建模参数不确定性的主要范例之一。RO与统计和机器学习领域中的问题之间的联系要求在更大的范围内解决RO问题。然而,传统的方法来解决RO配方的基础上建立和解决强大的同行或迭代的方法,利用名义可行性预言可能是昂贵的,从而显着阻碍了RO范式的可扩展性。在本文中,我们提出了一个通用的和灵活的迭代框架,近似解决鲁棒凸优化问题,是建立在一个完全在线的一阶范式。与现有文献相比,我们的方法的一个关键区别特征是,它只需要访问一阶预言机,比pessimization或名义可行性预言机便宜得多,同时保持相同的收敛速度。特别是,这使得我们的方法更具可扩展性,因此在大规模应用中更可取,特别是那些来自机器学习和统计领域的应用。我们还提供了新的解释现有的迭代方法在我们的框架,并说明我们的框架上的强大的二次规划。
2017-11-17 math.OC
Gamma counterparts for robust nonlinear combinatorial and discrete optimization
本文将 Gamma 不确定性集方法推广至(混合整数)非线性优化规划,推导了不受不确定性影响的等价鲁棒对应公式,并展示了多项式预言机调用可解性及实际应用实例。
2023-04-04 math.OC
Explicit sets with ideal robustness are achievable in combinatorial optimization problems with cost uncertainty
本文提出一种标准约束生成算法,用于在具有成本不确定性的组合优化问题中寻找鲁棒性等同于可行解集的显式集合,计算实验表明该算法在中等维度下运行时间可容忍,且达到近理想鲁棒性所需解的数量便于决策者管理。
2023-04-08 math.OC
Decomposition Algorithm for Distributionally Robust Optimization using Wasserstein Metric
我们研究分布鲁棒优化(DRO)问题的模糊集定义使用Wasserstein度量。我们表明,这类DRO问题可以重新表述为半无限的程序。对于一般的非线性模型,我们给出了一个交换方法来解决重构问题;对于凸模型,我们给出了一个中心切割面方法,假设我们有一个分离预言。我们使用了一个分布鲁棒推广的逻辑斯谛回归模型来测试我们的算法。分布鲁棒逻辑斯谛回归模型的数值实验表明,oracle调用的数量通常为20?50,达到5位精度。通过模型找到的解决方案通常在预测能力方面更好,具有较小的标准误差。
2017-04-12 math.OC
A universal black-box optimization method with almost dimension-free convergence rate guarantees
通用的优化方法的目的是实现理论上最优的收敛速度,没有任何先验知识的问题的规律性参数或精度的梯度预言所采用的优化。在这方面,现有的最先进的算法实现了在具有完美梯度预言的Lipschitz平滑问题中的$\mathcal{O}(1/T^2)$值收敛速度,以及当潜在问题是非平滑的和/或梯度预言是随机的时的$\mathcal{O}(1/\sqrt{T})$收敛速度。缺点是,这些方法没有考虑问题的维数,这在理论和实践中都会对所达到的收敛速度产生灾难性的影响。我们的论文旨在弥合这一差距,提供了一个可扩展的通用梯度法-称为UnderGrad -其预言的复杂性几乎是无量纲的问题,一个有利的几何形状(如单纯形,线性约束半定程序和组合土匪),同时保留上述顺序最优依赖于$T$。这些“两全其美”的结果是通过一个原始-对偶更新计划的启发,变分不等式的对偶探索方法。
2022-06-19 math.OC
Robust Combinatorial Optimization Problems Under Budgeted Interdiction Uncertainty
针对基于基数的约束或目标,提出一种离散预算不确定性变体,通过权重向量作用于预算约束;证明该鲁棒问题NP-hard且不可近似,但实验表明部分模型在问题规模上扩展性良好。
2024-04-29 math.OC
A Simple Method for Convex Optimization in the Oracle Model
给出了一个简单而自然的方法来计算极小化凸集$K$上凸函数$f$的近似最优解.我们的方法利用弗兰克-沃尔夫算法的有效不等式锥的$K$和次梯度的$f$。在假设$f$是$L$并且$K$包含半径为$r$的球并且包含在半径为$R$的原点中心球内的情况下,使用$O(\frac{(RL)^2}{\varepsilon^2} \cdot \frac{R^2}{r^2})$迭代并调用oracle,我们的主要方法输出满足$f(x) \leq \varepsilon + \min_{z \in K} f(z)$的点$x \in K$。我们的算法很容易实现,我们相信它可以作为一个有用的替代现有的割平面法。作为对此的证据,我们表明,它在迭代次数方面与标准LP切割平面方法和分析中心切割平面方法相比,在组合,半定和机器学习实例的测试平台上。
2022-03-11 cs.DS math.OC
Wasserstein robust combinatorial optimization problems
针对目标函数成本不确定的组合优化问题,提出以经验分布为中心的Wasserstein球定义分布模糊集,求解最差分布下CVaR最小的解,分析问题复杂度并给出不同支撑集的求解方法,推广细化了Wasserstein鲁棒最短路径的已知结果。
2023-12-20 math.OC
Multi-objective minmax robust combinatorial optimization with cardinality-constrained uncertainty
在本文中,我们发展了两种方法来寻找具有基数约束的不确定性的多目标组合最优化问题的极小极大鲁棒有效解。首先,我们将Bertsimas和Sim(2003)的单目标优化算法推广到多目标最优化。我们还提出了一个增强,以加速算法,即使是单目标的情况下,我们开发了一个更快的版本,为特殊的多目标实例。其次,我们引入了一个确定性的多目标问题的总和和瓶颈功能,它提供了一个超集的鲁棒有效解。在此基础上,提出了一种求解多目标不确定最短路问题的标号设置算法。我们在源于危险材料运输的多目标不确定最短路问题的实例中比较了这两种方法。
2017-01-23 math.OC
Variance-based stochastic extragradient methods with line search for stochastic variational inequalities
提出了一种求解随机变分不等式(SVI)的动态抽样随机逼近(DS-SA)外梯度方法,它是关于未知Lipschitz常数$L$的\emph{robust}.据我们所知,这是第一个可证明收敛的\emph{robust} SA \emph{method with variance reduction},无论是SVI或随机最优化,假设只是一个无偏的随机预言在一个大样本制度。这扩大了适用性,并提高了先前方差减小方法的期望有效加速,直到常数,所有这些方法仍然假设$L$的知识(因此,对于其估计不鲁棒)。准确地说,与以前的小步长策略的$\mathcal{O}(ε^{-2})$的迭代和预言复杂度相比,我们的鲁棒方法获得了更快的$\mathcal{O}(ε^{-1})$的迭代复杂度与$(\ln L)\mathcal{O}(dε^{-2})$的预言复杂度(高达log)。这与不假设附加问题信息(例如$L$)的样本平均近似估计器的样本复杂度匹配(直到常数)。与以前的病态问题的鲁棒方法不同,我们允许一个无界的可行集和一个方差不一定一致有界的带乘性噪声(MN)的预言。这些属性被认为是在我们的复杂性估计,它只依赖于$L$和当地的第二或第四时刻的解决方案。我们的DS-SA线搜索方案的鲁棒性和方差减少属性是以非鞅相关性(NMD)为代价的,因为需要对$L$的下界进行内部统计估计。为了处理一个NMD和MN,我们的证明依赖于…
2017-08-24 math.OC
A Double-oracle, Logic-based Benders decomposition approach to solve the K-adaptability problem
提出了一种新的方法来解决具有凸目标和约束的整数第一阶段决策的K-适应性问题。主问题的第一阶段决策采用基于逻辑的Benders分解,子问题则转化为一个最小-最大-最小鲁棒组合最优化问题,通过双预言机算法迭代生成不利场景和追索决策,并通过求解p-中心问题将场景分配给决策的K个子集。扩展所提出的方法来处理参数的不确定性,在第一阶段的目标和第二阶段的约束。我们表明,该算法收敛到一个最优解,并终止于有限的迭代次数。从基准实例的自适应最短路问题,定期背包问题,和一个通用的K-适应性问题的实验得到的数值结果表明,所提出的方法相比,在文献中的最先进的方法的性能优势。
2022-09-07 math.CO math.OC
Robust Combinatorial Optimization with Locally Budgeted Uncertainty
不确定性集是鲁棒最优化问题不确定性建模的重要影响因素。这样的集合的缺点是预算约束仅限制可以由对手分配的成本增加的全局量。本地限制虽然对许多应用程序很重要,但不能以这种方式建模。我们引入新的预算不确定性集的变种,称为本地预算不确定性。在这种设置中,不确定参数被分区,使得经典的预算不确定性集应用于每个分区,称为区域。在理论分析中,我们表明,这些问题的一个恒定数量的区域的强大的副本仍然可以在多项式时间内解决,如果潜在的标称问题可以在多项式时间内解决。如果区域的数量是无界的,我们表明,强大的选择问题仍然是可解的多项式时间,同时也提供硬度的其他组合问题的结果。在使用随机和现实世界的数据的计算实验中,我们表明,使用本地预算的不确定性集可以有相当大的优势,经典的预算不确定性集。
2020-08-27 math.OC
Robust DEA efficiency scores: A probabilistic/combinatorial approach
在本文中,我们提出了稳健的效率得分的情况下,其中的输入/输出的规格被包括在DEA模型建模与概率分布。这种概率方法允许我们获得三种不同的鲁棒效率得分:条件期望得分、无条件期望得分和在最大熵原则假设下的期望得分。三个效率得分的计算涉及指数数量的线性问题的解决。本文提出的算法可以解决超过200万的线性问题,在一个负担得起的时间,考虑到20个输入/输出和200 DMU。最后以职业网球运动员评估为例说明了所提出的方法。
2017-05-29 math.OC
Lower Bounds on the Oracle Complexity of Nonsmooth Convex Optimization via Information Theory
本文利用信息论方法,以字符串猜测为统一困难来源,为非光滑黑箱凸优化建立了与最坏情况上界匹配的分布谕示复杂度下界,并推广到高概率和有界误差情形。
2023-07-07 cs.CC cs.IT math.IT
Compromise Solutions for Robust Combinatorial Optimization with Variable-Sized Uncertainty
在经典的鲁棒优化中,假设一组可能的参数实现,即不确定性集,在前一步和部分输入中建模。正如最近的工作所表明的那样,找到最合适的不确定性集本身就是一项艰巨的任务。我们考虑鲁棒问题的不确定性集是不完全定义的。只知道它的形状,却不知道它的大小。这样的设置被称为可变大小的不确定性。在这项工作中,我们提出了一种方法,如何找到一个强大的解决方案,平均表现良好,在所有可能的不确定性集的大小。我们证明,这种方法可以有效地解决最小-最大鲁棒优化,但更多地涉及在最小-最大遗憾的情况下,其中提供的选择问题,最小生成树问题,和最短路问题的积极和消极的复杂性结果。我们介绍了一个迭代的解决方案的过程中,并评估其性能的实验比较。
2016-10-17 math.OC
Constructing Representative Scenarios to Approximate Robust Combinatorial Optimization Problems
在具有离散不确定性的鲁棒组合优化问题中,常用的两种近似算法都是基于构造一个单一的场景来表示整个不确定性集。在中点法则中,针对平均情况进行优化。在元素方面的最坏情况的方法,一个构造一个场景,在所有的场景中,每个组件中的最坏情况。已知这两种方法都是$N$ -近似,其中$N$是场景的数量。在本文中,这些结果是通过重新考虑其各自的证明最优化问题。我们提出了一个线性规划,以构建一个代表性的情况下的不确定性集,这保证了近似保证,至少是一样好,为以前的方法。顺便说一句,我们表明,元素明智的最坏情况下的方法可以有一个优势,如果情况的数量是大的中点的方法。在选择问题的数值实验中,我们证明了我们的方法可以提高近似保证中点的方法约20%。
2018-02-27 math.OC
Distributionally Robust Bottleneck Combinatorial Problems: Uncertainty Quantification and Robust Decision Making
研究了具有随机费用的数据驱动的分布鲁棒瓶颈组合问题(DRBCP),其中费用向量的概率分布包含在以Wasserstein距离指定的经验分布为中心的分布球中.我们从不同的应用中研究了两种不同版本的DRBCP:(i)受多跳无线网络应用的启发,我们首先研究了DRBCP(表示为DRBCP-U)的不确定性量化,其中决策者希望准确估计DRBCP的最坏情况值。DRBCP-U的难点在于处理它的最大-最小-最大形式。幸运的是,瓶颈组合问题的替代形式,从他们的阻滞剂,使我们能够得到等价的确定性的重新制定,这可以通过混合整数规划计算。此外,通过绘制DRBCP-U之间的连接,其抽样平均近似对应经验分布下,我们表明,Wasserstein半径可以选择的顺序为负平方根的样本量,改善现有的已知结果;和(ii)接下来,乘车共享应用程序的动机,决策者选择最佳的服务和乘客匹配,最大限度地减少不公平。这就产生了决策DRBCP(表示为DRBCP-D)。对于DRBCP-D,我们证明了它的最优解也是最优的采样平均近似对应,和Wasserstein半径可以选择在一个类似的顺序DRBCP-U。当样本量较小时,我们提出利用DRBCP-D的最优值来构造一个无差异解空间,并提出一个替代决策鲁棒模型,该模型能找到最佳无差异解以最小化经验方差.我们进一步证明了决策鲁棒模型可以被改写为一个混合整数规划。
2021-02-22 math.OC
Faster Algorithms for Min-max-min Robustness for Combinatorial Problems with Budgeted Uncertainty
我们认为强大的组合最优化问题,决策者可以作出反应的情况下,从一个有限集$k$解决方案。这种方法适用于不确定性下的判定问题,其中决策的实施需要准备基础。我们专注于的情况下,通过预算的不确定性集描述的一组可能的场景,并提供了三个算法的问题。第一个算法通过交替优化方法,以启发式方式解决了对偶问题,即非凸混合整数非线性规划(MINLP)。第二种算法通过专用的空间分支定界算法精确求解$k=2$的MINLP。第三种方法枚举$k$ -元组,依靠强边界来避免完全枚举。我们测试我们的方法,在以前的文献中使用的最短路径实例和随机生成的背包实例,并发现我们的方法大大优于以前的方法。许多以前无法在几小时内解决的问题现在可以在几分钟内解决,甚至更快。
2019-03-27 math.OC
Discrete eigenvalue optimization from entropic smoothing and first-order methods
Zuse Institute Berlin(柏林齐布研究所);Technische Universität Berlin(柏林工业大学);Univ. Grenoble Alpes, Inria, Laboratoire d’Informatique de Grenoble(格勒诺布尔阿尔卑斯大学、法国国家信息与自动化研究院、格勒诺布尔计算机实验室)
该研究提出结合熵平滑、Frank-Wolfe方法与分支定界的离散特征值优化方法,在两类问题上与SCIP-SDP对比,高维及带组合结构问题上表现更优。
2026-09-02 math.OC
Efficient edge-skeleton computation for polytopes defined by oracles
在一般维数下,对于凸包或顶点枚举,没有已知的全多项式算法,即其复杂度多项式地依赖于输入和输出大小的算法。因此,重要的是要确定的问题(和多面体表示),总多项式时间的算法可以得到。我们提供了第一个总的多项式时间算法计算的边缘骨架(包括顶点枚举)的多面体的优化或分离预言,我们也给出了一个超集的边缘方向。我们还提供了一个空间效率的变体,我们的算法采用逆向搜萦。所有的复杂性界限都是指(oracle)图灵机模型。有许多多面体类自然地由神谕定义;对于其中的一些,顶点和面表示都不明显。我们考虑两个主要的应用程序,在那里我们获得(弱)总多项式时间算法:签署闵可夫斯基和凸多面体,其中多面体可以减去提供的签署和凸多面体,计算次级,结果,判别多面体。进一步的应用包括凸组合优化和凸整数规划,在那里我们提供了一种新的方法,从而消除了复杂性的指数依赖的维度。
2014-12-12 cs.CG cs.SC math.OC
Solving 0-1 Integer Programs with Unknown Knapsack Constraints Using Membership Oracles
本文针对未知背包约束的0-1整数规划问题,提出基于成员资格预言机和SVM的主动学习框架,改进采样策略与线性分离方法,实验验证其有效性。
2025-10-23 cs.LG math.OC
Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems
CERMICS, CNRS, ENPC, Institut Polytechnique de Paris(CERMICS、CNRS、ENPC、巴黎理工学院);Institut Camille Jordan, École Centrale Lyon, CNRS UMR 5208(让·坎贝尔学院、 Lyon 工程学院、 CNRS UMR 5208);Institut Universitaire de France (IUF)(法国研究院);SIERRA, INRIA Paris(INRIA 巴黎 SIERRA)
本文研究了在组合优化问题中使用替代策略的泛化界限,通过分析平滑(扰动)策略,提出了一个将超额风险分解为扰动偏差、统计估计误差和优化误差的泛化界限,引入了新的几何量来控制扰动偏差,并利用核Sum-of-Squares方法减少全局优化的维度灾难。
2026-05-19 cs.LG math.OC stat.ME
Robust two-stage combinatorial optimization problems under convex uncertainty
本文讨论了一类鲁棒两阶段组合优化问题。假设不确定的第二阶段成本以凸不确定性集的形式指定,特别是多面体或椭球形的。结果表明,基本网络和选择问题的鲁棒两阶段版本是NP难的,即使在非常严格的情况下。构造了一般问题的精确算法和近似算法。多项式和近似算法的强大的两阶段版本的基本问题,如选择和最短路径问题,也提供了。
2019-05-07 cs.DS math.OC
Data-driven Prediction of Relevant Scenarios for Robust Combinatorial Optimization
University of Siegen(锡根大学);University of Amsterdam(阿姆斯特丹大学)
研究了离散不确定性组合最优化问题的迭代法。我们提出了一种基于机器学习的启发式方法来确定提供强下界的起始场景。为此,我们设计维度无关的功能和训练随机森林分类器上的小尺寸的情况下。实验表明,我们的方法提高了解决方案的过程中包含在训练集中的更大的实例,也提供了一个功能的重要性分数,让洞察场景属性的作用。
2022-12-23 cs.LG math.OC
A Faster Cutting Plane Method and its Implications for Combinatorial and Convex Optimization
MIT(麻省理工学院);UC Berkeley(加州大学伯克利分校)
该研究提出了一种更高效的切割平面方法,改进了在凸集内找到点的时间复杂度,并在连续和组合优化的经典问题中取得了更优的运行时间。
2015-11-05 cs.DM cs.DS cs.NA
A Simple Combinatorial Algorithm for Robust Matroid Center
鲁棒聚类的最新进展导致了鲁棒拟阵中心的常数因子近似。在基于拟阵交方法的第一组合$7$ -近似之后,发现了两个基于LP的紧密$3$ -近似,两者都依赖于椭球方法。在本文中,我们将展示如何精心设计的,但非常简单,贪婪的选择算法给出了一个$5$近似。我们的方法的一个重要组成部分是一个很好的选择使用雷达拟阵。这使我们能够捕捉到一个单一的拟阵的原始拟阵,这是一个放松的版本,正如我们所展示的,是服从简单的贪婪选择。
2022-11-07 cs.DS math.OC
Nonlinear Matroid Optimization and Experimental Design
研究了拟阵上的非线性目标函数的优化问题。这些功能可以被解释为多准则优化的平衡。本文给出了求解任意神谕拟阵的组合多项式时间算法,该算法利用了拟阵交的重复使用,并给出了求解向量拟阵的代数算法。我们的工作部分是出于应用最小像差模型拟合在统计学的试验设计,我们讨论和详细说明。
2007-07-31 cs.CC cs.DM math.CO
Combinatorial Optimization Augmented Machine Learning
School of Management, Technical University of Munich, Germany(慕尼黑技术大学管理学院);Munich Data Science Institute, Technical University of Munich, Germany(慕尼黑数据科学研究所);Inria, Université de Lille, France(法国里尔大学Inria);CERMICS, Ecole Nationale des Ponts et Chaussées, Institut Polytechnique Paris, France(巴黎高等理工学院CERMICS)
本文介绍了组合优化增强的机器学习,探讨了其方法论框架、应用领域及未来研究方向。
2026-01-15 cs.LG math.OC
Lower Bounds for Randomized Linear-Oracle Optimization over Strongly Convex Sets
Zuse Institute Berlin(柏林齐泽研究所);TU Berlin(柏林工业大学)
针对强凸集上随机线性神谕优化的下界问题,现有下界存在适用范围受限的缺陷,本文证明了随机一阶线性神谕方法的分布下界,填补了无限制随机一阶方法下界的研究空白。
2026-11-17 cs.LG math.OC
Multi-level Monte-Carlo Gradient Methods for Stochastic Optimization with Biased Oracles
EPFL(洛桑联邦理工学院);Georgia Institute of Technology(佐治亚理工学院);ETH Zürich(苏黎世联邦理工学院)
针对有偏随机预言机的优化问题,提出多级蒙特卡洛梯度方法,权衡偏差、方差与成本,证明其优于有偏随机梯度法,并显著改进多个优化问题的复杂度。
2024-08-20 cs.LG math.OC
Learning for Robust Combinatorial Optimization: Algorithm and Application
UC Riverside(加州大学河滨分校);University of Virginia(弗吉尼亚大学)
学习优化(L2 O)最近已经成为一种很有前途的方法来解决优化问题,通过利用强大的预测能力的神经网络,并提供较低的运行时复杂性比传统的求解器。虽然L2 O已被应用于各种问题,但一类关键但具有挑战性的问题-以极大极小优化形式的鲁棒组合优化-在很大程度上仍然未被探索。除了决策空间呈指数增长外,鲁棒组合优化的一个关键挑战在于内部优化问题,该问题通常是非凸的,并且与外部优化纠缠在一起。在本文中,我们研究了鲁棒组合优化,并提出了一种新的学习为基础的优化,称为LRCO(学习鲁棒组合优化),快速输出一个强大的解决方案,在不确定的情况下。LRCO利用了一对基于学习的优化器--一个用于最小化器,另一个用于最大化器--它们使用各自的目标函数作为损失,并且可以在不需要标签的情况下训练问题实例。为了评估LRCO的性能,我们对车辆边缘计算中的任务卸载问题进行了模拟。我们的研究结果表明,LRCO可以大大降低最坏情况下的成本,提高鲁棒性,同时具有非常低的运行时复杂度。
2021-12-20 cs.LG eess.SP math.OC
A Deterministic $0.401$-Approximation for Non-monotone Submodular Maximization under Matroid Constraints
State Key Lab of Processors, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所处理器重点实验室);School of Computer Science and Technology, University of Chinese Academy of Sciences(中国科学院大学计算机科学与技术学院)
本文针对拟阵约束下非单调子模极大化问题,提出一种确定性0.401近似算法,改进了此前的确定性近似保证,核心技术为基于至多两个划分拟阵基的方向谕示。
2026-10-14 cs.DS math.OC
Min-Max-Min Robustness for Combinatorial Problems with Discrete Budgeted Uncertainty
我们考虑具有成本不确定性的鲁棒组合最优化问题,决策者可以事先准备K个解决方案,并在真实成本被揭示后选择其中最好的。它也被称为最小-最大-最小鲁棒性(K-适应性的一种特殊情况),它是一个可行的替代方案,否则棘手的两阶段问题。本文假设的不确定性集考虑在任何情景下,成本向量的分量中至多有Gamma将高于预期,这对应于预算不确定性集的极值点。虽然经典的最小-最大问题预算的不确定性基本上是一样容易的基本确定性问题,它原来的最小-最大-最小问题是NPhhard的许多简单的组合最优化问题,并在一般情况下不可近似。因此,我们提出了一个整数规划制定解决问题,通过行列生成算法。虽然精确,这种算法只能处理小问题,所以我们提出了两个额外的算法,利用预算的不确定性结构。我们比较我们的行列生成算法和我们的背包和最短路径的科学文献中以前使用的实例,并发现,在短的计算时间内获得高质量的解决方案的算法。
2019-10-28 math.CO math.OC
Minimax Excess Risk of First-Order Methods for Statistical Learning with Data-Dependent Oracles
本文针对监督、迁移、鲁棒及联邦学习等场景,研究数据依赖预言机下强凸光滑统计学习一阶方法的极小极大超额风险,给出与梯度估计最小均方误差成正比的精确上下界。
2024-07-01 cs.LG math.OC
Saddle Point Optimization with Approximate Minimization Oracle
鞍点优化$\min_x\max_y f(x, y)$的一种主要方法是基于梯度的方法,如生成对抗网络(GANs)所推广的。相比之下,我们分析了一种替代方法,只依赖于一个甲骨文,解决了一个最小化问题近似。我们的方法将近似解$x'$和$y'$定位到给定点$(x, y)$处的$\min_{x'}f(x', y)$和$\max_{y'}f(x, y')$,并以学习率$η$向这些近似解$(x', y')$更新$(x, y)$。在局部强凸-凹光滑函数上,我们得到了$η$线性收敛于局部鞍点的条件,这揭示了最近发展的鲁棒对抗强化学习算法的一个可能的缺点.我们开发了一个启发式的方法来适应$η$导数自由和实现零阶和一阶最小化算法。数值实验表明了理论结果的严密性以及$η$自适应机制的有效性。
2021-03-31 cs.NE math.OC
Learning with Combinatorial Optimization Layers: a Probabilistic Approach
Ecole des Ponts(巴黎桥路学院)
机器学习(ML)管道中的组合优化(CO)层是处理数据驱动决策任务的强大工具,但它们面临两个主要挑战。首先,CO问题的解通常表现为其目标参数的分段常数函数。鉴于ML管道通常使用随机梯度下降进行训练,缺乏斜率信息是非常有害的。其次,标准ML损失在组合设置中不起作用。越来越多的研究通过各种方法应对这些挑战。不幸的是,缺乏良好维护的实现减缓了CO层的采用。在本文中,建立在以前的作品,我们介绍了一个概率的角度对CO层,这自然有助于近似微分和结构化损失的建设。我们从文献中恢复许多方法作为特例,我们也得到新的。基于这种统一的观点,我们提出了InferOpt.jl,一个开源的Julia包,1)允许将任何具有线性目标的CO oracle转换为可微层,2)定义足够的损失来训练包含这些层的管道。我们的库可以使用任意优化算法,并且与Julia的ML生态系统完全兼容。我们展示了它的能力,使用视频游戏地图上的寻路问题作为指导的例子,以及其他三个应用程序的运筹学。
2022-12-03 cs.LG math.OC stat.ML
A General Framework for Evaluating Robustness of Combinatorial Optimization Solvers on Graphs
Shanghai Jiao Tong University(上海交通大学)
求解图上的组合优化问题是数据挖掘、机器学习和运筹学等上游应用的基本任务之一。尽管固有的NP难的挑战,CO,启发式,分支定界,基于学习的求解器的开发,以解决CO的问题,尽可能准确地给定有限的时间预算。然而,一氧化碳溶剂的灵敏度的实用度量仍然在很大程度上未被探索。现有的理论度量需要不可行的最优解,并且来自深度学习的基于梯度的对抗性攻击度量与通常不可微的非学习求解器不兼容。在本文中,我们开发了第一个实际可行的鲁棒性度量一般组合优化求解器。我们开发了一个没有更差的最优成本保证,因此不需要最优解,我们通过诉诸黑盒对抗攻击方法来解决不可微的挑战。广泛的实验进行了14个独特的组合的求解器和CO问题,我们证明了国家的最先进的求解器,如Guesthouse的性能可以退化超过20%,根据我们的鲁棒性度量发现的硬实例上的给定的时间限制,提高关注组合优化求解器的鲁棒性。
2022-06-04 cs.AI cs.CR cs.LG
Generating Hard Instances for Robust Combinatorial Optimization
在过去的几十年里,鲁棒优化的研究引起了人们极大的兴趣,但其算法的发展受到了一些因素的阻碍。其中之一是缺少一组基准实例,使算法性能更好地可比,并使复制实例不必要。这样的基准集应该特别包含硬实例,但到目前为止,生成实例的标准方法是从均匀分布中随机抽样值。在本文中,我们介绍了一种新的方法来产生困难的最小-最大组合优化问题,这是基于一个优化模型本身。我们的方法不做任何假设的问题结构,因此可以应用于任何组合问题。使用的选择和旅行商的问题为例,我们表明,它是可能的产生的实例,这是高达500倍的混合整数规划求解器比当前国家的最先进的实例更难解决。
2019-02-08 cs.CC cs.DM cs.PF