High-Order Oracle Complexity of Smooth and Strongly Convex Optimization
Weizmann Institute of Science（魏茨曼科学研究所）
在这篇文章中，我们考虑优化一个高度光滑（Lipschitz $k$阶导数）和强凸函数的复杂性，通过调用一个$k$阶oracle返回值和一阶$k$导数的函数在一个给定的点，其中的尺寸是不受限制的。扩展Arjevani等人[2019]中介绍的技术，我们证明了任何固定$k$优化函数达到精确度$ε$的最差情况Oracle复杂度为$\left(\frac{μ_k D^{k-1}}λ\right)^{\frac{2}{3k+1}}+\log\log\left(\frac{1}ε\right)$的量级（在足够高的维度中，并且直到独立于$ε$的对数因子），其中$μ_k$是$k$阶导数的Lipschitz常数，$D$是到最优值的初始距离，$λ$是强凸性参数。
2021-04-28 cs.LG math.OC
Oracle-efficient Hybrid Learning with Constrained Adversaries
Cornell University（康奈尔大学）
本文提出一种高效混合学习算法，通过受限对抗者设定，在统计最优性和计算效率间取得平衡，适用于高维动作集但低维结构的零和博弈均衡计算。
2026-03-04 cs.LG stat.ML
Optimal Recovery Meets Bayesian Learning: Where Worst-Case Bounds Pay Off
本文统一最坏情况最优恢复与贝叶斯学习，证明Morozov校准在可复现性和后端鲁棒性上优于现有方法，并指出协变量偏移下OR的局限，提出按数据机制匹配保证工具的设计原则。
2026-09-25 cs.LG stat.ML
Competitive caching with machine learned advice
Microsoft Research（微软研究院）；Cornell University（康奈尔大学）；Google（谷歌）；Google Research（谷歌研究院）
传统的在线算法将不确定性下的决策封装起来，并提供了对冲所有可能的未来事件的方法，同时保证了与离线最优解相比接近最优解。另一方面，机器学习算法的业务是外推数据中发现的模式来预测未来，并且通常对预期的泛化误差有很强的保证。在这项工作中，我们开发了一个框架，用于增强在线算法与机器学习的预言，以实现竞争力的比率，可证明提高无条件的最坏情况下的下限时，预言有低错误。我们的方法将Oracle视为一个完整的黑盒子，并且不依赖于其内部工作或其错误的确切分布。我们将此框架应用于传统的缓存问题--为大小为$k$的缓存创建驱逐策略。我们证明，天真地按照甲骨文的建议可能会导致非常差的性能，即使平均错误是相当低的。相反，我们展示了如何修改标记算法，以考虑到预言机的预测，并证明这种结合的方法实现了竞争比，即（i）随着预言机的错误减少而减少，以及（ii）总是由$O(\log k)$封顶，这可以在没有任何预言机输入的情况下实现。我们补充了我们的结果与我们的算法在现实世界的数据集上的经验评估，并表明它表现良好的经验，即使使用简单的现成的预测。
2020-08-21 cs.DS cs.LG
Oracle-Based Robust Optimization via Online Learning
Technion（以色列理工学院）
鲁棒优化是不确定性优化中的一种常用框架，它是指当问题参数未知时，但已知参数属于某个给定的不确定性集合。在鲁棒优化框架中，所解决的问题是一个最小-最大问题，其中根据参数的最差可能实现的性能来判断解决方案。在许多情况下，某种类型的鲁棒最优化问题的直接解决方案需要解决更复杂类型的最优化问题，并且在某些情况下甚至是NP难的。例如，解决一个强大的圆锥二次规划，如在强大的SVM，椭球不确定性一般导致一个半定的计划。在本文中，我们开发了一种方法，近似解决一个强大的最优化问题使用工具，从在线凸优化，在每一个阶段的标准（非鲁棒）优化程序解决。我们的算法找到一个近似的强大的解决方案，使用一些调用的预言，解决了原来的（非鲁棒性）的问题，是成反比的目标精度的平方。
2014-02-25 cs.LG math.OC
Optimization on a Finer Scale: Bounded Local Subgradient Variation Perspective
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Pontificia Universidad Católica de Chile（智利天主教大学）
本文提出有界局部次梯度变化假设，统一并细化非光滑优化复杂度分析，证明并行oracle复杂度可显著低于顺序复杂度，尤其在分段线性函数上。研究揭示次微分集平均宽度对复杂度的影响，为优化理论提供新视角。
2024-11-04 cs.DS cs.LG math.OC
Optimal Rates for Learning with Monotone Adversaries
Stanford University（斯坦福大学）
该研究针对单调敌手学习模型，证明除VC维1外，学习的额外对数代价是固有存在的，明确了不同VC维下的极小极大最优误差速率，且干净的在线到批处理速率无法实现。
2026-08-07 cs.DS cs.LG math.ST
Approximate Frank-Wolfe Algorithms over Graph-structured Support Sets
Fudan University（复旦大学）；Stony Brook University（石溪大学）
本文考虑求解图结构支撑集上凸优化问题的近似Frank-Wolfe（FW）算法，其中线性最小化预言（LMO）一般不能有效地获得.我们首先证明了两个流行的近似假设（加法和乘法间隙误差）是不适用的，没有廉价的间隙近似LMO预言存在。因此，提出了近似对偶最大化神谕（DMO），它近似的内积，而不是差距。我们证明了使用$δ$ -近似DMO的标准FW方法在最坏情况下收敛为$\mathcal{O}((1-δ) \sqrt{s}/δ)$，并且在约束集的$δ$ -松弛上收敛为$\mathcal{O}(L/(δ^2 t))$。此外，当解在边界上时，FW的一个变体在二次增长假设下收敛为$\mathcal{O}(1/t^2)$。我们的实证结果表明，即使这些改进的界限是悲观的，在恢复现实世界的图像与图形结构的稀疏性显示快速收敛。
2022-06-17 cs.LG math.OC
Instance-Dependent Regret Analysis of Kernelized Bandits
Carnegie Mellon University（卡内基梅隆大学）；UCSD（加州大学圣地亚哥分校）
我们研究了核化的强盗问题，它涉及到设计一个自适应的策略来查询一个有噪声的零阶预言机，以有效地学习一个未知函数$f$的优化器，该函数的范数在与正定核$K$相关联的再生核Hilbert空间~（RKHS）中以$M<\infty$为界。以前的结果，工作在一个\emph{minimax framework}，特点的最坏情况下~（在所有的功能在问题类中）的遗憾限制可实现的\emph{any}算法，并已构造算法与匹配~（模多对数因子）最坏情况下的性能为\matern家庭的内核。这些结果有两个缺点。首先，极大极小下界没有给出关于在特定问题实例上常用算法所能达到的后悔极限的信息。其次，由于它们的最坏情况的性质，现有的上限分析无法适应更容易的问题实例中的功能类。我们的工作是采取措施解决这两个问题。首先，我们得到了函数类上归一化累积后悔一致为零的算法的\emph{instance-dependent}后悔下界。我们的结果，有效的所有实际相关的内核化土匪算法，如，GP-UCB，GP-TS和SupKernelUCB，确定了一个基本的复杂性措施与每个问题的实例。然后，我们解决第二个问题，提出了一个新的极大极小近似最优算法，也适应更容易的问题的情况。
2022-03-12 cs.LG stat.ML
Accelerated Frank-Wolfe Algorithms: Complementarity Conditions and Sparsity
本文提出两类加速Frank-Wolfe算法，利用互补条件捕捉解的稀疏性，分别针对多面体和矩阵域，实现最优一阶复杂度且复杂度不依赖环境维度。
2026-09-09 cs.LG math.OC
Stochastic first-order methods: non-asymptotic and computer-aided analyses via potential functions
INRIA（法国国家信息与自动化研究所）；Ecole normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）
我们提供了一种新的计算机辅助技术，系统地分析一阶优化方法。与以前的作品相比，该方法特别适合于处理次线性收敛速度和随机预言。该技术依赖于半定规划和势函数。它允许同时获得这些算法的行为的最坏情况下的保证，并协助选择适当的参数来调整其最坏情况下的性能。该技术还受益于舒适的密封性保证，这意味着只有通过改变设置才能改善不满意的结果。我们使用的方法来分析确定性和随机一阶方法在不同的假设下的随机噪声的性质。其中，我们对待非结构化噪声有界方差，不同的噪声模型中产生的过参数化的期望最小化问题，和随机块坐标下降计划。
2021-12-21 cs.CC cs.LG cs.NA
Robust Multi-Agent Reinforcement Learning by Mutual Information Regularization
针对多智能体强化学习中现有鲁棒方法计算量大、鲁棒性不足的问题，提出无需对手的互信息正则化方法MIR3，通过最大化鲁棒性下界提升鲁棒性，在星际争霸II、机器人群控制及真实部署中均优于基线。
2024-05-21 cs.AI cs.LG
New Oracle-Efficient Algorithms for Private Synthetic Data Release
University of Minnesota（明尼苏达大学）；Harvard University（哈佛大学）；Boston University（波士顿大学）；IBM Research（IBM研究院）
我们提出了三种新的算法，用于构建差异私人合成数据--一个消毒版本的敏感数据集，大约保留了大量的统计查询的答案。所有这三种算法都是\emph{oracle-efficient}，因为它们在访问优化预言时是计算高效的。这样的预言可以使用许多现有的（非私有的）优化工具来实现，例如复杂的整数规划求解器。虽然合成数据的准确性取决于预言机的优化性能，但即使在最坏的情况下，算法也能满足差分隐私。对于所有这三种算法，我们都为准确性和隐私性提供了理论保证。通过实证评估，我们表明，我们的方法规模以及与数据的维数和查询的数量。与最先进的高维矩阵机制\cite{McKennaMHM18}相比，我们的算法在大工作量和高隐私机制（对应于低隐私损失$\varepsilon$）下提供了更好的准确性。
2020-07-10 cs.DS cs.LG stat.ML
Smoothed Analysis of Online and Differentially Private Learning
Cornell University（康奈尔大学）；Columbia University（哥伦比亚大学）
对算法的鲁棒性和隐私性的实际和普遍需求激发了在线对抗和差异隐私学习算法的设计。在这些设置中表征可学习性的主要数量是假设类的Littlestone维度[Ben-David等人，2009年，Alon等人，2019年]。这种特征通常被解释为不可能的结果，因为线性阈值和神经网络等类具有无限的Littlestone维数。在本文中，我们应用平滑分析的框架[Spielman和Teng，2004]，其中逆向选择的输入被自然稍微扰动。我们表明，从根本上更强的遗憾和错误的保证是可能的平滑的对手比最坏情况下的对手。特别是，我们得到的遗憾和隐私的误差范围，只依赖于VC维和括号数的假设类，和扰动的大小。
2020-06-17 cs.DS cs.LG stat.ML
Oracle-Robust Online Alignment for Large Language Models
Purdue University（普渡大学）
本文提出了一种Oracle鲁棒的在线对齐方法，通过引入不确定性集和敏感性惩罚，实现了对大语言模型在不准确偏好反馈下的鲁棒优化。
2026-11-06 cs.LG stat.ML
ACon$^2$: Adaptive Conformal Consensus for Provable Blockchain Oracles
Georgia Institute of Technology（佐治亚理工学院）；University of Pennsylvania（宾夕法尼亚大学）
具有智能合约的区块链是分布式账本系统，通过仅允许智能合约的确定性操作来实现分布式节点之间的块状态一致性。然而，智能合约的力量是通过与随机的链下数据交互来实现的，这反过来又有可能破坏块状态的一致性。为了解决这个问题，使用Oracle智能合约来提供外部数据的单一一致源;但同时，这引入了一个单点故障，称为Oracle问题。为了解决预言机问题，我们提出了一个自适应共形共识（ACon $^2$）算法，通过在线不确定性量化学习的最新进展，从多个预言机合同中获得共识数据集。有趣的是，共识集在分布偏移和拜占庭对手下提供了所需的正确性保证。我们在两个价格数据集和以太坊案例研究上证明了该算法的有效性。特别是，所提出的算法的Solidity实现显示了所提出的算法的潜在实用性，这意味着在线机器学习算法适用于解决区块链中的安全问题。
2023-03-07 cs.AI cs.CR cs.LG
Adaptive Oracle-Efficient Online Learning
Georgia Institute of Technology（佐治亚理工学院）
用于在线学习和决策制定的经典算法具有实现最优性能保证的益处，但是在大规模实施时遭受计算复杂性限制。最近的复杂技术，我们称之为Oracle高效方法，通过调度到离线优化Oracle来解决这个问题，该离线优化Oracle可以搜索指数大（甚至无限）的决策空间，并选择在任何数据集上表现最好的决策。但是，尽管计算可行性的好处，甲骨文高效的算法表现出一个主要的限制：虽然在最坏的情况下表现良好，他们不适应友好的环境。在本文中，我们考虑两个这样的友好的情况下，（a）“小损失”的问题和（b）IID数据。我们提供了一个新的框架，用于设计跟随扰动领导者算法，这些算法是预言机有效的，并且在我们称之为近似性的特定条件下很好地适应小损失环境（这与Dudík等人提供的充分条件在精神上相关，[2020年]）。我们确定了一系列的现实世界中的设置，包括在线拍卖和转导在线分类，其中的近似性举行。我们还扩展了算法的IID数据设置，并建立了一个“两全其美”的甲骨文有效的设置绑定。
2022-10-17 cs.LG stat.ML
Towards the Worst-case Robustness of Large Language Models
Tsinghua Univerisity（清华大学）；Peking University（北京大学）
本研究通过白盒攻击和背包求解器，为大型语言模型的最坏情况鲁棒性提供上下界，并验证了均匀核平滑在平均ℓ0扰动2.02或后缀长度6.41下的鲁棒性。
2026-11-09 cs.LG
TCRL: Temporal-Coupled Adversarial Training for Robust Constrained Reinforcement Learning in Worst-Case Scenarios
Northeastern University（东北大学）；Zhejiang University（浙江大学）；Aalborg University（奥胡斯大学）
TCRL通过引入时序耦合对抗训练框架，解决传统方法在处理时序耦合扰动时的不足，提升约束强化学习在最坏情况下的鲁棒性。
2026-02-13 cs.LG
Scaling Adversarial Training to Large Perturbation Bounds
Indian Institute of Science（印度科学学院）；Indian Institute of Technology (BHU) Varanasi（瓦拉纳西印度理工学院（贝拿勒斯印度教大学））
深度神经网络对对抗攻击的脆弱性推动了对构建鲁棒模型的研究。虽然大多数对抗性训练算法的目标是防御限制在低幅度Lp范数范围内的攻击，但现实世界的对手并不受这些约束的限制。在这项工作中，我们的目标是在更大的范围内实现对抗性鲁棒性，对抗可能可以感知的扰动，但不会改变人类（或Oracle）的预测。翻转Oracle预测的图像的存在和那些不翻转的图像的存在使得这对于对抗鲁棒性来说是一个具有挑战性的设置。我们讨论了超越感知极限的对抗性防御算法的理想目标，并进一步强调了天真地将现有训练算法扩展到更高扰动界的缺点。为了克服这些缺点，我们提出了一种新的防御，Oracle对齐的对抗训练（OA-AT），在对抗训练期间将网络的预测与Oracle的预测对齐。所提出的方法实现了最先进的性能在大的边界（如CIFAR-10上的L-inf边界为16/255），同时优于现有的防御（AWP，TRADES，PGD-AT）在标准边界（8/255）。
2022-10-18 cs.CR cs.CV cs.LG
How to Use Heuristics for Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）；University of Minnesota（明尼苏达大学）
我们开发理论，使用算法来解决计算困难的问题，在差分隐私。启发式方法在机器学习中取得了巨大的成功，其性能可以根据经验进行评估。然而，隐私保障不能凭经验进行评估，必须在不做启发性假设的情况下加以证明。我们表明，学习问题的广泛的功能类可以私下和有效地解决，假设存在一个非私人的神谕解决同一问题。我们的第一个算法产生了一个隐私保证，这是偶然的预言的正确性。然后，我们给出了一个减少，适用于一类我们称之为可认证的隐私保护，这使我们能够转换甲骨文依赖的隐私保证，最坏情况下的隐私保证，即使启发式站在甲骨文可能会失败的对抗方式。最后，我们考虑一类广泛的功能，包括大多数类的简单的布尔函数研究PAC学习文献，包括合取，析取，奇偶校验，和离散半空间。我们表明，有一个有效的算法，私人构建合成数据的任何这样的类，给定一个非私人的学习预言。这特别给出了第一个用于私下生成列联表的合成数据的高效算法。我们的工作留下的最有趣的问题是，是否每一个可以私下差分解决的问题都可以用一个高效的算法私下解决。虽然我们没有解决这个问题，我们给出了一个障碍的结果，表明任何通用的甲骨文有效的减少必须落在一个自然类的算法（其中包括本文给出的算法）。
2018-11-19 cs.CR cs.DS cs.LG
Oracle Complexity of Second-Order Methods for Finite-Sum Problems
Weizmann Institute of Science（魏茨曼科学研究学院）
最小和最优化问题在机器学习中是普遍存在的，并且通常使用依赖于梯度计算的一阶方法来解决。最近，人们对\emph{second-order}方法越来越感兴趣，该方法依赖于梯度和Hessian。原则上，二阶方法比一阶方法需要更少的迭代次数，并且有望实现更有效的算法。虽然计算和操纵海森一般对于高维问题是禁止的，但是有限和问题中的单个函数的海森通常可以被有效地计算，例如，因为它们具有低秩结构。二阶信息真的可以用来更有效地解决这些问题吗？在本文中，我们提供的证据表明，答案-也许令人惊讶-是否定的，至少在最坏情况下的保证。然而，我们还讨论了哪些额外的假设和算法方法可能会规避这种负面结果。
2017-03-08 cs.LG math.OC stat.ML
Quantum noise protects quantum classifiers against adversaries
University of Sydney（悉尼大学）；University of Technology Sydney（悉尼科技大学）；Shanghai Jiao Tong University（上海交通大学）
量子信息处理中的噪声通常被视为一种破坏性和难以避免的特征，特别是在近期的量子技术中。然而，噪声往往发挥了有益的作用，从增强随机共振中的弱信号到保护差分隐私中的数据隐私。那么，我们自然会问，我们能否利用量子噪声的力量来进行量子计算？当前量子计算的一个重要方向是将其应用于机器学习，例如分类问题。分类机器学习的一个突出问题是它对对抗性样本的敏感性。这些是来自原始数据的小的、不可检测的扰动，其中扰动的数据在其他非常准确的分类器中完全被错误分类。它们也可被视为未知噪声源的“最坏情况”扰动。我们表明，通过利用量子线路中的去极化噪声进行分类，可以推导出对对手的鲁棒性约束，其中鲁棒性随着噪声的增加而提高。这种鲁棒性与称为差分隐私的重要安全概念密切相关，差分隐私可以扩展到量子差分隐私。为了保护量子数据，这是第一个可以用来对抗最一般的对手的量子协议。此外，我们展示了如何在经典的情况下的鲁棒性可以敏感的分类模型的细节，但在量子的情况下，分类模型的细节是缺席的，从而也提供了一个潜在的量子优势的经典数据，是独立的量子加速。这为探索量子噪声可以用于我们的其他方式提供了机会，以及确定量子算法可以独立于量子加速的其他方式。
2020-03-20 cs.LG quant-ph
Beyond Worst-Case Analysis in Stochastic Approximation: Moment Estimation Improves Instance Complexity
Tsinghua University（清华大学）；Amazon（亚马逊）；IBM Research（IBM研究院）；Massachusetts Institute of Technology（麻省理工学院）
研究了随机逼近问题的梯度方法的预言复杂性。虽然在许多情况下，最优算法和严格的下界是已知的，这些最优算法并没有达到最佳性能时，在实践中使用。我们通过关注实例依赖复杂性而不是最坏情况复杂性来解决这一理论与实践的差距。特别是，我们首先总结了已知的实例依赖的复杂性的结果，并将它们分为三个级别。我们确定了不同层次之间的支配关系，并提出了第四个实例依赖的约束，占主导地位的现有的。然后，我们提供了一个充分条件，根据该条件，自适应算法与矩估计可以实现所提出的界限，而无需噪声水平的知识。我们提出的算法及其分析提供了一个理论上的理由，成功的时刻估计，因为它实现了改进的实例复杂度。
2022-06-17 cs.LG math.OC
Differentially Private Worst-group Risk Minimization
The Ohio State University（俄亥俄州立大学）；Translational Data Analytics Institute (TDAI)（转化数据分析研究所）
本文研究差分隐私下的最差组风险最小化，提出稳定性泛化分析及在线凸优化框架，并给出在线与离线设定下近乎最优的超额风险界。
2024-02-29 cs.AI cs.CR cs.LG
Optimal Oracle Complexity for Finite-Sum Monotone Inclusions
本文提出一种切换正则化方法，在均方Lipschitz条件下实现有限和单调包含问题的最优预言机复杂度，达到$\mathcal{O}(n+\sqrt{n}LR/\varepsilon)$的期望分量评估次数，并证明其匹配下界。
2026-10-06 cs.LG math.OC
Lower Bounds for Linear-Oracle Online Learning
本研究证明了线性预言机在线学习中固定系数方法无法改进遗憾率，并扩展下界至所有确定性学习器，构造实例达到$T^{3/4}$遗憾下界，匹配已知上界。
2026-10-01 cs.LG math.OC stat.ML
Oracle Efficient Online Multicalibration and Omniprediction
Stanford University（斯坦福大学）；University of Pennsylvania（宾夕法尼亚大学）
本文首次研究在线对抗设置下的全预测问题，提出首个oracle高效的在线多重校准算法，可同时为所有Lipschitz凸损失函数提供无遗憾保证，并给出相关速率的上下界，区分了两种解决方案概念的信息论差异。
2023-07-18 cs.LG stat.ML
PEPit: computer-assisted worst-case analyses of first-order optimization methods in Python
École Polytechnique, Institut Polytechnique de Paris（巴黎综合理工学院，巴黎理工学院）；INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；Ecole des Ponts（巴黎桥路学院）；UCLouvain（鲁汶大学）
本文介绍 Python 软件包 PEPit，它通过将性能估计问题自动建模为 SDP，使用户只需按实现形式编写一阶方法，即可借助标准求解器完成计算机辅助最坏情况分析。
2024-06-17 cs.LG cs.MS cs.NA
Non-Expansive Two-Time-Scale Stochastic Approximation: A Fixed-Schedule One-Quarter Barrier and Bias-Corrected Acceleration
Indian Institute of Technology Kharagpur（印度理工学院Khargapur分校）；Mohamed bin Zayed University of Artificial Intelligence（Mohamed bin Zayed人工智能大学）；Purdue University（普渡大学）
研究非扩张双时间尺度随机逼近机制，通过证明有限时间下界、引入残差预条件慢预言机等方法，在不同算法模型下得到不同总样本率，最终实现单环算法以每次迭代$O(1)$个原始样本达到$T^{-1/2 + o(1)}$的结果。
2026-07-16 cs.LG stat.ML
Lower Bounds for Randomized Linear-Oracle Optimization over Strongly Convex Sets
Zuse Institute Berlin（柏林齐泽研究所）；TU Berlin（柏林工业大学）
针对强凸集上随机线性神谕优化的下界问题，现有下界存在适用范围受限的缺陷，本文证明了随机一阶线性神谕方法的分布下界，填补了无限制随机一阶方法下界的研究空白。
2026-10-12 cs.LG math.OC
AdaSwitch: An Adaptive Switching Meta-Algorithm for Learning-Augmented Bounded-Influence Problems
Leonard N. Stern School of Business, New York University（纽约大学劳伦德·N·斯tern商学院）；Qiuzhen College, Tsinghua University（清华大学邱泽学院）；Yau Mathematical Sciences Center & Department of Mathematical Sciences, Tsinghua University（清华大学杨数学科学中心及数学科学系）
针对带不可靠序列预测的多周期在线决策问题，提出有界影响框架与AdaSwitch元算法，兼顾预测准确时的近优性能与预测失准下的竞争比保证，可应用于多类学习增强在线决策场景。
2026-10-09 cs.LG math.OC
