Tight Majorizations and Convergence Rates of Nuclear Norm Minimization IRLS
University of Central Florida（中佛罗里达大学）；Wirtschaftsuniversität Wien（维也纳经济大学）；KU Eichstätt-Ingolstadt（艾希施泰特-英戈尔施塔特大学）
本文针对低秩恢复的约束核范数最小化问题，通过新的上界分析证明调和均值权重算子的最优性，给出IRLS算法的收敛速率，并经数值实验验证其优于单侧重加权方案。
2026-08-26 cs.LG cs.NA math.NA
Bayesian Regret Minimization in Offline Bandits
本文针对离线线性老虎机提出一种直接最小化贝叶斯遗憾上界的新算法，利用锥优化求解器并建立与货币风险度量的联系，理论和数值结果均表明其优于传统的最大下置信界（LCB）方法。
2024-07-02 cs.LG stat.ML
Tight Continuous Relaxation of the Balanced $k$-Cut Problem
Saarland University（萨尔兰大学）
谱聚类作为归一化/比率割的一种松弛方法，已经成为标准的基于图的聚类方法之一。现有的方法用于计算多个簇，对应于图的平衡$k$ -割，或者是基于贪婪技术或启发式算法，其与最小化归一化割的原始动机有弱联系。在本文中，我们提出了一个新的紧连续放松任何平衡的$k$切割问题，并表明，最近提出的相关放松在大多数情况下是松散的，导致在实践中的性能不佳。对于我们的紧连续松弛的优化，我们提出了一个新的算法的困难的比率最小化问题，实现单调下降。广泛的比较表明，我们的方法优于所有现有的比率削减和其他平衡的$k$削减标准的方法。
2015-05-24 cs.LG stat.ML
Efficiently Bounding Optimal Solutions after Small Data Modification in Large-Scale Empirical Risk Minimization
Nagoya Institute of Technology（名古屋工业大学）；University of Tsukuba（筑波大学）
我们在不断变化的环境中研究大规模的分类问题，其中一小部分数据集被修改，并且数据修改的效果必须快速地并入分类器中。当整个数据集很大时，即使数据修改量相当小，重新训练分类器的计算成本也会非常大。在本文中，我们提出了一种新的方法，有效地将这样的数据修改效果的分类器，而实际上没有重新训练it.The所提出的方法提供了未知的最佳分类器的成本只成比例的数据修改的大小的界限。我们通过数值实验证明，所提出的方法提供了足够紧的界限，可以忽略不计的计算成本，特别是当一小部分的数据集被修改在一个大规模的分类问题。
2016-06-01 cs.LG stat.ML
Differentially Private Empirical Risk Minimization Revisited: Faster and More General
State University of New York at Buffalo（纽约州立大学布法罗分校）
在本文中，我们研究了在不同的设置不同的私人经验风险最小化（ERM）问题。对于光滑（强）凸损失函数与或不与（非）光滑正则化，我们给出的算法，实现最佳或接近最佳的效用界，与以前的工作相比，梯度复杂性。对于高维（$p\gg n$）环境下具有光滑凸损失函数的ERM，我们给出了一个算法，该算法比以前的算法以更小的梯度复杂度达到上界。最后，将期望超额经验风险从凸损失函数推广到满足Polyak-Lojasiewicz条件的非凸损失函数，并给出了比\cite{ijcai2017-548}更严格的效用上界.
2018-02-14 cs.CR cs.LG stat.ML
On Coresets for Regularized Loss Minimization
RelationalAI（RelationalAI公司）；UC Merced（加州大学默塞德分校）；Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh（匹兹堡大学）
我们设计和数学分析基于采样的正则化损失最小化问题的算法，这些算法可以在流行的大数据计算模型中实现，其中对数据的访问以某种方式受到限制。我们的主要结果是，如果正则化的效果不成为可以忽略不计的规范的假设规模，并作为数据规模，那么一个均匀的样本适度的大小是具有高概率的coreset。在损失函数是逻辑回归或软边缘支持向量机的情况下，并且正则化器是常见的推荐选择之一，该结果意味着大小为$O(d \sqrt{n})$的均匀样本很有可能是$\Re^d$中$n$点的核心集。我们将这个上界与两个下界进行对比。第一个下界表明我们对均匀抽样的分析是严格的;也就是说，较小的均匀样本可能不是核心集。第二个下限表明，在某种意义上，均匀采样接近最佳，因为通常不存在明显较小的核心集。
2019-05-31 cs.LG stat.ML
Online $\mathrm{L}^{\natural}$-Convex Minimization
Kyushu University（九州大学）；NEC Corporation（日本电气公司）；RIKEN（理化学研究所）；The University of Tokyo（东京大学）
针对在线次模最小化框架定义域受限的问题，本文引入在线 $\mathrm{L}^{\natural}$-凸最小化，提出适用于全信息和 bandit 设置的高效算法，并证明全信息设置下的算法遗憾界紧致。
2024-04-26 cs.LG stat.ML
Efficient Swap Regret Minimization in Combinatorial Bandits
National Technical University of Athens（雅典国立技术大学）；National and Kapodistrian University of Athens（雅典国立卡波季斯特里安大学）；Archimedes, Athena Research Center（雅典娜研究中心阿基米德部）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）；University of California, Irvine（加州大学尔湾分校）
本文提出一种在组合老虎机中具有多项对数依赖于N的高效无交换后悔算法，解决了该领域长期存在的挑战。
2026-11-10 cs.LG math.OC stat.ML
Universal Majorization-Minimization Algorithms
Google（谷歌公司）
针对传统MM算法需手工推导majorizer、适用场景有限的问题，提出基于泰勒模式自动微分推广技术的通用MM优化器，可自动推导majorizer，适用于任意问题且无需超参数调优、任意起始点均可收敛。
2023-07-31 cs.LG math.OC stat.CO
Second Order PAC-Bayesian Bounds for the Weighted Majority Vote
University of Almería（阿尔梅里亚大学）；University of Copenhagen（哥本哈根大学）
我们提出了一个新的分析加权多数表决的预期风险在多类分类。该分析考虑到合奏成员的预测的相关性，并提供了一个约束，这是服从有效的最小化，从而产生改善的加权多数票。我们还提供了一个专门版本的二进制分类，它允许利用额外的未标记数据进行更严格的风险估计。在实验中，我们应用的范围，以提高加权的树木在随机森林和显示，在常用的一阶界，最小化的新的界限通常不会导致退化的测试误差的合奏。
2020-12-17 cs.LG stat.ML
Lazy-CFR: fast and near optimal regret minimization for extensive games with imperfect information
Tsinghua University（清华大学）；BNRist Center（BNRist中心）；State Key Lab for Intell. Tech. & Sys.（智能技术与系统国家重点实验室）；THBI Lab（THBI实验室）；Dept. of Comp. Sci. & Tech.（计算机科学与技术系）
反事实遗憾最小化（CFR）算法是求解不完全信息下二人零和广式对策的最常用算法，在实际应用中取得了很好的效果。然而，CFR的性能并没有得到充分的理解，因为经验结果的遗憾是远远优于上限证明\cite{zinkevich2008regret}。另一个问题是CFR必须在每轮中遍历整个博弈树，这在大规模博弈中是耗时的。本文提出了一种新的技术，懒惰更新，它可以避免遍历整个游戏树的CFR，以及新的分析与懒惰更新的CFR遗憾。我们的分析也可以应用到香草CFR，导致一个更严格的遗憾界比\cite{zinkevich2008regret}。受惰性更新的启发，我们进一步提出了一种新的CFR变体，命名为Lazy-CFR。与vanilla CFR中遍历$O(|\mathcal{I}|)$信息集相比，Lazy-CFR每轮只需要遍历$O(\sqrt{|\mathcal{I}|})$信息集，而遗憾界几乎保持不变，其中$\mathcal{I}$是所有信息集的类。因此，与vanilla CFR相比，Lazy-CFR表现出更好的收敛结果。实验结果一致表明，Lazy-CFR显著优于vanilla CFR。
2018-12-25 cs.LG stat.ML
An Experimental Design Approach for Regret Minimization in Logistic Bandits
Rice University（莱斯大学）；University of Arizona（亚利桑那大学）；University of Washington（华盛顿大学）
在这项工作中，我们考虑的问题后悔最小化物流土匪。物流强盗的主要挑战是减少对潜在的大问题相关常数$κ$的依赖，该常数在最坏的情况下可以与未知参数$θ_{\ast}$的范数指数地缩放。Abeille等人（2021）应用逻辑函数的自一致性来消除这种最坏情况的依赖性，提供了像$O(d\log^2(κ)\sqrt{\dotμT}\log(|\mathcal{X}|))$这样的后悔保证，其中$d$是维度，$T$是时间范围，$\dotμ$是最佳臂的方差。这项工作通过采用试验设计程序来改进固定臂设置中的这一界限，该程序实现了$O(\sqrt{d \dotμT\log(|\mathcal{X}|)})$的最小最大后悔。我们的遗憾界限实际上采取了一个更严格的例子（即，gap）依赖遗憾首次在物流土匪绑定。我们还提出了一个新的预热采样算法，可以显着减少低阶项的遗憾一般，并证明它可以取代低阶项依赖$κ$ $\log^2(κ)$的一些情况下。最后，我们讨论了最大似然估计的偏差对逻辑强盗问题的影响，提供了一个例子，其中$d^2$低阶后悔（参见，它是$d$，用于线性Bandits）可能不会得到改善，只要使用MLE以及如何使用偏差校正估计器来使它更接近$d$。
2022-02-04 cs.LG stat.ML
Tight Regret Bounds for Single-pass Streaming Multi-armed Bandits
Rutgers University（罗格斯大学）
本文研究单遍流式 MAB 在次线性臂内存下的紧致遗憾界，通过 ε-最优臂识别与提交策略给出匹配上下界，并经仿真验证显著优于均匀探索。
2023-06-03 cs.DS cs.LG stat.ML
Incremental Majorization-Minimization Optimization with Application to Large-Scale Machine Learning
Inria（法国国家信息与自动化研究所）；Laboratoire Jean Kuntzmann（让·库茨曼实验室）；CNRS（法国国家科学研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
优化最小化算法包括连续地最小化目标函数的一系列上界。这些上界在当前估计值处很紧，并且每次迭代单调地驱动目标函数下降。这一简单的原理在各个科学领域，特别是在信号处理和统计学领域，都有着广泛的应用。在本文中，我们提出了一个增量优化最小化计划最小化大量的连续函数，在机器学习中的一个至关重要的问题。我们提出了收敛保证非凸和凸优化时的上界近似的目标到一个光滑的错误，我们称这样的上界“一阶代理函数”。更确切地说，我们研究了非凸问题的渐近稳定点保证，对于凸问题，我们提供了预期目标函数值的收敛速度。将该算法应用于复合优化问题，得到了一个新的强凸函数的具有线性收敛速率的增量邻近梯度算法。在我们的实验中，我们表明，我们的方法是有竞争力的解决机器学习问题，如逻辑斯谛回归的最先进的训练样本的数量是足够大的，我们证明了它的有用性稀疏估计与非凸处罚。
2015-02-01 cs.LG math.OC stat.ML
A Tight Excess Risk Bound via a Unified PAC-Bayesian-Rademacher-Shtarkov-MDL Complexity
Centrum Wiskunde & Informatica（荷兰数学与计算机科学中心）；Leiden University（莱顿大学）；University of Victoria（维多利亚大学）
我们提出了一个新的复杂性概念，它介于学习理论中的一些经典复杂性概念之间，并推广了这些复杂性概念：对于具有任意有界损失的经验风险最小化（ERM）估计，它在数据无关的Rademacher复杂性方面是上界的;对于广义贝叶斯估计，它的上界是数据相关信息复杂度（也称为随机或PAC-Bayesian，$\mathrm{KL}(\text{posterior} \operatorname{\|} \text{prior})$复杂性。对于（惩罚）ERM，新的复杂性降低到（广义）归一化最大似然（NML）的复杂性，即一个极大极小对数损失个别序列遗憾。我们的第一个主要结果限制了新的复杂性方面的过度风险。我们的第二个主要结果通过Rademacher复杂性将新的复杂性与$L_2(P)$熵联系起来，从而推广了Opper，Haussler，Lugosi和Cesa-Bianchi的早期结果，他们用$L_\infty$做了对数损失的情况。总之，这些结果恢复VC和大（多项式熵）类的最佳界限，取代本地化的Rademacher复杂性由一个更简单的分析，几乎完全分离的两个方面，确定可实现的速率：“容易”（伯恩斯坦）条件和模型的复杂性。
2017-10-21 cs.LG stat.ML
Tight Regret Bounds for Bilateral Trade under Semi Feedback
Hong Kong University of Science and Technology（香港科技大学）
本文提出一种$\widetilde{O}(T^{2 / 3})$的懊悔机制，解决了GBB半反馈固定价格机制在对抗性价值下的紧懊悔界问题。
2026-01-23 cs.GT cs.LG
Tight Bounds for Approximate Carathéodory and Beyond
Google Research（谷歌研究院）；MIT（麻省理工学院）；UC Berkeley（加州大学伯克利分校）
本文给出了一个确定性的近似线性时间算法，用于用凸多面体顶点的稀疏凸组合逼近凸多面体内的任意点。我们的结果为近似Carathéodory问题提供了一个构造性的证明，该证明指出，半径为$D$的$\ell_p$球中包含的多面体内的任何点都可以通过$p \geq 2$的多面体的仅$O\left(D^2 p/ε^2\right)$顶点的凸组合在$\ell_p$范数下近似于$ε$内.我们还表明，这个界是紧的，使用参数的基础上反浓度的二项分布。沿着建立上界的方式，我们开发了一种技术，用于最小化具有复杂几何形状的凸集上的范数;这是通过运行镜像下降通过Sion定理获得的对偶凸函数来实现的。作为我们的方法的简单扩展，然后我们提供了新的算法子模函数最小化和SVM训练。对于次模函数最小化，我们得到一个简化和（可证明）的速度超过沃尔夫的算法，该方法通常被认为是最快的在实践中。对于SVM训练，我们获得了任意核的$O(1/ε^2)$收敛;每次迭代只需要涉及核矩阵的矩阵向量运算，因此我们克服了必须显式存储核或计算其Cholesky分解的障碍。
2015-12-29 cs.DS cs.LG math.OC
On Faster Convergence of Cyclic Block Coordinate Descent-type Methods for Strongly Convex Minimization
University of Minnesota Twin Cities（明尼苏达大学双城分校）；Georgia Institute of Technology（佐治亚理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Northwestern University（西北大学）
循环块坐标下降型（CBCD型）方法，它执行迭代更新的几个坐标（块）同时在整个过程中，已显示出显着的计算性能，解决强凸极小化问题。典型的应用包括许多流行的统计机器学习方法，如弹性网络回归，岭惩罚逻辑斯谛回归和稀疏加法回归。现有的优化文献已经表明，对于强凸最小化，CBCD型方法达到$\mathcal{O}(p\log(1/ε))$的迭代复杂度，其中$ε$是目标值的预定精度，并且$p$是块的数量。然而，这样的迭代复杂度明确地取决于$p$，并且因此比梯度下降（GD）方法的复杂度$\mathcal{O}(\log(1/ε))$至少差$p$倍。为了弥合这一理论差距，我们提出了一个改进的CBCD型方法的收敛性分析。特别是，我们首先表明，对于一个家庭的二次最小化问题，迭代复杂性$\mathcal{O}(\log^2(p)\cdot\log(1/ε))$的CBCD型方法相匹配的GD方法在$p$的依赖，高达$\log^2 p$的因素。因此，我们的复杂性边界比现有的边界至少清晰$p/\log^2(p)$的一个因素。我们还提供了一个下界，以确认我们的改进的复杂性边界是紧的（高达$\log^2 (p)$因子），假设Hessian矩阵的最大和最小特征值不与$p$缩放。最后，我们将我们的分析推广到其他强凸极小化问题以外的二次。
2017-11-22 cs.LG math.OC stat.ML
Tight Regret Bounds for Fixed-Price Bilateral Trade
Shanghai Jiao Tong University（上海交通大学）；Huawei’s Taylor Lab（华为泰勒实验室）；Shanghai University of Finance and Economics, Laboratory of Interdisciplinary Research of Computation and Economics (SUFE)（上海金融学院，计算与经济学交叉研究实验室（SUFE））
本文研究了固定价格机制在双边交易中的懊悔最小化问题，针对独立值和相关/对抗值分别给出了紧致的懊悔界，并改进了现有结果。
2026-05-19 cs.GT cs.LG
Rate-Preserving Reductions for Blackwell Approachability
Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）；Courant Institute of Mathematical Sciences, New York（纽约柯朗数学科学研究所）
本文研究Blackwell可逼近性与无悔学习之间归约的保速率性质，证明现有归约不保持最优速率，并提出不当φ-遗憾最小化作为紧密归约框架，揭示可逼近性可表达超出在线学习范畴的问题。
2024-07-17 cs.LG stat.ML
Parallelization does not Accelerate Convex Optimization: Adaptivity Lower Bounds for Non-smooth Convex Minimization
Harvard University（哈佛大学）
本文研究了凸优化问题并行化的局限性。研究并行化的一种方便方法是通过\emph{adaptivity}的棱镜，\emph{adaptivity}是算法并行运行时间的信息论度量[BS 18]。非正式地说，自适应性是当算法在每一轮可以并行执行多项式多个查询时，它需要进行的顺序轮数。对于具有黑盒Oracle访问的组合优化，最近对自适应性的研究导致了并行运行时的指数加速，自然的问题是凸优化是否可以实现显著的加速。对于最小化一个非光滑凸函数$f:[0,1]^n\to \mathbb{R}$在单位欧几里德球的问题，我们给出了一个紧的下界，表明即使$\texttt{poly}(n)$查询可以并行执行，也没有随机算法与$\tilde{o}(n^{1/3})$轮的自适应性，具有收敛速度，比那些实现一个查询每轮算法。Nemirovski [Nem94]获得了类似的下限，但该结果适用于$\ell_{\infty}$设置而不是$\ell_2$。此外，我们还证明了一个紧的下界，持有Lipschitz和强凸函数。在写这份手稿的时候，我们不知道涅米罗夫斯基的结果。我们使用的构造与[Nem94]中的构造类似，尽管我们的分析不同。由于这项工作和[Nem94]之间的密切关系，我们认为这篇手稿的研究贡献有限，它应该作为一种有效的方法来理解并行优化的下限。
2019-11-20 cs.DC cs.DS cs.IT
Regret Minimization for Piecewise Linear Rewards: Contracts, Auctions, and Beyond
Politecnico di Milano（米兰理工大学）
研究在相关模型参数未知且由概率分布确定时，如何优化未知随机分段线性奖励函数。提出通用在线学习框架，设计算法达\(\widetilde{O}(\sqrt{nT})\)遗憾值，解决了微观经济学习文献中的两个开放问题。
2026-07-21 cs.GT cs.LG
Constrained fractional set programs and their application in local clustering and community detection
Saarland University（萨尔大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
集合函数比的（约束）最小化是聚类和社区检测中经常出现的问题。由于这些优化问题通常是NP难的，因此在实践中使用凸或谱松弛。虽然这些松弛可以全局最优地解决，但它们往往过于松散，从而导致结果远离最优。在本文中，我们表明，每一个约束的非负集函数的比例最小化问题允许一个紧松弛成一个无约束的连续优化问题。这一结果导致一个灵活的框架，解决网络分析中的约束问题。虽然不能保证所产生的非凸问题的全局最优解，但在约束局部聚类问题上，我们的表现优于宽松的凸或谱松弛。
2013-06-14 cs.LG math.OC stat.ML
Alternative Function Approximation Parameterizations for Solving Games: An Analysis of $f$-Regression Counterfactual Regret Minimization
University of Alberta（阿尔伯塔大学）
函数逼近是构造大型决策问题的一种强大方法，在强化学习和博弈领域取得了巨大成就。回归反事实遗憾最小化（Reconstruction Counterfactual Regret Minimization，RCFR）是一种近似求解具有归一化校正线性单元（Normalized Rectified Linear Unit，ReLU）参数化策略的不完美信息博弈的简单算法。相比之下，更传统的softmax参数化在强化学习领域是标准的，并且产生了对动作数量有更好依赖的后悔界限。我们推导出近似误差感知的遗憾界$(Φ, f)$遗憾匹配，它适用于一般类的链接功能和遗憾的目标。这些边界恢复了更严格的限制RFR和提供一个理论上的理由，RFR实施替代政策参数化（$f$ -RFR），包括softmax。我们提供了可利用的界限$f$ -RFR的多项式和指数的链接函数在零和不完美信息游戏和经验研究如何链接函数相互作用的严重程度的近似。我们发现，以前研究的ReLU参数化在近似误差较小时表现更好，而softmax参数化在近似误差较大时表现更好。
2020-05-01 cs.AI cs.GT cs.LG
Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions
University of California, Santa Barbara（加州大学圣巴巴拉分校）
经验风险最小化（ERM）算法广泛用于信号处理和机器学习应用中的各种估计和预测任务。尽管它们很受欢迎，但在测量数量和未知参数数量都很大的现代制度中解释它们的统计特性的理论只是最近才出现的。本文首次刻画了高维广义线性模型中凸ERM推理的统计精度的基本极限。对于具有高斯特征和问题维度的程式化设置，这些特征和问题维度以成比例的速度增长，我们从尖锐的性能特征开始，然后推导出估计和预测误差的严格下限，这些估计和预测误差适用于广泛的一类损失函数和正则化参数的任何值。我们的精确分析有几个特点。首先，它导致了最佳调整损失函数和正则化参数的配方。其次，它允许精确地量化流行的启发式选择的次优性：例如，我们表明，最优调整的最小二乘是（也许令人惊讶的）近似最优的标准逻辑数据，但次优差距急剧增长的信号强度增加。第三，我们使用的界限，以精确地评估脊正则化的优点作为一个函数的过参数化比率。值得注意的是，我们的界限表示的随机变量的费舍尔信息，是简单的函数的数据分布，从而在经典统计学中相应的界限。
2020-07-05 cs.IT cs.LG eess.SP
Entropy Minimization without Model Collapse: Mitigating Prediction Bias in Medical Imaging
School of Computation, Information and Technology, Technical University of Munich, Germany（慕尼黑技术大学计算、信息与技术学院）；Institute of Machine Learning in Biomedical Imaging, Helmholtz Munich, Germany（生物医学成像中的机器学习研究所，海德堡慕尼黑德国）；School of Biomedical Engineering and Imaging Sciences, King’s College London, UK（伦敦国王学院生物医学工程与成像科学学院）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））；relAI – Konrad Zuse School of Excellence in Reliable AI（relAI——Konrad Zuse可靠性人工智能卓越学院）；TUM University Hospital Rechts der Isar（慕尼黑技术大学医院Rechts der Isar）
针对测试时适应中熵最小化导致的模型坍塌问题，提出分布偏移偏差减少（DSBR）方法，通过均衡各预测类对无监督熵最小化损失的贡献来纠正预测偏差，在四个医学影像数据集和ImageNet-C上验证了其稳定性和有效性。
2026-06-01 cs.CV cs.LG
Tight Lower Bounds and Improved Convergence in Performative Prediction
Mila, Quebec AI Institute（魁北克AI研究所）；Université de Montréal（蒙特利尔大学）；Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）
本文提出仿射风险最小化算法，通过利用历史数据集提升性能预测的收敛速度和稳定性，同时证明了新旧界在相同领域的紧性。
2026-01-29 cs.AI cs.LG
Bounds for Approximate Regret-Matching Algorithms
University of Alberta（阿尔伯塔大学）
解决大型非真实信息博弈的一个主要方法是反事实遗憾最小化（CFR）。在CFR中，许多后悔最小化问题组合起来解决这个问题。对于非常大型的游戏，通常需要抽象来使CFR易于处理。抽象通常是手动调整的，可能会删除完整游戏中的重要战略差异并损害性能。函数近似提供了一种自然的解决方案，可以找到好的抽象来近似整个游戏。结合函数逼近的一种常见方法是学习后悔最小化算法所需的输入，允许在许多后悔最小化问题中推广。本文给出了当后悔极小化算法使用估计值而不是真值时的后悔界。这种形式的分析是第一个推广到更大类的$(Φ, f)$ -后悔匹配算法，并包括不同形式的后悔，如交换，内部和外部后悔。我们演示了这些结果如何给一个稍微紧的约束回归后悔匹配（RRM），并提出了一个新的结合回归与对冲的约束。
2019-11-28 cs.GT cs.LG
Learning with Submodular Functions: A Convex Optimization Perspective
INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）
子模函数与机器学习相关至少有两个原因：（1）一些问题可以直接表示为子模函数的优化，以及（2）子模函数的lovasz扩展为监督学习和无监督学习提供了一组有用的正则化函数。在这本专著中，我们提出了理论的次模函数从凸分析的角度来看，提出了紧密的联系，某些多面体，组合优化和凸优化问题。特别是，我们展示了次模函数最小化是如何等价于解决各种各样的凸优化问题。这使得新的高效算法的近似和精确的子模函数最小化的理论保证和良好的实际性能的推导。通过列出许多子模块函数的例子，我们回顾了机器学习的各种应用，如聚类，实验设计，传感器放置，图形模型结构学习或子集选择，以及一个家庭的结构稀疏诱导规范，可以派生和使用的子模块函数。
2013-10-08 cs.LG math.OC
Adjusted Expected Improvement for Cumulative Regret Minimization in Noisy Bayesian Optimization
National University of Singapore（新加坡国立大学）
本文针对噪声贝叶斯优化中累积遗憾最小化问题，提出期望改进-代价（EIC）算法，通过引入评估代价决定采样或重采样，并证明其遗憾上界优于现有 EI 类算法且可比肩 GP-TS 和 GP-UCB。
2024-10-03 cs.LG math.ST stat.TH
Quantum Algorithms and Lower Bounds for Linear Regression with Norm Constraints
QuSoft（量子软件联盟）；CWI（荷兰国家数学与计算机科学研究所）；University of Amsterdam（阿姆斯特丹大学）
Lasso和Ridge是机器学习和统计学中的重要最小化问题。它们是具有平方损失的线性回归的版本，其中系数的向量$θ\in\mathbb{R}^d$被约束在$\ell_1$ -范数（对于Lasso）或$\ell_2$ -范数（对于Ridge）中。我们研究了量子算法的复杂性，寻找这些最小化问题的$\varepsilon$ -极小。我们表明，对于拉索，我们可以得到一个二次量子加速$d$方面，通过加快弗兰克-沃尔夫算法的每次迭代的成本，而脊最好的量子算法是线性的$d$，是最好的经典算法。作为Lasso的量子下界的一个副产品，我们还证明了Lasso的第一个经典下界，它紧到多项式因子。
2022-07-19 cs.CC cs.DS cs.LG
