Generalized Bandit Regret Minimizer Framework in Imperfect Information Extensive-Form Game
针对未知动态 IIEG 的老虎机反馈均衡学习问题,提出广义遗憾最小化框架,并据此给出无模型且计算高效的 SIX-OMD,显著改进收敛速率。
2023-08-18 cs.GT cs.LG
Unimodal Bandits: Regret Lower Bounds and Optimal Algorithms
KTH, Royal Institute of Technology(瑞典皇家理工学院)
我们考虑随机多武装土匪的期望奖励是一个单峰函数偏序武器。这类重要的问题最近已经研究(Cope 2009,Yu 2011)。臂的集合是离散的,在这种情况下,臂对应于有限图的顶点,该有限图的结构表示奖励的相似性,或者是连续的,在这种情况下,臂属于有界区间。对于离散单峰土匪,我们推导出渐近下限的遗憾下实现任何算法,并提出Ostrial,一个算法的遗憾匹配这个下限。我们的算法最佳地利用了单峰结构的问题,令人惊讶的是,它的渐近遗憾不依赖于武器的数量。我们还提供了一个遗憾的上限Occupy在非平稳的环境中,预期的回报随着时间的推移顺利演变。数值实验结果表明,分析结果的支持,OSTO执行显着优于国家的最先进的算法。对于连续组的武器,我们提供了一个简短的讨论。我们表明,结合适当的离散化的一组武器与UCB算法产生一个订单最优的遗憾,并在实践中,优于最近提出的算法,旨在利用单峰结构。
2014-05-20 cs.LG stat.ML
Regret in Online Combinatorial Optimization
Université Paris Est(巴黎东大学);CNRS(法国国家科学研究中心);ENS(巴黎高等师范学院);INRIA(法国国家信息与自动化研究所);Princeton University(普林斯顿大学);ICREA(加泰罗尼亚研究与高等教育机构);Pompeu Fabra University(庞培法布拉大学)
我们解决在线线性优化问题时,决策者的可能行动是由二进制向量。决策者的后悔是指他已经意识到的损失和他在事后采取最佳行动时所能获得的最佳损失之间的差异。我们的目标是了解最佳可能(极大极小)后悔的程度。我们研究了三种不同的假设下的反馈决策者收到的问题:充分的信息,和部分信息模型的所谓的“半土匪”和“土匪”的问题。结合镜像下降算法和INF(隐式归一化预测器)的策略,我们能够证明半强盗的情况下的最佳界限。我们还恢复了最佳的界限,充分的信息设置。在强盗的情况下,我们讨论了现有的结果,根据一个新的下限,并建议在这种情况下的最佳后悔的猜想。最后,我们还证明了标准的指数加权平均预测器是可证明的次优设置在线组合优化。
2013-03-29 cs.LG stat.ML
Toward the Optimal Regret-Instability Trade-off in Multi-Armed Bandits
Peking University(北京大学);Stanford University(斯坦福大学);Shanghai Jiao Tong University(上海交通大学)
该研究针对多臂老虎机场景,证明了后悔与不稳定性的乘积下界,提出SLE-UCB算法匹配该下界,解决了相关开放问题。
2026-08-19 cs.LG math.OC math.ST
Combining Offline Causal Inference and Online Bandit Learning for Data Driven Decision
The Chinese University of Hong Kong(香港中文大学);Tencent(腾讯);Chongqing University(重庆大学)
对于拥有大量记录数据的公司来说,一个基本问题是:如何将这些记录数据与传入的流数据一起使用,以做出正确的决策?许多公司目前通过在线A/B测试做出决策,但在测试过程中的错误决策会伤害用户体验并造成不可逆转的损害。一个典型的替代方案是离线因果推理,它只分析记录的数据来做出决策。然而,这些决策并不适应新的传入数据,因此错误的决策将不断损害用户的体验。为了克服上述限制,我们提出了一个框架来统一离线因果推理算法(例如,加权,匹配)和在线学习算法(例如,UCB、LinUCB)。我们提出了新的算法,并通过“遗憾”的概念,得出的决策精度的界限。我们推导出基于森林的在线强盗算法的第一个后悔上界。两个真实数据集上的实验表明,我们的算法优于其他算法,只使用日志数据或在线反馈,或算法不正确使用的数据。
2020-11-07 cs.LG stat.ML
TRACED: Transition-aware Regret Approximation with Co-learnability for Environment Design
TRACED通过引入过渡预测误差和共学习性指标,改进了环境设计中的 regrets 近似方法,提升了零样本泛化能力。
2026-03-15 cs.AI cs.LG
Parameter-Free Dynamic Regret for Unconstrained Linear Bandits
Intesa Sanpaolo AI Research(意大利联合圣保罗银行人工智能研究院);Università degli Studi di Milano(米兰大学);Politecnico di Milano(米兰理工大学);Intesa Sanpaolo Innovation Center(意大利联合圣保罗银行创新中心)
本文提出一种无参数动态遗憾算法,针对无约束对抗性线性老虎机问题,实现最优遗憾界O(√(d(1+S_T)T)),无需提前知道切换次数S_T。
2026-03-26 cs.LG stat.ML
Finite Constant Frontiers and Auditable Regret Certificates for Average-Reward Reinforcement Learning
Iowa State University(爱荷华州立大学);BRAC University(BRAC大学)
本文针对平均奖励强化学习,提出感知常数的比较协议,推导通信MDP的有限下界证书,改进已发表系数,给出跨度约束乐观学习者的可审计组合规则,完成相关形式化与诊断测试。
2026-08-11 cs.LG
Corralling a Larger Band of Bandits: A Case Study on Switching Regret for Linear Bandits
University of Southern California(南加利福尼亚大学);Nanjing University(南京大学)
我们考虑的问题相结合,学习了一组敌对的强盗算法的目标是自适应跟踪最好的一个在飞。Agarwal等人(2017)的CORRAL算法及其变体(Foster等人,2020 a)以$\widetilde{O}(\sqrt{MT})$阶的后悔开销实现该目标,其中$M$是基本算法的数量,而$T$是时间范围。然而,对$M$的多项式依赖性阻止人们将这些算法应用于$M$是聚$(T)$或甚至更大的许多应用。出于这个问题,我们提出了一个新的配方,以畜栏更大的带宽的强盗算法,其遗憾开销只有\emph{logarithmic}依赖于$M$,只要满足某些条件。作为主要的例子,我们将我们的配方的问题的对抗性线性土匪的$d$ -维$\ell_p$单位球$p \in (1,2]$。通过聚集大量的$T$基础算法,每个算法在不同的时间步开始,我们的最终算法在与具有$S$开关的一系列比较器竞争时实现了第一个最佳开关遗憾$\widetilde{O}(\sqrt{d S T})$(对于一些已知的$S$)。我们进一步将我们的结果推广到光滑和强凸域上的线性强盗以及无约束的线性强盗。
2022-02-12 cs.LG stat.ML
Warm-starting Contextual Bandits: Robustly Combining Supervised and Bandit Feedback
Microsoft Research(微软研究院);University of Maryland(马里兰大学);Yale University(耶鲁大学)
我们研究了从完全标记的监督数据和上下文强盗数据的混合中学习的可行性。我们特别考虑了这两个数据源之间的基础学习信号可能不同的设置。从理论上讲,我们的状态和证明无遗憾算法的学习,是强大的两个源之间的错位成本分布。从经验上讲,我们在大量的数据集上评估了其中的一些算法,表明我们的方法在实践中是可行的和有帮助的。
2019-06-21 cs.LG stat.ML
First-Order Bayesian Regret Analysis of Thompson Sampling
Microsoft Research(微软研究院);Stanford University(斯坦福大学)
我们解决在线组合优化时,玩家有一个事先超过对手的损失序列。在此框架下,Russo和Van Roy提出了基于信息比的Thompson抽样的信息论分析,得到了最坏情况下的最优后悔界。在本文中,我们介绍了三个新的想法,这条线的工作。首先,我们提出了一个新的量,规模-敏感信息比,它允许我们获得更精确的一阶后悔界限(即,形式为$\sqrt{L^*}$的界限,其中$L^*$是最佳组合动作的损失)。其次,我们取代熵的组合动作的坐标熵,这使我们能够获得第一个最佳的最坏情况下的汤普森采样的组合设置。最后,我们介绍了贝叶斯代理和频率置信区间之间的一种新的联系。结合这些想法,我们表明,经典的多臂强盗一阶遗憾界$\tilde{O}(\sqrt{d L^*})$仍然适用于更具有挑战性和更一般的半强盗的情况。后一结果改进了Lykouris、Sridharan和Tardos的现有技术结合$\tilde{O}(\sqrt{(d+m^3)L^*})$。此外,我们锐化这些结果与两个技术成分。第一个利用了最近的洞察力Zimmert和Latterfly取代香农熵更精细的潜在功能的分析。第二种是\emph{Thresholded} Thompson采样算法,它通过从不播放低概率动作来略微修改原始算法。当$L^*$几乎肯定是上界时,这种阈值处理会导致完全$T$独立的遗憾界,这对于普通的Thompson采样是不成立的。
2022-04-04 cs.LG stat.ML
Corralling Stochastic Bandit Algorithms
Johns Hopkins University(约翰斯·霍普金斯大学);Courant Institute(柯朗研究所);Google Research(谷歌研究院)
我们研究的问题,畜栏随机强盗算法,即结合多个强盗算法设计的随机环境中,设计一个畜栏算法,以及最好的基础算法的目标。我们给出了两个一般的算法,这种设置,我们表现出有利的后悔保证的好处。我们发现,遗憾的畜栏算法是没有比最好的算法包含最高奖励的手臂,并取决于最高奖励和其他奖励之间的差距。
2021-02-28 cs.LG stat.ML
Easy as ABCs: Unifying Boltzmann Q-Learning and Counterfactual Regret Minimization
Harvard University(哈佛大学);Google Deepmind(谷歌DeepMind)
提出 ABCs 算法统一 BQL 与 CFR,通过测量环境平稳性自适应探索,在单智能体和多智能体环境中均实现收敛且表现优异。
2024-02-19 cs.GT cs.LG cs.MA
Adversarial Skill Chaining for Long-Horizon Robot Manipulation via Terminal State Regularization
University of Southern California(南加州大学);NVIDIA(英伟达);California Institute of Technology(加州理工学院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
技能链是一种很有前途的方法,通过顺序组合先前学习的技能来合成复杂的行为。然而,当一个策略遇到一个在其训练过程中从未见过的初始状态时,一个幼稚的技能组合就会失败。为了成功的技能链接,先前的方法试图扩大策略的起始状态分布。然而,这些方法需要更大的状态分布,以覆盖更多的政策被排序,并因此限于短的技能序列。在本文中,我们提出在对抗学习框架中通过正则化终端状态分布来链接多个策略,而无需过大的初始状态分布。我们评估我们的方法对两个复杂的长期操作任务的家具装配。我们的研究结果表明,我们的方法建立了第一个无模型强化学习算法来解决这些任务;而以前的技能链方法失败了。代码和视频可在https://clvrai.com/skill-chaining上获得
2021-11-15 cs.AI cs.LG cs.RO
Content-Level Selective Offloading in Heterogeneous Networks: Multi-armed Bandit Optimization and Regret Bounds
Imperial College London(伦敦帝国学院)
我们认为内容级的选择性卸载蜂窝下行链路业务的无线infostation终端存储在其高速缓存中的高数据速率的内容。信息站附近的蜂窝用户可以通过宽带连接(例如,WiFi),减少了蜂窝网络上的延迟和负载。信息站缓存控制器(CC)的目标是将最受欢迎的内容存储在缓存中,以便将最大量的流量卸载到信息站。实际上,CC不知道文件的流行度简档,CC仅观察对存储在高速缓存中的那些内容的即时需求。因此,基于需求历史和与将每个内容放置在高速缓存中相关联的成本来优化高速缓存内容放置。通过以规则的时间间隔刷新高速缓存内容,CC逐渐学习流行度简档,同时以可能的最佳方式利用有限的高速缓存容量。这是制定为一个多臂强盗(MAB)的切换成本的问题。提出了几种算法来决定随着时间的推移缓存内容。性能是根据缓存效率来衡量的,缓存效率定义为卸载到信息站的净流量。除了理论遗憾界限外,还通过数值模拟对所提出的算法进行了分析。特别是,系统参数的影响,如文件的数量,用户的数量,高速缓存的大小,和偏度的流行配置文件,对性能的数值研究。结果表明,所提出的算法学习的流行度配置文件迅速为广泛的系统参数。
2014-07-23 cs.IT cs.LG math.IT
On the Sublinear Regret of Continuous K-Max Bandits
Microsoft Research Asia(微软亚洲研究院);Institute for Interdisciplinary Information Sciences(交叉信息院);Tsinghua University(清华大学)
研究连续K最大多臂老虎机问题,该问题在推荐等应用中出现,有离散化误差等困难。引入DCK - UCB算法,证明其实现了\(\widetilde{O}(T^{3/4})\)遗憾界,还针对特定情况提出MLE - Exp算法,为连续组合老虎机提供了算法解决方案。
2026-07-16 cs.LG
A conversion theorem and minimax optimality for continuum contextual bandits
University of Oxford CMAP, Ecole Polytechnique, IP Paris(牛津大学计算机应用数学中心,巴黎高等技术学院,IP巴黎);CMAP, Ecole Polytechnique, IP Paris(计算机应用数学中心,巴黎高等技术学院,IP巴黎);CSML, Istituto Italiano di Tecnologia University College London(计算机科学与机器学习,意大利技术研究所,伦敦大学学院);CREST, ENSAE, IP Paris(CREST,ENSAE,IP巴黎)
针对上下文连续赌博机,提出静态到上下文遗憾转换定理,并证明在多种设定下算法达到极小极大最优上下文遗憾率。
2025-10-27 cs.LG math.ST stat.ML
Algorithm for Contextual Queueing Bandits with Rate-Optimal Queue Length Regret
KAIST(韩国科学技术院);Seoul National University(首尔大学)
针对上下文队列赌博机问题,提出三阶段算法CQB-η-2,通过仅在截止轮前进行随机探索,将队列长度遗憾从Õ(T^{-1/4})改进到Õ(T^{-1/2}),并证明该速率在最小最大意义下最优。
2026-06-08 cs.LG
A Simple Approach for Non-stationary Linear Bandits
Nanjing University(南京大学)
本文研究了非平稳线性土匪问题,其中未知的回归参数是随着时间的推移而发展。现有的研究开发了各种算法,并表明,他们享有一个$\widetilde{\mathcal{O}}(T^{2/3}P_T^{1/3})$动态遗憾,其中$T$是时间范围和$P_T$是路径长度,测量的波动不断变化的未知参数。在本文中,我们发现了一个严重的技术缺陷,使他们的结果不接地,然后提出了一个修复,这给了一个$\widetilde{\mathcal{O}}(T^{3/4}P_T^{1/4})$动态遗憾,而不修改原有的算法。此外,我们证明,而不是使用复杂的机制,如滑动窗口或加权惩罚,一个简单的重新启动策略是足以达到相同的遗憾保证。具体来说,我们设计了一个UCB型算法来平衡开发和探索,并定期重新启动它来处理未知参数的漂移。我们的方法享有$\widetilde{\mathcal{O}}(T^{3/4}P_T^{1/4})$动态遗憾。注意,为了达到这个界限,该算法需要路径长度$P_T$的预言知识。通过将我们的算法作为基本学习器,结合强盗机制,我们可以进一步以无参数的方式实现相同的遗憾界。实证研究也验证了我们的方法的有效性。
2021-12-22 cs.LG
Stochastic Reset Pathfinding: Path-Level Regret for Cascading Bandits over Graph Paths
Texas A&M University(德克萨斯A&M大学)
研究随机重置路径寻找(SRP)问题,它在已知有向图上,边成功概率未知。提出 Log - Dijkstra 元算法及 PathUCB、PathTS 实例,给出 PathUCB 路径级遗憾界,实验表明 PathTS 性能佳但有对抗实例,推荐其为实用默认算法。
2026-07-20 cs.LG
$ε$-Policy Gradient for Online Pricing
University of Edinburgh(爱丁堡大学);Alan Turing Institute(阿兰·图灵研究所);Naresuan University(那黎宣大学);Imperial College London(伦敦帝国学院)
本文提出ε-策略梯度算法用于在线定价,用梯度下降替代ε-贪婪中的贪婪利用并结合模型推断,通过量化探索与利用成本实现O(√T)阶期望遗憾。
2024-05-06 cs.LG math.OC q-fin.ST
Adaptive Sensor Placement for Continuous Spaces
PROWLER.io Ltd(PROWLER.io有限公司);STOR-i Centre for Doctoral Training, Lancaster University(兰卡斯特大学STOR-i博士培训中心);University of Cambridge(剑桥大学);Lancaster University(兰卡斯特大学)
我们考虑的问题,自适应地放置传感器沿一个区间检测随机生成的事件。我们提出了一个新的提法的问题作为一个连续的武装土匪问题的反馈形式的部分观测实现的非齐次泊松过程。我们设计了一个解决方案,通过汤普森抽样与非参数推理相结合,通过越来越粒度贝叶斯直方图,并推导出$\tilde{O}(T^{2/3})$界的贝叶斯遗憾$T$轮。这是再加上一个有效的优化方法的设计,在多项式时间内选择行动。在模拟中,我们证明了我们的方法比竞争对手的算法有更低的和更少的变量后悔。
2019-05-16 cs.LG stat.ML
Concave Utility Reinforcement Learning with Zero-Constraint Violations
Purdue University(普渡大学)
针对带凸约束的表格无限时域凹效用强化学习,提出基于模型的算法,通过求解更紧优化问题实现零约束违反,并获得高概率遗憾界。
2023-11-17 cs.AI cs.LG
A Doubly Robust Approach to Sparse Reinforcement Learning
Columbia University(哥伦比亚大学)
提出一种用于情景稀疏线性MDP的后悔最小化算法,结合双重稳健方法和新颖分析技术,无需稀疏参数和预言机访问,实现了匹配的上下界并经实验验证其优越性。
2023-10-23 cs.LG stat.ML
Achieving Privacy in the Adversarial Multi-Armed Bandit
Chalmers University of Technology(查尔姆斯理工大学);University of Lille(里尔大学);Harvard University(哈佛大学)
在本文中,我们改进了以前最著名的遗憾界,以实现$ε$ -差分隐私在不经意的对抗土匪从$\mathcal{O}{(T^{2/3}/ε)}$到$\mathcal{O}{(\sqrt{T} \ln T /ε)}$。这是通过将拉普拉斯机制与EXP 3相结合来实现的。我们表明,虽然EXP 3已经是差异私有的,它泄漏了线性量的信息在$T$。然而,我们可以通过依赖其内在的指数机制来选择动作来改善这种隐私。这使我们能够达到$\mathcal{O}{(\sqrt{\ln T})}$ -DP,遗憾的是$\mathcal{O}{(T^{2/3})}$可以对抗自适应对手,这是对最著名的$\mathcal{O}{(T^{3/4})}$的改进。这是通过使用在小批处理循环中运行EXP 3的算法来完成的。最后,我们运行的实验清楚地证明了我们的理论分析的有效性。
2017-01-16 cs.AI cs.CR cs.LG
Fine-Grained Gap-Dependent Bounds for Tabular MDPs via Adaptive Multi-Step Bootstrap
Tsinghua University(清华大学);Stanford University(斯坦福大学);University of Washington(华盛顿大学)
本文提出了一种新的无模型算法--自适应多步Bootstrap(AMB),它具有更强的间隙相关后悔界。第一个创新是通过将乐观引导与自适应多步Monte Carlo推出相结合来估计最佳$Q$函数。第二个创新点是在不受任何其他行为支配的可容许行为中选择具有最大置信区间长度的行为。我们表明,当每个状态有一个独特的最佳行动,AMB实现了一个缺口依赖的遗憾界,只有规模与次优差距的倒数的总和。相比之下,Simchowitz和Jamieson(2019)表明,由于过度探索,所有置信上限(UCB)算法都会遭受额外的$Ω\left(\frac{S}{Δ_{min}}\right)$遗憾,其中$Δ_{min}$是最小次优间隙,$S$是状态数。我们进一步表明,对于一般的MDP,AMB遭受额外的$\frac{|Z_{mul}|}{Δ_{min}}$遗憾,其中$Z_{mul}$是一组状态-动作对$(s,a)$的满足$a$是一个非唯一的最佳行动$s$。我们补充我们的上限与下限显示依赖于$\frac{|Z_{mul}|}{Δ_{min}}$是不可避免的任何一致的算法。这个下限也意味着强化学习和上下文强盗之间的分离。
2021-07-02 cs.LG
BanditQ: Fair Bandits with Guaranteed Rewards
School of Technology and Computer Science, Tata Institute of Fundamental Research(塔塔基础研究院技术与计算机科学学院)
针对经典多臂赌博机算法忽视非最优臂导致的不公平问题,提出 BanditQ 在线策略,结合排队论与对抗性赌博机,保证各臂最低奖励速率并给出遗憾与违例惩罚界。
2024-05-12 cs.LG cs.PF
Linear Bandits under Exact Sliding-Window Constraints
本文研究精确滑动窗口约束下的线性赌博机,提出转移直径与历史状态直径,开发稀有切换OFUL算法,实现亚线性遗憾并保持精确可行性。
2026-10-07 cs.LG
Nonpreemptive Scheduling While Learning Context-Dependent Service Rates
Seoul National University(首尔大学);KAIST(韩国科学技术院)
针对单服务器非抢占式上下文排队老虎机,提出学习-清理-规划(LCP)算法,利用贝尔曼递归实现近最优队列长度遗憾,并在未知时间范围时采用估计SEPT策略跟踪最优。
2026-09-30 cs.LG
Combining Diverse Information for Coordinated Action: Stochastic Bandit Algorithms for Heterogeneous Agents
Harvard University(哈佛大学)
本文针对异质敏感度智能体的随机多臂老虎机问题,提出UCB风格算法Min-Width,通过加权聚合不同智能体-臂对的奖励并协调分配,实现高效协作并分析其遗憾。
2024-08-06 cs.AI cs.LG cs.MA
Combining Online Learning Guarantees
Google(谷歌公司)
我们展示了如何采取任何两个无参数的在线学习算法与不同的遗憾保证,并获得一个单一的算法,其遗憾是最小的两个基本算法。我们的方法非常简单:只需添加迭代。这个技巧可以生成同时适应许多范数的高效算法,以及提供仍然保持无量纲保证的对角风格算法。然后,我们继续展示如何在这个想法的一个变种产生一个黑盒程序生成乐观的在线学习算法。这产生了第一个乐观的遗憾保证在无约束的设置和一般增加适应性。此外,我们的乐观算法保证不差于他们的非乐观同行,无论提供给算法的乐观估计的质量。
2019-02-24 cs.LG math.OC stat.ML
Exact Asymptotics for Linear Quadratic Adaptive Control
Department of Statistics, Harvard University(哈佛大学统计系)
强化学习的最新进展已经在一系列应用中取得了显着的性能,但其在高风险环境中的部署仍然非常罕见。一个原因是对强化算法的行为的理解有限,无论是在他们的遗憾和他们学习底层系统动力学的能力方面-现有的工作几乎完全集中在表征速率上,很少关注常数乘以这些速率,这在实践中可能是至关重要的。为了开始解决这一挑战,我们研究了可能是最简单的非强盗强化学习问题:线性二次自适应控制(LQAC)。通过仔细结合最近的有限样本性能界限的LQAC问题与一个特定的(最近)鞅中心极限定理,我们能够推导出渐进精确的表达式的遗憾,估计误差,和预测误差的速率最优逐步更新LQAC算法。在对稳定和不稳定系统的模拟中,我们发现我们的渐近理论也很好地描述了算法的有限样本行为。
2020-11-02 cs.LG cs.SY eess.SY
A Unified Algorithmic Framework for Hybrid Reinforcement Learning in Tabular MDPs with Shifted Transition Dynamics
Southern University of Science and Technology(南方科技大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));City University of Hong Kong(香港城市大学);Fudan University(复旦大学);Shanghai Academy of AI for Science(上海人工智能研究院)
研究表格型MDP中混合强化学习,提出含MIN-UCB-VI和MAX-LCB-VI的统一算法框架,利用细粒度偏差信息有效利用离线数据,给出理论保证并通过实验验证,解决离线数据因转移动态而无效的问题。
2026-07-29 cs.LG
Fairness without Regret
DeepMind;ANU(澳大利亚国立大学)
在优化问题中实现公平性的一种流行方法是将解空间约束为“公平”解,不幸的是,这通常会降低解的质量。在实践中,最终目标往往是一系列子目标的集合,没有将它们组合在一起的独特或最佳方式,或者只有部分是已知的。我把这个问题变成一个功能,并建议使用一个参数化的目标,并在合理的范围内改变参数,以获得一个“一组”的最佳解决方案,然后可以优化使用次要标准,如公平,而不损害主要目标,即没有遗憾(社会成本)。
2019-07-11 cs.LG stat.ML
Combining Adversarial Guarantees and Stochastic Fast Rates in Online Learning
Centrum Wiskunde & Informatica(荷兰国家数学与计算机科学研究所);Leiden University(莱顿大学)
我们考虑在线学习算法,保证最坏情况下的后悔率在对抗性的环境(因此,他们可以安全地部署,并将执行鲁棒性),但最佳地适应有利的随机环境(因此,他们将在各种实际重要性的设置表现良好)。我们通过著名的伯恩斯坦(a.k.a.广义Tsybakov边限)条件。对于最近的两个算法(眯着眼睛的对冲设置和MetaGrad的在线凸优化),我们表明,他们的数据依赖的个人序列的遗憾保证的特定形式意味着他们自动适应随机环境的伯恩斯坦参数。我们证明,这些算法在各自的设置中达到快速的速度都在预期和高概率。
2016-05-20 cs.LG
Online Mixture of Experts: No-Regret Learning for Optimal Collective Decision-Making
Riebaki AI
针对在线专家混合场景的集体决策优化问题,提出两种带无悔理论保证的聚合算法,并将其应用于专家大语言模型在线微调,可动态调整专家权重提升聚合模型性能。
2025-11-16 cs.AI cs.LG
Robust Online Convex Optimization in the Presence of Outliers
University of Amsterdam(阿姆斯特丹大学);Centrum Wiskunde & Informatica(荷兰国家数学与计算机科学研究所)
我们考虑在线凸优化时,数量k的数据点是离群值,可能会被损坏。我们通过引入鲁棒遗憾的概念来对此进行建模,该概念仅在非异常值的轮次上测量遗憾。学习器的目标是在不知道异常值在哪里的情况下实现小的鲁棒后悔。如果异常值是逆向选择的,我们证明了与通常的遗憾界限相比,极端梯度上的简单过滤策略会产生O(k)的附加开销,并且这是不可改进的,这意味着k需要在轮数上是次线性的。我们进一步询问哪些额外的假设将允许线性数量的离群值。事实证明,独立同分布(i.i.d.)观测或强凸损失是不够的。然而,结合i.i.d.假设离群值是分布的极端分位数中的观测值,则即使离群值的预期数量是线性的,也会导致次线性鲁棒遗憾。
2021-07-05 cs.LG
The Price of Anarchy in Auctions
Stanford University(斯坦福大学);Microsoft Research(微软研究院);Cornell University(康奈尔大学)
本调查概述了一个一般的和模块化的理论证明近似保证拍卖的平衡在复杂的设置。这一理论补充了传统的经济技术,一般侧重于准确和最佳的解决方案,因此仅限于相对程式化的设置。我们强调三个用户友好的分析工具:平滑型不等式,立即产生近似保证许多拍卖格式的利益在特殊情况下的完全信息和确定性策略;扩展定理,这种保证扩展到随机策略,无遗憾的学习结果,和不完全信息设置;和组成定理,这种保证从简单到更复杂的拍卖。结合这些工具产生严格的最坏情况下的近似保证许多广泛使用的拍卖格式的均衡。
2016-07-26 cs.AI cs.GT cs.LG