Learn to Match: Two-Sided Matching with Temporally Extended Feedback
Department of Economics, University of Washington(华盛顿大学经济系);Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院)
提出一个具有时间扩展反馈的双边匹配框架,将其建模为部分可观测马尔可夫博弈,并基于多智能体强化学习构建Learn2Match基准,实验表明独立PPO优于bandit基线,但存在信息摩擦损失。
2026-06-08 cs.GT cs.LG cs.MA
Provably Feedback-Efficient Reinforcement Learning via Active Reward Learning
Peking University(北京大学)
本文提出一种基于主动奖励学习的强化学习框架,通过少量人类反馈即可在理论上保证获得近似最优策略,显著降低反馈查询复杂度。
2023-04-18 cs.AI cs.LG math.OC
Double Auctions with Two-sided Bandit Feedback
Google(谷歌);AWS(亚马逊云科技)
本文首次研究买卖双方均需学习自身估值的双重拍卖市场,提出基于置信界出价和平均定价的去中心化学习算法,实现高效价格发现,并给出个体遗憾与社会遗憾的上下界。
2023-07-10 cs.GT cs.LG
Interactive and Hybrid Imitation Learning: Provably Beating Behavior Cloning
University of Arizona(亚利桑那大学)
本文提出Warm Stagger方法,证明在按状态计算注释成本时,交互式和混合模仿学习可超越传统行为克隆方法。
2026-01-13 cs.LG stat.ML
Stochastic One-Sided Full-Information Bandit
Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);Microsoft Research(微软研究院)
本文研究了随机版本的单侧完全信息强盗问题,其中我们有$K$手臂$[K] = \{1, 2, \ldots, K\}$,并且玩手臂$i$将从手臂$i$的未知分布中获得奖励,同时获得所有手臂$j \ge i$的奖励反馈.单边完全信息强盗模型可以模拟在线重复第二价格拍卖,拍卖师可以在每一轮中选择保留价,投标人只有在出价高于保留价时才透露他们的出价。在本文中,我们提出了一个基于淘汰的算法来解决这个问题。我们的基于消除的算法实现了分布独立的遗憾上界$O(\sqrt{T\cdot\log (TK)})$,和分布相关的界$O((\log T + \log K)f(Δ))$,其中$T$是时间范围,$Δ$是臂的平均奖励和最佳臂的平均奖励之间的间隙的向量,和$f(Δ)$是取决于间隙向量的公式,我们将详细说明。我们的算法具有迄今为止最好的理论遗憾上限。我们还验证了我们的算法经验对其他可能的替代品。
2019-06-20 cs.DS cs.LG stat.ML
Greedy Sampling Is Provably Efficient for RLHF
Electrical and Computer Engineering University of Virginia(电气与计算机工程大学弗吉尼亚大学);Princeton Language and Intelligence Princeton University(普林斯顿语言与智能普林斯顿大学)
该研究针对RLHF理论理解不足的问题,跳出经典乐观/悲观估计框架,基于KL正则化目标下最优策略类的结构特性,证明贪心采样在通用偏好模型及BT模型中均能实现阶数提升的性能保证,为RLHF算法设计提供新理论依据。
2025-10-28 cs.AI cs.IT cs.LG
Provably Efficient Reinforcement Learning for Online Adaptive Influence Maximization
Princeton University(普林斯顿大学);LinkedIn(领英);Penn State University(宾夕法尼亚州立大学)
在线影响力最大化是指在网络模型未知的情况下,通过选择少量种子节点,最大化内容在社交网络中的影响力传播。最近的研究遵循非自适应设置,其中在扩散过程开始之前选择种子节点,并且在扩散停止时更新网络参数。我们考虑一个自适应版本的内容相关的在线影响力最大化问题的种子节点被顺序激活的基础上实时反馈。在本文中,我们将该问题表示为线性扩散过程下的无限时域折扣MDP,并提出了一种基于基于模型的强化学习解决方案。我们的算法保持一个网络模型的估计,并自适应地选择种子用户,探索社会网络,同时提高最优策略的乐观。我们建立了算法的$\widetilde O(\sqrt{T})$后悔界。在合成网络上的实验结果验证了算法的有效性。
2022-06-29 cs.LG cs.SI stat.ML
Provably Efficient Exploration in Policy Optimization
Northwestern University(西北大学);Princeton University(普林斯顿大学)
本文提出乐观近端策略优化算法OPPO,首次在策略优化中实现可证明高效的探索,并在线性函数逼近的对抗性MDP中取得次线性遗憾界。
2024-04-01 cs.LG math.OC stat.ML
Actions Speak What You Want: Provably Sample-Efficient Reinforcement Learning of the Quantal Stackelberg Equilibrium from Strategic Feedbacks
Yale University(耶鲁大学);Princeton University(普林斯顿大学)
研究在回合制马尔可夫博弈中学习 Quantal Stackelberg Equilibrium 的强化学习问题,提出基于最大似然估计和无模型/基于模型 RL 的样本高效算法,并证明其次线性遗憾上界及计算高效性。
2023-07-26 cs.AI cs.LG math.ST
Provably Efficient Personalized Multi-Objective Bandits with Proactive Conversational Queries
The Ohio State University(俄亥俄州立大学);University at Buffalo(布法罗大学)
提出MO-PQUCB算法,通过主动查询获取用户偏好信号,结合Plackett-Luce模型和正则化UCB,解决多目标老虎机中偏好与奖励的耦合问题,实现更优的遗憾界。
2026-08-18 cs.AI cs.LG
Sayer: Using Implicit Feedback to Optimize System Policies
Columbia University(哥伦比亚大学);Microsoft Research(微软研究院);Twitter(推特);University of British Columbia(不列颠哥伦比亚大学);University of Chicago(芝加哥大学)
我们观察到,许多系统策略做出涉及资源的阈值决策(例如,时间、记忆、核心)自然地揭示额外的或隐含的反馈。例如,如果一个系统等待X分钟才发生一个事件,那么它会自动学习如果它等待<X分钟会发生什么,因为时间具有累积属性。这个反馈告诉我们可供选择的决策,并可用于改进系统策略。然而,利用隐性反馈是困难的,因为它往往是片面的或不完整的,并可能取决于事件的结果。因此,现有的使用反馈的做法,如简单地将其纳入数据驱动的模型,遭受偏见。我们开发了一种称为Sayer的方法,它利用隐式反馈来评估和训练新的系统策略。Sayer基于强化学习的两个想法-随机探索和无偏反事实估计器-利用现有策略收集的数据来估计新候选策略的性能,而无需实际部署这些策略。Sayer使用隐式探索和隐式数据增强来生成无偏形式的隐式反馈,然后隐式反事实估计器使用该反馈来评估和训练新策略。这些技术背后的关键思想是为实际上没有采取但其反馈可以推断的决策分配隐式概率;这些概率经过仔细计算以确保统计无偏性。我们将Sayer应用于Azure中的两个生产场景,并表明它可以准确地评估任意策略,并训练优于生产策略的新策略。
2021-10-28 cs.LG stat.ML
Provably Efficient Online RLHF with One-Pass Reward Modeling
National Key Laboratory for Novel Software Technology, Nanjing University, China(国家新型软件技术实验室,南京大学);School of Artificial Intelligence, Nanjing University, China(人工智能学院,南京大学)
针对在线RLHF中历史数据存储与重训练成本高的问题,提出单次奖励建模方法,实现常数时间更新,并在多种设置下提升统计与计算效率,实验验证有效。
2025-10-25 cs.LG stat.ML
Provable Safe Reinforcement Learning with Binary Feedback
Cornell University(康奈尔大学);Microsoft Research(微软研究院)
安全性在强化学习(RL)的许多应用中都是至关重要的,无论是机器人、汽车还是医疗。许多现有的安全RL方法依赖于接收数字安全反馈,但在许多情况下,这种反馈只能采用二进制值;也就是说,给定状态下的动作是安全的还是不安全的。当反馈来自人类专家时,情况尤其如此。因此,我们考虑可证明的安全RL的问题时,给予访问离线oracle提供二进制反馈的安全状态,动作对。我们提供了一种新的Meta算法,SABRE,它可以应用于任何MDP设置访问黑盒PAC RL算法的设置。SABRE应用从主动学习到强化学习的概念,以可证明地控制对安全预言的查询数量。SABRE通过迭代地探索状态空间来找到代理当前不确定安全性的区域。我们的主要理论结果表明,在适当的技术假设下,SABRE在训练过程中从不采取不安全的行动,并保证以高概率返回一个接近最优的安全策略。我们提供了一个讨论,我们的元算法可以应用到各种设置研究的理论和实证框架。
2022-10-26 cs.AI cs.LG stat.ML
Preference is More Than Comparisons: Rethinking Dueling Bandits with Augmented Human Feedback
针对决斗式多臂老虎机在人类反馈稀疏时效率低、现有依赖参数化奖励模型易错误设定的问题,提出基于反馈增强的无模型改进框架,引入增强置信界整合反馈并分析权衡,原型算法在多IPE基准上表现优异。
2025-11-12 cs.LG
Online learning in MDPs with linear function approximation and bandit feedback
Universitat Pompeu Fabra(庞培法布拉大学)
我们考虑一个在线学习问题,其中学习者与马尔可夫决策过程在一系列事件中进行交互,其中允许奖励函数以对抗的方式在事件之间变化,并且学习者只能观察与其行为相关的奖励。我们允许的状态空间是任意大的,但我们假设所有的动作价值函数可以表示为线性函数的一个已知的低维特征映射,学习者可以访问的环境,允许从真正的MDP动态生成轨迹的模拟器。我们的主要贡献是开发一个计算效率高的算法,我们称之为MDP-LinExp 3,并证明其遗憾是有界的$\widetilde{\mathcal{O}}\big(H^2 T^{2/3} (dK)^{1/3}\big)$,其中$T$是情节的数量,$H$是在每个情节的步骤数,$K$是行动的数量,和$d$是特征图的维度。我们还表明,遗憾可以改善$\widetilde{\mathcal{O}}\big(H^2 \sqrt{TdK}\big)$下更强的假设MDP动态。据我们所知,MDP-LinExp 3是第一个可证明有效的算法,这个问题的设置。
2021-06-12 cs.LG stat.ML
Synopsis: Sequential Decision Problems with Weak Feedback
本论文考虑序贯决策问题,其中的损失/奖励所产生的选择一个行动可能无法推断从观察到的反馈。本论文的主要部分集中在无监督的顺序选择问题,其中一个不能推断的损失选择一个行动从观察到的反馈。我们还介绍了一个新的设置名为删失半土匪,其中选择一个动作所产生的损失可以在一定条件下观察。最后,我们研究了通信网络中的信道选择问题,其中只有当没有其他玩家选择该动作时才能观察到该动作的奖励。这些问题在许多领域中得到应用,例如医疗保健、众包、安全、自适应资源分配等。本论文的目的是解决上述顺序决策问题,利用这些问题所表现出的特定结构。我们为这些具有弱反馈的设置中的每一个开发了可证明的最优算法,并在来自合成和真实数据集的不同问题实例上验证了它们的经验性能。
2023-01-27 cs.LG
Sequential Decision Problems with Weak Feedback
Indian Institute of Technology Bombay(印度理工学院孟买分校)
本论文考虑序贯决策问题,其中的损失/奖励所产生的选择一个行动可能无法推断从观察到的反馈。本论文的主要部分集中在无监督的顺序选择问题,其中一个不能推断的损失选择一个行动从观察到的反馈。我们还介绍了一个新的设置名为删失半土匪,其中选择一个动作所产生的损失可以在一定条件下观察。最后,我们研究了通信网络中的信道选择问题,其中只有当没有其他玩家选择该动作时才能观察到该动作的奖励。这些问题在许多领域中得到应用,例如医疗保健、众包、安全、自适应资源分配等。本论文的目的是解决上述顺序决策问题,利用这些问题所表现出的特定结构。我们为这些具有弱反馈的设置中的每一个开发了可证明的最优算法,并在来自合成和真实数据集的不同问题实例上验证了它们的经验性能。
2022-12-22 cs.AI cs.LG
Provably Efficient Safe Exploration via Primal-Dual Policy Optimization
University of Southern California(南加利福尼亚大学);Facebook Inc.(脸书公司);Princeton University(普林斯顿大学);Northwestern University(西北大学)
我们研究了安全强化学习(SRL)问题,使用约束马尔可夫决策过程(CMDP)制定,其中代理的目标是最大化预期的总回报受到安全约束的效用函数的预期总值。我们专注于一个情节设置与函数近似的马尔可夫转移内核具有线性结构,但不施加任何额外的假设上的采样模型。在这种情况下,设计具有可证明的计算和统计效率的SRL算法是特别具有挑战性的,因为需要将安全约束和函数近似结合到基本的开发/探索权衡中。为此,我们提出了一个\underline{O}乐观的\underline{P}原始\underline{D} ual接近的政策\underline{OP}优化(OPDOP)算法,其中的价值函数估计相结合的最小二乘政策评估和额外的奖金长期安全的探索。我们证明了该算法实现了$\tilde{O}(d H^{2.5}\sqrt{T})$遗憾和$\tilde{O}(d H^{2.5}\sqrt{T})$约束违反,其中$d$是特征映射的维度,$H$是每个情节的地平线,和$T$是总步骤数。当奖励/效用函数固定,但每次发作后的反馈是强盗时,这些界限成立。我们的边界取决于状态-动作空间的容量,仅通过特征映射的维度,因此我们的结果即使在状态数趋于无穷大时也成立。据我们所知,我们提供了第一个可证明有效的在线策略优化算法CMDP与安全的探索在函数近似设置。
2020-10-26 cs.LG math.OC stat.ML
Provably Efficient Model-free RL in Leader-Follower MDP with Linear Function Approximation
The Ohio State University(俄亥俄州立大学)
我们考虑一个多代理的情节MDP设置代理(领导者)采取行动,在每一步的情节,其次是另一个代理(追随者)。状态演化和奖励依赖于领导者和跟随者的联合行动对。这种类型的交互可以在诸如智能电网、机制设计、安全和政策制定等许多领域中找到应用。我们感兴趣的是如何学习政策的球员与可证明的性能保证下的强盗反馈设置。我们专注于领导者和追随者都是{ \em非近视}的设置,即,他们都寻求在整个事件上最大化他们的回报,并考虑线性MDP,其可以对连续状态空间建模,这在许多RL应用中非常常见。我们提出了一个{ \em无模型} RL算法,并表明,$\tilde{\mathcal{O}}(\sqrt{d^3H^3T})$遗憾界可以实现的领导者和追随者,其中$d$是特征映射的维度,$H$是情节的长度,和$T$是下的总步骤数的强盗反馈信息设置。因此,我们的结果甚至在状态数变为无穷大时也成立。该算法依赖于LSVI-UCB算法的{ \em novel}适应。具体来说,我们将标准的贪婪策略(作为最佳对策)替换为领导者和追随者的软最大策略。这是建立价值函数的统一浓度界限的关键。据我们所知,这是第一次线性遗憾界保证的马尔可夫游戏与非近视的追随者与函数逼近。
2022-12-15 cs.GT cs.LG cs.MA
Zeroth-Order Policy Gradient for Reinforcement Learning from Human Feedback without Reward Inference
University of Michigan(密歇根大学)
针对一般RL问题,提出两种无需奖励推断的RLHF算法,通过零阶梯度近似策略梯度,在随机环境中优于DPO和PPO基线。
2025-03-03 cs.LG stat.ML
Beyond $\log^2(T)$ Regret for Decentralized Bandits in Matching Markets
Google(谷歌);Facebook(脸书);Amazon(亚马逊)
我们在双边匹配市场中设计了分散式后悔最小化算法,其中单边强盗反馈显著改进了先前的工作(Liu et al. 2020 a,2020 b,Sankararaman et al. 2020)。首先,对于一般市场,对于任何$\varepsilon > 0$,我们设计了一种算法,该算法实现了对代理最优稳定匹配的$O(\log^{1+\varepsilon}(T))$遗憾,具有未知的时间范围$T$,改进了(Liu et al. 2020 b)中实现的$O(\log^{2}(T))$遗憾。其次,我们提供了最佳的$Θ(\log(T))$代理最佳遗憾的市场满足唯一性一致性-市场离开参与者不改变原来的稳定匹配。在此之前,当所有武器对代理人有相同的偏好时,$Θ(\log(T))$后悔在非常有限的串行独裁设置中是可以实现的(Sankararaman et al. 2020,Liu et al. 2020 b)。我们提出了一个基于阶段的算法,其中每个阶段,除了删除全球通信占主导地位的武器的代理本地删除武器,他们经常发生冲突。这种局部缺失在打破由跨臂代理的等级异质性引起的死锁方面是关键的。我们进一步证明了我们的算法优于现有的作品,通过模拟。
2021-03-12 cs.LG stat.ML
RA-PbRL: Provably Efficient Risk-Aware Preference-Based Reinforcement Learning
University of California, San Diego(加利福尼亚大学圣迭戈分校);Oregon State University(俄勒冈州立大学);University of California, Davis(加利福尼亚大学戴维斯分校)
针对单回合奖励下的安全关键场景,论文提出 RA-PbRL,以优化嵌套与静态分位数风险目标,并证明其次线性遗憾上界且得到实验支持。
2025-01-09 cs.LG
Provably Efficient Interactive-Grounded Learning with Personalized Reward
University of Southern California(南加州大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Research(微软研究院)
针对交互式基础学习中个性化奖励缺乏理论保证的问题,提出基于Lipschitz奖励估计器的两种可证明高效的次线性遗憾算法,并验证了其在图像和文本反馈场景下的有效性。
2024-05-31 cs.LG stat.ML
Agentic Transformers Provably Learn to Search via Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);University of Pennsylvania(宾夕法尼亚大学);The Ohio State University(俄亥俄州立大学);Yale University(耶鲁大学)
本文通过构建双头Transformer实现随机深度优先搜索,并分析策略梯度训练动力学,证明该搜索机制能从稀疏强化反馈中分阶段涌现,且具备深度泛化能力。
2026-05-29 cs.AI cs.LG math.OC
Learning Equilibria in Matching Markets from Bandit Feedback
UC Berkeley(加州大学伯克利分校)
大规模的双边匹配平台必须找到符合用户偏好的市场结果,同时从数据中学习这些偏好。不幸的是,经典的稳定性概念(Gale和Shapley,1962; Shapley和Shubik,1971)在学习环境中的价值有限,因为偏好在学习过程中具有内在的不确定性和不稳定性。为了弥合这一差距,我们开发了一个框架和算法,用于在不确定性下学习稳定的市场结果。我们的主要设置是匹配可转移的公用事业,其中平台既匹配代理,又设置它们之间的货币转移。我们设计了一个激励意识的学习目标,捕捉市场结果从均衡的距离。使用这个目标,我们分析了学习的复杂性作为偏好结构的函数,铸造学习作为一个随机的多臂强盗问题。在数学上,我们表明,“乐观面对不确定性,”许多强盗算法的基本原则,适用于原始-对偶制定的匹配与转让,并导致接近最佳的遗憾界限。我们的工作迈出了第一步,阐明了稳定匹配何时以及如何在大型数据驱动的市场中出现。
2023-01-31 cs.GT cs.LG stat.ML
Learning in Matching Games with Bandit Feedback
University of Neuchatel(日内瓦大学)
研究广义双边匹配市场中代理通过零和博弈交互的学习问题,提出基于UCB的算法,以匹配不稳定性为遗憾度量,实现次线性遗憾上界。
2026-06-17 cs.LG
Provably Efficient Regularized Online RLHF with Generalized Bilinear Preferences
KAIST AI(韩国科学技术院人工智能研究所);KAIST EE(韩国科学技术院电子工程系);POSTECH CSE/AI(POSTECH 计算科学与人工智能系)
研究在线RLHF中正则化最佳响应最大遗憾最小化问题,通过广义双线性偏好模型证明强凸性可导出多对数遗憾,表明快速遗憾不限于KL散度。
2026-06-17 cs.GT cs.LG stat.ML
An IPW-based Unbiased Ranking Metric in Two-sided Markets
Recruit Co., Ltd.(瑞可利有限公司);Tokyo Institute of Technology(东京工业大学)
针对双边市场隐式反馈存在双向位置偏差的问题,本文提出双边IPW无偏排序估计器,经理论证明无偏,且在真实平台实验中精准度和鲁棒性优于基线,处理稀有物品效果更突出。
2023-07-14 cs.IR cs.LG stat.ML
Provably Mitigating Corruption, Overoptimization, and Verbosity Simultaneously in Offline and Online RLHF/DPO Alignment
University of Maryland, College Park(马里兰大学帕克分校);Amazon(亚马逊);University of Texas Arlington(德克萨斯大学阿灵顿分校)
本文提出RLHF-COV和DPO-COV算法,同时缓解离线和在线RLHF/DPO对齐中的腐败、过度优化和冗余问题,并通过理论证明和实验验证其有效性。
2025-12-09 cs.AI cs.LG
CausalRM: Causal-Theoretic Reward Modeling for RLHF from Observational User Feedbacks
Peking University(北京大学);Xiaohongshu Inc.(小红书公司);Zhejiang University(浙江大学)
本文提出CausalRM框架,通过因果理论处理观察性用户反馈中的噪声和偏见问题,提升RLHF任务性能,实验显示在WildGuardMix和HarmBench上分别提升49.2%和32.7%。
2026-03-19 cs.AI cs.CL cs.LG
Posterior Sampling with Delayed Feedback for Reinforcement Learning with Linear Function Approximation
University of California, San Diego(加利福尼亚大学圣迭戈分校);Princeton University(普林斯顿大学);University of California, Santa Barbara(加利福尼亚大学圣塔芭芭拉分校)
针对强化学习中观测延迟导致性能下降的问题,提出带延迟反馈的后验采样算法Delayed-PSVI及基于朗之万动力学的高效版本Delayed-LPSVI,证明其最优遗憾值边界并验证有效性。
2023-11-04 cs.AI cs.LG stat.ML
Competing Bandits in Matching Markets via Super Stability
Google, New York(谷歌,纽约)
本文研究双边不确定性匹配市场的强盗学习,利用超稳定性概念,提出基于扩展Gale-Shapley算法的集中式与分散式算法,实现对数级稳定遗憾,并建立下界揭示问题复杂度。
2026-11-03 cs.IT cs.LG math.IT
Leveraging Similarities in Multi-Armed Bandits
Inria(法国国家信息与自动化技术研究所);Univ. Grenoble Alpes(格勒诺布尔大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔研究所);LJK(格勒诺布尔联合实验室);Criteo AI Lab(Criteo人工智能实验室);IMAG(格勒诺布尔信息与自动化技术研究所)
针对动作具有相似性的在线学习问题,提出利用树结构编码相似性,在多种反馈模型下实现遗憾界中动作数K被相似感知有效动作数替换的算法。
2026-06-23 cs.LG
Scalable Valuation of Human Feedback through Provably Robust Model Alignment
The University of Osaka(大阪大学);Lattice Lab, Toyota Motor Corporation(丰田公司Lattice实验室);Machine Learning Research Group, University of Oxford(牛津大学机器学习研究组);RIKEN AIP(理化学研究所AIP)
针对人类反馈噪声问题,提出具有可证明红下降属性的Hölder-DPO损失,实现稳健对齐并估计干净数据分布,提供无梯度的数据集估值度量,有效检测错误标签,提升对齐性能。
2025-10-24 cs.AI cs.LG stat.ML
A Minimaximalist Approach to Reinforcement Learning from Human Feedback
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
本文提出自博弈偏好优化(SPO),将人类偏好学习构建为零和博弈,通过单智能体自对弈避免奖励模型训练和对抗训练,可证明处理非马尔可夫、不可传递及随机偏好,并在连续控制任务上比基于奖励模型的方法更高效且更鲁棒。
2024-06-13 cs.LG
Regret Bounds for Reinforcement Learning from Multi-Source Imperfect Preferences
University at Buffalo(纽约州立大学布法罗分校);The Ohio State University(俄亥俄州立大学);DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室)
本文研究多源不完美偏好下的强化学习,提出统一算法,其遗憾界为~O(√(K/M)+ω),并给出下限和反例,揭示多源反馈如何提升RLHF及累积不完美对其的限制。
2026-04-02 cs.LG
Online Learning with Feedback Graphs: The True Shape of Regret
University of Potsdam(波茨坦大学)
本文研究带反馈图在线学习的极小极大遗憾,提出问题复杂度 $R^*$ 并构造可证明最优的 \mainAlgorithm 算法,使其在任意图和任意时间跨度下均达到最优遗憾界。
2023-06-05 cs.IT cs.LG math.IT
On the One-sided Convergence of Adam-type Algorithms in Non-convex Non-concave Min-max Optimization
Yale University(耶鲁大学);Carnegie Mellon University(卡内基梅隆大学)
Adam型方法是自适应梯度方法的扩展,在监督和无监督机器学习模型的训练中都表现出了很好的性能。特别是,亚当型优化器已被广泛用作训练生成对抗网络(GANs)的默认工具。然而,在理论方面,尽管存在的理论结果表明亚当型方法在最小化问题中的效率,但在GAN的训练中仍然缺乏其出色表现的原因。在现有的工作中,快速收敛一直被认为是最重要的原因之一,并且已经提出了许多工作来在一定的假设条件下给出Min-Max优化算法收敛到临界点的理论保证。在本文中,我们首先从经验上证明,在GAN的训练中,即使在成功的训练中,Adam也不会收敛到临界点:只有生成器在收敛,而在整个训练过程中,GAN的梯度范数仍然很高。我们称之为单边收敛。然后,我们弥合实验和理论之间的差距,亚当型算法证明收敛到一个单侧的一阶稳定点的最小-最大优化问题的单侧MVI条件下。我们还通过经验验证了在标准数据集上训练后,标准GANs满足这种单侧MVI条件。据我们所知,这是第一个结果,它提供了一个经验观察和严格的理论保证亚当型算法在最小最大优化的片面收敛。
2021-09-29 cs.LG math.OC stat.ML
Strategic Apple Tasting
Carnegie Mellon University(卡内基梅隆大学);MIT(麻省理工学院)
本文将策略性智能体与苹果品尝反馈结合为在线学习问题,提出算法在随机智能体序列下实现O(√T)策略遗憾,并扩展至对抗序列和老虎机反馈设定。
2023-10-28 cs.GT cs.LG
Outcome-Based Online Reinforcement Learning: Algorithms and Fundamental Limits
Massachusetts Institute of Technology(麻省理工学院);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文研究仅在轨迹终点获得奖励时的在线RL信用分配问题,提出基于一般函数逼近的样本高效算法,并揭示其与逐步奖励的指数级统计分离及偏好反馈扩展。
2025-07-24 cs.AI cs.LG math.ST
Provably Correct Algorithms for Matrix Column Subset Selection with Selectively Sampled Data
Carnegie Mellon University(卡内基梅隆大学);School of Computer Science(计算机科学学院);Machine Learning Department(机器学习系);Forbes Avenue, Pittsburgh, PA 15213, USA(5000 Forbes Avenue, Pittsburgh, PA 15213, USA(地址非机构,此处按要求应忽略,但原文本中该地址与机构关联,需确认))
我们考虑矩阵列子集选择问题,它从输入矩阵中选择列的子集,使得输入可以很好地近似于所选列的跨度。列子集选择已被应用于许多现实世界的数据应用,如人口遗传学总结,电子电路测试和推荐系统。在许多应用中,完整的数据矩阵是不可用的,人们需要通过检查输入矩阵的一小部分来选择代表性的列。在本文中,我们提出了第一个可证明正确的列子集选择算法的部分观测数据矩阵。我们提出的算法表现出不同的优点和局限性的统计精度,计算效率,样本的复杂性和采样方案,这提供了一个很好的探索列子集选择这些所需的属性之间的权衡。所提出的方法采用反馈驱动采样的思想,并且受到先前针对低秩矩阵近似任务引入的几种采样方案的启发(Drineas等人,2008; Frieze等人,2004年; Deshpande和Vempala,2006年; Krishnamurthy和Singh,2014年)。我们的分析表明,假设输入数据矩阵具有不相干的行,但可能相干的列,所有算法可证明收敛到最佳的低秩近似的原始数据作为选定的列数的增加。此外,所提出的算法享有相对误差界,这是首选的列子集选择和矩阵近似的目的。我们还通过理论和实证分析证明了反馈驱动采样的力量相比,均匀随机采样的输入矩阵具有高度相关的列。
2018-01-25 cs.LG stat.ML
Correcting the Mythos of KL-Regularization: Direct Alignment without Overoptimization via Chi-Squared Preference Optimization
Microsoft(微软)
针对RLHF等方法的过度优化问题,提出仅修改DPO对数链接函数的χPO算法,通过卡方散度正则化缓解过度优化,获单策略集中度样本复杂度保证,成首个可证明鲁棒的实用通用离线对齐算法。
2025-02-18 cs.AI cs.CL cs.LG
One-sided Matrix Completion from Two Observations Per Row
Stanford University(斯坦福大学)
针对行数多、每行仅两个观测导致无法恢复左奇异向量的情形,论文提出通过填补 $X^TX$ 恢复右奇异向量的单侧矩阵补全算法,并证明样本复杂度与实验优势。
2023-06-06 cs.DS cs.LG stat.ML
Momentum Provably Improves Error Feedback!
ETH AI Center & ETH Zurich(苏黎世联邦理工学院人工智能中心与苏黎世联邦理工学院);KAUST(阿卜杜拉国王科技大学)
本文针对分布式训练中误差反馈算法在非凸设置下需依赖大批量才能收敛的问题,提出将Polyak动量应用于EF21的EF21-SGDM算法,并进一步提出双动量版本,在标准假设下改进通信与样本复杂度。
2023-10-30 cs.DC cs.LG math.OC
Provably Robust DPO: Aligning Language Models with Noisy Feedback
Microsoft Research, India(微软研究院印度分部)
针对含噪偏好数据影响DPO算法对齐效果的问题,提出带理论保证的鲁棒DPO框架,通过去偏损失函数实现噪声鲁棒性,实验验证其优于基线方法。
2024-04-12 cs.CL cs.LG
Probably Correct Optimal Stable Matching for Two-Sided Markets Under Uncertainty
University of Neuchâtel(纳沙泰尔大学);University of Oslo(奥斯陆大学)
针对左侧偏好未知的双边稳定婚姻市场,本文将识别左侧最优稳定匹配建模为带老虎机反馈的纯探索问题,提出多种概率正确算法,并以合成实验验证样本复杂度理论。
2025-01-06 cs.LG
GPTQ-2D: Cubic-Time Two-Sided Adaptive Rounding
Institute of Science and Technology Austria (ISTA)(奥地利科学技术研究所(ISTA));ETH Zürich(苏黎世联邦理工学院);Red Hat AI(红帽人工智能部门)
本文提出GPTQ-2D算法,将原四次时间复杂度的双侧自适应舍入问题优化为三次时间,按反对角线并行舍入,保留与原算法相同的舍入结果。
2026-11-06 cs.DS cs.LG
Breaking Feedback Loops in Recommender Systems with Causal Inference
University of California Berkeley(加州大学伯克利分校);University of Michigan(密歇根大学)
推荐系统在塑造现代网络生态系统中发挥着关键作用。这些系统在(1)做出推荐(2)收集用户对这些推荐的响应以及(3)基于该反馈重新训练推荐算法之间交替。在此过程中,推荐系统会影响随后用于更新的用户行为数据,从而创建一个反馈循环。最近的工作表明,反馈循环可能会损害推荐质量和同质化的用户行为,提高道德和性能的关注时,部署推荐系统。为了解决这些问题,我们提出了反馈循环因果调整(CAFL),这是一种使用因果推理可证明地打破反馈循环的算法,可以应用于任何优化训练损失的推荐算法。我们的主要观察是,一个推荐系统不会遭受反馈回路,如果它的原因因果量,即干预分布的建议用户评级。此外,我们可以通过调整推荐系统对用户偏好的预测,从观察数据中计算出这种干预分布。使用模拟环境中,我们证明了CAFL提高推荐质量相比,以前的校正方法。
2022-07-15 cs.IR cs.LG stat.ML
Recommendations with Sparse Comparison Data: Provably Fast Convergence for Nonconvex Matrix Factorization
EPFL(瑞士联邦理工学院);TUM(慕尼黑工业大学)
本文研究用户通过成对比较给出反馈的推荐问题,证明非凸损失在真实解附近具有受限强凸性,使梯度方法在稀疏比较数据下借助热启动实现指数级快速收敛。
2025-08-19 cs.LG
Incentive-Aware Recommender Systems in Two-Sided Markets
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Fudan University(复旦大学);Ant Group(蚂蚁集团);University of California, Berkeley(加利福尼亚大学伯克利分校)
针对双边市场中短视智能体只利用不探索的问题,提出激励相容的多智能体老虎机推荐框架,并在已知与未知机会成本下给出公平且渐近最优的算法。
2024-06-18 cs.IR cs.LG stat.ML
Global Convergence and Variance-Reduced Optimization for a Class of Nonconvex-Nonconcave Minimax Problems
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
非凸极大极小问题经常出现在新兴的机器学习应用中,例如生成对抗网络和对抗学习。简单的算法,如梯度下降上升(GDA)是解决这些非凸博弈的常见做法,并获得了大量的经验成功。然而,已知这些具有恒定步长的普通GDA算法即使在凸设置中也可能发散。在这项工作中,我们证明了,对于一个子类的非凸非凹目标满足所谓的双边Polyak-Jasojasiewicz不等式,交替梯度下降上升(AGDA)算法全局收敛在一个线性速率和随机AGDA达到一个次线性速率。我们进一步开发了一个方差减少算法,达到一个可证明的速度比AGDA时,问题的有限和结构。
2020-02-22 cs.LG math.OC stat.ML
Harnessing Heterogeneity: Learning from Decomposed Feedback in Bayesian Modeling
Harvard University(哈佛大学);University of Southern California(南加利福尼亚大学)
学习和优化由多个子组件组成的复杂系统有很大的兴趣,其中这些组件可以是代理或自主传感器。在关于这一主题的丰富文献中,基于代理和特定领域的模拟可以捕获复杂的动态和子组交互,但优化此类模拟在计算和算法上具有挑战性。贝叶斯方法,如高斯过程(GP),可以用来学习一个计算上易于处理的近似的基础动力学,但通常忽略了详细的信息,在复杂的系统中的子群。我们试图找到最好的两个世界,提出了分解反馈的想法,它捕捉基于组的异质性和动态。我们引入了一种新的分解GP回归,将子群分解反馈。与以前的方法相比,我们修改后的回归具有可证明的较低方差-因此更准确的后验;它还允许我们引入一种利用子组反馈的分解GP-UCB优化算法。我们的方法的贝叶斯性质,使优化算法的跟踪与理论保证的收敛性和无遗憾的财产。为了证明这项工作的广泛适用性,我们执行我们的算法对两个不同的社会问题:传染病控制在一个异构的人口和分布式天气传感器的分配。实验结果表明,我们的新方法提供了显着的改善相比,国家的最先进的。
2021-07-07 cs.AI cs.LG stat.ML
Policy Optimization Provably Converges to Nash Equilibria in Zero-Sum Linear Quadratic Games
Department of Electrical and Computer Engineering & Coordinated Science Laboratory, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校电子工程与协调科学实验室部门);Department of Operations Research and Financial Engineering, Princeton University(普林斯顿大学运筹学与金融工程系)
本文研究了策略优化在零和线性二次博弈中寻找纳什均衡的全局收敛性,通过分析LQ博弈的优化景观,证明了线性反馈控制策略的 stationary 点构成博弈的纳什均衡,并提出三种保证收敛到纳什均衡的投影嵌套梯度方法,同时展示了这些算法具有全局次线性和局部线性收敛率。
2021-02-10 cs.GT cs.LG cs.SY
Formalizing Learning from Language Feedback with Provable Guarantees
University of California, Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学);University of Toronto(多伦多大学)
本文形式化语言反馈学习问题,提出转移埃尔泽维度刻画学习难度,并开发无遗憾算法HELiX,证明其性能保证,展示丰富语言反馈可指数级加速学习。
2026-06-06 cs.CL cs.LG