Potent but Stealthy: Rethink Profile Pollution against Sequential Recommendation via Bi-level Constrained Reinforcement Paradigm
本文提出CREAT方法,通过双层约束强化范式解决顺序推荐中Profile污染攻击的隐蔽性和有效性问题。
2025-12-22 cs.AI cs.LG
Utility Theory for Sequential Decision Making
McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉 - 魁北克人工智能研究所)
冯·诺伊曼-摩根斯坦(VNM)效用定理表明,在某些理性公理下,决策被简化为最大化某些效用函数的期望。我们扩展这些公理越来越结构化的顺序决策设置,并确定相应的效用函数的结构。特别是,我们表明,无记忆的偏好导致效用的形式,每一个过渡奖励和乘法因子的未来回报。这一结果激励了马尔可夫决策过程(MDP)的推广与代理的回报,我们称之为仿射奖励MDP的这种结构。需要对偏好进行更强的约束,以恢复MDP中常用的标量奖励的累积和。一个更强的约束简化了目标寻求代理的效用函数,其形式是我们称之为势函数的某些状态函数的差异。我们的必要和充分条件通过在VNM理性公理中添加公理,揭开了强化学习中理性代理设计的奖励假设的神秘面纱,并激发了涉及顺序决策的AI研究的新方向。
2022-06-27 cs.AI cs.GT cs.LG
Extracting Reward Functions from Diffusion Models
University of Oxford(牛津大学)
本文提出通过比较低奖励与高奖励行为扩散模型提取相对奖励函数,给出存在唯一性条件及梯度对齐学习算法,并在导航、运动和图像生成任务中验证其有效性。
2023-12-09 cs.AI cs.LG
Smooth Sequential Optimisation with Delayed Feedback
Apple(苹果公司)
反馈中的随机延迟导致使用多臂强盗的不稳定的顺序学习。最近,经验贝叶斯收缩已被证明可以改善强盗学习中的奖励估计。在这里,我们提出了一种新的适应收缩,估计平滑的奖励估计从窗口累积输入,处理不完整的知识延迟反馈和非平稳奖励。使用数值模拟,我们表明,这种适应保留了收缩的好处,并提高了超过50%的奖励估计的稳定性。我们的建议将最佳治疗组的治疗分配变异性降低了3.8倍,并提高了统计准确性-真阳性率提高了8%,假阳性率降低了37%。总之,这些优点使得能够控制适应的速度和稳定性之间的权衡,并促进人在回路的顺序优化。
2021-06-22 cs.LG
Sampling for Quality: Training-Free Reward-Guided LLM Decoding via Sequential Monte Carlo
LinkedIn
本文提出一种基于概率框架的奖励引导解码方法,通过结合模型转移概率和前缀依赖的奖励势能,改进传统解码方法的序列级质量优化。实验表明,该方法在代码生成和数学推理任务中显著提升性能。
2026-04-07 cs.AI cs.LG stat.ML
Sequential Decision Problems with Weak Feedback
Indian Institute of Technology Bombay(印度理工学院孟买分校)
本论文考虑序贯决策问题,其中的损失/奖励所产生的选择一个行动可能无法推断从观察到的反馈。本论文的主要部分集中在无监督的顺序选择问题,其中一个不能推断的损失选择一个行动从观察到的反馈。我们还介绍了一个新的设置名为删失半土匪,其中选择一个动作所产生的损失可以在一定条件下观察。最后,我们研究了通信网络中的信道选择问题,其中只有当没有其他玩家选择该动作时才能观察到该动作的奖励。这些问题在许多领域中得到应用,例如医疗保健、众包、安全、自适应资源分配等。本论文的目的是解决上述顺序决策问题,利用这些问题所表现出的特定结构。我们为这些具有弱反馈的设置中的每一个开发了可证明的最优算法,并在来自合成和真实数据集的不同问题实例上验证了它们的经验性能。
2022-12-22 cs.AI cs.LG
On the Modeling Capabilities of Large Language Models for Sequential Decision Making
Mila, McGill University(米拉研究所,麦吉尔大学);Apple(苹果公司)
本研究探究大语言模型在多领域强化学习中的序列决策能力,发现其无需微调即可胜任奖励建模,AI反馈设计奖励适用性最广,合成数据微调还可提升陌生环境下的奖励建模能力并缓解灾难性遗忘。
2024-10-08 cs.AI
Relay Hindsight Experience Replay: Self-Guided Continual Reinforcement Learning for Sequential Object Manipulation Tasks with Sparse Rewards
Institute of Intelligent Machines, Hefei Institutes of Physical Science, Chinese Academy of Sciences(中国科学院合肥物质科学研究院智能机械研究所);University of Science and Technology of China(中国科学技术大学)
具有稀疏奖励的探索是强化学习(RL)中一个具有挑战性的研究问题。特别是对于顺序对象操作任务,RL Agent在完成所有子任务之前总是获得负的奖励,这导致了较低的探索效率。为了有效地解决这些任务,我们提出了一种新的自引导持续强化学习框架,RelayHER(RHER)。RHER首先将顺序任务分解为复杂性不断增加的新子任务,并确保最简单的子任务可以通过使用后见之明经验重放(HER)快速学习。其次,我们设计了一个多目标多任务网络来同时学习这些子任务。最后,我们提出了一个自我引导的探索策略(SGES)。通过SGES,学习到的子任务策略将引导智能体进入有助于HER学习更复杂子任务的状态,通过这种自我引导的探索和中继策略学习,RHER可以有效地逐步解决这些顺序任务。实验结果表明,在五个单对象和五个复杂的多对象操作任务(例如,Push、Insert、ObstaclePush、Stack、TStack等)。所提出的RHER也被应用于从头开始学习物理机器人上的接触丰富的推送任务,并且成功率达到10/10,只有250集。
2022-11-03 cs.AI cs.RO
Deceptive Sequential Decision-Making via Regularized Policy Optimization
Georgia Institute of Technology(佐治亚理工学院);University of Texas at Austin(德克萨斯大学奥斯汀分校);United States Military Academy(美国军事学院)
本文提出三种正则化策略,用于在策略优化中主动欺骗对手关于系统奖励的误解,从而在保持高累积奖励的同时误导对手。
2026-01-21 cs.LG math.OC
State-Separated SARSA: A Practical Sequential Decision-Making Algorithm with Recovering Rewards
The Graduate University for Advanced Studies(総合研究大学院大学);The Institute of Statistical Mathematics(统计数理研究所)
本文提出状态分离SARSA算法,用于解决恢复性老虎机中奖励随时间衰减的序贯决策问题,通过减少状态组合实现高效学习,并证明渐近收敛,模拟实验验证其优越性能。
2024-03-18 cs.LG stat.ML
Robust Multi-Agent Bandits with Heavy-Tailed Rewards and Information Asymmetry
该研究针对重尾奖励和信息不对称的多智能体多臂老虎机问题,为三种信息不对称场景开发鲁棒分散式算法,通过实验验证了理论结果并阐明相关权衡。
2026-08-12 cs.AI cs.LG
Learning impartial policies for sequential counterfactual explanations using Deep Reinforcement Learning
Freie Universität Berlin(柏林自由大学);Universität der Bundeswehr München(慕尼黑联邦国防军大学)
本文针对序列反事实解释中强化学习策略存在动作偏置的问题,提出利用分类器输出概率设计更具信息量的奖励函数,以学习更公正的策略。
2023-11-01 cs.AI cs.LG
COSAC: Counterfactual Credit Assignment in Sequential Cooperative Teams
Adobe Research(Adobe研究)
COSAC提出一种无批评者策略梯度方法,通过单个岭回归分解团队奖励,计算每个代理的反事实优势,实现低方差和可控的信用分配,适用于顺序合作团队。
2026-11-13 cs.AI cs.LG cs.MA
Recent Advances in Leveraging Human Guidance for Sequential Decision-Making Tasks
The University of Texas at Austin(德克萨斯大学奥斯汀分校);U.S. Army Research Laboratory(美国陆军研究实验室);Sony AI(索尼人工智能)
人工智能的一个长期目标是创建能够学习执行需要顺序决策的任务的人工代理。重要的是,虽然是人工智能体学习和行动,但仍然由人类来指定要执行的特定任务。经典的任务规范方法通常涉及人类提供固定的奖励函数或明确的演示所需的任务。然而,最近有大量的研究精力投入到探索人类可以引导学习代理的替代方式上,例如,更适合某些任务或需要更少的人力。本调查提供了五个最新的机器学习框架的高级概述,这些框架除了预先指定的奖励功能或传统的分步动作演示外,主要依赖于人类指导。我们回顾了每个框架的动机,假设和实施,并讨论了未来可能的研究方向。
2021-07-13 cs.AI cs.LG
Unsupervised Reward Shaping for a Robotic Sequential Picking Task from Visual Observations in a Logistics Scenario
Boston University(波士顿大学);Pickle Robot Co.(Pickle机器人公司)
针对物流卸货的顺序拣选任务,本文提出一种基于专家观测的无监督奖励塑形算法,以降低强化学习对监督的依赖并提升其性能。
2023-05-27 cs.LG cs.RO cs.SY
Learning Rewards, Not Labels: Adversarial Inverse Reinforcement Learning for Machinery Fault Detection
Deakin University(德肯大学)
本文提出对抗性逆强化学习方法,用于机械故障检测,通过学习奖励动态实现无需标签的故障识别。
2026-02-25 cs.AI cs.LG
Robust Reinforcement Learning Objectives for Sequential Recommender Systems
McGill University(麦吉尔大学);Mila - Quebec Artificial Intelligence Institute(米拉-魁北克人工智能研究所);Borealis AI(博雷亚利斯人工智能公司)
针对序列推荐结合强化学习面临的离策略训练、动作空间大、奖励数据稀缺及负采样不稳定等问题,提出结合增强的对比目标与改进方法,在真实数据集上实现更优鲁棒性和SOTA性能。
2024-04-18 cs.AI cs.IR cs.LG
Lifelong Reinforcement Learning with Temporal Logic Formulas and Reward Machines
Sun Yat-sen University(中山大学)
使用高级思想或知识不断学习新任务是人类的关键能力。在本文中,我们提出了终身强化学习与顺序线性时序逻辑公式和奖励机(LSRM),它使代理能够利用以前学到的知识,加快学习逻辑指定的任务。为了更灵活地描述任务,我们首先介绍了顺序线性时态逻辑(SLTL),它是对现有线性时态逻辑(LTL)形式语言的补充。然后,我们利用奖励机(RM)利用结构奖励功能的任务编码的高级别事件,并提出自动扩展RM和有效的知识转移任务的持续学习的生活。实验结果表明,LSRM学习方法在终身学习过程中,利用SLTL的任务分解和RM上的知识转移,优于从头开始学习目标任务的方法。
2021-11-18 cs.AI
Constrained Flow Optimization via Sequential Fine Tuning for Molecular Design
Department of Computer Science, ETH Zurich(苏黎世联邦理工学院计算机科学系);Institute of Chemical and Bioengineering, Department of Chemistry and Applied Biosciences, ETH Zurich(苏黎世联邦理工学院化学与生物工程研究所);ETH AI Center(苏黎世联邦理工学院人工智能中心)
提出约束流优化(CFO)算法,通过将约束生成优化问题转化为序列微调,在分子设计中平衡奖励最大化与约束满足。
2026-05-28 cs.LG
MRHER: Model-based Relay Hindsight Experience Replay for Sequential Object Manipulation Tasks with Sparse Rewards
School of Computer Science and Technology(计算机科学与技术学院);Dongguan University of Technology(东莞理工学院);International School of Microelectronics(微电子国际学院)
针对稀疏奖励下序列物体操作强化学习样本效率低的问题,提出基于模型的中继后见经验重放框架MRHER,通过拆分子任务和前瞻重标记方法提升样本效率,在基准任务上表现优于现有方法。
2024-06-21 cs.AI cs.RO
Subspace Inference Enables Efficient Active Reward Learning from Preferences
University of Southern California(南加州大学)
本文提出PreferenceEKF方法,通过低维子空间的扩展卡尔曼滤波实现高效序贯贝叶斯推理,在D4RL等基准上较其他贝叶斯深度学习方法更优,助力RLHF的高效奖励学习。
2026-09-04 cs.AI cs.LG cs.RO
Reinforcement Learning with Conformal Action Sets: An Application to Sequential Recommendation
University of Pennsylvania(宾夕法尼亚大学);Washington State University(华盛顿州立大学)
针对序列推荐中固定候选集大小的问题,提出带校准剪枝的强化学习(RLCP),通过评论家分数和在线阈值自适应调整动作集,在19种配置中至少一种变体实现最高目录多样性,达最强基线的1.11至5.21倍。
2026-10-07 cs.AI cs.LG
Analyzing sequential activity and travel decisions with interpretable deep inverse reinforcement learning
The Singapore-MIT Alliance for Research and Technology(新加坡-麻省理工学院研究与技术联盟);University of Florida(佛罗里达大学);McGill University(麦吉尔大学);The University of Hong Kong(香港大学);Massachusetts Institute of Technology(麻省理工学院);Institute for Data, Systems, and Society, Massachusetts Institute of Technology(麻省理工学院数据、系统与社会研究所)
本文提出可解释深度逆强化学习框架,利用对抗式IRL推断并解释活动—出行决策的策略与奖励,从而揭示行为模式、群体差异及活动序列效用。
2025-03-17 cs.AI
Reward-estimation variance elimination in sequential decision processes
Harik Shazeer Labs(哈里克·沙齐尔实验室)
策略梯度方法在强化学习中非常有吸引力,因为它们的无模型性质和收敛保证。然而,这些方法在梯度估计中具有高方差,导致差的样本效率。为了缓解这个问题,已经提出了一些减少方差的方法。不幸的是,在具有延迟奖励的挑战性问题中,这些方法要么带来相对适度的改进,要么以引入偏差和破坏收敛为代价来减少方差。一般来说,梯度估计的无偏方法仅部分地减少方差,即使在价值函数和问题动态的精确知识的限制下,也没有完全消除方差,正如人们可能希望的那样。在这项工作中,我们提出了一个无偏的方法,完全消除方差在一些常见的条件下。具有实际意义的是确定性动态的极限和小的政策随机性。在二次价值函数的情况下,如在线性二次高斯模型中,策略随机性不需要很小。我们使用这样的模型来分析所提出的方差消除方法的性能,并将其与标准方差缩减方法进行比较。该方法背后的核心思想是在轨迹的所有未来时间使用控制变量。我们提出了基于模型和无模型的配方。
2018-11-15 cs.LG stat.ML
ERR+: Sequential Entropy Resolution for Efficient and Decisive LLM Reasoning
School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院);ByteDance(字节跳动)
该研究针对RLVR方法对推理过程质量指导不足的问题,提出两阶段RLVR框架ERR+,通过顺序优化熵缓解奖励与稳健相对效率奖励,在五个数据集上实现了LLM推理准确率与简洁性的提升。
2026-09-22 cs.LG
Sequential Monte Carlo Bandits
BCAM - Basque Center for Applied Mathematics(巴斯克应用数学中心);IKERBASQUE, Basque Foundation for Science(巴斯克科学基金会);Columbia University(哥伦比亚大学)
本文提出用序贯蒙特卡洛方法估计贝叶斯多臂老虎机中的奖励充分统计量,从而支持非线性、上下文相关及时变非平稳场景,并在非线性非平稳实验中取得良好遗憾表现。
2024-04-04 cs.LG stat.CO stat.ML
Synopsis: Sequential Decision Problems with Weak Feedback
本论文考虑序贯决策问题,其中的损失/奖励所产生的选择一个行动可能无法推断从观察到的反馈。本论文的主要部分集中在无监督的顺序选择问题,其中一个不能推断的损失选择一个行动从观察到的反馈。我们还介绍了一个新的设置名为删失半土匪,其中选择一个动作所产生的损失可以在一定条件下观察。最后,我们研究了通信网络中的信道选择问题,其中只有当没有其他玩家选择该动作时才能观察到该动作的奖励。这些问题在许多领域中得到应用,例如医疗保健、众包、安全、自适应资源分配等。本论文的目的是解决上述顺序决策问题,利用这些问题所表现出的特定结构。我们为这些具有弱反馈的设置中的每一个开发了可证明的最优算法,并在来自合成和真实数据集的不同问题实例上验证了它们的经验性能。
2023-01-27 cs.LG
Leveraging Domain Knowledge for Efficient Reward Modelling in RLHF: A Case-Study in E-Commerce Opinion Summarization
IIT Bombay(印度理工学院孟买分校);Flipkart(Flipkart公司)
提出将领域知识注入RLHF奖励模型的新方法,减少21倍偏好标注需求,在电商意见摘要任务中以940样本超越SOTA,并发布两个新数据集。
2024-04-18 cs.CL cs.LG
Effective Reward Specification in Deep Reinforcement Learning
Polytechnique Montréal(蒙特利尔理工学院);Université de Montréal(蒙特利尔大学)
该论文综述深度强化学习中的有效奖励规范策略,分析奖励失配与学习低效等挑战,并提出改善样本效率和对齐的原创贡献。
2024-12-10 cs.LG
Batched Online Contextual Sparse Bandits with Sequential Inclusion of Features
Metica
针对稀疏和批量数据下的线性奖励上下文老虎机问题,提出OBSI算法通过随置信度提升顺序纳入特征、排除无关特征来保障公平性,实验显示其在遗憾值、特征相关性和计算量上均优于其他算法。
2024-09-13 cs.LG stat.ML
Sequential Anomaly Detection using Inverse Reinforcement Learning
Columbia University(哥伦比亚大学)
异常检测中最有趣的应用场景之一是针对连续数据的情况。例如,在安全关键环境中,至关重要的是要有一个自动检测系统来筛选监控传感器收集的流数据,并在实时检测到异常观察结果时报告。通常情况下,当这些潜在的异常是故意的或目标导向的时,风险要高得多。我们提出了一个端到端的框架顺序异常检测使用逆强化学习(IRL),其目标是确定决策代理的底层功能,触发他/她的行为。所提出的方法需要的目标代理(和可能的其他Meta信息)的动作序列作为输入。代理的正常行为,然后理解的奖励功能,这是通过IRL推断。我们使用一个神经网络来表示一个奖励函数。使用学习的奖励函数,我们评估来自目标代理的新观察是否遵循正常模式。为了构建一个可靠的异常检测方法,并考虑到预测的异常得分的置信度,我们采用贝叶斯方法IRL。公开的真实世界数据的实证研究表明,我们提出的方法是有效的,在识别异常。
2020-04-22 cs.LG stat.ML
IQ-Learn: Inverse soft-Q Learning for Imitation
Stanford University(斯坦福大学);Google Research(谷歌研究院)
在许多顺序决策问题中(例如,机器人控制、玩游戏、顺序预测),可获得包含关于任务的有用信息的人类或专家数据。然而,从少量的专家数据中进行模仿学习(IL)在具有复杂动态的高维环境中可能具有挑战性。行为克隆是一种简单的方法,由于其实现简单和稳定的收敛性而被广泛使用,但不利用任何涉及环境动态的信息。许多利用动态信息的现有方法在实践中难以训练,这是由于在奖励和策略近似器或有偏的高方差梯度估计器上的对抗性优化过程。我们介绍了一种动态感知IL的方法,该方法通过学习单个Q函数来避免对抗性训练,隐式地表示奖励和策略。在标准基准测试中,隐式学习的奖励与地面真实奖励表现出高度的正相关性,说明我们的方法也可以用于逆强化学习(IRL)。我们的方法,逆软Q学习(IQ-Learn)在离线和在线模仿学习设置中获得了最先进的结果,在所需的环境交互数量和高维空间的可扩展性方面都显著优于现有方法,通常超过3倍。
2022-11-03 cs.AI cs.LG
On Sequential Elimination Algorithms for Best-Arm Identification in Multi-Armed Bandits
John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰·A·保尔森工程与应用科学学院)
我们认为最好的武器识别问题,在多武装土匪,纯粹集中在探索。玩家被给予固定的预算来探索有限的一组手臂,每个手臂的奖励都是从固定的未知分布中独立抽取的。玩家的目标是识别具有最大预期奖励的手臂。我们提出了一个统一的顺序消除算法的一般框架,其中的武器被解雇迭代,直到一个独特的手臂离开。我们的分析揭示了一种新的性能指标表示的采样机制和数量的消除武器在每一轮。基于这一结果,我们开发了一种算法,根据剩余的武器在每一轮的非线性函数划分预算。我们提供了理论保证的算法,表征合适的非线性为不同的问题环境所描述的竞争武器的数量。匹配的理论结果,我们的实验表明,非线性算法优于国家的最先进的。我们最后研究的侧观察模型,拉一只手臂揭示了其相关的武器的奖励,我们建立了改进的理论保证在纯探索设置。
2017-04-13 cs.LG stat.ML
Reward Learning using Structural Motifs in Inverse Reinforcement Learning
University of Toronto(多伦多大学);Vector Institute(向量研究所)
逆强化学习(\textit{IRL})问题在过去几年中经历了快速的发展,在机器人、认知和健康等领域有着重要的应用。在这项工作中,我们探讨了目前的IRL方法在学习代理的奖励功能,从专家轨迹描绘长期的,复杂的顺序任务的无效性。我们假设,灌输IRL模型与结构图案捕捉底层任务可以使和提高他们的表现。随后,我们提出了一种新的IRL方法,SMIRL,首先学习的(近似)结构的任务作为一个有限状态自动机(FSA),然后使用的结构基序来解决IRL问题。我们测试我们的模型在离散网格世界和高维连续域环境。我们的经验表明,我们提出的方法成功地学习了所有四个复杂的任务,其中两个基本的IRL基线失败。我们的模型在一个简单的玩具任务上的样本效率也优于基线。我们进一步展示了有前途的测试结果,在一个修改后的连续域的任务与组合奖励函数。
2022-09-25 cs.AI cs.LG
Learning "What-if" Explanations for Sequential Decision-Making
University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所);University of Cambridge(剑桥大学);Cambridge Center for AI in Medicine(剑桥人工智能医学中心);University of California, Los Angeles(加州大学洛杉矶分校)
在示范行为的基础上建立现实世界决策的可解释参数化-即专家最大化某些未知奖励函数的观察和行动轨迹-对于不同机构的内省和审计政策至关重要。在本文中,我们提出了学习解释的专家决策建模的奖励函数的偏好方面的“如果”的结果:鉴于目前的历史观察,会发生什么,如果我们采取了一个特定的行动?为了学习这些与专家的行动相关的成本效益权衡,我们将反事实推理集成到批量逆强化学习中。这为定义奖励函数和解释专家行为提供了一种原则性的方法,也满足了现实世界决策的约束--在现实世界中,主动实验通常是不可能的(例如在医疗保健领域)。此外,通过估计不同行为的影响,反事实很容易解决批量设置中政策评估的非政策性质,并且可以自然地适应专家政策依赖于观察历史而不仅仅是当前状态的设置。通过真实和模拟医疗环境中的说明性实验,我们强调了我们的批量、反事实反向强化学习方法在恢复准确且可解释的行为描述方面的有效性。
2021-03-30 cs.AI cs.LG stat.ML
Multi-Armed Bandit Problem with Temporally-Partitioned Rewards: When Partial Feedback Counts
Politecnico di Milano(米兰理工大学)
人们对数据按顺序可用的工业在线应用越来越感兴趣。受启发的播放列表的用户,他们的喜好可以收集在整个播放列表的收听过程中的建议,我们研究了一种新的土匪设置,即多武装土匪与时间分区奖励(TP-MAB),其中随机奖励与拉的手臂被划分在有限数量的连续轮后拉。据我们所知,这一设置迄今尚未被探索,它是延迟反馈强盗的自然延伸,在这种情况下,奖励可能会在拉动后的有限时间内扩大,而不是在一个可能延迟的单一回合中完全披露。我们提供了两种算法来解决TP-MAB问题,即TP-UCB-FR和TP-UCB-EW,它们利用了随着时间的推移收集的奖励所披露的部分信息。我们表明,我们的算法提供了更好的渐近后悔上界比延迟反馈强盗算法时,一个属性表征了广泛的奖励结构的实际利益,即阿尔法平滑,持有。我们还根据经验评估了他们在各种环境中的表现,包括综合生成的和现实世界的媒体推荐问题。
2022-06-01 cs.AI cs.LG
Reward Maximization for Pure Exploration: Minimax Optimal Good Arm Identification for Nonparametric Multi-Armed Bandits
Cornell Tech(康奈尔科技学院)
本文针对非参数多臂老虎机中的好臂识别问题,提出将奖励最大化采样与新型任意时刻有效序贯检验相结合的方法,在错误概率约束下实现最小最大最优停止时间,并在实验中显著减少样本量。
2024-10-21 cs.LG stat.ME stat.ML
Unified Models of Human Behavioral Agents in Bandits, Contextual Bandits and RL
Center for Theoretical Neuroscience, Columbia University(哥伦比亚大学理论神经科学中心);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);Mila - Quebec AI Institute, University of Montreal(蒙特利尔大学Mila魁北克人工智能研究所)
人工行为代理通常基于其一致的行为和性能进行评估,以在环境中采取顺序行动,以最大化累积奖励的概念。然而,人类在现实生活中的决策通常涉及不同的策略和行为轨迹,导致相同的经验结果。受到广泛的神经和精神疾病的临床文献的启发,我们在这里提出了一个更通用和灵活的参数框架,涉及两个流奖励处理机制的顺序决策。我们证明了这个框架是灵活和统一的,足以将一个家庭的问题,跨越多武装土匪(MAB),上下文土匪(CB)和强化学习(RL),分解的顺序决策过程中的不同层次。受许多精神障碍的已知奖励处理异常的启发,我们的临床启发代理在具有特定奖励分布的模拟任务上表现出有趣的行为轨迹和可比的性能,真实世界的数据集捕获赌博任务中的人类决策,以及终身学习环境中不同奖励平稳性的PacMan游戏。
2021-12-27 cs.AI cs.LG q-bio.NC
Confidence-Budget Matching for Sequential Budgeted Learning
Microsoft Research(微软研究院);Technion(以色列理工学院);Nvidia Research(英伟达研究院)
在不确定性下的决策的一个核心要素是对所执行的行动的质量的反馈。然而,在许多应用中,这样的反馈受到限制。例如,在推荐系统中,反复要求用户提供关于推荐质量的反馈会惹恼他们。在这项工作中,我们正式决策问题的查询预算,其中有一个(可能是时间依赖的)硬限制的奖励查询的数量。具体来说,我们考虑多武装土匪,线性土匪和强化学习问题。我们从分析“贪婪”算法的性能开始,这些算法在任何时候都可以查询奖励。我们表明,在完全随机的设置,这样做的表现令人惊讶的好,但在任何逆境的存在下,这可能会导致线性遗憾。为了克服这个问题,我们提出了置信度预算匹配(CBM)的原则,查询奖励时的置信区间是宽于可用预算的平方根倒数。我们分析了基于CBM的算法在不同环境中的性能,并表明它们在逆境的背景下,初始状态和预算中表现良好。
2021-07-11 cs.LG stat.ML
Optimistic MLE -- A Generic Model-based Algorithm for Partially Observable Sequential Decision Making
DeepMind(深度思维);Princeton University(普林斯顿大学);Google Research India(谷歌印度研究院);University of Alberta(阿尔伯塔大学)
本文介绍一种简单有效的一般序贯决策学习算法。该算法结合了最大似然估计和最乐观的探索模型估计,这因此被称为OMLE。我们证明了OMLE学习的一个非常丰富的类序列决策问题的多项式样本数的近优政策。这个丰富的类不仅包括大多数已知的易处理的基于基于模型的强化学习(RL)问题(如表MDP,因子MDP,低见证秩问题,表弱揭示/可观察POMDP和多步可解码POMDP),而且还包括许多新的具有挑战性的RL问题,特别是在部分可观察的设置中,以前不知道是易处理的。值得注意的是,本文所解决的新问题包括:(1)具有连续观测和函数逼近的可观测POMDPs,其中我们获得了与观测空间大小完全无关的第一样本复杂度;(2)良态低秩序贯决策问题(也称为预测状态表示(PSR)),其包括并概括在更内在的表示下的所有已知易处理的POMDP示例;(3)SAIL条件下的一般序贯决策问题,统一了我们对完全可观察和部分可观察两种情况下基于模型强化学习的理解。本文证明了SAIL条件,它可以看作是Bellman/witness秩的自然推广,以解决部分能观性问题。本文还提出了一种无奖励的OMLE算法,它学习近似的动态模型,使计算接近最优的政策,同时为所有的奖励功能。
2022-11-23 cs.AI cs.LG stat.ML
On the Expressivity of Multidimensional Markov Reward
Manning College of Information and Computer Sciences(曼宁信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
该研究探究不确定性序贯决策中马尔可夫奖励的表达能力,给出了能刻画指定可接受策略集合的标量/多维马尔可夫奖励函数存在的充要条件,并证明所有非退化确定性策略集都可用多维马尔可夫奖励刻画。
2023-07-22 cs.AI
Variational Inference for Model-Free and Model-Based Reinforcement Learning
变分推理(VI)是一种特殊类型的近似贝叶斯推理,它用一个易处理的分布来近似一个难处理的后验分布。VI将推理问题转换为优化问题,更具体地说,目标是最大化关于近似后验的参数的边际似然的对数的下限。另一方面,强化学习(RL)处理的是自主智能体,以及如何使它们的行为最优,例如最大化某些预期未来累积奖励的概念。在非顺序设置中,代理人的行为不会对环境的未来状态产生影响,RL被上下文强盗和贝叶斯优化所覆盖。然而,在一个适当的顺序场景中,代理人的行为会影响未来的状态,需要仔细权衡瞬时奖励与潜在的长期奖励。这份手稿显示了VI和RL的明显不同的主题是如何以两种基本方式联系在一起的。首先,RL的优化目标,以最大限度地提高未来的累积回报,可以恢复通过VI目标下的软政策约束,在非顺序和顺序设置。这种策略约束不仅仅是人为的,而且已被证明是许多RL任务中有用的正则化器,可以显着提高代理性能。其次,在基于模型的强化学习中,代理的目标是了解他们所处的环境,模型学习部分可以自然地被描述为控制环境动态过程的推理问题。对于后者,我们将区分两种情况:第六种情况是环境状态完全可被智能体观察到,第六种情况是环境状态只能通过观察分布部分观察到。
2022-12-18 cs.LG
Sequential Choice Bandits with Feedback for Personalizing users' experience
University of California, San Diego(加州大学圣地亚哥分校);University of Warwick(华威大学)
在这项工作中,我们研究序贯选择强盗与反馈。我们提出了一个平台,个性化的用户体验,以最大限度地提高其回报的强盗算法。对于针对给定用户的每个动作,如果该动作低于用户的阈值,则平台被给予正奖励,该正奖励是该动作的非递减函数。用户有一个耐心预算,超过阈值的操作会降低用户的耐心。当所有的耐心都失去时,用户就会放弃这个平台。该平台试图学习用户的阈值,以最大限度地提高其回报,基于两个不同的反馈模型,描述了平台在每个动作时可用的信息模式。我们通过确定当平台知道用户的阈值在给定区间内时要采取的最佳行动来定义后悔的概念。然后,我们提出了强盗算法的两个反馈模型,并表明,上界和下界的遗憾的顺序分别为$\tilde{O}(N^{2/3})$和$\tildeΩ(N^{2/3})$,其中$N$是用户的总数。最后,我们表明,在收到个性化的体验之前,任何用户的等待时间是均匀的$N$。
2021-01-05 cs.LG cs.MA stat.ML
Reward Transfer from Inverse Reinforcement Learning: A Coupled Minimax Approach
Cornell Tech, Cornell University(康奈尔科技,康奈尔大学);Netflix Research(netflix研究);Department of Statistics, University of Washington(华盛顿大学统计学系)
提出一种耦合极小极大方法,通过联合求解源和目标环境的贝尔曼方程组,消除源贝尔曼残差误差的一阶影响,实现逆强化学习奖励从源环境到目标环境的有效迁移。
2026-05-27 cs.LG stat.ML
RLSS: A Deep Reinforcement Learning Algorithm for Sequential Scene Generation
KAUST(阿卜杜拉国王科技大学)
我们提出RLSS:一个强化学习算法的顺序场景生成。这是基于采用生成问题的近端策略优化(PPO)算法。特别是,我们考虑如何有效地减少行动空间,包括在学习过程中的贪婪搜索算法。我们的实验表明,我们的方法收敛相对大量的行动,并学习生成场景与预定义的设计目标。这种方法是在虚拟场景中反复放置对象。在每一步中,网络选择放置哪些对象,并选择导致最大回报的位置。如果最后一个动作导致了期望的属性,则分配高奖励,而违反约束则受到惩罚。我们证明了我们的方法的能力,有效地产生合理的和多样化的场景,通过解决室内规划问题,并产生愤怒的小鸟水平。
2022-06-01 cs.CV cs.LG
On Learning Intrinsic Rewards for Policy Gradient Methods
University of Michigan(密歇根大学)
在许多顺序决策任务中,设计奖励函数来帮助RL代理有效地学习代理设计者认为好的行为是具有挑战性的。许多不同的配方的奖励设计问题,或其密切的变化,已经提出了文献。在本文中,我们建立在Singh等人的最优奖励框架之上,该框架将最优内在奖励函数定义为当被RL代理使用时实现优化任务指定或外在奖励函数的行为的函数。在这个框架中以前的工作已经表明,如何良好的内在奖励功能可以学习前瞻性搜索基于规划代理。是否有可能为学习代理学习内在奖励函数仍然是一个悬而未决的问题。在本文中,我们推导出一种新的算法学习的内在回报的政策梯度为基础的学习代理。我们比较的性能增强代理,使用我们的算法提供附加的内在奖励A2C为基础的政策学习者(雅达利游戏)和基于PPO的政策学习者(Mujoco域)与基线代理,使用相同的政策学习者,但只有外在的奖励。我们的研究结果表明,在大多数,但不是所有的域的性能提高。
2018-06-22 cs.AI cs.LG stat.ML
Dynamic Memory for Interpretable Sequential Optimisation
Apple(苹果公司)
强化学习在推荐和实验中的实际应用面临着一个实际的挑战:不同强盗武器的相对奖励可以在学习代理的生命周期中演变。为了处理这些非平稳的情况下,代理必须忘记一些历史知识,因为它可能不再相关,以尽量减少遗憾。我们提出了一个解决方案来处理非平稳性,适合大规模部署,为业务运营商提供自动化自适应优化。我们的解决方案旨在提供人类可以信任的可解释学习,同时响应非平稳性以最大限度地减少遗憾。为此,我们开发了一个自适应贝叶斯学习代理,采用了一种新的形式的动态记忆。它通过统计假设检验实现可解释性,通过在比较奖励时瞄准统计功率的设定点并动态调整其记忆以实现此功率。通过设计,代理对不同类型的非平稳性是不可知的。使用数值模拟,我们将其性能与现有的建议进行比较,并表明,在多个非平稳的情况下,我们的代理正确地适应真实奖励的真实变化。在所有的bandit解决方案中,在学习和实现最大性能之间存在明确的权衡。与另一种类似的鲁棒方法相比,我们的解决方案在这种权衡上处于不同的位置:我们优先考虑可解释性,这依赖于更多的学习,以一些遗憾为代价。我们描述了一个大规模部署的自动优化作为一种服务,我们的代理实现可解释性,同时适应不断变化的情况下的架构。
2022-06-28 cs.AI cs.LG stat.ML
From Preference-Based to Multiobjective Sequential Decision-Making
在本文中,我们提出了基于偏好和多目标序列决策之间的联系。虽然将多目标问题转换为基于偏好的问题是很自然的,但另一个方向就不那么明显了。我们提出了如何转换(从偏好为基础的多目标)可以在经典的条件下,偏好的历史可以表示为加法可分解的效用和决策标准,以评估政策在一个国家是基于期望。这种联系产生了多目标顺序决策问题的新来源(即,当奖励值未知时),并证明在一种环境中开发的解决方法在另一种环境中的使用是合理的。
2017-01-03 cs.AI
Meta-Prompt Optimization for LLM-Based Sequential Decision Making
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));The Chinese University of Hong Kong(香港中文大学);Guangdong Lab of AI and Digital Economy (SZ)(广东省人工智能与数字经济实验室(深圳))
针对基于大语言模型的序列决策中因奖励非平稳导致的元提示优化难题,提出EXPO及扩展的EXPO-ES算法,可显著提升相关任务性能。
2026-08-31 cs.LG
Weak Signal Asymptotics for Sequentially Randomized Experiments
Stanford Graduate School of Business(斯坦福大学商学院)
本研究通过弱信号渐近分析序贯随机实验,证明其收敛于扩散极限,并揭示Lipschitz连续随机化导致次优遗憾,而特定汤普森采样变体实现近最优遗憾但后验不稳定。
2023-06-22 cs.LG math.ST stat.TH
Global Bandits
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Bilkent University(比尔肯特大学)
多武装土匪(MAB)模型的顺序决策问题,其中学习者顺序选择武器未知的奖励分布,以最大限度地提高其累积奖励。大多数关于MAB的先前工作假设每个臂的奖励分布是独立的。但在各种各样的决策问题中--从药物剂量到动态定价--不同手臂的预期回报是相关的,因此选择一个手臂也提供了其他手臂预期回报的信息。我们提出并分析了一类决策问题的模型,我们称之为{ \em全球土匪}。在所有武器的奖励是一个单一的未知参数的确定性函数的情况下,我们构建了一个贪婪的政策,实现{ \em有界遗憾},与一个边界,取决于该问题的单个真参数。因此,该策略仅以概率1选择次优武器200次。对于这种情况下,我们也得到了一个约束的遗憾,是{ \em独立的真实参数};这个界是次线性的,指数取决于信息的武器。我们还提出了一个贪婪的政策,实现$\tilde{\mathcal{O}}(\sqrt{T})$最坏情况下和$\mathcal{O}(1)$参数相关的遗憾的变体。最后,我们进行实验动态定价,并表明所提出的算法实现了显着的收益相对于著名的基准。
2018-03-21 cs.LG
Bayesian Nonparametric Thompson Sampling for Multi-Armed Bandits
Columbia University(哥伦比亚大学)
该研究针对多臂老虎机问题,提出贝叶斯非参数汤普森采样算法,无需指定奖励模型参数形式,实验表明其后悔性能与Oracle TS相当,且在多种奖励分布场景下优于现有算法。
2026-10-14 cs.LG stat.CO stat.ML
A Unified Linear Programming Framework for Offline Reward Learning from Human Demonstrations and Feedback
Massachusetts Institute of Technology(麻省理工学院)
本文提出一种用于离线奖励学习的统一线性规划框架,无需在线探索即可从预收集轨迹和人类反馈中推断奖励函数,具有可证明的样本效率和最优性保证,性能优于传统最大似然估计方法。
2024-10-14 cs.AI cs.LG stat.ML
SeqPO-SiMT: Sequential Policy Optimization for Simultaneous Machine Translation
The Chinese University of Hong Kong(香港中文大学);Bytedance(字节跳动);Stanford University(斯坦福大学)
提出SeqPO-SiMT框架,将同声传译视为顺序决策问题,通过定制奖励优化策略,在六个数据集上显著提升翻译质量并降低延迟,其7B模型效果媲美高性能离线翻译。
2025-05-27 cs.AI cs.CL cs.LG