PIMbot: Policy and Incentive Manipulation for Multi-Robot Reinforcement Learning in Social Dilemmas
University of California, Riverside（加州大学河滨分校）
本文提出PIMbot方法，通过策略操纵和激励操纵多机器人协作中的奖励函数，在Gazebo模拟环境中验证了其对社会困境中任务结果的双向影响，为多智能体强化学习的通信操纵提供了新视角。
2023-07-29 cs.LG cs.RO
Trust in Autonomous Human--Robot Collaboration: Effects of Responsive Interaction Policies
Laurentian University（劳伦太大学）
研究探讨了在无Wizard-of-Oz控制或预设修复的社交机器人协作中，交互策略对信任形成的影响，发现响应式策略在通信条件良好时显著提升信任，但任务准确性无显著差异。
2026-03-17 cs.HC cs.RO
Generative Action-Chunk Sampling for Adaptive Stiffness Control in Physical Human-Robot Collaboration
School of Engineering and Design, Graduate School of Science and Technology, Keio University（庆应义塾大学 理工学研究科 设计工程学院）
针对物理人机协作的协助与柔顺性平衡问题，提出基于生成式动作块采样的自适应刚度框架，在四方向协作搬运任务中平均成功率达0.95，优于固定刚度组与确定性基线。
2026-09-09 cs.AI cs.LG cs.RO
Towards Off-Policy Reinforcement Learning for Ranking Policies with Human Feedback
The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出离线价值排序算法VR，在统一EM框架中同时优化长期奖励和排序指标，无需在线交互即可提升推荐策略的样本效率和准确性。
2024-01-17 cs.AI cs.LG
On Collaboration in Distributed Parameter Estimation with Resource Constraints
Manning College of Information and Computer Sciences at UMass Amherst（马萨诸塞大学阿默斯特分校曼宁信息与计算机科学学院）；Institute of Computing at UFRJ（里约热内卢联邦大学计算机研究所）
研究分布式参数估计中的资源约束协作问题，提出基于Fisher信息最大化的策略设计，并应用多臂老虎机算法学习最优数据收集与协作策略，仿真验证了算法有效性。
2024-09-24 cs.DC cs.LG cs.MA
AlignIQL: Policy Alignment in Implicit Q-Learning through Constrained Optimization
Center for Artificial Intelligence and Robotics（人工智能与机器人中心）；Tsinghua University（清华大学）
本文提出AlignIQL及AlignIQL-hard算法，将隐式策略寻找问题形式化为约束优化问题，在保持IQL简洁性的同时解决了策略提取问题，并在D4RL稀疏奖励任务上显著优于IQL和IDQL。
2025-11-05 cs.LG
Game-Theoretic Modeling of Human Adaptation in Human-Robot Collaboration
Carnegie Mellon University（卡内基梅隆大学）
在人类-机器人团队中，人类通常从一个不准确的机器人能力模型开始。当它们与机器人交互时，它们推断机器人的能力并部分适应机器人，即，他们可能会根据观察到的结果和机器人的动作改变自己的动作，而不复制机器人的策略。我们提出了一个博弈论模型的人的部分适应机器人，在那里的人响应机器人的行动，通过最大化的奖励函数，随着时间的推移而改变随机，捕捉他们的期望机器人的能力的演变。然后，机器人可以使用这个模型来最佳地决定采取行动，向人类展示其能力，并在人类当前拥有的信息下采取最佳行动。我们证明了在一定的可观测性假设下，最优策略可以有效地计算。我们通过一个人类受试者的实验表明，该模型显着提高人类机器人团队的性能相比，政策，假设完全适应人类的机器人。
2017-04-06 cs.RO
Admissible Policy Teaching through Reward Design
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
我们研究奖励设计策略，激励一个强化学习代理采用一组可接受的政策的政策。奖励设计者的目标是以成本有效的方式修改潜在的奖励函数，同时确保在新的奖励函数下的任何近似最优确定性策略是可接受的，并且在原始奖励函数下表现良好。这个问题可以被看作是最优奖励中毒攻击问题的对偶：奖励设计者不是强迫代理采取特定的策略，而是激励代理避免采取在某些状态下不可接受的行为。也许令人惊讶的是，与最优奖励中毒攻击的问题相比，我们首先证明了可接受的策略教学的奖励设计问题在计算上是具有挑战性的，并且很难找到近似最优的奖励修改。然后，我们继续制定一个代理问题，其最佳解决方案近似的最佳解决方案的奖励设计问题，在我们的设置，但更适合于优化技术和分析。对于这个代理问题，我们提出的表征结果，提供的最优解的值的界限。最后，我们设计了一个局部搜索算法来解决代理问题，并使用基于仿真的实验来展示其实用性。
2022-01-06 cs.AI cs.LG
Interpretable Off-Policy Evaluation in Reinforcement Learning by Highlighting Influential Transitions
Harvard University（哈佛大学）；Stanford University（斯坦福大学）；MIT（麻省理工学院）
强化学习中的非政策评估提供了使用观察数据来改善医疗保健和教育等领域未来结果的机会，但在高风险环境中的安全部署需要评估其有效性的方法。由于噪声、有限的数据和混杂因素，传统的测量方法如置信区间可能是不够的。在本文中，我们开发了一种方法，可以作为一个混合的人工智能系统，使人类专家分析政策评估估计的有效性。这是通过突出显示数据中的观察结果来实现的，这些观察结果的删除将对OPE估计产生很大影响，并制定一组规则来选择哪些观察结果提交给领域专家进行验证。我们开发的方法来精确计算的影响函数拟合Q-评价与两个不同的功能类：基于核和线性最小二乘法，以及重要性采样方法。医学模拟和现实世界的重症监护病房数据的实验表明，我们的方法可以用来识别评估过程中的局限性，使评估更强大。
2020-08-11 cs.LG stat.ML
Learning to Assist: Collaborative VLAs for Implicit Human-Robot Collaboration
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Massachusetts Institute of Technology（麻省理工学院）
本文研究利用视觉-语言-动作（VLA）模型通过模仿学习实现人机协作，发现动作分块策略在隐式协作中存在演示动作泄漏问题，提出推理时引导方法缓解过早辅助行为，并通过用户研究验证其有效性。
2026-10-14 cs.RO
Improving Generalization of Reinforcement Learning with Minimax Distributional Soft Actor-Critic
Tsinghua University（清华大学）
强化学习（RL）在许多顺序决策和控制任务中取得了显著的性能。然而，一个常见的问题是，学习的近最优策略总是过拟合的训练环境，并可能无法扩展到从未遇到过的情况在训练过程中。在实际应用中，环境的随机性通常会导致一些破坏性事件，这应该是自动驾驶等安全关键系统的重点。在本文中，我们引入了极大极小公式和分布框架，以提高RL算法的推广能力，并开发了极大极小分布软演员-评论（DSAC）算法。极大极小化模型旨在寻求最优策略，其中主角策略最大化行动价值函数，而对手策略试图最小化它;分布框架旨在学习状态-行动收益分布，从中我们可以明确地建模不同收益的风险，从而制定风险规避的主角策略和风险寻求的对手策略。我们在交叉路口的自动驾驶汽车的决策任务上实现了我们的方法，并在不同的环境中测试了训练后的策略。结果表明，我们的方法可以大大提高的推广能力的主角代理不同的环境变化。
2020-09-30 cs.LG stat.ML
A Learning Based Optimal Human Robot Collaboration with Linear Temporal Logic Constraints
New Mexico State University（新墨西哥州立大学）；University of Notre Dame（圣母大学）
研究了具有持久任务的人-机器人系统机器人系统中人-机器人协作的最优任务分配问题。这种人类机器人系统由人类操作员和智能机器人组成，它们相互协作以完成任何一方都无法单独完成的复杂任务。该系统的目标是最大限度地成功执行持久性任务的概率，制定为线性时序逻辑规范和最小化的平均成本之间的连续访问的一个特定的命题。本文提出了一个框架下的多个马尔可夫决策过程（MDP）的组成与可能未知的转移概率，它表征了人类的认知状态，如人类的信任和疲劳，随机变化的机器人的性能模型的人类机器人协作。在未知的MDP模型下，提出了一种学习MDP模型的算法，以获得最优的任务分配策略，使每个任务周期的期望平均成本最小，满足线性时序逻辑约束的概率最大.此外，本文表明，最优策略的基础上学习的模型和基础上的地面真值模型的基础上的差异可以有界的任意小的常数和大的置信水平与足够的样本。装配过程的案例研究表明，我们提出的基于学习的人类机器人协作的有效性和好处。
2017-05-31 cs.AI cs.HC cs.RO
Action-Constrained Reinforcement Learning for Frame-Level Bit Allocation in HEVC/H.265 through Frank-Wolfe Policy Optimization
National Yang Ming Chiao Tung University（国立阳明交通大学）
本文提出了一种强化学习（RL）框架，该框架利用Frank-Wolfe策略优化来解决HEVC/H.265的帧级比特分配。大多数以前的基于RL的方法采用单批评的设计，加权失真最小化和率正则化的经验选择的超参数的奖励。最近，提出了双批评设计，通过交替的速率和失真的批评，更新演员网络。然而，训练的收敛性并不能得到保证。为了解决这个问题，我们引入神经Frank-Wolfe策略优化（NFWPO），将帧级比特分配作为一个动作约束的RL问题。在这个新的框架中，率评论家服务于指定一个可行的动作集，和失真评论家更新的演员网络朝着最大化的重建质量，同时符合动作约束。实验结果表明，当训练优化视频多方法评估融合（VMAF）度量时，我们基于NFWPO的模型优于单批评和双批评方法。它还展示了与x265的2遍平均比特率控制相当的率失真性能。
2022-03-10 cs.LG eess.IV
Composite Task-Completion Dialogue Policy Learning via Hierarchical Deep Reinforcement Learning
Microsoft Research（微软研究院）；The Chinese University of Hong Kong（香港中文大学）
构建一个对话代理来完成复杂的任务，如旅行计划，是具有挑战性的，因为代理必须学习共同完成多个子任务。例如，代理需要预订酒店并预订航班，以便在到达和酒店入住之间留出足够的通勤时间。本文通过在马尔可夫决策过程（MDP）的数学框架中制定任务来解决这一挑战，并提出了一种分层的深度强化学习方法来学习在不同时间尺度上操作的对话管理器。对话管理器包括：（1）在子任务或选项中进行选择的顶层对话策略，（2）选择基本动作以完成顶层策略给定的子任务的底层对话策略，以及（3）帮助确保满足所有跨子任务约束的全局状态跟踪器。在模拟和真实用户的旅行规划任务上的实验表明，我们的方法在三个基线上都有显著的改进，两个基线基于手工规则，另一个基线基于平面深度强化学习。
2017-07-22 cs.AI cs.CL cs.LG
Detector-Evasive LLM Paraphrasing via Constrained Policy Optimization
School of ECEE, Arizona State University（亚利桑那州立大学电子工程与计算机科学学院）；Department of Computer Science, University of California, Santa Barbara（加州大学圣巴巴拉分校计算机科学系）
提出DEPO算法，将检测器规避的LLM释义建模为约束马尔可夫决策过程，通过拉格朗日对偶强化学习在保持语义的同时实现高效规避。
2026-05-29 cs.AI cs.LG
ARDIE: AR, Dialogue, and Eye Gaze Policies for Human-Robot Collaboration
本文提出ARDIE智能体，融合增强现实、对话与眼动注视，基于决策理论制定联合策略，通过AR渲染可视化未来交互，提升人机协作效率。
2023-05-08 cs.RO
Planning in Hierarchical Reinforcement Learning: Guarantees for Using Local Policies
Google Research（谷歌研究院）
我们考虑一个层次化强化学习的设置，其中的奖励是一个组件的总和。对于每个组件，我们都给出了一个最大化它的策略，我们的目标是从各个策略中组合一个最大化组件总和的策略。我们提供了理论上的保证，组装这样的政策在确定性的MDP与收藏奖励。我们的方法建立在制定这个问题作为一个旅行推销员问题的折扣奖励。我们专注于本地解决方案，即，仅使用来自当前状态的信息的策略;因此，它们易于实现并且不需要大量的计算资源。我们提出了三个本地的随机政策，并证明他们保证更好的性能比任何确定性的本地政策在最坏的情况下，实验结果表明，他们也表现得更好的平均。
2020-01-03 cs.AI cs.DS cs.LG
Learning to Plan in Human-Robot Collaboration: Multimodal Reinforcement Learning for Adaptive Interaction
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；California State University Channel Islands（加州州立大学海峡群岛分校）
本文提出一种强化学习方法，自动生成机器人在家庭环境中协助用户定位物体的多模态交互策略，实验表明该方法具有高可用性和可扩展性。
2026-09-23 cs.RO
MAGIC: Mixed-Granularity Agent Graphs via Incremental Construction with Dense-Reward Reinforcement Learning
针对多智能体系统协作拓扑生成忽视子任务粒度差异的问题，提出MAGIC框架，通过密集奖励强化学习增量构建混合粒度智能体图，在八个基准上超越现有方法并提升推理效率。
2026-09-23 cs.LG
From Solo to Symphony: Orchestrating Multi-Agent Collaboration with Single-Agent Demos
针对多智能体强化学习数据获取成本高的问题，提出SoCo框架，通过预训练单智能体策略并利用策略融合机制将其迁移至协作学习，显著提升训练效率与性能。
2025-11-04 cs.LG cs.MA
A Hierarchical Approach to Population Training for Human-AI Collaboration
Singapore University of Technology and Design (SUTD)（新加坡科技设计大学）
本文提出一种基于分层强化学习的人机协作方法，通过高层策略动态切换多个低层最佳响应策略，使智能体在Overcooked环境中能够适应不同风格和水平的新伙伴，并通过人类实验验证了其有效性。
2023-05-26 cs.AI cs.LG cs.MA
ACReL: Adversarial Conditional value-at-risk Reinforcement Learning
Institut Intelligence et Données (IID)（智能与数据研究所（IID））；Université Laval（拉瓦尔大学）；Quebec Artificial Intelligence Institute (Mila)（魁北克人工智能研究所（Mila））；Université de Montréal（蒙特利尔大学）
在经典的强化学习（RL）设置中，人们的目标是找到一个最大化其预期收益的策略。这一目标可能不适用于医疗保健或自动驾驶等安全关键领域，因为随机策略和环境变化导致的固有不确定性可能导致灾难性故障。这可以通过使用条件风险价值（CVaR）目标来解决，以在学习的政策中灌输风险规避。在本文中，我们提出了对抗Cvar强化学习（ACReL），一种新的对抗元算法，以优化强化学习中的CVaR目标。ACReL是基于一个最大-最小之间的政策播放器和一个学习的对手，扰动政策播放器的状态转换给定一个有限的预算。我们证明，更接近的球员是游戏的均衡点，更接近的学习政策是CVaR最优的风险容忍度明确相关的对手的预算。我们提供了一个基于梯度的训练过程，通过将其制定为Stackelberg游戏来解决所提出的游戏，从而能够使用深度RL架构和训练算法。实证实验表明，ACReL匹配CVaR RL最先进的基线检索CVaR最优政策，同时也受益于理论保证。
2022-05-17 cs.LG
Is Vanilla Policy Gradient Overlooked? Analyzing Deep Reinforcement Learning for Hanabi
Eindhoven University of Technology（埃因霍温理工大学）
为了增强多智能体协作，我们分析了最近发布的Hanabi基准测试中的几种基于策略的深度强化学习算法。我们的研究提出了一个可能违反直觉的发现，在多代理合作纸牌游戏的简化环境中，Vanilla策略梯度在多个随机种子上优于近端策略优化（PPO）。在我们对这种行为的分析中，我们研究了Hanabi特定的指标，并假设了PPO平台的原因。此外，我们还证明了完美游戏（71回合）和任何游戏（89回合）的最大长度。我们的代码可以在https://github.com/bramgrooten/DeepRL-for-Hanabi上找到
2022-03-22 cs.AI cs.LG cs.MA
Robust and Context-Aware Real-Time Collaborative Robot Handling via Dynamic Gesture Commands
Carnegie Mellon University（卡内基梅隆大学）
本文提出条件协作搬运过程（CCHP），通过从人人协作中学习上下文感知策略，解决动态手势指令下实时协作机器人搬运中人类行为异质性和感知随机性问题，在Kinova Gen3装配任务中显著降低人类工作量并提升协作流畅性。
2023-04-12 cs.RO
MAGIC-MASK: Multi-Agent Guided Inter-Agent Collaboration with Mask-Based Explainability for Reinforcement Learning
School of Computer Science University of Oklahoma（计算机科学学院俄克拉荷马大学）
针对现有强化学习可解释性方法计算成本高、难适配多智能体场景的问题，提出融合策略优化、自适应探索与智能体协作的MAGIC-MASK框架，提升了可解释性保真度与学习效率。
2025-09-30 cs.AI cs.LG cs.MA
Direct Preference-based Policy Optimization without Reward Modeling
Seoul National University（首尔大学）；NAVER；Line Corporation（LINE公司）
本文提出一种无需奖励建模、直接基于偏好学习策略的 PbRL 算法，通过对比学习设计策略评分指标，在离线控制任务上超越现有方法，并可微调大语言模型。
2023-10-27 cs.AI cs.LG
Toward Policy Explanations for Multi-Agent Reinforcement Learning
University of Virginia（弗吉尼亚大学）；Bar-Ilan University（巴伊兰大学）
多智能体强化学习（MARL）的进步使一系列令人兴奋的多智能体应用（如协作AI和自动驾驶）能够进行顺序决策。解释代理决策对于提高系统透明度，提高用户满意度和促进人类-代理协作至关重要。然而，现有的可解释的强化学习的工作主要集中在单智能体设置，不适合解决多智能体环境所带来的挑战。我们提出了新的方法来产生两种类型的政策解释MARL：（一）政策总结的代理合作和任务序列，和（ii）语言解释回答查询代理行为。三个MARL域上的实验结果证明了我们的方法的可扩展性。一项用户研究表明，生成的解释显着提高用户的性能，并增加主观评分的指标，如用户满意度。
2022-05-23 cs.AI cs.LG
Population-Guided Parallel Policy Search for Reinforcement Learning
Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）
本文提出了一种新的种群引导并行学习方案，以提高离线强化学习（RL）的性能。在该方案中，多个相同的学习器使用各自的值函数和策略，共享一个经验重放缓冲区，在最佳策略信息的指导下协作搜索最佳策略.其关键在于通过构造策略更新的增广损失函数来扩大多个学习者的整体搜索范围，从而以软的方式融合最佳策略的信息。通过以往最佳策略的指导和扩大的搜索范围，可以更快更好地进行策略搜索。从理论上证明了该方案对期望累积收益率的单调改善。将该方案应用于双延迟深度确定性（TD 3）策略梯度算法，构建了工作算法。数值结果表明，该算法的性能优于目前大多数最先进的强化学习算法，在稀疏奖励环境下的增益是显着的。
2020-01-09 cs.AI cs.LG stat.ML
Policy Gradient with Adaptive Entropy Annealing for Continual Fine-Tuning
AI Institute, University of Waikato（瓦ikato大学人工智能研究所）；LTCI, Télécom Paris（巴黎电信理工学院）
本文提出自适应熵退火策略梯度方法，通过强化学习视角优化预训练视觉模型在持续微调中的适应性，提升模型在类别增量任务中的性能。
2026-02-15 cs.AI cs.LG
Variational Latent Branching Model for Off-Policy Evaluation
Duke University（杜克大学）；North Carolina State University（北卡罗来纳州立大学）
基于模型的方法最近显示出极大的潜力，离线政策评估（OPE）的行为政策引起的离线轨迹拟合马尔可夫决策过程（MDP），这是用来推出模拟轨迹和估计政策的性能的过渡。基于模型的OPE方法面临两个关键挑战。首先，由于离线轨迹通常是固定的，它们往往覆盖有限的状态和动作空间。其次，基于模型的方法的性能可能对其参数的初始化敏感。在这项工作中，我们提出了变分潜在分支模型（VLBM），通过将环境动态制定为一个紧凑的潜在空间，然后从中采样下一个状态和奖励来学习MDP的过渡函数。具体而言，VLBM利用并扩展了具有递归状态对齐（RSA）的变分推理框架，其被设计为通过平滑VLBM的变分（编码）和生成（解码）部分之间的信息流来捕获尽可能多的有限训练数据的信息。此外，我们还引入了分支结构，以提高模型的鲁棒性对随机初始化的模型权重。VLBM的有效性进行评估的深OPE（DOPE）基准，从训练轨迹的设计，导致不同的覆盖范围的状态-动作空间。我们表明，VLBM优于现有的最先进的OPE方法一般。
2023-02-03 cs.AI cs.LG stat.ML
Beyond Imitation: Recovering Dense Rewards from Demonstrations
Department of Data Science and AI, Monash University（数据科学与人工智能系，墨尔本大学）
本研究证明监督微调（SFT）与逆强化学习等价，可从SFT模型中恢复token级密集奖励，提出的Dense-Path REINFORCE方法能利用该奖励优化策略，在指令跟随基准上表现优于原始SFT模型，重新定义了SFT的价值。
2025-10-02 cs.CL cs.LG
Enhancing Multi-Agent Collaboration with Attention-Based Actor-Critic Policies
Department of Computer Science and Software Engineering（计算机科学与软件工程系）；Milwaukee School of Engineering（密尔沃基工程学院）
本文提出TAAC算法，通过注意力机制和惩罚损失函数提升多智能体协作性能，在模拟足球环境中表现出优越的协作能力。
2025-12-22 cs.AI cs.LG
Robust Robot Planning for Human-Robot Collaboration
Université de Lorraine（洛林大学）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Université de Toulouse（图卢兹大学）
在人机协作中，人的目标往往是未知的机器人。此外，即使假设一个已知的目标，人的行为也是不确定的。为了规划一个强大的机器人行为，一个关键的初步问题是：如何获得现实的人类行为给定一个已知的目标？一个主要的问题是，这样的人类行为本身应该解释机器人的行为，否则合作就不会发生。在本文中，我们依靠马尔可夫决策模型，表示人类目标的不确定性作为一个概率分布在一组有限的目标函数（诱导分布在人类行为）。在此基础上，我们提出了两个贡献：1）一种方法来自动生成一个不确定的人类行为（政策）为每个给定的目标函数，同时考虑可能的机器人行为;和2）机器人规划算法，是强大的上述不确定性，并依赖于解决部分可观察的马尔可夫决策过程（POMDP）通过推理人类行为的分布。一个共同工作的场景允许进行实验，并提出定性和定量的结果来评估我们的方法。
2023-02-27 cs.AI cs.RO
Learning Implicit Credit Assignment for Cooperative Multi-Agent Reinforcement Learning
The University of Sydney（悉尼大学）
我们提出了一个多智能体演员批评的方法，旨在隐式地解决信用分配问题下完全合作的设置。我们的主要动机是，代理之间的信用分配可能不需要一个明确的制定，只要（1）来自一个集中的评论家的策略梯度携带足够的信息，分散的代理，以最大限度地提高其联合行动的价值，通过最佳的合作和（2）在整个训练过程中执行一个持续的探索水平。在CTDE范式下，通过将集中式评价器构造成一个超网络，使得潜在状态表示通过与随机策略的乘法关联被集成到策略梯度中，实现了前者;为了实现后者，我们推导出一种称为自适应熵正则化的简单技术，其中熵梯度的大小根据当前政策随机性，以鼓励一致的勘探水平。我们的算法，被称为LICA，评估的几个基准，包括多智能体粒子环境和一组具有挑战性的星际争霸II微观管理任务，我们表明，LICA显着优于以前的方法。
2020-10-22 cs.LG cs.MA stat.ML
Joint Policy Search for Multi-agent Collaboration with Imperfect Information
Facebook AI Research（脸书人工智能研究院）
在信息不完全的情况下，学习多智能体协作的联合策略仍然是一个根本性的挑战。而对于两人零和博弈，坐标上升方法（每次优化一个代理的策略，例如，自博弈）在有保证的情况下工作，在多智能体合作环境中，它们经常收敛到次优纳什均衡。另一方面，由于政策之间的复杂相互作用（例如，上游更新影响下游状态可达性）。在本文中，我们证明了全局变化的博弈值可以分解为本地化的每个信息集的政策变化，与一个新的术语命名为政策变化密度。在此基础上，我们提出了联合策略搜索（JPS），迭代地提高不完全信息博弈中协作代理的联合策略，而无需重新评估整个博弈。在多智能体协作表格游戏中，JPS被证明永远不会恶化性能，并且可以改善单边方法（例如CFR）提供的解决方案，优于为协作策略学习设计的算法（例如BAD）。此外，对于现实世界的游戏，JPS有一个在线形式，自然与梯度更新链接。我们测试它的合同桥，一个4人的信息游戏，其中一个团队的$2$合作，以对抗其他。在投标阶段，参与者通过有限的信息渠道依次投标以找到一个好的合同。基于一个强大的基线代理，投标竞争性桥梁纯粹通过域不可知的自我发挥，JPS改善了团队球员的合作，并优于WBridge 5，一个冠军获奖软件，通过$+0.63$ IMP（国际匹配点）每板超过1000场比赛，大大优于以前的SoTA（$+0.41$ IMP/b）在双假人评估。
2020-12-06 cs.AI cs.GT cs.LG
Creating a Cooperative AI Policymaking Platform through Open Source Collaboration
Humanity Unleashed（人类释放）
本文提出通过开源协作构建合作式 AI 政策制定平台，整合多模态基础模型、观点征集算法与透明的 AI 网络平台，以改善 AI 治理和公共政策决策。
2024-12-09 cs.AI cs.CY cs.LG
Balancing Immediate Revenue and Future Off-Policy Evaluation in Coupon Allocation
Recruit. Co., Ltd.（瑞克鲁特公司）；Tokyo Institute of Technology（东京工业大学）
针对优惠券分配中即时收益与未来OPE数据收集的冲突，本文提出融合模型化收益策略与随机探索策略的可调混合框架，并将最优混合比建模为多目标优化问题。
2024-09-08 cs.AI cs.LG
Beyond the All-in-One Agent: Benchmarking Role-Specialized Multi-Agent Collaboration in Enterprise Workflows
BAAI（北京人工智能研究院）；CASIA（中国科学院自动化研究所）；UCAS（中国科学技术大学）；Peking University（北京大学）；Tsinghua University（清华大学）
本文提出EntCollabBench，用于评估企业多代理协作，模拟权限隔离组织，包含工作流和审批两个子集，通过执行轨迹、数据库验证和确定性政策裁决评估代理系统，实验表明当前模型在企业协作中仍存在缺陷。
2026-05-09 cs.LG cs.MA
Rethinking Algorithmic Fairness for Human-AI Collaboration
Wharton AI & Analytics Initiative, Wharton School, University of Pennsylvania（沃顿商学院人工智能与分析倡议，沃顿商学院，宾夕法尼亚大学）；Department of Operations, Information, and Decisions, Wharton School, University of Pennsylvania（运营、信息与决策系，沃顿商学院，宾夕法尼亚大学）；Department of Computer and Information Science, University of Pennsylvania（计算机与信息科学系，宾夕法尼亚大学）
本文研究了人机协作中的算法公平性，提出了对人类遵从模式具有鲁棒性的遵从鲁棒公平算法推荐概念及优化策略，并证明传统公平约束可能不适用于改善协作公平性与准确性。
2025-06-29 cs.LG stat.ML
A Human-ML Collaboration Framework for Improving Video Content Reviews
Google（谷歌）
我们处理视频内容调节域中的本地化视频内分类人类注释的问题，其中目标是识别违反粒度策略的视频片段，例如，在线视频平台上的社区指南。高质量的人工标签对于内容审核的执行至关重要。由于信息过载的问题，这是具有挑战性的-评级者需要在有限的审查持续时间内对相对较长的视频应用具有模糊定义的粒度策略违规的大型分类。我们的主要贡献是一种新型的机器学习（ML）协作框架，旨在最大限度地提高人类决策的质量和效率-人类标签用于训练片段级模型，其预测显示为“提示”给人类评分员，指示视频中可能存在特定策略违规的区域。人类验证/校正的片段标签可以帮助进一步优化模型，从而创建人类-ML正反馈循环。实验表明，通过在类似的审查持续时间内提交更细粒度的注释，提高了人类视频审核决策质量和效率，这使得提示生成模型的AUC提高了5-8%。
2022-10-18 cs.LG
New Solutions Based on the Generalized Eigenvalue Problem for the Data Collaboration Analysis
University of Tsukuba（筑波大学）；Institute of Systems and Information Engineering（系统与信息工程研究所）
针对数据协作分析中协作函数优化存在零矩阵解和求解过程难理解的问题，提出基于矩阵分割和广义特征值问题的求解方法，并通过加权与算法选择提升构建效率，实验证明其预测准确度优于现有方法。
2024-04-22 cs.DC cs.LG
Share, Collaborate, Benchmark: Advancing Travel Demand Research through rigorous open-source collaboration
University of California, Berkeley（加州大学伯克利分校）；Global Metropolitan Studies（全球都市研究中心）；Department of Civil and Environmental Engineering（土木与环境工程系）；Department of City and Regional Planning（城市与区域规划系）
针对出行需求研究缺乏统一基准、难以为政策提供参考的问题，本研究构建含五种常用方法的公交需求预测开源协作基础设施，验证了LSTM在疫情动态场景下的性能优势，旨在推动领域开放协作与可复现性。
2024-07-14 cs.LG
Causal Inference for Human-Language Model Collaboration
University of Michigan（密歇根大学）
本文提出增量风格效应（ISE）因果估计量及CausalCollab算法，用于在人类与语言模型协作中估计文本交互策略的因果效应，并在三个场景中验证其减少混杂和提升反事实估计的效果。
2024-03-30 cs.AI cs.CL cs.LG
Consensus Group Relative Policy Optimization for Text Generation
Nara Institute of Science and Technology（奈良科学技术大学）；Advanced Telecommunications Research Institute International（国际电信研究中心）
C-GRPO通过将共识效用作为组相对目标，实现无需黄金参考的文本生成解码，有效提升性能并减少计算开销。
2026-09-07 cs.LG
Online Knowledge Distillation with Reward Guidance
SI-TECH Information Technology（SI-TECH信息技术）
本研究提出一种奖励引导的模仿学习框架，通过最小-最大优化和偏好数据构建，实现大型语言模型的在线知识蒸馏，有效缩小学生与教师策略的性能差距。
2025-05-25 cs.LG
The Boltzmann Policy Distribution: Accounting for Systematic Suboptimality in Human Models
University of California, Berkeley（加州大学伯克利分校）
用于预测和协作的人类行为模型往往分为两类：一类是通过模仿学习从大量数据中学习，另一类是假设人类行为对于某些奖励函数是噪声最优的。前者是非常有用的，但只有当它有可能收集大量的人类数据在目标环境和分布。后一种类型的优势，包括玻尔兹曼理性，是能够在没有大量数据的新环境中做出准确的预测，而人类实际上接近最佳状态。然而，当人类表现出系统次优性时，这些模型就会失败，即当他们与最优行为的偏差不是独立的，而是随着时间的推移而一致时。我们的关键见解是，系统的次优性可以通过预测政策来建模，随着时间的推移，而不是轨迹，耦合行动选择。我们引入了玻尔兹曼策略分布（BPD），它作为人类策略的先验，并通过贝叶斯推理进行调整，通过观察人类在单个事件中的行为来捕获系统偏差。BPD很难计算和表示，因为策略位于高维连续空间中，但我们利用生成和序列模型的工具来实现有效的采样和推理。我们表明，BPD能够预测人类行为和人类-AI协作，以及基于模仿学习的人类模型，同时使用更少的数据。
2022-04-22 cs.AI cs.LG cs.MA
Stochastic convex optimization for provably efficient apprenticeship learning
ETH Zurich（苏黎世联邦理工学院）
我们考虑大规模马尔可夫决策过程（MDP）与未知的成本函数，并采用随机凸优化工具来解决问题的模仿学习，其中包括学习的政策，从一个有限的专家演示。我们采用学徒学习的形式主义，它进行的假设，真正的成本函数可以表示为一些已知的功能的线性组合。现有的逆强化学习算法具有很强的理论保证，但由于它们使用强化学习或规划算法作为子例程，因此计算成本很高。另一方面，最先进的基于策略梯度的算法（如IM-REINFORCE、IM-TRPO和GAIL）在挑战性基准任务中取得了显著的经验成功，但在理论方面还没有得到很好的理解。强调非渐近保证性能，我们提出了一种方法，直接学习的政策，从专家演示，绕过学习成本函数的中间步骤，制定的问题作为一个单一的凸优化问题的占用措施。我们开发了一个计算效率高的算法，并获得高置信度的遗憾界提取的政策的质量，利用随机凸优化和最近的工作，在近似线性规划求解正向MDPs的结果。
2021-12-31 cs.LG math.OC
