AT$^2$PO: Agentic Turn-based Policy Optimization via Tree Search
Tencent Inc(腾讯公司);Sun Yat-Sen University(中山大学);Shenzhen MSU-BIT University(深圳MSU-BIT大学)
AT$^2$PO 通过树搜索实现多轮代理强化学习,解决探索多样性、奖励分配和策略优化不一致问题,提升性能达1.84个百分点。
2026-01-08 cs.AI cs.CL
Multi-Turn On-Policy Distillation with Prefix Replay
Microsoft Research(微软研究院);University of Amsterdam(阿姆斯特丹大学)
研究用于智能体任务的在线策略蒸馏,提出重放前缀在线策略蒸馏方法,复用预收集教师轨迹作重放前缀,解决多轮在线策略蒸馏的前缀陷阱问题,提高效率且保持或提升精度。
2026-07-28 cs.AI cs.CL cs.LG
Imitation Learning for Multi-turn LM Agents via On-policy Expert Corrections
UC Berkeley(加州大学伯克利分校);Cornell University(康奈尔大学);Scale AI
本文提出通过在线专家纠正解决多轮LM代理模仿学习中的协变量偏移问题,实验显示在软件工程任务中效果优于传统方法。
2025-12-16 cs.AI cs.LG
Tree-based Dialogue Reinforced Policy Optimization for Red-Teaming Attacks
Georgia Institute of Technology(佐治亚理工学院);Oracle AI;University of Pennsylvania(宾夕法尼亚大学)
本文提出DialTree框架,通过树搜索和强化学习发现多轮攻击策略,提升对抗攻击的成功率
2026-03-09 cs.AI cs.CL cs.LG
Offline Policy Evaluation of Multi-Turn LLM Health Coaching with Real Users
Stevens Institute of Technology(史蒂文斯理工学院)
本研究针对网页端工具增强LLM健康教练开展离线策略评估,发现统一高工具策略有损特定亚群体验,提出加入早期信息增益奖励优化特征识别与任务表现,指明评估先行的个性化优化路径。
2025-10-21 cs.AI cs.CL
Which Experiences Are Influential for Your Agent? Policy Iteration with Turn-over Dropout
本文提出PI+ToD方法,通过在策略迭代中利用流失Dropout来高效估计强化学习中各经验对智能体性能的影响,并在MuJoCo环境中验证了其效率。
2023-05-22 cs.AI cs.LG
Iterative Policy Optimization: Batch-Online Multi-Turn RL via Single-Turn RL
Meta;FAIR at Meta(Meta的FAIR)
本文提出Iterative PPO方法,通过迭代优化多轮对话中的Q函数和策略,实现更稳定的对话生成。
2026-11-09 cs.LG
HiDiffTIR: Hierarchical Difficulty-Aware Policy Optimization for Multi-Turn Tool-Integrated Reasoning
State Key Laboratory of AI Safety(人工智能安全国家重点实验室);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Meituan(美团)
HiDiffTIR是面向多轮工具集成推理的分层难度感知策略优化框架,通过在轨迹和轮次两级执行难度感知信用分配,无需额外监督即可提升工具集成推理性能。
2026-09-02 cs.AI cs.CL
Turning Sand to Gold: Recycling Data to Bridge On-Policy and Off-Policy Learning via Causal Bound
Department of Computer Science Bar-Ilan University(计算机科学系巴伊兰大学)
本文提出一种基于Neyman-Rubin因果框架的新方法,通过存储历史值网络输出建立事实损失因果界,有效利用被丢弃数据,在Atari和MuJoCo上提升奖励比率达383%,并减少96%缓冲区大小。
2025-10-17 cs.AI cs.LG
A$^2$TGPO: Agentic Turn-Group Policy Optimization with Adaptive Turn-level Clipping
Tencent Inc(腾讯公司);The Chinese University of Hong Kong(香港中文大学);Shenzhen MSU-BIT University(深圳MSU-BIT大学)
本文提出A$^2$TGPO,通过自适应回合裁剪和改进的归一化与累积方法,解决强化学习中代理大语言模型的回合级信用分配问题,提升多轮交互中单个工具调用的评估准确性。
2026-05-07 cs.CL
ICPO: Illocution-Calibrated Policy Optimization for Multi-Turn Conversation
Zhejiang University(浙江大学);Binjiang Institute of Zhejiang University(浙江大学滨江学院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);China University of Petroleum (Beijing)(中国石油大学(北京));Guangzhou University(广州大学)
ICPO通过校准模型对指令模糊性的感知,提升多轮对话的鲁棒性和协作性,实现75%的性能提升。
2026-01-20 cs.AI cs.CL
Test-Time Policy Adaptation for Enhanced Multi-Turn Interactions with LLMs
Shenzhen University(深圳大学);Hong Kong University of Science(香港科学大学);Guangdong Laboratory of Artificial Intelligence(广东人工智能与数字经济实验室);University of Science(科学技术大学);Carleton University(卡尔顿大学)
本研究提出测试时策略适应方法,通过用户反馈优化多轮交互策略,提升LLM在长时间对话中的表现。
2026-10-27 cs.CL
The Physics of Multi-Turn Long-Horizon Planning: From Pre-training to Post-training via Single- and Multi-Teacher On-Policy Agentic Distillation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
研究多轮长期规划问题,通过引入统一可控环境,利用预训练、GRPO、OPD及MOPD等方法,研究规划能力在不同阶段的获取、塑造与整合,展示了多教师策略蒸馏对跨环境能力整合的作用。
2026-07-28 cs.AI cs.CL cs.LG
What Does The User Want? Information Gain for Hierarchical Dialogue Policy Optimisation
Heinrich Heine University Düsseldorf(杜塞尔多夫海因里希·海涅大学);University of Cambridge(剑桥大学)
面向任务的对话系统的对话管理组件通常经由强化学习(RL)来优化。通过RL进行优化非常容易受到样本效率低下和不稳定的影响。被称为封建对话管理的分层方法通过分解动作空间向更有效的学习迈出了一步。然而,由于只有在对话结束时才提供奖励,它仍然存在不稳定性。我们建议使用基于信息增益的内在奖励来解决这个问题。我们建议的奖励有利于解决不确定性或在必要时询问用户的行为。它使策略能够学习如何有效地检索用户的需求,这是每个面向任务的对话中不可或缺的一个方面。我们的算法,我们称之为FeudalGain,在PyDial框架的大多数环境中实现了最先进的结果,优于更复杂的方法。我们通过仿真实验和人体试验证实了我们的算法的样本效率和稳定性。
2021-09-15 cs.CL cs.LG
Implicit Turn-Wise Policy Optimization for Proactive User-LLM Interaction
Georgia Institute of Technology(佐治亚理工学院);Meta AI
本文提出隐式回合式策略优化方法,通过隐式过程奖励模型从稀疏结果信号中提取细粒度回合级奖励,提升多轮协作任务的训练稳定性与收敛性。
2026-03-21 cs.LG
RSPO: Reward-Swap Policy Optimization for Multi-Turn LLM Agents
Tencent YouTu Lab(腾讯优图实验室)
研究多轮语言模型智能体训练问题,针对稀疏结果奖励训练收敛慢等问题,提出奖励交换策略优化方法,利用密集过程奖励信息,确保轨迹多样性和目标与真实奖励一致性,提升模型性能。
2026-08-11 cs.AI cs.LG
ATPO: Adaptive Tree Policy Optimization for Multi-Turn Medical Dialogue
University of Science and Technology of China(中国科学技术大学);Qwen Applications Business Group, Alibaba Group(阿里云应用业务部);Zhejiang University(浙江大学)
ATPO通过自适应树策略优化提升多轮医疗对话中的信息获取效率,有效解决不确定性问题,实验表明其在医疗对话任务中表现优异。
2026-02-10 cs.AI cs.LG
PolicyGuard: A Dialogue-Grounded Sub-Agent Verifier for Policy Adherence in LLM Agents
提出PolicyGuard子代理验证器,通过共享对话上下文、策略推理和可操作反馈,在tau²-BENCH航空数据集上使PASS4提升12个百分点,同时误拦率降低约一半。
2026-11-10 cs.AI cs.CL
AgentServeSim: Serving-System Simulation and Policy Search for LLM Agent Programs
University of Central Florida(中佛罗里达大学)
提出AGENTSERVESIM模拟器,通过程序编排器、工具模拟器、会话感知路由器和KV驻留模型等模块,在程序粒度上评估多轮LLM智能体服务策略,在CPU上以6%误差复现真实系统行为。
2026-09-09 cs.AI cs.CL
Same Evidence, Different Answers: Canonical-Context On-Policy Distillation for Multi-Turn Language Models
Zhejiang University(浙江大学);University of Science and Technology of China(中国科学技术大学)
提出规范上下文在线策略蒸馏(CCOPD)方法,通过教师-学生框架对齐模型在完整提示和逐步揭示信息下的行为,减少自我锚定漂移,在多轮数学对话上训练后,在原始分片任务上平均提升32%性能。
2026-10-21 cs.AI cs.CL
EPO: Entropy-regularized Policy Optimization for LLM Agents Reinforcement Learning
EPO通过熵正则化策略优化解决多轮稀疏奖励环境下的探索-利用问题,提升LLM代理性能。
2026-02-10 cs.CL cs.LG
GAGPO: Generalized Advantage Grouped Policy Optimization
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);Meituan(美团)
GAGPO提出一种无需价值模型的强化学习方法,通过分组价值代理和动作重要性比,实现多轮任务中精确的时间信用分配,实验表明其在ALFWorld和WebShop上优于现有基线。
2026-06-15 cs.AI cs.CL cs.LG
SAGE-OPD: Selective Agent-Guided Intervention for Multi-Turn On-Policy Distillation
Meta AI
提出SAGE-OPD框架,通过环境反馈和教师判断选择性干预学生响应,结合置信度加权和损失归一化,解决多轮在策略蒸馏中的错误累积问题,在ALFWorld任务中取得13.3%的相对提升。
2026-06-19 cs.CL
A nearly Blackwell-optimal policy gradient method
University of Queensland(昆士兰大学)
对于连续环境,强化学习(RL)方法通常最大化折扣因子接近1的折扣奖励标准,以近似平均奖励(增益)。然而,这样的标准只考虑长期运行的稳态性能,忽略了瞬态的瞬态行为。在这项工作中,我们开发了一个策略梯度方法,优化增益,然后偏置(这表明了瞬态性能,重要的是能够从具有相等增益的策略中选择)。我们推导出表达式,使采样的偏差和预处理Fisher矩阵的梯度。我们进一步设计了一种算法,解决了增益然后偏置(双电平)优化。其关键成分是RL特定的对数屏障函数。实验结果提供了我们的建议的基本机制的见解。
2022-07-03 cs.AI cs.LG cs.SY
RC-GRPO: Reward-Conditioned Group Relative Policy Optimization for Multi-Turn Tool Calling Agents
New Laboratory of Pattern Recognition (NLPR), State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS), Institute of Automation, Chinese Academy of Sciences(模式识别新实验室、多模态人工智能系统国家重点实验室、自动化研究所,中国科学院);School of Mathematics and Statistics(数学与统计学学院);Statistics, Lanzhou University(统计学,兰州大学);Shanghai Innovation Institute(上海创新研究院);Microsoft Research(微软研究院);Nanjing University(南京大学);Zhongguancun Academy(中关村学院)
RC-GRPO通过奖励条件化策略优化提升多轮工具调用性能,有效解决组内奖励稀疏导致的更新问题。
2026-02-03 cs.AI cs.CL
Reason in Chains, Learn in Trees: Self-Rectification and Grafting for Multi-turn Agent Policy Optimization
Department of Electrical and Computer Engineering, George Washington University(电气与计算机工程系,乔治·华盛顿大学)
本文提出T-STAR框架,通过构建认知树整合轨迹,引入自我校正机制和上下文思维嫁接,提升多轮推理任务中策略优化效果。
2026-04-15 cs.AI cs.LG
Not All Turns Are Equally Hard: Adaptive Thinking Budgets For Efficient Multi-Turn Reasoning in Agents
Carnegie Mellon University(卡内基梅隆大学)
本文提出TAB方法,通过自适应预算分配提升多轮推理效率,在数学推理基准中实现更高的准确率与token节省。
2026-11-17 cs.AI cs.LG
ANO: Robust Policy Optimization via Bounded, Redescending Gain Fields
University of Macau(澳门大学);Wuhan University(武汉大学);National University of Singapore(新加坡国立大学);University of Hong Kong(香港大学)
针对PPO硬裁剪与SPO无界惩罚的稳定性-效率困境,提出ANO方法,直接设计有界再下降增益场,在Atari和MuJoCo上排名第一,且对学习率变化高度稳健。
2026-09-24 cs.AI cs.LG
On Reinforcement Learning for Turn-based Zero-sum Markov Games
MIT(麻省理工学院);Cornell University(康奈尔大学)
研究了两人回合制零和博弈的纳什均衡求解问题。受AlphaGo Zero(AGZ)算法的启发,我们开发了一种基于强化学习的方法。具体来说,我们提出了探索-改进-监督(EIS)方法,结合“探索”,“政策改进”“和“监督学习“,以找到价值函数和政策相关的纳什均衡。我们确定这样的方法的收敛性和正确性的充分条件。对于EIS的一个具体实例,其中随机策略用于“探索”,蒙特卡罗树搜索用于“策略改进”,最近邻用于“监督学习“,我们建立了这种方法找到一个$\varepsilon$ -近似价值函数的纳什均衡在$\widetilde{O}(\varepsilon^{-(d+4)})$步骤时,潜在的状态空间的游戏是连续的和$d$维。这几乎是最优的,因为我们为任何策略建立了$\widetildeΩ(\varepsilon^{-(d+2)})$的下限。
2020-02-25 cs.LG stat.ML
Agentic Policy Optimization via Instruction-Policy Co-Evolution
Language Technology Lab, University of Cambridge(剑桥大学语言技术实验室);Machine Learning Research Group, University of Oxford(牛津大学机器学习研究组)
INSPO通过指令与策略的共演机制,动态优化指令以提升代理在多轮检索和推理任务中的性能,显著优于静态指令基线。
2026-01-31 cs.AI cs.CL cs.LG
One-Way Policy Optimization for Self-Evolving LLMs
Shenzhen Graduate School, Peking University(北京大学深圳研究生院);Dartmouth College(达特茅斯学院);Alibaba(阿里巴巴)
本文提出单向策略优化方法,通过解耦优化方向与更新幅度,解决传统方法中验证器奖励稀疏导致的训练不稳定问题,实现大语言模型的持续自演化。
2026-05-21 cs.AI cs.LG
Is Vanilla Policy Gradient Overlooked? Analyzing Deep Reinforcement Learning for Hanabi
Eindhoven University of Technology(埃因霍温理工大学)
为了增强多智能体协作,我们分析了最近发布的Hanabi基准测试中的几种基于策略的深度强化学习算法。我们的研究提出了一个可能违反直觉的发现,在多代理合作纸牌游戏的简化环境中,Vanilla策略梯度在多个随机种子上优于近端策略优化(PPO)。在我们对这种行为的分析中,我们研究了Hanabi特定的指标,并假设了PPO平台的原因。此外,我们还证明了完美游戏(71回合)和任何游戏(89回合)的最大长度。我们的代码可以在https://github.com/bramgrooten/DeepRL-for-Hanabi上找到
2022-03-22 cs.AI cs.LG cs.MA
Information Gain-based Rollout Policy Optimization: An Adaptive Tree-Structured Rollout Approach for Multi-Turn Search Agents
Shanghai Jiao Tong University(上海交通大学)
研究针对LLM智能体长期搜索任务中展开预算分配不合理问题,提出基于信息增益的展开策略优化(IGRPO),通过按节点信息性分配预算进行树结构展开,并利用诱导教师分布指导策略优化,实验验证该方法在相同预算下优于基线。
2026-10-08 cs.AI
MedDDC-Eval: Diagnosis-Decoupled Evaluation of Multi-Turn Medical Consultation Agents
Baidu, Inc(百度公司)
研究多轮医疗咨询代理评估问题,提出诊断解耦测试平台MedDDC-Eval,通过共享冻结阅读器保持病史到诊断映射不变,能测量诊断有用性等,支持可控归因与策略开发,应用GRPO后训练模型可提升性能。
2026-07-28 cs.AI cs.CL
End-to-End Offline Goal-Oriented Dialog Policy Learning via Policy Gradient
Amazon(亚马逊)
学习面向目标的对话策略通常利用监督学习算法离线执行,或者利用强化学习(RL)在线执行。此外,随着公司积累了大量客户和训练有素的人类代理之间的对话记录,编码器-解码器方法已经流行起来,因为代理话语可以直接被视为监督,而不需要话语级注释。然而,这样的方法的一个潜在的缺点是,他们近视生成下一个代理话语,而不考虑对话级的考虑。为了解决这个问题,本文描述了一种离线RL方法,用于从未注释的语料库中学习,该方法可以在话语和对话级别上优化面向目标的策略。我们引入了一个新的奖励函数,并使用上政策和关闭政策策略梯度离线学习策略,而不需要在线用户交互或显式的状态空间定义。
2017-12-07 cs.AI cs.CL cs.LG
Adaptive Gain Scheduling using Reinforcement Learning for Quadcopter Control
Stanford University(斯坦福大学)
本研究提出用强化学习PPO训练策略以在飞行中调整四旋翼级联反馈控制器增益,经实验验证其相比静态增益控制器可降低40%以上的轨迹跟踪误差。
2024-03-12 cs.LG cs.RO cs.SY
TSPO: Breaking the Double Homogenization Dilemma in Multi-turn Search Policy Optimization
University of Science and Technology of China(中国科学技术大学);Tiansuan Lab, Ant Group Co., Ltd.(天算实验室,蚂蚁集团);Fudan University(复旦大学);East China Normal University(华东师范大学);Central South University(中南大学)
本文提出TSPO方法,通过引入首次出现潜在奖励机制,解决多轮搜索策略优化中的过程均质化和组内均质化问题,提升模型性能。
2026-04-06 cs.AI
IAPO: Influence-Aware Policy Optimization for Credit Assignment in Multi-Turn Service Agents
Fudan University(复旦大学);WeChat, Tencent Inc.(腾讯公司微信业务)
本研究提出IAPO方法,将轨迹转化为影响依赖图以优化多轮服务智能体的信用分配,在三个服务智能体基准及BFCL-v4多轮任务上,性能优于多轮RL基线。
2026-08-27 cs.LG
Measuring Semantic Progress in Multi-turn Dialogue via Information Gain
NTU Singapore(新加坡南洋理工大学);Amazon(亚马逊);Amazon Research, Tübingen, Germany(亚马逊研究院(德国图宾根))
提出基于信息论的信息增益指标,通过高斯嵌入近似量化多轮对话中问题相关的语义进展,无需LLM推理,在多个基准上取得与人类判断一致的结果。
2026-06-11 cs.CL cs.LG
In-the-Flow Agentic System Optimization for Effective Planning and Tool Use
Stanford University(斯坦福大学);Texas A&M University(德克萨斯农工大学);UC San Diego(圣地亚哥大学);Lambda Website(Lambda网站)
研究针对大语言模型中工具增强方法的不足,提出可训练的流内智能体框架AgentFlow及Flow-GRPO训练方法,通过协调模块优化规划器,在多基准测试中表现优异,展现流内优化优势。
2026-07-23 cs.AI cs.CL cs.LG
Dual-Loop Self-Evolution via Verifiable Emotion Feedback for Multi-Turn Empathetic Dialogue
该研究针对大语言模型共情能力不足问题,提出双循环自演化框架,在SAGE数据集上显著提升Qwen3-8B的共情对话性能,优于对比方法。
2026-08-12 cs.CL
On Semi-Markov Suboptimality in Hierarchical Reinforcement Learning
本文识别分层强化学习中执行与策略次优性,提出统一价值函数和广义贝尔曼方程,实现独立执行选择与改进,实验验证互补收益。
2026-10-06 cs.AI cs.LG
Gold Seeker: Information Gain from Policy Distributions for Goal-oriented Vision-and-Langauge Reasoning
Australian Institute for Machine Learning(澳大利亚机器学习研究所);The University of Adelaide(阿德莱德大学);Fugro Australia Marine(辉固澳大利亚海事公司)
随着计算机视觉从被动的像素分析转向主动的语义分析,需要进行推理的信息算法的广度已经显著扩展。在这种情况下,一个关键的挑战是能够识别所需的信息,作出决定,并选择一个行动,将恢复it.We提出了一个学习的方法,保持分布在其内部信息,从而明确表示的模糊性,它知道什么,需要知道,实现其目标。然后根据该分布生成潜在的动作。对于每个潜在的行动,计算预期结果的分布,并评估潜在信息增益的价值。所采取的行动是使潜在的信息增益最大化。我们证明了这种方法适用于两个视觉和语言的问题,吸引了显着的最近的兴趣,视觉对话和视觉查询生成。在这两种情况下,该方法积极选择最能减少其内部不确定性的行动,并在实现挑战目标方面优于竞争对手。
2020-03-30 cs.LG stat.ML
Turn-PPO: Turn-Level Advantage Estimation with PPO for Improved Multi-Turn RL in Agentic LLMs
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Amazon(亚马逊)
本研究提出turn-PPO,通过回合级MDP公式化提升多回合强化学习在代理语言模型中的表现,验证其在WebShop和Sokoban数据集上的有效性。
2026-01-23 cs.LG
InfoPO: Information-Driven Policy Optimization for User-Centric Agents
Peking University(北京大学);The Hong Kong University of Science(香港科学大学)
针对多轮交互中信用分配和优势信号不足的问题,提出信息增益奖励与自适应方差门控融合的InfoPO方法,在意图澄清、协作编码等任务上优于现有基线。
2026-06-18 cs.AI
Don't Let Gains FADE: Breaking Down Policy Gradient Weights in RL
FAIR at Meta(Meta FAIR);Inria, Ecole Normale Supérieure(法国国家信息与自动化研究所,巴黎高等师范学院);University of California, San Diego(加利福尼亚大学圣迭戈分校)
提出FADE方法,通过动态调整优势函数的正负和难度权重,解决RL训练不稳定和多样性崩溃问题,在7B和32B模型上分别提前20k和2k步达到最佳pass@1。
2026-07-03 cs.AI cs.LG
ECHO: Prune To Act, Trace To Learn With Selective Turn Memory In Agentic RL
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Baidu Inc.(百度公司);University of Science and Technology of China(中国科学技术大学)
提出ECHO框架,通过选择性回合记忆和源索引重建解决长程智能体强化学习中的历史崩溃与可追踪学习问题,在BrowseComp-Plus上达到43.4%准确率,优于GRPO和SUPO。
2026-08-04 cs.AI cs.LG
Why Summaries Turn Neutral: Policy Attribution for Sentiment Drift in Reinforcement Learning from Human Feedback
Instituto Politécnico Nacional (IPN)(墨西哥国立理工学院);Centro de Investigación en Computación (CIC)(计算机研究中心)
本文针对RLHF引发摘要情感漂移的问题,提出Policy Attribution框架溯源漂移来源,验证了跨语言漂移特性,并提出感知情感的正则化技术以降低漂移,且相关代码将公开。
2026-08-18 cs.CL
PROBE: Learning to Audit Policy Compliance in Tool-Using LLM Agents
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对现有智能体评估未测试策略合规性的缺口,提出PROBE算法训练审计员,通过多轮工具介导对话探测违规,实验显示其能发现更多违规,为自动化策略审计提供可扩展路径。
2026-10-16 cs.AI
Extreme Region Policy Distillation
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学耿丽人工智能学院);Wuhan University(武汉大学)
提出极端区域策略蒸馏(ERPD)两阶段框架,通过解耦样本效率与KL效率,在固定数据上先进行弱约束离策略优化以最大化提取训练信号,再在信任区域约束下蒸馏到基础策略,从而在数学推理任务中实现更好的性能与更小的KL散度。
2026-06-04 cs.AI cs.LG
Turning Safety into Competence: Minimally Exploitable Robot Policies via Safety-Filtered Reinforcement Learning
Johns Hopkins University(约翰霍普金斯大学);Princeton University(普林斯顿大学)
针对竞争性任务中机器人策略易被利用的问题,提出S2C两阶段框架,分离安全综合与任务学习,通过对抗性RL学习安全过滤器,在模拟和硬件测试中优于八个基线,实现高胜率与低可利用性。
2026-09-24 cs.AI cs.LG cs.RO
Fourier Policy Gradients
University of Oxford(牛津大学)
我们提出了一种为强化学习推导策略梯度更新的新方法。我们的技术,基于傅立叶分析,重铸积分出现预期的策略梯度卷积,并把它们变成乘法。所获得的分析解决方案使我们能够在广泛的设置中捕获EPG的低方差优势。对于批评者,我们对待三角和径向基函数,两个函数的家庭与普遍的逼近性质。策略的选择几乎可以是任意的,包括混合或混合连续-离散概率分布。此外,我们推导出一个一般家庭的基于样本的估计随机策略梯度,统一现有的结果基于样本的近似。我们相信,这种技术有潜力塑造下一代的策略梯度方法,由分析结果提供动力。
2018-05-30 cs.AI cs.LG
MAIGO: Mitigating Lost-in-Conversation with History-Cleaned On-Policy Self-Distillation
Zhejiang University(浙江大学);Shanghai AI Laboratory(上海人工智能实验室);Huazhong University of Science and Technology(华中科技大学);Fuzhou University(福州大学);Tencent(腾讯)
针对大语言模型在多轮对话中性能下降(对话丢失)的问题,提出MAIGO方法,通过在线策略自蒸馏和清理历史助手回复来减少自污染,无需验证器或推理时辅助,显著提升多轮对话准确性。
2026-09-01 cs.CL
One More Turn, Less Regret: A Regret-Based Multi-Turn Benchmark for LLMs' Clarification Policies
MBZUAI(穆罕默德·本·扎耶德人工智能大学);BKAI Research Center, Hanoi University of Science and Technology(河内科技大学BKAI研究中心);INSAIT, Sofia University "St. Kliment Ohridski"(索非亚大学“圣克莱门特·奥赫里德斯基”INSAIT)
研究对话式大语言模型助手在模糊用户请求下的澄清决策问题,核心方法是引入RegretBench基准测试,贡献为揭示模型澄清的有效性和效率,表明有效澄清需在正确时间问对问题并适时停止。
2026-07-27 cs.AI cs.CL