作者
Robotics / Reinforcement Learning
单个冻结模拟器不够：多智能体强化学习中的模拟器崩溃问题
机构 * Northeastern University（东北大学） ； New York University（纽约大学） ； UC Berkeley（加州大学伯克利分校） ； University of Washington（华盛顿大学） ； Stanford University（斯坦福大学）
AI总结 针对人机交互多智能体强化学习中单个LLM模拟器导致的策略泛化缺陷，提出Verbalized Sampling和Co-Training两种方案，在多轮基准测试和真实用户研究中显著提升了性能，发布了开源框架SCOPE。
Comments 41 pages, 28 figures
为何动作分块能提升机器人控制中行为克隆的性能？
AI总结 该研究揭示动作分块提升机器人控制性能的原因是隐式集成，提出带随机延迟的策略集成可匹配其性能，显式集成策略类在多领域表现更优。
基于语义强化学习的通用机器人策略自适应
机构 * U.C. Berkeley（加州大学伯克利分校）
AI总结 提出语义动作强化学习（SARL），通过在线交互优化语言提示空间，利用通用策略的预训练技能解决复杂长时任务，显著优于现有方法。
Comments Website: https://semantic-action-rl.github.io/
SC3-Eval: 通过自洽视频生成评估机器人基础模型
机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； NVIDIA（英伟达） ； Physical Intelligence ； Stanford University（斯坦福大学） ； UC Berkeley（加州大学伯克利分校） ； Allen Institute for AI（艾伦人工智能研究所）
AI总结 提出SC3-Eval方法，利用前向-反向动力学一致性、跨视角一致性和测试时一致性，将预训练视频基础模型转化为准确的策略评估器，在7个真实世界策略上达到0.929的皮尔逊相关系数。
OGPO：生成控制策略的样本高效全微调
机构 * University of California, Berkeley（加州大学伯克利分校） ； UC Berkeley（加州大学伯克利分校）
AI总结 提出OGPO算法，通过离策略评论网络和修改的PPO目标，实现生成控制策略的样本高效微调，在多种操作任务上达到最优性能，并能在无专家数据下微调不良初始化的行为克隆策略。
Comments Website: https://simchowitzlabpublic.github.io/ogpo-site/ Code: https://github.com/simchowitzlabpublic/OGPO_public
通过成功访问匹配学习过程奖励以实现高效强化学习
机构 * UC Berkeley（加州大学伯克利分校）
AI总结 针对稀疏奖励导致的信用分配难题，提出通过判别器区分成功/失败轨迹，生成密集过程奖励以匹配成功访问分布，在不改变最优策略下加速机器人控制策略微调。
VIMPO: 值隐式策略优化用于大语言模型
机构 * UC Berkeley（加州大学伯克利分校） ； Yale University（耶鲁大学）
AI总结 提出VIMPO方法，通过KL正则化强化学习的最优条件导出策略隐含值函数，无需训练评论家，实现细粒度信用分配，在数学推理基准上优于GRPO。
逆向Q学习
机构 * University of California, Berkeley（加州大学伯克利分校）
AI总结 提出逆向Q学习（RQL）算法，通过扩展MDP框架和逆向流生成虚拟在线轨迹，结合偏差-方差缩减技术，实现基于流策略的离线强化学习，在50个机器人任务中取得最佳平均性能。
通过流反转引导改进机器人通用策略
机构 * Stanford University（斯坦福大学） ； UC Berkeley（加州大学伯克利分校）
AI总结 提出流反转引导（FRS）方法，通过逆向流策略找到次优动作的潜在噪声并映射到通用策略的动作模式，提升零样本控制、行为克隆和强化学习效果。
强化学习中流策略的测试时梯度引导
机构 * UC Berkeley（加州大学伯克利分校） ； Physical Intelligence
AI总结 提出QGF算法，通过预训练参考流策略和价值函数，在测试时利用价值梯度引导策略生成高价值动作，无需额外策略学习，在离线RL基准上优于现有测试时方法且与训练时方法竞争力相当。
CAST: 反事实标签提升视觉-语言-动作模型中的指令跟随能力
机构 * University of California Berkeley（加州大学伯克利分校） ； Princeton University（普林斯顿大学）
AI总结 针对VLA模型难以遵循细粒度指令的问题，提出利用视觉语言模型生成反事实标签增强数据集，提升语言基础多样性，实验表明该方法在导航和操作任务中显著提升指令跟随成功率。
利用广义优势估计进行高维连续控制
机构 * Department of Electrical Engineering and Computer Science（电气工程与计算机科学系） ； University of California, Berkeley（加州大学伯克利分校）
AI总结 本文提出了一种基于广义优势估计的方法，通过减少策略梯度估计的方差来解决高维连续控制中的样本需求问题，并通过信任区域优化提高稳定性和收敛性，从而在复杂的3D运动任务中实现了高效的政策学习。
MBMF：基于模型的先验用于无模型强化学习
AI总结 本文提出一种结合模型与无模型强化学习的方法，通过学习概率动力学模型作为先验，提升数据效率和成本效益。
Comments After we submitted the paper for consideration in CoRL 2017 we found a paper published in the recent past with a similar method (see related work for a discussion). Considering the similarities between the two papers, we have decided to retract our paper from CoRL 2017
通过贝叶斯优化的目标驱动动力学学习
AI总结 本文提出通过贝叶斯优化主动学习框架，迭代学习局部线性动力学模型以提升控制性能，用于四旋翼无人机任务控制。
Comments This is the extended version of the CDC'17 paper titled "Goal-Driven Dynamics Learning via Bayesian Optimization."
从经验与模仿中学习灵巧操作策略
AI总结 本文研究了通过经验与模仿学习反馈控制灵巧五指手非抓取操作的任务，提出基于轨迹优化的局部控制器，并通过深度学习和最近邻方法进行泛化，展示了小数据训练下的有效性和盲操作优势。
Comments Initial draft for a journal submission
基于模型的连续深度Q学习加速
AI总结 本文提出连续深度Q学习算法NAF及基于模型的加速方法，用于提升连续控制任务的样本效率和学习速度。
探索深度和循环架构以实现最优控制
AI总结 本文探讨了将深度和循环神经网络应用于连续高维运动控制任务，通过强化学习算法训练控制器，比较不同架构的性能，并讨论深度学习在最优控制中的应用前景。
Comments Appears in the Neural Information Processing Systems (NIPS 2013) Workshop on Deep Learning
具有伴随匹配的Q学习
机构 * UC Berkeley（加州大学伯克利分校）
AI总结 本文提出了一种基于时序差分的强化学习算法QAM，解决了连续动作强化学习中的长期挑战：高效优化表达性强的扩散或流匹配策略相对于参数化的Q函数。通过利用批评者的首阶信息进行有效优化，但直接通过反向传播其多步去噪过程进行梯度优化在数值上不稳定。现有方法通过仅使用价值和丢弃梯度信息或依赖近似方法牺牲策略的表达性或偏置学习策略。QAM通过利用生成建模中最近提出的技术伴随匹配，将批评者的动作梯度转换为逐步目标函数，避免了不稳定反向传播，同时在最优时提供无偏且表达性强的策略。结合时序差分备份进行批评者学习，QAM在离线和离线到在线强化学习的硬稀疏奖励任务中一致优于先前方法。
Comments 32 pages, 8 figures, 7 tables
无需外部奖励的学习推理
机构 * UC Berkeley（加州大学伯克利分校） ； Yale University（耶鲁大学）
AI总结 本文提出Intuitor方法，通过内在反馈实现无需外部奖励的自主学习，实验表明其在数学基准和代码生成等任务中表现优异，为无监督学习提供了新途径。
Comments ICLR 2026
意图条件流占用模型
机构 * Princeton University（普林斯顿大学） ； University of California, Berkeley（加州大学伯克利分校）
AI总结 本文提出意图条件流占用模型（InFOM），通过引入用户意图的隐变量，提升模型对长期依赖的建模能力，在36个状态基和4个图像基基准任务中实现回报提升1.8倍和成功率提升36%。
Comments ICLR 2026
基于动作分块的强化学习
机构 * UC Berkeley（伯克利大学）
AI总结 本文提出Q-chunking方法，通过动作分块技术提升长周期稀疏奖励任务的强化学习效率，实现离线到在线学习的样本效率优化。
Comments The Thirty-Ninth Annual Conference on Neural Information Processing Systems (NeurIPS 2025); 29 pages, 17 figures
测量和缓解真实与模拟用户行为之间的分布差距
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Microsoft Research（微软研究院） ； University of California, Berkeley（加州大学伯克利分校）
AI总结 本文提出了一种方法，系统评估24个基于LLM的用户模拟器在编程和写作任务中的表现，揭示了真实用户行为与模拟行为之间的显著分布差异，并通过组合互补的模拟器来缩小这一差距。
RL Token: 通过视觉-语言-动作模型实现在线强化学习的启动
AI总结 本文提出RL Token方法，通过轻量级在线强化学习微调预训练的视觉-语言-动作模型，提升真实任务的精度与速度，实验证明在四个真实机器人任务中显著提高任务效率和成功率。
$π_{0.7}$: 一种可定向的通用机器人基础模型与涌现能力
机构 * Physical Intelligence
AI总结 $π_{0.7}$通过多样化的上下文条件训练，实现跨环境任务执行与零样本泛化，支持多阶段任务和复杂操作，如咖啡机操作，性能媲美专门强化学习微调模型。
Comments Website: https://www.pi.website/blog/pi07
离线材料优化与CliqueFlowmer
机构 * BAIR, UC Berkeley, Berkeley, California, USA（BAIR，加州大学伯克利分校，伯克利，加利福尼亚州，美国） ； FAIR, Meta, San Francisco, California, USA（FAIR，Meta，旧金山，加利福尼亚州，美国）
AI总结 本文提出基于离线模型优化的材料发现方法，结合CliqueFlowmer模型优化目标材料属性，优于生成方法。
可调节的视觉-语言-动作策略用于具身推理和分层控制
AI总结 本文提出可调节策略，通过训练在丰富合成命令上的视觉-语言-动作模型，提升低层可控性，解锁预训练VLM知识，改进任务泛化能力。
利用对抗分布对齐方法通过生成模型弥合仿真与实验之间的差距
机构 * University of California, Berkeley（加州大学伯克利分校）
AI总结 本文提出一种数据驱动的分布对齐框架，通过预训练生成模型并将其与实验数据对齐，解决仿真与实验之间的差距问题，验证了其在分子和实验蛋白质数据上的有效性。
Cliqueformer: 基于结构变换器的模型优化
AI总结 Cliqueformer通过功能图模型学习黑盒函数结构，提升模型优化性能，适用于蛋白质工程和材料发现等设计任务。
MEM：多尺度具身记忆用于视觉语言动作模型
AI总结 MEM通过结合多模态记忆实现长期视觉语言动作任务的高效执行与适应性策略调整。
Comments Website: https://pi.website/research/memory
通过参数合并实现视觉-语言-动作机器人策略的鲁棒微调
机构 * UC Berkeley（伯克利大学）
AI总结 通过参数合并实现视觉-语言-动作机器人策略的鲁棒微调，使策略在保持泛化能力的同时有效学习新技能。
Journal ref The Fourteenth International Conference on Learning Representations 2026
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈