Sergey Levine

One Frozen Simulator Is Not Enough: Simulator Collapse in Multi-Agent RL

单个冻结模拟器不够：多智能体强化学习中的模拟器崩溃问题

Simon Yu, Nicholas Tomlin, Marwa Abdulhai, Ximing Lu, Derek Chong, Abe Hou, Dilara Soylu, Sergey Levine, Christopher D. Manning, Weiyan Shi

机构 * Northeastern University（东北大学） ； New York University（纽约大学） ； UC Berkeley（加州大学伯克利分校） ； University of Washington（华盛顿大学） ； Stanford University（斯坦福大学） 纠错

AI总结 针对人机交互多智能体强化学习中单个LLM模拟器导致的策略泛化缺陷，提出Verbalized Sampling和Co-Training两种方案，在多轮基准测试和真实用户研究中显著提升了性能，发布了开源框架SCOPE。

Comments 41 pages, 28 figures

Why Does Action Chunking Improve Behavioral Cloning Performance in Robotic Control?

为何动作分块能提升机器人控制中行为克隆的性能？

Filippo Lazzati, Kyle Stachowicz, William Chen, Alberto Maria Metelli, Andrew Wagenmaker, Sergey Levine

AI总结 该研究揭示动作分块提升机器人控制性能的原因是隐式集成，提出带随机延迟的策略集成可匹配其性能，显式集成策略类在多领域表现更优。

Adapting Generalist Robot Policies with Semantic Reinforcement Learning

基于语义强化学习的通用机器人策略自适应

Jagdeep Singh Bhatia, Andrew Wagenmaker, William Chen, Sergey Levine

机构 * U.C. Berkeley（加州大学伯克利分校） 纠错

AI总结 提出语义动作强化学习（SARL），通过在线交互优化语言提示空间，利用通用策略的预训练技能解决复杂长时任务，显著优于现有方法。

Comments Website: https://semantic-action-rl.github.io/

SC3-Eval: Evaluating Robot Foundation Models via Self-Consistent Video Generation

SC3-Eval: 通过自洽视频生成评估机器人基础模型

Wei-Cheng Tseng, Gashon Hussein, Yuzhu Dong, Allen Z. Ren, Lucy X. Shi, XuDong Wang, Sergey Levine, Zhaoshuo Li, Jinwei Gu, Florian Shkurti, Ming-Yu Liu, Quan Vuong

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； NVIDIA（英伟达） ； Physical Intelligence ； Stanford University（斯坦福大学） ； UC Berkeley（加州大学伯克利分校） ； Allen Institute for AI（艾伦人工智能研究所） 纠错

AI总结 提出SC3-Eval方法，利用前向-反向动力学一致性、跨视角一致性和测试时一致性，将预训练视频基础模型转化为准确的策略评估器，在7个真实世界策略上达到0.929的皮尔逊相关系数。

Learning Process Rewards via Success Visitation Matching for Efficient RL

通过成功访问匹配学习过程奖励以实现高效强化学习

Raymond Tsao, Andrew Wagenmaker, Sergey Levine

机构 * UC Berkeley（加州大学伯克利分校） 纠错

AI总结 针对稀疏奖励导致的信用分配难题，提出通过判别器区分成功/失败轨迹，生成密集过程奖励以匹配成功访问分布，在不改变最优策略下加速机器人控制策略微调。

VIMPO: Value-Implicit Policy Optimization for LLMs

VIMPO: 值隐式策略优化用于大语言模型

Zhewei Kang, Aosong Feng, Sergey Levine, Dawn Song, Xuandong Zhao

机构 * UC Berkeley（加州大学伯克利分校） ； Yale University（耶鲁大学） 纠错

AI总结 提出VIMPO方法，通过KL正则化强化学习的最优条件导出策略隐含值函数，无需训练评论家，实现细粒度信用分配，在数学推理基准上优于GRPO。

Reversal Q-Learning

逆向Q学习

Aditya Oberai, Seohong Park, Sergey Levine

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

AI总结 提出逆向Q学习（RQL）算法，通过扩展MDP框架和逆向流生成虚拟在线轨迹，结合偏差-方差缩减技术，实现基于流策略的离线强化学习，在50个机器人任务中取得最佳平均性能。

Improving Robotic Generalist Policies via Flow Reversal Steering

通过流反转引导改进机器人通用策略

Andy Tang, William Chen, Andrew Wagenmaker, Chelsea Finn, Sergey Levine

机构 * Stanford University（斯坦福大学） ； UC Berkeley（加州大学伯克利分校） 纠错

AI总结 提出流反转引导（FRS）方法，通过逆向流策略找到次优动作的潜在噪声并映射到通用策略的动作模式，提升零样本控制、行为克隆和强化学习效果。

Test-Time Gradient Guidance of Flow Policies in Reinforcement Learning

强化学习中流策略的测试时梯度引导

Zhiyuan Zhou, Andy Peng, Charles Xu, Qiyang Li, Tobias Springenberg, Kevin Frans, Sergey Levine

机构 * UC Berkeley（加州大学伯克利分校） ； Physical Intelligence 纠错

AI总结 提出QGF算法，通过预训练参考流策略和价值函数，在测试时利用价值梯度引导策略生成高价值动作，无需额外策略学习，在离线RL基准上优于现有测试时方法且与训练时方法竞争力相当。