arXivDaily arXiv每日学术速递 周一至周五更新

作者

Sergey Levine

Robotics / Reinforcement Learning

共收录 591 篇
2608.12253 2026-11-18 cs.CL cs.AI cs.LG 版本更新

One Frozen Simulator Is Not Enough: Simulator Collapse in Multi-Agent RL

单个冻结模拟器不够:多智能体强化学习中的模拟器崩溃问题

Simon Yu, Nicholas Tomlin, Marwa Abdulhai, Ximing Lu, Derek Chong, Abe Hou, Dilara Soylu, Sergey Levine, Christopher D. Manning, Weiyan Shi

机构 * Northeastern University(东北大学) ; New York University(纽约大学) ; UC Berkeley(加州大学伯克利分校) ; University of Washington(华盛顿大学) ; Stanford University(斯坦福大学)

AI总结 针对人机交互多智能体强化学习中单个LLM模拟器导致的策略泛化缺陷,提出Verbalized Sampling和Co-Training两种方案,在多轮基准测试和真实用户研究中显著提升了性能,发布了开源框架SCOPE。

Comments 44 pages, 29 figures

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2505.23458 2026-11-13 cs.LG 版本更新

Diffusion Guidance Is a Controllable Policy Improvement Operator

扩散引导是一个可控的策略改进算子

Kevin Frans, Seohong Park, Pieter Abbeel, Sergey Levine

机构 * UC Berkeley(加州大学伯克利分校)

AI总结 本研究推导了策略改进与扩散模型引导之间的直接关系,提出框架CFGRL,通过监督学习训练并在离线RL任务中无需显式学习价值函数即可提升策略性能。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2605.07847 2026-11-09 cs.CL 版本更新

Measuring and Mitigating the Distributional Gap Between Real and Simulated User Behaviors

测量和缓解真实与模拟用户行为之间的分布差距

Shuhaib Mehri, Philippe Laban, Sumuk Shashidhar, Marwa Abdulhai, Sergey Levine, Michel Galley, Dilek Hakkani-Tür

机构 * University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) ; Microsoft Research(微软研究院) ; University of California, Berkeley(加州大学伯克利分校)

AI总结 本文提出了一种方法,系统评估24个基于LLM的用户模拟器在编程和写作任务中的表现,揭示了真实用户行为与模拟行为之间的显著分布差异,并通过组合互补的模拟器来缩小这一差距。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2611.07245 2026-11-06 cs.LG cs.AI 新提交

MAC-v2: Long-horizon model-based value expansion from pixels

MAC-v2:基于像素的长时程基于模型的价值展开

Kwanyoung Park, Sergey Levine

机构 * UC Berkeley(加州大学伯克利分校)

AI总结 该研究提出MAC-v2,通过带动作分块的无重构潜态世界模型,解决基于像素的长时程基于模型的价值展开难题,在多个视觉基准中优于现有离线RL基线。

Comments 9 pages (12 pages of appendix & references), submitted to ICLR 2027

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2611.05266 2026-11-05 cs.LG 版本更新

Stabilizing On-Policy Targeted Guidance in Agentic Reinforcement Learning

在智能体强化学习中稳定基于策略的定向引导

Kevin Frans, Alexander M Rush, Sergey Levine, Pieter Abbeel, Ashvin Nair

机构 * Cursor Research(光标研究机构) ; UC Berkeley(加州大学伯克利分校)

AI总结 本研究针对智能体强化学习中朴素基于策略RL受基础模型能力限制的问题,提出定向引导框架,结合定向自蒸馏与按准则RL奖励,在软件工程环境中稳定训练并改进难优化行为。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2611.05295 2026-11-04 cs.RO cs.LG 新提交

GSBR: Geometric Support Behavior Regularization for Online RL

GSBR:面向在线强化学习的几何支持行为正则化

Charles Xu, Jacob Berg, Liyiming Ke, Sergey Levine

机构 * UC Berkeley(加州大学伯克利分校)

AI总结 本文提出GSBR正则化方法,通过惩罚动作与基础策略支持范围的距离,在保证在线RL样本效率与稳定性的同时,提升机器人任务的平均成功率至95%,且吞吐量优于现有方法。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2611.02160 2026-11-03 cs.LG cs.AI 新提交

Value Forcing: Aligning Return Distributions at All Noise Levels

值强制:在所有噪声水平下对齐回报分布

Chongyi Zheng, Zhiyuan Zhou, Qiyang Li, Benjamin Eysenbach, Sergey Levine

机构 * Princeton University(普林斯顿大学) ; University of California, Berkeley(加州大学伯克利分校)

AI总结 本文提出 Value Forcing,通过流匹配估计回报分布,在离线 RL 的 26 个长视距任务中,VF 和 IVF 算法优于先前方法,数据有限时增益显著。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2603.06082 2026-11-03 cs.AI cs.CE 版本更新

Offline Materials Optimization with CliqueFlowmer

离线材料优化与CliqueFlowmer

Jakub Grudzien Kuba, Benjamin Kurt Miller, Sergey Levine, Pieter Abbeel

机构 * BAIR, UC Berkeley, Berkeley, California, USA(BAIR,加州大学伯克利分校,伯克利,加利福尼亚州,美国) ; FAIR, Meta, San Francisco, California, USA(FAIR,Meta,旧金山,加利福尼亚州,美国)

AI总结 本文提出基于离线模型优化的材料发现方法,结合CliqueFlowmer模型优化目标材料属性,优于生成方法。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2512.04601 2026-11-02 cs.LG cs.CL 版本更新

Natural Language Actor-Critic: Scalable Off-Policy Learning in Language Space

自然语言行为-批评者:在语言空间中可扩展的非策略学习

Joey Hong, Kang Liu, Zhan Ling, Jiecao Chen, Sergey Levine

机构 * University of California, Berkeley(加州大学伯克利分校)

AI总结 本文提出NLAC算法,利用生成式LLM批评者生成自然语言反馈,实现更高效稳定的LLM智能体训练。

Comments NeurIPS 2026; 28 pages, 5 figures

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2610.39054 2026-10-30 cs.RO 新提交

Robotic Data Inoculation

机器人数据接种

Qiyang Li, Zhiyuan Zhou, Charles Xu, Sergey Levine

机构 * UC Berkeley(加州大学伯克利分校)

AI总结 提出数据接种(DI)共享控制框架,通过人类远程操作与残差策略扰动结合收集高覆盖数据,在三项真实机器人任务上提升或匹配行为克隆与离线RL策略的成功率,是有效的数据收集策略。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2606.11087 2026-10-30 cs.LG cs.AI 版本更新

Test-Time Gradient Guidance of Flow Policies in Reinforcement Learning

强化学习中流策略的测试时梯度引导

Zhiyuan Zhou, Andy Peng, Charles Xu, Qiyang Li, Jost Tobias Springenberg, Kevin Frans, Sergey Levine

机构 * UC Berkeley(加州大学伯克利分校) ; Physical Intelligence

AI总结 提出QGF算法,通过预训练参考流策略和价值函数,在测试时利用价值梯度引导策略生成高价值动作,无需额外策略学习,在离线RL基准上优于现有测试时方法且与训练时方法竞争力相当。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2604.01169 2026-10-30 cs.LG cond-mat.mtrl-sci q-bio.BM 版本更新

Bridging the Simulation-to-Experiment Gap with Generative Models using Adversarial Distribution Alignment

利用对抗分布对齐方法通过生成模型弥合仿真与实验之间的差距

Kai Nelson, Tobias Kreiman, Sergey Levine, Aditi S. Krishnapriyan

机构 * University of California, Berkeley(加州大学伯克利分校)

AI总结 本文提出一种数据驱动的分布对齐框架,通过预训练生成模型并将其与实验数据对齐,解决仿真与实验之间的差距问题,验证了其在分子和实验蛋白质数据上的有效性。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2610.24461 2026-10-20 cs.LG 新提交

Measuring Empowerment from Offline Data for Intrinsically Motivated Exploration

基于离线数据的赋能度测量用于内在动机探索

Ishir Garg, Vivek Myers, Qiyang Li, Catherine Ji, Benjamin Eysenbach, Sergey Levine

机构 * UC Berkeley(加州大学伯克利分校) ; Princeton University(普林斯顿大学)

AI总结 本文提出首个无需环境交互、仅从离线未标注数据估计赋能度的方法,联合学习赋能度最大化策略与折扣状态占用度量,可改善在线目标条件强化学习的探索效果。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2610.19783 2026-10-20 cs.LG 版本更新

Reinforcement Learning via Advantage Guidance

基于优势引导的强化学习

Zhiyuan Zhou, Sergey Levine

机构 * UC Berkeley(加州大学伯克利分校)

AI总结 本文提出Advantage Guidance方法,结合监督学习的稳定性与RL的高性能,通过条件训练和对比扩散引导,在26个长视野稀疏奖励任务上优于现有SOTA RL方法。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2610.18838 2026-10-14 cs.LG cs.CV 新提交

Scaling Online Optimal Transport Minibatches for Flow Matching

为流匹配扩展在线最优传输小批量处理

Peter Chen, Sergey Levine

机构 * University of California, Berkeley(加利福尼亚大学伯克利分校)

AI总结 本研究针对流匹配中在线最优传输小批量扩展的计算与理论问题,提出可扩展的在线熵最优传输近似方法,经实验验证可提升流模型训练稳定性与生成性能。

Comments 37 pages

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2610.13002 2026-10-12 cs.AI cs.LG 新提交

Scaling Empowered Agents

赋能型智能体的规模化研究

Catherine Ji, Vivek Myers, Joshua Lin, Alexandra Wingate, Sergey Levine, Benjamin Eysenbach

机构 * Princeton University(普林斯顿大学) ; UC Berkeley(加州大学伯克利分校)

AI总结 本研究阐释技能学习与赋能的关联,提出适用于任意技能学习方法的可扩展赋能最大化方案,实验显示该方案可使智能体在Crafter中涌现建造房屋等特性。

Comments 30 pages, 13 figures

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2610.07796 2026-10-09 cs.LG cs.AI 版本更新

The Geometry of Empowerment

赋权(Empowerment)的几何结构

Catherine Ji, Vivek Myers, Sergey Levine, Benjamin Eysenbach

机构 * Princeton University(普林斯顿大学) ; UC Berkeley(加州大学伯克利分校)

AI总结 本研究通过将赋权最大化与技能学习相结合,提出新的几何框架,解答了赋权与结构性中心性的长期疑问,并区分信息与奖励几何,为可扩展赋权方法奠定理论基础。

Comments 34 pages, 12 figures

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2610.07056 2026-10-07 cs.RO cs.LG 新提交

Behavioral Cloning Mystery

行为克隆之谜

Seohong Park, Sergey Levine

机构 * University of California, Berkeley(加州大学伯克利分校)

AI总结 针对行为克隆在现实中的反直觉现象,提出OCBench基准,通过可控脚本化策略模拟人类示范特性,在受控环境中重现并科学探究这些现象。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2609.07303 2026-09-09 cs.LG 新提交

Long-Horizon Language Model Reinforcement Learning via Progressive Point Matching

通过渐进式点匹配实现长视界语言模型强化学习

Preston Fu, Kevin Frans, Oleh Rybkin, Sergey Levine, Aviral Kumar

机构 * UC Berkeley(加州大学伯克利分校) ; Carnegie Mellon University(卡内基梅隆大学)

AI总结 针对长视界任务中稀疏奖励导致学习缓慢的问题,本文提出无偏的密集奖励方法渐进式点匹配,在片段级奖励部分进展,理论及实验证明其指数级提升效率,并在困难数学推理任务上取得改进。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2511.03032 2026-09-09 cs.LG 版本更新

Leveraging Discrete Function Decomposability for Scientific Design

利用离散函数分解进行科学设计

James C. Bowden, Sergey Levine, Jennifer Listgarten

AI总结 本文提出DADO算法,通过利用设计变量的分解结构,提升离散空间优化效率,用于科学设计问题。

Comments ICLR 2026. This version a) decreases figure resolutions so that pdf loads more quickly, and b) corrects erroneous captioning (95% confidence interval --> 95% interval)

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2608.23831 2026-08-27 cs.RO cs.LG 版本更新

Learning to Act While Waiting: RL Finetuning of Generalist Robot Policies Under Inference Latency

等待时学习行动:考虑推理延迟的通用机器人策略的强化学习微调

Brian Zhu, Momen Khalil, E Harrison, Emanuele Poggi, Philipp Schmitt, Bernd Kast, Philine Meister, Pranav Atreya, Qiyang Li, Finn Ferchau, Cesar Colmenero, Yash Shahapurkar, Gokul Narayanan, Melih Erdogan, Kai Wurm, Georg von Wichert, Oier Mees, Eugen Solowjow, Andrew Wagenmaker, Sergey Levine

机构 * Siemens(西门子) ; UC Berkeley(加州大学伯克利分校) ; Microsoft(微软) ; ETH Zurich(苏黎世联邦理工学院)

AI总结 本研究针对通用机器人策略因推理延迟破坏马尔可夫假设导致标准RL失效的问题,提出ARLI框架,通过状态增强等设计实现延迟下的RL微调,在模拟及真实任务中表现优异。

Comments 25 pages, 12 figures, project website: https://async-rl-intermediate-information.github.io/

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2608.02547 2026-08-04 cs.RO 新提交

Why Does Action Chunking Improve Behavioral Cloning Performance in Robotic Control?

为何动作分块能提升机器人控制中行为克隆的性能?

Filippo Lazzati, Kyle Stachowicz, William Chen, Alberto Maria Metelli, Andrew Wagenmaker, Sergey Levine

AI总结 该研究揭示动作分块提升机器人控制性能的原因是隐式集成,提出带随机延迟的策略集成可匹配其性能,显式集成策略类在多领域表现更优。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2606.31958 2026-07-01 cs.RO 新提交

Adapting Generalist Robot Policies with Semantic Reinforcement Learning

基于语义强化学习的通用机器人策略自适应

Jagdeep Singh Bhatia, Andrew Wagenmaker, William Chen, Sergey Levine

机构 * U.C. Berkeley(加州大学伯克利分校)

AI总结 提出语义动作强化学习(SARL),通过在线交互优化语言提示空间,利用通用策略的预训练技能解决复杂长时任务,显著优于现有方法。

Comments Website: https://semantic-action-rl.github.io/

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2606.18610 2026-06-29 cs.RO cs.CV 新提交

SC3-Eval: Evaluating Robot Foundation Models via Self-Consistent Video Generation

SC3-Eval: 通过自洽视频生成评估机器人基础模型

Wei-Cheng Tseng, Gashon Hussein, Yuzhu Dong, Allen Z. Ren, Lucy X. Shi, XuDong Wang, Sergey Levine, Zhaoshuo Li, Jinwei Gu, Florian Shkurti, Ming-Yu Liu, Quan Vuong

机构 * University of Toronto(多伦多大学) ; Vector Institute(向量研究所) ; NVIDIA(英伟达) ; Physical Intelligence ; Stanford University(斯坦福大学) ; UC Berkeley(加州大学伯克利分校) ; Allen Institute for AI(艾伦人工智能研究所)

AI总结 提出SC3-Eval方法,利用前向-反向动力学一致性、跨视角一致性和测试时一致性,将预训练视频基础模型转化为准确的策略评估器,在7个真实世界策略上达到0.929的皮尔逊相关系数。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2605.03065 2026-06-29 cs.LG cs.RO 版本更新

OGPO: Sample Efficient Full-Finetuning of Generative Control Policies

OGPO:生成控制策略的样本高效全微调

Sarvesh Patil, Mitsuhiko Nakamoto, Manan Agarwal, Shashwat Saxena, Jesse Zhang, Giri Anantharaman, Cleah Winston, Chaoyi Pan, Douglas Chen, Nai-Chieh Huang, Zeynep Temel, Oliver Kroemer, Sergey Levine, Abhishek Gupta, Hongkai Dai, Paarth Shah, Max Simchowitz

机构 * University of California, Berkeley(加州大学伯克利分校) ; UC Berkeley(加州大学伯克利分校)

AI总结 提出OGPO算法,通过离策略评论网络和修改的PPO目标,实现生成控制策略的样本高效微调,在多种操作任务上达到最优性能,并能在无专家数据下微调不良初始化的行为克隆策略。

Comments Website: https://simchowitzlabpublic.github.io/ogpo-site/ Code: https://github.com/simchowitzlabpublic/OGPO_public

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2606.23640 2026-06-23 cs.LG cs.AI cs.RO stat.ML 新提交

Learning Process Rewards via Success Visitation Matching for Efficient RL

通过成功访问匹配学习过程奖励以实现高效强化学习

Raymond Tsao, Andrew Wagenmaker, Sergey Levine

机构 * UC Berkeley(加州大学伯克利分校)

AI总结 针对稀疏奖励导致的信用分配难题,提出通过判别器区分成功/失败轨迹,生成密集过程奖励以匹配成功访问分布,在不改变最优策略下加速机器人控制策略微调。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2606.20008 2026-06-19 cs.LG 新提交

VIMPO: Value-Implicit Policy Optimization for LLMs

VIMPO: 值隐式策略优化用于大语言模型

Zhewei Kang, Aosong Feng, Sergey Levine, Dawn Song, Xuandong Zhao

机构 * UC Berkeley(加州大学伯克利分校) ; Yale University(耶鲁大学)

AI总结 提出VIMPO方法,通过KL正则化强化学习的最优条件导出策略隐含值函数,无需训练评论家,实现细粒度信用分配,在数学推理基准上优于GRPO。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2606.17551 2026-06-17 cs.LG cs.AI 新提交

Reversal Q-Learning

逆向Q学习

Aditya Oberai, Seohong Park, Sergey Levine

机构 * University of California, Berkeley(加州大学伯克利分校)

AI总结 提出逆向Q学习(RQL)算法,通过扩展MDP框架和逆向流生成虚拟在线轨迹,结合偏差-方差缩减技术,实现基于流策略的离线强化学习,在50个机器人任务中取得最佳平均性能。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2606.13675 2026-06-15 cs.RO 新提交

Improving Robotic Generalist Policies via Flow Reversal Steering

通过流反转引导改进机器人通用策略

Andy Tang, William Chen, Andrew Wagenmaker, Chelsea Finn, Sergey Levine

机构 * Stanford University(斯坦福大学) ; UC Berkeley(加州大学伯克利分校)

AI总结 提出流反转引导(FRS)方法,通过逆向流策略找到次优动作的潜在噪声并映射到通用策略的动作模式,提升零样本控制、行为克隆和强化学习效果。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2508.13446 2026-06-10 cs.RO 版本更新

CAST: Counterfactual Labels Improve Instruction Following in Vision-Language-Action Models

CAST: 反事实标签提升视觉-语言-动作模型中的指令跟随能力

Catherine Glossop, William Chen, Arjun Bhorkar, Dhruv Shah, Sergey Levine

机构 * University of California Berkeley(加州大学伯克利分校) ; Princeton University(普林斯顿大学)

AI总结 针对VLA模型难以遵循细粒度指令的问题,提出利用视觉语言模型生成反事实标签增强数据集,提升语言基础多样性,实验表明该方法在导航和操作任务中显著提升指令跟随成功率。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
↑