arXivDaily arXiv每日学术速递 周一至周五更新

作者

Jitendra Malik

Computer Vision

共收录 260 篇
2611.22001 2026-11-18 cs.RO 新提交

DreamFAR: Real-Time and Long-Horizon Interaction with Diverse Objects

DreamFAR:与多样物体的实时长程交互

Yiming Dou, Botao He, Antonio Loquercio, Andrew Owens, Jitendra Malik, Sumedh Anand Sontakke, Ruoshi Liu

机构 * Amazon FAR(亚马逊FAR) ; Cornell University(康奈尔大学) ; University of Maryland, College Park(马里兰大学帕克分校) ; University of Pennsylvania(宾夕法尼亚大学)

AI总结 DreamFAR是一种在机器人原生遥操作数据集上训练的世界模型,体积小、运行快,在长程未来预测上优于现有模型,可用于策略评估等场景。

Comments Project page: https://www.yimingdou.com/DreamFAR/

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2611.17442 2026-11-17 cs.RO cs.AI cs.CV cs.LG 版本更新

Racing the Clock: Teaching VLNs Budget-Conditioned Object Search

与时间赛跑:教视觉语言导航模型进行预算约束的目标搜索

Maitree Meher, Siming He, S. Shankar Sastry, Jitendra Malik, Claire Tomlin, Jonas Frey

机构 * University of California, Berkeley(加州大学伯克利分校) ; Stanford University(斯坦福大学)

AI总结 该研究针对VLN模型,提出预算约束目标搜索任务,对比TSP与Bellman专家的监督效果,发现Bellman监督的VLN在HM3D场景中探索表现更优。

Comments 12 pages, 4 figures, 3 tables

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2611.08407 2026-11-06 cs.RO cs.CV cs.LG 新提交

Social Humanoid: Socially Responsive Human-Humanoid Interaction

社交人形机器人:社交响应式人机交互

Vongani H. Maluleke, James Ni, Kie Horiuchi, Lea Wilken, Jiahui Lei, Evonne Ng, Roei Herzig, Jitendra Malik, Trevor Darrell, Angjoo Kanazawa

机构 * UC Berkeley(加州大学伯克利分校) ; Sony Group Corporation(索尼集团公司) ; Meta

AI总结 针对人形机器人无法与人类伙伴协作的问题,提出Social Humanoid分层系统,通过两阶段自适应重定向程序构建HHI基准,实现了人机协调的社交响应式运动。

Comments CoRL 2026, Project page: https://von31.github.io/social-humanoid/

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2603.03280 2026-11-03 cs.RO cs.AI cs.CV cs.LG cs.SY eess.SY 版本更新

How to Peel with a Knife: Aligning Fine-Grained Manipulation with Human Preference

如何用刀剥皮:将细粒度操作与人类偏好对齐

Toru Lin, Shuying Deng, Zhao-Heng Yin, Pieter Abbeel, Jitendra Malik

机构 * University of California, Berkeley(加州大学伯克利分校)

AI总结 本文提出了一种通过剥皮任务学习细粒度操作与人类偏好的对齐方法,通过两阶段策略优化实现高成功率和泛化能力。

Comments Project page can be found at https://toruowo.github.io/peel

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2610.36539 2026-10-28 cs.RO 新提交

CARD: Contact-Anchored Retargeting for Dexterous Manipulation

CARD:用于灵巧操作的接触锚定重定向

Cunxi Dai, Botao He, Francois R Hogan, Wei Pan, Rao Fu, Wen-Han Hsieh, Ruoshi Liu, Jitendra Malik, Guanya Shi, Akash Sharma

机构 * Carnegie Mellon University(卡内基梅隆大学) ; Amazon Frontier AI & Robotics (FAR)(亚马逊前沿人工智能与机器人(FAR)) ; University of Maryland, College Park(马里兰大学学院公园分校) ; UC Berkeley(加州大学伯克利分校)

AI总结 本文提出CARD框架,通过显式保留接触力目标实现人类演示到机器人动作的重定向,结合Vid-HACO模型与触觉跟踪控制器,显著提升接触维持率与任务成功率。

Comments Project webpage: https://card-retargeting.github.io/

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2610.22340 2026-10-27 cs.RO cs.AI 版本更新

PlayPolicy: Dexterity from Supervised Play

从监督式玩耍中获取灵巧性

Botao He, Yiming Dou, Yiannis Aloimonos, Jitendra Malik, Akash Sharma, Ruoshi Liu

机构 * Amazon Frontier AI & Robotics (FAR)(亚马逊前沿人工智能与机器人部门(FAR)) ; University of Maryland, College Park(马里兰大学帕克分校)

AI总结 该研究提出DSP框架,通过人类监督玩耍学习策略,自主收集数据训练世界模型,结合MPC与自玩蒸馏策略,在真实世界欠驱动推压等任务中,性能优于事后行为克隆且数据量远少于强化学习。

Comments Project page: https://play-policy.github.io/

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
1808.10654 2026-10-21 cs.AI cs.CV cs.GR cs.LG cs.RO 版本更新

Gibson Env: Real-World Perception for Embodied Agents

Gibson环境:具身智能体的真实世界感知

Fei Xia, Amir Zamir, Zhi-Yang He, Alexander Sax, Jitendra Malik, Silvio Savarese

机构 * Stanford University(斯坦福大学) ; University of California, Berkeley(加州大学伯克利分校)

AI总结 针对主动智能体真实世界感知开发难题,提出基于真实空间虚拟化的Gibson虚拟环境,其含1400余楼层空间,带Goggles机制,可直接部署模型,还具备具身化特性。

Comments Access the code, dataset, and project website at http://gibsonenv.stanford.edu/ . CVPR 2018 (spotlight)

Journal ref CVPR 2018

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
1804.08328 2026-10-21 cs.CV cs.AI cs.LG cs.NE cs.RO 版本更新

Taskonomy: Disentangling Task Transfer Learning

任务组学:解耦任务迁移学习

Amir Zamir, Alexander Sax, William Shen, Leonidas Guibas, Jitendra Malik, Silvio Savarese

机构 * Stanford University(斯坦福大学) ; University of California, Berkeley(加利福尼亚大学伯克利分校)

AI总结 该研究提出Taskonomy方法,建模26种视觉任务的迁移依赖关系得到分类图谱,可减少2/3标注数据量,为设计监督策略提供工具。

Comments CVPR 2018 (best paper). See project website and live demos at http://taskonomy.stanford.edu/

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2610.17161 2026-10-14 cs.RO cs.AI 新提交

Force-Modulated Dexterity: Unified Compliance for Contact-Rich Manipulation

力调制灵巧性:面向接触丰富型操作的统一柔顺性

Ying Yuan, David Held, Jitendra Malik, Haozhi Qi

机构 * Amazon FAR(亚马逊FAR) ; Carnegie Mellon University(卡内基梅隆大学)

AI总结 针对远程操作中接触力调整困难的问题,提出FOMO-Dex统一柔顺性方法,在多类接触操作任务中降低过度接触力,提升演示数据质量与机器人操作策略性能。

Comments Project page: https://yingyuan0414.github.io/fomo-dex/

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2610.03710 2026-10-05 cs.RO cs.AI 新提交

EyeRobot 2.0: Active Gaze for Precise Manipulation without Wrist Cameras

EyeRobot 2.0:无腕部相机的主动注视精确操控

Kush Hari, Justin Kerr, Nidhya Shivakumar, Samarth Mahapatra, Carmelo Sferrazza, Jiahui Lei, Jitendra Malik, C. Karen Liu, Ken Goldberg, Angjoo Kanazawa

机构 * Amazon FAR(亚马逊FAR) ; UC Berkeley(加州大学伯克利分校) ; Stanford University(斯坦福大学)

AI总结 EyeRobot 2.0提出主动注视框架,仅用单立体相机实现精细双手操控,通过分层强化学习训练注视伺服与目标选择,在真实和模拟任务中显著超越被动立体视觉,并匹配或超越腕部相机策略。

Comments Project Page: https://eyerobot2.github.io/

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2609.38172 2026-09-30 cs.RO cs.CV cs.GR 新提交

Counterfactual Video Generation Enables Scalable Humanoid Loco-Manipulation

反事实视频生成实现可扩展的人形机器人移动操作

Zihan Wang, Zhen Wu, Pieter Abbeel, Rocky Duan, Jitendra Malik, Carmelo Sferrazza, C. Karen Liu, Guanya Shi, Angjoo Kanazawa

机构 * Amazon FAR(亚马逊FAR) ; UC Berkeley(加州大学伯克利分校) ; Carnegie Mellon University(卡内基梅隆大学) ; Stanford(斯坦福大学)

AI总结 提出PRISM框架,通过反事实视频生成和接触锚定仿真重建,从少量真实视频扩展训练数据,实现无需真实微调的人形机器人移动操作泛化。

Comments published at CoRL 2026. Project page: https://prism-real2sim2real.github.io/

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2609.38079 2026-09-30 cs.CV 新提交

OmniTaskonomy: When Does Visual Generation Improve Visual Understanding?

OmniTaskonomy:视觉生成何时提升视觉理解?

Jiaxin Ge, Yiming Qin, Ji Xie, Haozhe Jiang, Xiaochuang Han, Junyi Zhang, Andrew Dai, Yinfei Yang, Jitendra Malik, Ranjay Krishna, Sewon Min, Haiwen Feng, Le Xue, Baifeng Shi, Trevor Darrell, XuDong Wang

机构 * University of California, Berkeley(加州大学伯克利分校) ; Duke University(杜克大学) ; Carnegie Mellon University(卡内基梅隆大学) ; University of Washington(华盛顿大学) ; Elorian ; Impossible Research

AI总结 本研究通过OmniTaskonomy分类体系系统探究视觉生成监督对视觉理解的影响,发现特定生成任务能选择性提升对应理解能力,且梯度对齐程度与迁移增益正相关,为视觉理解训练提供指导。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2609.28660 2026-09-29 cs.RO 版本更新

Morphometric Imitation: From Morphology and Contact Aware Hand Retargeting to Sim-to-Real Visuomotor Policy

形态度量模仿:从形态与接触感知的手部重定向到仿真到现实视觉运动策略

Tara Sadjadpour, Siming He, C. K. Wolfe, Haozhi Qi, Lea Wilken, S. Shankar Sastry, Claire Tomlin, Jitendra Malik

机构 * University of California, Berkeley(加州大学伯克利分校)

AI总结 提出形态度量模仿框架,通过形态优化、残差强化学习和策略蒸馏,将人手交互示范转化为零样本仿真到现实的视觉运动策略,显著提升接触精度和真实世界成功率。

Comments 24 pages, 10 figures

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2511.09484 2026-09-29 cs.RO cs.CV 版本更新

SPIDER: Scalable Physics-Informed Dexterous Retargeting

SPIDER:可扩展的物理引导的灵活重新定位

Chaoyi Pan, Changhao Wang, Haozhi Qi, Julen Urain, Zixi Liu, Homanga Bharadhwaj, Akash Sharma, Tingfan Wu, Guanya Shi, Jitendra Malik, Francois Hogan

机构 * FAIR at Meta(Meta 的 FAIR) ; Carnegie Mellon University(卡内基梅隆大学)

AI总结 SPIDER 是一种基于物理的重新定位框架,通过大规模物理采样和课程式虚拟接触指导,将人类运动数据转化为动态可行的机器人轨迹,提升策略学习效率。

Comments Project website: https://jc-bao.github.io/spider-project/

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2609.24487 2026-09-22 cs.CV cs.AI 新提交

AgentSTAR: Agentic Shape Tracking and Reconstruction from Monocular Videos

AgentSTAR:从单目视频进行智能体式形状重建与跟踪

Kirill Mazur, Nikita Karaev, Matthew Chang, Jitendra Malik, Nur Muhammad "Mahi'' Shafiullah

机构 * Amazon FAR (Frontier AI and Robotics)(亚马逊前沿人工智能与机器人部门)

AI总结 本文提出AgentSTAR方法,利用视觉-语言模型智能体通过分析-合成循环从单目视频重建和跟踪物体形状与位姿,在ARCTIC和HOT3D数据集上超越现有基线。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2609.21400 2026-09-21 cs.CV cs.RO 新提交

A Scene Language Model for Open-Vocabulary Scene Mapping

场景语言模型用于开放词汇场景映射

Adam Lilja, Fabio Hübel, Siming He, Junsheng Fu, Claire Tomlin, Lars Hammarstrand, Jitendra Malik, Jonas Frey, Marco Pavone

机构 * Chalmers(查尔姆斯理工大学) ; Zenseact ; Stanford(斯坦福大学) ; UC Berkeley(加州大学伯克利分校) ; NVIDIA(英伟达)

AI总结 SceneLM是一种场景语言模型,直接维护文本场景地图,通过添加、编辑和删除对象更新地图,在检索和定位基准上性能与完整系统相当,且表示紧凑6-12倍,可在线运行于边缘设备。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2608.07558 2026-08-11 cs.RO cs.CV 新提交

Learning Physical Interaction: A Survey of Tactile- and Force-aware Robot Learning

学习物理交互:触觉与力感知机器人学习综述

Shilin Shan, Chuhao Zhou, Ruize Wang, Xinyan Chen, Xiangyu Chen, Xinyu Zhou, Boyu Ma, Iris Yuxuan Hu, Jingliang Li, Celeste Yuxuan Hu, Geng Li, Guohao Chen, Tianrui Zhu, Zhe Li, Yanjie Ze, Haoran Geng, Zhiyang Dou, Jianxin Bi, Yuejiang Liu, Jianshu Zhou, Jiachen Li, Paul Liang, Tatsuya Harada, Robert Katzschmann, Harold Soh, Na Li, Edward Johns, Danica Kragic, Jan Peters, Wojciech Matusik, Masayoshi Tomizuka, Jitendra Malik, Jianfei Yang

机构 * Nanyang Technological University(南洋理工大学) ; Stanford University(斯坦福大学) ; University of California, Berkeley(加利福尼亚大学伯克利分校) ; Massachusetts Institute of Technology(麻省理工学院) ; National University of Singapore(新加坡国立大学) ; Georgia Institute of Technology(佐治亚理工学院) ; The University of Tokyo(东京大学) ; ETH Zurich(苏黎世联邦理工学院) ; Harvard University(哈佛大学) ; Imperial College London(伦敦帝国学院) ; KTH Royal Institute of Technology(瑞典皇家理工学院) ; Technical University of Darmstadt(达姆施塔特工业大学)

AI总结 本综述针对力与触觉感知机器人学习研究的空白,提出TF-ART分类法,整合多模态感知与多阶段系统设计视角,兼具算法与实践意义。

Comments 53 pages, 7 figures

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2606.15476 2026-07-28 cs.RO 版本更新

FARM: Find Anything using Relational Spatial Memory

FARM: 使用关系空间记忆找到任何物体

Siming He, Leo Huang, Adam Lilja, Fabio Huebel, Jonas Frey, Marco Pavone, S. Shankar Sastry, Jitendra Malik, Claire Tomlin

机构 * UC Berkeley(加州大学伯克利分校) ; Stanford University(斯坦福大学)

AI总结 提出FARM系统,通过实时构建包含几何、视觉语言描述和视角证据的开放词汇物体级记忆,并利用VLM解析查询和显式空间约束,在44k语言查询中Recall@5和Recall@10分别提升164%和224%,Accuracy@1提升35%。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2607.07847 2026-07-10 cs.LG 新提交

When Does Continual Learning Require Learning

持续学习何时需要学习

Anne Harrington, Nayan Saxena, Michael Murphy, Anastasia Borovykh, Zeyu Yun, Sridhar Kamath, Ara Eindra Kyi, Trevor Darrell, Jitendra Malik, Yutong Bai

机构 * UC Berkeley(加州大学伯克利分校) ; Capital Fund Management(资本基金管理公司)

AI总结 研究大语言模型持续学习问题,从空间和时间轴分解变化,通过重新设置基准和引入协议评估多种方法,发现持续学习非单一能力,不同环境变化需不同更新行为,为设计更强持续学习系统提供指导。

Comments Code: https://github.com/anneharrington/studying-cl. Project page: https://anneharrington.github.io/studying-cl/

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2606.27375 2026-06-26 cs.RO 新提交

Scalable Behavior Cloning with Open Data, Training, and Evaluation

基于开放数据、训练和评估的可扩展行为克隆

Arthur Allshire, Himanshu Gaurav Singh, Ritvik Singh, Adam Rashid, Hongsuk Choi, David McAllister, Justin Yu, Yiyuan Chen, Huang Huang, Pieter Abbeel, Xi Chen, Rocky Duan, Phillip Isola, Jitendra Malik, Fred Shentu, Guanya Shi, Philipp Wu, Angjoo Kanazawa

AI总结 提出ABC开源行为克隆栈,包含最大遥操作数据集ABC-130K(3500小时/13万片段/195任务),并开源硬件、训练和仿真流程,通过协同训练实现仿真与真实评估关联,验证DiT和VLA模型设计,成功执行折纸盒、取信用卡等灵巧任务。

Comments 30 pages. Project page: https://abc.bot

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2606.26093 2026-06-25 cs.RO 新提交

ForceBand: Learning Forceful Manipulation with sEMG

ForceBand: 利用表面肌电信号学习有力操作

Botao He, Zhi Wang, Linna Kuang, Ishaan Ghosh, Jitendra Malik, Cornelia Fermuller, Tingfan Wu, Jiayuan Mao, Ruoshi Liu, Haozhi Qi, Yiannis Aloimonos

机构 * Amazon FAR(亚马逊 FAR) ; University of Maryland(马里兰大学) ; Johns Hopkins University(约翰霍普金斯大学)

AI总结 提出ForceBand,一种低成本腕戴式sEMG系统,通过预测手指力来增强人类演示数据,用于机器人有力操作策略学习,在多种物体上实现87%的成功率。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2606.17055 2026-06-23 cs.RO 新提交

T-Rex: Tactile-Reactive Dexterous Manipulation

T-Rex: 触觉反应灵巧操作

Dantong Niu, Zhuoyang Liu, Zekai Wang, Boning Shao, Zhao-Heng Yin, Anirudh Pai, Yuvan Sharma, Stefano Saravalle, Ruijie Zheng, Jing Wang, Ryan Punamiya, Mengda Xu, Yuqi Xie, Yunfan Jiang, Letian Fu, Konstantinos Kallidromitis, Matteo Gioia, Junyi Zhang, Jiaxin Ge, Haiwen Feng, Fabio Galasso, Wei Zhan, David M. Chan, Yutong Bai, Roei Herzig, Jiahui Lei, Li Fei-Fei, Ken Goldberg, Jitendra Malik, Pieter Abbeel, Yuke Zhu, Danfei Xu, Linxi Fan, Trevor Darrell

机构 * UC Berkeley(加州大学伯克利分校) ; NVIDIA(英伟达) ; Stanford(斯坦福大学) ; Panasonic(松下) ; La Sapienza University(罗马大学) ; ItalAI

AI总结 提出大规模触觉数据集和可变速率混合Transformer架构,在12项精细操作任务上平均成功率提升超30%。

Comments Project page: https://tactile-rex.github.io/

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2603.04531 2026-06-19 cs.RO 版本更新

PTLD: Sim-to-real Privileged Tactile Latent Distillation for Dexterous Manipulation

PTLD: 从仿真到现实的触觉潜在知识蒸馏用于灵巧操作

Rosy Chen, Mustafa Mukadam, Michael Kaess, Tingfan Wu, Francois R Hogan, Jitendra Malik, Akash Sharma

机构 * Carnegie Mellon University(卡内基梅隆大学) ; University of Washington(华盛顿大学) ; FAIR at Meta(Meta的FAIR团队) ; UC Berkeley(伯克利大学)

AI总结 提出PTLD方法,通过真实世界触觉策略数据蒸馏鲁棒状态估计器,解决触觉仿真困难问题,在灵巧操作任务中相比纯本体感策略提升182%和57%。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2606.19333 2026-06-18 cs.RO cs.CV 新提交

Do as I Do: Dexterous Manipulation Data from Everyday Human Videos

Do as I Do: 从日常人类视频中获取灵巧操作数据

Bhawna Paliwal, Haritheja Etukuru, William Liang, Pieter Abbeel, Nur Muhammad Mahi Shafiullah, Jitendra Malik

机构 * UC Berkeley(加州大学伯克利分校)

AI总结 提出DO AS I DO算法,从单目RGB人类视频中重建手-物交互并重定向到多指灵巧机器人手,生成可执行的操作数据,优于现有方法。

Comments Project website: https://do-as-i-do.com/

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2606.17256 2026-06-17 cs.RO cs.CV 新提交

Contrastive Action-Image Pre-training for Visuomotor Control

对比动作-图像预训练用于视觉运动控制

Yuvan Sharma, Dantong Niu, Anirudh Pai, Zekai Wang, Zhuoyang Liu, Baifeng Shi, Stefano Saravalle, Boning Shao, Ruijie Zheng, Jing Wang, Konstantinos Kallidromitis, Yusuke Kato, Fabio Galasso, Yuke Zhu, Danfei Xu, Linxi "Jim" Fan, Jitendra Malik, Trevor Darrell, Roei Herzig

机构 * UC Berkeley(加州大学伯克利分校) ; NVIDIA(英伟达) ; Sapienza University of Rome(罗马大学) ; Panasonic(松下) ; ItalAI

AI总结 提出CAIP方法,利用大规模第一人称视频中3D手部关键点作为代理动作信号,通过对比学习统一动作-图像表示,在少量机器人数据下显著提升灵巧操作性能。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2511.16624 2026-06-04 cs.CV cs.AI

SAM 3D: 3Dfy Anything in Images

SAM 3D: 将图像中的任何内容3D化

SAM 3D Team, Xingyu Chen, Fu-Jen Chu, Pierre Gleize, Kevin J Liang, Alexander Sax, Hao Tang, Weiyao Wang, Michelle Guo, Thibaut Hardin, Xiang Li, Aohan Lin, Jiawei Liu, Ziqi Ma, Anushka Sagar, Bowen Song, Xiaodong Wang, Jianing Yang, Bowen Zhang, Piotr Dollár, Georgia Gkioxari, Matt Feiszli, Jitendra Malik

机构 * Meta Superintelligence Labs(Meta超智能实验室)

AI总结 提出SAM 3D生成模型,从单张图像重建3D物体的几何、纹理和布局,通过人机协同标注和分阶段训练突破数据瓶颈,在真实场景中取得显著优势。

Comments Website: https://ai.meta.com/sam3d/

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
1903.02531 2026-06-04 cs.RO cs.AI cs.CV cs.LG cs.SY eess.SY

Combining Optimal Control and Learning for Visual Navigation in Novel Environments

将最优控制与学习相结合用于新环境中的视觉导航

Somil Bansal, Varun Tolani, Saurabh Gupta, Jitendra Malik, Claire Tomlin

机构 * University of California, Berkeley(加州大学伯克利分校) ; Facebook AI Research(脸书人工智能研究)

AI总结 本文提出了一种结合模型控制与学习感知的方法,用于在新环境中实现可靠的视觉导航,通过生成无碰撞路径的 waypoints,使机器人能够高效地到达目标位置,同时在低帧率和仿真到现实的迁移中表现良好。

Comments Project website: https://vtolani95.github.io/WayPtNav/

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2511.22445 2026-06-02 cs.RO

DIPOLE: Fusing Vision and Geometry for Robust Visuomotor Generalization

DIPOLE:融合视觉与几何实现鲁棒的视觉运动泛化

Yikai Tang, Haoran Geng, Jindou Jia, Yuxuan Hu, Sheng Zang, Jianfei Yang, Pieter Abbeel, Jitendra Malik

机构 * University of California, Berkeley(加州大学伯克利分校) ; Nanyang Technological University(南洋理工大学)

AI总结 提出DIPOLE,通过训练时模态丢弃和轻量交叉注意力融合视觉与几何信息,实现跨光照、纹理、视角等变化的鲁棒策略泛化,在18个模拟和4个真实任务中平均性能提升39.1%。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2403.07008 2026-06-02 cs.LG cs.AI cs.CL stat.ME

AutoEval Done Right: Using Synthetic Data for Model Evaluation

AutoEval 的正确做法:使用合成数据进行模型评估

Pierre Boyeau, Anastasios N. Angelopoulos, Nir Yosef, Jitendra Malik, Michael I. Jordan

机构 * Department of Electrical Engineering and Computer Sciences, University of California, Berkeley, USA(电子工程与计算机科学系,加州大学伯克利分校) ; Department of Systems Immunology, Weizmann Institute of Science, Rehovot, Israel(系统免疫学系,魏茨曼科学研究所) ; Inria, Ecole Normale Supérieure, Paris, France(法国国家信息与自动化技术研究所,巴黎高等师范学院)

AI总结 本文提出高效且统计上无偏的算法,利用AI标记的合成数据减少模型评估所需的人工标注量,在GPT-4实验中有效样本量提升高达50%。

Comments camera-ready paper version

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2605.29298 2026-05-29 cs.RO

MonoDuo: Using One Robot Arm to Learn Bimanual Policies

MonoDuo: 使用单机械臂学习双臂策略

Sandeep Bajamahal, Lawrence Yunliang Chen, Toru Lin, Zehan Ma, Jitendra Malik, Ken Goldberg

机构 * University of California, Berkeley(加州大学伯克利分校)

AI总结 提出MonoDuo框架,利用单臂机器人演示和人类协作数据,通过数据增强生成合成演示,训练双臂机器人策略,在五项任务中实现零样本部署和少样本微调,成功率高达70%。

Comments Accepted to appear in the 2026 IEEE International Conference on Robotics and Automation (ICRA), Vienna, Austria, 1-5 June 2026

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
↑