arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

作者

Trevor Darrell

Computer Vision

共收录 368 篇
2611.14834 2026-11-13 cs.RO cs.AI cs.CV 新提交

Learning Low-Latency Action Verification for Frozen Vision-Language-Action Models

针对冻结视觉-语言-动作(VLA)模型的低延迟动作验证学习

Wen-Han Hsieh, Ken Jiankun Zheng, Chia-Chien Chen, David M. Chan, Trevor Darrell

机构 * University of California, Berkeley(加州大学伯克利分校) ; National Tsing Hua University(国立清华大学)

AI总结 本研究针对冻结VLA模型动作验证延迟问题,提出轻量级HDH框架,利用其部署回溯信息训练紧凑验证器,在LIBERO-10任务及真实操纵任务中均显著提升了动作验证的成功率。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2611.08407 2026-11-06 cs.RO cs.CV cs.LG 新提交

Social Humanoid: Socially Responsive Human-Humanoid Interaction

社交人形机器人:社交响应式人机交互

Vongani H. Maluleke, James Ni, Kie Horiuchi, Lea Wilken, Jiahui Lei, Evonne Ng, Roei Herzig, Jitendra Malik, Trevor Darrell, Angjoo Kanazawa

机构 * UC Berkeley(加州大学伯克利分校) ; Sony Group Corporation(索尼集团公司) ; Meta

AI总结 针对人形机器人无法与人类伙伴协作的问题,提出Social Humanoid分层系统,通过两阶段自适应重定向程序构建HHI基准,实现了人机协调的社交响应式运动。

Comments CoRL 2026, Project page: https://von31.github.io/social-humanoid/

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2610.30136 2026-10-22 cs.RO 新提交

Agentic World Action Models

智能体世界动作模型

Zhuoyang Liu, Dantong Niu, Botong Zhang, Boning Shao, Jing Wang, Ruijie Zheng, Yuvan Sharma, Runyu Lu, Jiaming Liu, Renrui Zhang, Roei Herzig, Yutong Bai, Ken Goldberg, Danfei Xu, Yuke Zhu, Guanzhi Wang, Linxi "Jim" Fan, Trevor Darrell

机构 * UC Berkeley(加州大学伯克利分校) ; NVIDIA(英伟达) ; University of Pennsylvania(宾夕法尼亚大学)

AI总结 本文提出AW-0智能体世界动作模型框架,融合代码规划与视频动作预测,经RoboTwin 2.0等任务评估,性能优于VLA、WAM基线,提升了语言遵循等能力。

Comments Project page: https://agentic-wam.github.io/

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2610.26845 2026-10-20 cs.AI 新提交

Train An Imaginative Agent

训练一个富有想象力的智能体

Jiaxin Ge, Junyi Zhang, Tianning Chai, Hanjun Yoo, Chenyang Wang, Xiuyu Li, Weijia Shi, XuDong Wang, Sewon Min, Luke Zettlemoyer, Trevor Darrell, Haiwen Feng

机构 * University of California, Berkeley(加州大学伯克利分校) ; Impossible Research ; University of Washington(华盛顿大学) ; Duke University(杜克大学)

AI总结 该研究提出Agima框架,训练智能体在行动前想象后果,经SFT和RL训练后,在四个游戏环境中泛化到难设置,解决推箱子谜题性能优于仅动作规划器。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2610.21179 2026-10-16 cs.LG cs.AI cs.CL 新提交

Judging the Judges: Confidence and Disagreement in Rubrics as Rewards

评判评判者:作为奖励的评分标准中的置信度与分歧

Michael Tian-Yue Liu, Anne Harrington, Trevor Darrell, Yutong Bai

机构 * UC Berkeley(加州大学伯克利分校)

AI总结 该研究针对RaR训练中评判者使用问题,提出RaRE评判者集成策略,通过软李克特奖励与分歧时丢弃掩码机制,在HealthBench和GPQA Diamond上性能优于单一评判者RaR变体,证明评判者集成可提升RaR效果。

Comments Project page: https://anneharrington.github.io/judging-the-judges/ Code: https://github.com/michael-tyl/RaRE

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2610.19495 2026-10-15 cs.RO cs.CV 新提交

Robota-Embed: Unified VLA Embeddings for Robot In-Context Learning and Evolution

Robota-Embed:用于机器人上下文学习与进化的统一VLA嵌入

Yunze Liu, Jing Wang, Shenrui Wu, Wenkun He, Guanqi Zhan, Xianzheng Ma, Junyu Chen, Wenhang Ge, Haozhan Tang, Yuchao Gu, Zhuoyang Zhang, Zekai Wang, Dantong Niu, Zhen Dong, Yuke Zhu, Trevor Darrell, Linxi "Jim" Fan, Song Han, Han Cai

机构 * NVIDIA(英伟达) ; MIT(麻省理工学院) ; UCB(加州大学伯克利分校) ; Oxford(牛津大学) ; CMU(卡内基梅隆大学)

AI总结 本研究提出首个联合编码视觉-语言-动作三模态的Robota-Embed模型,在Robota-Embed-Bench上性能优于Gemini Embedding 2,可支撑机器人上下文学习与任务局部进化,在多任务中提升了机器人任务成功率。

Comments 34 pages, 14 figures. Project page: https://robota-ai.github.io/robota-embed/

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2511.13714 2026-10-14 cs.CV cs.AI cs.LG 版本更新

UnSAMv2: Self-Supervised Learning Enables Segment Anything at Any Granularity

UnSAMv2:自监督学习实现任意粒度的万物分割

Junwei Yu, Trevor Darrell, XuDong Wang

机构 * UC Berkeley(加州大学伯克利分校)

AI总结 针对SAM系列模型分割粒度控制能力不足的问题,本文提出自监督模型UnSAMv2,仅用少量无标注数据和极少量额外参数就实现了任意粒度的万物分割,在多类分割任务的11个基准上取得显著性能提升。

Comments Accepted by TMLR

Journal ref Transactions on Machine Learning Research, 2026

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2610.01742 2026-10-02 cs.RO cs.CV 新提交

World Motion Models: Flexible Sequence Modeling of SE(3) Trajectories

世界运动模型:SE(3)轨迹的灵活序列建模

Jiahui Lei, Qianqian Wang, Trevor Darrell, Angjoo Kanazawa

机构 * UC Berkeley(加州大学伯克利分校) ; Harvard University(哈佛大学)

AI总结 提出世界运动模型(WMMs),用稀疏SE(3)轨迹统一表示动态场景,通过流匹配实现灵活序列建模,支持多种条件化任务,实验验证其多功能性。

Comments Accepted at NeurIPS 2026 (Spotlight). Url: https://jiahuilei.com/projects/wmm/

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2609.38079 2026-09-30 cs.CV 新提交

OmniTaskonomy: When Does Visual Generation Improve Visual Understanding?

OmniTaskonomy:视觉生成何时提升视觉理解?

Jiaxin Ge, Yiming Qin, Ji Xie, Haozhe Jiang, Xiaochuang Han, Junyi Zhang, Andrew Dai, Yinfei Yang, Jitendra Malik, Ranjay Krishna, Sewon Min, Haiwen Feng, Le Xue, Baifeng Shi, Trevor Darrell, XuDong Wang

机构 * University of California, Berkeley(加州大学伯克利分校) ; Duke University(杜克大学) ; Carnegie Mellon University(卡内基梅隆大学) ; University of Washington(华盛顿大学) ; Elorian ; Impossible Research

AI总结 本研究通过OmniTaskonomy分类体系系统探究视觉生成监督对视觉理解的影响,发现特定生成任务能选择性提升对应理解能力,且梯度对齐程度与迁移增益正相关,为视觉理解训练提供指导。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2609.24976 2026-09-22 cs.RO cs.AI cs.CV 新提交

DexTacWAM: A Visuo-Tactile World-Action Model for Dexterous Manipulation

DexTacWAM:用于灵巧操作的视觉-触觉世界-动作模型

Haoran Yuan, Zekai Wang, Boning Shao, Haoran Lu, Trevor Darrell, Ismini Lourentzou, Wei Zhan

机构 * University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) ; University of California, Berkeley(加利福尼亚大学伯克利分校) ; Northwestern University(西北大学)

AI总结 DexTacWAM提出视觉-触觉世界-动作模型,通过独立编码指尖并注入触觉潜变量到视频扩散模型,在灵巧操作任务中显著超越基线,并实现数据高效、计算高效的持续触觉适应。

Comments 22 pages. Project website: https://dextacwam.github.io/

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2609.02885 2026-09-03 cs.AI cs.LG 新提交

Discriminative World Models for Web Agents

面向Web智能体的判别式世界模型

Kelvin Li, Dhruv Pendharkar, Anish Pahilajani, Chuyi Shang, Leon Oks, Leonid Karlinsky, Rogerio Feris, Trevor Darrell, Roei Herzig

机构 * University of California, Berkeley(加州大学伯克利分校) ; MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室) ; Cal Poly San Luis Obispo(加州理工州立大学圣路易斯奥比斯波分校) ; Xero(赛罗公司)

AI总结 针对Web智能体世界模型训练与下游排序模型错位的问题,提出预测状态匹配训练目标,经多基准测试验证可提升动作排序及端到端任务成功率。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2608.28958 2026-09-01 cs.CL cs.CV 新提交

CoVA-SFT: A Large-Scale Dataset for Chain of Visual Abstractions

CoVA-SFT:用于视觉抽象链的大规模数据集

Tsung-Han Wu, Heekyung Lee, Anya Ji, Haoming Chen, Trevor Darrell, Joseph E. Gonzalez, David M. Chan

机构 * University of California, Berkeley(加州大学伯克利分校)

AI总结 CoVA-SFT是用于视觉抽象链的大规模数据集,含5.19万样本等,经其微调的模型在CoVA-Bench上性能优于交错式CoT基线2倍以上,凸显相关研究的开放挑战。

Comments Accepted to EMNLP 2026 Findings

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2511.19418 2026-08-06 cs.CV cs.AI cs.LG 版本更新

Chain-of-Visual-Thought: Teaching VLMs to See and Think Better with Continuous Visual Tokens

链式视觉思维:通过连续视觉标记教学VLMs更好地看到和思考

Yiming Qin, Bomin Wei, Jiaxin Ge, Konstantinos Kallidromitis, Stephanie Fu, Trevor Darrell, XuDong Wang

机构 * UC Berkeley(加州大学伯克利分校) ; UCLA(洛杉矶大学) ; Panasonic AI Research(松下人工智能研究)

AI总结 COVT通过连续视觉标记提升VLMs的视觉推理能力,使模型在多个基准测试中性能提升3%-16%。

Comments Project page: https://wakalsprojectpage.github.io/covt-website/

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2607.25860 2026-07-29 cs.CV 新提交

Open-Ended CT Volume Segmentation with Weak Supervision from Language

基于语言弱监督的开放式CT体积分割

Sanjay Subramanian, Junwei Yu, Zirui Wang, Rohil Malpani, Maggie Chung, Adam Yala, Dan Klein, Trevor Darrell

机构 * Department of Electrical Engineering and Computer Science, UC Berkeley(加州大学伯克利分校电气工程与计算机科学系) ; Voio ; Department of Radiology and Biomedical Imaging, UC San Francisco(加州大学旧金山分校放射学与生物医学成像系) ; Computational Precision Health, UC Berkeley and UC San Francisco(加州大学伯克利分校和加州大学旧金山分校计算精准健康中心)

AI总结 研究基于语言弱监督训练CT扫描文本条件分割模型,通过结合体素级与切片级监督,从扫描-报告对提取信息,微调通用2D图像分割模型SAM3,在ReXGroundingCT数据集上提升了分割骰子分数。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2604.26182 2026-07-22 cs.CV cs.AI cs.LG 版本更新

Lifting Embodied World Models for Planning and Control

提升具身世界模型用于规划与控制

Alex N. Wang, Trevor Darrell, Pavel Izmailov, Yutong Bai, Amir Bar

机构 * Computer Science, New York University(纽约大学计算机科学系) ; BAIR, UC Berkeley(伯克利大学BAIR)

AI总结 本文提出一种轻量级策略,将高层动作映射到低层关节动作序列,结合冻结的世界模型,实现预测未来观察的提升世界模型,有效降低规划复杂度。

Comments Accepted to ECCV2026. Edited policy masking

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2607.07847 2026-07-10 cs.LG 新提交

When Does Continual Learning Require Learning

持续学习何时需要学习

Anne Harrington, Nayan Saxena, Michael Murphy, Anastasia Borovykh, Zeyu Yun, Sridhar Kamath, Ara Eindra Kyi, Trevor Darrell, Jitendra Malik, Yutong Bai

机构 * UC Berkeley(加州大学伯克利分校) ; Capital Fund Management(资本基金管理公司)

AI总结 研究大语言模型持续学习问题,从空间和时间轴分解变化,通过重新设置基准和引入协议评估多种方法,发现持续学习非单一能力,不同环境变化需不同更新行为,为设计更强持续学习系统提供指导。

Comments Code: https://github.com/anneharrington/studying-cl. Project page: https://anneharrington.github.io/studying-cl/

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2512.07843 2026-07-03 cs.LG cs.AI cs.CL 版本更新

ThreadWeaver: Adaptive Threading for Efficient Parallel Reasoning in Language Models

ThreadWeaver:自适应线程化实现语言模型高效并行推理

Long Lian, Sida Wang, Felix Juefei-Xu, Tsu-Jui Fu, Xiuyu Li, Adam Yala, Trevor Darrell, Alane Suhr, Yuandong Tian, Xi Victoria Lin

机构 * UC Berkeley(伯克利大学) ; UCSF(旧金山大学)

AI总结 提出ThreadWeaver框架,通过两阶段并行轨迹生成、基于trie的展开设计和并行化感知强化学习,在保持与顺序推理模型相当准确率的同时,显著降低推理延迟。

Comments Accepted as an oral paper at ICML 2026

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2509.07295 2026-06-26 cs.CV cs.AI cs.LG 版本更新

Reconstruction Alignment Improves Unified Multimodal Models

重建对齐改进统一多模态模型

Ji Xie, Trevor Darrell, Luke Zettlemoyer, XuDong Wang

机构 * UC Berkeley(加州大学伯克利分校) ; University of Washington(华盛顿大学) ; Duke University(杜克大学)

AI总结 提出重建对齐(RECA),一种资源高效的后训练方法,利用视觉理解编码器嵌入作为密集文本提示,通过自监督重建损失对齐理解与生成,显著提升多种统一多模态模型的生成和编辑性能。

Comments 43 pages, 36 figures and 14 tables; accepted by ICLR 2026

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2606.17055 2026-06-23 cs.RO 新提交

T-Rex: Tactile-Reactive Dexterous Manipulation

T-Rex: 触觉反应灵巧操作

Dantong Niu, Zhuoyang Liu, Zekai Wang, Boning Shao, Zhao-Heng Yin, Anirudh Pai, Yuvan Sharma, Stefano Saravalle, Ruijie Zheng, Jing Wang, Ryan Punamiya, Mengda Xu, Yuqi Xie, Yunfan Jiang, Letian Fu, Konstantinos Kallidromitis, Matteo Gioia, Junyi Zhang, Jiaxin Ge, Haiwen Feng, Fabio Galasso, Wei Zhan, David M. Chan, Yutong Bai, Roei Herzig, Jiahui Lei, Li Fei-Fei, Ken Goldberg, Jitendra Malik, Pieter Abbeel, Yuke Zhu, Danfei Xu, Linxi Fan, Trevor Darrell

机构 * UC Berkeley(加州大学伯克利分校) ; NVIDIA(英伟达) ; Stanford(斯坦福大学) ; Panasonic(松下) ; La Sapienza University(罗马大学) ; ItalAI

AI总结 提出大规模触觉数据集和可变速率混合Transformer架构,在12项精细操作任务上平均成功率提升超30%。

Comments Project page: https://tactile-rex.github.io/

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2606.19419 2026-06-19 cs.RO cs.AI 新提交

Playful Agentic Robot Learning

趣味性具身机器人学习

Junyi Zhang, Jiaxin Ge, Hanjun Yoo, Letian Fu, Zihan Yang, Yaowei Liu, Raj Saravanan, Shaofeng Yin, Justin Yu, Dantong Niu, Zirui Wang, Roei Herzig, Ken Goldberg, Yutong Bai, David M. Chan, Ion Stoica, Angjoo Kanazawa, Jiahui Lei, Haiwen Feng, Trevor Darrell

机构 * University of California, Berkeley(加州大学伯克利分校) ; Impossible Research

AI总结 提出RATs框架,让机器人通过自主探索学习可复用技能,在LIBERO-PRO和MolmoSpaces上分别提升20.6和17.0个百分点。

Comments Project page: https://playful-rats.github.io/

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2606.18153 2026-06-17 cs.CV 新提交

Neural Tree Reconstruction for the Open Forest Observatory

开放森林观测站的神经树重建

Marissa Ramirez de Chanlatte, Arjun Rewari, Trevor Darrell, Derek J. N. Young

机构 * Berkeley AI Research, University of California, Berkeley(加州大学伯克利分校伯克利人工智能研究) ; Department of Plant Sciences, University of California, Davis(加州大学戴维斯分校植物科学系)

AI总结 针对开放森林观测站中经典运动恢复结构方法重建质量差的问题,提出引入神经辐射场提升3D树重建的细节与鲁棒性,并展望未来工作。

Comments Published as a workshop paper at "Tackling Climate Change with Machine Learning", ICLR 2024

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2606.17256 2026-06-17 cs.RO cs.CV 新提交

Contrastive Action-Image Pre-training for Visuomotor Control

对比动作-图像预训练用于视觉运动控制

Yuvan Sharma, Dantong Niu, Anirudh Pai, Zekai Wang, Zhuoyang Liu, Baifeng Shi, Stefano Saravalle, Boning Shao, Ruijie Zheng, Jing Wang, Konstantinos Kallidromitis, Yusuke Kato, Fabio Galasso, Yuke Zhu, Danfei Xu, Linxi "Jim" Fan, Jitendra Malik, Trevor Darrell, Roei Herzig

机构 * UC Berkeley(加州大学伯克利分校) ; NVIDIA(英伟达) ; Sapienza University of Rome(罗马大学) ; Panasonic(松下) ; ItalAI

AI总结 提出CAIP方法,利用大规模第一人称视频中3D手部关键点作为代理动作信号,通过对比学习统一动作-图像表示,在少量机器人数据下显著提升灵巧操作性能。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2512.21218 2026-06-05 cs.CV

Latent Implicit Visual Reasoning

潜在隐式视觉推理

Kelvin Li, Chuyi Shang, Leonid Karlinsky, Rogerio Feris, Trevor Darrell, Roei Herzig

机构 * University of California, Berkeley(加州大学伯克利分校) ; Xero ; MIT-IBM Watson AI Lab(麻省理工-IBM Watson人工智能实验室)

AI总结 本文提出了一种任务无关的机制,训练大规模多模态模型(LMMs)在无需显式中间监督的情况下发现和使用潜在视觉推理标记,从而在多种视觉中心任务中优于直接监督微调,并在不使用辅助图像、边界框、图像裁剪、深度图或思维链注释的情况下,与或优于先前基于文本和显式视觉中间推理方法相媲美。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2308.10897 2026-06-05 cs.CV

Can Language Models Learn to Listen?

语言模型能否学会倾听?

Evonne Ng, Sanjay Subramanian, Dan Klein, Angjoo Kanazawa, Trevor Darrell, Shiry Ginosar

机构 * University of California, Berkeley(加州大学伯克利分校)

AI总结 本文提出了一种基于说话人话语生成适当面部回应的框架,通过将量化后的面部动作元素作为额外语言token输入到基于transformer的大型语言模型中,从而提升监听响应的质量。

Comments ICCV 2023; Project page: https://people.eecs.berkeley.edu/~evonne_ng/projects/text2listen/

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2606.04433 2026-06-04 cs.CV cs.CL cs.LG

Stateful Visual Encoders for Vision-Language Models

用于视觉-语言模型的有状态视觉编码器

Zirui Wang, Junwei Yu, Adam Yala, David M. Chan, Joseph E. Gonzalez, Trevor Darrell

机构 * University of California, Berkeley(加州大学伯克利分校) ; UC Berkeley(加州大学伯克利分校)

AI总结 提出有状态视觉编码器,通过将每个视觉表示条件于先前的视觉特征,增强视觉-语言模型在多图像、多轮交互中的视觉变化感知能力,在跨图像空间聚合、多目标视觉差异和轨迹行为克隆等任务上取得一致改进。

Comments Project page: https://statefulvisualencoders.github.io/

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2510.11713 2026-06-02 cs.CL cs.LG

Are Large Reasoning Models Interruptible?

大型推理模型是否可中断?

Tsung-Han Wu, Mihran Miroyan, David M. Chan, Trevor Darrell, Narges Norouzi, Joseph E. Gonzalez

机构 * University of California, Berkeley(加州大学伯克利分校)

AI总结 研究大型推理模型在中断和动态上下文两种现实动态场景下的鲁棒性,发现静态评估高估了鲁棒性,并揭示了推理泄漏、恐慌和自我怀疑等新故障模式。

Comments ICML 2026; Project Page: http://dynamic-lm.github.io

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2601.00090 2026-05-04 cs.CV cs.LG

It's Never Too Late: Noise Optimization for Collapse Recovery in Trained Diffusion Models

迟到也不晚:通过噪声优化在训练好的扩散模型中恢复崩溃

Anne Harrington, A. Sophia Koepke, Shyamgopal Karthik, Trevor Darrell, Alexei A. Efros

机构 * UC Berkeley(加州大学伯克利分校) ; University of Tübingen, Tübingen AI Center(图宾根大学,图宾根人工智能中心) ; TU Munich, MCML(慕尼黑工业大学,MCML)

AI总结 本文通过噪声优化提升扩散模型生成多样性,减少模式崩溃,同时保持基础模型的保真度。

Comments CVPR 2026. Project page at https://akoepke.github.io/divgen/index.html

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2603.03269 2026-04-28 cs.CV cs.LG

LoGeR: Long-Context Geometric Reconstruction with Hybrid Memory

LoGeR:长上下文几何重建与混合记忆

Junyi Zhang, Charles Herrmann, Junhwa Hur, Chen Sun, Ming-Hsuan Yang, Forrester Cole, Trevor Darrell, Deqing Sun

AI总结 LoGeR通过混合记忆模块实现长序列的高精度3D重建,无需后优化,有效解决长视频中的上下文一致性问题,优于现有方法。

Comments Project page: https://LoGeR-project.github.io/

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2601.11109 2026-04-07 cs.CV cs.AI cs.GR

Vision-as-Inverse-Graphics Agent via Interleaved Multimodal Reasoning

通过交错多模态推理的视觉-反图形代理

Shaofeng Yin, Jiaxin Ge, Zora Zhiruo Wang, Chenyang Wang, Xiuyu Li, Michael J. Black, Trevor Darrell, Angjoo Kanazawa, Haiwen Feng

机构 * University of California, Berkeley(加州大学伯克利分校) ; Carnegie Mellon University(卡内基梅隆大学) ; Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所) ; Impossible, Inc.(Impossible公司)

AI总结 本文提出VIGA框架,通过符号逻辑与视觉感知的交叉验证,解决视觉语言模型在单次设置中重建图像的挑战,支持2D文档生成、3D重建等任务。

Comments Project page: https://fugtemypt123.github.io/VIGA-website/

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2510.12866 2026-04-07 cs.RO cs.CV

Learning to Grasp Anything by Playing with Random Toys

通过随机玩具学习抓取任何物体

Dantong Niu, Yuvan Sharma, Baifeng Shi, Rachel Ding, Matteo Gioia, Haoru Xue, Henry Tsai, Konstantinos Kallidromitis, Anirudh Pai, Caitlin Regan, Shankar Sastry, Trevor Darrell, Jitendra Malik, Roei Herzig

机构 * University of California, Berkeley(加州大学伯克利分校) ; Sapienza University of Rome(罗马大学) ; ItalAI ; Panasonic(松下)

AI总结 本文通过随机组装的简单玩具训练机器人,使其具备泛化抓取能力,采用对象中心视觉表示实现零样本性能,实现在YCB数据集上的67%抓取成功率。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
↑