Trevor Darrell

Open-Ended CT Volume Segmentation with Weak Supervision from Language

基于语言弱监督的开放式CT体积分割

Sanjay Subramanian, Junwei Yu, Zirui Wang, Rohil Malpani, Maggie Chung, Adam Yala, Dan Klein, Trevor Darrell

机构 * Department of Electrical Engineering and Computer Science, UC Berkeley（加州大学伯克利分校电气工程与计算机科学系） ； Voio ； Department of Radiology and Biomedical Imaging, UC San Francisco（加州大学旧金山分校放射学与生物医学成像系） ； Computational Precision Health, UC Berkeley and UC San Francisco（加州大学伯克利分校和加州大学旧金山分校计算精准健康中心） 纠错

AI总结 研究基于语言弱监督训练CT扫描文本条件分割模型，通过结合体素级与切片级监督，从扫描-报告对提取信息，微调通用2D图像分割模型SAM3，在ReXGroundingCT数据集上提升了分割骰子分数。

When Does Continual Learning Require Learning

持续学习何时需要学习

Anne Harrington, Nayan Saxena, Michael Murphy, Anastasia Borovykh, Zeyu Yun, Sridhar Kamath, Ara Eindra Kyi, Trevor Darrell, Jitendra Malik, Yutong Bai

机构 * UC Berkeley（加州大学伯克利分校） ； Capital Fund Management（资本基金管理公司） 纠错

AI总结 研究大语言模型持续学习问题，从空间和时间轴分解变化，通过重新设置基准和引入协议评估多种方法，发现持续学习非单一能力，不同环境变化需不同更新行为，为设计更强持续学习系统提供指导。

Comments Code: https://github.com/anneharrington/studying-cl. Project page: https://anneharrington.github.io/studying-cl/

T-Rex: Tactile-Reactive Dexterous Manipulation

T-Rex: 触觉反应灵巧操作

Dantong Niu, Zhuoyang Liu, Zekai Wang, Boning Shao, Zhao-Heng Yin, Anirudh Pai, Yuvan Sharma, Stefano Saravalle, Ruijie Zheng, Jing Wang, Ryan Punamiya, Mengda Xu, Yuqi Xie, Yunfan Jiang, Letian Fu, Konstantinos Kallidromitis, Matteo Gioia, Junyi Zhang, Jiaxin Ge, Haiwen Feng, Fabio Galasso, Wei Zhan, David M. Chan, Yutong Bai, Roei Herzig, Jiahui Lei, Li Fei-Fei, Ken Goldberg, Jitendra Malik, Pieter Abbeel, Yuke Zhu, Danfei Xu, Linxi Fan, Trevor Darrell

机构 * UC Berkeley（加州大学伯克利分校） ； NVIDIA（英伟达） ； Stanford（斯坦福大学） ； Panasonic（松下） ； La Sapienza University（罗马大学） ； ItalAI 纠错

AI总结 提出大规模触觉数据集和可变速率混合Transformer架构，在12项精细操作任务上平均成功率提升超30%。

Comments Project page: https://tactile-rex.github.io/

Playful Agentic Robot Learning

趣味性具身机器人学习

Junyi Zhang, Jiaxin Ge, Hanjun Yoo, Letian Fu, Zihan Yang, Yaowei Liu, Raj Saravanan, Shaofeng Yin, Justin Yu, Dantong Niu, Zirui Wang, Roei Herzig, Ken Goldberg, Yutong Bai, David M. Chan, Ion Stoica, Angjoo Kanazawa, Jiahui Lei, Haiwen Feng, Trevor Darrell

机构 * University of California, Berkeley（加州大学伯克利分校） ； Impossible Research 纠错

AI总结 提出RATs框架，让机器人通过自主探索学习可复用技能，在LIBERO-PRO和MolmoSpaces上分别提升20.6和17.0个百分点。

Comments Project page: https://playful-rats.github.io/

Neural Tree Reconstruction for the Open Forest Observatory

开放森林观测站的神经树重建

Marissa Ramirez de Chanlatte, Arjun Rewari, Trevor Darrell, Derek J. N. Young

机构 * Berkeley AI Research, University of California, Berkeley（加州大学伯克利分校伯克利人工智能研究） ； Department of Plant Sciences, University of California, Davis（加州大学戴维斯分校植物科学系） 纠错

AI总结 针对开放森林观测站中经典运动恢复结构方法重建质量差的问题，提出引入神经辐射场提升3D树重建的细节与鲁棒性，并展望未来工作。

Comments Published as a workshop paper at "Tackling Climate Change with Machine Learning", ICLR 2024

Contrastive Action-Image Pre-training for Visuomotor Control

对比动作-图像预训练用于视觉运动控制

Yuvan Sharma, Dantong Niu, Anirudh Pai, Zekai Wang, Zhuoyang Liu, Baifeng Shi, Stefano Saravalle, Boning Shao, Ruijie Zheng, Jing Wang, Konstantinos Kallidromitis, Yusuke Kato, Fabio Galasso, Yuke Zhu, Danfei Xu, Linxi "Jim" Fan, Jitendra Malik, Trevor Darrell, Roei Herzig

机构 * UC Berkeley（加州大学伯克利分校） ； NVIDIA（英伟达） ； Sapienza University of Rome（罗马大学） ； Panasonic（松下） ； ItalAI 纠错

AI总结 提出CAIP方法，利用大规模第一人称视频中3D手部关键点作为代理动作信号，通过对比学习统一动作-图像表示，在少量机器人数据下显著提升灵巧操作性能。