作者
Computer Vision
OmniTaskonomy：视觉生成何时提升视觉理解？
机构 * University of California, Berkeley（加州大学伯克利分校） ； Duke University（杜克大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Washington（华盛顿大学） ； Elorian ； Impossible Research
AI总结 本研究通过OmniTaskonomy分类体系系统探究视觉生成监督对视觉理解的影响，发现特定生成任务能选择性提升对应理解能力，且梯度对齐程度与迁移增益正相关，为视觉理解训练提供指导。
DexTacWAM：用于灵巧操作的视觉-触觉世界-动作模型
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of California, Berkeley（加利福尼亚大学伯克利分校） ； Northwestern University（西北大学）
AI总结 DexTacWAM提出视觉-触觉世界-动作模型，通过独立编码指尖并注入触觉潜变量到视频扩散模型，在灵巧操作任务中显著超越基线，并实现数据高效、计算高效的持续触觉适应。
Comments 22 pages. Project website: https://dextacwam.github.io/
面向Web智能体的判别式世界模型
机构 * University of California, Berkeley（加州大学伯克利分校） ； MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室） ； Cal Poly San Luis Obispo（加州理工州立大学圣路易斯奥比斯波分校） ； Xero（赛罗公司）
AI总结 针对Web智能体世界模型训练与下游排序模型错位的问题，提出预测状态匹配训练目标，经多基准测试验证可提升动作排序及端到端任务成功率。
CoVA-SFT：用于视觉抽象链的大规模数据集
AI总结 CoVA-SFT是用于视觉抽象链的大规模数据集，含5.19万样本等，经其微调的模型在CoVA-Bench上性能优于交错式CoT基线2倍以上，凸显相关研究的开放挑战。
Comments Accepted to EMNLP 2026 Findings
链式视觉思维：通过连续视觉标记教学VLMs更好地看到和思考
机构 * UC Berkeley（加州大学伯克利分校） ； UCLA（洛杉矶大学） ； Panasonic AI Research（松下人工智能研究）
AI总结 COVT通过连续视觉标记提升VLMs的视觉推理能力，使模型在多个基准测试中性能提升3%-16%。
Comments Project page: https://wakalsprojectpage.github.io/covt-website/
基于语言弱监督的开放式CT体积分割
机构 * Department of Electrical Engineering and Computer Science, UC Berkeley（加州大学伯克利分校电气工程与计算机科学系） ； Voio ； Department of Radiology and Biomedical Imaging, UC San Francisco（加州大学旧金山分校放射学与生物医学成像系） ； Computational Precision Health, UC Berkeley and UC San Francisco（加州大学伯克利分校和加州大学旧金山分校计算精准健康中心）
AI总结 研究基于语言弱监督训练CT扫描文本条件分割模型，通过结合体素级与切片级监督，从扫描-报告对提取信息，微调通用2D图像分割模型SAM3，在ReXGroundingCT数据集上提升了分割骰子分数。
提升具身世界模型用于规划与控制
机构 * Computer Science, New York University（纽约大学计算机科学系） ； BAIR, UC Berkeley（伯克利大学BAIR）
AI总结 本文提出一种轻量级策略，将高层动作映射到低层关节动作序列，结合冻结的世界模型，实现预测未来观察的提升世界模型，有效降低规划复杂度。
Comments Accepted to ECCV2026. Edited policy masking
持续学习何时需要学习
机构 * UC Berkeley（加州大学伯克利分校） ； Capital Fund Management（资本基金管理公司）
AI总结 研究大语言模型持续学习问题，从空间和时间轴分解变化，通过重新设置基准和引入协议评估多种方法，发现持续学习非单一能力，不同环境变化需不同更新行为，为设计更强持续学习系统提供指导。
Comments Code: https://github.com/anneharrington/studying-cl. Project page: https://anneharrington.github.io/studying-cl/
ThreadWeaver：自适应线程化实现语言模型高效并行推理
机构 * UC Berkeley（伯克利大学） ； UCSF（旧金山大学）
AI总结 提出ThreadWeaver框架，通过两阶段并行轨迹生成、基于trie的展开设计和并行化感知强化学习，在保持与顺序推理模型相当准确率的同时，显著降低推理延迟。
Comments Accepted as an oral paper at ICML 2026
重建对齐改进统一多模态模型
机构 * UC Berkeley（加州大学伯克利分校） ； University of Washington（华盛顿大学） ； Duke University（杜克大学）
AI总结 提出重建对齐（RECA），一种资源高效的后训练方法，利用视觉理解编码器嵌入作为密集文本提示，通过自监督重建损失对齐理解与生成，显著提升多种统一多模态模型的生成和编辑性能。
Comments 43 pages, 36 figures and 14 tables; accepted by ICLR 2026
T-Rex: 触觉反应灵巧操作
机构 * UC Berkeley（加州大学伯克利分校） ； NVIDIA（英伟达） ； Stanford（斯坦福大学） ； Panasonic（松下） ； La Sapienza University（罗马大学） ； ItalAI
AI总结 提出大规模触觉数据集和可变速率混合Transformer架构，在12项精细操作任务上平均成功率提升超30%。
Comments Project page: https://tactile-rex.github.io/
趣味性具身机器人学习
机构 * University of California, Berkeley（加州大学伯克利分校） ； Impossible Research
AI总结 提出RATs框架，让机器人通过自主探索学习可复用技能，在LIBERO-PRO和MolmoSpaces上分别提升20.6和17.0个百分点。
Comments Project page: https://playful-rats.github.io/
开放森林观测站的神经树重建
机构 * Berkeley AI Research, University of California, Berkeley（加州大学伯克利分校伯克利人工智能研究） ； Department of Plant Sciences, University of California, Davis（加州大学戴维斯分校植物科学系）
AI总结 针对开放森林观测站中经典运动恢复结构方法重建质量差的问题，提出引入神经辐射场提升3D树重建的细节与鲁棒性，并展望未来工作。
Comments Published as a workshop paper at "Tackling Climate Change with Machine Learning", ICLR 2024
对比动作-图像预训练用于视觉运动控制
机构 * UC Berkeley（加州大学伯克利分校） ； NVIDIA（英伟达） ； Sapienza University of Rome（罗马大学） ； Panasonic（松下） ； ItalAI
AI总结 提出CAIP方法，利用大规模第一人称视频中3D手部关键点作为代理动作信号，通过对比学习统一动作-图像表示，在少量机器人数据下显著提升灵巧操作性能。
潜在隐式视觉推理
机构 * University of California, Berkeley（加州大学伯克利分校） ； Xero ； MIT-IBM Watson AI Lab（麻省理工-IBM Watson人工智能实验室）
AI总结 本文提出了一种任务无关的机制，训练大规模多模态模型（LMMs）在无需显式中间监督的情况下发现和使用潜在视觉推理标记，从而在多种视觉中心任务中优于直接监督微调，并在不使用辅助图像、边界框、图像裁剪、深度图或思维链注释的情况下，与或优于先前基于文本和显式视觉中间推理方法相媲美。
语言模型能否学会倾听？
机构 * University of California, Berkeley（加州大学伯克利分校）
AI总结 本文提出了一种基于说话人话语生成适当面部回应的框架，通过将量化后的面部动作元素作为额外语言token输入到基于transformer的大型语言模型中，从而提升监听响应的质量。
Comments ICCV 2023; Project page: https://people.eecs.berkeley.edu/~evonne_ng/projects/text2listen/
用于视觉-语言模型的有状态视觉编码器
机构 * University of California, Berkeley（加州大学伯克利分校） ； UC Berkeley（加州大学伯克利分校）
AI总结 提出有状态视觉编码器，通过将每个视觉表示条件于先前的视觉特征，增强视觉-语言模型在多图像、多轮交互中的视觉变化感知能力，在跨图像空间聚合、多目标视觉差异和轨迹行为克隆等任务上取得一致改进。
Comments Project page: https://statefulvisualencoders.github.io/
大型推理模型是否可中断？
机构 * University of California, Berkeley（加州大学伯克利分校）
AI总结 研究大型推理模型在中断和动态上下文两种现实动态场景下的鲁棒性，发现静态评估高估了鲁棒性，并揭示了推理泄漏、恐慌和自我怀疑等新故障模式。
Comments ICML 2026; Project Page: http://dynamic-lm.github.io
迟到也不晚：通过噪声优化在训练好的扩散模型中恢复崩溃
机构 * UC Berkeley（加州大学伯克利分校） ； University of Tübingen, Tübingen AI Center（图宾根大学，图宾根人工智能中心） ； TU Munich, MCML（慕尼黑工业大学，MCML）
AI总结 本文通过噪声优化提升扩散模型生成多样性，减少模式崩溃，同时保持基础模型的保真度。
Comments CVPR 2026. Project page at https://akoepke.github.io/divgen/index.html
LoGeR：长上下文几何重建与混合记忆
AI总结 LoGeR通过混合记忆模块实现长序列的高精度3D重建，无需后优化，有效解决长视频中的上下文一致性问题，优于现有方法。
Comments Project page: https://LoGeR-project.github.io/
通过交错多模态推理的视觉-反图形代理
机构 * University of California, Berkeley（加州大学伯克利分校） ； Carnegie Mellon University（卡内基梅隆大学） ； Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所） ； Impossible, Inc.（Impossible公司）
AI总结 本文提出VIGA框架，通过符号逻辑与视觉感知的交叉验证，解决视觉语言模型在单次设置中重建图像的挑战，支持2D文档生成、3D重建等任务。
Comments Project page: https://fugtemypt123.github.io/VIGA-website/
通过随机玩具学习抓取任何物体
机构 * University of California, Berkeley（加州大学伯克利分校） ； Sapienza University of Rome（罗马大学） ； ItalAI ； Panasonic（松下）
AI总结 本文通过随机组装的简单玩具训练机器人，使其具备泛化抓取能力，采用对象中心视觉表示实现零样本性能，实现在YCB数据集上的67%抓取成功率。
针对LAION-400M的人为中心标注：审查偏见及其在模型中的转移
机构 * Technical University of Munich, Munich Center for Machine Learning (MCML), MDSI（慕尼黑工业大学，慕尼黑机器学习中心（MCML），MDSI） ； LTCI, Télécom Paris, Institut Polytechnique de Paris, France（法国巴黎理工学院，巴黎电信学院，LTCI） ； Helmholtz Munich（亥姆霍兹慕尼黑中心） ； University of California, Berkeley（加州大学伯克利分校）
AI总结 本文通过创建LAION-400M的人为中心标注，揭示了训练数据中存在的人口统计学偏见，并展示了这些偏见如何转移到视觉-语言模型中。
Comments ICLR 2026
先关注再注意：通过自回归注视实现高效的可扩展视频理解
机构 * UC Berkeley（伯克利大学） ； MIT（麻省理工学院） ； Clarifai（Clarifai公司） ； NVIDIA（英伟达公司）
AI总结 AutoGaze通过自回归选择视频中的关键块，减少冗余并提升处理效率，使大语言模型能处理长视频并取得更优表现。
Comments CVPR 2026. Project page: https://autogaze.github.io/
Search Arena: 分析增强搜索的大型语言模型
机构 * University of California, Berkeley（加州大学伯克利分校）
AI总结 Search Arena 是一个大规模众包数据集，用于分析增强搜索的LLMs，揭示用户偏好受引用数量影响，并发现不同来源的可靠性差异。
Comments Accepted to ICLR 2026. Code: https://github.com/lmarena/search-arena. Dataset: https://huggingface.co/datasets/lmarena-ai/search-arena-24k
EgoScale：利用多样化的视点人类数据进行规模化灵巧操作
机构 * NVIDIA ； University of California, Berkeley（加州大学伯克利分校） ； University of Maryland（马里兰大学）
AI总结 EgoScale通过大规模视点人类数据训练视觉语言动作模型，实现高效的灵巧操作转移，提升机器人任务成功率54%。
基于图像的快速神经光照与透明-反射建模
AI总结 本文提出了一种快速神经3D重建和光照模型，能够利用IBL重新照明复杂材料，如透明和光泽反射，实现逼真效果。
Comments v2: Major revision and bug fix: New method with significantly improved results. Corrects an error in v1 (arXiv:2306.09322v1) in the evaluation of baseline NRTF due to an implementation bug. Results in v2 supersede those in v1
学习大语言模型激活的生成元模型
AI总结 本研究通过训练扩散模型学习大语言模型激活的分布，提出生成元模型以提升干预保真度和可解释性。
通过视觉提示的基准测试出人意料地脆弱
机构 * UC Berkeley（加州大学伯克利分校）
AI总结 研究发现视觉提示基准测试对细节敏感，通过创建VPBench减少不稳定性。
DAVE: 一种用于文档理解与网络代理的视觉编码器
机构 * MIT-IBM Watson AI Lab（MIT-IBM Watson AI实验室） ； UC Berkeley（加州大学伯克利分校） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
AI总结 DAVE是一种专为文档理解和网络代理设计的视觉编码器，通过自监督和监督预训练结合模型融合策略，提升对文档和网络任务的适应性与性能。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈