AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
Director: 用于动态场景建模与理解的实例感知高斯点云
机构 * ShanghaiTech University（上海科技大学） ； ByteDance（字节跳动）
专题命中 视觉定位与Grounding ：multimodal large language model(abstract)；分类 cs.CV
AI总结 Director通过联合建模人类性能、高保真渲染和实例级语义，实现动态场景的时空高斯表示，提升动态场景理解的稳定性与准确性。
Comments Project page: https://caiyw2023.github.io/Director/
IGLOSS：面向激光雷达开放词汇语义分割的图像生成
机构 * LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS（LIGM, 巴黎高科桥梁学院, 古斯塔夫·埃菲尔大学, 法国国家科学研究中心）
专题命中 视觉定位与Grounding ：vision language model(abstract)；分类 cs.CV
AI总结 本文提出一种新的方法，用于3D汽车激光雷达数据的零样本开放词汇语义分割。通过文本生成图像创建原型，利用2D视觉基础模型提取3D网络特征，实现点云标注，方法在nuScenes和SemanticKITTI上达到最新水平。
DOne：解耦结构与渲染以实现高保真设计到代码生成
机构 * HKUST (Guangzhou)（香港科技大学（广州）） ； Alibaba Group（阿里巴巴集团） ； HKUST（香港科技大学） ； University of Electronic Science（电子科技大学） ； Zhejiang Lab（之江实验室）
专题命中 视觉定位与Grounding ：vision language model(abstract)；分类 cs.CV
AI总结 DOne通过解耦结构理解与元素渲染，提升设计到代码生成的高保真度，通过布局分割模块、混合元素检索器和模式引导生成范式，克服了现有方法在结构与细节协调上的不足。
ReFormeR：学习和应用显式查询改写模式
机构 * University of Waterloo（滑铁卢大学） ； University of Toronto（多伦多大学） ； University of California, Berkeley（加州大学伯克利分校）
专题命中 视觉定位与Grounding ：grounding(abstract)
AI总结 ReFormeR通过提取并整合查询改写模式，引导LLM进行受控的改写操作，提升检索效果。
多模态和对话式AI对学习成果和体验的影响
机构 * Georgia Institute of Technology（佐治亚理工学院） ； University of Texas at Austin（德克萨斯大学奥斯汀分校）
专题命中 文档图表理解 ：multimodal large language model(abstract)；分类 cs.AI
AI总结 本研究比较了三种生物学学习方法，发现多模态对话式AI在学习成果和体验上表现最佳，但文本仅对话式AI虽易用但效果最差，揭示了认知负荷理论下的学习效果与感知之间的差异。
Comments 16 pages, 3 figures, Accepted to AIED 2026 (Seoul, South Korea)
MM-ReCoder：通过强化学习和自我校正推进图表到代码生成
机构 * Brown University（布朗大学） ； Amazon AGI（亚马逊AGI）
专题命中 文档图表理解 ：multimodal large language model(abstract)；分类 cs.AI
AI总结 MM-ReCoder通过强化学习和自我校正机制提升图表到代码生成能力，其两阶段多轮自我校正策略基于Group Relative Policy Optimization，提升代码准确性和可执行性。
Comments CVPR 2026
一张图片足矣：通过单张图片对视觉文档检索增强生成进行污染攻击
机构 * The Alan Turing Institute（艾伦·图灵研究所） ； University College London（伦敦大学学院）
专题命中 文档图表理解 ：vision language model(abstract)；分类 cs.CV
AI总结 本文研究了视觉文档检索增强生成（VD-RAG）对污染攻击的脆弱性，通过单张恶意图片实现针对性和通用性攻击，展示了VD-RAG在目标和通用设置下的漏洞，但在黑盒攻击下表现出一定的鲁棒性。
Comments Published in Transactions on Machine Learning Research (03/2026)
Journal ref Transactions on Machine Learning Research (TMLR), 2026
AffordTissue: 密集的工具-动作特定组织交互 affordance 预测
机构 * Johns Hopkins University（约翰霍普金斯大学）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出AffordTissue框架，通过多模态方法预测手术中工具-动作特定的组织affordance区域，改进了视觉语言模型在密集手术affordance预测中的表现，为安全手术自动化提供空间推理。
生成世界渲染器
机构 * Alaya Studio, Shanda AI Research Tokyo（Alaya工作室，盛大人工智能研究院东京） ； National Taiwan University（国立台湾大学） ； The University of Tokyo（东京大学） ； National Yang Ming Chiao Tung University（国立阳明交通大学）
专题命中 GUI与屏幕智能体 ：VLM(abstract)；分类 cs.CV
AI总结 本文提出一个大规模动态数据集，用于解决生成逆向和正向渲染在现实场景中的限制，通过双屏拼接方法提取400万帧数据，提升渲染真实性和时间一致性，并提出新的评估协议。
Comments Project page: https://alaya-studio.github.io/renderer/
UniDriveVLA: 联合理解、感知与行动规划以实现自动驾驶
机构 * Huazhong University of Science and Technology（华中科技大学） ； SKL-IOTSC, University of Macau（澳门大学智慧城市物联网国家重点实验室）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV
AI总结 UniDriveVLA通过专家解耦和三阶段训练策略，解决自动驾驶中感知与推理的冲突，实现空间感知与语义推理的统一，取得nuScenes和Bench2Drive的优异性能。
Comments code has been released at https://github.com/xiaomi-research/unidrivevla
基于运行时安全监督的因果场景叙述用于视觉-语言-动作驾驶
机构 * Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院） ； TIER IV, Inc.（TIER IV 公司）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI
AI总结 本文提出CSN方法，通过意图约束对齐、定量 grounding 和结构分离重构VLA文本输入，提升驾驶评分并增强安全性。
Comments 18 pages, 6 figures, 4 tables
多读多想：重新审视网络代理中的观察缩减
机构 * NEC Corporation（日本电气股份有限公司）
专题命中 GUI与屏幕智能体 ：grounding(abstract)
AI总结 本文研究网络代理中观察缩减的优化问题，发现模型能力和思考token预算影响观察表示选择，高能力模型适合详细HTML观察，低能力模型适合紧凑的访问树观察，同时引入diff-based表示提升效率。
偏差是子空间，而非坐标：视觉-语言模型中事后去偏的几何重思
机构 * Harvard University（哈佛大学） ； MIT（麻省理工学院）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG
AI总结 本文提出SPD框架，通过几何方法识别并去除线性可解码的偏子空间，提升视觉-语言模型的公平性与任务性能。
Comments Accepted at the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2026
PRISM：面向多模态集成安全的原理化推理对齐
机构 * Johns Hopkins University（约翰霍普金斯大学） ； Cornell University（康奈尔大学） ； Stanford University（斯坦福大学） ； NVIDIA（英伟达）
专题命中 幻觉与鲁棒性 ：VLM(title)；vision-language model(abstract)；分类 cs.AI
AI总结 PRISM通过结构化四阶段推理过程，有效应对多模态安全违规，提升VLM的鲁棒性与安全性，同时保持模型实用性。
从高维空间到可验证的ODD覆盖以保障安全关键的AI系统
机构 * Institute for AI Safety and Security, German Aerospace Center (DLR)（德国航空航天中心（DLR）人工智能安全与安保研究所）
专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出一种整合参数离散化、约束过滤和关键性驱动降维的方法，用于验证高维空间中AI系统的ODD覆盖，满足EASA对完整性的要求。
Sci-Mind：基于认知的对抗辩论用于自主数学建模
专题命中 幻觉与鲁棒性 ：grounding(abstract)
AI总结 Sci-Mind通过模仿人类科学发现过程，结合经验记忆回溯和对抗性认知辩证，提升自主数学建模的严谨性和代码可执行性。
机器人崩溃：针对基于VLM的机器人操控的供应链后门攻击
机构 * City University of Hong Kong（香港城市大学） ； Huazhong University of Science and Technology（华中科技大学） ； Beihang University（北京航空航天大学） ； Griffith University（格里菲斯大学）
专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.AI
AI总结 本文提出TrojanRobot框架，通过在模块化机器人策略中嵌入恶意模块，操控LLM到VLM路径，验证了在18个真实任务和4个VLM上的优越性。
长尾分布感知的混合专家路由器：用于大规模视觉-语言模型的混合专家架构
机构 * School of Software Technology, Zhejiang University（浙江大学软件学院） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； School of Electronic and Information, Shanghai Dianji University（上海电机学院电子信息学院）
专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV
AI总结 本文提出LTDR路由器，针对视觉-语言混合专家架构中的长尾分布问题，通过模态特定的分布感知路由和动态专家激活策略，提升模型性能。
即兴、适应、克服——用于医疗影像中视觉语言模型高效微调的望远镜适配器
机构 * Centre for Artificial Intelligence and Robotics, Indian Institute of Technology Mandi（印度理工学院曼迪分校人工智能与机器人中心）
专题命中 VLM训练与架构 ：vision language model(title)；分类 cs.CV、cs.AI
AI总结 本文提出望远镜适配器，通过深度感知缩放提升视觉语言分割模型在医疗影像中的微调效率，仅用613k参数在五个数据集上取得优异性能。
Comments Accepted at the IEEE/CVF winter conference on applications of computer vision (WACV 2026)
VLMs在天空与空间之间迷失了吗？LinkS$^2$Bench用于无人机-卫星动态跨视角空间智能
机构 * Xidian University（西安电子科技大学） ； Qinghai Normal University（青海师范大学） ； Sun Yat-sen University（中山大学）
专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV
AI总结 本文提出LinkS$^2$Bench，首个评估VLMs跨视角空间智能的综合基准，通过动态无人机视频与高分辨率卫星图像构建17.9k高质量问题-答案对，揭示VLMs在动态跨视角对齐中的性能瓶颈，并提出跨视角对齐适配器提升模型表现。
为生成推荐系统中的新词汇提供基础性词 token 初始化
机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； LinkedIn Corporation（领英公司） ； Northeastern University（东北大学） ； University of California, Davis（加州大学戴维斯分校）
专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出GTI方法，通过在预训练嵌入空间中语义地初始化新词汇，提升生成推荐系统性能，优于传统均值初始化和辅助任务适应方法。
Omni123：通过统一文本到2D和3D生成探索有限3D数据的3D原生基础模型
机构 * FNii-Shenzhen（FNii-深圳） ； SSE, CUHK(SZ)（香港中文大学（深圳）理工学院） ； Meshy AI
专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 Omni123通过统一文本到2D和3D生成，利用文本-图像-3D的跨模态一致性作为隐式约束，提升3D生成的几何一致性与语义对齐。
在早期教育中的日常活动图像描述：基准和算法
机构 * School of Robotics, Beijing Union University（北京联合大学机器人学院） ； College of Computer and Cyber Security, Hebei Normal University（河北师范大学计算机与网络安全学院） ； Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所） ； National Laboratory of Pattern Recognition (NLPR), Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所模式识别国家重点实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)（中国科学院大学人工智能学院） ； PeopleAI, Inc.（人民人工智能公司） ； People Youhe Education Technology Co., Ltd.（人民优和教育科技有限公司）
专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出ECAC基准和RSRS算法，通过专家标注和细粒度标签提升早期教育图像描述的专业性，实验显示KinderMM-Cap-3B在TTS上表现优异。
结构是监督：用于放射学的多视图掩码自编码器
机构 * Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系） ； Department of Computer Science, UC Irvine（加州大学尔湾分校计算机科学系） ； Department of Quantitative Biomedicine, University of Zurich（苏黎世大学定量生物医学系）
专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV、cs.LG
AI总结 本文提出多视图掩码自编码器（MVMAE），通过利用放射学研究的多视图结构学习视图不变和疾病相关表征，并在三个公开数据集上验证了其在疾病分类任务中的优越性能。
Journal ref Transactions on Machine Learning Research (TMLR) 2026
流媒体视频理解的简单基线
机构 * S-Lab, Nanyang Technological University（南洋理工大学S-Lab）
专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV
AI总结 本文提出SimpleStream基线，通过滑动窗口仅使用最近N帧输入现成的VLM，在OVO-Bench和StreamingBench上表现优异，揭示了长上下文对性能的非线性影响及感知与记忆的权衡。
Comments Project page: https://simple-stream.github.io/
为手术基础模型扩展视频预训练
机构 * The Johns Hopkins University（约翰霍普金斯大学） ； Zhejiang University（浙江大学） ； Zhejiang University-University of Illinois Urbana-Champaign Institute（浙江大学伊利诺伊大学厄巴纳-香槟分校联合学院） ； Zhejiang Lab（之江实验室） ； Shaoxing University（绍兴大学） ； Angelalign（时代天使） ； Harvard Medical School（哈佛医学院）
专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV
AI总结 本文提出SurgRec，通过大规模数据和统一预训练流程提升手术视频理解能力，对比SSL基线和视觉语言模型，展示SurgRec在多个下游任务中的优越性能。
HieraVid：用于快速视频大语言模型的分层令牌修剪
机构 * Xiamen University（厦门大学）
专题命中 VLM训练与架构 ：LLaVA(abstract)；分类 cs.CV
AI总结 HieraVid通过分层修剪框架减少视频令牌冗余，提升视频大语言模型的效率，在保留性能的同时实现30%的令牌保留率。
MuCo：多轮对比学习用于多模态嵌入模型
专题命中 其他VLM ：multimodal large language model(abstract)
AI总结 本文提出MuCo，一种基于对话的多轮对比学习框架，通过多轮查询-目标对提升多模态嵌入模型的训练效率和表征一致性。
Comments CVPR 2026 camera-ready; 22 pages
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈