AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
长话短说：基于2万部短片的故事级视频理解
机构 * Ecole Polytechnique（巴黎综合理工学院） ； IP Paris（巴黎理工学院） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学）
专题命中 视觉问答 ：vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 针对现有视频理解数据集的局限，本文构建了2万部业余电影组成的SF20K数据集及配套问答基准，验证其数据泄露有限，证明指令微调可提升VLMs在长期视频理解上的性能。
Comments International Journal of Computer Vision (IJCV)
MemoryCard: 面向长视频问答的主题感知多模态线索压缩
机构 * School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院） ； Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） ； Digital China Group（数字中国集团）
专题命中 视觉问答 ：vision-language model(abstract)；分类 cs.CV
AI总结 提出MemoryCard框架，通过将长视频分割为主题事件单元并生成事件级摘要和代表性视觉时刻，以记忆卡形式增强VLMs的长视频问答能力，在相同视觉令牌预算下准确率提升高达21.8%。
Comments 23 pages, 8 figures
GHR-VLM：通过基于视觉基础的混合推理实现零样本公交视频分析
机构 * Rensselaer Polytechnic Institute（伦斯勒理工学院）
专题命中 视觉推理 ：VLM(title,title_cn)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI
AI总结 研究旨在实现零样本公交视频分析，提出GHR-VLM框架，利用边缘-云设计，通过轻量级边缘监视器跟踪门状态、分割乘客片段，后端VLM经两阶段细化识别乘客与支付行为，减少云推理，评估显示其在公交支付分析中有潜力且面临视频条件挑战。
Comments Accepted by 2026 IEEE/ACM Symposium on Edge Computing (SEC)
CompareBench: 一个用于评估视觉比较推理能力的视觉-语言模型基准
机构 * OPPO AI Center（OPPO人工智能中心）
专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI
AI总结 CompareBench是一个用于评估视觉-语言模型中视觉比较推理能力的基准，揭示了当前模型在时间排序、空间关系和基本计数上的局限性。
Doc-CoB：通过视觉链式框推理增强文档理解
机构 * Zhejiang Key Laboratory of Accessible Perception and Intelligent Systems, Zhejiang University（浙江可感知与智能系统重点实验室，浙江大学） ； Alibaba Group（阿里巴巴集团） ； Shanghai AI Laboratory（上海人工智能实验室）
专题命中 视觉推理 ：visual reasoning(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 提出Doc-CoB框架，通过粗到细的布局感知视觉推理，结合多模态大语言模型，逐步聚焦查询相关布局区域，提升文档理解性能。
认知链式推理（CoCoT）：关于社会情境的结构化多模态推理
机构 * Seoul National University（首尔国立大学） ； Human-Computer Interaction Institute, Carnegie Mellon University（人机交互研究所，卡内基梅隆大学） ； Language Technologies Institute, Carnegie Mellon University（语言技术研究所，卡内基梅隆大学）
专题命中 视觉推理 ：VLM(abstract,abstract_cn)；分类 cs.AI
AI总结 本文提出CoCoT框架，通过感知、情境推断和规范应用三个阶段提升多模态社会推理能力，在多个任务中取得显著提升。
Comments COLM 2026
顺序很重要：面向视觉-语言推理的中文多面板梗图基准
机构 * Shanghai Maritime University（上海海事大学） ； Dalian Maritime University（大连海事大学）
专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV
AI总结 该研究推出中文多面板梗图基准CMPM，评估大型视觉-语言模型对梗图的顺序感知推理能力，发现模型在打乱顺序时准确率大幅下降，Gemini 3.1 Pro和GPT-5.5表现优于开源模型。
RegCL：用于多感官媒体视觉 grounding 的紧凑持续 SAM 适配方法
机构 * Wangxuan Institute of Computer Technology, Peking University, China（北京大学计算机科学技术研究院）
专题命中 视觉定位与Grounding ：grounding(title,title_cn)；分类 cs.CV、cs.LG
AI总结 针对多感官媒体中 SAM 在动态领域性能下降的问题，提出非重放持续适配框架 RegCL，通过合并轻量适配模块实现紧凑部署，在五数据集实验中优于基线方法。
超越置信度：基于检索 grounding 的多轮搜索智能体测试时缩放
机构 * University of Southern California（南加州大学） ； Pohang University of Science and Technology (POSTECH)（浦项科技大学） ； Tsinghua University（清华大学） ； Carnegie Mellon University（卡内基梅隆大学）
专题命中 视觉定位与Grounding ：grounding(title,title_cn)；分类 cs.AI
AI总结 针对多轮搜索智能体中基于置信度投票因复制膨胀失效的问题，提出检索接地投票（RGV）方法，在四个基准和五个 LLM 上性能优于基线，准确率最高提升 5.4%
Comments Accepted to EMNLP 2026 Findings
别让视频说话：面向音频-视觉语言模型的音频对比偏好优化
机构 * University of Texas at Austin（德克萨斯大学奥斯汀分校）
专题命中 视觉定位与Grounding ：visual language model(title,abstract)；grounding(abstract)；分类 cs.CV
AI总结 本文提出ACPO方法，通过引入输出对比和输入对比目标，解决音频-视觉语言模型中视频驱动的音频幻觉问题，提升音频真实性和多模态能力。
Comments ECCV 2026 camera-ready version. Project page: this https URL (https://vision.cs.utexas.edu/projects/acpo/)
SHROOM-Visions 2026概览：大型视觉语言模型幻觉检测共享任务
机构 * University of Helsinki（赫尔辛基大学） ； Politecnico di Torino（都灵理工大学） ； Université Bretagne Sud（南布列塔尼大学） ； University of Copenhagen（哥本哈根大学） ； University Grenoble Alpes（格勒诺布尔阿尔卑斯大学） ； University of Lorraine（洛林大学）
专题命中 视觉定位与Grounding ：vision-language model(title,abstract)
AI总结 本文介绍了2026年在EMNLP 2026同期举办的SHROOM-Visions共享任务，该任务针对大型视觉语言模型的幻觉检测，依托SHEEP数据集开展，吸引27支团队提交600余个系统，最优系统较基线提升30-40个百分点。
Comments Under review
XP-JEPA：用于可预测潜在动力学的交叉预测物理基础
专题命中 视觉定位与Grounding ：grounding(title)；分类 cs.LG
AI总结 XP-JEPA通过将视觉与物理表征交叉预测，提升了潜在动力学的可预测性，在多任务套件上降低了展开漂移并提高了控制成功率，无需特权输入即可实现更优的基于展开的控制性能。
Comments Under review
FENCE：一个金融和多模态越狱检测数据集
专题命中 视觉定位与Grounding ：vision language model(abstract)；VLM(abstract_cn)；分类 cs.AI
AI总结 针对金融领域多模态越狱检测资源匮乏的问题，提出FENCE数据集，包含韩英双语文本和图像，用于训练和评估检测器，实验表明基线检测器准确率达99%。
Comments lrec 2026 accepted paper
GRAFT：面向精细机器人操作的 grounded 高效在线强化适应
机构 * Suzhou Institute for Advanced Research, University of Science and Technology of China（中国科学技术大学苏州高等研究院） ； School of Biomedical Engineering, Division of Life Sciences and Medicine, University of Science and Technology of China（中国科学技术大学生命科学与医学部生物医学工程学院）
专题命中 视觉定位与Grounding ：grounding(abstract,abstract_cn)
AI总结 GRAFT是一种高效在线VLA适应框架，通过特定视角视觉锚点聚焦任务相关线索，在四项生物医学操作任务中提升25个百分点成功率并降低计算开销。
JuryProbe：用于将无参考事实性评判小组路由至基于事实的验证的经验共识风险诊断方法
专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI、cs.LG
AI总结 针对无参考事实性LLM评判小组的共识风险诊断方法JuryProbe，通过校准路由策略减少假阴性盲区导致的错误，在FEVER数据上验证了其有效性，可降低假接受并减少参考获取。
Comments Accepted at Transactions on Machine Learning Research (TMLR), 08/2026. 21 pages, 1 figure, 16 tables
分段对话，整体感知：面向语言型目标检测的解耦分层表示学习
机构 * Korea University（韩国大学） ； University of Seoul（首尔大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
专题命中 视觉定位与Grounding ：vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 针对视觉-语言模型难以处理复杂语言查询的问题，提出TaSe框架，构建分层合成字幕数据集与三组件解耦模块，在OmniLabel基准上实现24%的性能提升。
Comments Accepted by EMNLP 2026
CLASVS：用于歌声合成中保留旋律的歌词编辑的连续潜变量自回归
专题命中 视觉定位与Grounding ：grounding(abstract)
AI总结 CLASVS是用于歌声合成的连续潜变量自回归模型，通过SCT路由与PSCG方法实现保留旋律的歌词编辑，在普通话基准上优于离散自回归Vevo2，降低46.2%的宏观音素错误率。
一种可重复的方法用于空间天气风险评估中的电力输电基础设施映射
专题命中 视觉定位与Grounding ：grounding(abstract)
AI总结 本文提出一种可重复的方法，通过开放源码子站数据收集，利用创新的网页浏览器平台将OpenStreetMap子站位置转换为高分辨率的电力输电资产映射，用于空间天气风险评估。
DocPC：基于代表性页面组合的文档级视觉检索
专题命中 文档图表理解 ：vision-language model(abstract)
AI总结 针对现有视觉文档检索以页面为中心的问题，提出DocPC框架，通过组合代表性页面实现文档级索引，在DocViRe基准上性能优于最强页面级基线且存储成本大幅降低。
Comments 15 pages, 5 figures, 8 tables
面向具身控制的动作与语言条件视频评估
机构 * Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院） ； School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院电气工程学院）
专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV
AI总结 该研究提出ALVA轨迹评估器，结合视觉观测、动作序列与语言指令评估具身控制任务，在模拟3D家庭环境中误报率低，作为反馈机制可提升闭环策略优化效果。
Comments 21 pages, 7 figures. v2: updated Funding section
描述-然后-行动：通过蒸馏的语言-动作世界模型实现前瞻性智能体导航
机构 * Sapienza University of Rome, Italy（罗马大学萨皮恩扎） ； Inria, Univ. Grenoble Alpes, CNRS, LJK（法国国家信息与自动化技术研究所）
专题命中 GUI与屏幕智能体 ：vision language model(abstract)；分类 cs.AI
AI总结 本文提出DILLO模型，通过蒸馏方法实现无需视觉模拟的前瞻性智能体导航，提升任务成功率。
谱查询-键乘积权重引导用于免训练VLM幻觉缓解
机构 * Indian Institute of Science, Bengaluru（印度科学理工学院，班加罗尔） ； Snap Research（Snap 研究院）
专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV
AI总结 提出QK乘积引导，一种无数据、免训练、零推理成本的权重编辑方法，通过抑制中间层主导奇异模式减少对象幻觉，在三个GQA基VLM上平均降低CHAIR$_s$ 4.0%。
Comments Published at the Workshop on Actionable Interpretability at COLM 2026, EMNLP Conference 2026
面向上下文感知安全的多模态大语言模型解码引导
机构 * University of Notre Dame（notre dame 大学） ； University of Washington（华盛顿大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Georgia Institute of Technology（佐治亚理工学院）
专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.AI
AI总结 针对多模态大语言模型安全对齐的平衡难题，提出SafeCoDe解码框架，通过两阶段机制优化上下文敏感的弃权行为，在多基准实验中有效提升安全性能且保留模型有用性。
Comments EMNLP 2026 Main
脚手架效应：提示框架如何驱动临床VLM评估中的表面多模态增益
机构 * Technical University of Darmstadt（达姆施塔特技术大学）
专题命中 VLM训练与架构 ：VLM(title_cn,summary_cn)；vision-language model(title,abstract)；分类 cs.AI、cs.LG
AI总结 研究发现，在临床VLM评估中，提示中提及MRI可用性即可解释70-80%的性能提升，与图像数据是否存在无关，这种“脚手架效应”揭示了表面评估无法反映真实多模态推理能力。
Comments Accepted to EMNLP 2026 Main Conference
SoulGard-VL-2B：用于边缘端猫行为理解的视觉语言模型
专题命中 VLM训练与架构 ：VLM(summary_cn,abstract)；vision-language model(title,abstract)
AI总结 本研究提出基于Qwen3-VL-2B后训练得到的边缘端VLM SoulGard-VL-2B，结合多阶段后训练方案，在RK3576芯片上实现高准确率与低延迟，可生成猫行为JSON结构化输出，提升了动物VLM的实用性。
GraSP-VL: 长度作为视觉-语言表示的语义粒度接口
机构 * University of the Chinese Academy of Sciences（中国科学院大学）
专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV
AI总结 本文研究如何将嵌入长度转化为可控的语义访问接口，提出GraSP-VL方法，通过学习共享的近正交前缀变换，实现视觉-语言嵌入的语义层次递进接口，并在多个数据集上验证了其有效性。
Comments 17 pages (9 pages of main text, plus references and appendix), 7 figures, and 13 tables. Accepted to EMNLP 2026 Main Conference. Project page: this https URL (https://lizesheng13.github.io/Grasp-VL/)
电话游戏：评估统一模型中的语义漂移
机构 * Center For Research in Computer Vision, University of Central Florida, USA（计算机视觉研究中心，中央佛罗里达大学）
专题命中 VLM训练与架构 ：VLM(abstract)；visual language model(abstract)；分类 cs.CV
AI总结 该研究提出语义漂移协议（SDP）等方法，评估统一模型在交替执行图像-文本理解与生成时的语义漂移，发现现有孤立基准无法预测模型的多轮表现，为统一模型可靠性评估提供了更准确的方案。
通过知识性经验学习对齐代理世界模型
机构 * Zhejiang University（浙江大学） ； University of California, Los Angeles（加州大学洛杉矶分校）
专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV、cs.AI、cs.LG
AI总结 WorldMind通过知识性经验学习对齐代理世界模型，解决物理模拟中的幻觉问题，实现跨环境的高效迁移。
Comments EMNLP 2026 Findings
通过双自一致性强化学习实现科学图形程序合成
机构 * Zhejiang University（浙江大学） ； Shanghai Artificial Intelligence Laboratory, OpenDataLab（上海人工智能实验室，OpenDataLab） ； Shanghai Jiao Tong University（上海交通大学） ； Peking University（北京大学）
专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出双自一致性强化学习框架，结合高质量数据集和多维基准，提升科学图形到可编辑TikZ代码的转换能力，实现视觉与结构的高精度优化。
PRISM：免训练多模态数据选择的自剪枝内在选择方法
机构 * LMU Munich（慕尼黑大学） ； Munich Research Center, Huawei Technologies（慕尼黑研究中心，华为技术） ； METEOR ； School of Computer Science, Wuhan University（武汉大学计算机学院） ； Munich Center for Machine Learning（慕尼黑机器学习中心）
专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 针对多模态大语言模型视觉指令数据冗余问题，提出一种免训练框架PRISM，通过隐式重中心化消除视觉特征各向异性导致的全局语义漂移，实现高效数据选择，在降低计算成本的同时提升模型性能。
Comments Accepted to EMNLP 2026 and selected for the ACL 2026 Best Paper Consideration
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈