视觉大模型 / VLM

Explicit Abstention Knobs for Predictable Reliability in Video Question Answering

可预测可靠性中的显式回避调节器用于视频问答

Jorge Ortiz

机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） ； Rutgers University（罗格斯大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出通过置信度阈值控制视频问答中的错误率，验证了在分布偏移下置信度回避机制的可靠性。

Comments Preprint. Diagnostic study of confidence-based abstention under evidence truncation

MoST: Mixing Speech and Text with Modality-Aware Mixture of Experts

MoST：通过模态感知混合专家混合语音和文本

Yuxuan Lou, Kai Yang, Yang You

机构 * School of Computer Science, National University of Singapore（新加坡国立大学计算机科学学院） ； School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 MoST通过模态感知混合专家架构，实现语音和文本的高效融合，首次公开了基于混合专家的语音-文本大语言模型。

ROMA: Real-time Omni-Multimodal Assistant with Interactive Streaming Understanding

ROMA: 实时多模态助手与交互式流式理解

Xueyun Tian, Wei Li, Bingbing Xu, Heng Dong, Yuanzhuo Wang, Huawei Shen

机构 * CAS Key Laboratory of AI Safety, Institute of Computing Technology, CAS, Beijing, China（中国科学院人工智能安全重点实验室，计算技术研究所，中国科学院，北京，中国） ； University of Chinese Academy of Sciences, Beijing, China（中国科学院大学，北京，中国） ； Tsinghua University, Beijing, China（清华大学，北京，中国） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 ROMA通过实时多模态处理和交互式流式理解，实现统一的反应性和主动性交互，展现强大的多模态处理能力。

Comments Our project page is available at https://eureka-maggie.github.io/ROMA_show

Optimizing Multimodal LLMs for Egocentric Video Understanding: A Solution for the HD-EPIC VQA Challenge

优化多模态大语言模型以实现视角视频理解：HD-EPIC VQA挑战的解决方案

Sicheng Yang, Yukai Huang, Shitong Sun, Weitong Cai, Jiankang Deng, Jifei Song, Zhensong Zhang

专题命中 视觉问答 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出一种优化多模态大语言模型的方法，通过预处理、微调和时间链式思考提示，在HD-EPIC VQA挑战中实现了41.6%的准确率。

Comments 4 pages, 1 figure, CVPR 2025 EgoVis Workshop, 2nd Place in HD-EPIC Challenge

Influential Training Data Retrieval for Explaining Verbalized Confidence of LLMs

用于解释大语言模型 verbalized 自信心的有影响力训练数据检索

Yuxi Xia, Loris Schoenegger, Benjamin Roth

机构 * Faculty of Computer Science, University of Vienna, Vienna, Austria（维也纳大学计算机科学系） ； UniVie Doctoral School Computer Science, Vienna, Austria（UniVie计算机科学博士学院） ； Faculty of Philological and Cultural Studies, University of Vienna, Vienna, Austria（维也纳大学语言与文化研究系） 纠错

专题命中 视觉问答 ：grounding(abstract)

AI总结 TracVC通过追踪训练数据来解释LLMs表达自信心的来源，揭示了模型可能依赖无关数据模仿自信，而非真实内容基础。

Smooth Operator: Smooth Verifiable Reward Activates Spatial Reasoning Ability of Vision-Language Model

平滑操作符：平滑可验证奖励激活视觉-语言模型的空间推理能力

Siwen Jiao, Tianxiong Lv, Kangan Qian, Chenxu Zhao, Xiuyuan Zhu, Tianlun Li, Xiaolong Cheng, Jinyu Li, Zhihao Liao, Yang Cai

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出平滑可验证奖励激活方法，通过平滑操作符和绝对保持GRPO框架提升视觉-语言模型对3D场景的理解能力，实现性能与数据效率的平衡。

RTV-Bench: Benchmarking MLLM Continuous Perception, Understanding and Reasoning through Real-Time Video

RTV-Bench: 通过实时视频对多模态大语言模型的连续感知、理解和推理进行基准测试

Shuhang Xun, Sicheng Tao, Jungang Li, Yibo Shi, Zhixin Lin, Zhanhui Zhu, Yibo Yan, Hanqian Li, Linghao Zhang, Shikang Wang, Yixin Liu, Hanbo Zhang, Ying Ma, Xuming Hu

机构 * HIT（哈尔滨工业大学） ； HKUST (GZ)（香港科技大学（广州）） ； HKUST（香港科技大学） ； XJTU（西安交通大学） ； SDU（山东大学） ； CityU（城市大学） ； HUST（华中科技大学） 纠错

专题命中 视觉推理 ：MLLM(title)；multimodal large language model(abstract)；分类 cs.CV

AI总结 RTV-Bench通过实时视频对多模态大语言模型的连续感知、理解和推理能力进行细粒度基准测试，揭示了实时模型在长时段视频处理中的性能优势与局限。

Comments Accepted by NeurIPS 2025 Datasets and Benchmarks Track;

Advancing Adaptive Multi-Stage Video Anomaly Reasoning: A Benchmark Dataset and Method

推动自适应多阶段视频异常推理：一个基准数据集和方法

Chao Huang, Benfeng Wang, Wei Wang, Jie Wen, Li Shen, Wenqi Ren, Yong Xu, Xiaochun Cao

机构 * School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University（中山大学计算机科学与技术学院（深圳校区）） ； Shenzhen Key Laboratory of Visual Object Detection and Recognition, Harbin Institute of Technology（哈尔滨工业大学深圳视觉目标检测与识别重点实验室） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出视频异常推理任务及相应数据集，通过结构化思维链和自适应策略优化，提升多阶段视频异常推理能力。

V-Zero: Self-Improving Multimodal Reasoning with Zero Annotation

V-Zero：基于零标注的自改进多模态推理

Han Wang, Yi Yang, Jingyuan Hu, Minfeng Zhu, Wei Chen

机构 * State Key Laboratory of CAD&CG（计算机辅助设计与图形学国家重点实验室） ； Zhejiang University（浙江大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 V-Zero通过自改进机制在无需人工标注的情况下提升多模态模型的视觉数学推理和通用视觉能力。

CoF-T2I: Video Models as Pure Visual Reasoners for Text-to-Image Generation

CoF-T2I: 视频模型作为纯视觉推理器用于文本到图像生成

Chengzhuo Tong, Mingkun Chang, Shenglong Zhang, Yuran Wang, Cheng Liang, Zhizheng Zhao, Ruichuan An, Bohan Zeng, Yang Shi, Yifan Dai, Ziming Zhao, Guanbin Li, Pengfei Wan, Yuanxing Zhang, Wentao Zhang

机构 * Peking University（北京大学） ； Kling Team, Kuaishou Technology（快手科技 Kling 团队） ； Sun Yat-sen University（中山大学） ； Zhejiang University（浙江大学） ； Nanjing University（南京大学） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；分类 cs.CV、cs.AI

AI总结 CoF-T2I通过引入链式帧推理提升文本到图像生成的质量，通过逐步视觉细化和显式推理步骤实现高质量图像生成。

Comments 16 pages, 8 figures

SciNets: Graph-Constrained Multi-Hop Reasoning for Scientific Literature Synthesis

SciNets: 图约束多跳推理用于科学文献综合

Sauhard Dubey

机构 * Jaypee Institute of Information Technology（杰伊佩 Institute 信息科技学院） 纠错

专题命中 视觉推理 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 SciNets通过图约束多跳推理实现科学文献综合，通过多跳路径连接罕见共现的概念，提升机制解释的稳定性和多样性。

Comments 19 pages, 2 figures

Compartmentalised Agentic Reasoning for Clinical NLI

临床自然语言推理中的 compartmentalised agentic 推理

Maël Jullien, Lei Xu, Marco Valentino, André Freitas

机构 * Department of Computer Science, University of Manchester, UK（曼彻斯特大学计算机科学系） ； National Biomarker Centre, CRUK-MI, University of Manchester, UK（曼彻斯特大学国家生物标记中心） ； Idiap Research Institute, Switzerland（日内瓦IDIAP研究所） ； School of Computer Science, University of Sheffield, UK（谢菲尔德大学计算机科学系） ； École Polytechnique Fédérale de Lausanne (EPFL), Switzerland（洛桑联邦理工学院（EPFL）） 纠错

专题命中 视觉推理 ：grounding(abstract)；分类 cs.AI

AI总结 CARENLI 通过 compartmentalisation 和验证提升临床自然语言推理的准确率，从 23% 提高到 57%

SurgGoal: Rethinking Surgical Planning Evaluation via Goal-Satisfiability

SurgGoal: 重新思考手术计划评估 via 目标满足性

Ruochen Li, Kun Yuan, Yufei Xia, Yue Zhou, Qingyu Lu, Weihang Li, Youxiang Zhu, Nassir Navab

机构 * Technical University of Munich, Germany（慕尼黑技术大学） ； University of Strasbourg, France（斯特拉斯堡大学） ； University of Glasgow, United Kingdom（格拉斯哥大学） ； Nanyang Technological University, Singapore（南洋理工大学） ； University of Massachusetts Boston, USA（马萨诸塞大学波士顿分校） 纠错

专题命中 视觉推理 ：vision-language model(abstract)

AI总结 SurgGoal通过目标满足性度量重新评估手术计划，揭示视频大语言模型在安全关键环境中的性能问题。

MM-BRIGHT: A Multi-Task Multimodal Benchmark for Reasoning-Intensive Retrieval

MM-BRIGHT: 一种多任务多模态基准用于推理密集型检索

Abdelrahman Abdallah, Mohamed Darwish Mounis, Mahmoud Abdalla, Mahmoud SalahEldin Kasem, Mostafa Farouk Senussi, Mohamed Mahmoud, Mohammed Ali, Adam Jatowt, Hyun-Soo Kang

专题命中 视觉推理 ：visual reasoning(abstract)

AI总结 MM-BRIGHT是首个用于推理密集型检索的多模态基准，通过29个技术领域中的2,803个现实世界查询，评估了多模态检索模型在文本到文本、多模态到文本等任务上的性能。

MedVL-SAM2: A unified 3D medical vision-language model for multimodal reasoning and prompt-driven segmentation

MedVL-SAM2：一种统一的3D医学视觉-语言模型，用于多模态推理和基于提示的分割

Yang Xing, Jiong Wu, Savas Ozdemir, Ying Zhang, Yang Yang, Wei Shao, Kuang Gong

机构 * Department of Biomedical Engineering, University of Florida（佛罗里达大学生物医学工程系） ； Department of Radiology, University of Florida（佛罗里达大学放射学系） ； Research Computing, University of Florida（佛罗里达大学研究计算中心） ； Department of Medicine, University of Florida（佛罗里达大学医学系） ； Department of Radiology, UC San Francisco（旧金山大学放射学系） 纠错

专题命中 视觉定位与Grounding ：vision-language model(title,abstract)；VLM(abstract)；visual reasoning(abstract)；visual question answering(abstract)

AI总结 MedVL-SAM2是一种统一的3D医学多模态模型，通过联合训练实现报告生成、VQA和多任务分割的高性能表现。

Unleashing the Capabilities of Large Vision-Language Models for Intelligent Perception of Roadside Infrastructure

释放大型视觉-语言模型的能力以实现道路基础设施的智能感知

Luxuan Fu, Chong Liu, Bisheng Yang, Zhen Dong

机构 * State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing (LIESMARS)（信息工程测绘遥感国家重点实验室） ； Wuhan University（武汉大学） ； Hubei Luojia Laboratory（湖北珞珈实验室） 纠错

专题命中 视觉定位与Grounding ：vision-language model(title)；vision language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 本文提出一种领域适应框架，通过数据高效微调和知识引导推理，提升大型视觉语言模型在城市道路基础设施感知中的性能和专业合规性。

GUI-Eyes: Tool-Augmented Perception for Visual Grounding in GUI Agents

GUI-Eyes: 用于GUI代理视觉接地的工具增强感知

Chen Chen, Jiawei Shao, Dakuan Lu, Haoyi Hu, Xiangcheng Liu, Hantao Yao, Wu Liu

专题命中 视觉定位与Grounding ：grounding(title,abstract)；vision-language model(abstract)；分类 cs.AI

AI总结 GUI-Eyes通过分阶段策略推理和细粒度奖励反馈实现工具感知主动感知，显著提升GUI代理的接地准确率。

SIN-Bench: Tracing Native Evidence Chains in Long-Context Multimodal Scientific Interleaved Literature

SIN-Bench：在长上下文多模态科学交织文献中追踪原生证据链

Yiming Ren, Junjie Wang, Yuxin Meng, Yihang Shi, Zhiqiang Lin, Ruihang Chu, Yiran Xu, Ziming Li, Yunfei Zhao, Zihan Wang, Yu Qiao, Ruiming Tang, Minghao Liu, Yujiu Yang

机构 * Tsinghua University（清华大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； KuaiShou Inc.（快手公司） ； Stanford University（斯坦福大学） ； Harvard University（哈佛大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.AI

AI总结 SIN-Bench 通过构建科学交织语料库和四个逐步任务，评估多模态模型在长上下文科学文献中追踪证据链的能力，揭示接地是主要瓶颈。

OUTLINEFORGE: Hierarchical Reinforcement Learning with Explicit States for Scientific Writing

OUTLINEFORGE: 基于显式状态的分层强化学习用于科学写作

Yilin Bao, Ziyao He, Zayden Yang

机构 * UC San Diego（圣迭戈大学） ； Ohio State University（俄亥俄州立大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 OUTLINEFORGE通过分层强化学习和显式状态管理，提升科学写作的全局结构和引用一致性，改进文档规划和事实准确性。

SVII-3D: Advancing Roadside Infrastructure Inventory with Decimeter-level 3D Localization and Comprehension from Sparse Street Imagery

SVII-3D：利用厘米级3D定位与稀疏街道影像的综合理解，推进道路基础设施库存建设

Chong Liu, Luxuan Fu, Yang Jia, Zhen Dong, Bisheng Yang

机构 * State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing (LIESMARS), Wuhan University, Wuhan 430079, China（信息工程测绘遥感国家重点实验室（LIESMARS），武汉大学） ； Research Institute Ltd, Chengdu 610000, China（四川省公路规划设计研究有限公司） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；分类 cs.CV

AI总结 SVII-3D通过厘米级3D定位与稀疏影像综合理解，提升道路基础设施库存的自动化创建与细粒度状态诊断能力。

Scalable and Reliable Evaluation of AI Knowledge Retrieval Systems: RIKER and the Coherent Simulated Universe

可扩展且可靠的AI知识检索系统评估：RIKER和一致性模拟宇宙

JV Roig

机构 * Kamiwaza AI 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI

AI总结 RIKER通过生成文档而非提取地面真实，提供了一种可扩展且抗污染的AI知识检索系统评估方法，揭示了上下文长度、跨文档聚合和事实基础能力等关键问题。

Comments 26 pages, 17 tables, 1 figure

Unlocking Implicit Experience: Synthesizing Tool-Use Trajectories from Text

解锁隐含经验：从文本合成工具使用轨迹

Zhihao Xu, Rumei Li, Jiahuan Li, Rongxiang Weng, Jingang Wang, Xunliang Cai, Xiting Wang

机构 * Renmin University of China（中国人民大学） ； Meituan（美团） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 本研究提出GEM方法，通过文本数据生成多轮工具使用轨迹，提升LLM在多轮交互中的工具使用能力，实验显示其在基准测试中表现优异。

Deriving Character Logic from Storyline as Codified Decision Trees

从故事线推导出角色逻辑作为编码决策树

Letian Peng, Kun Zhou, Longfei Yun, Yupeng Hou, Jingbo Shang

机构 * University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 本文提出CDT框架，通过大规模叙述数据诱导可执行且可解释的决策树结构，提升角色扮演代理行为的可靠性与可维护性。

Markovian Promoter Models: A Mechanistic Alternative to Hill Functions in Gene Regulatory Networks

马尔可夫启动子模型：基因调控网络中一种机制性替代Hill函数的方法

Tianyu Wu

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 本文提出一种基于马尔可夫过程的启动子模型，用于替代传统Hill函数，以更准确地捕捉基因调控网络中的动态行为。

Semantic Misalignment in Vision-Language Models under Perceptual Degradation

视觉-语言模型在感知退化下的语义错位

Guo Cheng

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 本研究探讨了视觉-语言模型在感知退化下的语义错位问题，发现传统分割指标的下降并未影响下游行为，揭示了像素鲁棒性与多模态语义可靠性之间的脱节。

Comments 10 pages, 4 figures, 6 tables

VERHallu: Evaluating and Mitigating Event Relation Hallucination in Video Large Language Models

VERHallu: 评估和缓解视频大语言模型中的事件关系幻觉

Zefan Zhang, Kehua Zhu, Shijie Jiang, Hongyuan Lu, Shengkai Sun, Tian Bai

机构 * College of Computer Science and Technology, Key Laboratory of Symbolic Computation and Knowledge Engineering, Ministry of Education, Jilin University（吉林大学计算机科学与技术学院，符号计算与知识工程重点实验室，教育部，吉林大学） ； College of Software, Jilin University（吉林大学软件学院） ； Facemind Group（FaceMind集团） ； School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VERHallu基准，用于评估和缓解视频大语言模型中的事件关系幻觉，通过关键帧传播策略提升多事件理解能力。

Comments 11 pages, 6 figures

Hallucination Detection and Mitigation in Large Language Models

大语言模型中的幻觉检测与缓解

Ahmad Pesaranghader, Erin Li

机构 * CIBC（加拿大帝国商业银行） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

AI总结 本文提出了一种系统化的框架，通过分层架构和闭环反馈机制，提升大语言模型在金融等高风险领域的可靠性，减少幻觉问题。

Image Complexity-Aware Adaptive Retrieval for Efficient Vision-Language Models

面向高效视觉-语言模型的图像复杂度感知自适应检索

Mikel Williams-Lekuona, Georgina Cosma

机构 * Computer Science, Loughborough University, Loughborough, UK（计算机科学，洛桑大学，洛桑，英国） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 ICAR通过自适应计算方法提升视觉-语言模型效率，实现高效图像-文本匹配与复杂度评估。

Comments Camera-ready version for ECIR 2026

Unveiling and Bridging the Functional Perception Gap in MLLMs: Atomic Visual Alignment and Hierarchical Evaluation via PET-Bench

揭示和弥合MLLMs中的功能感知差距：通过PET-Bench实现原子视觉对齐和分层评估

Zanting Ye, Xiaolong Niu, Xuanbin Wu, Xu Han, Shengyuan Liu, Jing Hao, Zhihao Peng, Hao Sun, Jieqin Lv, Fanghu Wang, Yanchao Huang, Hubing Wu, Yixuan Yuan, Habib Zaidi, Arman Rahmim, Yefeng Zheng, Lijun Lu

机构 * School of Biomedical Engineering, Southern Medical University（生物医学工程学院，南方医科大学） ； School of Biomedical Engineering, Shanghai Jiaotong University（生物医学工程学院，上海交通大学） ； Department of Electronic Engineering, Chinese University of Hong Kong（电子工程系，中国香港大学） ； Faculty of Dentistry, The University of Hong Kong（牙科学院，香港大学） ； Department of Nuclear Medicine, The Second Affiliated Hospital of Guangzhou University of Chinese Medicine（核医学科，广州中医药大学第二附属医院） ； PET Center, Department of Nuclear Medicine, Guangdong Provincial People’s Hospital, Southern Medical University（PET中心，核医学科，广东省人民医院，南方医科大学） ； Department of Nuclear Medicine, Nanfang Hospital, Southern Medical University（核医学科，南芳医院，南方医科大学） ； Division of Nuclear Medicine and Molecular Imaging, Geneva University Hospitals（核医学与分子影像学部，日内瓦大学医院） ； Departments of Radiology, Physics, and Biomedical Engineering, The University of British Columbia（放射学、物理和生物医学工程系，不列颠哥伦比亚大学） ； Medical Artificial Intelligence Laboratory, Westlake University（医学人工智能实验室，西湖大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出AVA方法，通过原子视觉对齐解决MLLMs在功能成像中的感知差距，提升诊断准确性14.83%。

Comments 9 pages, 6 figures, 6 tables