AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
Edit2TikZ：面向基于TikZ的科学图像编辑的全面且具有挑战性的基准
专题命中 视觉定位与Grounding ：multimodal large language model(abstract)；分类 cs.CV
AI总结 本文推出科学图像编辑基准Edit2TikZ，评估主流多模态大语言模型发现其性能不足，通过构建混合训练集并采用课程学习，可显著提升紧凑模型的编译成功率。
Comments 9 pages, 6 figures, work in progress
SketchSense：学习解释用于图像修复的不完美草图引导
机构 * Fudan University（复旦大学）
专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV
AI总结 SketchSense是同步去噪RGB与结构流的框架，通过双向注意力融合等技术解释不完美草图引导，在图像修复的质量和结构保真度上较现有方法有显著提升。
Comments 10 pages, 11 figures, 3 tables
QuISE：通过查询无关语义编辑防御视觉语言模型的排版攻击
专题命中 视觉定位与Grounding ：vision-language model(abstract)；分类 cs.CV
AI总结 该研究针对VLMs的排版攻击问题，提出模型无关无训练的黑盒防御方法QuISE，通过文本定位、语义替换及答案一致性判断提升防御性能，在多基准和模型上取得良好效果。
Comments 10 pages, 7 figures; includes supplementary material
MT-PDCL的基础：测度论概率确定性子句逻辑
机构 * University of Craiova（克拉约瓦大学）
专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI
AI总结 本文提出测度论概率确定性子句逻辑（MT-PDCL），通过引入连续可测空间上的精确Lebesgue积分，突破了传统概率逻辑编程的有限域限制，实现了兼具表达能力与纯声明式语法的可微推理。
StrAD：面向长视频音频描述生成的流式方法与基准
机构 * Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所） ； University of Bonn（波恩大学） ； University of Applied Sciences Bonn-Rhein-Sieg（波恩-莱茵-锡格应用科学大学） ； Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所） ； Center for Robotics, University of Bonn（波恩大学机器人中心）
专题命中 视觉定位与Grounding ：vision-language model(abstract)；分类 cs.CV
AI总结 针对长视频音频描述生成的需求，研究提出首个流式方法StrAD，构建了涵盖多类型全长视频的基准，其微调模型在相关任务上达到先进性能，为扩大无障碍覆盖提供支持。
CoLA: 跨模态低秩适配用于多模态下游任务
机构 * Centre for Vision, Speech and Signal Processing (CVSSP)（视觉、语音和信号处理中心） ； University of Surrey（塞维利亚大学） ； Surrey Institute for People-Centred AI（以人为本的人工智能研究所）
专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV
AI总结 提出CoLA框架，通过引入跨模态适配路径扩展LoRA，实现双流架构中单模态基础模型的高效多模态适配，在视觉-语言和音频-视觉任务上分别提升约3%和2%的相对性能。
Comments Accepted by ICML 2026, 17 pages, 6 Figures
SAP-Nav：空间语义表示与主动感知结合的分层开放词汇对象导航
专题命中 视觉定位与Grounding ：grounding(abstract)
AI总结 该研究提出SAP-Nav框架，结合空间语义表示与主动感知，解决分层开放词汇对象导航问题，在基准测试中性能最优且真实场景可行，无需特定训练或预计算场景地图。
它是否在所有环境中都能渲染？对多模态大语言模型（MLLM）生成网页的跨环境兼容性研究
专题命中 文档图表理解 ：MLLM(title,title_cn)；multimodal large language model(abstract)
AI总结 该研究针对MLLM生成网页的跨环境兼容性问题，构建WebCompat数据集并开发XCompat检测器，发现68%的网页存在兼容性问题，XCompat的F1分数达0.903且性能优于现有工具与基线方法。
通过代理评估和稳定性感知排名实现多模态大语言模型的鲁棒检查点选择
机构 * Meta AI
专题命中 文档图表理解 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出了一种多阶段框架，结合了精心挑选的现实世界数据、结构化的LLM判断和多阶段排名协议，以解决多模态大语言模型检查点选择中的鲁棒决策问题，强调数据质量（特别是OCR可读性）对评估有效性的重要性。
超越视觉证据：揭示并缓解文档多模态大语言模型中的关系隐私泄露
机构 * Faculty of Engineering, Shenzhen MSU-BIT University（深圳北理莫斯科大学工程学院） ； Faculty of CMC, Shenzhen MSU-BIT University（深圳北理莫斯科大学计算机、数学与力学学院） ； Department of CDS, Indian Institute of Science（印度科学学院计算机与数据科学系）
专题命中 文档图表理解 ：multimodal large language model(abstract)；分类 cs.CV
AI总结 本文针对文档理解MLLMs的KIE任务，揭示其在视觉证据不足时会通过记忆的字段关系泄露隐私，提出DRUF框架与DocPrivacyBench基准，实验显示DRUF可提升泄露抑制效果并维持KIE性能。
Comments ACM mm 2026
面向结构化数据搜索的引导式表格检索
专题命中 文档图表理解 ：grounding(abstract)
AI总结 该研究针对结构化数据库自然语言问答任务，提出四阶段引导式表格检索流程，在BIRD-DEV和BEAVER基准上取得优于基线的准确率与F1值，生成的精确连接树可直接供下游查询编译器使用。
ARIES-Mission2：用于快速大规模空中任务生成的零样本视觉-语言-动作框架
专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；grounding(abstract)；multimodal large language model(abstract)
AI总结 ARIES-Mission2是解耦视觉语义感知与路径优化的零样本VLA框架，在UAV基准上，其飞行距离更短、任务生成速度更快，且TSP模块可扩展性佳。
N体问题：从单人物体中心视频进行并行执行
机构 * University of Bristol（布里斯托尔大学） ； The University of Tokyo（东京大学）
专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV
AI总结 提出N体问题，从单人物体中心视频预测N人并行执行任务，通过结构化提示策略引导视觉语言模型推理3D环境、物体使用和时间依赖，在EPIC-Kitchens和HD-EPIC数据集上显著提升动作覆盖率并降低冲突。
Comments accepted at ECCV Workshop, project webpage: https://zhifanzhu.github.io/ego-nbody
从视觉控件到UI代码：高效的基于工具的生成
机构 * McMaster University（麦克马斯特大学） ； University of Toronto（多伦多大学） ； Concordia University（康考迪亚大学）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.LG
AI总结 本研究提出轻量级工具框架WidgetGen，在6个多模态模型和1000个控件上，其视觉重建指标优于直接提示和Widget2Code，且重建的图像-代码对可提升Qwen系列模型性能
Comments ECCV2026 (MUCG Workshop)
TRAPSBench：视觉-语言模型可编码认知约束却无法表达
机构 * Meta Superintelligence Labs（元超级智能实验室） ； Reflection AI（反射人工智能公司）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；LLaVA(abstract,abstract_cn)；分类 cs.CV、cs.AI、cs.LG
AI总结 研究针对视觉-语言模型的认知约束表达问题，构建TRAPSBench基准并提出PECS指标，发现模型可感知不确定性却难表达，瓶颈在表达，需输出阶段干预。
Comments 10 Pages excluding Reference and Appendix, Published at COLM 2026
视觉语言模型（VLMs）在失明或被误导时的表现如何？针对科学图表的VLMs行为评估
机构 * University of Aberdeen（阿伯丁大学） ； International Institute of Information Technology Hyderabad（海德拉巴国际信息技术学院） ； University of Technology Nuremberg（纽伦堡工业大学） ； University of Southern California（南加利福尼亚大学）
专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG
AI总结 本研究构建科学图表理解基准SciFigBench，提出A-R-I框架评估VLMs在视觉证据缺失或误导时的行为可靠性，发现高感知与推理准确性不代表行为可靠，不同模型表现存在显著差异。
Comments 25 pages including appendix. Project website: https://scifigbench.nlp4sci.com
视觉分布偏移下OpenVLA故障的早期预警信号
机构 * New York University（纽约大学）
专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 研究在视觉分布偏移下，OpenVLA内部激活是否包含可线性解码的近期任务失败信息，通过LIBERO操作实验发现第16层逻辑探针在遮挡条件下预测失败AUROC达0.972。
Comments 16 pages, 2 figures, 8 tables
从拒答到丰富：用于长文本幻觉强化学习的评分规则奖励
机构 * Peking University（北京大学） ； Xiaomi（小米）
专题命中 幻觉与鲁棒性 ：grounding(abstract)
AI总结 该研究针对长文本幻觉强化学习的「拒答-丰富度」权衡，提出用关键要点评分规则定义奖励，发现软组合依据、评分规则覆盖率与相关性的奖励能实现最佳平衡，提升了依据性与分布外迁移能力。
视觉-语言模型能否从机器人的第一人称视角图像评估人际距离风险？
机构 * National University of Kyiv-Mohyla Academy（基辅莫希拉国立大学） ； University of Turin（都灵大学）
专题命中 VLM训练与架构 ：InternVL(summary_cn,abstract)；vision-language model(title,abstract)；VLM(summary_cn,abstract_cn)；grounding(abstract)
AI总结 该研究评估了InternVL、Qwen-VL、SmolVLM三种VLM在机器人第一人称视角图像人际距离危险分类中的表现，发现Qwen-VL经特定优化后高危险召回率更高，当前VLM在相关推理定位上仍有局限。
Comments Accepted at the EMR 2026 workshop at ECCV 2026 (non-archival)
VLM内部伪装视觉上下文的隐藏演化
机构 * Surrey Institute for People-Centred AI, University of Surrey（萨里大学以人为本人工智能研究所） ； Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey（萨里大学视觉、语音与信号处理中心）
专题命中 VLM训练与架构 ：VLM(title,title_cn)；分类 cs.CV、cs.AI
AI总结 研究视觉语言模型中视觉令牌如何通过不同集成架构（上下文注入与逐层注入）转化为有意义表示，揭示其内部演化过程及对性能的影响。
通用视觉语言模型（VLMs）能否在医疗领域超越专门化模型？基准测试与战略洞察
机构 * The Chinese University of Hong Kong（香港中文大学） ； The University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute（向量研究所）
专题命中 VLM训练与架构 ：vision language model(title,abstract)；分类 cs.CV、cs.AI
AI总结 研究比较了通用与专门化医疗VLMs的性能，发现高效微调的通用模型在多数任务中表现可比或更优，尤其在处理未见医疗模态时。
Comments version 5
CoverPrune：基于最优传输的3D视觉语言模型的覆盖驱动型令牌剪枝
机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； LIGHTSPEED
专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 针对3D VLMs因大量视觉令牌导致的计算瓶颈，提出CoverPrune框架，将剪枝转化为最优传输问题，结合FST成本与SGS算法，实现高效剪枝且性能优异。
Comments Accepted to ECCV 2026 as an Oral Presentation
MBA：面向现实世界商业创意的多模态基准与智能体
专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI、cs.LG
AI总结 该研究推出首个多模态商业创意基准MBA-Bench，提出MBA-b和MBA-k两种智能体，经实验其性能显著优于相关基准，为多模态商业创意智能体研究提供了重要支撑。
Comments Project page: https://hchoi256.github.io/projects/mba/ Code: https://github.com/hchoi256/MBA
用于基于文本的行人异常检索的、带分歧感知重排序的异构视觉语言集成方法
机构 * Hanoi University of Science and Technology（河内科技大学） ； University of Information Technology, VNU-HCM（胡志明市国家大学信息技术大学） ； Vietnam National University, Ho Chi Minh City（胡志明市国家大学） ； VinUniversity ； Vietnamese-German University（越南德国大学）
专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI
AI总结 该研究针对大规模基于文本的行人异常检索难题，提出带分歧感知重排序的异构视觉语言集成方法，在PAB基准上取得90.92% mAP等优异指标，验证了方案有效性。
Comments Accepted at the ECCV 2026 Workshop
基于减法映射的扰动型区域可解释性方法（PRISM）：语言模型与卒中后失语症中的命名错误分离现象
机构 * University of South Carolina（南卡罗来纳大学） ； ALLT.AI, LLC（ALLT.AI有限责任公司） ； USC School of Medicine（南卡罗来纳大学医学院）
专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；分类 cs.LG
AI总结 本研究开发PRISM方法，将神经成像减法分析适配至Transformer语言模型，对比模型与213名卒中后失语症患者的命名错误模式，验证了音素偏向性分离等结果，为模型功能专业化提供可证伪的空间分辨率测试工具。
Comments 49 pages, 6 figures, 1 table. Supplementary methods, 6 tables and 5 figures included
持久故事世界模拟与连续角色定制
机构 * Xiamen University（厦门大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）） ； Fuxi AI Lab, Netease Inc.（福克斯AI实验室，网易公司）
专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；分类 cs.CV
AI总结 本文提出EverTale，通过统一LoRA模块实现连续角色自定义，引入质量门和区域聚焦采样策略，提升多角色视觉叙事的准确性和一致性。
探索可解释图像质量评估的指令数据质量
机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV
AI总结 该研究针对可解释图像质量评估任务，提出Q-Selector数据选择框架，仅用10%训练数据就达到全数据微调的102.1%和103.7%性能，证明指令数据存在冗余。
自然语言理解在基于多模态视频的登革热诊断中的作用
专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 本研究提出基于YOLO和CLIP的视觉-语言框架，从视频中分类未受感染与DENV2感染的蚊子，帧级准确率达98.54%、灵敏度达99.91%，证实该框架可用于分析感染相关生物行为。
宪法性在策略安全蒸馏
机构 * Institute of Trustworthy Embodied AI（可信具身人工智能研究院） ； Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Ant Group（蚂蚁集团） ； Zhejiang University（浙江大学） ； City University of Hong Kong（香港城市大学）
专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.AI、cs.LG
AI总结 针对在策略自蒸馏在安全对齐中因宪法条件导致教师分布收缩、表达能力下降的问题，提出宪法性在策略安全蒸馏（COPSD），通过交叉SFT冷启动校准教师分布，再进行宪法条件在策略蒸馏，在12个基准上实现了更优的安全-有用性权衡并降低安全税。
基于分布式联合隐空间构建的多视图表示学习
机构 * Huawei Paris Research Center, France（华为巴黎研究中心，法国）
专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.LG
AI总结 该研究针对分布式多视图表示学习的客户端协调问题，推导了基于MDL的泛化界，提出分布式高斯乘积混合先验方法，经多组实验验证了其有效性。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈