AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
时间接地语言生成：迈向实时视觉-语言模型
机构 * Computer Science and Engineering Division University of Michigan（计算机科学与工程系大学米歇尔大学）
专题命中 视觉问答 ：VLM(summary_cn,abstract)；vision-language model(title,abstract)；分类 cs.CV、cs.AI
AI总结 针对实时交互环境对视觉-语言模型的时间精确性要求，提出TGLG基准任务及TRACE指标，构建VLM-TSI模型，实验显示其性能优于强基线但仍有提升空间。
Comments 16 pages
多种方言，多种语言，一种文化视角：评估多语言视觉语言模型对孟加拉文化的理解，涵盖历史关联语言和地区方言
机构 * United International University（国际联合大学） ； BRAC University（布拉塔克大学） ； University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract_cn)；visual question answering(abstract)；grounding(abstract)
AI总结 提出 BanglaVerse 基准，通过手工标注图像和扩展至多种语言及方言，评估多语言视觉语言模型在孟加拉文化理解中的表现，发现标准孟加拉语评估高估模型能力，方言变化导致性能下降，文化知识缺失是主要瓶颈。
Comments Accepted at EMNLP 2026 (Findings)
循环机制与Transformer结合的通用多模态检索模型
机构 * Department of Education and Humanities, University of Modena and Reggio Emilia（教育与人文学院, Modena and Reggio Emilia大学）
专题命中 视觉问答 ：vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出结合循环机制与Transformer的统一多模态检索模型ReT-2，其支持多模态查询，在M2KR等基准上达最优性能，推理更快、内存占用更低，还可提升下游任务表现。
Comments TPAMI 2026
Nomad：自主探索与发现
机构 * Inception, G42（G42 的 Inception） ； G42 ； MBZUAI（穆罕默德·本·扎耶德人工智能大学）
专题命中 视觉问答 ：grounding(abstract)；分类 cs.AI
AI总结 Nomad通过探索优先架构，构建领域探索地图，系统遍历以平衡广度与深度，生成并验证假设，最终生成可信报告。
用于鲁棒跨数据集图像分类的MLLM路由异质集成模型
机构 * The Bredesen Center for Interdisciplinary Research and Graduate Education（布雷德森跨学科研究与研究生教育中心） ； University of Tennessee Knoxville（田纳西大学诺克斯维尔分校）
专题命中 视觉推理 ：MLLM(title,title_cn)；vision language model(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG
AI总结 该研究针对跨数据集图像分类泛化难题，提出ARMDIL模型，通过MLLM智能体动态路由图像到适配的视觉骨干，兼具竞争力、高适应性与可解释性，为通用视觉系统奠定基础。
Comments 15 pages (single column), 4 figures, 7 tables
并非真正的多语言：脚本一致性作为VLM评估中缺失的维度
机构 * RediMinds Inc.（RediMinds公司） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Independent Researcher（独立研究员）
专题命中 视觉推理 ：VLM(title,title_cn)；vision-language model(abstract)；visual reasoning(abstract)；分类 cs.CV
AI总结 提出PuMVR基准，评估10个VLM在旁遮普语三种文字上的表现，发现显著的脚本差距，并提出脚本一致性率（SCR）作为必要评估指标。
MineExplorer: 评估MLLM智能体在Minecraft中的开放世界探索能力
机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； Meituan（美团）
专题命中 视觉推理 ：MLLM(title,title_cn)；multimodal large language model(abstract)
AI总结 提出MineExplorer基准，通过多智能体合成工作流构建隐式多跳任务，评估多模态大语言模型在Minecraft中的开放世界探索能力，发现长轨迹协调仍是挑战。
Comments Accepted at EMNLP 2026 (Main)
GSM8K-V：视觉语言模型能否在视觉语境下解决小学级数学应用题
专题命中 视觉推理 ：vision language model(title)；vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 本研究构建了多图像视觉数学基准GSM8K-V，评估34个VLMs发现其存在显著模态差距，最优模型仅达59%准确率，瓶颈为隐式视觉推理错误，且视觉数学优化模型在此无提升。
Comments 59 pages, 7 figures, Project Page: this https URL (https://zju-real.github.io/GSM8K-V) Code: this https URL (https://github.com/ZJU-REAL/GSM8K-V) Datasets: this https URL (https://huggingface.co/datasets/ZJU-REAL/GSM8K-V) Accepted at EMNLP 2026 Main Conference. Updated to the camera-ready version with additional experiments, analyses, and revisions
利用视觉语言模型推理来约束任务和运动规划
机构 * Department of Computer Science, Purdue University（普渡大学计算机科学系） ； Department of Computer Science, Rice University（莱斯大学计算机科学系） ； Ken Kennedy Institute, Rice University（莱斯大学肯尼迪研究所）
专题命中 视觉推理 ：VLM(title)；vision-language model(abstract)
AI总结 本文提出VIZ-COAST方法，利用大预训练视觉语言模型的空间推理能力，提前识别向下细化中的问题，减少规划时间并消除失败。
Comments 9 pages, 7 figures, 1 table. Submitted to AAAI 2027
Think3D: 基于空间的思考以实现空间推理
机构 * Dalian University of Technology（大连理工大学） ； University of California San Diego（加州大学圣地亚哥分校） ； University of Oxford（牛津大学）
专题命中 视觉推理 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV
AI总结 Think3D通过引入交互式3D推理框架，提升多模态代理的空间推理能力，实现在BLINK Multi-view和MindCube上的7.8%性能提升，并通过Think3D-RL优化小模型性能。
复杂城市场景中基于证据的可信多模态推理与评估基准
机构 * University of Chinese Academy of Sciences (UCAS)（中国科学院大学） ； Tencent CDG（腾讯云与智慧产业事业群） ； Institute of Information Engineering, CAS（中国科学院信息工程研究所）
专题命中 视觉推理 ：visual reasoning(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI；MLLM(comments)
AI总结 针对复杂城市场景中多模态大语言模型的推理可靠性问题，提出AD2-Bench基准与EGVOR模型，提升了不利条件下的多模态推理稳定性。
Comments This submission is an iterative version of our previous work, **"AD^2-Bench: A Hierarchical CoT Benchmark for MLLM in Autonomous Driving under Adverse Conditions"** ( arXiv:2506.09557 (https://arxiv.org/abs/2506.09557) ). We plan to consolidate the current submission with the earlier version into a unified manuscript. Therefore, we would like to withdraw this submission
SPAR-Hate：一种由审核员引导的用于双语仇恨言论解析的多智能体框架
机构 * Dalian University of Technology（大连理工大学） ； Inner Mongolia University（内蒙古大学）
专题命中 视觉推理 ：grounding(abstract)；分类 cs.AI
AI总结 针对结构化仇恨言论解析的文化等挑战，提出SPAR-Hate多智能体框架，分解文档为决策单元后从三视角生成判断并仲裁，在基准上实现双语仇恨解析最优结果。
Comments 16 pages, 2 figures. Submitted to EMNLP 2026
大型视觉语言模型（LVLMs）能否揭示视觉错觉背后的真相？感知与推理能力分析
机构 * Adelaide University（阿德莱德大学） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Tsinghua University（清华大学） ； Amap, Alibaba Group（阿里巴巴集团高德地图） ； Beihang University（北京航空航天大学）
专题命中 视觉推理 ：vision language model(abstract)；分类 cs.AI
AI总结 本文利用IllusionReasoning基准，以视觉错觉为诊断工具评估LVLMs，发现多款LVLMs的推理能力不及宣称水平，为其优化提供了新方向。
Comments EMNLP2026 Findings
ClueWeaver：面向紧凑型大语言模型的、针对文学长篇叙事的奖励引导双智能体证据推理框架
机构 * Institute of Information Engineering, CAS（中国科学院信息工程研究所） ； University of Aberdeen（阿伯丁大学） ； The University of Western Australia（西澳大学） ； Brown University（布朗大学）
专题命中 视觉推理 ：grounding(abstract)
AI总结 ClueWeaver是用于紧凑型本地模型的双智能体证据推理框架，可提升本地语言模型在长篇叙事问答与声明验证任务中的性能，提供可检查的证据推理轨迹。
Comments Accepted by ICONIP 2026
被文本债务掩埋：面向多模态大语言模型智能体的保留视觉证据的上下文剪枝
机构 * Hong Kong University of Science and Technology（香港科技大学）
专题命中 视觉定位与Grounding ：MLLM(title,abstract_cn)；grounding(abstract)；multimodal large language model(abstract)；分类 cs.AI
AI总结 针对多模态大语言模型智能体长轨迹中文本主导上下文、抑制视觉证据的问题，提出基于KL引导的SPARE框架，结合OPSD与SFT实现高效剪枝，在多步视觉工具使用基准中达到最优准确率与剪枝比例的权衡。
Comments 17 pages, 3 figures, 5 tables
4DStreamCtrl：基于在线4D控制的交互式视频生成
机构 * Peking University（北京大学） ； Tencent Hunyuan（腾讯混元）
专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 4DStreamCtrl将相机运动、物体轨迹与深度统一为3D点轨迹表示，结合蒸馏的因果流式模型，首次实现交互式4D可控实时视频生成，精度与效率均优于现有方法。
Comments 23 pages
可检索但不可靠：检索增强生成中的攻击与防御研究综述
专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.LG
AI总结 本综述针对检索增强生成（RAG）的安全与鲁棒性问题，形式化其各阶段威胁模型，分类攻击目标并梳理各阶段防御及评估方法，为该领域提供统一研究框架。
Comments 24 pages, 6 figures. Accepted to Findings of the Association for Computational Linguistics: EMNLP 2026. Peer-reviewed through ACL Rolling Review (ARR)
PercepCap：具有结构化时空感知的视频字幕生成器
机构 * Nanjing Univerisity（南京大学） ； Kuaishou Technology（快手科技） ； Shanghai AI Laboratory（上海人工智能实验室）
专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV
AI总结 研究视频字幕生成问题，提出PercepCap框架，遵循感知-描述生成链，设计两阶段训练策略及相关数据构建方法，在评估中优于基线，提升视频字幕生成质量。
DALE-CT: 用于计算机断层扫描的深度感知基础模型
机构 * University of Kentucky（肯塔基大学）
专题命中 视觉定位与Grounding ：vision-language model(abstract)；分类 cs.CV
AI总结 提出DALE-CT，一种基于LeJEPA的2D切片模型，通过3D深度感知预训练（利用解剖掩膜和异常标注）提升表示质量，在CT多异常检测中达到与3D视觉语言模型近似的性能。
Comments 18 pages, 5 figures, 13 tables
SOCO: 视觉基础模型中语义对象对应关系的基准测试
机构 * Max Planck Institute for Informatics（马克斯·普朗克研究所信息学研究所） ； Saarland Informatics Campus（萨尔州信息学校园） ； CISPA Helmholtz Center for Information Security（信息安全霍夫曼中心） ； University of Freiburg（弗赖堡大学）
专题命中 视觉定位与Grounding ：vision-language model(abstract)；分类 cs.CV
AI总结 提出SOCO基准，通过引入对应类型分类法和100个类别上超过100万对功能上有意义的关键点注释，系统评估视觉基础模型中的语义对应能力，并揭示模型在跨类别迁移、语言引导定位与视觉对应之间的差距。
Comments Project page: this https URL (https://genintel.github.io/SOCO/)
更少微调，更好检索：通过合成数据和模型合并重新思考LLM适应于生物医学检索器
机构 * IKIM, University Hospital Essen（IKIM，埃森大学医院） ； Microsoft Healthcare & Life Sciences（微软医疗与生命科学）
专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.LG
AI总结 本文提出STM框架，通过合成数据和模型合并提升生物医学检索性能，实验显示在任务特定专家上提升23.5%并优于基线模型。
Comments Accepted to Findings of EMNLP 2026
基于检索的多语言LLM辅助工具用于岛屿小农户
专题命中 视觉定位与Grounding ：grounding(abstract)
AI总结 针对偏远岛屿小农户获取农业建议困难且方言知识缺乏全球语料支持的问题，提出嵌入双语电商平台的对话AI助手Falco eleonorae，通过工具增强检索（MCP）获取本地化数据，实现可信的多语言、语音和图像交互。
Comments 13, 4
DocPC：基于代表性页面组合的文档级视觉检索
专题命中 文档图表理解 ：vision-language model(abstract)
AI总结 针对现有视觉文档检索以页面为中心的问题，提出DocPC框架，通过组合代表性页面实现文档级索引，在DocViRe基准上性能优于最强页面级基线且存储成本大幅降低。
Comments 15 pages, 5 figures, 8 tables
GUI-Primitives：诊断视觉-语言GUI定位中的空间推理失败
机构 * University of Southern California（南加州大学） ； USC Information Sciences Institute（南加州大学信息科学研究所） ； Qatar Computing Research Institute (QCRI)（卡塔尔计算研究所）
专题命中 GUI与屏幕智能体 ：grounding(title)；vision-language model(abstract)
AI总结 本文提出GUI-Primitives基准，通过994个含7种空间关系的对比指令对，发现多数视觉-语言GUI定位模型的失败源于候选定位而非关系理解，且标记候选可提升准确率。
Comments Accepted to EMNLP 2026 Main Conference
具身导航器：指向、思考、记忆与对齐以实现高效导航
机构 * ZJU（浙江大学）
专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)
AI总结 本研究提出具身导航框架TAMP-Nav，通过像素转3D动作、选择性推理记忆与GRPO两级对齐，在R2R-CE数据集上实现66.2% SR，仅需90k训练轨迹，达成高效具身导航的最优性能。
在域转移下对用于乳腺钼靶成像的基础模型的稳健性进行基准测试
机构 * College of Engineering and Computer Science, VinUniversity（工程与计算机科学学院，文大大学） ； Imperial College London（伦敦帝国理工学院） ； Radiology Department, Vietnam National Cancer Hospital（越南国家癌症医院放射科） ； VinUni-Illinois Smart Health Center, VinUniversity（文大大学 - 伊利诺伊智能健康中心，文大大学） ； The Computer Vision and Medical AI Lab, VinUniversity（计算机视觉与医学人工智能实验室，文大大学）
专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 研究在域转移下乳腺钼靶成像基础模型的稳健性，用统一协议在多数据集上训练评估15种模型主干，发现特定视觉语言模型性能强，DINOv3是有竞争力基线，适应预训练未持续提升泛化，强调数据集级OOD评估是核心标准。
Comments Accepted at Deep-Brea3th 2026 workshop in conjunction with MICCAI 2026
子空间对齐用于视觉-语言模型测试时适应
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amazon（亚马逊）
专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.AI
AI总结 SubTTA通过子空间对齐提升视觉-语言模型测试时适应性能，有效解决模态差距和视觉噪声问题。
Comments 23 pages, 11 figures
CultureVidBench：文本到视频生成中的文化理解基准测试
机构 * Nanyang Technological University（南洋理工大学） ； Centrale Supélec（中央高等电力学院） ； Singapore Management University（新加坡管理大学） ； University of Cambridge（剑桥大学）
专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；分类 cs.CV
AI总结 本研究推出CultureVidBench基准，评估7款T2V模型的文化理解能力，发现现有模型难捕捉细粒度文化细节，尤其针对代表性不足的文化区域与线索。
Comments EMNLP 2026 Main Conference, Project page: this https URL (https://hanxjing.github.io/CultureVidBench/)
UniVVT：用于高保真视频虚拟试穿的统一端到端框架
专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 UniVVT是一种统一端到端视频虚拟试穿框架，以多模态大语言模型为核心，采用三阶段渐进训练策略，在多基准上实现了优于主流方法的高保真试穿效果。
Comments 17 pages,21 figures
为生成推荐系统中的新词汇提供基础性词 token 初始化
机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； LinkedIn Corporation（领英公司） ； Northeastern University（东北大学） ； University of California, Davis（加州大学戴维斯分校）
专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出GTI方法，通过在预训练嵌入空间中语义地初始化新词汇，提升生成推荐系统性能，优于传统均值初始化和辅助任务适应方法。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈