AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
360度图像感知与MLLMs：一个全面的基准和无需训练的方法
机构 * GSIS, Tohoku University（东大GSIS研究所，东京东大大学） ； RIKEN AIP, Japan（日本RIKEN AIP）
专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出360Bench基准和Free360方法，评估MLLMs在360度图像感知中的能力，揭示其不足，并提出基于场景图的无需训练框架提升VQA性能。
Journal ref ECCV2026 (Link: https://tranhuyen1191.github.io/360Bench-Free360/)
Qwen-MusicAVQA-7B：一种用于音乐音频-视觉问答的多模态模型
机构 * Inference Matter Labs（推理物质实验室）
专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV
AI总结 该研究提出轻量级多模态模型Qwen-MusicAVQA-7B，通过连接冻结的Whisper编码器与Qwen2-VL-7B-Instruct，在MUSIC-AVQA等基准上实现高准确率，训练成本低，且发现音频时间信息保留程度影响下游问答准确率。
Comments 24 pages, 1 figure, 8 tables. Code: https://github.com/MKDehdashti/Qwen2-vl-audio Checkpoints: https://huggingface.co/MayaKD/qwen2-vl-audio
JieZi：用于古文字训诂的大规模专家审核数据集与基准
机构 * South China University of Technology（华南理工大学）
专题命中 视觉问答 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文针对古文字训诂研究缺乏结构化数据与基准的问题，提出ACCE任务，构建JieZi-Dataset与JieZi-Bench，实验发现多模态大模型在古文字训诂的高阶任务上表现不佳，微调后性能显著提升。
Comments 19 pages, 13 figures. Accepted to the Dataset Track of ACM Multimedia 2026 for oral presentation
LakeQuest：用于跨数据湖的有基础问答的三领域基准测试
机构 * University of Waterloo（滑铁卢大学）
专题命中 视觉问答 ：grounding(abstract)；分类 cs.AI
AI总结 介绍LakeQuest基准测试，用于评估跨数据湖的有基础问答。它跨越三个领域，含9846个QA对及证据指针，能暴露系统故障模式。通过基线评估发现高质量检索不能保证正确推理，凸显未来智能QA系统需强大发现和跨文件组合机制。
Comments 24 pages, 4 figures, 18 tables. Accepted at the Conference on Language Modeling (COLM) 2026
推进基于多模态大语言模型（MLLM）的无人机（UAV）图像理解与推理：基准测试及无训练多智能体系统
机构 * Fudan University（复旦大学） ； College of Future Information Technology（未来信息技术学院） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong（香港中文大学）
专题命中 视觉推理 ：MLLM(title,title_cn)；grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 本研究构建UAVQA-Bench基准，识别MLLM用于无人机图像理解的三类失效模式，提出含DSPE、CAIR、DAAS的无训练多智能体系统UAV-MAS，其32B版本在基准上准确率超Gemini 3 Pro 4.0个百分点
理解异构多模态大语言模型（MLLM）融合中的知识迁移机制：一种简单线性方法
专题命中 视觉推理 ：MLLM(title,title_cn)；multimodal large language model(abstract)；分类 cs.CV
AI总结 该研究针对异构MLLM跨规模知识迁移机制，提出CDPI线性探针，经多组模型与基准测试发现，融合增益集中于高层推理，且正向迁移多发生在小比率区间。
Comments 17 pages, 6 figures; includes supplementary material. Revised presentation and terminology; results unchanged
GeoBridge：用于生成式图像地理定位的解耦语义条件机制
机构 * University of Chinese Academy of Sciences（中国科学院大学） ； School of Advanced Interdisciplinary Sciences（先进交叉科学学院） ； School of Electronic, Electrical and Communication Engineering（电子电气与通信工程学院） ； Shenzhen Institutes of Advanced Technology（深圳先进技术研究院）
专题命中 视觉推理 ：MLLM(summary_cn,abstract)；multimodal large language model(abstract)；分类 cs.CV
AI总结 GeoBridge是一种解耦语义条件机制，通过连接冻结语义MLLM与黎曼流匹配头，在IM2GPS3K数据集上25/200/750公里阈值下准确率达38.67/52.89/70.37，提升了生成式图像地理定位性能，属解码侧算法贡献。
运动即提示：通过运动引导的跨帧视觉提示增强多模态大语言模型的运动推理能力
专题命中 视觉推理 ：multimodal large language model(title,abstract)；分类 cs.CV、cs.AI
AI总结 本文针对多模态大语言模型处理视频时丢失帧间关键运动信息的问题，提出Motion-as-Prompt框架，通过标记轨迹增强视觉提示，在CLEVRER等数据集上提升GPT-5.5的运动推理准确率且不影响非运动理解
超越试错：面向图像到视频一致性的智能体优化
机构 * Google Cloud（谷歌云） ； Google DeepMind（谷歌DeepMind）
专题命中 视觉推理 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 针对图像到视频模型试错效率低的问题，提出Agentic Self-Improvement框架，通过两阶段优化提升视频与文本一致性，生成视频胜率达69%，为视频生成模型提供实用可控的优化方法。
视觉推理引导的光场遮挡去除
机构 * Johannes Kepler University（约翰·开普勒大学）
专题命中 视觉推理 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV
AI总结 提出结合光场积分与视觉语言模型的框架，通过多视图融合和语义先验恢复被遮挡场景，在合成和真实数据上取得最优性能。
CT-ΔBench：基于视觉语言模型的纵向3D医学影像差异报告基准
机构 * University of Tennessee at Chattanooga（田纳西大学查塔努加分校）
专题命中 视觉推理 ：vision-language model(title)；分类 cs.CV
AI总结 本文针对现有医学基础模型缺乏纵向影像差异处理能力的问题，构建了专用基准CT-ΔBench，开发感知变化指标与医师验证流程，对比不同推理方式并提出基线模型DeltaMed，为时间感知医学基础模型奠定基础。
Comments Accepted by COLM 2026
提示驱动的探索
机构 * Massachusetts Institute of Technology（麻省理工学院） ； MIT-IBM Computing Research Lab（麻省理工学院-IBM计算研究实验室） ； Improbable AI Lab（英普罗巴布尔人工智能实验室）
专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；分类 cs.AI、cs.LG
AI总结 研究针对强化学习中探索难的问题，提出提示驱动的探索策略（PDE），利用视觉-语言模型对轨迹视频推理，从弱策略轨迹中优化提示，实现后验采样，能让强化学习从零奖励起步学习成功策略并提升样本效率。
VAKRA：评估工具使用策略下跨API与检索的多跳推理能力
机构 * IBM（国际商业机器公司（IBM））
专题命中 视觉推理 ：grounding(abstract,abstract_cn)；分类 cs.AI
AI总结 本研究推出VAKRA基准评估工具使用策略下跨API与检索的多跳推理，发现现有最优模型在相关任务上性能随推理深度显著下降，失败集中于语言介导推理环节。
Diagram-MMU：面向科学图表的多模态基准测试
机构 * Nanjing University of Science and Technology（南京理工大学） ； Baidu Inc（百度公司） ； AIML, Adelaide University（阿德莱德大学AIML） ； SUTD（新加坡科技设计大学） ； Southeast University（东南大学） ； East China Normal University（华东师范大学） ； University of Oxford（牛津大学）
专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文构建了多模态基准测试Diagram-MMU，评估MLLMs的科学图表解析与理解能力，发现图表转代码任务更具挑战，Claude-4.6 Opus在智能体场景下表现最优。
SCOUT：通过结构化思维链与多目标过程奖励解锁增强型空间推理能力
机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 SCOUT是结合结构化思维链与多目标过程奖励的视觉-语言模型，通过定制数据集训练，在空间推理任务上超越基线模型与GPT-4o，且具备跨图像、视频的泛化能力。
Comments 26 pages, 5 figures
LEMUR：基于视觉锚定推理重定向的潜在熵感知多模态遗忘
专题命中 视觉推理 ：visual reasoning(abstract)；分类 cs.LG
AI总结 针对原生RL训练多模态模型的隐私泄漏问题，提出基于熵动态的无训练推理时遗忘框架LEMUR，可更有效地抑制敏感信息在推理轨迹和答案中的泄漏，同时保留模型非敏感效用。
多智能体目标存在性验证与学习型掩码几何优化：2026年第8届LSVOS挑战赛MeViS-Text赛道获胜报告
机构 * Soongsil University（崇实大学）
专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV
AI总结 本研究提出SSUPER方案，通过多智能体审计解耦存在性验证、StyleRefiner优化掩码几何，获2026年LSVOS挑战赛MeViS-Text赛道冠军，最终得分0.9081339614。
CausalSplat：面向3D高斯溅射的综合层级推理
机构 * Peking University（北京大学） ； North China Electric Power University（华北电力大学） ； Hunan University（湖南大学）
专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV
AI总结 针对3D高斯溅射推理局限，本文提出CausalSplat框架，结合视觉语言模型与3D场景图，构建两个推理基准，在相关任务上实现最优性能与强泛化性。
Comments Accepted to ACM MM 2026
AWARe：基于激活加权的自适应保留缓解灾难性遗忘
机构 * School of Software Technology, Zhejiang University（浙江大学软件学院） ； College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院） ； School of Artificial Intelligence, Sun Yat-Sen University（中山大学人工智能学院） ； Graduate School of Information Science, Hokkaido University（北海道大学信息科学研究院）
专题命中 视觉推理 ：multimodal large language model(abstract)
AI总结 针对多模态大语言模型微调时的灾难性遗忘问题，提出无需修改架构的AWARe方法，通过激活加权控制参数更新，在保留上游能力的同时提升下游性能。
UniGround: 通过无训练场景解析实现通用三维视觉接地
机构 * The Hong Kong University of Science and Technology(Guangzhou)（香港科学与技术大学（广州）） ； Shanghai Normal University（上海师范大学）
专题命中 视觉定位与Grounding ：grounding(title,abstract)；VLM(abstract)；分类 cs.CV
AI总结 UniGround通过无训练的视觉和几何推理实现通用三维视觉接地，超越训练数据限制，在ScanRefer和EmbodiedScan上取得新突破。
Comments 30 pages,9 figures,11 tables
学习多模态伪标签以实现鲁棒的开放词汇实例和全景分割
机构 * Seoul National University of Science and Technology（首尔科技大学） ； Chung-Ang University（中央大学）
专题命中 视觉定位与Grounding ：LLaVA(abstract,abstract_cn)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI
AI总结 该研究针对开放词汇实例分割与开放集全景分割的痛点，提出多模态框架，结合预训练视觉语言模型生成伪标签并优化训练目标，在COCO数据集上取得优于现有SOTA的性能。
Comments 14 pages
Journal ref Neurocomputing, 2026
从提示到路面通过时间：代理场景到计划推理中的时间定位
机构 * Computer Science & Engineering Department, German University in Cairo (GUC), Egypt（德国亚历山大大学（GUC）计算机科学与工程系，埃及） ； C-DRiVeS Lab: Cognitive Driving Research in Vehicular Systems, Cairo, Egypt（认知驾驶系统实验室，埃及开罗，C-DRiVeS） ； M.Eng. Robotics Candidate at Deggendorf Institute of Technology, Germany（德国德格多夫技术学院机器人硕士候选人） ； IAV GmbH, Berlin, Germany（德国柏林IAV GmbH公司）
专题命中 视觉定位与Grounding ：grounding(title,abstract)；分类 cs.CV、cs.AI
AI总结 本研究探讨了在代理间通信中引入时间条件是否能保持或增强推理的一致性，而不会降低语义或逻辑一致性，并通过BDD-X数据集的curated子集评估了三种具有递增时间整合的规划器架构。结果表明，时间条件改变了推理风格，但并未在标准NLP正确性指标上产生统计显著改进，但定性分析揭示了预测危险推理、稳定纠正行为和战略分歧。
多模态QUD：来自科学图表的探究性问题
机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Ithaca College（伊萨卡学院） ； UC Berkeley, BespokeLabs.ai（伯克利大学，BespokeLabs.ai）
专题命中 视觉定位与Grounding ：grounding(summary_cn,abstract_cn)；VLM(abstract_cn)
AI总结 本文提出多模态QUD数据集，通过结合图表与文本上下文生成探究性问题，提升多模态推理能力，实现更高质量的视觉 grounding。
大语言模型作为网络优化的通用策略
机构 * Bytedance（字节跳动） ； Shenzhen International Graduate School（深圳国际研究生院） ； Tsinghua University（清华大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Department of Computer Science and Technology（计算机科学与技术系）
专题命中 视觉定位与Grounding ：grounding(title,abstract)；分类 cs.LG
AI总结 本文提出Trailblazer框架，利用大语言模型实现跨任务和环境的通用网络策略，通过网络对齐和策略协作机制提升效率与泛化能力。
Comments Arxiv version. Official version has been submitted to IEEE Transactions on Mobile Computing
作为辅助监督的生成：通过解耦嵌入预测以零推理开销增强视觉理解
机构 * ByteDance（字节跳动）
专题命中 视觉定位与Grounding ：multimodal large language model(abstract,abstract_cn)；grounding(abstract)；分类 cs.CV
AI总结 本研究提出GAS框架，将视觉生成作为辅助监督，通过解耦MoT架构的NEP实现零推理开销，提升了多模态理解尤其是感知与空间理解能力。
ForgeryVCR: 通过高效的取证工具在MLLMs中实现视觉中心推理用于图像伪造检测与定位
机构 * Shenzhen University（深圳大学） ； Tencent Youtu Lab（腾讯优图实验室）
专题命中 视觉定位与Grounding ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV
AI总结 ForgeryVCR通过高效的取证工具实现视觉中心推理，提升图像伪造检测与定位的性能。
Seed2GS：通过单个参考视图定位从3D高斯溅射（3DGS）场景中进行无相机、无训练的目标提取
专题命中 视觉定位与Grounding ：grounding(title)；分类 cs.CV
AI总结 Seed2GS是一种无相机、无训练的目标提取方法，通过分离目标身份与3D覆盖范围，在LERF-MASK和3D-OVS数据集上实现了高精度，且计算延迟低。
扫视、审视与思考：将视频异常检测从无训练推进到智能体推理
机构 * Beijing Jiaotong University（北京交通大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
专题命中 视觉定位与Grounding ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 该研究针对视频异常检测的“何时-何事”脱节问题，提出无训练框架GtS及工具增强型智能体方法，扩展基准并引入联合评估指标，实现了更高的异常检测准确性与推理速度。
Comments 34 pages, 8 figures, 8 tables. Journal extension of our AAAI 2026 paper (arXiv:2507.21507)
Omni-Persona：系统性基准测试与改进多模态个性化
机构 * Department of Electrical and Computer Engineering, Seoul National University（首尔国立大学电气与计算机工程系） ； Interdisciplinary Program in Artificial Intelligence, Seoul National University（首尔国立大学人工智能跨学科项目） ； Department of Artificial Intelligence, University of Seoul（首尔大学人工智能系）
专题命中 视觉定位与Grounding ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV
AI总结 Omni-Persona提出首个多模态个性化基准，通过Persona Modality Graph任务组和细粒度任务，系统分析多模态个性化中的接地行为，提出Calibrated Accuracy评估方法，揭示开源模型在音频与视觉接地上的差距及SFT与RLVR的局限性。
Comments Project Page: https://github.com/oyt9306/Omni-Persona
针对特定语料库的临床检索增强生成（RAG）系统在HealthBench上的表现与较新的前沿大语言模型相当或更优
专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI、cs.LG
AI总结 本文评估专为中低收入环境构建的临床RAG系统VITA，其在HealthBench基准测试中与前沿LLM表现相当或更优，语料库特异性可提升模型落地性但会降低沟通流畅度。
Comments 2 tables
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈