AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
TTRV：用于视觉语言模型的测试时间强化学习
机构 * IISc Bangalore（班加罗尔印度理工学院） ； JKU Linz（林茨约翰·凯撒大学） ； Stanford（斯坦福大学） ； Tübingen AI Center（图宾根人工智能中心） ； MIT-IBM Watson AI Lab（麻省理工-IBM沃森人工智能实验室） ； MIT CSAIL Project（麻省理工CSAIL项目）
专题命中 视觉问答 ：vision language model(title)；InternVL(abstract)；visual question answering(abstract)；分类 cs.CV
AI总结 TTRV通过测试时间强化学习提升视觉语言模型的识别和问答性能，无需标记数据，在多个任务中取得显著提升。
MemLoRA: 通过专家适配器实现设备端记忆系统
机构 * Samsung R&D Institute UK（三星英国研发中心） ； Technical University of Munich（慕尼黑技术大学） ； Helmholtz Munich（慕尼黑海德堡研究所）
专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；visual reasoning(abstract)；visual question answering(abstract)
AI总结 MemLoRA通过为小型语言模型添加专用记忆适配器，实现设备端记忆系统的本地部署，并扩展至视觉理解任务，提升多模态场景下的性能。
视觉推理追踪器：对象级 grounded 推理基准
机构 * UC Merced（加州大学默塞德分校） ； PKU（北京大学） ； NTU（国立台湾大学） ； CUHK（香港中文大学） ； WHU（武汉大学） ； FDU（福建大学）
专题命中 视觉推理 ：visual reasoning(title,abstract)；visual question answering(abstract)；grounding(abstract)；multimodal large language model(abstract)
AI总结 本文提出视觉推理追踪器任务，通过对象级 grounded 推理基准评估模型的推理路径生成能力，并引入了新的评估指标和大规模数据集提升模型推理表现。
Comments Technical Report; Project Page: https://harboryuan.github.io/visual-reasoning-tracer
SpaceMind: 基于摄像头引导的模态融合用于视觉-语言模型中的空间推理
机构 * Huawei（华为） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； The University of Hong Kong（香港大学）
专题命中 视觉推理 ：vision-language model(title,abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 SpaceMind通过摄像头引导的模态融合方法，提升视觉-语言模型在空间推理任务中的性能。
BiTAgent: 一种面向任务的模块化框架，用于多模态大语言模型与世界模型之间的双向耦合
机构 * Tsinghua University（清华大学） ； Shandong University（山东大学）
专题命中 视觉推理 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.AI
AI总结 BiTAgent通过双向耦合多模态大语言模型与世界模型，实现任务感知的动态联合学习，提升多任务和跨环境的泛化能力。
ReasonX: 基于多模态大语言模型的内在图像分解
机构 * Imperial College London（伦敦帝国学院） ； Adobe Research（Adobe研究院）
专题命中 视觉推理 ：MLLM(title,abstract)；multimodal large language model(abstract)；分类 cs.CV
AI总结 ReasonX通过多模态大语言模型提供相对比较监督，提升内在图像分解的泛化能力与精度。
ViRectify：一种用于多模态大语言模型视频推理纠错的挑战性基准
机构 * South China University of Technology（华南理工大学）
专题命中 视觉推理 ：multimodal large language model(title,abstract)；grounding(abstract)；分类 cs.CV
AI总结 ViRectify是一个用于评估多模态大语言模型视频推理纠错能力的挑战性基准，通过构建大规模数据集和提出轨迹证据驱动的纠正框架，验证了模型在纠错任务中的性能差异。
Comments 22 pages, 11 figures
ARM-Thinker: 通过智能工具使用和视觉推理强化多模态生成奖励模型
机构 * Fudan University（复旦大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Zhejiang University（浙江大学） ； Shanghai Jiao Tong University（上海交通大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Innovation Institute（上海创新研究院）
专题命中 视觉推理 ：visual reasoning(title)；grounding(abstract)；分类 cs.CV
AI总结 ARM-Thinker通过智能工具使用和视觉推理提升多模态奖励模型的准确性与可解释性。
KiVA：儿童启发的视觉类比用于测试大多模态模型
机构 * University of California, Berkeley（加州大学伯克利分校） ； Boston University（波士顿大学） ； Google DeepMind（谷歌DeepMind） ； Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
专题命中 视觉推理 ：LLaVA(abstract)；visual reasoning(abstract)；分类 cs.CV、cs.AI、cs.LG
AI总结 KiVA通过4300个日常物体视觉转换测试大模型的类比推理能力，发现儿童和成人表现优于现有模型，尤其在复杂任务上存在显著差距。
Comments 10 pages. Project website: https://ey242.github.io/kiva.github.io/. Benchmark and code: https://github.com/ey242/KiVA
Journal ref The Thirteenth International Conference on Learning Representations (ICLR), 2025
ASTRIDE：面向智能体AI应用的安全威胁建模平台
机构 * Old Dominion University（老奥布里恩大学） ； Accenture Technology Labs（埃森哲技术实验室） ； Florida International University（佛罗里达国际大学） ； Nanyang Technological University（南洋理工大学） ； University of Colombo（科伦坡大学）
专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；分类 cs.AI
AI总结 ASTRIDE是首个专为AI智能体应用设计的自动化威胁建模平台，通过扩展STRIDE框架并结合微调的视觉语言模型与推理LLM，实现基于图的威胁建模自动化。
dVLM-AD：通过可控推理增强扩散视觉语言模型以实现驾驶
机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； NVIDIA（英伟达） ； Stanford University（斯坦福大学） ； Johns Hopkins University（约翰霍普金斯大学）
专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV
AI总结 dVLM-AD通过可控推理提升扩散视觉语言模型，实现更一致的驾驶推理与规划性能。
DraCo: 文本到图像预览与稀有概念生成的草稿作为CoT
机构 * CUHK MMLab（香港中文大学 MMLab） ； CUHK IMIXR（香港中文大学 IMIXR） ； Sun Yat-Sen University（中山大学） ； SCUT（华南理工大学） ； CUHK (Shenzhen)（香港中文大学（深圳））
专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG
AI总结 DraCo通过结合文本和视觉内容的交错推理，提升文本到图像生成的精度和稀有概念生成能力。
Comments Project Page: https://github.com/CaraJ7/DraCo
CRAFT-E：一种用于具身赋能力量接地的神经符号框架
专题命中 视觉定位与Grounding ：grounding(title,abstract)；分类 cs.AI
AI总结 CRAFT-E通过结合神经符号方法和具身感知，提供了一种可解释且可定制的框架，用于辅助机器人系统中基于赋能力量的物体选择。
Comments 20 pages. 3 figures, 4 tables. Under Review
通过知识图谱 grounding 大语言模型的推理
机构 * UC Santa Barbara（加州大学圣巴巴拉分校） ； JP Morgan AI Research（摩根大通人工智能研究）
专题命中 视觉定位与Grounding ：grounding(title,abstract)
AI总结 通过知识图谱 grounding 大语言模型的推理，提升推理的准确性和可解释性
测量未言之: 一种解耦模型和基准用于野外心理分析
机构 * College of Computer Science, National University of Defense Technology（计算机科学学院，国防科技大学） ； Shien-Ming Wu School of Intelligent Engineering, South China University of Technology（智能工程学院，华南理工大学）
专题命中 视觉定位与Grounding ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出MIND模型和PRISM基准，通过解耦算法和专家标注数据提升野外对话心理分析的准确性与可靠性。
通过视觉-语言分割融合进行恶意图像分析：一次检测、元素识别与定位
机构 * Shanghai Jiao Tong University（上海交通大学） ； Microsoft Corporation（微软公司）
专题命中 视觉定位与Grounding ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV
AI总结 本文提出一种零样本方法，通过视觉-语言分割融合实现恶意图像的检测、元素识别与定位，提升细粒度审核的准确性和鲁棒性。
4DLangVGGT: 4D语言-视觉几何 grounded Transformer
机构 * State Key Laboratory of Precision Blasting, Jianghan University（江汉大学精密爆破重点实验室） ； Harvard AI and Robotics Lab, Harvard University（哈佛大学AI与机器人实验室） ； School of EIC, Huazhong University of Science and Technology（华中科技大学电子信息学院） ； Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系） ； Department of Computer Science, Hong Kong Baptist University（香港 Baptist 大学计算机科学系） ； School of Mathematics and Statistics, Hubei University of Education（湖北省教育学院数学与统计学学院）
专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV
AI总结 4DLangVGGT是一种基于Transformer的统一框架，用于4D语言 grounding，通过整合几何感知和语言对齐，提升4D场景理解的泛化能力和部署效率。
Comments Code: https://github.com/hustvl/4DLangVGGT, Webpage: https://hustvl.github.io/4DLangVGGT
ThaiOCRBench: 一种任务多样化的泰语视觉-语言理解基准
机构 * SCB 10X R&D（SCB 10X研发部） ； SCB 10X ； SCBX Group（SCBX集团）
专题命中 文档图表理解 ：vision-language model(abstract)
AI总结 ThaiOCRBench是一个针对泰语视觉-语言理解任务的多样化基准，通过人工标注的数据集评估了多种VLMs，揭示了专有模型在性能上的优势及开源模型在细粒度文本识别中的挑战。
Comments Accepted at IJCNLP-AACL 2025 (Main). This version includes the corrected Table 2 and an updated conclusion regarding the deletion count of the Gemma model
通过自增强对比对齐缓解多模态大语言模型中的对象和动作幻觉
机构 * Graduate Institute of Communication Engineering, National Taiwan University（国家交通大学通信工程研究所） ； NVIDIA
专题命中 GUI与屏幕智能体 ：MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG
AI总结 SANTA框架通过自增强对比对齐方法，有效缓解多模态大语言模型中的对象和动作幻觉问题。
Comments IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2026. Project page: https://kpc0810.github.io/santa/
TongUI: 通过多模态网络教程构建大规模GUI代理
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV
AI总结 TongUI通过多模态网络教程构建大规模GUI代理，利用GUI-Net数据集提升定位和导航性能，优于基线代理10%。
Comments AAAI 2026
LegalWebAgent：通过基于大语言模型的网络代理赋能正义获取
机构 * Cyberjustice Laboratory, Faculty of Law, University of Montreal, Canada（法律正义实验室，法学院，蒙特利尔大学，加拿大）
专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.AI
AI总结 LegalWebAgent通过多模态大语言模型实现网络代理，解决普通公民在法律问题中的获取障碍，实现从查询到行动的全流程自动化，实验结果显示其在复杂场景中的高自主性。
Chameleon：基于尺度的视觉提示注入的自适应对抗代理
专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.AI
AI总结 Chameleon是一种自适应对抗框架，通过动态优化图像扰动来暴露和利用多模态AI系统中的缩放漏洞，显著提高攻击成功率并影响决策准确性。
Comments 5 pages, 2 figures, IEEE Transactions on Dependable and Secure Computing
Align$^2$LLaVA: 多模态指令编纂的级联人类与大语言模型偏好对齐
机构 * Zhejiang University（浙江大学） ； Alibaba（阿里巴巴）
专题命中 VLM训练与架构 ：LLaVA(title,abstract)；MLLM(abstract)；分类 cs.AI
AI总结 Align$^2$LLaVA通过级联人类与LLM偏好对齐方法，有效压缩多模态指令数据，提升模型性能。
EVE：基于视觉-语言模型的端到端视频字幕提取
机构 * College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院） ； ByteDance Inc.（字节跳动公司） ； College of Electronic and Information Engineering, Tongji University（同济大学电子与信息工程学院） ； School of Computing and Communications, Lancaster University（兰卡斯特大学计算机与通讯学院）
专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV
AI总结 EVE提出了一种基于视觉-语言模型的端到端视频字幕提取框架，通过双分支模块高效提取字幕及时间戳，并构建了首个大规模视频字幕数据集。
开放性学习机器人中的自主性-对齐问题：目的框架的正式化
机构 * Institute of Cognitive Sciences and Technologies, National Research Council（认知科学与技术研究所，国家研究理事会） ； Integrated Group for Engineering Research, CITIC, Universidade da Coruña（工程研究联合组，CITIC，科鲁纳大学） ； Institute of Intelligent Systems and Robotics, Sorbonne University / CNRS（智能系统与机器人研究所，索邦大学 / CNRS）
专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出了一种用于开放性学习机器人的计算框架，通过定义'目的'来平衡自主性与人类控制，解决自主性-对齐问题。
Comments 33 pages, 5 figures
我能看到永远！
机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
专题命中 其他VLM ：vision language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文评估了实时视频LLMs在帮助视障者日常生活中的有效性，发现GPT-4o在任务成功率方面最高，并提出SafeVid数据集提升风险识别准确率至76%
Comments 17 pages
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈