AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
ImViD：用于增强VR沉浸感的沉浸式体积视频
机构 * Tsinghua University（清华大学） ； Migu Beijing Research Institute（中国移动北京研究院） ； Institute of Automation, Chinese Academy of Science（中国科学院自动化研究所）
专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV
AI总结 提出ImViD多视角多模态数据集，支持移动中捕获完整场景，为6自由度多模态沉浸式VR体验提供基准和重建管线。
Comments CVPR 2025 Highlight; Fix NSFC ID
PolyFusionAgent: 用于聚合物性能预测和逆向设计的多模态基础模型与自主AI助手
机构 * Department of Applied Computer Science, The University of Winnipeg（应用计算机科学系，温尼伯大学） ； Department of Mechanical Engineering, University of Manitoba（机械工程系，曼尼托巴大学）
专题命中 多模态Agent ：multimodal(title,abstract)；multimodal foundation model(title)；分类 cs.AI
AI总结 提出PolyFusionAgent框架，结合多模态聚合物基础模型PolyFusion和工具增强的设计代理PolyAgent，通过对齐序列、拓扑、3D几何和指纹等多模态视图学习共享潜在空间，实现热物理性能预测和化学有效、结构新颖的聚合物逆向设计，并利用文献证据检索闭环设计流程。
Comments 23 pages, 5 figures, 2 tables; Supplementary material included
个性化具身多模态大语言模型代理在长期用户交互中的应用
机构 * Yonsei University（延世大学） ； KAIST（韩国科学技术院）
专题命中 多模态Agent ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.AI
AI总结 提出POLAR框架，通过多模态知识图谱记忆机制增强具身代理在长期交互中的个性化能力，显著提升多步推理和用户上下文跟踪性能。
AD-H：基于分层智能体的语言引导自动驾驶
机构 * Dalian University of Technology（大连理工大学）
专题命中 多模态Agent ：MLLM(summary_cn,abstract)；multimodal(abstract)；分类 cs.CV
AI总结 提出AD-H分层多智能体框架，上层MLLM规划器生成中层驾驶指令，下层轻量控制器执行连续动作，通过规则重建1.15M中层指令对，以3B+350M参数超越7B模型，实现长时域泛化与指令遵循。
QUACK: 多模态社交推理智能体中的沟通知识质疑、理解与审计
机构 * McGill University（麦吉尔大学） ； Mila - Quebec AI Institute（魁北克人工智能研究所） ； University of Cambridge（剑桥大学） ； MBZUAI - Mohamed bin Zayed University of Artificial Intelligence（MBZUAI - 摩苏尔·本·扎耶德人工智能大学） ； University of Toronto（多伦多大学） ； Salesforce
专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CL、cs.AI
AI总结 提出QUACK框架，通过游戏结果、行为轨迹和话语一致性三级评估，自动审计多模态社交推理智能体语言与感知行为的一致性，发现最强智能体仍有15.1%的空间幻觉和过半无据指控。
多模态决策支持系统的游戏化需求获取：以SYNCHROMODE为例
专题命中 多模态Agent ：multi-modal(title)；multimodal(abstract)
AI总结 本文以SYNCHROMODE项目为案例，通过传统用例方法和游戏化方式获取多模态决策支持系统的需求，并对比分析两种方法产生的需求。
Comments 12 pages, 6 figures
IPIBench: 在连续流下评估多模态大模型的交互式主动智能
机构 * College of AI, Tsinghua University（清华大学人工智能学院） ； ByteDance（字节跳动）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV
AI总结 提出IPIBench基准，用于评估多模态大模型在流式视频场景中的交互式主动智能，并设计IPI-Agent框架以改善主动触发和交互协调。
EgoProx: 在认知层级上评估多模态大语言模型的自我中心3D邻近推理能力
机构 * College of AI, Tsinghua University（清华大学人工智能学院） ； ByteDance（字节跳动） ； State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV
AI总结 提出EgoProx基准，通过认知链任务和基于智能体的数据引擎，评估多模态大语言模型在自我中心3D邻近推理中的表现，发现模型虽具备空间知识但难以有效利用。
Comments Accepted to CVPR 2026
分离跳跃链接与$R$-探针：解耦特征聚合与梯度传播用于MLLM OCR
机构 * State Key Laboratory for Multimedia Information Processing, School of Computer Science, PKU-Anker LLM Lab, Beijing Key Laboratory of Software and Hardware Cooperative Artificial Intelligence Systems, Peking University, Beijing, China（多媒体信息处理国家重点实验室，计算机科学学院，PKU-Anker LLM实验室，软件与硬件协同人工智能系统北京重点实验室，北京大学，北京，中国） ； Tsinghua University, Beijing, China（清华大学，北京，中国） ； Baidu Inc, Beijing, China（百度公司，北京，中国）
专题命中 多模态训练与对齐 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 针对多模态大语言模型在OCR任务中因梯度干扰导致细粒度视觉信息丢失的问题，提出分离跳跃链接（Detached Skip-Links）以解耦前向特征聚合与反向梯度传播，并引入$R$-探针（$R$-Probe）诊断视觉令牌的可重构性，从而提升OCR及通用多模态任务性能。
Comments Accepted by ICML 2026. Ziye Yuan and Ruchang Yao contributed equally to this work (co-first authors, listed in random order)
基于信息融合的文档分类模式识别：多模态与多视角表示方法的系统综述
机构 * National Information Processing Institute（国家信息处理研究所）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.AI
AI总结 本文通过系统综述和元分析，提出了统一框架，量化了多模态和多视角融合在文档分类中的性能提升，并揭示了方法学严谨性不足的问题。
Journal ref Information Fusion, 132, 2026, 104247
LaRe: 用于多模态推理的潜在重聚焦
机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络与信息安全学院）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.CL
AI总结 提出LaRe范式，在潜在空间内进行视觉重聚焦，结合语义增强训练，在提升推理准确率的同时大幅减少推理所需token数。
Re-M3Dr：重新平衡的多模态均值偏差回归
机构 * Duke Kunshan University, China（杜克大学昆山学院） ； Xi'an Jiaotong-Liverpool University, China（西安交通大学利物浦大学） ； Soochow University（苏州大学）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV
AI总结 针对多模态医学图像融合性能反不如单模态的问题，提出Re-M3Dr框架，通过自适应边界的监督对比学习和锐度感知梯度调制，实现多模态均值偏差回归，在临床数据集上均方误差降低29%。
基于Perceiver IO融合卫星和街景图像的多模态建筑检测
机构 * University of Amsterdam (UvA)（阿姆斯特丹大学） ； Spotr
专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV
AI总结 提出一种通过Perceiver IO架构融合卫星和街景图像的多模态分类框架，使用共享DINOv2骨干网络的空间补丁令牌，无需填充或固定大小池化即可处理可变数量的街景视图，并联合预测屋顶元素和材料类别，在包含10个国家32135栋建筑的数据集上验证了RGB-M掩码策略和融合模型的有效性。
PANDO: 通过在线技能蒸馏实现高效多模态AI智能体
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI
AI总结 提出PANDO框架，通过在线技能蒸馏、结构化技能库和缓存感知提示，在VisualWebArena任务中以更低token消耗实现更高成功率。
DV-SFT: 直接视觉监督用于细粒度视觉理解
机构 * School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院） ； Zhongguancun Academy（中关村学院） ； Beihang University（北航） ； Zhongguancun Laboratory（中关村实验室） ； Southeast Academy of Information Technology, Beijing Institute of Technology（北京理工大学信息科学技术东南学院）
专题命中 多模态训练与对齐 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV
AI总结 提出DV-SFT方法，通过为视觉令牌构建显式令牌级监督信号，利用OCR场景中的直接视觉-文本对应关系，在不修改模型架构或增加前向传播的情况下，显著提升多模态大语言模型的细粒度视觉理解能力。
Comments Under Review
频率引导的RGB-热红外语义分割融合
机构 * Hacettepe University（哈切特佩大学）
专题命中 多模态训练与对齐 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV
AI总结 提出一种基于双ConvNeXt V2骨干网络的多模态融合架构，通过频率分解和置信门控残差机制融合RGB与热红外特征，在MFNet和PST900上以较低参数量实现先进性能。
Comments 9 pages, 7 figures, To be Presented at Perception Beyond the Visible Spectrum workshop series (IEEE PBVS) at CVPR, 2026
Hide to See: 面向VLM蒸馏中视觉锚定思维的推理前缀掩码
机构 * KAIST（韩国科学技术院） ； NVIDIA（英伟达） ； POSTECH（POSTECH大学）
专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 提出一种推理前缀掩码蒸馏框架，通过掩码学生模型的显著推理前缀，迫使其在推理过程中更依赖视觉证据，从而缓解长推理轨迹中的视觉遗忘问题，提升多模态推理性能。
Comments Pre-print
自信号驱动的多LLM辩论以实现高效准确的推理
机构 * University of Cambridge（剑桥大学） ； Sorbonne Université（索邦大学） ； University of Science and Technology of China（中国科学技术大学） ； Beihang University（北航大学） ； Nanyang Technological University（南洋理工大学）
专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL、cs.AI
AI总结 提出一种利用模型级置信度和token级语义焦点两种自信号来自适应引导多LLM辩论过程的方法，在提高准确性的同时减少token消耗。
细节一致的分阶段蒸馏用于高效3D MRI分割
机构 * University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） ； Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔兰根-纽伦堡弗里德里希-亚历山大大学） ； UTHealth Houston（休斯顿UT健康）
专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV
AI总结 提出细节一致蒸馏（DCD）框架，通过小波分解对齐教师-学生特征，在分阶段蒸馏中保留多尺度结构细节，实现高效3D MRI分割。
Comments Accepted by MICCAI 2026. 11 pages, 3 figures
无数据？没问题：面向缺失值的鲁棒视觉-表格学习
机构 * School of Computation, Information and Technology, Technical University of Munich, Germany（计算、信息与技术学院，慕尼黑技术大学，德国） ； Institute of Machine Learning in Biomedical Imaging, Helmholtz Munich, Germany（生物医学成像中的机器学习研究所，海德堡慕尼黑，德国） ； School of Biomedical Engineering and Imaging Sciences, King’s College London, UK（生物医学工程与成像科学学院，伦敦国王学院，英国） ； Department of Diagnostic and Interventional Radiology, TUM University Hospital, Technical University of Munich, Germany（诊断与介入放射科，慕尼黑技术大学医院，德国） ； Munich Center for Machine Learning, Germany（慕尼黑机器学习中心，德国）
专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV
AI总结 提出RoVTL框架，通过对比预训练中的表格属性缺失增强和下游任务中的Tabular More vs. Fewer损失，实现从0%到100%表格数据可用性下的鲁棒多模态学习。
喷注标记器中的粒子-拉普兰多模态
机构 * Brown University（布朗大学） ； Imperial College of Science, Technology and Medicine（帝国理工学院科学、技术与医学学院）
专题命中 多模态训练与对齐 ：multimodal(abstract)
AI总结 提出PLuM多模态架构，联合处理粒子成分与拉普兰平面分裂，通过交叉注意力机制研究显式QCD层次结构是否补充原始粒子表示，发现对顶夸克和H→bb标记有系统性提升，在HH(4b)分析中背景抑制提高25%。
RAVE: 重新分配大型多模态模型中的视觉注意力
机构 * Qwen Business Unit of Alibaba（阿里巴巴文勤业务部） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Beijing Institute of Technology（北京理工大学）
专题命中 其他多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV
AI总结 针对大型多模态模型中标准注意力机制存在的跨模态误分配和视觉内不平衡问题，提出轻量级成对门控机制RAVE，通过学习查询-键偏置重新分配视觉注意力，在多个多模态基准上平均提升3个百分点，尤其对感知密集型任务效果显著。
解析多模态上下文学习：现代Transformer中的模态不对称性与电路动力学
机构 * Technical University of Munich（慕尼黑技术大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； DeepMind（深Mind） ； Beijing University of Posts（北京邮电大学）
专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.CL
AI总结 通过可控实验，研究现代Transformer中多模态上下文学习的基本机制，发现模态间学习不对称性，并揭示其背后的归纳式电路机制。
Comments ICML 2026 Spotlight
DeepInterestGR: 利用多模态大语言模型挖掘深度多兴趣用于生成式推荐
机构 * Southeast University（东南大学）
专题命中 其他多模态 ：multi-modal(title)；分类 cs.CV
AI总结 提出DeepInterestGR框架，通过多LLM兴趣挖掘、奖励标记深度兴趣和兴趣增强物品离散化，解决生成式推荐中的浅层兴趣问题，在三个Amazon数据集上显著提升推荐性能。
Doc-CoB：通过视觉链式框推理增强文档理解
机构 * Zhejiang Key Laboratory of Accessible Perception and Intelligent Systems, Zhejiang University（浙江可感知与智能系统重点实验室，浙江大学） ； Alibaba Group（阿里巴巴集团） ； Shanghai AI Laboratory（上海人工智能实验室）
专题命中 其他多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 提出Doc-CoB框架，通过粗到细的布局感知视觉推理，结合多模态大语言模型，逐步聚焦查询相关布局区域，提升文档理解性能。
公共交通路由的早期剪枝
机构 * Department of Computer Science and Engineering, University of New South Wales (UNSW), Sydney, NSW 2033, Australia（新南威尔士大学计算机科学与工程系） ； Department of Data Science and Artificial Intelligence, Monash University, Melbourne, Australia（墨尔本大学数据科学与人工智能系）
专题命中 其他多模态 ：multimodal(abstract)；分类 cs.AI
AI总结 提出早期剪枝技术，通过预排序换乘连接并在换乘循环中应用剪枝规则，在不影响最优性的情况下加速公共交通路由算法，实验表明查询时间最多减少57%。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈