AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
CamReasoner：通过结构化空间推理强化相机运动理解
机构 * University of California, Merced（加州大学梅尔德分校） ； University of Queensland（昆士兰大学） ； Ant Group（蚂蚁集团） ； University of Chinese Academy of Sciences（中国科学院大学） ； University at Buffalo, State University of New York（纽约州立大学布法罗分校）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 CamReasoner通过结构化推理框架提升相机运动理解，采用O-T-A范式和大规模推理轨迹集，首次利用强化学习实现逻辑对齐，提升分类和VQA性能。
STORM：视频中的端到端提及多目标跟踪
机构 * Amazon（亚马逊）
专题命中 视频多模态 ：MLLM(abstract)；分类 cs.CV、cs.AI
AI总结 STORM通过统一框架联合执行目标定位与跟踪，提升数据效率并构建新数据集，实现多目标跟踪的先进性能。
Comments CVPR 2026 Findings
逐步展望未来
机构 * Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Netflix
专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出通过稀疏点轨迹逐步推断来预测开放集未来场景动态，提升大规模探索效率，同时引入OWM基准测试预测准确性与现实不确定性下的多样性。
Comments CVPR 2026. For code and models, see http://compvis.github.io/myriad
VSI：视觉字幕整合用于关键帧选择以增强长视频理解
机构 * AI Thrust, HKUST(GZ)（香港科技大学（广州）） ； Shandong University（山东大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 VSI通过融合视觉与文本信息提升长视频关键帧检索精度，实现在文本相关任务中的突破性表现。
Comments Accepted to CVPR 2026 Findings, 10 pages
学习视觉-语言-动作世界模型以实现自动驾驶
机构 * MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院教育部人工智能重点实验室） ； Central Research Institute, Huawei（华为中央研究院）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出VLA-World模型，通过结合预测想象与反思推理提升自动驾驶的前瞻性。该模型利用生成的轨迹引导图像生成，并通过反思优化轨迹预测，实验表明其在规划和未来场景生成任务中优于现有方法。
Comments Accepted by CVPR2026 findings
SiMing-Bench：从连续交互评估临床技能视频中的过程正确性
机构 * School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院） ； Center for Language and Information Research, Wuhan University（武汉大学语言与信息研究中心） ； Southwest Jiaotong University（西南交通大学） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； The University of Manchester（曼彻斯特大学） ； Zhongnan Hospital of Wuhan University（武汉大学中南医院）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL
AI总结 SiMing-Bench旨在评估多模态大语言模型在临床技能视频中通过连续交互更新过程状态的能力，通过医师标注的数据集和标准化评分标准，揭示模型在过程级判断上的不足。
InstrAct：迈向指令视频中的动作中心理解
机构 * Pennsylvania State University（宾夕法尼亚州立大学） ； Microsoft Research（微软研究院） ； Nanyang Technological University（南洋理工大学）
专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出InstrAction框架，通过数据驱动策略和辅助目标提升指令视频中动作识别与建模，建立InstrAct基准测试集，优于现有视频基础模型。
SensorPersona: 一种基于大语言模型的持续性人设提取系统，用于从长期移动传感器流中无感获取
机构 * The Chinese University of Hong Kong（香港中文大学） ； Columbia University（哥伦比亚大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI
AI总结 本文提出SensorPersona系统，通过多模态长期传感器流持续提取稳定用户人设，提升LLM代理的个性化响应质量。系统通过上下文编码、分层人设推理和自适应更新，实现对物理行为、心理特质和生活经验的全面分析。
超越显而易见：视频理解中抽象概念识别的综述
专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI
AI总结 本文综述了视频理解中抽象概念识别的挑战与方法，强调基础模型的进步对高阶抽象理解的重要性，指出需结合多模态基础模型避免重复发明轮子。
Comments Accepted at IJCV
Journal ref International Journal of Computer Vision 134, 217 (2026)
探索基于自然语言的策略以通过强化学习高效学习儿童数字
机构 * Univeristy Of Colorado, Boulder（科罗拉多大学博尔德分校）
专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CL、cs.AI
AI总结 本文通过强化学习框架研究儿童如何使用十进制积木组成数字，发现明确动作指导的指令更有效，并提出有效的教学课程以加速收敛和提升泛化能力。
TIGFlow-GRPO：通过交互感知的流匹配和奖励引导优化进行轨迹预测
机构 * Tianjin University（天津大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出TIGFlow-GRPO，通过交互感知的流匹配和奖励引导优化，提升复杂环境下的轨迹预测准确性与稳定性，生成更符合社会规范和物理可行的轨迹。
基于语义的低比特率视频压缩
机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Dolby Laboratories（杜比实验室）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出DiSCo框架，通过语义条件扩散模型在低比特率下实现高质量视频压缩，采用文本描述、空间时间退化视频和可选草图等模态，提升感知质量。
想象之前聚焦：扩散引导的寄存器增强部分相关视频检索
机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Peng Cheng Laboratory（鹏城实验室）
专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.MM
AI总结 本文提出DreamPRVR，通过粗到细的表示学习范式，利用扩散模型生成全局语义寄存器，提升部分相关视频检索的准确性与鲁棒性。
Comments Accepted to CVPR 2026. 15 pages, 7 figures, 3 tables
SafeScreen: 一种以安全优先的个性化视频检索框架用于易受伤害用户的视频筛选
机构 * Worcester Polytechnic Institute（伍斯特理工学院）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 SafeScreen通过安全优先机制，在确保个性化视频检索的同时满足个体安全约束，采用自动化流程进行视频的连续审批或拒绝，结合个性化安全标准提取、证据驱动评估和LLM决策，实现实时可解释的视频筛选。
Comments 11 pages, 3 figures, 7 tables. Under review for ACM ICMI 2026
面向第一视角视频的个性化问答中的自我定位
机构 * University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出MyEgo数据集，用于评估多模态大语言模型在需要自我定位的个性化问答中的能力，发现现有模型在自我记忆和推理方面存在显著不足。
Comments To appear at CVPR'26
HieraVid：用于快速视频大语言模型的分层令牌修剪
机构 * Xiamen University（厦门大学）
专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.CL
AI总结 HieraVid通过分层修剪框架减少视频令牌冗余，提升视频大语言模型的效率，在保留性能的同时实现30%的令牌保留率。
FSKD：通过LiDAR到RGBI知识蒸馏推断单目森林结构
机构 * Helmholtz Centre for Environmental Research – UFZ（亥姆霍兹环境研究中心） ； Leipzig University（莱比锡大学） ； Georg-August University of Göttingen（哥廷根大学）
专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出FSKD框架，利用多模态教师模型融合RGBI影像与LiDAR衍生的平面指标和垂直剖面，通过交叉注意力机制，使RGBI-only的SegFormer学生模型在零样本情况下实现最先进的CHM性能，同时预测PAI和FHD等多指标。
Comments Paper in-review
VideoZeroBench: 通过时空证据验证探测视频多模态大语言模型的极限
机构 * PKU（北京大学） ； WHU（武汉大学） ； CASIA（中国科学院自动化研究所） ； BJTU（北京交通大学） ； CUHK（香港中文大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.MM
AI总结 VideoZeroBench通过严格验证时空证据，揭示视频多模态大语言模型在长视频问答中的不足，发现即使在标准设置下，模型正确率也低于17%，且在严格约束下性能显著下降，凸显了基于证据的视频理解仍是瓶颈。
真正的（视觉）谎言：分析生成式AI如何识别意图性、修辞和误导性在可视化谎言中
机构 * Sapienza University of Rome（罗马大学） ； Link Campus University（Link Campus大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL
AI总结 本文研究多模态大语言模型识别和解释误导性可视化的能力，并通过2336条新冠相关推文数据集分析其识别原因和潜在意图性，评估16种前沿模型并对比人类专家行为。
从人类数据学习人形导航
机构 * Stanford University（斯坦福大学）
专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出EgoNav系统，通过5小时人类行走数据训练人形机器人自主导航，无需机器人数据或微调。采用扩散模型预测未来轨迹分布，结合360度视觉记忆与DINOv3骨干网络，实现实时推理与路径选择，验证了在未知环境中避障和多模态覆盖的优越性。
Comments 8 pages 8 figures
超越图像：结合心电图与解剖知识的晚期钆增强图像心肌瘢痕分割
机构 * School of Computer Science, University of Sheffield（谢菲尔德大学计算机科学学院） ； Department of Cardiology, Trent Cardiac Centre, Nottingham City Hospital, Nottingham University Hospitals NHS Trust（诺丁汉大学医院NHS信托基金诺丁汉市医院特伦特心脏中心心脏病科） ； School of Medicine, University of Nottingham（诺丁汉大学医学院） ； Department of Engineering Science, University of Oxford（牛津大学工程科学系）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出一种融合心电图电生理信息与AHA-17解剖先验的多模态框架，通过时间感知特征融合机制提升晚期钆增强图像中心肌瘢痕分割的准确性与鲁棒性。
Comments oral presentation at International Symposium on Biomedical Imaging (ISBI 2026)
VIGiA：通过对话推理和检索进行教学视频指导
机构 * NOVA LINCS, NOVA School of Science and Technology, Portugal（新大学信息学与计算机科学研究中心，新大学科技学院，葡萄牙）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL
AI总结 VIGiA是一种多模态对话模型，通过对话推理和检索处理复杂的教学视频行动计划，实现基于视觉输入和计划的对话理解，优于现有方法，在计划感知的VQA任务中达到90%以上准确率。
Comments Published at EACL 2026 Findings
Journal ref Findings of the Association for Computational Linguistics: EACL 2026
VideoARM：基于分层记忆的代理推理用于长视频理解
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL
AI总结 VideoARM通过自适应代理推理和分层记忆结构，有效降低长视频理解的token消耗，优于现有方法DVD。
Comments Accepted to CVPR 2026, code available at https://milvlg.github.io/videoarm/
高效多专家模型用于基于视频的驾驶员状态和生理多任务估计在条件自动驾驶中
机构 * the Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； University of Hong Kong（香港大学）
专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出VDMoE模型，通过RGB视频和远程PPG数据监测驾驶员状态，优化多专家框架以提升多模态输入下的检测效率与准确性，通过新数据集验证其在条件自动驾驶中的有效性。
非语言鸿沟：迈向更安全和公平的在线约会情感计算
机构 * University of Kansas（堪萨斯大学） ； University of Maryland（马里兰大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本文探讨在线约会中非语言信息缺失的问题，提出以公平性为核心的研究议程，涵盖实时不适检测、互动不对称建模、知情同意互动设计及长期互动总结等能力领域，强调需建立公平评估体系和设备端处理架构以提升安全性和公平性。
ComVi：基于上下文的优化评论显示
机构 * KAIST（韩国科学技术院） ； Kookmin University（国民大学）
专题命中 视频多模态 ：audio-visual(abstract)；分类 cs.CV、cs.MM
AI总结 ComVi通过音频视频相关性计算，将评论映射到相关视频时间点，并优化时间相关性、流行度和显示时长，提升视频观看时的评论体验。
Comments To appear in Proceedings of the ACM CHI Conference on Human Factors in Computing Systems (CHI 2026)
强化结构链式思考以提升视频理解
机构 * Stony Brook University（石溪大学） ； Amazon（亚马逊）
专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出SDRL框架，通过结构化链式思考格式和自监督机制，解决多模态大语言模型在视频理解中的推理漂移和时间感知问题，实现单阶段强化学习，提升模型泛化能力。
Comments Accepted to CVPR 2026 (Main Conference)
CliPPER：基于长形式术中手术程序的上下文视频-语言预训练用于事件识别
机构 * University of Strasbourg, CNRS, INSERM, ICube, UMR7357, France（斯特拉斯堡大学，法国国家科学研究中心，法国国家医学研究院，ICube，UMR7357，法国） ； IHU Strasbourg, France（斯特拉斯堡IHU，法国） ； Technical University of Munich, Germany（慕尼黑技术大学，德国）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出CliPPER框架，通过手术讲座视频预训练，提升长形式手术视频的细粒度时间视频-文本识别，引入VTC_CTX和COP等预训练策略，改进多模态对齐，实现多个公开手术基准的新SOTA。
分割后再地面：为长视频理解适应帧选择以查询类型
机构 * Tsinghua University（清华大学） ； Microsoft Research Asia（微软亚洲研究院）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出DIG框架，根据查询类型调整帧选择策略，通过高效均匀采样处理全局查询，利用专用流程提取相关帧处理局部查询，提升长视频理解性能。
Comments CVPR 2026
基于音频视觉实体凝聚力与代理搜索的层次化长视频理解
机构 * University of Science and Technology of China（中国科学技术大学） ； Microsoft Research Asia（微软亚洲研究院）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出HAVEN框架，通过整合音频视觉实体凝聚力与层次化视频索引与代理搜索，解决长视频理解中的信息碎片化和全局一致性问题，实验显示在LVBench上达到84.1%的准确率。
Comments Accepted by CVPR2026
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈