AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
UniVVT：用于高保真视频虚拟试穿的统一端到端框架
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 UniVVT是一种统一端到端视频虚拟试穿框架，以多模态大语言模型为核心，采用三阶段渐进训练策略，在多基准上实现了优于主流方法的高保真试穿效果。
Comments 17 pages,21 figures
MAC 2026：推动微动作分析迈向细粒度理解
机构 * United Arab Emirates University（阿联酋大学） ； Hefei University of Technology（合肥工业大学） ； University College London（伦敦大学学院） ； Zhejiang University（浙江大学） ； University of Oulu（奥卢大学） ； CMVS, University of Oulu（奥卢大学计算机视觉与媒体研究中心）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.MM
AI总结 本文介绍第三届MAC 2026，以从识别到细粒度微动作理解为主题，扩大挑战范围，引入新任务并借助多模态大语言模型评估，总结了相关数据集、设置、结果等，还探讨了微动作分析未来方向及在视频理解中的作用。
Comments Challenge Summary Paper of the 3rd Micro-Action Analysis Grand Challenge (MAC 2026) at ACM Multimedia 2026
2026年EgoVis首届EgoCross挑战赛：跨域自我中心视频问答
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本文介绍2026年EgoVis研讨会举办的首届EgoCross跨域自我中心视频问答挑战赛，含两个赛道，共获1500余份提交，公布结果与获胜方案，资源公开以推进相关研究。
Comments 1st EgoCross challenge @ EgoVis workshop, CVPR26
预测再检索：从视频前缀中进行跨实例未来状态检索
机构 * Centre for AI Research, VinUniversity（VinUniversity人工智能研究中心） ； National University of Singapore（新加坡国立大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL
AI总结 该研究提出PSR任务，构建含多数据集的基准，提出LFTR模型，发现预测而非感知是核心挑战，LFTR缩小差距且成本低，相关资源已公开。
Comments Work in progress
推理前的感知：面向视频理解与问答的动态隐式推理
机构 * Rice University（莱斯大学） ； Georgia Institute of Technology（佐治亚理工学院）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 该研究针对视频问答现有方法依赖长文本思维链的问题，提出DyLaR模型，通过动态调整感知与推理隐式变量的使用，在9个视频基准上提升准确率且缩短响应长度。
通过双阶段蒸馏实现无约束事件-图像特征匹配的无标签目标域适应
机构 * Zhejiang University（浙江大学） ； Hunan University（湖南大学） ； National University of Defense Technology（国防科技大学） ； Ant Group（蚂蚁集团）
专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.MM
AI总结 研究针对无约束事件-图像特征匹配问题，提出双阶段训练范式，先进行无标签蒸馏预训练，再引入极线引导自蒸馏框架，在新的跨模态评估基准上实验，取得领先的姿态估计性能。
Comments Accepted to ACM MM 2026. The source code and benchmark will be made publicly available at https://github.com/ZhonghuaYi/nexus2-official
AdaThinkV：面向令牌高效视频推理的自适应思维
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本研究提出AdaThinkV自适应视频推理框架，通过ThinkGain与VRPO解决CoT推理的令牌浪费问题，在视频推理任务中以更少令牌实现优于最强自适应基线的准确率。
神经网络中的隐状态：从模型权重中恢复漂移数据的时间结构
机构 * Princeton University（普林斯顿大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI
AI总结 该研究通过对连续时间窗口分类器的对齐权重轨迹拟合HMM，从模型权重中恢复离散状态，在Fakeddit和Yelp数据集上验证了状态内迁移优势，且该优势与数据分布外的迁移结构相关。
跨文本、表格和知识图谱检测知识不一致性
机构 * EURECOM（欧洲电信学院）
专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CL、cs.AI
AI总结 研究跨文本、表格和知识图谱的知识不一致性检测问题，提出\textsc{Kontrast}框架，通过文本到SPARQL和语言模型推理比较并分类不一致性，实验表明跨模态不一致性常见且有价值，为知识审计提供工具并建立基准。
I2VShield：一种针对基于DiT的图像到视频模型的高效主动防御框架
机构 * School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 针对I2V模型被滥用问题，提出I2VShield主动防御框架。其包含文本自适应扰动生成框架和非目标多模态注意力干扰攻击两部分。该方法在多数据集和模型上保护性能优，能破坏时空连贯性且降低计算成本。
利用记忆进行推理：一种用于免训练长视频理解的时间粒度自适应框架
机构 * National University of Singapore（新加坡国立大学） ； Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)（高性能计算研究所，科学、技术与研究机构（A*STAR）） ； Nanyang Technological University（南洋理工大学） ； University of Science and Technology of China（中国科学技术大学） ； Jilin University（吉林大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 研究针对多模态大语言模型长视频理解受限问题，提出ReMem框架，通过双级记忆增强自适应，在查询和视频级别分别处理，能适应不同时间粒度，经实验验证在多个基准测试中实现高效零样本性能，提升模型长视频推理能力。
Comments Accepted by ECCV 2026
视觉瓶颈：用于联合时空视频定位的多模态大语言模型的稀疏帧适配
机构 * University of Zurich（苏黎世大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 研究针对多模态大语言模型在视频定位中训练与部署条件不匹配问题，通过实验表明视觉特征提取是稀疏帧输入瓶颈，提出适配特定层及边界感知采样策略，证明训练策略对稀疏帧视频定位比模型规模更关键。
Comments 15 pages, 5 figures
MarineEVT：通过视觉工具推理推进以事件为中心的海洋视频理解
机构 * The Hong Kong University of Science and Technology（香港科技大学） ； University of California, Los Angeles（加利福尼亚大学洛杉矶分校） ； University of Electronic Science and Technology of China（电子科技大学）
专题命中 视频多模态 ：image-text(abstract)；分类 cs.CV、cs.AI
AI总结 针对海洋视频理解面临的挑战，构建MarineEVT数据集，将其理解分解为EVT-R1过程，利用视觉工具驱动模型。实验显示EVT-R1优于多个SOTA VLMs，为海洋相关发展奠定基础并推动VLMs进步。
Comments Accepted to The 19th European Conference on Computer Vision (ECCV) 2026
ReViV：从单目自我中心视频中重建4D中的观看者和视图
机构 * ETH Zurich（苏黎世联邦理工学院） ； Delft University of Technology（代尔夫特理工大学） ； Microsoft（微软）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 研究旨在从单目自我中心视频重建4D中的观看者和视图，提出ReViV框架，将任务建模为学习多模态信号联合概率分布，由掩码生成自我中心变压器驱动，在多基准测试中展现出高精度和效率，还保持了竞争力强的自我中心深度估计，且代码模型开源。
Comments Accepted to ECCV 2026. The first two authors contributed equally, and their author order is interchangeable
GeoChrono：遥感中长期时间理解的基准测试与重新思考
机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Tsinghua University（清华大学） ； Hunan Normal University（湖南师范大学） ； City University of Hong Kong（香港城市大学）
专题命中 视频多模态 ：MLLM(abstract)；分类 cs.CV、cs.AI
AI总结 研究针对遥感中长期时间理解缺乏系统评估的问题，引入ChronoBench基准。基于评估结果提出GeoChrono模型，设计相关编码器和压缩器并构建训练数据集，该模型在基准测试中性能领先，压缩器有效减少视觉令牌。
Comments Accepted to ACM MM 2026
ScanFocus：一种用于时空视频定位的从粗到细框架
机构 * Southeast University（东南大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 研究时空视频定位问题，提出ScanFocus从粗到细框架，利用统一融合编码器和轻量级模块生成粗略提议，再用语义引导时间聚合器恢复细节，实验表明该方法性能优于以往方法。
Comments this paper has already been accepted by ECCV 2026
纠正注意力分散引起的视觉模糊以减少幻觉：算法与理论
机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本文揭示多模态大语言模型中的物体幻觉与类人注意力分散现象相关，并提出一种无需额外训练的注意力聚焦方法（AFIP）通过跨头注意力增强和动态历史注意力强化来纠正视觉模糊，从而减少幻觉。
Journal ref ICML2026
第11届ABAW挑战赛中的HSEmotion团队：多任务学习与矛盾/犹豫视频识别
机构 * Central University（中央大学） ； Sber AI Lab（Sber人工智能实验室） ； HSE University（俄罗斯高等经济研究大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 在第11届ABAW挑战赛中，团队用冻结轻量级面部提取器等方法进行多任务学习，在s - Aff - Wild2数据集上超ConvNeXt基线；扩展视听管道用于矛盾/犹豫视频识别，在BAH数据集上提升性能，无需微调重型骨干，展示了轻量级融合的优势。
Comments to be submitted to ABAW-11 workshop of ECCV 2026
动作映射策略：通过像素分类学习3D闭环操作
机构 * Northeastern University（东北大学） ； Stanford University（斯坦福大学） ； Brown University（布朗大学）
专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI
AI总结 研究针对机器人学习中动作空间的挑战，提出动作映射策略（AMP），将3D闭环操作策略学习转为图像空间分类问题，通过投影动作到图像平面，以像素为类别控制维度，实现高精度、快速推理，实验证明其优于基线。
Comments Project Website: https://haojhuang.github.io/amp_page/
EvoCUA-1.5：用于多轮计算机使用智能体的在线强化学习
机构 * Meituan（美团） ； Fudan University（复旦大学） ； Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI
AI总结 研究多轮计算机使用智能体的在线强化学习问题，提出EvoCUA-1.5，通过STEPO、DTAC等方法应对多轮交互挑战，经实验验证其提高了训练稳定性和下游性能，为在线强化学习提供实用框架。
姿态到生物力学：连接3D人体姿态估计与生物力学属性预测
机构 * University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 研究旨在连接3D人体姿态估计与生物力学属性预测。提出BioModule轻量级插件式时间变压器，连接在3D姿态估计器下游预测生物力学属性，无需修改上游模型。构建数据集训练评估，在七个先进姿态估计器上基准测试，成为两者间紧凑模块化桥梁。
Comments 23 pages, 2 figures
CarbonCLIP：通过集成街景语义和时间上下文训练增强卫星图像的碳排放预测
机构 * Energy Research Institute at NTU（国立理工学院能源研究所） ； Interdisciplinary Graduate Programme（跨学科研究生项目） ； School of Electrical and Electronic Engineering（电气电子工程学院） ； School of Public Administration and Policy（公共管理与政策学院） ； Asian School of the Environment（亚洲环境学院） ； Center for Climate Change and Environmental Health（气候变化与环境健康中心）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 针对城市碳排放预测难题，CarbonCLIP提出多模态蒸馏框架，通过双分支对比学习，利用街景语义和时间上下文训练增强卫星图像碳排放预测，实验证明该方法优于基线，为卫星碳建模提供有力支持。
Comments Accepted by IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. 21 pages, 6 figures, 9 tables
HST-HGN：基于双向状态空间模型的异构空间-时间超图网络用于全局疲劳评估
机构 * School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院）
专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出HST-HGN，通过双向状态空间模型和异构空间-时间超图网络，有效建模长程时序依赖，实现对驾驶员疲劳的高效评估，兼顾判别力与计算效率，适用于实时车载边缘部署。
Comments 10 pages
VideoSearcher：通过强化学习利用多工具智能推理助力视频深度研究
机构 * Stephengzk
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 针对视频理解局限，提出VideoSearcher框架，统一多任务于单推理轨迹，用强化学习算法BiSPO优化推理轨迹，构建新基准，实验表明其在多基准中显著优于开源基线。
Comments Technical report. Project page: https://stephen-gzk.github.io/VideoSearcher-website/ ; Code: https://github.com/Stephen-gzk/VideoSearcher ; Model & Data on HuggingFace
用于视频推理的潜在视觉缓存
机构 * Tencent Youtu Lab（腾讯优图实验室） ； Tsinghua University（清华大学） ； University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL
AI总结 研究视频推理中视觉锚定衰减问题，提出潜在视频缓存Latent-VC插入解码器，通过监督对比缓存对齐等训练，在多视频基准测试中表现优于基线，能保留视觉证据提升推理。
DELTAVID：利用跨视频差异增强细粒度时空感知
机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Kuaishou Technology（快手科技）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 研究针对视频多模态大语言模型缺乏精确局部时空感知问题，提出DELTAVID框架，将跨视频找差异转化为可训练感知信号，还引入相关数据集，提升了跨视频差异理解性能并能迁移到通用视频理解基准。
Reflect-R1：长视频理解中基于证据驱动的自纠正反思
机构 * Tsinghua University（清华大学） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳）） ； Nanyang Technological University（南洋理工大学） ； University of Science and Technology of China（中国科学技术大学） ； Shenzhen University（深圳大学） ； University of California（加利福尼亚大学） ； Shanghai Jiao Tong University（上海交通大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 提出Reflect-R1框架，通过直觉、验证、仲裁三阶段管道动态检索客观视觉证据，并设计阶段解耦强化学习算法SD-GRPO解决策略耦合，在长视频理解基准上达到最优性能。
Comments 2026 ECCV
主动对抗扰动驱动的关联记忆检索用于RGB-事件视觉目标跟踪
机构 * School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院） ； School of Electronic and Information Engineering, Anhui University（安徽大学电子信息工程学院） ； Peng Cheng Laboratory（鹏城实验室） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； School of Computer Science, Peking University（北京大学计算机学院） ； School of Electronic and Computer Engineering, Shenzhen Graduate School, Peking University（北京大学深圳研究生院电子与计算机工程学院）
专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI
AI总结 提出APRTrack框架，通过分层对抗扰动模拟模态退化与局部缺失，并设计足迹引导的通道校准Hopfield检索实现鲁棒的历史信息补偿，在多个数据集上验证了有效性。
跨具身机器人操作的动作先验学习
机构 * Renmin University of China（中国人民大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； University of Toronto（多伦多大学） ； Amazon（亚马逊）
专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 提出两阶段训练框架，先通过流匹配预训练动作模块学习跨具身时间运动结构，再迁移至VLA训练，提升数据效率与任务成功率。
MotionHalluc: 诊断细粒度运动推理中的运动幻觉
机构 * Sun Yat-Sen University（中山大学） ； Shenzhen University（深圳大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 提出MotionHalluc基准，评估跨视频比较中的运动幻觉，并引入PPV方法通过注入运动测量值减少幻觉，平均性能提升10.6%。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈