多模态大模型

Auteur: Language-Driven Cinematographic Framing for Human-Centric Video Generation

Auteur: 以语言驱动的电影化取景实现以人为中心的视频生成

Muhammed Burak Kizil, Enes Sanli, Niloy J. Mitra, Xuelin Chen, Erkut Erdem, Aykut Erdem, Duygu Ceylan

机构 * Koç University（科克大学） ； University College London（伦敦大学学院） ； Adobe（Adobe公司） ； Hacettepe University（哈切特佩大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出Auteur方法，通过将相机运动参数化为以人为中心的取景（包括镜头尺寸、角度和构图），并利用领域特定语言（DSL）和微调的多模态大语言模型，实现语言驱动的电影化取景，在人类中心视频生成中优于现有方法。

Comments Project Page: https://cyberiada.github.io/Auteur/

CoRe: A Continuously Reward-Finetuned LLM Query Rewriter for Multi-Stage Context-Aware Relevance in Web-Scale Video Search

CoRe：一种持续奖励微调的LLM查询重写器，用于大规模视频搜索中的多阶段上下文感知相关性

Yilin Wen, Rong Yang, Xiaojia Chang, Hong Sun, Gefu Tang, Chunhui Liu, Jeffrey Chen, Zeyu Ma, Lisong Qiu, Xiaochuan Fan, Congjia Yu, Quan Zhou, Yuheng Chen, Zian Wang

机构 * TikTok 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 提出CoRe系统，通过半在线混合偏好优化和乘法奖励比，实现每周重新部署的LLM查询重写器，在多阶段视频搜索中显著降低变更查询率并提升相关性指标。

Comments 12 pages, 3 figures

V-JEPA 2.1: Unlocking Dense Features in Video Self-Supervised Learning

V-JEPA 2.1: 解锁视频自监督学习中的密集特征

Lorenzo Mur-Labadia, Matthew Muckley, Amir Bar, Mido Assran, Koustuv Sinha, Mike Rabbat, Yann LeCun, Nicolas Ballas, Adrien Bardes

机构 * FAIR at Meta（Meta的FAIR） ； Universidad de Zaragoza（萨拉戈萨大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出V-JEPA 2.1系列自监督模型，通过密集预测损失、深度自监督、多模态分词器和有效缩放，学习图像和视频的密集高质量视觉表示，在多个基准上取得最优性能。

Equivariant Flow Matching for Symmetry-Breaking Bifurcation Problems

等变流匹配用于对称破缺分岔问题

Fleur Hendriks, Ondřej Rokoš, Martin Doškář, Marc G. D. Geers, Vlado Menkovski

机构 * Department of Mechanical Engineering, Eindhoven University of Technology（埃因霍温理工大学机械工程系） ； DIFFER – Dutch Institute for Fundamental Energy Research（荷兰基础能源研究所） ； Faculty of Civil Engineering, Department of Mechanics, Czech Technical University in Prague（布拉格捷克技术大学土木工程学院力学系） ； Department of Mathematics and Computer Science, Eindhoven University of Technology（埃因霍温理工大学数学与计算机科学系） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 针对非线性动力系统中对称破缺导致的多稳态共存问题，提出等变流匹配方法，结合等变架构与最优传输耦合机制，准确捕捉多模态分布和对称破缺分岔，优于非概率和变分方法。

Comments 9 pages, 7 figures including appendices. Accepted to Machine Learning and the Physical Sciences Workshop, NeurIPS 2025 (https://ml4physicalsciences.github.io/2025/). Repository with corresponding code: https://github.com/FHendriks11/bifurcationML/. Video explanation: https://www.youtube.com/watch?v=wsL3h17KtjY

Q-Fold: Query-Aware Focus-Context Spatio-Temporal Folding for Long Video Understanding

Q-Fold: 查询感知的焦点-上下文时空折叠用于长视频理解

Biao Tang, Xu Chen, Shuxiang Gou, Jingyi Yuan, Yuhan Zhang, Chenqiang Gao

机构 * Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Shenzhen Institute for Advanced Study, University of Electronic Science and Technology of China（电子科技大学深圳高等研究院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出Q-Fold，一种无需训练的长视频输入构建框架，通过查询引导将相关片段保留为高保真焦点帧，不相关片段折叠为上下文布局，在固定预算下提升多模态大模型的长视频理解性能。

Comments 10 pages, 5 figures, 8 tables. Code will be made publicly available

SVoT: State-aware Visualization-of-Thought for Spatial Reasoning via Reinforcement Learning

SVoT: 基于强化学习的空间推理状态感知思维可视化

Chao Lei, Yanbei Jiang, Markus Hiller, Zhijian Zhou, Xunye Tian, Krista A. Ehinger, Nir Lipovetzky

机构 * School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出SVoT框架，通过强化学习生成可验证的中间状态和可视化，结合文本与视觉推理链，提升多模态大模型在多跳空间推理中的可靠性。

CoVR-R:Reason-Aware Composed Video Retrieval

CoVR-R: 推理感知的组合视频检索

Omkar Thawakar, Dmitry Demidov, Vaishnav Potlapalli, Sai Prasanna Teja Reddy Bogireddy, Viswanatha Reddy Gajjala, Alaa Mostafa Lasheen, Rao Muhammad Anwer, Fahad Khan

机构 * Mohamed bin Zayed University of AI（莫扎德·本·扎耶德人工智能大学） ； University of Chicago（芝加哥大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Linköping University（林奈大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出一种零样本推理优先方法，利用大型多模态模型推断编辑的因果和时序后效，并构建CoVR-Reason基准评估，在隐式效应子集上显著优于强基线。

Comments 9 Pages, 3 Figures

LAFP: Preserving Latent Action Structure in Latent Policy Learning via Flow Matching

LAFP：通过流匹配在潜在策略学习中保留潜在动作结构

Jiexi Lyu, Xizhou Bu, Qingqiu Huang, Chufeng Tang, Xiaoshuai Hao, Hongbo Wang, Wei Li

机构 * Fudan University（复旦大学） ； Morphi 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出LAFP方法，利用流匹配学习潜在策略，并引入推理时插值机制缓解随机性导致的错位，在模仿学习任务中成功率提升10-15%，推理开销增加不到1倍。

GenEyePose: Patient-Free, Knowledge-Based Saccadic Eye Movement Modeling for Digital Neurophysiologic Biomarker Development

GenEyePose：用于数字神经生理学生物标志物开发的无患者、基于知识的扫视眼动建模

Tianyu Lin, Jooyoung Ryu, Puvada Sreevarsha, Rahul Srinivasaragavan, Riya Satavlekar, Susan Kim, Nidhi Soley, Yujie Yan, Ishan Vatsaraj, Carl Harris, Aimon Rahman, Vishal Patel, Joseph Greenstein, Casey Taylor, Kemar E. Green

机构 * Whiting School of Engineering, Johns Hopkins University（约翰霍普金斯大学惠廷工程学院） ； Department of Neurology, Johns Hopkins Medicine（约翰霍普金斯医学院神经内科） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出首个全合成、无患者的多模态眼动生成流水线，用于泛化扫视分析；基于合成数据训练的深度学习分类器在真实临床数据上区分正常与异常扫视精度，AUROC达0.76。

Interpretable Crisis Behavior Analysis Using Mobility and Social Media Data

基于移动性和社交媒体数据的可解释危机行为分析

Muhammad Hamza Arshad Majeed, Sidahmed Benabderrahmane, Talal Rahwan

机构 * New York University (NYUAD)（纽约大学（NYUAD）） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 提出统一可解释流水线，融合移动性和社交媒体数据，通过形式概念分析和关联规则挖掘，识别危机中跨域行为模式，并在洛杉矶山火和COVID-19案例中验证，生成可操作的政策简报。

Temporal-Aware Reasoning Optimization for Video Temporal Grounding

时间感知推理优化用于视频时间定位

Minghang Zheng, Zihao Yin, Yi Yang, Yuxin Peng, Yang Liu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出TaRO框架，通过构造性推理探索和时间敏感性奖励，增强多模态大模型在视频时间定位中的时间感知推理能力，实现最先进性能。

Comments Accepted by ICML 2026

Counterfactual Reasoning for Fine-Grained Evidence Disentanglement in VideoQA

用于视频问答中细粒度证据分离的反事实推理

Zhou Du, Hamid Krim, Xiao Wu, Zhaoquan Yuan, Liangwei Li, Keisuke Fujii

机构 * School of OptoElectonic Science and Engineering, University of Electronic Science and Technology of China（电子科技大学光电科学与工程学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出反事实推理框架CREDiT，通过结构因果模型将视频问答中的跨模态表示分解为因果和非因果成分，在独立性约束下进行特征级因果干预，提升答案准确性和推理可靠性。

Comments 10 pages, 6 figures

Towards Accurate Emotion-Attributed Video Captioning via Fine-grained Emotion-Cause Pair Extraction

通过细粒度情感-原因对提取实现精确的情感归因视频字幕生成

Weidong Chen, Cheng Ye, Zhendong Mao, Liping Wang, Xinyan Liu, Yongdong Zhang

机构 * University of Science and Technology of China（中国科学技术大学） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） ； Harbin Institute of Technology (Weihai)（哈尔滨工业大学（威海）） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出细粒度情感-原因对提取框架，通过概念感知视觉语义分解和视觉引导情感可解释学习，提升情感视频字幕的准确性和丰富性。

VideoWeaver: Evaluating and Evolving Skills for Agentic Long Video Generation

VideoWeaver: 评估与进化智能体长视频生成技能

Jianhui Wei, Jie Tan, Hengchuan Zhu, Xiaotian Zhang, Yan Zhang, Ziyi Chen, Daoan Zhang, Wei Xu, Zuozhu Liu

机构 * Zhejiang University（浙江大学） ； ByteDance（字节跳动） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出VideoWeaver框架，让智能体自主组合基础技能生成视频，并设计智能体裁判评估过程与结果，通过技能进化算法提升生成质量。

OpenGlass: Ultra-Low-Power On-Device AI Eyewear with Event-based Vision

OpenGlass：用于设备上基于事件的手势识别的开源智能眼镜

Pietro Bonazzi, Julian Moosmann, Ahmet Celik, Philipp Mayer, Michele Magno

机构 * Department of Information Technology and Electrical Engineering, ETH Zürich（信息科技与电气工程系，瑞士联邦理工学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出开源智能眼镜平台OpenGlass，采用模块化设计、事件驱动电源管理和GAP9 RISC-V SoC，实现低功耗设备上ML，在LynX数据集上达到83.94%的跨主体手势识别准确率。

ChatHealthAI: Aligning Electronic Health Record Representations with Large Language Models for Grounded Clinical Reasoning

ChatHealthAI: 将电子健康记录表示与大语言模型对齐以实现基于临床的推理

Bo-Hong Wang, Baicheng Peng, Ruilin Wang, Jun Bai, Ziyang Song, Yue Li

机构 * School of Computer Science, McGill University（麦吉尔大学计算机科学系） ； Mila - Quebec AI Institute（魁北克人工智能研究所） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出ChatHealthAI框架，通过任务感知重采样器将预训练的EHR基础模型的结构化表示与冻结的大语言模型语义空间对齐，实现可解释的临床推理并保持预测性能。

Comments Main paper with appendix, 13 pages

QuickLAP: Quick Language-Action Preference Learning for Semi-Autonomous Agents

QuickLAP: 为半自主代理快速语言-动作偏好学习

Jordan Abi Nader, David Lee, Nathaniel Dennler, Andreea Bobu

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本研究提出QuickLAP，一种融合物理和语言反馈的贝叶斯框架，用于实时推断奖励函数，通过大规模语言模型提取奖励特征注意力掩码和偏好偏移，从而在半自主驾驶模拟器中将奖励学习误差降低70%，并通过用户研究验证其可理解性和协作性。

An Integrated Roadside Sensing and Communication Framework for Vulnerable Road User Safety at Signalized Intersections

信号交叉口弱势道路使用者安全的集成路边感知与通信框架

Parvez Anowar

机构 * Department of Civil, Environmental and Construction Engineering, University of Central Florida（中央佛罗里达大学土木、环境与建设工程系） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出集成多模态感知、边缘计算、V2X/P2X通信和自适应信号控制的框架，基于公开数据集R-LiViT分析53,319个标注，发现VRU占49%、昼夜密度差异大、近距离事件变化10倍、83%行人边界框小，支持多模态感知和自适应部署。

Comments 17 pages, 5 figures, 2 tables. Preprint

TraRA: Trajectory-level Recognition Aggregation for Video Text Spotting in Urban Surveillance

TraRA: 面向城市监控视频文本识别的轨迹级识别聚合方法

Duc Tri Tran, Trung Thanh Nguyen, Vijay John, Phi Le Nguyen, Yasutomo Kawanishi

机构 * RIKEN（日本理化学研究所） ； Hanoi University of Science and Technology（河内科学技术大学） ； Nagoya University（名古屋大学） ； Lawrence Technological University（劳伦斯技术大学） ； Ritsumeikan University（立命馆大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出TraRA方法，通过轨迹级文本识别聚合，利用时间与多模态一致性，解决监控视频中运动模糊、遮挡等导致的帧级识别不一致问题，在多个基准上提升跟踪与识别性能。

Comments 22nd IEEE International Conference on Advanced Visual and Signal-Based Systems

Stream3D-VLM: Online 3D Spatial Understanding with Incremental Geometry Priors

Stream3D-VLM：基于增量几何先验的在线3D空间理解

Hanxun Yu, Xuan Qu, Lei Ke, Boqiang Zhang, Yuxin Wang, Jianke Zhu, Dong Yu

机构 * Zhejiang University（浙江大学） ； Tencent Hunyuan（腾讯文汇） ； HKUST（香港科技大学） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出在线3D视觉语言模型Stream3D-VLM，通过自回归流控制、轻量视觉-空间特征融合模块和几何自适应体素压缩，实现从流式视频中实时理解3D空间，并构建超百万在线3D问答数据集，在多项任务上超越现有模型。

Comments Project Page: https://stream3d-vlm.github.io/

Proxy Reconstruction Pre-training for Ramp Flow Prediction at Highway Interchanges

高速公路立交匝道流量预测的代理重建预训练

Yongchao Li, Jun Chen, Zhuoxuan Li, Chao Gao, Yang Li, Chu Zhang, Changyin Dong

机构 * Southeast University（东南大学） ； Institute of Telecommunications and Information Sciences, China（中国电信与信息科学研究院） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.AI

AI总结 提出时空解耦自编码器（STDAE），通过跨模态重建预训练从主线数据恢复匝道流量，结合GWNet等模型提升预测精度，在真实数据集上超越13个基线。

Comments Accepted at Applied Soft Computing Journal

Journal ref Applied Soft Computing Journal 200 (2026) 115462

VTI-CoT: Visual-Textual Interleaved Chain of Thought for Video Reasoning

VTI-CoT: 用于视频推理的视觉-文本交织思维链

Shufan Zhang, Ziyue Lin, Bairun Wang, Lei Jin, Xuanding Ding, Xinzhu Ma, Kunlin Yang

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； University of Hong Kong（香港大学） ； Beijing Shanwei Zhixing Technology Co., Ltd.（北京尚维智行科技有限公司） ； Tsinghua University（清华大学） ； Beihang University（北航） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出VTI-CoT框架，通过视觉-文本交织的思维链结合OCR压缩技术，提升视频推理准确性和训练效率。

Comments 25 pages, 7 figures

An ERP Study on Recursive Locative Processing in Mandarin-Speaking Children with Autism

自闭症儿童递归处所加工的ERP研究

Xiaoyi Wang, Chenxi Fu, Ziman Zhuang, Caimei Yang

机构 * Soochow University（苏州大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CL

AI总结 通过ERP实验，研究自闭症儿童处理递归处所结构时在预测、语义整合和句法重析三个阶段的时间动态差异。

Drishti AI-Event Guardian: An Intelligent Real-Time Crowd Monitoring and Emergency Response System for Mass Gathering Events

Drishti AI-Event Guardian：面向大规模聚集事件的智能实时人群监控与应急响应系统

Ritabrata Roy Choudhury, Arkajyoti Karmakar, Rudra Pratap Mitra

机构 * School of Computer Engineering, Kalinga Institute of Industrial Technology（计算机工程学院，凯林加工业技术学院） ； School of Electronics Engineering, Kalinga Institute of Industrial Technology（电子工程学院，凯林加工业技术学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出Drishti AI-Event Guardian框架，结合YOLOv8、异常检测和梯度提升回归等多模态深度学习技术，实现实时人群密度估计、异常检测、预测建模、人脸识别、医疗紧急报告、聊天机器人和智能警卫重分配，在Kumbh Mela和RCB Victory Parade事件中验证了低延迟和高精度。

Comments 22 pages

OmniEgo-R$^2$: A Routed Reasoning Framework for the 1st Cross-Domain EgoCross Challenge at CVPR 2026

OmniEgo-R$^2$：面向CVPR 2026首届跨领域EgoCross挑战赛的路由推理框架

Zixu Li, Zhiwei Chen, Zhiheng Fu, Wenbo Wang, Yupeng Hu, Weili Guan, Liqiang Nie

机构 * Shandong University（山东大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 针对跨领域自我中心视频推理中的时间边界模糊、语义粒度不匹配和决策不稳定问题，提出OmniEgo-R$^2$路由推理框架，在Source-Limited和Open-Source赛道均获第二名。

Comments Technical Report for the 1st Cross-Domain EgoCross Challenge at CVPR 2026

Learning Predictive Visuomotor Coordination

学习预测性视觉-运动协调

Wenqi Jia, Bolin Lai, Miao Liu, Danfei Xu, James M. Rehg

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Georgia Tech（佐治亚理工学院） ； Meta AI 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出了一种基于预测的视觉-运动协调建模任务，通过结合第一人称视觉和运动学观测预测头部姿态、目光方向和上半身运动，展示了多模态整合在理解视觉-运动协调中的重要性。

Comments CVPR 2026 Findings

3D Temporal Analysis for Autism Spectrum Disorder Screening During Attention Tasks

注意力任务期间自闭症谱系障碍筛查的3D时间分析

Inam Qadir, Elizabeth B Varghese, Dena Al-Thani, Marwa Qaraqe

机构 * College of Science and Engineering, Hamad Bin Khalifa University, Qatar Foundation, Doha, Qatar（科学与工程学院，哈马德·本·哈利法大学，卡塔尔基金会，多哈，卡塔尔） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出基于DECA的3D时间分析框架，提取头部姿态和面部表情特征，利用LSTM/GRU分类器在VR-CPT任务中实现ASD筛查，多模态融合达到84.6%准确率。

A Systematic Evaluation of Positional Bias in Multi-Video Summarization with MLLMs

多视频摘要中位置偏差的系统评估：基于多模态大语言模型

Huangchen Xu, Yuan Wu, Yi Chang

机构 * School of Artificial Intelligence, Jilin University（吉林大学人工智能学院） ； Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, Jilin University（知识驱动人机智能工程研究中心） ； International Center of Future Science, Jilin University（未来科学国际中心） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 本研究系统评估了多模态大语言模型在多视频摘要任务中的位置偏差，通过构建基准和三种互补指标揭示了领域与模型依赖的偏差特性，并分析了提示级缓解方法。

Answer Self-Consistency with Margin-Triggered Question Re-Arbitration for the CVPR 2026 VidLLMs Challenge

面向CVPR 2026 VidLLMs挑战赛的基于边际触发问题重新仲裁的答案自一致性方法

Tomoya Miyazawa, Hiroyasu Okuno

机构 * Data Analytics Labo Co.（数据分析师实验室公司） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出一种无需训练的测试时推理框架ASC-MQRA，通过答案自一致性聚合多轮视频问答结果，并利用边际触发机制对低置信度样本进行条件性重新仲裁，在CVPR 2026 VidLLMs挑战赛Track 2上取得领先性能。

When Seeing Is Not Believing -- A Benchmark for Search-Grounded Video Misinformation Detection

当眼见不再为实——面向搜索辅助的视频虚假信息检测基准

Tao Yu, Yujia Yang, Shenghua Chai, Zhang Jinshuai, Haopeng Jin, Hao Wang, Minghui Zhang, Zhongtian Luo, Yuchen Long, Xinlong Chen, Jiabing Yang, Zhaolu Kang, Yuxuan Zhou, Zhengyu Man, Xinming Wang, Hongzhu Yi, Zheqi He, Xi Yang, Yan Huang, Liang Wang

机构 * CASIA（中国科学院自动化研究所） ； UCAS（中国科学院大学） ； BAAI（百度人工智能研究院） ； Tsinghua University（清华大学） ； Peking University（北京大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出EVID-Bench基准，通过跨视频对比和开放网络搜索检测视频虚假信息，涵盖9种操纵类型，评估前沿多模态模型发现准确率低且面临多种挑战。

Comments 52 pages