多模态大模型

Probing Low-Level Acoustic Attribute Encoding in CLAP Audio Embeddings

探测CLAP音频嵌入中的低层声学属性编码

Héctor Martel, Joe Hennessy-Priest, Taemin Cho

机构 * BandLab Technologies（BandLab技术公司） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.AI、eess.AS

AI总结 该研究通过探测框架分析CLAP音频嵌入，探究混响、响度等三类基础声学属性的编码方式，发现多数属性可恢复，存在线性与非线性两种编码模式，还验证了跨模态一致性。

Comments Accepted to DAFx 2026

AudioX-Turbo: A Unified Framework for Efficient Anything-to-Audio Generation

AudioX-Turbo：高效任意到音频生成的统一框架

Zeyue Tian, Lei Ke, Zhaoyang Liu, Ruibin Yuan, Liumeng Xue, Yujiu Yang, Weijia Chen, Xu Tan, Qifeng Chen, Wei Xue, Yike Guo

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Tsinghua University（清华大学） ； Noiz AI ； Independent Researcher（独立研究员） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 提出AudioX-Turbo，基于教师-学生范式的统一高效框架，通过多模态扩散Transformer和分布匹配蒸馏实现文本、视频、音频到音频的生成，仅需4步采样，NFE减少约25倍。

Audio-Language Models for Audio-Centric Tasks: A Systematic Survey

用于以音频为中心任务的音频-语言模型：系统综述

Yi Su, Jisheng Bai, Qisheng Xu, Kele Xu, Yong Dou

机构 * College of Computer Science and Technology, National University of Defense Technology（计算机科学与技术学院，国防科技大学） ； School of Communications and Information Engineering, Xi’an University of Posts and Telecommunications（通信与信息工程学院，西安邮电大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.MM、eess.AS

AI总结 对基于配对音频-文本数据训练的音频-语言模型进行系统综述，涵盖语音、音乐和声音，给出统一分类法，建立研究框架，助研究者了解技术发展与趋势，为应用提供参考。

Comments Under review

Audio-Cogito: Towards Deep Audio Reasoning in Large Audio Language Models

Audio-Cogito：迈向大型音频语言模型中的深度音频推理

Longhao Li, Hongjie Chen, Zehan Li, Qihan Hu, Jian Kang, Jie Li, Lei Xie, Yongxiang Li

专题命中 音频语音多模态 ：multimodal(abstract)；分类 eess.AS

AI总结 本文提出Audio-Cogito，通过开发Cogito-pipe数据集和自蒸馏策略，提升音频推理能力，在MMAR基准和Interspeech 2026挑战中表现优异。

Comments Submitted to Interspeech 2026

Parallelized Autoregressive Decoding for Omni-Modal Dense Video Captioning

用于全模态密集视频字幕的并行自回归解码

Wenzheng Zeng, Siyi Jiao, Chen Gao, Hwee Tou Ng, Mike Zheng Shou

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 视频多模态 ：omni-modal(title,abstract)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 研究密集视频字幕生成，提出并行自回归框架，利用事件间弱局部依赖重组因果依赖图，引入全局规划和事件分解并行解码机制，提升效率与字幕性能。

Comments ECCV 2026. Project website: https://github.com/showlab/PadCaptioner

Multimodal Ambivalence/Hesitancy Recognition in Videos for Personalized Digital Health Interventions

视频中矛盾/犹豫识别用于个性化数字健康干预

Manuela González-González, Soufiane Belharbi, Muhammad Osama Zeeshan, Masoumeh Sharafi, Muhammad Haseeb Aslam, Lorenzo Sia, Nicolas Richet, Marco Pedersoli, Alessandro Lameiras Koerich, Simon L Bacon, Eric Granger

机构 * LIVIA, Dept. of Systems Engineering, ETS Montreal, Canada（ETS蒙特利尔大学系统工程系LIVIA实验室） ； LIVIA, Dept. of Software and IT Engineering, ETS Montreal, Canada（ETS蒙特利尔大学软件与信息工程系LIVIA实验室） ； Dept. of Health, Kinesiology, & Applied Physiology, Concordia University, Montreal, Canada（康科迪亚大学健康、运动科学与应用生理学系） ； Montreal Behavioural Medicine Centre, CIUSSS Nord-de-l’Ile-de-Montréal, Canada（蒙特利尔行为医学中心，蒙特利尔北岛卫生与社会服务局） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；multi-modal(abstract)；分类 cs.CV

AI总结 本文研究了通过深度学习模型在视频中进行矛盾/犹豫识别，以提升数字健康干预的个性化和成本效益，实验基于新的BAH视频数据集，发现需改进多模态模型以准确识别矛盾/犹豫。

Comments 11 pages, 4 figures, ACII 2026. arXiv admin note: substantial text overlap with arXiv:2505.19328

K9-Bench: Evaluating Multimodal LLMs on Canine-Centric Videos

K9-Bench：在以犬类为中心的视频上评估多模态大语言模型

Khush Attarde, Yusuf Ali, Megha Thukral, Divye Bhutani, Thomas Ploetz, Zsolt Kira

机构 * Ogmen Robotics Inc.（Ogmen机器人公司） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 介绍K9-Bench基准，通过约5000个问答对测试多模态大语言模型对犬类动作和互动理解。提出数据生成管道创建数据集，发现前沿模型在犬类任务上零样本性能有限，还提供通用数据集构建管道。

AViS-Mamba: Adaptive Visual Steering of Audio State-Space Dynamics for Violence Detection

CoLoRSMamba：基于条件LoRA的Mamba用于监督多模态暴力检测

Damith Chamalke Senadeera, Dimitrios Kollias, Gregory Slabaugh

机构 * Digital Environmental Research Institute（数字环境研究所） ； Queen Mary University of London（伦敦玛丽女王大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CoLoRSMamba，通过CLS引导的条件LoRA将VideoMamba与AudioMamba耦合，实现场景感知的音频动态，提升多模态暴力检测性能。

GlacierCastAI: Predicting Glacier Retreat from Multi-Modal Satellite Imagery and Climate Signals

GlacierCastAI：从多模态卫星图像和气候信号预测冰川退缩

Arunkumar Ramachandran

机构 * Independent Researcher（独立研究者） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 研究将冰川边界预测重构为多模态时空预测问题，融合多源数据，用特定架构预测冰川边界，对比传统基线及实验条件，发现气候信号有预测信息，深度学习模型优于传统基线。

Comments 6 pages, 5 figures. Code available at GitHub

Unveiling Stochasticity: Universal Multi-modal Probabilistic Modeling for Traffic Forecasting

揭示随机性：面向交通预测的通用多模态概率建模

Weijiang Xiong, Robert Fonod, Nikolas Geroliminis

机构 * Urban Transport Systems Laboratory (LUTS), EPFL（智能交通系统实验室（LUTS），EPFL） 纠错

专题命中 视频多模态 ：multi-modal(title)；分类 cs.AI

AI总结 本文提出一种通用多模态概率建模方法，通过替换输出层为GMM层，提升交通预测的不确定性建模能力，实验表明其在多种数据集上表现优异。

VideoAgent: All-in-One Framework for Video Understanding and Editing

VideoAgent: 视频理解与编辑的全能框架

Hengji Zhou, Lingxuan Huang, Jian Wang, Bing Zhou, Si Wu, Lianghao Xia, Chao Huang

机构 * South China University of Technology（华南理工大学） ； The University of Hong Kong（香港大学） ； Snap Inc（Snap公司） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出VideoAgent，一种基于多智能体编排的全能框架，通过自动镜头创建和30多个专业编辑智能体，解决现有系统在长视频理解和多样化编辑操作上的局限，在VideoEdit基准上实现87-95%编排成功率并降低60% API成本。

Comments Preprint. Code available at https://github.com/HKUDS/VideoAgent

GuideMe: Multi-Domain Task Guidance and Intervention in Streaming Video

GuideMe：流视频中的多域任务指导与干预

Fang Liu, Jinpeng Chen, Ke Xu, Yuhao Liu, Huankang Guan, Xudong Lu, Bo Yang, Gerhard Hancke, Rui Liu, Rynson W. H. Lau

机构 * City University of Hong Kong（香港城市大学） ； Huawei Research（华为研究院） ； University of Science and Technology of China（中国科学技术大学） ； Chinese University of Hong Kong（香港中文大学） ； City University of Hong Kong (Dongguan)（香港城市大学（东莞）） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 构建流视频多域基准GuideMe，支持训练和评估用于闭环交互任务指导的MLLMs，设计评估框架衡量模型能力，实验发现现有MLLMs虽擅提供指令，但难识别执行错误并反馈。

Comments ECCV 2026

DynaVieW: Schema-Guided World Modeling for Understanding Hierarchical Visual Dynamics

DynaVieW：用于理解分层视觉动态的模式引导世界建模

Silin Gao, Hao Zhao, Zeming Chen, Sepideh Mamooler, Antara Raaghavi Bhattacharya, Qiyu Wu, Hiromi Wakaki, Yuki Mitsufuji, Li Mi, Syrielle Montariol, Antoine Bosselut

机构 * EPFL, Switzerland（瑞士联邦理工学院） ； Harvard University（哈佛大学） ； Sony Group Corporation（索尼集团） ； ETH Zurich, Switzerland（瑞士苏黎世联邦理工学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 针对多模态语言模型难以系统建模视频视觉场景时间演变的问题，提出DynaVieW模型，通过学习交错状态转换序列理解视觉动态，在多架构下联合建模，提升下游视觉叙事创作等任务表现。

Comments ICML 2026

Homer: Understanding Long-form Videos with Hierarchical Memory and Agentic Reasoning

荷马：通过分层记忆和智能推理理解长视频

Yixin Ji, Fanghua Ye, Juntao Li, Bo Zhao, Zexuan Qiu, Zhaopeng Tu, Liefeng Bo, Min Zhang

机构 * Soochow University（苏州大学） ； Tencent Hunyuan Multimodal Department（腾讯混元多模态部） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究长视频理解问题，提出荷马分层在线记忆探索与推理框架，其记忆反映视频多尺度结构，智能推理器按人类方式探索记忆，通过多轮检索组合答案，性能优于此前最佳方法。

Comments under review

VideoSearcher: Empowering Video Deep Research with Multi-Tool Agentic Reasoning via Reinforcement Learning

VideoSearcher：通过强化学习利用多工具智能推理助力视频深度研究

Zhenkun Gao, Yicheng Bao, Jinlong Peng, Xueheng Li, Theo Huang, Bangwei Liu, Kunquan Li, Zhenye Gan, Tao Hu, Chengjun Xie, Mingqian Yang, Xuanhua He, Zhizhong Zhang, Xin Tan, Chengjie Wang, Yuan Xie

机构 * Stephengzk 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对视频理解局限，提出VideoSearcher框架，统一多任务于单推理轨迹，用强化学习算法BiSPO优化推理轨迹，构建新基准，实验表明其在多基准中显著优于开源基线。

Comments Technical report. Project page: https://stephen-gzk.github.io/VideoSearcher-website/ ; Code: https://github.com/Stephen-gzk/VideoSearcher ; Model & Data on HuggingFace

Latent Visual Cache for Video Reasoning

用于视频推理的潜在视觉缓存

Yongheng Zhang, Zhipeng Xu, Hao Wu, Yinghui Li, Di Yin, Xing Sun, Philip S. Yu

机构 * Tencent Youtu Lab（腾讯优图实验室） ； Tsinghua University（清华大学） ； University of Illinois at Chicago（伊利诺伊大学芝加哥分校） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 研究视频推理中视觉锚定衰减问题，提出潜在视频缓存Latent-VC插入解码器，通过监督对比缓存对齐等训练，在多视频基准测试中表现优于基线，能保留视觉证据提升推理。

DELTAVID: Enhancing Fine-Grained Spatiotemporal Perception with Cross-Video Differences

DELTAVID：利用跨视频差异增强细粒度时空感知

Yankai Yang, Yancheng Long, Bin Wen, Fan Yang, Tingting Gao, Han Li, Shuo Yang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Kuaishou Technology（快手科技） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对视频多模态大语言模型缺乏精确局部时空感知问题，提出DELTAVID框架，将跨视频找差异转化为可训练感知信号，还引入相关数据集，提升了跨视频差异理解性能并能迁移到通用视频理解基准。

QSVideo: Query-Conditioned Semantic Temporal Retrieval for Video Understanding

QSVideo：用于视频理解的查询条件语义时间检索

Wei Ao, Lan Wang, Vishnu Naresh Boddeti

机构 * Michigan State University（密歇根州立大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 针对视频理解中视觉语言模型性能随视频时长下降问题，提出QSVideo框架，通过查询条件语义排序器、联合优化相关性和多样性及时间对齐策略，提升视频VLM性能。

Comments ECCV 2026

PRISM3D: Probabilistic Refinement and Robust Initialization for Physically Consistent Scene Modeling under Extreme Motion Blur

PRISM3D：极端运动模糊下物理一致场景建模的概率细化与鲁棒初始化

Gopi Raju Matta, Reddypalli Trisha, Vemunuri Divya Madhuri, Kaushik Mitra

机构 * Computational Imaging Lab, Dept. of Electrical Engineering, IIT Madras（印度理工学院马德拉斯分校电气工程系计算成像实验室） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 研究从极端运动模糊图像进行盲3D场景重建问题，提出PRISM3D框架，用鲁棒初始化策略结合概率物理方法，还介绍多模态扩展PRISM3D-E及基准，实验表明其达新的最优性能。

Comments Accepted to ECCV-26

A Cost-Aware, Paired Protocol for Auditing Dynamic Tool Synthesis in Agentic Video Question Answering

一种成本感知的配对协议，用于审计智能视频问答中的动态工具合成

Aseel Mohamed, Rama AlHamidi, Mohamed Rayan Barhdadi, Rasul Khanbayov, Erchin Serpedin, Hasan Kurban

机构 * Texas A&M University（德克萨斯农工大学） ； Hamad Bin Khalifa University（哈马德·本·哈利法大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出成本感知的配对协议，联合评估准确性与成本，揭示动态工具合成在视频问答中的效率与代价。

CorridorVLA: Explicit Spatial Constraints for Generative Action Heads via Sparse Anchors

CorridorVLA：通过稀疏锚点实现生成动作头的显式空间约束

Dachong Li, ZhuangZhuang Chen, Jin Zhang, Jianqiang Li

机构 * College of Computer Science and Software Engineering（计算机科学与软件工程学院） ； National Engineering Laboratory for Big Data System Computing Technology（大数据系统计算技术国家工程实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 CorridorVLA通过稀疏锚点提供显式空间约束，提升动作生成性能，在LIBERO-Plus基准上改进成功率3.4%-12.4%。

Comments Accepted to the 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026)

Agentic Very Long Video Understanding

智能体超长视频理解

Aniket Rege, Arka Sadhu, Yuliang Li, Kejie Li, Ramya Korlakai Vinayak, Yuning Chai, Yong Jae Lee, Hyo Jin Kim

机构 * Reality Labs Research at Meta（Meta 实验室） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 针对智能眼镜等设备带来的长视频理解需求，以实体场景图为核心构建增强智能体框架EGAgent，实现结构化搜索、推理及跨模态能力，在相关数据集实验中取得较好表现。

Comments 29 pages, 8 figures, 8 tables

InternVLA-A1.5: Unifying Understanding, Latent Foresight, and Action for Compositional Generalization

InternVLA-A1.5：统一理解、潜在预见与组合泛化的行动

Haoxiang Ma, Junhao Cai, Xiaoxu Xu, Hao Li, Yuyin Yang, Yang Tian, Jiafei Cao, Hongrui Zhu, Zherui Qiu, Zhaxizhuoma, Yuqiang Yang, Jiaqi Peng, Xueyuan Wei, Yangkun Zhu, Jiahao Jiang, Xing Gao, Hanqing Wang, Feng Yuan, Kailin Li, Xueyue Zhu, Tai Wang, Yan Ding, Jiangmiao Pang, Jia Zeng, Jingjing Zhang, Bowen Zhou, Yao Mu, Chunhua Shen, Weinan Zhang

机构 * Physical Intelligence Team Shanghai AI Laboratory（上海人工智能实验室物理智能团队） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 研究旨在统一机器人操作模型，提出InternVLA-A1.5，基于原生VLM骨干构建策略，将未来预测转化为潜在查询问题，继承预训练视频生成模型动力学先验，在模拟和现实基准测试中效果良好。

Comments Homepage: https://internrobotics.github.io/internvla-a15.github.io/

CausticFlow: An Efficient Machine Learning Framework Combining Neural Differential Equations and Normalizing Flows for Binary Microlensing Parameter Inference

CausticFlow：一种结合神经微分方程和归一化流用于二元微引力透镜参数推断的高效机器学习框架

Haibin Ren, Wei Zhu

专题命中 视频多模态 ：multimodal(abstract)

AI总结 介绍结合神经控制微分方程与归一化流的CausticFlow框架推断二元微引力透镜参数，能处理不规则采样等，训练后快速生成后验样本，用于下游优化可提高精度，在真实事件测试中表现良好。

Comments 17 pages, 8 figures, submitted to AJ

A global predicted-fMRI drive signal from TRIBE does not predict YouTube replay heatmaps

来自TRIBE的全局预测fMRI驱动信号无法预测YouTube重播热图

Barada Sahu, Shivesh Pandey

机构 * Cabal AI ； Para AI 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 本研究测试了深度多模态脑编码模型TRIBE预测的fMRI信号是否能预测YouTube视频的重播行为，发现全局场功率与重播热图无显著相关性。

Comments 12 pages, 2 figures. v2: adds equivalence and Bayes-factor bounds, split-half reliability ceiling, a supervised probe with proper position control, a per-input-stream dissociation, and ISC discussion. Code, video-ID manifest, and per-video results: https://github.com/mercurialsolo/tribe-replay-heatmaps

CoLA-Flow Policy: Temporally Coherent Imitation Learning via Continuous Latent Action Flow Matching for Robotic Manipulation

CoLA-Flow Policy: 通过连续潜在动作流匹配实现机器人操作的时序一致模仿学习

Wu Songwei, Jiang Zhiduo, Sun Wandong, Xie Guanghu, Zhao Rui, Liu Hong, Liu Yang

机构 * State Key Laboratory of Robotics and System, Harbin Institute of Technology（机器人系统国家重点实验室，哈尔滨工业大学） ； The University of Sydney（悉尼大学） ； Honor Device Co., Ltd.（荣耀设备有限公司） 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 本文提出CoLA-Flow Policy，一种基于连续潜在动作空间的轨迹级模仿学习框架，通过学习显式的潜在空间流，解耦全局运动结构与低层控制噪声，从而实现平滑可靠的长时程执行，并结合几何感知点云条件和执行时多模态调节，提升现实环境的鲁棒性。

Comments 8 pages, 8 figures

Measuring Human Behavior Through Controlled Perturbations: A Framework for Behavioral System Identification

通过受控扰动测量人类行为：行为系统识别的框架

Pietro Cipresso

专题命中 视频多模态 ：multimodal(abstract)

AI总结 本文提出基于受控扰动的行为测量框架，通过动态系统视角重构测量问题，整合多模态数据与沉浸技术，推动从描述性模型向生成行为机制识别的发展。

Deep Learning Network-Temporal Models For Traffic Prediction

用于流量预测的深度学习网络-时间模型

Yufeng Xin, Ethan Fan

专题命中 视频多模态 ：multi-modal(abstract)

AI总结 针对多元时间序列预测问题，提出拓扑感知学习框架，用图注意力模型捕捉相关性，评估微调大语言模型，引入聚类预处理，提升预测性能。

Lost at the End: Primacy Bias in Multimodal Retrieval-Augmented Question Answering

迷失在末尾：多模态检索增强问答中的首因偏差

Jieyuan Liu, Jianyang Gu, Shijie Chen, Jefferson Chen, Zhen Wang

机构 * University of California, San Diego（加州大学圣地亚哥分校） ； The Ohio State University（俄亥俄州立大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究多模态知识型视觉问答中检索上下文的位置依赖，发现不同于纯文本的U形效应，出现首因偏差（开头优于末尾），并通过消融实验定位原因为指令调优阅读器的提示槽0。

Comments 15 pages, 9 figures

Beyond Text: Aligning Vision and Language for Multimodal E-Commerce Retrieval

超越文本：为多模态电子商务检索对齐视觉与语言

Qujiaheng Zhang, Guangyue Xu, Fengjie Li

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 研究电子商务领域双塔检索模型的统一文本-图像融合，指出特定领域微调及查询与产品文本和图像模态的两阶段对齐很关键，提出新型模态融合网络并验证其有效性。