多模态大模型

Multi-event Video-Text Retrieval

多事件视频-文本检索

Gengyuan Zhang, Jisen Ren, Jindong Gu, Volker Tresp

机构 * LMU Munich（慕尼黑大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； University of Oxford（牛津大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出多事件视频-文本检索任务，设计Me-Retriever模型，通过关键事件表示和新损失函数提升视频-文本检索性能。

Comments [fixed typos in equations] accepted to ICCV2023 Poster; some figures are not supported when viewed online, please download the file and view locally

Training-Free and Interpretable Hateful Video Detection via Multi-stage Adversarial Reasoning

无需训练的多阶段对抗推理 hateful 视频检测

Shuonan Yang, Yuchen Zhang, Zeyu Fu

机构 * Multimodal Intelligence Lab, Department of Computer Science, University of Exeter, United Kingdom（埃克塞特大学计算机科学系多模态智能实验室） ； Institute for Analytics and Data Science, University of Essex, United Kingdom（埃塞克斯大学分析与数据科学研究所） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 MARS通过多阶段对抗推理框架实现无需训练的可解释仇恨视频检测，提升检测可靠性与透明度。

Comments Accepted at ICASSP 2026. \c{opyright} 2026 IEEE. This is the author accepted manuscript. The final published version will be available via IEEE Xplore

Tailoring Adverse Event Prediction in Type 1 Diabetes with Patient-Specific Deep Learning Models

为1型糖尿病定制不良事件预测的患者特异性深度学习模型

Giorgia Rigamonti, Mirko Paolo Barbato, Davide Marelli, Paolo Napoletano

机构 * Department of Informatics, Systems and Communication（信息学、系统与通信系） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出一种基于深度学习的个性化血糖预测方法，利用患者特定数据提高预测准确性，以改善1型糖尿病的管理。

OmniTransfer: All-in-one Framework for Spatio-temporal Video Transfer

OmniTransfer: 一种用于时空视频转换的综合框架

Pengze Zhang, Yanze Wu, Mengtian Li, Xu Bai, Songtao Zhao, Fulong Ye, Chong Mou, Xinghui Li, Zhuowei Chen, Qian He, Mingyuan Gao

机构 * Intelligent Creation Lab, ByteDance（字节跳动智能创作实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 OmniTransfer通过统一框架实现灵活的高保真视频生成，结合多视角和时间线索提升转换性能。

Comments Github Page: https://pangzecheung.github.io/OmniTransfer/

ActAvatar: Temporally-Aware Precise Action Control for Talking Avatars

ActAvatar: 时空感知的精确动作控制用于对话虚拟角色

Ziqiao Peng, Yi Chen, Yifeng Ma, Guozhen Zhang, Zhiyao Sun, Zixiang Zhou, Youliang Zhang, Zhengguang Zhou, Zhaoxin Fan, Hongyan Liu, Yuan Zhou, Qinglin Lu, Jun He

机构 * Renmin University of China（中国人民大学） ； Tencent Hunyuan（腾讯文yne） ； Tsinghua University（清华大学） 纠错

专题命中 视频多模态 ：audio-visual(abstract)；分类 cs.CV

AI总结 ActAvatar通过文本引导实现对话虚拟角色的相位级动作控制，引入相位感知交叉注意力、渐进式音频-视觉对齐和双阶段训练策略，提升动作控制精度和视觉质量。

Comments Project Page: https://ziqiaopeng.github.io/ActAvatar/

When Rules Fall Short: Agent-Driven Discovery of Emerging Content Issues in Short Video Platforms

当规则不足时：基于智能体的短视频平台新兴内容问题发现

Chenghui Yu, Hongwei Wang, Junwen Chen, Zixuan Wang, Bingfeng Deng, Zhuolin Hao, Hongyu Xiong, Yang Song

机构 * TikTok Inc.（TikTok公司） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出基于多模态大语言模型智能体的自动问题发现方法，有效提升短视频平台新兴内容问题的发现与治理效率。

MultiCaption: Detecting disinformation using multilingual visual claims

多 caption：利用多语言视觉主张检测虚假信息

Rafael Martins Frade, Rrubaa Panchendrarajan, Arkaitz Zubiaga

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 MultiCaption通过多语言视觉主张数据集提升多模态虚假信息检测性能

Towards Explainable Traffic Flow Prediction with Large Language Models

面向大语言模型的可解释交通流预测

Xusen Guo, Qiming Zhang, Junyue Jiang, Mingxing Peng, Meixin Zhu, Hao, Yang

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）） ； Johns Hopkins University（约翰霍普金斯大学） ； Department of Civil and System Engineering（土木与系统工程系） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.AI

AI总结 本文提出xTP-LLM模型，利用大语言模型生成可解释的交通流预测，首次将LLM应用于交通预测的可解释性研究。

Comments 31pages, 16 figures

Journal ref Communications in Transportation Research, vol. 4, 100150, 2024

Video-MSR: Benchmarking Multi-hop Spatial Reasoning Capabilities of MLLMs

Video-MSR: 多跳空间推理能力的MLLMs基准测试

Rui Zhu, Xin Shen, Shuchen Wu, Chenxi Miao, Xin Yu, Yang Li, Weikang Li, Deguo Xia, Jizhou Huang

机构 * Baidu Inc.（百度公司） ； Nanjing University（南京大学） ； The University of Queensland（昆士兰大学） ； Peking University（北京大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 Video-MSR通过四个任务评估MLLMs的多跳空间推理能力，发现模型在复杂推理中存在显著不足，并通过微调提升性能。

See More, Store Less: Memory-Efficient Resolution for Video Moment Retrieval

看清更多，存储更少：视频时刻检索的内存高效解决方案

Mingyu Jeon, Sungjin Han, Jinkwon Hwang, Minchol Kwon, Jonghee Kim, Junyeong Kim

机构 * Department of Artificial Intelligence, Chung-Ang University（人工智能系， Chung-Ang 大学） ； Electronics and Telecommunications Research Institute (ETRI)（电子与电信研究院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 SMORE通过查询引导的描述和自适应压缩技术，在视频时刻检索中实现高信息分辨率与内存效率的平衡。

Generalizable Geometric Prior and Recurrent Spiking Feature Learning for Humanoid Robot Manipulation

可推广的几何先验与递归脉冲特征学习用于双足机器人操作

Xuetao Li, Wenke Huang, Mang Ye, Jifeng Xuan, Bo Du, Sheng Liu, Miao Li

机构 * School of Computer Science, School of Robotics, Institute of Technological Sciences, Wuhan University（计算机学院、机器人学院、技术科学研究院、武汉大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出RGMP-S方法，通过几何先验和递归脉冲网络提升双足机器人操作的泛化能力与数据效率。

MoCha:End-to-End Video Character Replacement without Structural Guidance

MoCha:端到端视频人物替换无需结构引导

Zhengbo Xu, Jie Ma, Ziheng Wang, Zhan Peng, Jun Liang, Jing Li

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 MoCha提出了一种无需结构引导的端到端视频人物替换方法，通过单帧掩码实现高效替换，并设计了三种数据集以克服数据稀缺问题。

Comments 10 pages, 9 figures

HiVid-Narrator: Hierarchical Video Narrative Generation with Scene-Primed ASR-anchored Compression

HiVid-Narrator：基于场景优先的ASR锚定压缩的分层视频叙事生成

Haoxuan Li, Mengyan Li, Junjun Zheng

机构 * Taobao & Tmall Group of Alibaba（淘宝与天猫集团） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 HiVid-Narrator通过分阶段构建和SPA-Compressor压缩技术，在减少输入标记的同时生成高质量的电子商务视频叙事。

VideoLoom: A Video Large Language Model for Joint Spatial-Temporal Understanding

VideoLoom：一种用于联合空间-时间理解的视频大语言模型

Jiapeng Shi, Junke Wang, Zuyao You, Bo He, Zuxuan Wu

机构 * Fudan University（复旦大学） ； University of Maryland, College Park（马里兰大学学院公园分校） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 VideoLoom是一种用于联合空间-时间理解的视频大语言模型，通过LoomData-8.7k数据集和LoomBench基准测试，在多个视频理解任务中取得优异性能。

When to Act: Calibrated Confidence for Reliable Human Intention Prediction in Assistive Robotics

何时行动：校准信心以在辅助机器人中实现可靠的意图预测

Johannes A. Gaus, Winfried Ilg, Daniel Haeufle

机构 * Hertie Institute for Clinical Brain Research & Center for Integrative Neuroscience, University of Tübingen（海德堡临床脑研究所及整合神经科学中心，图宾根大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出了一种基于校准概率的安全触发框架，用于提升辅助机器人中意图预测的可靠性，通过校准信心减少误校准并提高安全性。

Scaling Vision Language Models for Pharmaceutical Long Form Video Reasoning on Industrial GenAI Platform

在工业生成式AI平台上扩展视觉语言模型用于制药长格式视频推理

Suyash Mishra, Qiang Li, Srikanth Patil, Satyanarayan Pati, Baddu Narendra

机构 * Roche（罗氏） ； Accenture（埃森哲） ； Involead 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出工业GenAI框架，解决制药领域长格式视频推理问题，通过多模态架构和实证分析提升效率并揭示现有VLMs的限制。

Comments Submitted to the Industry Track of Top Tier Conference; currently under peer review

Video Detective: Seek Critical Clues Recurrently to Answer Question from Long Videos

视频侦探：通过反复寻找关键线索来回答长视频中的问题

Henghui Du, Chunjie Zhang, Xi Chen, Chang Zhou, Di Hu

机构 * Gaoling School of Artificial Intelligence（北京中国人民大学人工智能学院） ； Renmin University of China（中国人民大学） ； AI Technology Center Online Video Business Unit（人工智能技术中心在线视频业务部） ； Tencent PCG（腾讯PCG） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 VideoDetective通过问题感知的记忆机制，使大语言模型能高效处理长视频问答任务，减少计算资源消耗并提升关键信息提取能力。

Body-Hand Modality Expertized Networks with Cross-attention for Fine-grained Skeleton Action Recognition

具有交叉注意力的体-手模态专家化网络用于细粒度骨骼动作识别

Seungyeon Cho, Tae-Kyun Kim

机构 * School of Computing, KAIST（韩国成均馆大学计算机学院） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出BHaRNet，通过体-手专家化网络和交叉注意力机制，提升细粒度骨骼动作识别的准确率，同时降低计算成本。

Comments 7 figures, 8 pages. Accepted to IROS 2025, project page: https://github.com/VinnyCSY/BHaRNet

Journal ref 2025 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Hangzhou, China, 2025, pp. 11614-11621

GenZ: Foundational models as latent variable generators within traditional statistical models

GenZ：在传统统计模型中通过可解释的语义特征作为潜在变量生成器的基础模型

Marko Jojic, Nebojsa Jojic

机构 * Arizona State University（亚利桑那州立大学） ； Microsoft Research（微软研究院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 GenZ通过可解释的语义特征连接基础模型与统计模型，实现更精准的预测，其在房地产价格预测和电影推荐中均取得显著成效。

USTM: Unified Spatial and Temporal Modeling for Continuous Sign Language Recognition

USTM：统一的空间和时间建模用于连续手语识别

Ahmed Abul Hasanaath, Hamzah Luqman

机构 * College of Information and Computer Science（信息与计算机科学学院） ； King Fahd University of Petroleum and Minerals（国王法赫德石油矿物大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 USTM通过结合Swin Transformer与轻量级时间适配器，实现高效的空间-时间建模，提升连续手语识别的准确性和鲁棒性。

Event Extraction in Large Language Model

大规模语言模型中的事件提取

Bobo Li, Xudong Han, Jiang Liu, Yuzhe Ding, Liqiang Jing, Zhaoqi Zhang, Jinheng Li, Xinya Du, Fei Li, Meishan Zhang, Min Zhang, Aixin Sun, Philip S. Yu, Hao Fei

机构 * National University of Singapore（新加坡国立大学） ； University of Sussex（苏塞克斯大学） ； Wuhan University（武汉大学） ； University of Texas at Dallas（德克萨斯大学达拉斯分校） ； Nanyang Technological University（南洋理工大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； University of Illinois at Chicago（伊利诺伊大学香槟分校） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 本文探讨了大规模语言模型中事件提取的系统组件，提出通过事件方案、结构和存储提升事件处理的可靠性与智能体准备性。

Comments 38 pages, 9 Figures, 5 Tables

WaTeRFlow: Watermark Temporal Robustness via Flow Consistency

WaTeRFlow：通过流一致性实现水印时间鲁棒性

Utae Jeong, Sumin In, Hyunju Ryu, Jaewan Choi, Feng Yang, Jongheon Jeong, Seungryong Kim, Sangpil Kim

机构 * Korea University（韩国大学） ； Google DeepMind（谷歌DeepMind） ； KAIST AI（韩国科学技术院人工智能） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 WaTeRFlow通过流一致性提升I2V场景下的水印鲁棒性，结合FUSE引擎、时间一致性损失和语义保持损失，实现跨模态水印恢复。

Can Slow-thinking LLMs Reason Over Time? Empirical Studies in Time Series Forecasting

慢思考LLM能否在时间上进行推理？时间序列预测的实证研究

Mingyue Cheng, Jiahao Wang, Daoyu Wang, Xiaoyu Tao, Qi Liu, Enhong Chen

机构 * State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（认知智能国家重点实验室，中国科学技术大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文探讨慢思考LLM能否在时间序列预测中进行推理，通过实验证明其零样本预测能力，揭示LLM在时间动态上的潜力与局限。

CrossLMM: Decoupling Long Video Sequences from LMMs via Dual Cross-Attention Mechanisms

CrossLMM: 通过双交叉注意力机制解耦长视频序列与LMMs

Shilin Yan, Jiaming Han, Joey Tsai, Hongwei Xue, Rongyao Fang, Lingyi Hong, Ziyu Guo, Ray Zhang

机构 * Accio Team, Alibaba Group（阿里集团阿奇奥团队） ； CUHK MMLab（CUHK多模态实验室） ； Tsinghua University（清华大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 CrossLMM通过双交叉注意力机制解耦长视频序列，有效减少视觉token数量并保持性能，适用于多种视频多模态模型基准测试。

Comments Project page: https://github.com/shilinyan99/CrossLMM

Real-Time Human-Robot Interaction Intent Detection Using RGB-based Pose and Emotion Cues with Cross-Camera Model Generalization

基于RGB姿态和情绪线索的实时人机交互意图检测及跨摄像头模型泛化

Farida Mohsen, Ali Safa

机构 * College of Science and Engineering, Hamad Bin Khalifa University（科学与工程学院，哈马德·本·卡西姆大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出了一种基于RGB姿态和情绪线索的实时人机交互意图检测方法，通过MINT-RVAE生成意图序列，实现跨摄像头和环境的强泛化能力。

The World is Your Canvas: Painting Promptable Events with Reference Images, Trajectories, and Text

世界是你的画布：通过参考图像、轨迹和文本绘画可提示事件

Hanlin Wang, Hao Ouyang, Qiuyu Wang, Yue Yu, Yihao Meng, Wen Wang, Ka Leong Cheng, Shuailei Ma, Qingyan Bai, Yixuan Li, Cheng Chen, Yanhong Zeng, Xing Zhu, Yujun Shen, Qifeng Chen

机构 * HKUST（香港科技大学） ； Ant Group（蚂蚁集团） ； ZJU（浙江大学） ； NEU（南京大学） ； CUHK（香港中文大学） ； NTU（南洋理工大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 WorldCanvas通过结合文本、轨迹和参考图像，实现可提示的多代理交互事件生成，提升世界模型的交互性和可控性。

Comments Project page and code: https://worldcanvas.github.io/

SNOW: Spatio-Temporal Scene Understanding with World Knowledge for Open-World Embodied Reasoning

SNOW：基于世界知识的时空场景理解用于开放世界具身推理

Tin Stribor Sohn, Maximilian Dillitzer, Jason J. Corso, Eric Sax

机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； Esslingen University of Applied Sciences（埃斯林根应用科学大学） ； Dr. Ing. h.c. F. Porsche AG（德意志联邦汽车工业联合会） ； University of Michigan（密歇根大学） ； Voxel51 Inc.（Voxel51公司） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 SNOW通过整合视觉语言模型与点云几何，实现统一的4D场景理解，提升开放世界具身推理的性能。

Ego-EXTRA: video-language Egocentric Dataset for EXpert-TRAinee assistance

Ego-EXTRA：视频语言眼动数据集用于专家-学员协助

Francesco Ragusa, Michele Mazzamuto, Rosario Forte, Irene D'Ambra, James Fort, Jakob Engel, Antonino Furnari, Giovanni Maria Farinella

机构 * Department of Mathematics and Computer Science - University of Catania（数学与计算机科学系 - 卡塔尼亚大学） ； Next Vision s.r.l. - Spinoff of the University of Catania（Next Vision公司 - 卡塔尼亚大学衍生机构） ； Meta Reality Labs Research（Meta现实实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 Ego-EXTRA数据集通过专家-学员双向对话评估多模态大语言模型，揭示其在专家级帮助中的局限性。

What Happens Next? Next Scene Prediction with a Unified Video Model

接下来会发生什么？一种统一的视频模型用于下一场景预测

Xinjie Li, Zhimin Chen, Rui Zhao, Florian Schiffers, Zhenyu Liao, Vimal Bhat

机构 * Pennsylvania State University（宾夕法尼亚州立大学） ； Amazon（亚马逊） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出Next Scene Prediction任务，通过联合框架结合Qwen-VL和LTX，利用预训练、监督微调和强化学习提升视频模型的时间推理能力。

Dynamical modeling of nonlinear latent factors in multiscale neural activity with real-time inference

多尺度神经活动中非线性潜在因子的动力学建模

Eray Erturk, Maryam M. Shanechi

机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） ； University of Southern California（南加州大学） ； Department of Computer Science（计算机科学系） ； Department of Biomedical Engineering（生物医学工程系） ； Neuroscience Graduate Program（神经科学研究生项目） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本研究提出了一种多尺度动态框架，用于实时解码多模态神经活动，通过非线性聚合不同时间尺度和分布的数据以提升解码性能。

Comments Published at the 39th Annual Conference on Neural Information Processing Systems 2025. Code is available at https://github.com/ShanechiLab/mrine

Journal ref NeurIPS 2025