arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

多模态大模型

跨文本、图像、视频、音频等模态的大模型与学习方法。

2026-01-30 至 2026-01-30 共收录 7 信号源:cs.CV, cs.CL, cs.AI, cs.MM, eess.AS

1. 视频多模态 7 篇

2512.10408 2026-01-30 cs.CV 83%

MultiHateLoc: Towards Temporal Localisation of Multimodal Hate Content in Online Videos

MultiHateLoc:迈向在线视频中多模态仇恨内容的时间定位

Qiyue Sun, Tailin Chen, Yinghui Zhang, Yuchen Zhang, Jiangbei Yue, Jianbo Jiao, Zeyu Fu

机构 * Department of Computer Science, University of Exeter(埃克塞特大学计算机科学系) Institute for Analytics and Data Science, University of Essex(埃塞克斯大学分析与数据科学研究所) School of Computer Science, University of Birmingham(伯明翰大学计算机科学学院)

专题命中 视频多模态 :multimodal(title,abstract);cross-modal(abstract);分类 cs.CV

AI总结 MultiHateLoc提出了一种弱监督多模态仇恨内容时间定位框架,通过动态跨模态融合和模态感知MIL目标实现细粒度帧级预测。

Comments In Proceedings of the ACM Web Conference 2026 (WWW 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.19139 2026-01-30 cs.LG cs.DC cs.ET 82%

Native LLM and MLLM Inference at Scale on Apple Silicon

在Apple Silicon上大规模原生LLM和MLLM推理

Wayner Barrios

机构 * Wiqonn Technologies(Wiqonn技术公司)

专题命中 视频多模态 :MLLM(title,abstract);multimodal(abstract)

AI总结 vllm-mlx在Apple Silicon上实现高效LLM和MLLM推理,通过原生优化提升文本模型吞吐量并减少多模态延迟。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.22039 2026-01-30 cs.CV 79%

Understanding Multimodal Complementarity for Single-Frame Action Anticipation

理解单帧动作预测中的多模态互补性

Manuel Benavent-Lledo, Konstantinos Bacharidis, Konstantinos Papoutsakis, Antonis Argyros, Jose Garcia-Rodriguez

机构 * Department of Computer Technology, University of Alicante(阿尔瓦雷斯大学计算机技术系) Institute of Computer Science, FORTH(福蒂研究所) Computer Science Department, University of Crete(克里特大学计算机科学系) Department of Management, Science and Technology, Hellenic Mediterranean University(希腊地中海大学管理、科学与技术系)

专题命中 视频多模态 :multimodal(title,abstract);分类 cs.CV

AI总结 本研究通过单帧动作预测框架AAG+,探索多模态互补性对动作预测的影响,验证单帧信息在动作预测中的有效性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2502.04379 2026-01-30 cs.CV cs.AI cs.CL cs.HC 67%

Can Large Language Models Capture Video Game Engagement?

大语言模型能否捕捉视频游戏参与度?

David Melhart, Matthew Barthet, Georgios N. Yannakakis

机构 * Institute of Digital Games, University of Malta Msida, Malta(马耳他大学数字游戏研究所)

专题命中 视频多模态 :multimodal(abstract);分类 cs.CV、cs.CL、cs.AI

AI总结 本文研究了大语言模型在多模态输入下预测视频游戏参与度的能力,发现尽管LLMs在多个领域表现优异,但其在连续情绪标注上仍无法超越人类注释。

Comments This work has been submitted to the IEEE for publication

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.21670 2026-01-30 cs.CV cs.AI cs.LG physics.comp-ph 62%

MORPH: PDE Foundation Models with Arbitrary Data Modality

MORPH:具有任意数据模态的PDE基础模型

Mahindra Singh Rautela, Alexander Most, Siddharth Mansingh, Bradley C. Love, Alexander Scheinker, Diane Oyen, Nathan Debardeleben, Earl Lawrence, Ayan Biswas

机构 * Computing and Artificial Intelligence Division (CAI), Los Alamos National Laboratory, NM, US(计算与人工智能部门(CAI),洛斯阿拉莫斯国家实验室)

专题命中 视频多模态 :multimodal(abstract);分类 cs.CV、cs.AI

AI总结 MORPH是一种基于卷积视觉变压器的PDE基础模型,通过多模态处理和高效注意机制实现对异质科学数据的高效学习。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.22153 2026-01-30 cs.RO cs.CV 57%

DynamicVLA: A Vision-Language-Action Model for Dynamic Object Manipulation

DynamicVLA: 一种用于动态物体操控的视觉-语言-动作模型

Haozhe Xie, Beichen Wen, Jiarui Zheng, Zhaoxi Chen, Fangzhou Hong, Haiwen Diao, Ziwei Liu

机构 * S-Lab, Nanyang Technological University(南洋理工大学S实验室)

专题命中 视频多模态 :multimodal(abstract);分类 cs.CV

AI总结 DynamicVLA通过整合时间推理和闭环适应,提出了一种用于动态物体操控的视觉-语言-动作模型,提升了响应速度和泛化能力。

Comments Project Page: https://www.infinitescript.com/project/dynamic-vla/ GitHub: https://github.com/hzxie/DynamicVLA

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.21193 2026-01-30 cs.CV 57%

Generative Recall, Dense Reranking: Learning Multi-View Semantic IDs for Efficient Text-to-Video Retrieval

生成回忆,密集重排序:学习多视图语义ID以实现高效的文本到视频检索

Zecheng Zhao, Zhi Chen, Zi Huang, Shazia Sadiq, Tong Chen

机构 * The University of Queensland(昆士兰大学) The University of Southern Queensland(南部昆士兰大学)

专题命中 视频多模态 :cross-modal(abstract);分类 cs.CV

AI总结 GRDR通过生成回忆和密集重排序方法,提升文本到视频检索的效率和准确性,减少存储并加速检索过程。

Comments 10 pages

详情

展开后加载摘要…

URL PDF HTML 收藏