视频大模型

Scaling Vision Language Models for Pharmaceutical Long Form Video Reasoning on Industrial GenAI Platform

在工业生成式AI平台上扩展视觉语言模型用于制药长格式视频推理

Suyash Mishra, Qiang Li, Srikanth Patil, Satyanarayan Pati, Baddu Narendra

机构 * Roche（罗氏） ； Accenture（埃森哲） ； Involead 纠错

专题命中 视频理解 ：video reasoning(title,abstract)；video understanding(abstract)；分类 cs.CV

AI总结 本文提出工业GenAI框架，解决制药领域长格式视频推理问题，通过多模态架构和实证分析提升效率并揭示现有VLMs的限制。

Comments Submitted to the Industry Track of Top Tier Conference; currently under peer review

Minimal Clips, Maximum Salience: Long Video Summarization via Key Moment Extraction

最短片段，最大显著性：通过关键时刻提取实现长视频摘要

Galann Pennec, Zhengyuan Liu, Nicholas Asher, Philippe Muller, Nancy F. Chen

专题命中 视频理解 ：long video(title)；分类 cs.CV

AI总结 本文提出了一种通过关键时刻提取实现长视频多模态摘要的方法，利用轻量级模型和大型语言模型实现高效摘要生成。

CounterVid: Counterfactual Video Generation for Mitigating Action and Temporal Hallucinations in Video-Language Models

CounterVid: 通过生成反事实视频缓解视频-语言模型中动作和时间幻觉

Tobia Poppi, Burak Uzkent, Amanmeet Garg, Lucas Porto, Garin Kessler, Yezhou Yang, Marcella Cornia, Lorenzo Baraldi, Rita Cucchiara, Florian Schiffers

机构 * University of Modena and Reggio Emilia（摩德纳和雷吉奥艾米利亚大学） ； University of Pisa（帕尔马大学） ； Amazon Prime Video（亚马逊Prime视频） 纠错

专题命中 视频生成 ：video generation(title,abstract)；video-language(title,abstract)；分类 cs.CV、cs.MM

AI总结 CounterVid通过生成反事实视频缓解视频-语言模型中动作和时间幻觉问题，提出反事实视频生成框架和MixDPO方法，提升时间推理和动作识别性能。

MM-Sonate: Multimodal Controllable Audio-Video Generation with Zero-Shot Voice Cloning

MM-Sonate: 多模态可控音频视频生成与零样本语音克隆

Chunyu Qiang, Jun Wang, Xiaopeng Wang, Kang Yin, Yuxin Guo

机构 * Kuaishou Technology（快手科技） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV、cs.MM

AI总结 MM-Sonate通过统一的指令-音素输入实现可控的音频视频联合生成与零样本语音克隆，显著提升唇形同步和语音可懂度，同时保持与专门文本到语音系统的语音克隆保真度。

Plenoptic Video Generation

光场视频生成

Xiao Fu, Shitao Tang, Min Shi, Xian Liu, Jinwei Gu, Ming-Yu Liu, Dahua Lin, Chen-Hsuan Lin

机构 * NVIDIA ； The Chinese University of Hong Kong（香港中文大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 PlenopticDreamer通过多输入单输出视频条件模型和相机引导检索策略，实现高质量多视角视频重绘，提升时空一致性和视角转换能力。

Comments Project Page: https://research.nvidia.com/labs/dir/plenopticdreamer/

PackCache: A Training-Free Acceleration Method for Unified Autoregressive Video Generation via Compact KV-Cache

PackCache: 一种无需训练的统一自回归视频生成加速方法通过紧凑的KV缓存

Kunyang Li, Mubarak Shah, Yuzhang Shang

机构 * Institute of Artificial Intelligence, University of Central Florida（人工智能学院，中央佛罗里达大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 PackCache通过动态压缩KV缓存提升统一自回归视频生成效率，显著加速长序列生成。

RoboVIP: Multi-View Video Generation with Visual Identity Prompting Augments Robot Manipulation

RoboVIP: 多视角视频生成与视觉身份提示增强机器人操作

Boyang Wang, Haoran Zhang, Shujie Zhang, Jinkun Hao, Mingda Jia, Qi Lv, Yucheng Mao, Zhaoyang Lyu, Jia Zeng, Xudong Xu, Jiangmiao Pang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Tsinghua University（清华大学） ； Shanghai Jiao Tong University（上海交通大学） ； University of Michigan（密歇根大学） 纠错

专题命中 视频生成 ：video generation(title)；分类 cs.CV

AI总结 RoboVIP通过引入视觉身份提示和可扩展的视觉身份池，提升机器人操控数据的质量与多样性，从而增强视觉语言-动作和视觉-运动政策模型的性能。

ReHyAt: Recurrent Hybrid Attention for Video Diffusion Transformers

ReHyAt：用于视频扩散变换器的递归混合注意力

Mohsen Ghafoorian, Amirhossein Habibian

机构 * Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；video generation(abstract)；分类 cs.CV

AI总结 ReHyAt通过结合softmax和线性注意力，实现高效的视频扩散模型，降低训练成本并提升长序列生成的可扩展性。

FALCONEye: Finding Answers and Localizing Content in ONE-hour-long videos with multi-modal LLMs

FALCONEye: 在一小时内视频中寻找答案并定位内容的多模态大语言模型

Carlos Plou, Cesar Borja, Ruben Martinez-Cantin, Ana C. Murillo

机构 * DIIS-I3A, University of Zaragoza（DIIS-I3A，西班牙阿利坎特大学） 纠错

专题命中 长视频与时序推理 ：long video(title,abstract)；分类 cs.CV

AI总结 FALCONEye通过多模态大语言模型在小时长视频中高效定位内容并回答问题，超越现有模型性能并显著降低推理成本。

MT-Video-Bench: A Holistic Video Understanding Benchmark for Evaluating Multimodal LLMs in Multi-Turn Dialogues

MT-Video-Bench: 一个多轮对话中评估多模态大语言模型的综合视频理解基准

Yaning Pan, Qianqian Xie, Guohui Zhang, Zekun Wang, Yongqian Wen, Yuanxing Zhang, Haoxuan Hu, Zhiyu Pan, Yibing Huang, Zhidong Gan, Yonghong Lin, An Ping, Shihao Li, Yanghai Wang, Tianhao Peng, Jiaheng Liu

机构 * Fudan University（复旦大学） ； NJU-LINK Team, Nanjing University（南京大学NJU-LINK团队） ； University of Science and Technology of China（中国科学技术大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 视频数据与评测 ：video understanding(title,abstract)；分类 cs.CV

AI总结 MT-Video-Bench通过评估多轮对话中多模态大语言模型的6项核心能力，揭示其在处理多轮视频对话任务中的性能差异和局限性。

Comments Project Website: https://github.com/NJU-LINK/MT-Video-Bench

From Understanding to Engagement: Personalized pharmacy Video Clips via Vision Language Models (VLMs)

从理解到参与：通过视觉语言模型（VLMs）生成个性化药学视频片段

Suyash Mishra, Qiang Li, Srikanth Patil, Anubhav Girdhar

机构 * Roche（罗氏） ； Accenture（埃森哲） ； Involead 纠错

专题命中 视频数据与评测 ：long video(abstract)；分类 cs.CV

AI总结 本文提出基于视觉语言模型和音频语言模型的个性化药学视频片段生成方法，通过剪切合并算法和个性化机制提升生成效率与质量，实现制药行业内容处理的高效自动化。

Comments Contributed original research to top tier conference in VLM; currently undergoing peer review