视频大模型

EEA: Exploration-Exploitation Agent for Long Video Understanding

EEA：长视频理解的探索-利用代理

Te Yang, Xiangyu Zhu, Bo Wang, Quan Chen, Peng Jiang, Zhen Lei

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学） ； Kuaishou Technology（快手科技） ； Centre for Artificial Intelligence and Robotics, HKISI, Chinese Academy of Sciences（人工智能与机器人中心，HKISI，中国科学院） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；long video(title)；分类 cs.CV

AI总结 EEA通过语义引导的分层树搜索实现长视频理解中的探索与利用平衡，结合视觉语言模型和语义先验提升视频分析的效率与精度。

PSA: Pyramid Sparse Attention for Efficient Video Understanding and Generation

PSA: 基于金字塔稀疏注意力的高效视频理解和生成

Xiaolong Li, Youping Gu, Xi Lin, Weijie Wang, Bohan Zhuang

机构 * ZIP Lab, Zhejiang University（浙江大学浙大信息实验室） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

AI总结 PSA通过多级池化键值表示实现高效视频理解和生成，相比现有稀疏注意力方法在效率和质量上表现更优。

Comments Tech report

Does Hearing Help Seeing? Investigating Audio-Video Joint Denoising for Video Generation

听觉有助于视觉吗？研究音频视频联合去噪用于视频生成

Jianzong Wu, Hao Lian, Dachao Hao, Ye Tian, Qingyu Shi, Biaolong Chen, Hao Jiang, Yunhai Tong

机构 * Peking University（北京大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 视频生成 ：video generation(title,abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 本文提出通过音频视频联合去噪提升视频生成质量，验证了跨模态训练对构建更物理基础的世界模型的潜力。

Comments Project page at https://jianzongwu.github.io/projects/does-hearing-help-seeing/

GeoVideo: Introducing Geometric Regularization into Video Generation Model

GeoVideo: 在视频生成模型中引入几何正则化

Yunpeng Bai, Shaoheng Fang, Chaohui Yu, Fan Wang, Qixing Huang

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； DAMO Academy, Alibaba Group（阿里云达摩院） ； Hupan Lab（鸿篇实验室） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 GeoVideo通过引入几何正则化损失，提升视频生成的时空一致性和几何结构合理性。

Comments Project Page: https://geovideo.github.io/GeoVideo/

GalaxyDiT: Efficient Video Generation with Guidance Alignment and Adaptive Proxy in Diffusion Transformers

GalaxyDiT：通过引导对齐和自适应代理实现高效的视频生成

Zhiye Song, Steve Dai, Ben Keller, Brucek Khailany

机构 * Massachusetts Institute of Technology（麻省理工学院） ； NVIDIA（英伟达） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 GalaxyDiT通过引导对齐和自适应代理选择，提升视频生成效率，实现高达2.37倍的速度提升并保持高质量输出

InteractiveOmni: A Unified Omni-modal Model for Audio-Visual Multi-turn Dialogue

InteractiveOmni: 一种用于音频-视觉多轮对话的统一多模态模型

Wenwen Tong, Hewei Guo, Dongchuan Ran, Jiangnan Chen, Jiefan Lu, Kaibin Wang, Keqiang Li, Xiaoxu Zhu, Jiakui Li, Kehan Li, Xueheng Li, Lumin Li, Chenxu Guo, Jiasheng Zhou, Jiandong Chen, Xianye Wu, Jiahao Wang, Silei Wu, Lei Chen, Hanming Deng, Yuxuan Song, Dinghao Zhou, Guiping Zhong, Ken Zheng, Shiyin Kang, Lewei Lu

机构 * SenseTime Research（商汤科技研究院） 纠错

专题命中 视频问答 ：video understanding(abstract)；分类 cs.CV

AI总结 InteractiveOmni是一种统一的多模态模型，通过多阶段训练策略提升多轮对话能力，提供高效的音频-视觉交互体验。

Rethinking Prompt Design for Inference-time Scaling in Text-to-Visual Generation

重新思考推理时的提示设计以实现文本到视觉生成的扩展

Subin Kim, Sangwoo Mo, Mamshad Nayeem Rizve, Yiran Xu, Difan Liu, Jinwoo Shin, Tobias Hinz

专题命中 长视频与时序推理 ：text-to-video(abstract)；分类 cs.CV

AI总结 PRIS通过自适应修改提示以实现文本到视觉生成的推理时扩展，提高生成质量并解决提示固定导致的质量停滞问题。

Comments Visualizations are available at the website: https://subin-kim-cv.github.io/PRIS