Depth Any Video with Scalable Synthetic Data
Shanghai AI Laboratory(上海人工智能实验室);Zhejiang University(浙江大学);The University of Sydney(悉尼大学)
本文提出Depth Any Video模型,通过可扩展合成数据流水线和生成式视频扩散先验,结合混合时长训练与深度插值方法,解决了视频深度估计中数据稀缺和长度受限的问题,在空间精度与时间一致性上超越已有模型。
2025-03-12 cs.AI cs.CV
StarGen: A Spatiotemporal Autoregression Framework with Video Diffusion Model for Scalable and Controllable Scene Generation
SenseTime Research(商汤科技研究院);Zhejiang University(浙江大学)
针对大型模型因计算限制无法实现长距离一致场景生成的问题,提出StarGen框架,以自回归方式利用预训练视频扩散模型,结合3D变形和重叠图像条件提升时空一致性,支持多样化任务且性能优于现有方法。
2025-04-13 cs.CV
Veda: Scalable Video Diffusion via Distilled Sparse Attention
ByteDance Inc.(字节跳动公司);The University of Hong Kong(香港大学);University of Science and Technology of China(中国科学技术大学)
提出Veda蒸馏稀疏注意力框架,通过统计感知的tile评分和头感知tile选择,在保持生成质量的同时实现视频扩散模型的高效加速。
2026-05-28 cs.CV
Multimodal Diffusion Transformer with Memory Bank for Scalable Long-Duration Talking Video Generation
South China University of Technology(南方科技大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Beijing National Research Center for Information Science and Technology, Tsinghua University(北京信息科学研究中心,清华大学);Department of Automation, BNRist, Tsinghua University(清华大学自动化系,北京信息科学研究中心)
本文提出 LetsTalk 框架,通过多模态指导和内存库机制解决长时谈话视频生成中的质量、一致性、时间连贯性和计算效率问题,实验表明其在生成质量和效率上达到新水平。
2026-05-08 cs.CV
DiCoDe: Diffusion-Compressed Deep Tokens for Autoregressive Video Generation with Language Models
DiCoDe利用扩散压缩深度标记,通过自回归语言模型生成视频,实现高效压缩与高质量输出,展示了在视频建模中的潜力。
2026-03-15 cs.CV
GVD: Guiding Video Diffusion Model for Scalable Video Distillation
Center for Research in Computer Vision, University of Central Florida(计算机视觉研究中心,中央佛罗里达大学);Cisco Research(思科研究)
针对大型视频数据集计算存储成本高的问题,提出首个基于扩散的视频蒸馏方法GVD,联合蒸馏时空特征生成高保真多样视频,在多个基准数据集上以极少帧数达到SOTA性能,还可低成本支持更高分辨率与IPC。
2025-07-30 cs.AI cs.CV
Mitty: Diffusion-based Human-to-Robot Video Generation
Show Lab, National University of Singapore(新加坡国立大学Show实验室)
Mitty通过基于扩散的变换器实现端到端的人机视频生成,利用预训练模型和双向注意力机制,无需动作标签或中间抽象,生成高质量的机器人执行视频。
2025-12-19 cs.CV
AutoCut: End-to-end advertisement video editing based on multimodal discretization and controllable generation
Tsinghua University(清华大学);Kuaishou Technology(快手科技)
本文提出AutoCut框架,通过多模态离散化和可控生成实现广告视频编辑,提升一致性和可控性,降低生产成本和迭代时间。
2026-03-30 cs.CV
SolarWM: Open Data and Scalable Training for Long-Horizon Video World Models
CUHK-SZ(香港中文大学(深圳));SLAI(深圳先进人工智能研究院);NUS(新加坡国立大学);CUHK(香港中文大学);HKUST(香港科技大学);HKUST-GZ(香港科技大学(广州));NVIDIA(英伟达公司);UCLA(加利福尼亚大学洛杉矶分校);MSRA(微软亚洲研究院)
SolarWM是面向长时序视频世界模型的开放基础框架,通过多源数据引擎与适配框架实现异构数据训练,实例化多款5B至33B模型,仅用5秒序列训练即可支持长时序实时交互,为相关研究提供可复扩展的基础。
2026-09-03 cs.CV
VFusion3D: Learning Scalable 3D Generative Models from Video Diffusion Models
GenAI, Meta(Meta GenAI部门);University of Oxford(牛津大学)
本文提出VFusion3D,利用预训练视频扩散模型生成大规模合成多视图数据,训练前馈3D生成模型,实现单图秒级生成3D资产,性能超越现有最先进模型。
2024-07-18 cs.CV cs.GR cs.LG
iVideoGPT: Interactive VideoGPTs are Scalable World Models
Tsinghua University(清华大学);Zhili College, Tsinghua University(清华大学知理书院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Tianjin University(天津大学)
本研究提出可扩展的交互式VideoGPT(iVideoGPT)框架,通过压缩token化技术整合多模态信号,在大规模轨迹数据上预训练,可作为多任务交互式世界模型,性能比肩现有最优方法,推动通用世界模型发展。
2024-10-31 cs.CV cs.LG cs.RO
STIV: Scalable Text and Image Conditioned Video Generation
Apple(苹果公司);University of California, Los Angeles(加州大学洛杉矶分校)
本研究提出可扩展的文本-图像条件视频生成方法STIV,通过帧替换与联合条件引导实现多任务支持,8.7B模型在VBench基准上取得超越主流模型的性能,为领域发展提供透明方案。
2025-10-06 cs.AI cs.CV cs.LG
Counterfactual Video Generation Enables Scalable Humanoid Loco-Manipulation
Amazon FAR(亚马逊FAR);UC Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学);Stanford(斯坦福大学)
提出PRISM框架,通过反事实视频生成和接触锚定仿真重建,从少量真实视频扩展训练数据,实现无需真实微调的人形机器人移动操作泛化。
2026-09-30 cs.CV cs.GR cs.RO
OmniHumanoid: Streaming Cross-Embodiment Video Generation with Paired-Free Adaptation
Show Lab, National University of Singapore(展示实验室,新加坡国立大学)
本文提出OmniHumanoid框架,通过分离可迁移运动学习与躯体特定适应,实现跨躯体视频生成,利用无配对视频进行适应,并通过分支隔离注意力设计提升运动与躯体适应的分离度。
2026-05-12 cs.CV
DriveCtrl: Conditioned Sim-to-Real Driving Video Generation
University of Warwick(沃里克大学);Northwestern Polytechnical University(西北工业大学);Queen Mary University of London(伦敦大学玛丽女王学院)
本文提出DriveCtrl框架,通过深度条件生成逼真的驾驶视频,保留场景结构和运动模式,提升生成视频的现实感和时序一致性,同时引入可扩展的数据生成管道和Driving Video Realism Score评估指标。
2026-05-14 cs.CV
Causal Forcing++: Scalable Few-Step Autoregressive Diffusion Distillation for Real-Time Interactive Video Generation
Tsinghua University(清华大学);ShengShu(盛数);Renmin University of China(中国人民大学)
提出Causal Forcing++框架,通过因果一致性蒸馏(causal CD)实现帧级1-2步自回归扩散蒸馏,在降低延迟和训练成本的同时提升视频生成质量。
2026-10-06 cs.CV
VideoMaMa: Mask-Guided Video Matting via Generative Prior
Korea University(韩国大学);Adobe Research(Adobe研究);KAIST AI(韩国科学技术院人工智能)
VideoMaMa通过生成先验和分割提示,实现从粗糙掩码到精确磨皮的转换,并构建大规模伪标签数据集提升视频磨皮研究
2026-01-20 cs.AI cs.CV
X-World: Controllable Ego-Centric Multi-Camera World Models for Scalable End-to-End Driving
GWM Team(长城汽车团队);XPeng Inc.(小鹏汽车)
X-World通过可控的多摄像头生成世界模型,实现高质量多视角视频生成,支持跨摄像头一致性、长时间动态稳定性和严格动作遵循,为可扩展的端到端驾驶评估提供基础。
2026-03-31 cs.AI cs.CV
HumanNet: Scaling Human-centric Video Learning to One Million Hours
Peking University(北京大学)
HumanNet通过构建大规模人类活动视频数据集,探索以人为中心的视频在扩展具身基础模型中的潜力,展示其在动作生成和人机转移中的优势。
2026-05-07 cs.CV cs.RO
SAW: Toward a Surgical Action World Model via Controllable and Scalable Video Generation
Johns Hopkins University(约翰霍普金斯大学);NVIDIA
SAW通过四个轻量信号条件的视频扩散模型生成真实手术动作视频,解决手术AI和模拟中的数据稀缺、稀有事件合成及仿真到现实的差距问题,实现高时间一致性和视觉质量。
2026-03-13 cs.AI cs.CV cs.LG
From Human Videos to Robot Manipulation: A Survey on Scalable Vision-Language-Action Learning with Human-Centric Data
Tsinghua University(清华大学);HKUST(香港科技大学);Xi’an Jiaotong University(西安交通大学);Fudan University(复旦大学);Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学);Microsoft Zurich Project(微软苏黎世实验室)
本文综述了如何将丰富的人类视频转化为视觉-语言-动作(VLA)模型的有效知识,分类了四种方法(潜在动作表示、预测世界模型、显式2D监督、显式3D重建),并指出了结构化非结构化视频、跨具身和视角的动作映射、以及评估协议设计三大挑战。
2026-05-18 cs.AI cs.CV cs.RO
Scaling Diffusion Mamba with Bidirectional SSMs for Efficient Image and Video Generation
Carnegie Mellon University(卡内基梅隆大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对扩散Transformer计算复杂度随序列长度二次增长的问题,提出扩散Mamba(DiM)架构,利用Mamba线性复杂度实现高效图像与视频生成,并超越现有扩散Transformer。
2024-05-24 cs.AI cs.CV cs.LG
SnAG: Scalable and Accurate Video Grounding
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文研究长视频中大量文本查询的时间定位问题,提出简单基线SnAG,通过晚期融合和视频中心采样实现高效训练,在MAD数据集上比CONE准确率提升43%且速度加快1.5倍。
2024-04-05 cs.CV
A Framework for Super-Resolution of Scalable Video via Sparse Reconstruction of Residual Frames
K.N. Toosi University of Technology(K.N.图西理工大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本文介绍了一种基于压缩感知和剩余帧稀疏表示的可伸缩视频超分辨率框架,用于侦察和监视应用。我们利用有效的压缩采样和稀疏重建算法来超分辨率的视频序列相对于不同的压缩率。我们利用残差帧中残差信息的稀疏性作为设计框架的关键点。此外,定义了一个控制因子作为压缩性阈值,以控制复杂度和性能之间的权衡。数值实验证实了所提出的框架的压缩率方面的效率,以及重建的视频序列的PSNR测量的质量。该框架导致更有效的压缩率和更高的视频质量相比,其他国家的最先进的算法,考虑性能复杂性权衡。
2017-07-31 cs.CV
High Dynamic Range Video Compression: A Large-Scale Benchmark Dataset and A Learned Bit-depth Scalable Compression Algorithm
Shangha University(上海大学)
本文构建了首个大规模HDR视频基准数据集HDRVD2K,并基于此提出首个学习型位深可扩展视频压缩网络LBSVC,通过位深增强模块有效利用动态范围先验提升压缩与重建性能。
2025-03-01 cs.CV
GEXIA: Granularity Expansion and Iterative Approximation for Scalable Multi-grained Video-language Learning
Texas A&M University(德克萨斯农工大学);Amazon(亚马逊公司)
针对视频-语言学习中多粒度数据跨模态对齐难题,提出含GEX粒度扩展方法与IAM迭代近似模块的GEXIA框架,可扩展且在多任务基准上取得优异性能,尤其在长视频理解任务中表现突出。
2024-12-10 cs.CV
VEDJE: Video-Efficient Discriminative Joint Encoder for Scalable Video-Text Retrieval
Ben-Gurion University of the Negev(内盖夫本-古里安大学);Texas A&M University(德克萨斯农工大学);Decart AI(德卡特人工智能公司)
该研究提出VEDJE模型,通过压缩视频帧特征并结合特征变化预测辅助训练,在多个视频-文本检索数据集上提升R@1指标,缩小缓存规模后仍保持较高召回率,实现高效可扩展的视频检索。
2026-10-14 cs.CV
Scalable Pooled Time Series of Big Video Data from the Deep Web
University of Southern California(南加州大学);Jet Propulsion Laboratory, California Institute of Technology(加州理工学院喷气推进实验室)
我们贡献了CVPR 2015中Ryoo等人的Pooled Time Series算法的可扩展实现。更新后的算法已经在一个大型且多样化的数据集上进行了评估,该数据集包含大约6800个视频,这些视频是从DARPA MEMEEX工作中与人口贩运相关的深网抓取中收集的。我们描述了池化时间序列的属性和使用它来关联从深网收集的视频的动机。我们强调了在较大数据集上运行池化时间序列时发现的问题,并讨论了这些问题的解决方案。我们的解决方案中心正在将Pooled Time Series重新构想为一种基于Hadoop的算法,在这种算法中,我们在大型商品集群上并行计算最终解决方案的一部分。我们证明了我们新的基于Hadoop的算法在6800视频数据集上运行良好,并具有CVPR 2015论文中描述的所有属性。我们对该项目今后的工作提出了建议。
2016-10-21 cs.CV
Towards Scalable Neural Representation for Diverse Videos
University of Maryland, College Park(马里兰大学帕克分校);Meta AI;Fudan University(复旦大学)
隐式神经表示(INR)在表示3D场景和图像方面已经获得越来越多的关注,并且最近已经被应用于编码视频(例如,NeRV,E-NeRV)。虽然实现了有希望的结果,但是现有的基于INR的方法限于编码少数短视频(例如,UVG数据集中的七个5秒视频),具有冗余的视觉内容,导致模型设计独立地适合各个视频帧,并且不能有效地扩展到大量不同的视频。本文的重点是为更实用的设置开发神经表示-编码具有不同视觉内容的长视频和/或大量视频。我们首先证明,与其将视频分成小的子集并使用单独的模型对其进行编码,不如使用统一的模型对长而多样的视频进行编码,从而获得更好的压缩效果。基于这一观察,我们提出了D-NeRV,一种新的神经表示框架,旨在通过以下方式对不同的视频进行编码:(i)将特定于剪辑的视觉内容与运动信息解耦,(ii)将时间推理引入隐式神经网络,以及(iii)采用面向任务的流作为中间输出以减少空间冗余。在视频压缩任务上,我们的新模型在很大程度上超过了NeRV和UCF 101和UVG数据集上的传统视频压缩技术。此外,当用作高效的数据加载器时,在相同压缩比下,D-NeRV在UCF 101数据集上的动作识别任务中的准确率比NeRV高3%-10%。
2023-03-24 cs.CV
Toward Scalable Video Narration: A Training-free Approach Using Multimodal Large Language Models
Intel(英特尔)
针对 MLLM 视频叙述时间对齐差且易幻觉的问题,论文提出免训练流水线 VideoNarrator,通过多模型协同生成、补充上下文并验证字幕,显著提升叙述准确性。
2025-07-22 cs.CV
Encode the Unseen: Predictive Video Hashing for Scalable Mid-Stream Retrieval
ICube, University of Strasbourg, CNRS, IHU Strasbourg(斯特拉斯堡大学ICube实验室、法国国家科学研究中心、斯特拉斯堡大学医院研究所)
本文研究了计算机视觉中的一个新问题:中间流视频到视频检索。该任务包括在数据库中搜索与正在播放的视频(例如来自直播流)相似的内容,该任务表现出具有挑战性的特性。只有视频的开始部分可用作查询,并且随着视频播放,不断添加新帧。为了在这种要求苛刻的情况下执行检索,我们提出了一种基于二进制编码器的方法,该方法既具有预测性又具有增量性,以便(1)在查询时考虑丢失的视频内容,以及(2)在整个流媒体中跟上重复的、不断演变的查询。特别是,我们提出了第一个哈希框架,推断出目前播放的视频看不见的未来内容。在FCVID和ActivityNet上的实验证明了该任务的可行性。我们的方法还产生了显着的mAP@20性能提高相比,从文献中改编为这项任务的基线,例如7.4%(2.6%)增加20%(50%)的运行时间FCVID使用大小为192位的位代码。
2020-10-02 cs.CV
Building Scalable Video Understanding Benchmarks through Sports
IIT Roorkee(印度理工学院鲁尔基分校);Princeton University(普林斯顿大学);University of Toronto(多伦多大学)
用于评估长视频理解的现有基准在两个关键方面存在不足,即缺乏标注的规模或质量。这些限制来自于难以为长视频收集密集的注释,这通常需要手动标记每个帧。在这项工作中,我们介绍了一个自动化的注释和视频流对齐管道(简称ASAP)。我们通过将四种不同运动的未标记视频与相应的免费密集网络注释(即评论)对齐来展示ASAP的一般性。然后,我们利用ASAP的可扩展性来创建LCric,这是一个大规模的长视频理解基准测试,以几乎为零的注释成本收集了超过1000小时的密集注释的长Cricket视频(平均样本长度约为50分钟)。我们通过大量的组合多选择和回归查询,对LCric上最先进的视频理解模型进行基准测试和分析。我们建立了一个人类基线,这表明新研究的探索空间很大。我们的人类研究表明,ASAP可以以高保真度,精度和速度对齐视频和注释。数据集以及ASAP和基线的代码可以在这里访问:www.example.com。
2023-03-26 cs.CV
VideoMAP: Toward Scalable Mamba-based Video Autoregressive Pretraining
IIIS, Tsinghua University(清华大学交叉信息研究院);Shanghai Qi Zhi Institute(上海期智研究院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);University of Bristol(布里斯托大学);Nanjing University(南京大学)
本文提出混合 Mamba-Transformer 框架 VideoMAP,通过 4:1 架构比例与逐帧掩码自回归预训练提升视频模型可扩展性、样本效率及多模态长视频编码能力。
2025-03-16 cs.CV
SurgLQA: Scalable Long-Horizon Surgical Video Question Answering
The Chinese University of Hong Kong(香港中文大学)
本文提出SurgLQA框架,通过融合时间一致性巩固和时间接地多策略扩展方法,解决长时程外科视频问答中的长程动态建模问题,提升手术流程中的推理能力。
2026-05-18 cs.CV
Scalable Video Coding for Humans and Machines
Simon Fraser University(西蒙弗雷泽大学)
视频内容不仅被人类观看,而且越来越多地被机器观看。例如,机器学习模型分析监控视频的安全和交通监控,通过YouTube视频搜索不合适的内容,等等。在本文中,我们提出了一个可扩展的视频编码框架,通过其基本层比特流支持机器视觉(具体地说,对象检测),通过其增强层比特流支持人类视觉。所提出的框架包括来自传统和基于深度神经网络(DNN)的视频编码的组件。结果表明,在对象检测方面,与最先进的视频编解码器相比,所提出的框架实现了13-19%的比特节省,同时在人类视觉任务的MS-SSIM方面保持竞争力。
2022-08-04 cs.CV eess.IV
FlowNar: Scalable Streaming Narration for Long-Form Videos
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);Lamarr Institute for Machine Learning(拉马尔机器学习研究所);University of Bonn(波恩大学)
提出FlowNar框架,通过动态上下文管理和CLAM模块实现有界视觉记忆与计算复杂度,在流式视频叙述中兼顾高质量与高效率。
2026-05-30 cs.CV
Video-Arena: A Scalable Agentic Video Benchmark for Spatiotemporal Capability
miHoYo Honkai AI R&D Team(米哈游崩坏AI研发团队);College AI, Tsinghua University(清华大学人工智能学院);University of Chinese Academy of Sciences(中国科学院大学);MMLab, The University of Hong Kong(香港大学多媒体实验室);National University of Singapore(新加坡国立大学)
本研究推出Video-Arena基准,通过9款游戏的180个任务,在原生视觉理解与工具辅助智能体分析两种协议下,评估模型感知、解读、追踪动态世界状态的时空能力,发现工具辅助系统仍存在状态解读与追踪的不足。
2026-10-14 cs.CV
Deep Semantic Multimodal Hashing Network for Scalable Image-Text and Video-Text Retrievals
散列技术由于其计算和存储效率高的优点,被广泛应用于大规模多媒体数据的多模态检索。在这篇文章中,我们提出了一种新的深度语义多模态哈希网络(DSMHN)可扩展的图像-文本和视频-文本检索。提出的深度哈希框架利用2-D卷积神经网络(CNN)作为骨干网络来捕获用于图像-文本检索的空间信息,而3-D CNN作为骨干网络来捕获用于视频-文本检索的空间和时间信息。在DSMHN中,通过显式地保留模态间相似性和模态内语义标签来联合学习两组特定于模态的哈希函数。具体地说,假设学习的哈希码应该是分类任务的最佳值,两个流网络被联合训练,通过在所得哈希码上嵌入语义标签来学习哈希函数。此外,提出了一个统一的深度多模态散列框架,通过同时利用特征表示学习、模态间相似性保持学习、语义标签保持学习和具有不同类型损失函数的散列函数学习来学习紧凑且高质量的散列码。所提出的DSMHN方法是一种通用的和可扩展的深度哈希框架,用于图像-文本和视频-文本检索,可以灵活地与不同类型的损失函数集成。我们进行了广泛的实验,单模态和跨模态检索任务四个广泛使用的多模态检索数据集。在图像文本和视频文本检索任务上的实验结果表明,DSMHN显着优于国家的最先进的方法。
2022-01-05 cs.CV
SoccerNet: A Scalable Dataset for Action Spotting in Soccer Videos
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
在本文中,我们介绍了SoccerNet,在足球视频动作发现的基准。该数据集由来自六个主要欧洲联赛的500场完整的足球比赛组成,涵盖2014年至2017年的三个赛季,总时长为764小时。总共有6,637个时间注释是从在线比赛报告中自动解析的,分辨率为一分钟,主要分为三类事件(进球、黄牌/红牌和换人)。因此,数据集很容易扩展。这些注释通过遵循定义良好的足球规则将其锚定在单个时间戳处而手动细化到一秒的分辨率。平均每6.9分钟发生一个事件,这个数据集专注于在长视频中定位非常稀疏的事件的问题。我们将发现的任务定义为在视频中找到足球事件的锚点。利用视频中通用动作识别和检测领域的最新发展,我们为检测足球事件提供了强大的基线。我们表明,我们的最佳模型分类的时间段长度为一分钟达到平均平均精度(mAP)的67.8%。对于点样任务,我们的基线在公差$δ$范围为5至60秒时达到49.7%的平均mAP。我们的数据集和模型可以在https://silviogiancola.github.io/SoccerNet上找到。
2018-04-22 cs.CV
Scalable Injury-Risk Screening in Baseball Pitching From Broadcast Video
Vision and Image Processing Lab(视觉与图像处理实验室);University of Waterloo(滑铁库大学)
基于单目视频的棒球投掷生物力学指标提取,实现可扩展的伤害风险筛查。
2026-03-05 cs.CV
Attend Before Attention: Efficient and Scalable Video Understanding via Autoregressive Gazing
UC Berkeley(伯克利大学);MIT(麻省理工学院);Clarifai(Clarifai公司);NVIDIA(英伟达公司)
AutoGaze通过自回归选择视频中的关键块,减少冗余并提升处理效率,使大语言模型能处理长视频并取得更优表现。
2026-03-12 cs.CV
DriveWAM: Video Generative Priors Enable Scalable World-Action Modeling for Autonomous Driving
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Voyager Research, Didi Chuxing(Voyager Research,滴滴出行)
提出DriveWAM,通过将预训练视频扩散Transformer适配为自回归视频-动作策略,并引入场景演化驾驶引导和选择性KV记忆,实现可扩展的世界-动作建模,在NAVSIM和PhysicalAI基准上取得强规划性能。
2026-05-27 cs.CV
Needle In A Video Haystack: A Scalable Synthetic Evaluator for Video MLLMs
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Baichuan Inc.(百川智能)
本文提出VideoNIAH合成视频基准构建框架,通过插入视觉“针”解耦视频内容与查询,并构建VNBench评估视频MLLM的时间感知、时序排列和时空一致性能力。
2025-03-07 cs.CV
Scalable Video Object Segmentation with Simplified Framework
City University of Hong Kong(香港城市大学);International Digital Economy Academy(国际数字经济研究院)
针对现有VOS方法手工模块导致目标交互不足的问题,提出可扩展SimVOS框架,用单个ViT骨干联合特征提取与匹配,可直接复用自监督预训练ViT,结合帧内注意力与token细化模块,在多个基准上取得SOTA结果且无需额外合成数据预训练。
2023-08-19 cs.CV
Towards Scalable Video Anomaly Retrieval: A Synthetic Video-Text Benchmark
Xi’an Jiaotong University(西安交通大学);Hefei University of Technology(合肥工业大学);University of Macau(澳门大学)
本文提出首个大规模合成视频-文本异常检索基准SVTA,利用LLM和生成模型构建含41,315个视频的数据集,覆盖68类异常和30类正常活动,以解决数据稀缺与隐私问题并验证跨模态检索方法。
2025-06-02 cs.CV
3D sans 3D Scans: Scalable Pre-training from Video-Generated Point Clouds
AIST(产业技术综合研究所);University of Technology Nuremberg(纽伦堡工业大学);University of Oxford(牛津大学);INRIA(法国国家信息与自动化研究所)
本文提出LAM3C框架,通过视频生成点云进行自监督学习,无需真实3D扫描即可在室内语义和实例分割中取得更好性能。
2026-03-26 cs.CV
VideoSEMA: a scalable and efficient Mamba-like attention for video understanding
University of California, Irvine(加利福尼亚大学欧文分校);Qualcomm AI Research(高通人工智能研究中心);Qualcomm Technologies, Inc.(高通技术公司)
研究针对视频理解提出VideoSEMA模型,核心方法是采用时空注意力分割,包含空间类曼巴注意力模块和时间注意力。主要贡献是在多数据集上表现优异,参数规模相当时准确率领先,分辨率提升时退化更平缓,扩展到长视频也有前景。
2026-07-21 cs.AI cs.CV
EXMOVES: Classifier-based Features for Scalable Action Recognition
Dartmouth College(达特茅斯学院)
本文介绍了EXMOVES,学习基于范例的功能,用于有效识别视频中的动作。我们的描述符中的条目是通过评估输入序列的时空体积上的一组运动分类器来产生的。每个运动分类器都是在低级特征上训练的简单示例SVM,即,使用单个注释的正时空体积和大量未注释的视频学习的SVM。我们的代表提供了两个主要优势。首先,由于我们的中级特征是从单个视频样本中学习的,因此它们需要最少的监督。其次,我们表明,我们的全球视频描述符训练的简单线性分类模型产生的动作识别精度接近最先进的,但在数量级较低的成本,因为在测试时没有滑动窗口是必要的,线性模型是有效的训练和测试。这使得能够进行可扩展的动作识别,即,即使在大型视频数据库中,也可以对大量不同动作进行有效分类。我们通过从两个不同的低级特征表示构建我们的中级描述符来展示我们的方法的通用性。该方法的准确性和效率被证明在几个大规模的动作识别基准。
2014-03-28 cs.CV
ScalablePromptus: Scalable and High-Fidelity Prompt-Based Video Streaming
Nanjing University(南京大学)
针对现有Promptus框架受网络波动影响易出现质量崩溃的问题,提出ScalablePromptus,通过多项改进使其在有损网络下性能下降降低82%-95%,可稳健用于实际部署。
2026-07-30 cs.CV cs.MM eess.IV
DenseStep2M: A Scalable, Training-Free Pipeline for Dense Instructional Video Annotation
SAI, Shanghai Jiao Tong University(上海交通大学人工智能研究院)
本文提出无需训练的DenseStep2M流水线,通过分割视频、过滤对齐不佳内容并利用先进多模态模型生成高质量步骤注释,构建了包含10万视频和200万步骤的大型数据集,支持长期视频理解。
2026-04-29 cs.CV
LiSens --- A Scalable Architecture for Video Compressive Sensing
Carnegie Mellon University(卡内基梅隆大学);Columbia University(哥伦比亚大学)
通过使用空间光调制器(SLM)进行空间复用测量的相机的测量速率通常受到SLM的切换速度的限制。这对于单像素相机尤其如此,其中光电检测器以比SLM大许多数量级的速率操作。我们研究的因素,确定这种空间多路复用相机(SMC)的测量速率,并表明,增加设备中的像素的数量提高了测量速率,但有一个最佳的像素数(通常是几千)超过该测量速率不增加。这激发了LiSens的设计,LiSens是一种新型的成像架构,它用一维线性阵列或线传感器取代了单像素相机中的光电探测器。我们说明了LiSens的光学架构,建立一个原型,并展示了一系列室内和室外场景的结果。LiSens实现了SMC的承诺:使用廉价的低分辨率传感器以百万像素分辨率、视频速率成像。
2015-03-14 cs.CV
Puzzles: Unbounded Video-Depth Augmentation for Scalable End-to-End 3D Reconstruction
Australian National University(澳大利亚国立大学);Griffith University(格里菲斯大学);CSIRO’s Data61(CSIRO的数据61)
提出数据增强策略Puzzles,通过从单图像或视频合成无界高质量带位姿视频-深度数据,在不修改网络架构下显著提升多视图三维重建性能,仅用10%原始数据即可达到全量训练精度。
2025-06-30 cs.CV
Cloud based Scalable Object Recognition from Video Streams using Orientation Fusion and Convolutional Neural Networks
Comsats University(科姆萨特大学);University of Leicester(莱斯特大学);University of Calabria(卡拉布里亚大学);Free University of Bozen-Bolzano(博岑-博尔扎诺自由大学);Edinburgh Napier University(爱丁堡龙比亚大学)
从实时视频流中进行对象识别面临着许多挑战,例如照明条件和姿势的变化。卷积神经网络(CNN)已被广泛用于执行智能视觉对象识别。然而,CNN仍然遭受严重的准确性下降,特别是在照明变量数据集上。为了解决这个问题,我们提出了一种新的CNN方法的基础上,方向融合的视觉目标识别。所提出的基于云的视频分析系统开创了使用二维经验模式分解将视频帧分割成固有模式函数(IMF)。我们进一步提出这些IMF来承受Reisz变换以产生单基因对象组件,这些组件反过来用于CNN的训练。过去的工作已经证明了如何对象定向组件可以用来追求高达93%的准确度。在这里,我们展示了如何的方向组件的特征融合策略,导致进一步提高视觉识别精度到97%。我们还评估了我们的方法的可扩展性,同时查看正在审查的视频流的数量和大小。我们在公开的耶鲁数据集上进行了广泛的实验,包括一个自己生成的视频数据集,发现与AlexNet,LeNet和SE-ResNeXt相比,这是三个最常用的深度学习模型,用于视觉对象识别和分类。
2021-06-19 cs.CV
Learning from Watching: Scalable Extraction of Manipulation Trajectories from Human Videos
本文提出结合大规模基础模型与点跟踪技术,从人类视频中提取操作轨迹,以实现更高效的数据收集和机器人学习。
2025-11-03 cs.CV cs.RO