LongCat-Video Technical Report
Meituan LongCat Team(美团LongCat团队)
本报告推出136亿参数的基础视频生成模型LongCat-Video,基于DiT框架支持多任务,通过预训练、粗到精策略和块稀疏注意力实现高效高质量长视频生成,经多奖励RLHF训练性能比肩主流模型,且已开源。
2025-10-28 cs.CV
Virtual Fitting Room: Generating Arbitrarily Long Videos of Virtual Try-On from a Single Image -- Technical Preview
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);SpreeAI
本研究提出名为VFR的新型视频生成模型,以自回归逐段生成方式从单图生成任意长虚拟试穿视频,通过前缀条件和360度锚定视频解决局部平滑与全局时序一致问题,实现分钟级高质量生成,属该领域开创性工作。
2025-09-04 cs.CV cs.LG
Seaweed-7B: Cost-Effective Training of Video Generation Foundation Model
ByteDance Seed(字节跳动种子)
Seaweed-7B是一个仅用665,000 H100 GPU小时从零训练的70亿参数视频生成模型,通过关键设计决策以中等规模资源实现媲美甚至超越更大模型的性能,并具备通过轻量微调适配多种下游任务的强泛化能力。
2025-05-05 cs.AI cs.CV
Step-Video-TI2V Technical Report: A State-of-the-Art Text-Driven Image-to-Video Generation Model
StepFun(阶跃星辰)
本文提出 30B 参数的文本驱动图像到视频模型 Step-Video-TI2V,可生成多达 102 帧视频,并通过新建 Step-Video-TI2V-Eval 基准验证其达到最先进性能。
2025-03-14 cs.CL cs.CV
A new face swap method for image and video domains: a technical report
Sber AI(Sber人工智能研究院);Samara National Research University(萨马拉国立研究大学);MSU(莫斯科国立大学)
深度伪造技术在过去几年中成为研究的热点领域。研究人员研究了复杂的生成对抗网络(GAN),自动编码器和其他方法,以建立精确和强大的人脸交换算法。实现的结果表明,深度假无监督合成任务在生成数据的视觉质量方面存在问题。这些问题通常导致专家分析时的高假检测精度。第一个问题是,现有的图像到图像方法不考虑视频域特异性,并且逐帧处理导致面部抖动和其他清晰可见的失真。另一个问题是所生成的数据分辨率,由于高计算复杂性,对于许多现有方法而言,所生成的数据分辨率较低。第三个问题出现在源面具有较大比例(如较大的脸颊)时,并且在替换后,它在面边界上变得可见。我们的主要目标是开发这样一种方法,可以解决这些问题,并在许多线索指标上优于现有的解决方案。我们引入了一个新的面孔交换管道,它是基于FaceShifter架构,并解决了上述问题。通过新的眼睛损失函数,超分辨率块和基于高斯的面部掩模生成导致质量的改善,这在评估期间得到了证实。
2022-02-07 cs.CV
KlingAvatar 2.0 Technical Report
Kuaishou Technology(快手科技)
KlingAvatar 2.0 通过时空级联框架和多模态指令融合技术,实现了高效且高质量的长视频生成,提升了视觉清晰度和多模态对齐能力。
2025-12-15 cs.CV
LongCat-Video-Avatar 1.5 Technical Report
Meituan LongCat Team(美团LongCat团队)
本文提出 LongCat-Video-Avatar 1.5,一个通过升级音频编码器、优化训练策略、数据筛选和RLHF训练实现高精度唇同步、全身时间稳定性和长视频生成的开放框架,在多个基准测试中达到或超越商业系统性能。
2026-05-26 cs.CV
Image Generation Models: A Technical History
本文综述了过去十年图像生成模型的快速发展,涵盖VAEs、GANs、正常化流、自回归和Transformer模型以及扩散方法,分析其技术原理、训练方法及局限性,并讨论视频生成和模型鲁棒性等最新进展。
2026-03-29 cs.AI cs.CL cs.CV
Qwen-RobotWorld Technical Report: Unifying Embodied World Modeling through Language-Conditioned Video Generation
Qwen Team(Qwen团队)
提出Qwen-RobotWorld,一种以自然语言为统一动作接口的语言条件视频世界模型,通过双流MMDiT、大规模具身世界知识语料和渐进式课程训练,在机器人操作、自动驾驶等任务中实现物理一致的未来视觉轨迹预测,在多个基准上取得最优结果。
2026-06-18 cs.CV
HunyuanVideo 1.5 Technical Report
Tencent Hunyuan Foundation Model Team(腾讯文心一言基础模型团队)
HunyuanVideo 1.5通过轻量级模型和先进架构实现高质量视频生成,提供开源框架和资源,推动视频生成技术的普及与研究。
2025-11-25 cs.CV
Step-Video-T2V Technical Report: The Practice, Challenges, and Future of Video Foundation Model
StepFun
本文介绍Step-Video-T2V,一个300亿参数的文本到视频模型,采用Video-VAE、双语编码器和Video-DPO,在Step-Video-T2V-Eval基准上展现最先进性能,并探讨了未来方向。
2025-02-24 cs.CL cs.CV
PhysVideoGenerator: Towards Physically Aware Video Generation via Latent Physics Guidance
Center for Data Science New York University(数据科学中心 新 York 大学);Department of Computer Science New York University(计算机科学系 新 York 大学)
PhysVideoGenerator通过在视频生成过程中引入可学习的物理先验,实现物理感知的视频生成,展示了联合训练范式的可行性。
2026-01-07 cs.CV
Delta Score Matters! Spatial Adaptive Multi Guidance in Diffusion Models
The Hong Kong University of Science and Technology (Guangzhou)(香港理工大学(广州));Griffith University & Data61/CSIRO(格里菲斯大学及Data61/CSIRO)
本文提出空间自适应多引导方法,通过几何分析解决扩散模型中细节与伪影的矛盾,提升语义对齐和结构完整性。
2026-04-29 cs.CV
GD-VDM: Generated Depth for better Diffusion-based Video Generation
Bar-Ilan University(巴伊兰大学)
本文提出GD-VDM,一种基于两阶段生成过程(先生成深度视频,再通过扩散Vid2Vid模型生成真实视频)的新型扩散模型,用于生成连贯且多样化的复杂场景视频,并在Cityscapes数据集上验证了其有效性。
2023-06-19 cs.AI cs.CV cs.LG
Kling-Omni Technical Report
Kling Team(Kling团队)
Kling-Omni 是一种通用生成框架,通过多模态视觉语言输入直接合成高质量视频,整合视频生成、编辑和智能推理任务,实现电影级内容创作。
2025-12-18 cs.CV
Memory-V2V: Memory-Augmented Video-to-Video Diffusion for Consistent Multi-Turn Editing
Adobe Research(Adobe研究实验室);KAIST AI(韩国科学技术院人工智能研究所);Adobe Internship(Adobe实习);Project Lead(项目负责人)
Memory-V2V通过引入外部记忆模块,解决多轮视频编辑中的跨轮一致性问题,提升编辑连贯性并保持视觉质量,优于现有基线模型。
2026-08-27 cs.AI cs.CV cs.LG
T2VEval: Benchmark Dataset and Objective Evaluation Method for T2V-generated Videos
School of Information and Communication Engineering, Communication University of China, No.1 East Street, Dingfuzhuang, Chaoyang District, Beijing, China(信息与通信工程学院,中国传媒大学);Beijing Academy of Artificial Intelligence, No.150 Chengfu Road, Haidian District, Beijing, China(北京人工智能研究院)
T2VEval提出了一种多分支融合方案,通过多维评估指标对T2V生成视频进行客观质量评估,提升视频生成模型的优化效果。
2025-08-06 cs.CV
Face Translation between Images and Videos using Identity-aware CycleGAN
Computer Vision Lab, ETH Zurich(苏黎世联邦理工学院计算机视觉实验室);VISICS, KU Leuven(鲁汶大学VISICS)
本文提出了一种新的图像和视频之间的非成对人脸转换问题,可应用于人脸视频的预测和增强。在这个问题中存在两个主要的技术挑战:1)设计一个鲁棒的静态图像和动态视频之间的翻译模型,以及2)在图像-视频翻译期间保持面部身份。为了解决这两个问题,我们通过利用图像-视频翻译模型和身份保留模型,将最先进的图像-图像翻译网络(周期一致性对抗网络)推广到图像-视频/视频-图像翻译环境。特别地,我们将最先进的Wasserstein GAN技术应用于图像-视频翻译的设置以实现更好的收敛,同时我们引入了人脸验证器以确保身份。标准图像/视频人脸数据集上的实验表明,该模型在定性和定量评价方面的有效性。
2017-12-04 cs.CV
Video-P2P: Video Editing with Cross-attention Control
The Chinese University of Hong Kong(香港中文大学);Adobe(奥多比);SmartMore(思谋)
本文介绍了Video-P2P,一种新的框架,用于现实世界的视频编辑与交叉注意力控制。虽然注意力控制已被证明对于使用预训练的图像生成模型进行图像编辑是有效的,但目前还没有公开的大规模视频生成模型。Video-P2P通过调整图像生成扩散模型来完成各种视频编辑任务来解决这一限制。具体来说,我们建议首先调整文本到集合(T2 S)模型来完成近似反转,然后优化共享无条件嵌入,以实现精确的视频反转,并具有较小的内存成本。对于注意力控制,我们引入了一种新的双引导策略,它使用不同的指导策略的源和目标提示。对源提示的优化无条件嵌入提高了重构能力,而对目标提示的初始化无条件嵌入提高了可编辑性。将这两个分支的注意力图分开可以进行详细的编辑。这些技术设计支持各种文本驱动的编辑应用程序,包括单词交换,提示细化和注意力重新加权。Video-P2P在真实世界的视频中可以很好地生成新角色,同时最佳地保留其原始姿势和场景。它明显优于以前的方法。
2023-03-08 cs.CV
ImmersePro: End-to-End Stereo Video Synthesis Via Implicit Disparity Learning
KAUST(阿卜杜拉国王科技大学)
ImmersePro 提出基于隐式视差引导和时空注意力的双分支端到端框架,将单视角视频合成为立体视频,并构建 YouTube-SBS 大规模数据集,在 L1、SSIM、PSNR 上显著超越现有方法。
2024-09-30 cs.CV
MSC: Multi-Scale Spatio-Temporal Causal Attention for Autoregressive Video Diffusion
针对高分辨率视频生成的技术与计算挑战,提出多尺度因果(MSC)框架,通过时空多尺度高效注意力与可控因果条件建模降低计算复杂度,还可用于自回归长视频生成。
2024-12-13 cs.CV
Mocycle-GAN: Unpaired Video-to-Video Translation
University of Science and Technology of China(中国科学技术大学);JD AI Research(京东人工智能研究院)
无监督图像到图像翻译是在没有任何成对训练样本的情况下将图像从一个域翻译到另一个域的任务,并且倾向于更适用于实际应用。然而,这种合成从图像到图像到视频到视频的扩展并不是微不足道的,特别是在捕获视频中的时空结构时。困难源于这样的方面,即不仅在每个帧中的视觉外观,而且连续帧之间的运动应该是真实的和一致的跨变换。这促使我们探索视频合成中的外观结构和时间连续性。在本文中,我们提出了一个新的运动引导循环GAN,被称为Mocycle-GAN,新颖地将运动估计集成到不成对的视频翻译。从技术上讲,MoCycle-GAN利用了三种类型的约束:区分合成帧和真实帧的对抗性约束,鼓励帧和运动的逆平移的循环一致性,以及验证连续帧之间运动传输的运动平移。视频到标签和标签到视频翻译进行了广泛的实验,并报告了优越的结果相比,国家的最先进的方法。更值得注意的是,我们定性地展示了我们的Moycle-GAN的花到花和环境条件转移。
2019-08-26 cs.CV cs.MM
MotionScape: A Motion-Stratified UAV Video Benchmark for World Modeling and Future Video Generation
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院);Jilin University(吉林大学)
MotionScape提供高动态无人机视频数据,用于提升世界模型对复杂3D动态的模拟能力,通过语义和几何对齐的标注提升无人机自主导航与决策能力。
2026-09-09 cs.CV cs.MM
Improving the Physics of Video Generation with VJEPA-2 Reward Signal
FAIR, Meta Superintelligence Labs(FAIR、Meta超智能实验室);University of Oxford(牛津大学);Mila - Québec AI Institute(魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Columbia University(哥伦比亚大学);McGill University(麦吉尔大学);Canada CIFAR AI Chair(加拿大CIFAR人工智能 chair)
本报告提出将自监督视频世界模型VJEPA-2作为奖励信号,与视频生成模型MAGI-1结合,以提升生成视频的物理合理性,在PhysicsIQ基准上实现约6%的改进。
2025-10-22 cs.CV cs.GR
HiTeA: Hierarchical Temporal-Aware Video-Language Pre-training
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
视频语言预训练提高了各种下游视频语言任务的表现。然而,大多数先前的方法直接继承或适应典型的图像语言预训练范例到视频语言预训练,因此没有充分利用视频的独特特性,即,暂时的在本文中,我们提出了一个分层的时间感知的视频语言预训练框架,HiTeA,有两个新的预训练任务,用于建模时刻和文本之间的跨模态对齐以及视频-文本对的时间关系。具体来说,我们提出了一个跨模态的时刻探索任务,以探索视频中的时刻,这导致详细的视频时刻表示。此外,内在的时间关系被捕获对齐视频文本对作为一个整体,在不同的时间分辨率与多模态时间关系探索任务。此外,我们引入了洗牌测试来评估数据集和视频语言预训练模型的时间依赖性。我们在15个成熟的视频语言理解和生成任务上取得了最先进的结果,特别是在面向时间的数据集上(例如,SSv 2-模板和SSv 2-标签)分别提高了8.6%和11.1%。当以zero-shot方式直接转移到下游任务时,HiTeA也表现出很强的泛化能力。模型和演示将在ModelScope上提供。
2022-12-30 cs.CL cs.CV cs.MM
Technical Report for CVPR 2022 LOVEU AQTC Challenge
UNIST(蔚山国立科学技术院);Pyler, Inc.(Pyler公司)
本技术报告介绍了AQTC的第二个获奖模型,这是CVPR 2022 LONG形式视频理解(LOVEU)挑战中新引入的任务。这一挑战面临着多步骤答案、多模态以及视频中多样化和不断变化的按钮表示的困难。我们解决这个问题,提出了一个新的上下文地面模块注意力机制更有效的特征映射。此外,我们还对按钮的数量进行了分析,并对不同步骤的网络和视频特征进行了消融研究。因此,我们在LOVEU竞赛轨道3中获得了第二名,特别是在四个评估指标中的两个中获得了第一名。我们的代码可在https://github.com/jaykim9870/ CVPR-22_LOVEU_unipyler上获得。
2022-06-29 cs.AI cs.CV
Technical Report for Soccernet 2023 -- Dense Video Captioning
OPPO Research Institute(OPPO研究院);Tongji University(同济大学)
本研究针对Soccernet数据集的密集视频字幕任务,采用Blip框架生成足球动作字幕,结合多尺寸滑动窗口、时序候选生成与分类实现时间戳定位,完成动作字幕与时间定位的双重任务。
2024-10-31 cs.CV
Exploring Simple Siamese Network for High-Resolution Video Quality Assessment
Samsung Electronics(三星电子)
针对高分辨率视频质量评估中技术分支语义感知不足的问题,提出共享权重的孪生网络SiamVQA,通过双重交叉注意力融合特征,在高分辨率基准上达到SOTA。
2025-03-04 cs.CV
Team PKU-WICT-MIPL PIC Makeup Temporal Video Grounding Challenge 2022 Technical Report
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
在这份技术报告中,我们简要介绍了我们的团队“PKU-WICT-MIPL”为ACM-MM 2022的PIC化妆临时视频接地(MTVG)挑战赛提供的解决方案。给定未修剪的化妆视频和步骤查询,MTVG旨在定位视频中的目标化妆步骤的时间时刻。为了解决这个问题,我们提出了一个短语关系挖掘框架,利用时间定位关系的细粒度短语和整个句子。此外,我们还提出了一种动态规划算法来约束不同步骤语句查询的定位结果不相互重叠。实验结果证明了该方法的有效性。我们最终提交的作品在排行榜上排名第二,与第一名的差距仅为0.55%。
2022-07-06 cs.CV
Team RUC_AIM3 Technical Report at Activitynet 2020 Task 2: Exploring Sequential Events Detection for Dense Video Captioning
Renmin University of China(中国人民大学)
在未修剪的视频中检测有意义的事件对于密集的视频描述是必不可少的。在这项工作中,我们提出了一种新的和简单的事件序列生成模型,并探讨视频中的事件序列的时间关系。该模型省略了效率低下的两阶段的建议生成,并直接生成事件边界的双向时间依赖性在一个通行证。实验结果表明,该事件序列生成模型能够在少量的提议下生成更准确、更多样的事件。对于事件字幕,我们遵循我们以前的工作,采用事件内字幕模型到我们的管道系统。整个系统在视频任务中的密集字幕事件上实现了最先进的性能,在挑战测试集上的METEOR得分为9.894。
2020-06-14 cs.CV
MARS: Technical Report for the CASTLE Challenge at EgoVis 2026
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Pengcheng Laboratory(鹏城实验室);Shandong Jianzhu University(山东建筑大学)
本文提出MARS系统,用于EgoVis 2026的CASTLE挑战,通过多模态代理推理解决需要多源信息的复杂问题,核心方法是多模态证据选择,主要贡献是实现了在多源数据上的有效推理。
2026-05-18 cs.AI cs.CV
Understanding Policy and Technical Aspects of AI-Enabled Smart Video Surveillance to Address Public Safety
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
人工智能(AI)的最新进展已经在许多实际应用中看到了智能视频监控(SVS)的出现,特别是在我们的城市环境中建立更安全,更安全的社区。认知任务,如识别对象,识别动作和检测异常行为,可以通过统计和分析工具产生能够为社区提供有价值见解的数据。然而,人工智能监控系统的设计需要特别考虑伦理挑战和问题。个人身份信息(PII)的使用和存储通常会增加个人隐私的风险。为了解决这些问题,本文确定了在设计支持AI的智能视频监控时需要解决的隐私问题和要求。此外,我们提出了第一个端到端的AI支持的隐私保护智能视频监控系统,该系统全面结合了计算机视觉分析,统计数据分析,云原生服务和最终用户应用程序。最后,我们提出了定量和定性的指标来评估智能视频监控系统。该系统在极端视频场景中显示了17.8帧每秒(FPS)处理。然而,在设计这样的系统时考虑隐私导致基于姿势的算法优于基于像素的算法。这种选择导致了动作和异常检测任务的准确性下降。异常检测的结果从97.48下降到73.72,动作检测任务的结果从96下降到83.07。端到端系统的平均延迟为36.1秒。
2023-02-08 cs.AI cs.CV cs.CY
Pegasus-v1 Technical Report
Twelve Labs(十二实验室)
本文介绍了专门用于视频内容理解与自然语言交互的多模态语言模型 Pegasus-1,概述了其架构、训练策略及在多项视频基准测试上的性能,并探讨了其能力与局限性。
2024-04-23 cs.AI cs.CL cs.CV
EPIC-KITCHENS-100 Unsupervised Domain Adaptation Challenge for Action Recognition 2022: Team HNU-FPV Technical Report
Hunan University(湖南大学)
在这份报告中,我们介绍了我们提交给2022年EPIC-Kitchener无监督领域自适应(UDA)挑战赛的技术细节。现有的UDA方法将从整个视频片段中提取的全局特征跨源域和目标域对齐,但在视频识别中遭受特征匹配的空间冗余。出于观察,在大多数情况下,在每个视频帧中的一个小的图像区域可以提供足够的信息的动作识别任务,我们建议利用信息图像区域进行有效的域对齐。具体来说,我们首先使用轻量级CNN来提取输入双流视频帧的全局信息,并通过基于可微插值的选择策略来选择信息丰富的图像块。然后通过现有的视频自适应方法处理来自视频帧的全局信息和来自图像块的局部信息,即,TA 3 N,以便执行源域和目标域的特征对齐。我们的方法(没有模型集成)在EPIC-KITCHENS-100的测试集上在今年的团队中排名第四。
2022-07-07 cs.CV
HiLight: Technical Report on the Motern AI Video Language Model
Shenzhen Motern Technology Co., Ltd.(深圳魔门科技有限公司)
本报告提出具备双视觉塔的HiLight视频对话框架及先进视频编码器,实现视频-文本模态对齐与高效用户交互,用于解决台球场景的视频理解任务,并阐述相关概念与最终方案。
2024-07-11 cs.CL cs.CV cs.MM
EventNet Version 1.1 Technical Report
Columbia University(哥伦比亚大学)
EventNet是一个大规模的视频语料库和事件本体,由500个与特定事件概念相关的事件组成。为了提高目前EventNet的质量,我们执行以下步骤并引入EventNet 1.1版本:(1)手动验证所有视频的事件标签的正确性;(2)通过限制来自同一YouTube用户的每个事件的最大视频数量为3,消除YouTube用户偏见;(3)删除当前无法在线访问的视频;(4)移除属于多个事件类别的视频。经过上述过程后,有些事件可能只包含少量视频,因此我们为这些事件抓取更多视频,以确保每个事件包含超过50个视频。最后,EventNet 1.1版包含67,641个视频,500个事件和5,028个事件特定概念。此外,我们通过使用EventNet 1.1版微调AlexNet来训练卷积神经网络(CNN)模型进行事件分类。然后,我们使用训练好的CNN模型来提取FC 7层特征,并使用线性SVM为每个事件特定的概念训练二进制分类器。我们相信这个新版本的EventNet将大大促进计算机视觉和多媒体的研究,并将在未来将其放在网上供公众下载。
2016-09-11 cs.CV
Exploring Video Quality Assessment on User Generated Contents from Aesthetic and Technical Perspectives
Nanyang Technological University(南洋理工大学);Sensetime Research(商汤科技研究院);Tetras AI(Tetras人工智能公司)
用户生成内容(UGC)视频的快速增长要求开发有效的视频质量评估(VQA)算法。然而,UGC-VQA问题的目标仍然是模糊的,可以从两个角度来看:技术的角度来看,测量失真的感知;和美学的角度来看,这涉及到对内容的偏好和推荐。为了了解这两个角度如何影响UGC-VQA中的整体主观意见,我们进行了一项大规模的主观研究,以收集人类对视频整体质量的意见,以及从美学和技术角度的看法。收集的视频质量数据库(DIVIDE-3 k)证实,人们对UGC视频的质量意见普遍且不可避免地受到美学和技术角度的影响。有鉴于此,我们提出了解纠缠客观视频质量评估器(DOVER)学习的UGC视频质量的基础上的两个角度。DOVER在UGC-VQA中以非常高的效率证明了最先进的性能。在DIVIDE-3 k中,我们进一步提出了DOVER++,这是第一种从单一美学或技术角度提供可靠清晰的质量评估的方法。代码请访问https://github.com/VQAssessment/DOVER。
2023-03-07 cs.CV cs.LG cs.MM
DIVE: Deep-search Iterative Video Exploration A Technical Report for the CVRR Challenge at CVPR 2025
Panasonic Connect Co., Ltd.(松下电器公司)
本文提出DIVE方法,通过语义分解、逐步推理和渐进推断的迭代推理框架,在CVRR-ES基准上以81.44%准确率荣获CVPR 2025挑战赛第一名,实现了鲁棒的视频问答。
2025-06-27 cs.CV
MASSeg : 2nd Technical Report for 4th PVUW MOSE Track
Key Laboratory of Intelligent Perception and Image Understanding(智能感知与图像理解重点实验室)
针对复杂视频目标分割的小目标识别等挑战,提出改进模型MASSeg并构建增强数据集MOSE+,结合帧间数据增强与掩码缩放策略,在CVPR 2025 PVUW挑战赛MOSE赛道获第二名,测试集J&F分数达0.8628。
2025-04-14 cs.AI cs.CV
Competitive Memory Readout for Robust Video Object Segmentation: 2nd Place Technical Report for the MOSEv2 Track of the 8th LSVOS Challenge
School of Computer Science, University of Sheffield(谢菲尔德大学计算机学院);Department of Automation, Tsinghua University(清华大学自动化系)
本研究针对第8届LSVOS挑战赛MOSEv2赛道提出基于SAM~3的改进方法,通过竞争性记忆读出机制提升鲁棒视频目标分割性能,获该赛道第2名。
2026-08-25 cs.CV
SAM2 for Image and Video Segmentation: A Comprehensive Survey
School of Software engineering, Sichuan University(四川大学软件学院);School of Computer Science, Peking University(北京大学计算机学院)
该综述基于200多篇论文系统梳理SAM2在图像与视频分割中的技术特征、领域应用、跨域挑战及未来方向。
2025-03-17 cs.AI cs.CV
Technical Report for SoccerNet Challenge 2022 -- Replay Grounding Task
OPPO Research Institute(OPPO研究院);Beijing University of Posts and Telecommunications(北京邮电大学)
本研究针对SoccerNet 2022挑战赛回放定位任务,将该问题转化为视频动作定位问题,采用自研的Faster-TAD统一网络处理,并结合训练数据分布优化模型输出,得到最终提交结果。
2024-10-31 cs.CV
Exploiting Feature Diversity for Make-up Temporal Video Grounding
Tencent Youtu Lab(腾讯优图实验室)
本技术报告介绍了MTVG的第三个获奖解决方案,这是在ACM MM 2022的第四届情景中人(PIC)挑战赛中引入的一项新任务。MTVG的目的是在一个未修剪的视频的基础上的文本描述的时间边界的步骤。这项任务的最大挑战是化妆步骤的细粒度视频-文本语义。然而,目前的方法主要是使用基于动作的预训练模型提取视频特征。由于动作比化妆步骤更粗粒度,因此基于动作的特征不足以提供细粒度的线索。为了解决这个问题,我们建议通过利用功能diffusion实现细粒度表示。具体来说,我们提出了一系列的方法,从特征提取,网络优化,模型集成。因此,我们在MTVG比赛中获得了第三名。
2022-08-12 cs.AI cs.CV
Qwen3-VL Technical Report
Qwen3-VL 是一款强大的多模态模型,具备强大的纯文本理解、长上下文处理和多模态推理能力,适用于图像推理、代理决策和多模态代码智能。
2025-11-27 cs.AI cs.CV
Pre-training for Video Captioning Challenge 2020 Summary
JD AI Research(京东人工智能研究院);Tsinghua University(清华大学);Beijing University of Posts and Telecommunications(北京邮电大学);Shanghai Ocean University(上海海洋大学);Sun Yat-sen University(中山大学);University of Electronic Science and Technology of China(电子科技大学)
2020年视频描述挑战赛预培训总结:结果和挑战赛参与者的技术报告。
2020-07-27 cs.CV
Video-based Surgical Skills Assessment using Long term Tool Tracking
Johnson & Johnson(强生公司);Johnson & Johnson Medical GmbH(强生医疗有限公司)
掌握手术所需的技术技能是一项极具挑战性的任务。基于视频的评估允许外科医生接收关于其技术技能的反馈,以促进学习和发展。目前,这种反馈主要来自手动视频审查,这是时间密集型的,并限制了跟踪外科医生在许多情况下的进展的可行性。在这项工作中,我们介绍了一种基于运动的方法来自动评估手术技能的手术案例视频饲料。所提出的流水线首先可靠地跟踪手术工具以创建运动轨迹,然后使用这些轨迹来预测外科医生的技术技能水平。跟踪算法采用了一个简单而有效的重新识别模块,与其他最先进的方法相比,改进了ID切换。当仪器定期在屏幕上和屏幕外移动或定期被遮挡时,这对于创建可靠的工具轨迹至关重要。基于运动的分类模型采用了最先进的自我注意力Transformer网络来捕获技能评估所必需的短期和长期运动模式。在体内(Cholec80)数据集上评估所提出的方法,其中使用Calot三角解剖的专家级GOALS技能评估作为定量技能测量。我们比较基于变压器的技能评估与传统的机器学习方法,使用建议和国家的最先进的跟踪。我们的研究结果表明,使用可靠的跟踪方法的运动轨迹是有益的评估外科医生的技能,仅基于视频流。
2022-07-05 cs.CV
Dress&Dance: Dress up and Dance as You Like It - Technical Preview
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);SpreeAI
Dress&Dance是一个基于视频扩散和CondNet多模态条件网络的虚拟试穿框架,仅需单张用户图像即可生成高分辨率试穿视频,支持多种服装并优于现有方案。
2025-08-28 cs.CV cs.LG
VOCALExplore: Pay-as-You-Go Video Data Exploration and Model Building [Technical Report]
University of Washington(华盛顿大学);Microsoft Gray Systems Lab(微软格雷系统实验室)
提出 VOCALExplore 系统,通过基于标签偏斜的自动样本选择、上升赌博机特征选择及低延迟优化,支持视频数据的交互式标注与领域模型构建。
2023-09-29 cs.CV cs.DB cs.SD
Technical Report: Disentangled Action Parsing Networks for Accurate Part-level Action Parsing
University of Electronic Science and Technology of China(电子科技大学);Zhejiang Lab(之江实验室)
部分级动作解析旨在部分状态解析,以提高视频中的动作识别。尽管在视频分类研究领域取得了巨大的进展,但社区面临的一个严重问题是忽视了对人类行为的详细理解。我们的动机是,解析人类行为需要构建专注于特定问题的模型。我们提出了一个简单而有效的方法,命名为解开动作解析(DAP)。具体来说,我们将部件级动作解析分为三个阶段:1)人物检测,采用人物检测器从视频中检测出所有人物并进行实例级动作识别; 2)部件解析,提出一个部件解析模型,从检测出的人物图像中识别出人体部件;以及3)动作解析,其中,多模态动作解析网络被用于以从先前阶段获得的所有检测结果为条件来解析动作类别。应用这三个主要模型后,我们的DAP方法在2021年动力学-TPS挑战赛中记录了全球平均$0.605$分数。
2021-11-05 cs.CV
Technical Report for ActivityNet Challenge 2022 -- Temporal Action Localization
OPPO Research Institute(OPPO研究院);Zhejiang University(浙江大学)
本研究针对ActivityNet-1.3数据集的时序动作定位任务,采用VideoSwinTransformer提特征、Faster-TAD统一网络检测并集成多互补模型,简化流程的同时取得了媲美多步方法的性能。
2024-10-31 cs.CV
CASTLE2026 Team WDL Technical Report
Key Laboratory of Intelligent Perception and Image Understanding(智能感知与图像理解重点实验室)
提出基于 Qwen 的证据感知多模态推理流程,通过提示路由和置信度加权投票解决长视频问答,在 CASTLE 挑战赛中排名第一。
2026-05-30 cs.CV
Technical Report of the Video Event Reconstruction and Analysis (VERA) System -- Shooter Localization, Models, Interface, and Beyond
Carnegie Mellon University(卡内基梅隆大学)
每分钟都有数百小时的视频从世界各地上传到社交媒体网站和互联网。这种材料创造了一个视觉记录的经验,一个显着的百分比的人类,可以帮助照亮我们如何生活在目前的时刻。经过适当的分析,这段视频还可以帮助分析人员重建感兴趣的事件,包括战争罪,侵犯人权和恐怖主义行为。机器学习和计算机视觉可以在这个过程中发挥至关重要的作用。在本技术报告中,我们描述了视频事件重建和分析(VERA)系统。这个新工具汇集了我们在过去几年中开发的各种功能(包括视频同步和地理定位,以便在时间和空间上对缺乏元数据的非结构化视频进行排序,以及声音识别算法),以便能够重建和分析视频上捕获的事件。在其他用途中,VERA可以从几个包含枪声的视频中定位射击者。为了证明这套工具的有效性,我们提出了估计2017年拉斯维加斯枪击案枪手位置的结果,并表明VERA仅使用前几声枪响就能准确预测枪手的位置。然后,我们指出了未来的方向,可以帮助改善系统,并进一步减少不必要的人力在这个过程中。VERA的所有组件都通过一个Web界面运行,该界面支持人在回路验证,以确保准确的估计。所有相关的源代码,包括Web界面和机器学习模型,都可以在Github上免费获得。我们希望研究人员和软件开发人员能够受到启发,改进和扩展这一系统,以更好地满足人权和公共安全的需求。
2019-07-05 cs.CV cs.HC cs.LG
The GEST-Engine: From Event Graphs to Synthetic Video. A Full Technical Report
Institute of Mathematics of the Romanian Academy(罗马尼亚科学院数学研究所);National University of Science and Technology Politehnica Bucharest(布加勒斯特理工大学);Büchi Labortechnik AG(布赫实验室技术公司)
GEST引擎从自然语言文本生成多角色视频,核心是明确的世界模型,以GEST表示世界状态。通过程序或智能系统生成GEST,经四阶段管道执行,能输出多种视频相关数据,且保证相关特性,其输出可作视频理解多方面工具。
2026-07-15 cs.CV
Technical Report for Ego4D Long Term Action Anticipation Challenge 2023
Panasonic Connect Co., Ltd.(松下连接公司)
本文针对 Ego4D 长期动作预测挑战赛 2023,提出融合 SlowFast 与 SlowFast-CLIP 集成、标签平滑及词语共现约束三类改进,最终在公开排行榜上获得第二名。
2023-07-04 cs.CV