Video Consistency Distance: Enhancing Temporal Consistency for Image-to-Video Generation via Reward-Based Fine-Tuning
LY Corporation（LY公司）
本文提出视频一致性距离（VCD）度量，通过基于奖励的微调增强图像到视频生成的时间一致性，实验证明该方法在多个数据集上显著提升一致性且不损害其他性能。
2025-10-23 cs.CV
CoAgent: Collaborative Planning and Consistency Agent for Coherent Video Generation
Sun Yat-sen University（中山大学）
CoAgent通过协作框架提升视频生成的连贯性与一致性，采用计划-合成-验证流程优化长视频的叙事质量与视觉一致性。
2025-12-27 cs.AI cs.CV
SmoothVideo: Smooth Video Synthesis with Noise Constraints on Diffusion Models for One-shot Video Tuning
Zhejiang University（浙江大学）；FABU Inc.（FABU公司）；Tencent（腾讯）
针对一次性视频调优中视频不连贯问题，提出跨帧噪声约束损失以平滑潜在表示，并引入新评估指标，显著提升生成视频的一致性和平滑度。
2024-02-06 cs.CV
Tune-A-Video: One-Shot Tuning of Image Diffusion Models for Text-to-Video Generation
National University of Singapore（新加坡国立大学）；Tencent PCG（腾讯平台与内容事业群）
为了复制文本到图像（T2 I）生成的成功，最近的工作采用大规模视频数据集来训练文本到视频（T2 V）生成器。尽管他们有希望的结果，这样的范例是计算昂贵的。在这项工作中，我们提出了一个新的T2 V生成设置$\unicode{x2014}$单次视频调谐，其中只有一个文本视频对。我们的模型是建立在最先进的T2 I扩散模型上的，这些模型是在大量图像数据上预先训练的。我们提出两个关键意见：1）T2 I模型可以生成表示动词术语的静态图像; 2）扩展T2 I模型以同时生成多个图像，表现出令人惊讶的良好内容一致性。为了进一步学习连续运动，我们引入了Tune-A-Video，它涉及一个定制的时空注意力机制和一个有效的一次性调谐策略。在推理方面，我们采用DDIM反演为采样提供结构指导。大量的定性和数值实验表明，我们的方法在各种应用程序的显着能力。
2023-03-17 cs.CV
SHIFT: Motion Alignment in Video Diffusion Models with Adversarial Hybrid Fine-Tuning
Tsinghua University（清华大学）；Ant Group（蚂蚁集团）；University of Chinese Academy of Science（中国科学院大学）
针对视频扩散模型微调后运动保真度下降的问题，提出基于像素通量动力学的像素运动奖励和SHIFT框架（平滑混合微调），通过对抗优势改进收敛并缓解奖励黑客，有效解决动态度坍塌。
2026-06-29 cs.CV
CineScale: Tuning-Free High-Resolution Video Generation
Nanyang Technological University（南洋理工大学）；Netflix Eyeline Studios
CineScale提出免调优推理范式，解决高分辨率视频生成中的重复模式问题，支持8k图像和4k视频生成，无需或仅需极少微调。
2026-09-17 cs.CV
MovieCharacter: A Tuning-Free Framework for Controllable Character Video Synthesis
Cranberry-Lemon University（蔓越莓柠檬大学）
针对现有角色视频合成依赖大量微调或复杂3D建模、可及性与实时性不足的问题，提出无需调优的模块化框架MovieCharacter，整合开源模型与成熟技术，提升了合成的效率、可及性与适配性。
2025-01-13 cs.CV
ExVideo: Extending Video Diffusion Models via Parameter-Efficient Post-Tuning
East China Normal University（华东师范大学）；Alibaba Group（阿里巴巴集团）
针对现有视频扩散模型受算力限制仅能生成短视频的问题，提出参数高效后调优方法ExVideo，通过对3D卷积、时序注意力等架构设计扩展策略，在低训练成本下将Stable Video Diffusion的生成帧数提升至5倍且不损失泛化性。
2024-06-20 cs.CV
SOYO: A Tuning-Free Approach for Video Style Morphing via Style-Adaptive Interpolation in Diffusion Models
Zhejiang University（浙江大学）；University of Electronic Science and Technology of China（电子科技大学）
SOYO提出一种免调优的扩散模型视频风格渐变框架，通过注意力注入、AdaIN及自适应采样调度器解决多风格过渡中的结构不连续与风格突变问题，实现平滑稳定的视频风格渐变。
2025-03-10 cs.CV
DAPE: Dual-Stage Parameter-Efficient Fine-Tuning for Consistent Video Editing with Diffusion Models
Tsinghua University（清华大学）；Duke University（杜克大学）；Peking University（北京大学）
本文提出两阶段参数高效微调框架DAPE，通过归一化微调与视觉友好适配器提升视频编辑的时间一致性和视觉质量，并构建含232个视频的新基准，实验显示其优于现有方法。
2025-05-11 cs.CV
MAKIMA: Tuning-free Multi-Attribute Open-domain Video Editing via Mask-Guided Attention Modulation
本文提出免调优多属性视频编辑框架MAKIMA，通过掩码引导注意力调制和一致特征传播，在保持视频结构与时间一致性的同时实现精确的多属性开放域编辑。
2024-12-28 cs.CV
Temporal In-Context Fine-Tuning with Temporal Reasoning for Versatile Control of Video Diffusion Models
KAIST AI（韩国科学技术院人工智能研究中心）
TIC-FT通过时间推理实现视频扩散模型的多功能控制，无需架构修改，仅需少量样本即可实现高质量视频生成。
2025-12-12 cs.CV
LoRA-Edit: Controllable First-Frame-Guided Video Editing via Mask-Aware LoRA Fine-Tuning
Multimedia Laboratory, The Chinese University of Hong Kong（香港中文大学多媒体实验室）；SenseTime Research（商汤科技研究院）
LoRA-Edit通过时空掩码引导LoRA微调，实现对视频编辑全过程的可控编辑，支持生成动态变化的视频内容。
2026-02-25 cs.CV
Collaborative Learning to Generate Audio-Video Jointly
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；University of Bath（巴斯大学）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
已经有许多技术证明了使用GANs一次为一种模态生成多媒体数据，例如生成图像、视频和音频的能力。然而，到目前为止，多模态数据生成的任务，特别是音频和视频，还没有得到充分的探索。为此，我们提出了一种方法，表明我们能够生成自然的视频和音频数据的样本的联合相关的生成的音频和视频模态。所提出的方法使用多个鉴别器来确保音频、视频和联合输出也与真实世界的样本无法区分。我们提出了一个数据集，这项任务，并表明我们能够生成现实的样本。该方法使用各种标准指标进行验证，例如Inception Score，Frechet Inception Distance（FID）和人工评估。
2021-04-01 cs.AI cs.CV cs.GR
HuMo: Human-Centric Video Generation via Collaborative Multi-Modal Conditioning
Tsinghua University（清华大学）；Intelligent Creation Lab, ByteDance（字节跳动智能创作实验室）
HuMo提出统一框架，通过两阶段训练和最小侵入图像注入及预测聚焦策略，解决多模态条件协同难题，在子任务上超越专门方法。
2025-09-10 cs.CV cs.MM
UniEdit: A Unified Tuning-Free Framework for Video Motion and Appearance Editing
Zhejiang University（浙江大学）；Microsoft Research Asia（微软亚洲研究院）；Peking University（北京大学）
本文提出免调优框架 UniEdit，利用预训练文本到视频生成器及运动参考、重建分支与时空注意力注入，统一支持视频运动和外观编辑，并在实验中超过现有方法。
2024-04-07 cs.CV
MagicPrompt: Ultra-Lightweight Prompt Tuning for Video Generation
HKUST（香港科技大学）；HKUST(GZ)（香港科技大学（广州））；Tencent（腾讯）
研究针对大规模视频扩散模型下游任务微调计算成本高的问题，提出MagicPrompt轻量级框架。采用注意力嵌入提示调整和双空间奖励反馈优化，在可训练参数不到1%时达竞争性能，显著降低训练成本。
2026-07-23 cs.CV
CoNo: Consistency Noise Injection for Tuning-free Long Video Diffusion
University of Science and Technology of China（中国科学技术大学）
针对免调优长视频扩散中的场景一致性问题，本文提出 CoNo，通过“回看”机制和长时一致性正则化增强视频片段间细粒度过渡并抑制内容偏移，在单文本和多文本条件下均验证了有效性。
2024-06-07 cs.CV
Collaborative Few-Step Distillation and Low-Bit Quantization for Wan2.2 Dual-Expert Video Diffusion Models
IEEE ICME 2026；GCC Low-Bit-width Large Model Quantization Challenge（GCC 低精度大模型量化挑战）
针对Wan2.2-T2V-A14B视频扩散模型，提出结合少步分布匹配蒸馏与低位量化的部署压缩流程，通过双专家去噪分支校准、敏感层保护及HiF4低位表示，在保持质量的同时降低计算开销。
2026-05-30 cs.AI cs.CV
Video Generation with Consistency Tuning
Chinese Academy of Sciences（中国科学院）
针对长视频生成中帧存在抖动、噪声的问题，提出含四个模块的一致性调优视频生成框架，优化前后景一致性，实验证明生成质量优于现有最优方法。
2024-03-11 cs.AI cs.CV
LightMotion: A Light and Tuning-free Method for Simulating Camera Motion in Video Generation
Xiamen University（厦门大学）
本文提出LightMotion，一种在潜空间中通过置换、重采样和SNR偏移校正实现相机运动模拟的轻量级免调优视频生成方法，在定量和定性上均优于现有方法。
2025-03-11 cs.AI cs.CV
Delving into the Temporal Challenges of Unified Video Protection Against Image-to-Video and Fine-Tuning-based Customization
The University of Sydney（悉尼大学）；University of Melbourne（墨尔本大学）；City University of Hong Kong（香港城市大学）；Wuhan University（武汉大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
研究针对基于扩散模型的视频定制引发的隐私等保护问题，提出TC-UAP方法，通过优化身份级多帧UAP并引入相关时间建模和损失，使其在时间上一致且鲁棒，在多种视频定制及攻击下实现强身份保护。
2026-07-16 cs.CR cs.CV cs.LG
Tuning-free Instruction-based Video Editing Via Structural Noise Initialization and Guidance
JIUTIAN Research, China Mobile（中国移动极天研究院）；School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院）；State Key Laboratory of Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）
本文提出无需调优的指令式视频编辑框架，通过结构噪声初始化策略和噪声引导机制，提升视频编辑的视觉质量和性能。
2026-05-15 cs.AI cs.CV
From Preferences to Prejudice: The Role of Alignment Tuning in Shaping Social Bias in Video Diffusion Models
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；University of California, Los Angeles（加州大学洛杉矶分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, San Diego（加州大学圣地亚哥分校）；University of California, Santa Barbara（加州大学圣巴巴拉分校）；Microsoft（微软公司）
本文研究了对齐调谐在视频扩散模型中如何塑造社会偏见，提出VideoBiasEval框架以评估和缓解偏见，揭示了对齐调谐使偏见更稳定且刻板化的现象。
2026-02-11 cs.CL cs.CV
AnyV2V: A Tuning-Free Framework For Any Video-to-Video Editing Tasks
University of Waterloo（滑铁卢大学）；Vector Institute（矢量研究所）
针对现有视频编辑模型质量不足、控制受限、依赖文本引导且需微调的问题，提出免调优框架AnyV2V，通过首帧编辑加时序特征注入的图像到视频生成实现多类编辑任务，在人工评估中视觉一致性表现更优。
2024-11-03 cs.AI cs.CV cs.MM
Sound Sparks Motion: Audio and Text Tuning for Video Editing
University of Cyprus（塞浦路斯大学）；Simon Fraser University（西蒙弗雷泽大学）；Tel Aviv University（特拉维夫大学）；CYENS Center Of Excellence（CYENS卓越中心）
本文提出Sound Sparks Motion框架，通过测试时调整音频视觉生成模型的多模态条件信号，实现视频动作编辑，无需训练，通过音频潜在和文本条件残差扰动促进动作修改，同时利用视觉语言模型反馈提升编辑效果。
2026-05-14 cs.CV cs.GR cs.MM
Facial Recognition in Collaborative Learning Videos
University of New Mexico（新墨西哥大学）
协作学习视频中的人脸识别提出了许多挑战。在协作学习视频中，学生们围坐在一张典型的桌子周围，在录制摄像机的不同位置，来来去去，四处走动，部分或完全被遮挡。此外，视频往往很长，需要开发快速准确的方法。我们开发了一个动态的系统，识别参与者在协作学习系统。我们解决遮挡和识别失败，通过使用过去的信息，人脸检测的历史。我们解决了需要从不同的姿势和速度的需要，通过将每个参与者与通过采样或K-均值聚类计算的原型脸的集合相关联。我们的研究结果表明，该系统被证明是非常快速和准确的。我们还将我们的系统与使用InsightFace [2]和原始训练视频片段的基线系统进行了比较。与基线系统的70.8%相比，我们实现了86.2%的平均准确度。平均而言，我们的识别率比基线系统快28.1倍。
2021-10-25 cs.CV
Collaborative Summarization of Topic-Related Videos
UC Riverside（加州大学河滨分校）
大量的视频集合按主题关键字（如埃菲尔铁塔或冲浪）分组为集群，其中许多重要的视觉概念在其中重复。这样一个主题紧密的视频集合彼此之间具有相互影响，可以通过利用集合中其他视频的信息来总结其中一个视频。基于这种直觉，我们开发了一种新的方法来提取摘要，该摘要同时捕获给定视频中出现的重要特殊性以及从视频集合中识别的一般性。与主题相关的视频提供视觉上下文，以识别正在总结的视频的重要部分。我们通过开发一种协作稀疏优化方法来实现这一目标，该方法可以通过半二次最小化算法有效地解决。我们的工作建立在信息检索和自然语言处理的协作技术的思想之上，这些技术通常使用其他类似对象的属性来预测给定对象的属性。在两个具有挑战性和多样性的数据集上的实验很好地证明了我们的方法在最先进的方法上的有效性。
2017-06-09 cs.CV
MOSaiC: a Web-based Platform for Collaborative Medical Video Assessment and Annotation
IHU Strasbourg（斯特拉斯堡大学医院研究所）；ICube, University of Strasbourg, CNRS（斯特拉斯堡大学ICube实验室，法国国家科学研究中心）；Fondazione Policlinico Universitario Agostino Gemelli IRCCS（阿戈斯蒂诺·杰梅利大学综合医院IRCCS基金会）
本研究推出Web端协作平台MOSaiC 3.6.2，具备标注、评估等多类核心功能，可支撑医学视频相关工作，已助力多项医学数据科学研究的数据集开发。
2023-12-14 cs.CV
Beyond Short Clips: End-to-End Video-Level Learning with Collaborative Memories
University of Maryland College Park（马里兰大学学院公园分校）；Facebook AI（脸书人工智能研究院）；Dartmouth（达特茅斯学院）
训练视频模型的标准方式需要在每次迭代时从视频中采样单个剪辑，并相对于视频级标签优化剪辑预测。我们认为，一个单一的剪辑可能没有足够的时间覆盖来展示标签识别，因为视频数据集往往是弱标记的分类信息，但没有密集的时间注释。此外，在简短剪辑上优化模型会阻碍其学习长期时间依赖性的能力。为了克服这些限制，我们引入了一种协作记忆机制，该机制在每次训练迭代时对视频的多个采样片段的信息进行编码。这使得能够学习超出单个剪辑的远程依赖性。我们探索不同的设计选择的协作内存，以减轻优化的困难。我们提出的框架是端到端可训练的，并以可忽略的计算开销显着提高了视频分类的准确性。通过大量的实验，我们证明了我们的框架可以推广到不同的视频架构和任务，在动作识别（例如，Kinetics-400 & 700，Charades，Something-Something-V1）和动作检测（例如，AVA v2.1和v2.2）。
2021-04-02 cs.CV
INDEXITY: a web-based collaborative tool for medical video annotation
IHU Strasbourg（斯特拉斯堡大学医院中心）；ICube, University of Strasbourg, CNRS（斯特拉斯堡大学ICube实验室、法国国家科学研究中心）；IRCAD France（法国IRCAD研究院）；IRCAD Africa（非洲IRCAD研究院）
本文介绍了基于Web的医学视频标注协作工具Indexity 1.4.0，详述了其在视频、标注、本体与用户管理方面的核心功能及整体软件架构。
2023-06-26 cs.CV
Enhancing Video Large Language Models with Structured Multi-Video Collaborative Reasoning
Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institute（上海创新研究院）；Fudan University（复旦大学）
本文提出一种多视频协作框架，通过结构化视频表示和图融合模块提升视频大语言模型的推理能力。
2025-11-20 cs.CV
Two-stream Collaborative Learning with Spatial-Temporal Attention for Video Classification
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）
视频分类在视频搜索、智能监控等领域有着广泛的应用。视频自然由静态和运动信息组成，可以用帧和光流来表示。目前，研究者普遍采用深度网络来捕获静态和运动信息\textbf{\emph{separately}}，主要存在两个局限性：（1）忽略了时空注意力的共存关系，需要将它们联合建模为视频的时空演化，从而提取出有区别的视频特征。(2)忽略了视频中静态和运动信息共存的强互补性，而它们应该协同学习以相互促进。针对这两个问题，本文提出了基于时空注意的双流协作学习方法（TCLSTA），该方法由两个模型组成：（1）时空注意模型：空间级注意关注视频中的显著区域，时间级注意关注视频中的区分帧。它们联合学习并相互促进，以学习有区别的静态和运动特征，以获得更好的分类性能。(2)静-动协同模型：不仅实现了静态和运动信息的相互指导，促进特征学习，而且自适应学习静态和运动流的融合权重，从而利用静态和运动信息之间的强互补性促进视频分类。在4个广泛使用的数据集上的实验表明，与10多种最先进的方法相比，我们的TCLSTA方法具有最好的性能。
2017-11-09 cs.CV
Use What You Have: Video Retrieval Using Representations From Collaborative Experts
University of Oxford（牛津大学）
互联网上视频的快速增长使得使用自然语言查询来搜索视频内容成为一个重大挑战。人工生成的视频数据集“在野外”的查询在具体程度上有很大差异，有些查询描述了特定的细节，如著名身份的名称，语音内容或屏幕上的文本。我们的目标是将视频中的多模态、极高维信息浓缩成一个单一的、紧凑的视频表示，用于使用自由形式文本查询的视频检索任务，其中的特异性程度是开放式的。为此，我们以预先训练的语义嵌入的形式利用现有的知识，其中包括“一般”特征，如视觉内容的运动，外观和场景特征。我们还探讨了使用更“具体”的线索，从ASR和OCR的间歇性可用于视频，并发现这些信号仍然具有挑战性，有效地用于检索。我们提出了一个协作专家模型，从这些不同的预先训练的专家汇总信息，并评估我们的方法经验上的五个检索基准：MSR-VTT，LSMDC，MSVD，DiDeMo和ActivityNet。代码和数据可以在www.robots.ox.ac.uk/~vgg/research/collaborative-experts/上找到。本文包含对上一版本中报告的结果的更正。
2020-02-14 cs.CV
Collaborative Spatio-temporal Feature Learning for Video Action Recognition
Hikvision Research Institute（海康威视研究院）
时空特征学习对于视频中的动作识别至关重要。现有的深度神经网络模型要么独立地学习空间和时间特征（C2D），要么与无约束参数联合学习（C3D）。在本文中，我们提出了一种新的神经操作，通过对可学习参数施加权重共享约束来协同编码时空特征。特别是，我们沿着体积视频数据的三个正交视图执行2D卷积，分别学习空间外观和时间运动线索。通过共享不同视图的卷积核，空间和时间特征可以协同学习，从而相互受益。随后通过加权求和来融合互补特征，加权求和的系数是端到端学习的。我们的方法在大规模基准测试中实现了最先进的性能，并在2018年的Moments in Time Challenge中获得了第一名。此外，基于不同视图的学习系数，我们能够量化空间和时间特征的贡献。这一分析揭示了模型的可解释性，也可能指导未来的视频识别算法的设计。
2019-03-04 cs.CV
SCAN: Self-and-Collaborative Attention Network for Video Person Re-identification
The Chinese University of Hong Kong（香港中文大学）；Sensetime Research（商汤科技研究院）；Sun Yat-sen University（中山大学）
视频人物再识别是近年来备受关注的问题。它的目的是匹配图像序列的行人从不同的相机视图。以前的方法通常从三个方面改进此任务，包括a）选择更具区分性的帧，b）生成更多信息的时间表示，以及c）开发更有效的距离度量。为了解决上述问题，我们提出了一种新颖实用的视频人物重新识别的深度架构，称为自我和协作注意力网络（SCAN）。它有几个吸引人的特性。首先，SCAN采用非参数注意力机制对视频的序列内和序列间特征表示进行细化，并为每个视频输出自协作特征表示，使探测序列和图库序列之间的区分帧对齐;其次，在现有模型的基础上，提出一种广义成对相似性度量来计算视频对的相似性特征表示，使得能够通过所述二元分类器计算所述匹配分数。第三，还引入了密集片段分割策略，以生成丰富的探针库对来优化模型。大量的实验证明了SCAN的有效性，其分别在iLIDS-VID，PRID 2011和MARS数据集上优于性能最好的基线。
2019-08-06 cs.CV
Collaborative Video Object Segmentation by Foreground-Background Integration
University of Technology Sydney（悉尼科技大学）；Baidu Research（百度研究院）
本文研究了嵌入学习的原理，以解决具有挑战性的半监督视频对象分割。与以往只使用前景对象的像素进行嵌入学习的做法不同，我们认为背景应该被平等对待，因此提出了基于前景-背景集成（CFBI）的协同视频对象分割方法。我们的CFBI隐式地将目标前景对象及其对应背景的特征嵌入进行对比，从而相应地提高分割结果。通过从前景和背景中嵌入特征，CFBI从像素和实例两个级别执行参考和预测序列之间的匹配过程，使得CFBI对各种对象尺度具有鲁棒性。我们对三个流行的基准进行了广泛的实验，即，DAVIS 2016、DAVIS 2017和YouTube-VOS。我们的CFBI实现的性能（J$F）分别为89.4%，81.9%和81.4%，优于所有其他国家的最先进的方法。代码：https://github.com/z-x-yang/CFBI.
2020-07-23 cs.CV
Semantics-Driven Cloud-Edge Collaborative Inference
University College London（伦敦大学学院）；Zhejiang Lab（之江实验室）
本文面向智慧城市视频分析，提出语义驱动的云边协同推理框架，通过分离视觉语义提取与识别并依据负载分配任务，显著提升速度与吞吐量并降低流量。
2023-09-27 cs.CV
Enabling Collaborative Video Sensing at the Edge through Convolutional Sharing
Singapore Management University（新加坡管理大学）
虽然深度神经网络（DNN）模型在机器视觉功能方面取得了显着进步，但其高计算复杂性和模型大小对基于AIoT的传感应用的部署构成了巨大的障碍。在本文中，我们提出了一种新的范例，通过该范例，网络中的对等节点可以进行协作，以提高其在人员检测（一个典型的机器视觉任务）上的准确性。所提出的方法不需要对DNN进行重新训练，并且在从协作者提取场景摘要并实时注入参考相机的DNN时，处理延迟最小。早期的结果显示，在基准数据集上，单个合作者的召回率提高了10%。
2020-12-03 cs.CV
Video Action Recognition Collaborative Learning with Dynamics via PSO-ConvNet Transformer
University of Coimbra（科英布拉大学）；CISUC（科英布拉大学信息与系统中心）
本文提出动态PSO-ConvNet模型，将粒子群优化与ConvNet、Transformer和循环神经网络结合，通过权重共享与协同学习提升视频动作识别准确率，在UCF-101等数据集上取得显著提升。
2023-09-21 cs.CV
Video Coding for Machines: A Paradigm of Collaborative Compression and Intelligent Analytics
Peking University（北京大学）
本文提出面向机器的视频编码（VCM）新范式，结合AI技术弥合机器视觉特征编码与人类视觉视频编码的鸿沟，梳理相关技术进展并提出解决方案，初步验证了性能与效率提升。
2020-01-13 cs.CV
Collaborative Video Object Segmentation by Multi-Scale Foreground-Background Integration
University of Technology Sydney（悉尼科技大学）
本文研究了嵌入学习的原理，以解决具有挑战性的半监督视频对象分割。与以前专注于探索前景对象的嵌入学习的实践不同，我们认为背景应该被平等对待。因此，我们提出了一个协同视频对象分割的前景-背景集成（CFBI）的方法。CFBI将特征嵌入分离到前景对象区域和其对应的背景区域中，隐式地促进它们的对比度，并相应地改善分割结果。此外，CFBI执行像素级的匹配过程和实例级的注意力机制之间的参考和预测序列，使CFBI强大的各种对象尺度。在CFBI的基础上，引入了多尺度匹配结构，提出了Atrous匹配策略，得到了一个更健壮、更高效的框架CFBI+。我们对两个流行的基准进行了广泛的实验，即，DAVIS和Youtube-VOS在没有应用任何模拟数据进行预训练的情况下，我们的CFBI+实现了82.9%和82.8%的性能（J&F），优于所有其他最先进的方法。代码：https://github.com/z-x-yang/CFBI.
2021-05-16 cs.CV
Collaborative Weakly Supervised Video Correlation Learning for Procedure-Aware Instructional Video Analysis
Shanghai Jiao Tong University（上海交通大学）；Lenovo Research（联想研究院）
针对教学视频相关性分析依赖昂贵步骤级标注的问题，提出含协同步骤挖掘与帧-步对齐模块的CPA弱监督框架，在序列验证等任务中验证了其准确可解释的分析效果。
2023-12-18 cs.AI cs.CV
Collaborative Multi-Agent Video Fast-Forwarding
本文针对多智能体视觉系统资源受限问题，提出分布式 DMVF 和集中式 MFFNet 两种协作视频快进框架，利用视角重叠与强化学习选择性处理视频帧，在 VideoWeb 和 CarlaSim 上实现了重要帧高覆盖与处理帧数显著降低。
2023-05-27 cs.CV
Human-in-the-loop Reasoning For Traffic Sign Detection: Collaborative Approach Yolo With Video-llava
Department of Computer Science Univ. of Applied Science Hamm-Lippstadt（计算机科学系应用科学大学哈姆-利普施塔特）；Carl von Ossietzky University of Oldenburg（卡尔·冯·奥西埃茨基旧恩堡大学）
针对YOLO在恶劣天气和视觉相似场景下检测限速标志易失败的问题，提出结合Video-LLaVA推理与人在回路提示的协作方法，在CARLA模拟数据上验证了准确性提升。
2025-03-05 cs.CV
Dual-path Collaborative Generation Network for Emotional Video Captioning
School of Information Science and Technology, USTC（中国科学技术大学信息科学技术学院）
针对情感视频描述中情感动态变化易被忽视及情感引导过强导致事实内容弱化的问题，提出双路径协同生成网络，通过动态情感演变模块和情感自适应解码器实现情感线索动态感知与事实-情感平衡生成，并在三个数据集上验证了有效性。
2024-08-06 cs.CV
Collaborative Attention Memory Network for Video Object Segmentation
Alibaba Group（阿里巴巴集团）
半监督视频对象分割是计算机视觉中的一项基础而又艰巨的任务。基于嵌入匹配的CFBI系列网络通过前景-背景融合方法取得了令人满意的结果。尽管这些算法性能优越，但也存在明显的缺陷，尤其是在第一帧中出现的实例很少，即使它们很容易被前一帧识别，也会导致错误的预测。此外，他们遭受的对象的遮挡和错误漂移。为了克服这些缺点，我们提出了一种增强分段头的协作注意记忆网络。我们引入了一个对象上下文计划，明确增强对象信息，其目的是只收集属于同一类别的像素作为其上下文的给定像素。此外，分割头与特征金字塔注意力（FPA）模块被用来执行空间金字塔的注意力结构的高层输出。此外，我们提出了一个集成网络，结合STM网络与所有这些新的改进CFBI网络。最后，我们在2021年Youtube-VOS挑战赛中评估了我们的方法，我们以83.5%的总得分获得第六名。
2022-05-23 cs.CV
Collaborative Three-Stream Transformers for Video Captioning
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of North Texas（北德克萨斯大学）
本文提出协同三流Transformer（COST）框架，分别建模主语、谓语和宾语，并通过跨粒度注意力对齐三个分支的视觉-语言交互，在三个视频字幕数据集上取得了优于现有方法的性能。
2023-09-18 cs.CV
VideoFusion: A Spatio-Temporal Collaborative Network for Multi-modal Video Fusion
School of Robotics, Wuhan University, Wuhan, China（机器人学院，武汉大学，武汉，中国）；Electronic Information School, Wuhan University, Wuhan, China（电子信息学院，武汉大学，武汉，中国）；Southeast University, Nanjing, China（东南大学，南京，中国）
VideoFusion通过时空协作网络实现多模态视频融合，利用跨模态互补性和时间动态性提升视频一致性。
2026-03-02 cs.CV
Images in Motion?: A First Look into Video Leakage in Collaborative Deep Learning
Department of Mathematics and Computer Science, Southern Arkansas University（数学与计算机科学系，南方亚拉巴马大学）
本文首次分析联邦学习中视频数据的梯度反演攻击泄漏问题，发现特征提取器虽能增强抵御能力，但在分类器复杂度不足时仍可被攻击，且图像超分辨率技术可进一步提升重构视频质量。
2025-09-11 cs.CV
Collaborative Distillation in the Parameter and Spectrum Domains for Video Action Recognition
SenseTime Group Limited（商汤科技集团有限公司）；Zhejiang University（浙江大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
近年来，深度网络的动作识别任务取得了重大进展。然而，目前的视频网络大多需要大量的内存和计算资源，这阻碍了它们在实际中的应用。现有的知识蒸馏方法局限于图像级的空间域，忽略了提供结构知识的时间和频率信息，这些信息对于视频分析非常重要。本文探讨了如何训练小而有效的网络进行动作识别。具体来说，我们提出了两种频域的提取策略，即特征谱和参数分布提取。我们的见解是，有吸引力的性能动作识别需要\textit{explicitly}建模的时间频谱的视频功能。因此，我们引入了一个频谱损失，迫使学生网络模仿教师网络的时间频谱，而不是像许多以前的作品一样，\textit{implicitly}提取特征。其次，进一步采用参数频率分布来引导学生网络向教师学习外观建模过程。此外，提出了一种协作学习策略，从概率的角度优化训练过程。在几个动作识别基准上进行了大量的实验，如Kinetics，Something-Something和Jester，这些基准始终验证了我们方法的有效性，并表明我们的方法可以实现比具有相同主干的最先进方法更高的性能。
2020-09-15 cs.CV
Co-STAR: Collaborative Curriculum Self-Training with Adaptive Regularization for Source-Free Video Domain Adaptation
University of Bristol, UK（布里斯托大学）
Co-STAR 通过课程学习与教师模型和 CLIP 的协作自训练，结合自适应课程正则化缓解噪声伪标签和过度自信问题，在多个视频域自适应基准上超越现有 SFUVDA 方法。
2025-09-22 cs.CV
Collaborative Feedback Discriminative Propagation for Video Super-Resolution
Nanjing University of Science and Technology（南京理工大学）
本文提出协作反馈判别（CFD）方法，通过判别对齐校正（DAC）和协作反馈传播（CFP）模块校正对齐伪影并融合多时间步时空信息，在保持低复杂度下提升视频超分辨率性能。
2024-04-06 cs.CV
COACH: Collaborative Agents for Contextual Highlighting -- A Multi-Agent Framework for Sports Video Analysis
COACH提出一种多代理框架，通过协作代理实现体育视频分析中的上下文高亮，提升时间层次结构的理解与跨任务适应性。
2025-12-02 cs.CV
