Ego-Vehicle Action Recognition based on Semi-Supervised Contrastive Learning
Toyota Motor Corporation(丰田汽车公司)
近年来,许多汽车都配备了摄像机,这些摄像机积累了大量的驾驶场景的视频片段。自动驾驶要求最高的安全性,为此,即使是极其罕见的驾驶场景也必须收集到训练数据中,以提高特定场景的识别准确率。然而,从大量视频中找到很少的特定场景的成本过高。在这篇文章中,我们表明,适当的视频到视频的距离可以通过专注于自我车辆的行动来定义。众所周知,基于监督学习的现有方法不能处理不属于预定义类的视频,尽管它们在定义标记视频之间的嵌入空间中的视频到视频距离方面工作得很好。为了解决这个问题,我们提出了一种基于半监督对比学习的方法。我们考虑两个相关但不同的对比学习:标准图对比学习和我们提出的基于SOIA的对比学习。我们观察到,后一种方法可以在未标记的视频之间提供更合理的视频到视频的距离。接下来,通过使用HDD数据集评估自我车辆动作识别的分类性能来量化我们方法的有效性,这表明我们的方法在训练中包括未标记的数据显著优于仅使用标记数据的现有方法。
2023-03-02 cs.CV
LAVA: Language Audio Vision Alignment for Contrastive Video Pre-Training
University of California, Berkeley(加州大学伯克利分校)
生成视频数据的表示对于推进机器感知领域至关重要。目前大多数技术都依赖于手工注释的数据,这些数据很难处理,生成成本很高,而且难以扩展。在这项工作中,我们提出了一种新的学习方法的基础上对比学习,LAVA,这是能够学习联合语言,音频和视频表示在一个自我监督的方式。我们使用Transformer编码器在Kinetics 700数据集上预训练LAVA,以学习每种模态的表示。然后,我们证明LAVA在UCF-101和HMDB-51视频动作识别上与当前最先进的自监督和弱监督预训练技术竞争,同时使用一小部分未标记数据。
2022-07-16 cs.CV
Contrastive Transformation for Self-supervised Correspondence Learning
University of Science and Technology of China(中国科学技术大学);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院)
在本文中,我们专注于自监督学习的视觉对应使用未标记的视频在野外。我们的方法同时考虑帧内和帧间视频表示关联可靠的对应估计。视频内学习通过帧成对亲和度在单个视频内跨帧变换图像内容。为了获得实例级分离的判别表示,我们超越了视频内分析,并构建了视频间亲和力,以促进不同视频之间的对比变换。通过强制视频层内和视频层间的变换一致性,很好地保留了细粒度的对应关系,并有效地增强了实例级特征区分。我们的简单框架在一系列视觉任务上优于最近的自监督对应方法,包括视频对象跟踪(VOT),视频对象分割(VOS),姿势关键点跟踪等。值得一提的是,我们的方法也优于完全监督的亲和力表示(例如,ResNet),并与最近为特定任务设计的全监督算法(例如,VOT和VOS)。
2020-12-09 cs.CV
MaCLR: Motion-aware Contrastive Learning of Representations for Videos
AWS AI Labs(亚马逊云科技人工智能实验室);Meta AI
我们提出了一种新的方法来显式地执行跨模态自监督视频表示学习视觉和运动模态。与以前的视频表示学习方法主要集中在从RGB输入中隐式地学习运动线索相比,Mastery丰富了RGB视频剪辑的标准对比学习目标,具有运动路径和视觉路径之间的跨模态学习目标。我们表明,用我们的Mastery方法学习的表示更侧重于前景运动区域,从而更好地推广到下游任务。为了证明这一点,我们在五个数据集上评估了Major的动作识别和动作检测,并在所有数据集上展示了最先进的自监督性能。此外,我们还证明了在UCF 101和HMDB 51动作识别上,Mastery表示可以与完全监督学习的表示一样有效,甚至在VidSitu和SSv2上的动作识别以及AVA上的动作检测方面优于监督表示。
2022-07-20 cs.CV
Audio-Visual Contrastive Learning with Temporal Self-Supervision
Adobe Research(Adobe研究院);University of Surrey(萨里大学)
我们提出了一个自监督学习的视频,学习表示的RGB帧和伴随的音频没有人的监督方法。与捕捉静态场景外观的图像相比,视频还包含声音和时间场景动态。为了利用视频固有的时间和听觉维度,我们的方法将时间自我监督扩展到视听环境,并将其与多模态对比目标相结合。作为时间的自我监督,我们提出回放速度和方向识别在这两种方式,并提出内和跨模态的时间排序任务。此外,我们设计了一种新的对比目标,其中通常的对补充额外的样本依赖的积极和消极的演变特征空间采样。在我们的模型中,我们将这种损失应用于视频片段之间以及视频与其时间上对应的音频片段之间。我们在广泛的消融实验中验证了我们的模型设计,并在转移实验中评估了UCF 101和HMBD 51上的动作识别和检索,ESC 50上的音频分类以及VGG-Sound上的鲁棒视频指纹识别的视频和音频表示,并获得了最先进的结果。
2023-02-15 cs.CV
MoQuad: Motion-focused Quadruple Construction for Video Contrastive Learning
Bytedance Inc(字节跳动公司);The University of Hong Kong(香港大学);Simon Fraser University(西蒙菲莎大学)
学习有效的运动特征是视频表示学习的基本追求。本文提出了一种简单有效的样本构造策略,以提高视频对比学习中运动特征的学习。所提出的方法,被称为运动聚焦四重构造(MoQuad),通过细致地干扰阳性和阴性样本的外观和运动来为每个视频实例创建四重,从而鼓励模型利用运动信息来增强实例区分。不像最近的方法,创建额外的辅助任务学习运动特征或应用显式的时间建模,我们的方法保持简单和干净的对比学习范式(即,Simplified),无需多任务学习或额外建模。此外,我们通过分析初始MoQuad实验设计了两个额外的训练策略。通过简单地将MoQuad应用于Simplified,大量的实验表明,与最先进的技术相比,我们在下游任务上实现了卓越的性能。值得注意的是,在UCF-101动作识别任务中,我们在Kinetics-400上预训练模型仅200个epoch后就达到了93.7%的准确率,超过了以前的各种方法
2022-12-21 cs.CV
Self-Supervised Contrastive Learning for Videos using Differentiable Local Alignment
Universität des Saarlandes(萨尔大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
提出基于可微局部对齐的自监督视频表示学习方法,利用Transformer编码器与新颖的LAC损失捕获局部时间依赖并增强判别性,在动作识别任务上优于现有最先进方法。
2025-03-03 cs.CV
Contrastive Spatio-Temporal Pretext Learning for Self-supervised Video Representation
Department of Electrical Engineering, City University of Hong Kong(香港城市大学电机工程系);AI Technology Center, OVB, Tencent(腾讯公司OVB人工智能技术中心)
时空表示学习对于视频自监督表示至关重要。近年来的研究主要采用对比学习和托词任务。然而,这些方法通过在潜在空间中通过特征相似性来区分采样实例来学习表示,而忽略了学习表示的中间状态,这限制了整体性能。在这项工作中,考虑到采样实例的相似程度作为中间状态,我们提出了一种新的借口任务-时空重叠率(STOR)预测。它源于人类能够区分视频在空间和时间上的重叠率的观察。该任务鼓励模型区分两个生成的样本的STOR以学习表示。此外,我们采用联合优化相结合的借口任务与对比学习,以进一步加强时空表示学习。我们还研究了所提出的方案中的每个组件的相互影响。大量的实验表明,我们提出的STOR任务可以同时支持对比学习和借口任务。联合优化方案可以显著提高视频理解中的时空表示。该代码可在https://github.com/Katou2/CSTP上获得。
2021-12-19 cs.CV
Colo-SCRL: Self-Supervised Contrastive Representation Learning for Colonoscopic Video Retrieval
Shanghai Jiao Tong University(上海交通大学);Zhongshan Hospital of Fudan University(复旦大学附属中山医院)
结肠镜视频检索是息肉治疗的重要环节,对大肠癌的防治具有重要的临床意义。然而,在动作识别数据集上训练的检索模型通常在结肠镜数据集上产生不令人满意的检索结果,这是由于它们之间存在很大的领域差距。为了解决这个问题,我们构建了一个大规模的结肠镜数据集命名为Colo-Pair的医疗实践。基于此数据集,提出了一种简单而有效的训练方法,称为Colo-SCRL,用于更鲁棒的表示学习。它旨在通过基于掩码自编码器的重建和动量对比来改进结肠镜检查的一般知识,以提高检索性能。据我们所知,这是第一次尝试采用对比学习范例的医学视频检索。实证结果表明,我们的方法显着优于当前国家的最先进的方法在结肠镜视频检索任务。
2023-03-28 cs.CV
Hierarchical Contrastive Motion Learning for Video Action Recognition
University of Maryland, College Park(马里兰大学帕克分校);NVIDIA(英伟达);Google(谷歌)
视频动作识别的一个核心问题是如何对运动进行建模。在本文中,我们提出了层次对比运动学习,一个新的自监督学习框架,以提取有效的运动表示从原始视频帧。我们的方法逐步学习对应于网络中不同抽象级别的运动特征层次。这种层次化的设计弥合了低层运动线索和高层识别任务之间的语义鸿沟,促进了外观和运动信息在多个层次上的融合。在每个级别上,通过对比学习提供显式运动自我监督,以执行当前级别的运动特征,以预测上一级别的未来运动特征。因此,在更高级别的运动特征被训练以逐渐捕获语义动态并进化为更有区别的动作识别。我们的运动学习模块是轻量级的,灵活的嵌入到各种骨干网络。在四个基准上的大量实验表明,该方法始终取得优异的结果。
2022-01-17 cs.CV
CMAE-V: Contrastive Masked Autoencoders for Video Action Recognition
Nankai University(南开大学);Bytedance Inc.(字节跳动公司);University of Science and Technology Beijing(北京科技大学)
对比掩码自编码器(CMAE)作为一种新的自监督框架,在视觉图像识别中显示出了学习表情特征表示的潜力。这项工作表明,CMAE也平凡推广以及视频动作识别,而无需修改的架构和损失准则。通过直接用时间偏移替换原始像素偏移,我们的用于视觉动作识别的CMAE,简称CMAE-V,可以生成比基于纯掩码自编码器的对应物更强的特征表示。值得注意的是,具有混合架构的CMAE-V可以在Kinetics-400和Something-something V2数据集上分别实现82.2%和71.6%的top-1准确度。希望本报告能为今后的工作提供一些有益的启示。
2023-01-15 cs.CV
Back to the Future: Cycle Encoding Prediction for Self-supervised Contrastive Video Representation Learning
University of Bristol(布里斯托大学)
在本文中,我们表明,学习视频特征空间的时间周期是最大限度地可预测的好处动作分类。特别是,我们提出了一种新的学习方法,称为循环编码预测(CEP),能够有效地表示高层次的时空结构的未标记的视频内容。CEP建立了一个潜在的空间,其中封闭的前向-后向以及后向-前向时间循环的概念近似保留。作为一个自我监督信号,CEP利用视频流的双向时间相干性,并应用损失函数,鼓励时间周期闭合以及对比特征分离。在架构上,基础网络结构对所有视频片段使用单个特征编码器,添加两个预测模块,学习时间向前和向后转换。我们将我们的框架应用于动作识别任务的网络借口训练。我们报告了标准数据集UCF 101和HMDB 51的显着改进的结果。详细的消融研究支持申报组件的有效性。我们在本文中完整地发布了CEP组件的源代码。
2021-10-24 cs.CV
Multi-Scale Contrastive Learning for Video Temporal Grounding
Institute of Data Science (IDS), National University of Singapore(数据科学研究所(IDS),新加坡国立大学);Tongji University(同济大学);Nanyang Technological University (NTU)(南洋理工大学)
本文提出多尺度对比学习框架,通过多阶段视频编码器生成样本,无需数据增强或在线记忆库,提升视频时间定位的语义表达。
2026-04-26 cs.CV
Semi-Supervised Action Recognition with Temporal Contrastive Learning
IIT Madras(印度理工学院马德拉斯分校);IIT Kharagpur(印度理工学院卡哈拉格普尔分校);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);Boston University(波士顿大学)
由于缺乏繁琐收集的活动标签,学习仅从少数标记的视频中识别动作是一个具有挑战性的问题。我们通过使用两种不同速度的未标记视频学习双通道时间对比模型来解决这个问题,利用改变视频速度不会改变动作的事实。具体来说,我们建议最大限度地提高编码表示的同一视频在两个不同的速度之间的相似性,以及最小化不同的视频之间的相似性,以不同的速度播放。通过这种方式,我们使用了丰富的监督信息,即在其他无监督的视频池中存在的“时间”。通过这种简单而有效的操纵视频播放速率的策略,我们在多个不同的基准数据集和网络架构上大大优于先进的半监督图像识别方法的视频扩展。有趣的是,我们提出的方法受益于域外未标记的视频显示泛化和鲁棒性。我们还进行了严格的消融和分析,以验证我们的方法。项目页面:https://cvir.github.io/TCL/。
2021-03-29 cs.CV
TCGL: Temporal Contrastive Graph for Self-supervised Video Representation Learning
Sun Yat-sen University(中山大学);The Hong Kong Polytechnic University(香港理工大学)
针对现有视频自监督方法时序多样性不足、多尺度时序依赖建模缺失的问题,提出TCGL框架,结合图对比学习与多模块实现更优的视频表示,在动作识别和视频检索任务上性能超越现有方法。
2022-03-07 cs.CV
CoCon: Cooperative-Contrastive Learning
Stanford University(斯坦福大学);Toyota Research Institute(丰田研究所)
大规模标记视频是不切实际的。因此,自我监督的视觉表示学习是有效的视频分析的关键。最近在学习图像表示方面的成功表明,对比学习是解决这一挑战的一个有前途的框架。然而,当应用于真实世界的视频,对比学习可能会不知不觉地导致包含语义相似的事件的实例的分离。在我们的工作中,我们引入了一个合作的对比学习的变种,利用互补信息的意见,并解决这个问题。我们使用数据驱动的采样来利用多个输入视频视图之间的隐式关系,无论是观察到的(例如RGB)还是推断出的(例如流、分割掩模、姿势)。我们是最早探索利用实例间关系来驱动学习的公司之一。我们实验评估我们的代表性的下游任务的动作识别。我们的方法在标准基准测试(UCF 101,HMDB 51,Kinetics 400)上实现了具有竞争力的性能。此外,定性实验表明,我们的模型可以捕捉高阶类关系。
2021-04-30 cs.CV
Long Short View Feature Decomposition via Contrastive Video Representation Learning
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Bonn(波恩大学)
自监督视频表示方法通常关注视频中时间属性的表示。然而,固定属性与非固定属性的作用很少被探索:固定特征在整个视频中保持相似,可以预测视频级别的动作类。表示随时间变化的属性的非平稳特征对于涉及更细粒度的时间理解的下游任务(例如动作分割)更有益。我们认为,一个单一的表示来捕捉这两种类型的功能是次优的,并建议分解的表示空间为固定和非固定的功能,通过对比学习从长和短的意见,即长视频序列和较短的子序列。固定特征在短视图和长视图之间共享,而非固定特征聚合短视图以匹配对应的长视图。为了实证验证我们的方法,我们证明了我们的固定特征在动作识别下游任务中的工作效果特别好,而我们的非固定特征在动作分割上的表现更好。此外,我们分析了学习的表示,并发现静态特征捕获更多的时间稳定,静态属性,而非静态特征包含更多的时间变化。
2021-09-23 cs.CV
Contrastive Language-Action Pre-training for Temporal Localization
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Amazon(亚马逊)
长格式视频理解需要设计能够暂时本地化活动或语言的方法。这种任务的端到端训练受到计算设备存储器约束和缺乏大规模时间注释的限制。这些限制可以通过在由类注释监督的时间修剪视频的大型数据集上进行预训练来解决。一旦视频编码器经过预训练,通常的做法是在微调期间将其冻结。因此,视频编码器不学习时间边界和看不见的类,从而导致相对于下游任务的域间隙。此外,使用时间修剪的视频防止捕捉不同的动作类别和视频剪辑中的背景上下文之间的关系,这导致有限的泛化能力。为了解决这些限制,我们提出了一种新的后预训练方法,而不会冻结利用语言的视频编码器。我们引入了一个掩蔽的对比学习损失捕捉活动,背景视频剪辑和语言的字幕形式之间的语义语言关系。实验结果表明,该方法在时间动作定位、Few-Shot时间动作定位和视频语言基础任务上都有较好的效果。
2022-04-26 cs.CV
Motion-aware Contrastive Video Representation Learning via Foreground-background Merging
Shanghai Jiao Tong University(上海交通大学);Tencent AI Lab(腾讯人工智能实验室);The Chinese University of Hong Kong(香港中文大学);University of Michigan(密歇根大学)
鉴于对比学习在图像领域的成功,当前的自监督视频表示学习方法通常采用对比损失来促进视频表示学习。然而,当天真地将视频的两个增强视图拉近时,模型倾向于学习共同的静态背景作为捷径,但无法捕获运动信息,这种现象被称为背景偏差。这种偏差使得模型的泛化能力较弱,导致下游任务(如动作识别)的性能较差。为了减轻这种偏见,我们提出\textbf{F} oreground-b \textbf{a} ckground \textbf{Me} rging(FAME)故意组成所选视频的移动前景区域到其他静态背景。具体地说,在没有任何现成的检测器,我们提取的运动前景的背景区域通过帧差和颜色统计,和洗牌的视频之间的背景区域。通过利用原始剪辑和融合剪辑之间的语义一致性,该模型更多地关注运动模式,并从背景快捷方式中去除偏见。大量的实验表明,FAME可以有效地抵抗背景欺骗,从而在UCF 101,HMDB 51和Diving 48数据集的下游任务上实现最先进的性能。代码和配置在https://github.com/Mark12Ding/FAME上发布。
2022-03-13 cs.CV
VideoCLIP: Contrastive Pre-training for Zero-shot Video-Text Understanding
Facebook AI(脸书人工智能研究院);Carnegie Mellon University(卡内基梅隆大学)
我们提出了VideoCLIP,这是一种对比方法,用于预训练zero-shot视频和文本理解的统一模型,而无需在下游任务上使用任何标签。VideoCLIP通过将时间上重叠的正视频-文本对与最近邻检索的硬否定进行对比,来训练视频和文本的Transformer。我们对一系列下游任务的实验,包括序列级文本视频检索,VideoQA,令牌级动作定位和动作分割,揭示了最先进的性能,超过了先前的工作,在某些情况下甚至优于监督方法。代码可在https://github.com/pytorch/fairseq/tree/main/examples/MMPT上获得。
2021-10-01 cs.CL cs.CV
Video-based Generalized Category Discovery via Memory-Guided Consistency-Aware Contrastive Learning
Laboratory for Big Data and Decision(大数据与决策实验室);National University of Defense Technology(国防科技大学);Department of Information Engineering and Computer Science(信息工程与计算机科学系)
本文提出记忆引导的感知一致性对比学习(MCCL)框架,将广义类别发现扩展到视频领域,通过时空线索与一致性投票机制提升新类别发现性能,并在新基准上显著优于现有方法。
2025-09-08 cs.CV
Long-Form Video-Language Pre-Training with Multimodal Temporal Contrastive Learning
Renmin University of China(中国人民大学);University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院)
大规模的视频语言预训练已经显示出视频语言理解任务的显著改善。以往的视频语言预训练研究主要集中在短视频(即,在30秒内)和句子,留下长形式的视频语言预训练很少探索。从长格式视频和语言中直接学习表示可以有益于许多长格式视频-语言理解任务。然而,它是具有挑战性的,由于难以建模的长期关系和沉重的计算负担所造成的更多的帧。在本文中,我们介绍了一个长格式视频语言预训练模型(LF-VILA)和训练它在一个大规模的长格式视频和段落数据集构建从现有的公共数据集。为了有效地捕捉丰富的时间动态,并更好地对齐视频和语言在一个有效的端到端的方式,我们在我们的LF-VILA模型中引入了两个新的设计。我们首先提出了多模态时间对比(MTC)损失,通过鼓励长格式视频和段落之间的细粒度对齐来学习不同模态之间的时间关系。其次,我们提出了一个分层的时间窗口注意(HTWA)机制,有效地捕捉长程依赖,同时减少计算成本的Transformer。我们对预训练的LF-VILA模型在七个下游长格式视频语言理解任务(段落到视频检索和长格式视频问答)上进行了微调,并实现了新的最先进的性能。具体来说,我们的模型在ActivityNet段落到视频检索任务和How2 QA任务上分别实现了16.1%和2.4%的相对改进。我们在https://github.com/microsoft/XPretrain上发布我们的代码、数据集和预训练模型。
2023-03-02 cs.CV
Composable Augmentation Encoding for Video Representation Learning
Google Research(谷歌研究院);Brown University(布朗大学);MIT(麻省理工学院)
我们专注于自监督视频表示学习的对比方法。对比学习中的一个常见范例是通过对同一实例的不同数据视图进行采样来构建正对,不同的数据实例作为负对。这些方法隐含地假设一组代表性的不变性的视图选择机制(例如,采样帧的时间偏移),这可能会导致下游的任务,违反这些不变性(细粒度的视频动作识别,将受益于时间信息)的性能差。为了克服这一限制,我们提出了一个“增强意识”的对比学习框架,在这里我们明确地提供了一个序列的增强参数化(如用于创建数据视图的时移的值)作为可组合增强编码(CATE),我们的模型时,投影的视频表示对比学习。我们表明,通过我们的方法学习的表示编码有关指定的空间或时间增强的有价值的信息,并且在这样做的过程中,还在许多视频基准上实现了最先进的性能。
2021-08-20 cs.CV
Can Temporal Information Help with Contrastive Self-Supervised Learning?
The Johns Hopkins University(约翰斯·霍普金斯大学);Facebook AI Research(Facebook人工智能研究院);Facebook Reality Labs(Facebook现实实验室)
利用时间信息被认为是开发视频理解模型的关键。然而,如何正确地将时间信息纳入最近成功的基于实例判别的对比自监督学习(CSL)框架仍然不清楚。作为一个直观的解决方案,我们发现,直接应用时间增强没有帮助,甚至损害视频CSL一般。这种违反直觉的观察促使我们重新设计现有的视频CSL框架,以更好地整合时间知识。为此,我们提出了时间感知对比自监督学习TaCo,作为一个通用的范例,以提高视频CSL。具体来说,TaCo选择一组时间变换不仅作为强数据增强,而且还构成额外的自我监督视频理解。通过将实例与丰富的时间变换进行联合对比,并将这些变换作为自监督信号进行学习,TaCo可以显著增强无监督视频表示学习。例如,TaCo在一系列主干和CSL方法的下游分类任务中表现出一致的改进。我们最好的模型达到了85.1%(UCF-101)和51.6%(HMDB-51)的top-1准确率,这比以前的最先进水平分别提高了3%和2.4%。
2020-11-25 cs.CV
VideoCoCa: Video-Text Modeling with Zero-Shot Transfer from Contrastive Captioners
Google Research(谷歌研究院);The Ohio State University(俄亥俄州立大学)
我们探索了一种有效的方法来建立一个基础的视频文本模型。我们提出了VideoCoCa,它最大限度地重用了预训练的图像-文本对比字幕(CoCa)模型,并使其适应视频-文本任务,只需最少的额外训练。虽然以前的作品采用各种跨帧融合模块的图像-文本模型,但我们发现CoCa中的生成注意力池和对比注意力池层可以立即适应扁平化的帧嵌入,从而在zero-shot视频分类和zero-shot文本到视频检索方面产生最先进的结果。此外,我们还在VideoCoCa上探索了轻量级的微调,并在视频问答和视频描述上取得了很好的效果。
2023-03-15 cs.CV cs.LG cs.MM
Contrastive Video-Language Learning with Fine-grained Frame Sampling
Imperial College London(帝国理工学院);Meituan Inc.(美团)
尽管最近在视频和语言表示学习方面取得了进展,但这两种模式之间的弱对应或稀疏对应仍然是该领域的瓶颈。大多数视频-语言模型都是通过对级丢失来训练的,以预测一对视频和文本是否对齐。然而,即使在成对的视频-文本片段中,也只有帧的子集与相应的文本在语义上相关,其余部分表示噪声;其中,对于较长的视频,噪声帧的比率更高。我们提出了FineCo(帧采样的细粒度对比损失),这是一种通过对视频帧进行细粒度对比目标来更好地学习视频和语言表示的方法。它通过选择语义上与文本等价的帧来帮助优化视频,提高跨模态的对应性。以成熟的VideoCLIP模型为起点,FineCo在YouCookII上实现了最先进的性能,YouCookII是一个长视频的文本视频检索基准。FineCo还在文本视频检索(MSR-VTT)和视频问答数据集(MSR-VTT QA和MSR-VTT MC)上取得了具有竞争力的结果。
2022-10-10 cs.CV cs.LG
Video-based Contrastive Learning on Decision Trees: from Action Recognition to Autism Diagnosis
West Virginia University(西弗吉尼亚大学);Washington University in St. Louis(圣路易斯华盛顿大学)
本文提出基于对比学习和决策树的视频动作分类框架,通过IAM与多种前置任务将多类识别转为二分类,并在交互识别、对称性检测及ASD诊断中验证效果。
2023-04-21 cs.CV
Temporal Contrastive Learning with Curriculum
Queen’s University(女王大学)
我们提出了ConCur,一个对比视频表示学习方法,使用课程学习在对比训练中施加动态采样策略。更具体地说,ConCur使用简单的阳性样本(时间上接近且语义上相似的片段)开始对比训练,随着训练的进行,它增加了时间跨度,有效地对硬阳性样本(时间上远离且语义上不相似)进行采样。为了更好地学习上下文感知表示,我们还提出了一个辅助任务,预测一个积极的一对剪辑之间的时间距离。我们在两个流行的动作识别数据集UCF 101和HMDB 51上进行了广泛的实验,我们提出的方法在视频动作识别和视频检索两个基准任务上实现了最先进的性能。我们通过使用R(2+1)D和C3 D编码器以及Kinetics-400和Kinetics-200数据集上的预训练来探索编码器骨干和预训练策略的影响。此外,详细的消融研究表明,我们提出的方法的每个组件的有效性。
2022-09-02 cs.CV
Video Contrastive Learning with Global Context
University of Bonn(波恩大学);ShanghaiTech University(上海科技大学);Amazon Web Services(亚马逊云科技)
对比学习是自监督图像表示学习领域的一次革命,近年来被应用于视频领域。对比学习的最大优点之一是,只要我们能找到一种合理的方式来制定正负样本进行对比,它就能让我们灵活地定义强大的损失目标。然而,现有的方法严重依赖于短距离时空显著性来形成剪辑级对比信号,从而限制了它们自身使用全局上下文。在本文中,我们提出了一种新的视频级对比学习方法的基础上段制定积极的对。我们的配方是能够捕捉全球范围内的视频,从而强大的时间内容的变化。我们还结合了时间顺序正则化项,以执行视频的固有顺序结构。大量的实验表明,我们的视频级对比学习框架(VSTO)是能够超越以前的国家的最先进的五个视频数据集的下游动作分类,动作定位和视频检索。代码可在https://github.com/amazon-research/video-contrastive-learning上获得。
2021-08-05 cs.AI cs.CV cs.LG
Semi-TCL: Semi-Supervised Track Contrastive Representation Learning
Amazon AWS AI(亚马逊AWS人工智能)
视频中多个目标的在线跟踪需要很强的建模和匹配能力。以往的外观嵌入学习方法大多依赖于实例级匹配,而没有考虑视频提供的时间连续性。我们设计了一个新的实例到跟踪匹配目标来学习外观嵌入,将候选检测与跟踪器中持久化的跟踪嵌入进行比较。它使我们不仅可以从标记有完整曲目的视频中学习,还可以从未标记或部分标记的视频中学习。我们遵循“主动放弃”的精神,以统一的形式实现这一学习目标。在多个目标跟踪数据集上的实验表明,我们的方法可以有效地学习有区别的外观嵌入在一个半监督的方式,并优于最先进的方法在代表性的基准。
2021-07-06 cs.CV
Two-stream joint matching method based on contrastive learning for few-shot action recognition
Chongqing University(重庆大学)
本文提出基于对比学习的双流联合匹配方法TSJM,通过多模态对比学习模块和联合匹配模块解决少样本动作识别中的多模态信息利用不足及视频匹配问题。
2024-01-08 cs.CV
Contrastive Video Question Answering via Video Graph Transformer
National University of Singapore(新加坡国立大学);Sea AI Lab(Sea人工智能实验室);Hefei University of Technology(合肥工业大学)
本文提出CoVGT模型,通过动态图Transformer编码视频对象关系与动态,并结合分离式视频-文本对比学习及全监督与自监督联合优化,在视频问答中实现超越大规模预训练模型的性能,且具有更高的数据效率。
2023-07-11 cs.CV cs.MM
Self-Supervised Video Representation Learning with Meta-Contrastive Network
University of Washington(华盛顿大学);Microsoft Research Asia(微软亚洲研究院)
自监督学习已成功应用于预训练视频表示,其目的是从预训练域到下游任务的有效适应。现有的方法仅仅利用对比损失来学习实例级区分。然而,缺乏类别信息将导致硬正问题,限制了这类方法的推广能力。我们发现元学习的多任务过程可以为这个问题提供解决方案。在本文中,我们提出了一个元对比网络(MCN),它结合了对比学习和元学习,以提高现有的自监督方法的学习能力。我们的方法包含两个基于模型不可知元学习(MAML)的训练阶段,每个阶段由一个对比分支和一个元分支组成。广泛的评估表明我们的方法的有效性。对于两个下游任务,即,在视频动作识别和视频检索方面,MCN在UCF 101和HMDB 51数据集上的性能优于最先进的方法。更具体地说,使用R(2 + 1)D主干,MCN在视频动作识别方面达到了84.8%和54.5%的Top-1准确率,在视频检索方面达到了52.5%和23.7%。
2021-08-23 cs.AI cs.CV cs.LG
$C^3$: Compositional Counterfactual Contrastive Learning for Video-grounded Dialogues
Salesforce Research Asia(Salesforce亚洲研究院);A*STAR, Institute for Infocomm Research(新加坡科技研究局资讯通信研究院)
本文提出组合式反事实对比学习($C^3$),通过事实/反事实采样和对比隐藏状态表示优化视频基础对话生成,并在AVSD基准上取得性能提升。
2023-08-05 cs.CL cs.CV cs.LG
DMC$^3$: Dual-Modal Counterfactual Contrastive Construction for Egocentric Video Question Answering
Nanjing University of Posts and Telecommunications(南京邮电大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Peng Cheng Laboratory(鹏城实验室);MAIS, Institute of Automation, Chinese Academy of Sciences(自动化所MAIS)
DMC$^3$通过双模态反事实对比构建方法提升第一人称视频问答性能,实现SOTA效果。
2025-12-01 cs.CV cs.MM
Temporal Contrastive Graph Learning for Video Action Recognition and Retrieval
Sun-Yat-Sen University(中山大学);DarkMatter AI
为了充分挖掘视频表示学习的时间多样性和时序特性,利用视频的时间依赖性,提出了一种新的自监督视频表示学习方法--时间对比图学习(TCGL)。与现有的忽略建模复杂时间依赖关系的方法不同,我们的TCGL基于混合图对比学习策略,将片段间和片段内时间依赖关系共同视为时间表示学习的自我监督信号.为了对多尺度时间依赖性进行建模,我们的TCGL将关于帧和片段顺序的先验知识集成到图结构中,即,片段内/片段间时间对比图。通过随机删除片段内图或片段间图的边和掩蔽节点,我们的TCGL可以生成不同的相关图视图。然后,设计了特定的对比学习模块,以最大化不同视图中节点之间的一致性。为了自适应地学习全局上下文表示并重新校准通道特征,我们引入了自适应视频片段顺序预测模块,该模块利用视频片段之间的关系知识来预测实际的片段顺序。实验结果表明,我们的TCGL在大规模动作识别和视频检索基准的国家的最先进的方法的优越性。
2021-03-17 cs.CV cs.LG cs.MM
VIMPAC: Video Pre-Training via Masked Token Prediction and Contrastive Learning
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Huggingface
视频理解依赖于感知全局内容并对其内部连接建模(例如,因果关系、运动和时空对应)。为了学习这些交互,我们对通过VQ-VAE生成的离散化视频令牌应用了一个mask-then-predict预训练任务。与文本令牌更加独立的语言不同,相邻的视频令牌通常具有强相关性(例如,连续的视频帧通常看起来非常相似),并且因此均匀地掩蔽各个标记将使得任务对于学习有用的表示来说太微不足道。为了解决这个问题,我们提出了一个块的屏蔽策略,我们屏蔽相邻的视频令牌在空间和时间域。我们还增加了一个增强免费的对比学习方法,以进一步捕捉全局内容,通过预测是否从同一个视频采样的视频剪辑。我们在未经策划的视频上预训练我们的模型,并表明我们的预训练模型可以在几个视频理解数据集上达到最先进的结果(例如,SSV2,Diving48)。最后,我们对模型的可扩展性和预训练方法设计进行了详细的分析。代码发布于https://github.com/airsplay/vimpac。
2021-06-21 cs.AI cs.CV cs.LG
Hierarchical Action Recognition: A Contrastive Video-Language Approach with Hierarchical Interactions
Zhejiang Lab(之江实验室)
针对视频识别忽视类别层次结构的问题,本文提出一种编码层次依赖并施加自上而下约束的视频-语言框架,并构建了中风康复细粒度基准,显著提升了层次化识别性能。
2024-05-28 cs.CV cs.MM
SEASON: Mitigating Temporal Hallucination in Video Large Language Models via Self-Diagnostic Contrastive Decoding
Graduate Institute of Communication Engineering, National Taiwan University(国立台湾大学通信工程研究所)
SEASON通过自诊断对比解码方法,无需训练即可提升视频大语言模型在时间信息处理上的准确性与可靠性。
2025-12-04 cs.AI cs.CL cs.CV
TempCLR: Temporal Alignment Representation with Contrastive Learning
Columbia University(哥伦比亚大学)
视频表示学习在用于zero-shot传输的视频-文本预训练中已经取得了成功,其中每个句子都被训练成接近公共特征空间中的成对视频剪辑。对于长视频,给定一段描述,其中句子描述了视频的不同片段,通过匹配所有片段-剪辑对,段落和完整视频被隐式地对齐。然而,这种单元级的比较可能会忽略全局时间上下文,这不可避免地限制了泛化能力。在本文中,我们提出了一个对比学习框架Temptum来明确地比较完整的视频和段落。由于视频/段落被公式化为片段/句子的序列,在它们的时间顺序的约束下,我们使用动态时间扭曲来计算片段-片段对的最小累积成本作为序列级距离。为了探索时间动态,我们打破了时间序列的一致性洗牌视频剪辑w.r.t.时间粒度然后,我们得到的表示剪辑/句子,感知的时间信息,从而促进序列对齐。除了对视频和段落进行预训练外,我们的方法还可以概括视频实例之间的匹配。我们评估我们的方法对视频检索,动作步骤定位,和Few-Shot动作识别,并实现一致的性能增益在所有三个任务。提供详细的消融研究以证明入路设计的合理性。
2023-03-30 cs.CL cs.CV
Cycle-Contrast for Self-Supervised Video Representation Learning
Lumada Data Science Lab. Hitachi, Ltd.(日立有限公司卢马达数据科学实验室)
我们提出了循环对比学习(CCL),一种新的自我监督的方法学习视频表示。根据视频与其帧之间存在着一种属于和包含关系的性质,CCL被设计为分别考虑其域中的对比表示来发现帧和视频之间的对应关系。它与最近的方法不同,这些方法只是学习跨帧或剪辑的对应关系。在我们的方法中,帧和视频表示是从基于R3D架构的单个网络中学习的,在周期对比丢失之前,使用共享的非线性变换来嵌入帧和视频特征。我们证明了CCL学习的视频表示可以很好地转移到视频理解的下游任务中,在UCF 101,HMDB 51和MMAct上的最近邻检索和动作识别任务中优于以前的方法。
2020-10-28 cs.CV cs.LG
UBoCo : Unsupervised Boundary Contrastive Learning for Generic Event Boundary Detection
Yonsei University(延世大学)
通用事件边界检测(GEBD)是一个新提出的视频理解任务,旨在发现事件的一个更深层次的语义边界。它弥补了人类自然感知和视频理解之间的差距,具有各种潜在的应用,包括可解释和语义有效的视频解析。仍然处于早期开发阶段,现有的GEBD求解器是相关视频理解任务的简单扩展,而忽略了GEBD的独特特征。在本文中,我们提出了一种新的框架,无监督/监督GEBD,通过使用时间自相似矩阵(TSM)作为视频表示。新的递归TSM解析(RTP)算法利用TSM中的局部对角模式来检测边界,并结合边界对比(BoCo)损失来训练我们的编码器,以生成信息量更大的TSM。我们的框架可以应用于无监督和有监督的环境,在GEBD基准测试中,两者都实现了最先进的性能。特别是,我们的无监督方法优于以前的最先进的“监督”模型,这意味着其特殊的功效。
2021-11-30 cs.AI cs.CV
CoCo-BERT: Improving Video-Language Pre-training with Contrastive Cross-modal Matching and Denoising
Sun Yat-sen University(中山大学);The Key Laboratory of Machine Intelligence and Advanced Computing (Sun Yat-sen University), Ministry of Education(机器智能与先进计算教育部重点实验室(中山大学));JD AI Research(京东人工智能研究院)
BERT型结构导致了视觉语言预训练的革命,并在许多视觉语言下游任务上取得了最先进的结果。现有的解决方案主要利用具有掩码令牌的多模态输入来触发基于掩码的代理预训练任务(例如,掩蔽语言建模和掩蔽对象/帧预测)。在这项工作中,我们认为,这种掩盖的输入将不可避免地引入噪声的跨模态匹配代理任务,从而离开固有的视觉语言关联未被探索。作为替代方案,我们推导出用于视频语言预训练的特定形式的跨模态代理目标,即,对比跨模态匹配和去噪(CoCo)。通过将掩蔽帧/字序列视为主要未掩蔽帧/字序列的噪声增强,CoCo通过以对比的方式同时追求掩蔽和未掩蔽输入之间的模态间匹配和模态内去噪来加强视频-语言关联。我们的CoCo代理目标可以进一步集成到任何BERT类型的编码器-解码器结构中,用于视频语言预训练,称为对比跨模态BERT(CoCo-BERT)。我们在TV数据集和新收集的大规模GIF视频数据集(ACTION)上预训练CoCo-BERT。通过对广泛的下游任务(例如,跨模态检索、视频问答和视频描述),我们证明了CoCo-BERT作为预训练结构的优越性。
2021-12-14 cs.AI cs.CL cs.CV
Multi-granularity Contrastive Cross-modal Collaborative Generation for End-to-End Long-term Video Question Answering
School of Information Science and Technology, Hangzhou Normal University(杭州师范大学信息科学与技术学院);School of Computer Science and Technology, University of Chinese Academy of Sciences(中国科学院大学计算机科学与技术学院);School of Computer Science and Technology, Hangzhou Dianzi University(杭州电子科技大学计算机科学与技术学院);Department of Computer Science and Technology, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)计算机科学与技术系)
针对长视频问答中特征表示与领域无关及梯度阻断等问题,提出完全端到端的多粒度对比跨模态协同生成模型(MCG),通过联合单模态建模与多粒度对比学习获取判别性表示,并利用跨模态协同生成模块将任务重构为生成任务,在六个数据集上取得优越性能。
2024-10-12 cs.AI cs.CV
Weakly Supervised Gaussian Contrastive Grounding with Large Multimodal Models for Video Question Answering
Fudan University(复旦大学)
针对视频问答中均匀采样忽略问题相关线索且缺乏关键时间戳标注的问题,提出弱监督高斯对比定位框架,利用CLIP生成伪标签并学习高斯函数采样关键帧作为LMMs输入,显著提升问答性能。
2024-07-23 cs.AI cs.CL cs.CV
Multi-Scale Self-Contrastive Learning with Hard Negative Mining for Weakly-Supervised Query-based Video Grounding
Carnegie Mellon University(卡内基梅隆大学);Peking University(北京大学)
基于查询的视频基础是视频理解中一项重要而又具有挑战性的任务,其目的是根据句子查询定位未经裁剪的视频中的目标片段。大多数以前的工作取得了显着的进展,通过解决这个任务在一个完全监督的方式与段级标签,这需要高的标签成本。尽管最近的一些努力开发了只需要视频级知识的弱监督方法,但它们通常将多个预定义的片段建议与查询匹配并选择最佳片段,这缺乏细粒度的帧级细节以区分整个视频中具有高重复性和相似性的帧。为了缓解上述限制,我们提出了一个自我对比学习框架,以解决弱监督设置下的基于查询的视频接地任务。首先,而不是利用冗余段的建议,我们提出了一个新的接地方案,学习帧匹配分数参考查询语义预测可能的前景帧,只使用视频级注释。其次,由于一些预测帧(即,边界帧)是相对粗糙的,并且表现出与它们的相邻帧相似的外观,我们提出了一种从粗到细的对比学习范例,以学习更多的区分性逐帧表示,用于区分假阳性帧。特别是,我们迭代地探索多尺度硬负样本,这些样本接近表示空间中的正样本,以区分细粒度的帧细节,从而实施更准确的分段接地。在两个具有挑战性的基准上进行的大量实验表明,与最先进的方法相比,我们所提出的方法具有优越性。
2022-03-08 cs.AI cs.CV cs.LG
Contrastive Masked Autoencoders for Self-Supervised Video Hashing
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Research Center of Artificial Intelligence, Peng Cheng Laboratory(鹏城实验室人工智能研究中心)
自监督视频散列(SSVH)模型学习在没有地面实况监督的情况下为视频生成简短的二进制表示,提高了大规模视频检索效率,并吸引了越来越多的研究关注。SSVH的成功在于对视频内容的理解和捕捉未标记视频之间语义关系的能力。通常,现有技术的SSVH方法在两阶段训练管道中考虑这两点,其中它们首先通过实例式屏蔽和预测任务训练辅助网络,其次训练散列模型以保留从辅助网络转移的伪邻域结构。这种连续的训练策略是不灵活的,也是不必要的。在本文中,我们提出了一个简单而有效的单阶段SSVH方法称为ConMH,它结合了视频语义信息和视频相似性关系的理解在一个单一的阶段。为了更好地捕获视频语义信息,以进行哈希学习,我们采用了编码器-解码器结构来从其时间掩蔽帧重建视频。特别地,我们发现更高的掩蔽比有助于视频理解。此外,我们充分利用视频之间的相似性关系,通过最大限度地提高视频的两个增强视图之间的一致性,这有助于更有区别性和鲁棒性的哈希码。在三个大规模视频数据集上进行了广泛的实验(即,FCVID,ActivityNet和YFCC)表明ConMH达到了最先进的结果。代码可在https://github.com/huangmozhi9527/ConMH上获得。
2022-11-23 cs.AI cs.CV cs.IR
Mitigating Video Hallucinations via Attention-Guided Representation Perturbation
School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);Beijing Institute for General Artificial Intelligence, BIGAI(北京通用人工智能研究院);Sino-French Engineer School, Beihang University(北京航空航天大学中法工程师学院)
该研究提出无训练框架ARP-CD,通过注意力引导的表示扰动构建对比负样本,在四个Video LLMs和四个基准上优于无训练基线,可缓解视频幻觉并提升通用视频理解。
2026-10-15 cs.AI cs.CL cs.CV
Nearest-Neighbor Inter-Intra Contrastive Learning from Unlabeled Videos
Amazon Prime Video(亚马逊Prime视频)
对比学习最近缩小了图像和视频领域中自监督和监督方法之间的差距。最先进的视频对比学习方法,如CVRL和$ρ$ -MoCo时空增强来自同一视频的两个片段作为阳性。通过仅从单个视频局部地采样正片段,这些方法忽略了也可能有用的其他语义相关的视频。为了解决这一限制,我们利用来自全局空间的最近邻视频作为额外的正对,从而提高了正关键字的多样性,并引入了一个更宽松的相似性概念,该概念可以扩展到视频甚至类边界之外。我们的方法,帧间-帧内视频对比学习(IIVCL),提高了一系列视频任务的性能。
2023-03-13 cs.CV
CCTVBench: Contrastive Consistency Traffic VideoQA Benchmark for Multimodal LLMs
Technical University of Munich(慕尼黑技术大学);University of California, Los Angeles(加州大学洛杉矶分校)
CCTVBench通过真实事故视频与世界模型生成的反事实场景配对,提出对比一致性评估方法,揭示视频问答中对比一致性与标准指标间的显著差距,并引入C-TCD方法提升问答与一致性性能。
2026-04-22 cs.CV
Self-supervised Video Representation Learning Using Inter-intra Contrastive Framework
The University of Tokyo(东京大学)
我们提出了一种自监督的方法来学习视频的特征表示。传统的自监督方法中的标准方法使用正负数据对来用对比学习策略进行训练。在这种情况下,相同视频的不同模态被视为正,而来自不同视频的视频剪辑被视为负。由于时空信息对于视频表示是重要的,我们通过引入帧内负样本来扩展负样本,该帧内负样本通过打破视频片段中的时间关系而从相同的锚视频转换而来。利用所提出的帧间-帧内对比(IIC)框架,我们可以训练时空卷积网络来学习视频表示。在我们的IIC框架中有许多灵活的选项,我们通过使用几种不同的配置进行实验。评估进行视频检索和视频识别任务,使用学习的视频表示。我们提出的IIC比当前最先进的结果有很大的优势,例如在UCF 101和HMDB 51数据集上,视频检索的前1准确度分别提高了16.7%和9.5%。对于视频识别,也可以在这两个基准数据集上获得改进。代码可在https://github.com/BestJuly/Inter-intra-video-contrastive-learning上获得。
2020-08-12 cs.CV
SCVRL: Shuffled Contrastive Video Representation Learning
Heidelberg University(海德堡大学);AWS AI Labs(AWS人工智能实验室)
我们提出了SCVRL,一种新的基于对比的视频自监督学习框架。与先前主要集中于学习视觉语义的基于对比度学习的方法(例如,CVRL),SCVRL能够学习语义和运动模式。为此,我们在现代对比学习范式中重新制定了流行的洗牌借口任务。我们表明,我们基于transformer的网络具有在自我监督设置中学习运动的自然能力,并实现了强大的性能,在四个基准测试中优于CVRL。
2022-05-24 cs.CV
Video Salient Object Detection via Contrastive Features and Attention Modules
University of California at Merced(加州大学默塞德分校);ByteDance AI Lab(字节跳动人工智能实验室)
视频显著性目标检测的目的是找到视频中视觉上最有特色的对象。为了研究时间依赖性,现有的方法通常求助于递归神经网络或光流。然而,这些方法需要高的计算成本,并且倾向于随着时间的推移积累不准确性。在本文中,我们提出了一个网络的注意力模块学习对比特征的视频显着目标检测没有高计算时间建模技术。我们开发了一个非局部的自注意方案来捕获视频帧中的全局信息。一个共同的注意力配方是用来结合低级别和高级别的功能。我们进一步应用对比学习来改进特征表示,其中来自同一视频的前景区域对被拉在一起,前景-背景区域对在潜在空间中被推开。帧内对比度损失有助于分离前景和背景特征,帧间对比度损失提高了时间一致性。我们进行了广泛的实验,对视频显著目标检测和无监督视频对象分割的几个基准数据集,并表明,所提出的方法需要更少的计算,并表现出良好的对国家的最先进的方法。
2021-11-03 cs.CV
Contrastive Losses Are Natural Criteria for Unsupervised Video Summarization
Osaka University(大阪大学);CyberAgent, Inc.(赛博艾坚特公司)
视频摘要旨在选择视频中信息量最大的帧子集,以促进高效的视频浏览。无监督方法通常依赖于启发式训练目标,如多样性和代表性。然而,这种方法需要引导在线生成的摘要来计算重要性分数回归的目标。我们认为这样的管道效率低下,并寻求直接量化的帧级的重要性的对比损失的帮助下,在表示学习文献。利用对比损失,我们提出了三个指标,具有理想的关键帧:局部相异性,全局一致性和唯一性。通过在图像分类任务中预先训练的特征,这些指标已经可以产生高质量的重要性分数,表现出比过去经过大量训练的方法更有竞争力或更好的性能。我们表明,通过使用轻量级的对比学习投影模块来细化预训练的特征,可以进一步提高帧级重要性分数,并且该模型还可以利用大量的随机视频并推广到测试性能良好的视频。代码可在https://github.com/pangzss/pytorch-CTVSUM获得。
2022-11-18 cs.CV