Transferable Knowledge-Based Multi-Granularity Aggregation Network for Temporal Action Localization: Submission to ActivityNet Challenge 2021
SenseTime Research（商汤科技研究院）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Shanghai AI Laboratory（上海人工智能实验室）
本技术报告概述了我们在提交2021 HACS时间动作本地化挑战赛时使用的解决方案，包括监督学习跟踪和弱监督学习跟踪。时间动作定位（TAL）不仅需要精确定位动作实例的时间边界，而且还需要将未修剪的视频准确分类到特定的类别中。然而，弱监督TAL指示仅使用视频级别的类标签来定位动作实例。为了训练一个有监督的时间动作定位器，本文采用时间上下文聚合网络（TCANet），通过“局部和全局”的时间上下文聚合和互补以及渐进的边界细化来生成高质量的动作建议。对于WSTAL，提出了一种新的框架来处理简单分类网络生成的CAS质量差的问题，该框架只能关注局部判别部分，而不能定位目标动作的整个区间。进一步受迁移学习方法的启发，我们还采用了一个额外的模块来将知识从修剪视频（HACS Clips数据集）转移到未修剪视频（HACS Segments数据集），旨在提高未修剪视频的分类性能。最后，我们采用了一个边界回归模块嵌入外部-内部-对比（OIC）的损失，自动预测边界的基础上增强的CAS。我们提出的方案实现了39.91和29.78平均mAP的挑战测试集的监督和弱监督的时间动作定位跟踪。
2021-07-27 cs.CV
Qiniu Submission to ActivityNet Challenge 2018
Qiniu AtLab（七牛AtLab）
在本文中，我们介绍了我们为Activitynet Challenge 2018提交的修剪活动识别（Kinetics）和修剪事件识别（Moments in Time）任务。在这两个任务中，非局部神经网络和时间段网络被实现为我们的基础模型。多模态线索，如RGB图像，光流和声信号也被用于我们的方法。我们还提出了新的非本地为基础的模型，进一步提高识别精度。集成模型后的最终提交在动力学验证集上达到83.5%的前1准确度和96.8%的前5准确度，在MIT验证集上达到35.81%的前1准确度和62.59%的前5准确度。
2018-06-12 cs.CV
Dense-Captioning Events in Videos: SYSU Submission to ActivityNet Challenge 2020
School of Data and Computer Science, Sun Yat-sen University（中山大学数据与计算机学院）；Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education（教育部机器智能与先进计算重点实验室）；Guangdong Province Key Laboratory of Information Security Technology（广东省信息安全技术重点实验室）
本技术报告简要描述了我们提交的ActivityNet Challenge 2020密集视频描述任务。我们的方法遵循两个阶段的管道：首先，我们提取一组时间事件的建议，然后我们提出了一个多事件字幕模型，以捕获事件级的时间关系，并有效地融合多模态信息。我们的方法在测试集上获得了9.28的METEOR分数。
2020-08-12 cs.CV
iqiyi Submission to ActivityNet Challenge 2019 Kinetics-700 challenge: Hierarchical Group-wise Attention
iqiyi, Inc.（爱奇艺公司）
在这份报告中，爱奇艺提交ActivityNet 2019 Kinetics-700挑战任务的方法被描述。模式集成阶段涉及三个模式：TSN，HG-NL和StNet。我们提出了分层组明智的非本地（HG-NL）模块的帧级特征聚合的视频分类。标准的非局部（NL）模块在视频分类任务中聚集帧级特征是有效的，但存在参数效率低和计算成本高。HG-NL方法涉及分层分组结构并生成多个注意力地图以增强性能。基于这种分层的分组结构，该方法具有竞争力的精度，更少的参数和更小的计算成本比标准NL。对于ActivityNet 2019 Kinetics-700挑战的任务，在模型集成之后，我们最终在测试集上获得了平均前1和前5错误百分比28.444%。
2020-02-07 cs.CV
CUHK & ETHZ & SIAT Submission to ActivityNet Challenge 2016
The Chinese University of Hong Kong（香港中文大学）；ETH Zurich（苏黎世联邦理工学院）；Shenzhen Institutes of Advanced Technology, CAS（中国科学院深圳先进技术研究院）
本文介绍了我们提交ActivityNet Challenge 2016未修剪视频分类任务的方法。我们遵循时间段网络的基本管道，并通过一些其他技术进一步提高性能。具体来说，我们使用最新的深度模型架构，例如，ResNet和Inception V3，并引入新的聚合方案（top-k和注意力加权池）。此外，我们将音频作为补充通道，通过应用于频谱图的CNN提取相关信息。通过这些技术，我们得到了一个深度模型的集合，这些模型在测试集上达到了很高的分类精度（mAP $93.23\%$），并在挑战中获得了第一名。
2016-08-02 cs.CV
Best Vision Technologies Submission to ActivityNet Challenge 2018-Task: Dense-Captioning Events in Videos
Best Vision Technologies Co., Ltd（最佳视觉科技有限公司）
本说明描述了我们对ActivityNet Challenge 2018视频任务中密集字幕事件的解决方案的详细信息。具体来说，我们用两阶段的方法解决这个问题，即，首先提出时间事件，然后生成句子。对于时间事件建议，我们直接利用[13，16]中的三阶段工作流。对于句子生成，我们利用基于LSTM的字幕框架与时间注意力机制（称为LSTM-T）。此外，基于LSTM的视频描述模型的输入视觉序列由RGB和光流图像组成。在推理方面，我们采用了一种后期融合方案，将两种基于LSTM的字幕模型融合在一起生成句子。
2018-06-25 cs.CV
Untrimmed Video Classification for Activity Detection: submission to ActivityNet Challenge
Oxford Brookes University（牛津布鲁克斯大学）
当前最先进的人类活动识别集中在时间修剪视频的分类上，其中每帧仅发生一个动作。我们提出了一个简单的，但有效的，在时间上未修剪的视频与未修剪的分类的帮助下，活动的时间检测方法。首先，我们的模型通过分析全局视频级特征来预测每个未修剪视频的前k个标签。其次，将帧级二进制分类与动态规划相结合，以生成时间修剪的活动建议。最后，基于全局标签为每个提议分配标签，并且用时间活动提议的分数和全局分数来评分。最后，我们表明，未修剪的视频分类模型可以用作时间检测的垫脚石。
2016-07-12 cs.CV
Exploiting Spatial-Temporal Modelling and Multi-Modal Fusion for Human Action Recognition
Baidu Research（百度研究院）
在本报告中，我们详细描述了处理ActivityNet 2018 Kinetics-600挑战任务的方法。虽然时空建模方法采用诸如I3 D \cite{i3d}的端到端框架或两阶段框架（即，CNN+RNN），对于这一任务，现有的技术水平已经提出，视频建模还远没有得到很好的解决。在这个挑战中，我们提出了时空网络（StNet）更好的联合时空建模和全面的视频理解。此外，考虑到视频源中包含多模态信息，本文提出了一种改进的时域Xception网络（iTXN），用于视频理解，实现了多模态信息的早期融合和后期融合。在Kinetics-600验证集上，StNet RGB单模型的top-1精度达到78.99%，而改进的时间Xception网络集成了RGB、流和音频模态，其top-1精度达到82.35%。模型集成后，我们达到了前1精度高达85.0\%的验证集和排名第1的所有提交。
2018-06-27 cs.CV
UniCon+: ICTCAS-UCAS Submission to the AVA-ActiveSpeaker Task at ActivityNet Challenge 2022
University of Chinese Academy of Sciences（中国科学院大学）
本报告简要介绍了我们在ActivityNet Challenge 2022中为AVA主动扬声器检测（ASD）任务提供的获奖解决方案。我们的底层模型UniCon+继续建立在我们以前的工作基础上，统一上下文网络（UniCon）和扩展UniCon，它们是为强大的场景级ASD而设计的。我们用一个简单的基于GRU的模块来增强架构，该模块允许重复出现的身份信息通过读取和更新操作跨场景流动。我们在AVA-ActiveSpeaker测试集上报告了94.47% mAP的最佳结果，该测试集继续在今年的挑战排行榜上排名第一，并显着推动了最先进的水平。
2022-06-22 cs.CV cs.SD eess.AS
Grounding-MD: Grounded Video-language Pre-training for Open-World Moment Detection
Harbin Institute of Technology（哈尔滨工业大学）；Pengcheng Laboratory（鹏城实验室）；Peking University（北京大学）
Grounding-MD提出基于视频语言预训练的开放世界时刻检测框架，通过结构化提示整合任意数量自然语言查询，利用跨模态融合编码器和文本引导解码器实现视频-文本对齐，在四个基准数据集上取得零样本与监督设置下的最优性能。
2025-04-20 cs.CV
Class Semantics-based Attention for Action Detection
University of Waterloo（滑铁卢大学）
动作定位网络通常被构造为特征编码器子网络和定位子网络，其中特征编码器学习将输入视频转换为对定位子网络有用的特征，以生成可靠的动作建议。虽然一些编码特征对于生成动作提议可能更有用，但是现有的动作定位方法不包括使得定位子网络能够更多地关注更重要的特征的任何注意力机制。在本文中，我们提出了一种新的注意力机制，类语义为基础的注意力（CSA），学习的时间分布的语义存在于输入视频中的动作类，找到编码的功能，这是用来提供注意更有用的编码功能的重要性分数。我们在两个流行的动作检测数据集上证明，结合我们的新的注意力机制可以在竞争性动作检测模型上提供相当大的性能增益（例如，在THUMOS-14数据集上获得47.5%的mAP，比BMN动作检测基线提高约6.2%，在ActivityNet v1.3数据集上获得36.25%的mAP。此外，包括BMN-CSA在内的CSA本地化模型系列是2021年ActivityNet行动本地化挑战赛第二名的一部分。我们的注意力机制在动作检测任务中的表现优于先前的自我注意力模块，如挤压和兴奋。我们还观察到，我们的注意力机制与这种自我注意力模块是互补的，因为当两者一起使用时，可以看到性能的改进。
2021-09-06 cs.CV
Hear Me Out: Fusional Approaches for Audio Augmented Temporal Action Localization
IIIT Hyderabad（印度信息技术与管理大学海得拉巴分校）；CVIT（计算机视觉与图像技术中心）
用于未修剪视频时间动作定位（TAL）的现有技术架构仅考虑RGB和流模态，使得信息丰富的音频模态完全未被利用。音频融合已经被探索用于相关但可以说更容易的修剪（剪辑级）动作识别问题。然而，TAL提出了一系列独特的挑战。在本文中，我们提出了简单但有效的融合为基础的TAL的方法。据我们所知，我们的工作是第一个共同考虑监督TAL的音频和视频模式。我们的实验表明，我们的计划始终提高性能的最先进的视频只有TAL方法。具体来说，它们有助于在大规模基准数据集上实现最先进的性能- ActivityNet-1.3（54.34 mAP@0.5）和THUMOS 14（57.18 mAP@0.5）。我们的实验包括涉及多种融合方案，模态组合和TAL架构的消融。我们的代码、模型和相关数据可在https://github.com/skelemoa/tal-hmo上获得。
2021-10-17 cs.CV cs.MM
Two-Stream Consensus Network: Submission to HACS Challenge 2021 Weakly-Supervised Learning Track
State University of New York at Buffalo（纽约州立大学布法罗分校）
本技术报告介绍了我们对HACS时间动作本地化挑战2021的解决方案，弱监督学习跟踪。弱监督时间动作定位的目标是在仅给定视频级标签的情况下对未修剪视频中的感兴趣动作进行时间定位和分类。我们采用双流共识网络（TSCN）作为本次挑战的主要框架。TSCN由两个流基本模型训练过程和伪地面真值学习过程组成。基础模型训练鼓励模型基于单一模态（即，RGB或光流），基于其融合，生成伪地面实况，并进而用作监督以训练基本模型。在HACS v1.1.1数据集上，在没有微调特征提取I3D模型的情况下，我们的方法在平均mAP方面在验证集上达到22.20%，在测试集上达到21.68%。我们的解决方案在这项挑战中排名第二，我们希望我们的方法可以作为未来学术研究的基线。
2022-04-17 cs.CV
Naver at ActivityNet Challenge 2019 -- Task B Active Speaker Detection (AVA)
Naver Corporation（NAVER 公司）
本报告描述了我们在CVPR 2019上提交的ActivityNet挑战。我们使用基于3D卷积神经网络（CNN）的前端和时间卷积和LSTM分类器的集成来预测可见的人是否在说话。我们的研究结果显示，在AVA-ActiveSpeaker数据集上的基线上有显着改进。
2019-06-25 cs.CV cs.SD eess.AS
VindLU: A Recipe for Effective Video-and-Language Pretraining
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Indiana University（印第安纳大学）
本文通过实证研究揭示视频与语言预训练的关键设计因素，提出VindLU方案，无需外部CLIP预训练即在多项VidL任务上达到或超越SOTA。
2023-04-05 cs.CV
Rethinking the Faster R-CNN Architecture for Temporal Action Localization
University of Michigan（密歇根大学）；Google Research（谷歌研究院）
我们提出了TAL-Net，这是一种改进的视频中时间动作定位方法，其灵感来自Faster R-CNN目标检测框架。TAL-Net解决了现有方法的三个关键缺点：（1）我们使用多尺度架构来改进感受野对齐，该架构可以适应动作持续时间的极端变化;（2）我们通过适当扩展感受野来更好地利用动作的时间上下文来进行建议生成和动作分类;以及（3）我们明确地考虑了多流特征融合，并证明了融合运动延迟是重要的。我们在THUMOS的14个检测基准上的行动建议和本地化方面都取得了最先进的性能，在ActivityNet挑战赛上也取得了有竞争力的性能。
2018-04-20 cs.CV
Multi-Level LVLM Guidance for Untrimmed Video Action Recognition
Kunming University of Science and Technology（昆明理工大学）
针对未剪辑视频动作识别与定位的挑战，提出事件上下文视频Transformer（ECVT），通过双分支设计利用LVLM生成多粒度语义描述，在ActivityNet v1.3和THUMOS14数据集上取得优于基线的性能。
2025-08-24 cs.CV
Learning Optical Flow and Scene Flow with Bidirectional Camera-LiDAR Fusion
Nanjing University（南京大学）
本文提出基于双向相机-激光雷达融合的端到端框架CamLiPWC和CamLiRAFT，联合估计光流与场景流，在多个基准上显著降低误差并排名领先。
2024-04-08 cs.CV
Improving Weakly Supervised Temporal Action Localization by Bridging Train-Test Gap in Pseudo Labels
The Chinese University of Hong Kong（香港中文大学）；Centre for Perceptual and Interactive Intelligence（香港感知与交互智能研究中心）；Beihang University（北京航空航天大学）
本文针对弱监督时序动作定位中训练与测试不一致的问题，提出高斯加权融合、约束优化伪标签生成和Δ伪标签自我校正机制，在THUMOS14和ActivityNet1.3上显著提升了定位性能。
2023-04-17 cs.CV
End-to-end Multi-modal Video Temporal Grounding
University of California, Merced（加利福尼亚大学默塞德分校）；Phiar；Yonsei University（延世大学）；Google Research（谷歌研究院）
我们解决的问题，文本引导的视频时间接地，其目的是确定的时间间隔的基础上的自然语言描述的某个事件。与现有的大多数只考虑RGB图像作为视觉特征的方法不同，我们提出了一个多模态框架来从视频中提取互补信息。具体来说，我们采用RGB图像的外观，光流的运动，和深度图的图像结构。虽然RGB图像提供了某些事件的丰富视觉线索，但性能可能会受到背景杂波的影响。因此，我们使用光流来关注大的运动和深度图，以推断场景配置时，动作与可识别的对象与它们的形状。为了更有效地整合这三种模态，并实现模态间学习，我们设计了一个动态融合方案与Transformers建模模态之间的相互作用。此外，我们应用模态内自监督学习来增强每个模态的视频特征表示，这也有助于多模态学习。我们在Charades-STA和ActivityNet字幕数据集上进行了广泛的实验，并表明所提出的方法与最先进的方法相比表现良好。
2021-10-28 cs.CV
Action Spotting using Dense Detection Anchors Revisited: Submission to the SoccerNet Challenge 2022
Yahoo Research（雅虎研究院）
这份简短的技术报告描述了我们对2022年Action Spotting SoccerNet挑战赛的提交。该挑战是CVPR 2022 ActivityNet研讨会的一部分。我们的提交是基于最近提出的一种方法，该方法侧重于通过一组密集采样的检测锚来提高时间精度。由于其强调时间精度，这种方法在紧平均mAP度量方面表现出显着的改进。紧平均-mAP被用作挑战的评价标准，并且使用小的时间评价公差来定义，因此对小的时间误差更敏感。为了进一步改善结果，我们在预处理和后处理步骤中引入了一些小的变化，并通过后期融合来组合不同的输入特征类型。这些变化带来了改进，帮助我们在挑战中获得了第一名，并且在使用数据集的标准实验协议时，也导致了SoccerNet测试集的新的最先进水平。本报告简要回顾了基于密集检测锚点的动作定位方法，然后重点介绍了针对挑战引入的修改。我们还描述了我们使用的实验协议和培训程序，最后提出我们的结果。
2022-08-03 cs.CV
LoSA: Long-Short-range Adapter for Scaling End-to-End Temporal Action Localization
Microsoft（微软）；University of Guelph（圭尔夫大学）；Vector Institute for AI（向量人工智能研究院）
针对大型视频基础模型适配TAL时GPU内存过大的问题，提出LoSA这一首个专为TAL设计的内存和参数高效骨干适配器，通过长短程适配器及门控融合提升特征，在标准基准上显著优于现有方法。
2024-12-05 cs.CV
TBT-Former: Learning Temporal Boundary Distributions for Action Localization
Dept. of Computer Science \& Engineering University of Moratuwa Sri Lanka
TBT-Former通过改进的Transformer架构和边界分布回归头，提升动作定位性能，实现THUMOS14和EPIC-Kitchens 100数据集上的新高。
2025-12-01 cs.CV
Cross-modal Consensus Network for Weakly Supervised Temporal Action Localization
Sun Yat-sen University（中山大学）；Peng Cheng Laboratory（鹏城实验室）；Tencent PCG（腾讯平台与内容事业群）；HKUST（香港科技大学）；Pazhou Lab（琶洲实验室）
弱监督时间动作定位（WS-TAL）是一项具有挑战性的任务，旨在通过视频级别的分类监督来定位给定视频中的动作实例。在以往的作品中，外观和运动特征都被使用，但他们没有以适当的方式利用它们，而是应用简单的串联或分数级融合。在这项工作中，我们认为，从预训练提取器中提取的特征，例如，I3 D不是WS-TAL任务特定的特征，因此需要特征重新校准以减少与任务无关的信息冗余。因此，我们提出了一个跨模态共识网络（CO2-Net）来解决这个问题。在CO2-Net中，我们主要介绍了两个相同的跨模态共识模块（CCM），设计了一个跨模态的注意力机制，利用主模态的全局信息和辅助模态的跨模态局部信息过滤掉与任务无关的信息冗余。此外，我们把来自每个CCM的注意力权重作为来自另一个CCM的注意力权重的伪目标，以保持来自两个CCM的预测之间的一致性，形成一种相互学习的方式。最后，我们在两个常用的时间动作定位数据集，THUMOS 14和ActivityNet1.2上进行了广泛的实验，以验证我们的方法，并取得了最先进的结果。实验结果表明，我们提出的跨模态共识模块可以产生更多的时间动作定位的代表性特征。
2021-07-27 cs.CV
Video sentence grounding with temporally global textual knowledge
Nanyang Technological University（南洋理工大学）；The Hong Kong Polytechnic University（香港理工大学）
针对视频句子定位中模态间的领域差距问题，提出伪查询中介网络（PIN），利用时间全局文本知识的伪查询特征，通过对比学习和可学习提示增强多模态特征对齐，在Charades-STA和ActivityNet-Captions数据集上验证了有效性。
2024-06-01 cs.CL cs.CV
Localizing Unseen Activities in Video via Image Query
Zhejiang University（浙江大学）；University of Electronic Science and Technology of China（电子科技大学）
未裁剪视频中的动作定位是视频理解领域的一个重要课题。然而，现有的动作定位方法仅限于一组预定义的动作，不能定位看不见的活动。因此，我们考虑一个新的任务，通过图像查询定位视频中看不见的活动，命名为基于图像的活动定位。该任务面临三个内在挑战：（1）如何消除图像查询中语义无关内容的影响;（2）如何处理不准确图像查询的模糊定位;（3）如何确定目标段的精确边界。然后，我们提出了一种新的自我注意力交互定位检索看不见的活动在一个端到端的方式。具体来说，我们首先设计了一个区域自注意方法与相对位置编码学习细粒度的图像区域表示。然后，我们使用一个本地的Transformer编码器来建立图像和视频内容的多步融合和推理。接下来，我们采用顺序敏感的定位器直接检索目标段。此外，我们通过重组ActivityNet数据集来构建新的数据集ActivityIBAL。大量的实验表明了该方法的有效性。
2019-06-28 cs.CV cs.IR
Semi-Parametric Video-Grounded Text Generation
NAVER AI Lab（NAVER人工智能实验室）；KAIST AI（韩国科学技术院人工智能学院）；SNU AIIS（首尔国立大学人工智能研究所）
有效的视频语言建模应该考虑计算成本，因为大量的，有时难以处理的，视频帧的数量。诸如注意力机制的参数方法可能不是理想的，因为其计算成本随着视频长度的增加而二次增加。相反，以前的研究依赖于离线特征提取或帧采样来有效地表示视频，专注于短视频剪辑中的跨模态建模。在本文中，我们提出了一个半参数的视频接地的文本生成模型，SeViT，一个新的角度可扩展的视频语言建模对长未修剪的视频。将视频视为外部数据存储，SeViT包括非参数帧检索器，用于从数据存储中为给定查询选择几个查询相关帧，以及参数生成器，用于通过后期融合方法有效地将帧与查询聚合。实验结果表明，该方法在较长视频和因果视频理解中具有明显的优势。此外，我们的模型在四个视频语言数据集上达到了最新的技术水平，iVQA（+4.8），Next-QA（+6.9）和Activitynet-QA（+4.8）的准确性，以及CIDEr中的MSRVTT-Caption（+3.6）。
2023-01-27 cs.CL cs.CV cs.LG
Exploration of Visual Features and their weighted-additive fusion for Video Captioning
Indian Institute of Technology Dharwad（达尔瓦德印度理工学院）；UltraInstinct AI
视频描述是一个流行的任务，挑战模型使用自然语言描述视频中的事件。在这项工作中，我们调查的能力，各种视觉特征表示来自国家的最先进的卷积神经网络捕捉高层次的语义上下文。我们介绍了加权加法融合Transformer与内存增强编码器（WAFTM），字幕模型，将内存中的Transformer编码器，并使用一种新的方法，融合功能，确保适当的重要性给予更重要的表示。我们说明了通过应用词块令牌化和流行的REINFORCE算法实现的性能增益。最后，我们在两个数据集上对我们的模型进行了基准测试，并在MSVD上获得了92.4的CIDER，在ActivityNet Captions数据集上获得了0.091的METEOR。
2021-01-14 cs.CV
Team PyKale (xy9) Submission to the EPIC-Kitchens 2021 Unsupervised Domain Adaptation Challenge for Action Recognition
本报告描述了我们提交给EPIC-Kitchen 2021无监督领域自适应行动识别挑战赛的技术细节。EPIC-Kitchener数据集由于具有更多模态的多任务而比其他视频领域自适应数据集更困难。首先，为了参与挑战，我们使用了一个Transformer来捕获每个模态的空间信息。其次，我们采用了一个时间的注意力模块来模拟时间方面的相互依赖。第三，我们使用对抗性领域自适应网络来学习标记源和未标记目标域之间的一般特征。最后，我们将多种模态，以提高性能的三流网络与后期融合。我们的网络实现了与最先进的基线T $A^3$ N相当的性能，并且在动词类的前1准确率和动词、名词和动作这三个任务的前5准确率上优于基线。在团队名称xy 9下，我们的提交在动词类的前1准确度和所有前5准确度方面获得了第5名。
2021-08-09 cs.CV
FPSRS: A Fusion Approach for Paper Submission Recommendation System
AISIA Research Lab（AISIA研究实验室）；Vietnam National University in Ho Chi Minh City University of Science（胡志明市国家大学科学大学）
推荐系统在娱乐和消费中越来越受欢迎，在学术界也很明显，特别是建议向科学家提交科学文章的应用程序。然而，由于不同出版商的接受率，影响因子和排名不同，寻找合适的地点或期刊来提交科学工作通常需要花费大量的时间和精力。在本文中，我们的目标是通过使用RNN结构以及Conv 1D，从我们在IAE/AIE 2021会议上提出的论文[13]中扩展两种新方法。此外，我们还引入了一种新的方法，即DistilBertAims，使用DistillBert对小写和小写两种情况的单词进行矢量化，如标题，摘要和关键字，然后使用Conv 1d进行特征提取。此外，我们提出了一种新的计算方法，为目标和范围与其他功能的相似性得分;这有助于保持相似性得分计算的权重不断更新，然后继续适合更多的数据。实验结果表明，第二种方法可以获得更好的性能，在Top 1准确率方面，比以前的研究[13]中的最佳方法提高了62.46%和12.44%。
2022-05-12 cs.CV cs.IR
NTIRE 2026 The 3rd Restore Any Image Model (RAIM) Challenge: Multi-Exposure Image Fusion in Dynamic Scenes (Track 2)
本文提出NTIRE 2026挑战，针对动态场景中多曝光图像融合的HDR成像难题，提供包含100训练序列和100测试序列的基准数据集，评估PSNR、SSIM、LPIPS等指标及感知质量，最终由114支队伍提交987份方案，提升去噪和细节恢复能力。
2026-04-10 cs.CV
Detecting Spoofing Attacks Using VGG and SincNet: BUT-Omilia Submission to ASVspoof 2019 Challenge
Brno University of Technology（布尔诺理工大学）；Omilia - Conversational Intelligence（Omilia对话智能公司）
在本文中，我们介绍了布尔诺理工大学（BUT）和Omilia共同努力的系统描述-ASVSpoof 2019欺骗和对策挑战的对话智能。物理访问（PA）的主要提交是两个VGG网络的融合，在单通道和双通道功能上进行训练。对于逻辑访问（LA），我们的主要系统是VGG和最近推出的SincNet架构的融合。PA测试结果表明，所提出的网络在所有条件下都具有很强的竞争力，与官方基线相比，相对性能提高了86%.另一方面，LA的结果表明，尽管所提出的架构和训练策略在某些欺骗攻击上表现得非常好，但它无法推广到某些在训练过程中看不到的攻击。
2019-07-13 cs.AI cs.CR cs.CV
Multi-Level Temporal Pyramid Network for Action Detection
Huazhong University of Science and Technology（华中科技大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
目前，单阶段框架已被广泛应用于时间动作检测，但他们仍然遭受的挑战，动作实例跨越很大的时间范围。原因是这些单级检测器，例如，Single Shot Multi-Box Detector（SSD），仅对每个头部应用单层层来提取时间特征，这不足以区分执行分类和回归。在本文中，我们提出了一个多层次的时间金字塔网络（MLTPN），以提高区分的功能。特别地，我们首先融合来自具有不同时间分辨率的多个层的特征，以编码多层时间信息。然后，我们应用一个多层次的特征金字塔架构的功能，以提高他们的区分能力。最后，设计了一个简单有效的特征融合模块，对多层次多尺度特征进行融合。通过这种方式，所提出的MLTPN可以学习丰富的和区分不同的动作实例与不同的持续时间的功能。我们在两个具有挑战性的数据集上对MLTPN进行了评估：THUMOS'14和Activitynet v1.3，实验结果表明，MLTPN在Activitynet v1.3上获得了具有竞争力的性能，并在THUMOS'14上显著优于最先进的方法。
2020-08-07 cs.CV
Bidirectional Attentive Fusion with Context Gating for Dense Video Captioning
South China University of Technology（华南理工大学）；Tencent AI Lab（腾讯人工智能实验室）
密集视频描述是一个新兴的任务，旨在定位和描述视频中的所有事件。我们确定并解决了这一任务的两个挑战，即（1）如何利用过去和未来的上下文进行准确的事件建议预测，以及（2）如何为解码器构建信息输入以生成自然事件描述。首先，以前的作品主要是在向前的方向上生成时间事件建议，这忽略了未来的视频上下文。我们提出了一个双向的建议方法，有效地利用过去和未来的情况下，使建议预测。第二，在（几乎）同一时间结束的不同事件在以前的作品中无法区分，导致相同的标题。我们通过用来自提议模块和视频内容的隐藏状态的精心融合来表示每个事件来解决这个问题（例如，C3D功能）。我们进一步提出了一种新的上下文门控机制，以平衡当前事件及其周围的上下文动态的贡献。我们的经验表明，我们用心融合的事件表示优于单独的建议隐藏状态或视频内容。通过将提案和字幕模块耦合到一个统一的框架中，我们的模型在ActivityNet Captions数据集上的表现优于最先进的技术，相对增益超过100%（Meteor得分从4.82增加到9.65）。
2018-04-03 cs.CV
TAP-JEPA: Frozen Future-Latent Probing and Two-Stage Score Fusion for EPIC-KITCHENS-100 Action Anticipation
Beihang University（北航大学）
提出TAP-JEPA方法，利用冻结的V-JEPA 2.1特征和两阶段分数融合，在EPIC-KITCHENS-100动作预测挑战中获得第二名。
2026-05-30 cs.CV
CLOCs: Camera-LiDAR Object Candidates Fusion for 3D Object Detection
Michigan State University（密歇根州立大学）
神经网络在使用LiDAR的3D目标检测和使用视频的2D目标检测方面都有了显著的进步。然而，令人惊讶的是，很难训练网络有效地使用这两种模式的方式，证明增益超过单一模式的网络。在本文中，我们提出了一种新的相机-激光雷达目标候选者（CLOC）融合网络。CLOC融合提供了一个低复杂度的多模态融合框架，显著提高了单模态检测器的性能。CLOC在任何2D和任何3D检测器的非最大值抑制（NMS）之前对组合输出候选进行操作，并被训练以利用其几何和语义特征来产生更准确的最终3D和2D检测结果。我们的实验评估具有挑战性的KITTI目标检测基准，包括3D和鸟瞰图的指标，显示出显着的改善，特别是在长距离，在国家的最先进的融合为基础的方法。在提交时，CLOC在KITTI官方排行榜上的所有基于融合的方法中排名最高。我们将在接受后发布代码。
2020-09-02 cs.CV
Multi-domain semantic segmentation with pyramidal fusion
University of Zagreb Faculty of Electrical Engineering and Computing（萨格勒布大学电气工程与计算学院）
我们提交了我们提交的语义分割竞赛的鲁棒视觉挑战在ECCV 2020举行。比赛要求提交相同的模型到来自三个不同领域的七个基准测试。我们的方法是基于金字塔融合的SwiftNet架构。我们解决了不一致的分类与单级193维softmax输出。我们努力用大批量进行训练，以稳定硬识别问题的优化，并有利于batchnorm统计的平滑演变。我们通过使用log-sum-prob loss实现自定义的向后步骤，并在冻结人口统计数据之前使用小作物来实现这一点。我们的模型在RVC语义分割挑战和WildDash 2排行榜上排名第一。这表明金字塔融合不仅在轻量级骨干的高效推理方面具有竞争力，而且在多领域应用的大规模设置中也具有竞争力。
2021-10-07 cs.CV
AVATAR submission to the Ego4D AV Transcription Challenge
Google Research（谷歌研究院）
在这份报告中，我们描述了我们提交给Ego 4D视听（AV）语音转录挑战赛2022。我们的流水线基于AVATAR，AVATAR是AV-ASR的最先进的编码器-解码器模型，可执行频谱图和RGB图像的早期融合。我们描述了数据集，实验设置和消融。我们的最终方法在挑战测试集上实现了68.40的WER，超过基线43.7%，并赢得了挑战。
2022-11-18 cs.CV cs.MM cs.SD
Local Region Perception and Relationship Learning Combined with Feature Fusion for Facial Action Unit Detection
University of Science and Technology of China（中国科学技术大学）
人类情感行为分析在人机交互系统中起着至关重要的作用。在本文中，我们介绍了我们提交的CVPR 2023年情感行为分析比赛（ABAW）。我们提出了一个单阶段训练的AU检测框架。具体来说，为了有效地提取与AU检测相关的面部局部区域特征，我们使用局部区域感知模块来有效地提取不同AU的特征。同时，我们使用一个基于图神经网络的关系学习模块来捕捉AU之间的关系。此外，考虑到目标人脸的整体特征对AU检测的作用，我们还利用特征融合模块对骨干网络提取的特征信息和关系学习模块提取的AU特征信息进行融合。我们还采用了一些抽样方法、数据增强技术和后处理策略来进一步提高模型的性能。
2023-03-19 cs.CV
VIPriors Object Detection Challenge
DeepBlue Technology (Shanghai) Co., Ltd（深兰科技（上海）有限公司）
本文是一个简短的报告，我们提交的VIPriors目标检测挑战。目标检测因其广泛的应用而引起了众多研究者的关注，但它仍然是一个具有挑战性的课题。本文研究分析了数据的特点，提出了一种有效的数据增强方法。我们从零开始仔细选择更适合训练的模型。巧妙地使用软网络和模型融合技术，使我们受益匪浅。
2020-07-16 cs.CV
Transformer-based Multimodal Information Fusion for Facial Expression Analysis
Netease Fuxi AI Lab（网易伏羲人工智能实验室）
人类情感行为分析是人机交互领域的研究热点。在本文中，我们介绍了我们提交的CVPR 2022年情感行为分析比赛（ABAW）。为了充分利用来自多个视图的情感知识，我们利用了从Aff-Wild 2数据集中的视频剪辑中提取的口语、语音韵律和面部表情的多模态特征。基于这些特征，我们提出了一个统一的基于transformer的多模态框架，用于动作单元检测和表情识别。具体地，首先从当前帧图像编码静态视觉特征。同时，通过滑动窗口裁剪相邻帧，从图像、音频和文本序列中提取三种多模态特征。然后，我们介绍了一个基于transformer的融合模块，它集成了静态视觉特征和动态多模态特征。融合模块中的交叉注意模块使输出的综合特征集中在关键部位，有利于下游检测任务的完成。我们还利用一些数据平衡技术，数据增强技术和后处理方法，以进一步提高模型的性能。在ABAW 3比赛的官方测试中，我们的模型在EXPR和AU赛道中排名第一。广泛的定量评估，以及对Aff-Wild 2数据集的消融研究，证明了我们所提出的方法的有效性。
2022-04-18 cs.CV
SparseLIF: High-Performance Sparse LiDAR-Camera Fusion for 3D Object Detection
SenseTime Research（商汤科技研究院）；College of Computer Science, Sichuan University（四川大学计算机学院）
针对稀疏3D目标检测器性能弱于密集型的问题，提出含视角感知查询生成、RoI感知采样、不确定性感知融合的SparseLIF全稀疏多模态检测器，在nuScenes数据集上实现SOTA性能。
2024-07-10 cs.CV
PipeNet: Selective Modal Pipeline of Fusion Network for Multi-Modal Face Anti-Spoofing
Intel（英特尔）
由于呈现攻击的猖獗和容易发起，面部反欺骗已经成为认证系统的一个越来越重要和关键的安全功能。针对多模态人脸数据集的不足，CASIA近日发布了最新的CASIA-SURF跨种族人脸反欺骗（CeFA）数据集，涵盖3个种族、3种模态、1607个主题、4种协议的2D +3D攻击类型，重点解决跨种族、多模态连续数据中人脸反欺骗泛化能力的提升问题。在本文中，我们提出了一种新的基于流水线的多流CNN架构称为PipeNet的多模态人脸反欺骗。与以前的作品不同，选择性模态管道（SMP）旨在为每种数据模态提供定制的管道，以充分利用多模态数据。有限帧投票（LFV）的目的是确保稳定和准确的预测视频分类。该方法在Chalearn多模态跨种族人脸反欺骗识别论坛@CVPR2020的最终排名中获得第三名。我们最终提交的测试集上的平均分类出错率（ACER）为2.21，标准差为1.26。
2020-04-24 cs.CV
QuAVF: Quality-aware Audio-Visual Fusion for Ego4D Talking to Me Challenge
National Taiwan University（国立台湾大学）；NVIDIA（英伟达）
本文提出 QuAVF 方法参与 Ego4D TTM 挑战赛，采用双独立模型处理音视频以利用全部数据，并引入人脸质量分数过滤噪声及进行质量感知融合，以 67.4% 的 mAP 取得第一。
2023-06-30 cs.CV
Revisiting the Effectiveness of Off-the-shelf Temporal Modeling Approaches for Large-scale Video Classification
Baidu IDL（百度深度学习研究院）；Tsinghua University（清华大学）
本文介绍了我们的解决方案的视频识别任务的ActivityNet动力学的挑战，排名第一位。大多数现有的最先进的视频识别方法都支持端到端的流水线。一个例外是DevNet框架。DevNet的优点是，他们首先使用视频数据来学习网络（即从头开始微调或训练）。他们不是直接使用端到端分类分数（例如softmax分数），而是从学习的网络中提取特征，然后将其输入到现成的机器学习模型中进行视频分类。然而，这条线的工作成效却长期被忽视和低估。在本申请中，我们广泛使用了这一策略。特别地，我们研究了四种使用学习特征的时间建模方法：多组转移注意力网络，时间感知网络，多流序列模型和快进序列模型。具有挑战性的动力学数据集上的实验结果表明，我们提出的时间建模方法可以显着改善现有的方法在大规模的视频识别任务。最值得注意的是，我们最好的单个多组转移注意力网络在验证集上的前1准确率为77.7%，前5准确率为93.2%。
2017-08-12 cs.CV
Multi-Agent Reinforcement Learning Based Frame Sampling for Effective Untrimmed Video Recognition
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Baidu Inc.（百度公司）
视频识别技术引起了人们的极大兴趣，并取得了很大的进展。合适的帧采样策略可以提高识别的准确率和效率。然而，主流解决方案通常采用手工制作的帧采样策略进行识别。它可能会降低性能，特别是在未经修剪的视频，由于帧级显著性的变化。为此，我们专注于通过开发基于学习的帧采样策略来改进未修剪视频分类。我们直观地制定了帧采样过程作为多个并行马尔可夫决策过程，其中每个过程的目的是挑选出一个帧/剪辑逐渐调整初始采样。然后，我们提出了解决问题的多智能体强化学习（MARL）。我们的MARL框架是由一个新的基于RNN的上下文感知观察网络，它联合模型附近的代理和特定代理的历史状态之间的上下文信息，一个策略网络，它产生的概率分布在一个预定义的动作空间在每一步和一个分类网络的奖励计算，以及最终识别。大量的实验结果表明，我们的MARL为基础的计划显着优于手工制作的各种2D和3D基线方法的战略。我们的单一RGB模型实现了与ActivityNet v1.3冠军提交相当的性能，具有多模态多模型融合以及YouTube Birds和YouTube Cars上的最新结果。
2019-08-02 cs.CV
M2HF: Multi-level Multi-modal Hybrid Fusion for Text-Video Retrieval
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Donghua University（东华大学）；Tencent（腾讯）
视频包含多模态的内容，探索多层次的跨模态交互与自然语言查询可以提供很大的突出文本视频检索任务（TVR）。然而，将大规模预训练模型CLIP应用于TVR的新趋势方法并不关注视频中的多模态线索。此外，传统的方法简单地连接多模态特征，没有利用视频中的细粒度跨模态信息。在本文中，我们提出了一个多层次的多模态混合融合（M2 HF）网络，以探索全面的文本查询和视频中的每一个模态内容之间的相互作用。具体地说，M2 HF首先利用CLIP提取的视觉特征与从视频中提取的音频和运动特征进行早期融合，分别获得视听融合特征和运动视觉融合特征。在此过程中还考虑了多模态对准问题。然后，从视频中提取的视觉特征、视听融合特征、运动视觉融合特征和文本以多层次的方式与字幕查询建立跨模态关系。最后对各级检索结果进行后期融合，得到最终的文本-视频检索结果。我们的框架提供了两种训练策略，包括集成方式和端到端的方式。此外，提出了一种新的多模态平衡损失函数来平衡每个模态的贡献，以实现高效的端到端训练。M2 HF允许我们在各种基准上获得最先进的结果，例如，在MSR-VTT，MSVD，LSMDC，DiDeMo和ActivityNet上的Rank@1分别为64.9%，68.2%，33.2%，57.1%，57.8%。
2022-08-16 cs.CV cs.MM
EgoAction: Egocentric Action Composition with Reliability-Aware Temporal Fusion for the EPIC-KITCHENS Action Detection Challenge at CVPR 2026
Shandong University（山东大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
提出 EgoAction 统一解耦检测与融合流水线，通过动态加权融合（DWF）自适应组合动词和名词检测流，解决自我中心视频中动作边界定位的可靠性问题。
2026-06-04 cs.CV
UniMD: Towards Unifying Moment Retrieval and Temporal Action Detection
Meituan Inc.（美团公司）
该研究提出统一架构UniMD，将时序动作检测与时刻检索的输入映射到公共嵌入空间，结合预训练与协同训练的融合学习方法，实现两任务相互促进，在三个配对数据集上取得了当前最优结果。
2024-07-11 cs.CV
Mutilmodal Feature Extraction and Attention-based Fusion for Emotion Estimation in Videos
Anhui University（安徽大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
随着人机交互技术的不断发展，情感计算成为可能。在本文中，我们介绍了我们提交的CVPR 2023年情感行为分析比赛（ABAW）。人机交互中的情感分析应尽可能从多个维度入手，填补单一的不完善情感通道，最终通过拟合多个结果来确定情感倾向。因此，我们利用多模态特征提取不同长度的视频从竞争数据集，包括音频，姿势和图像。消息灵通的情绪表示驱使我们提出一个基于注意力的多模态框架的情绪估计。我们的系统在验证数据集上实现了0.361的性能。代码可以在[https：//github.com/xkwangcn/ABAW-5th-RT-IAI]上找到。
2023-03-18 cs.AI cs.CV
Reason-Then-Retrieve for CoVR-R with Structured Edit Prompts and Dense-Sparse Fusion
Beijing University of Posts and Telecommunications（北京邮电大学）
针对CoVR-R任务，提出一种零样本的“先推理后检索”流水线，利用Qwen3.5-27B生成结构化描述和密集嵌入，并结合TF-IDF稀疏分支进行融合排序，在验证集和测试集上取得了领先性能。
2026-08-24 cs.CV
Graph Neural Network for Video Relocalization
在本文中，我们专注于视频重定位任务，它使用查询视频片段作为输入检索语义相关的视频片段在另一个未修剪的长视频。我们发现在视频重定位数据集中，存在帧间特征相似度与视频间特征相似度不存在一致关系的现象，影响了帧间特征融合。针对这一现象，本文将视频特征看作一个图，将查询视频特征和建议视频特征沿时间维连接起来，每个时间步看作一个节点，特征矩阵的每一行看作每个节点的特征。然后，利用图神经网络的强大功能，我们提出了一个多图特征融合模块来融合该图的关系特征。在ActivityNet v1.2数据集和Thumos14数据集上评估我们的方法后，我们发现我们提出的方法优于现有的方法。
2022-01-26 cs.CV cs.LG eess.IV
Many Heads but One Brain: Fusion Brain -- a Competition and a Single Multimodal Multitask Architecture
University of Helsinki（赫尔辛基大学）；Artificial Intelligence Research Institute（人工智能研究院）
为了支持AI社区的当前趋势，我们提出了名为Fusion Brain的AI Journey 2021挑战赛，这是第一个旨在制作通用架构的竞赛，该架构可以处理不同的模式（在这种情况下，图像，文本和代码）并解决视觉和语言的多个任务。Fusion Brain Challenge结合了以下特定任务：Code 2code翻译、手写文本识别、Zero-shot目标检测和视觉问答。我们为每个任务创建了数据集，以测试参与者的提交。此外，我们还收集并公开了一个新的手写数据集，包括94，128对图像和文本，包括英语和俄语。我们还提出了一个多模式和多任务架构-一个基线解决方案，其中心是一个冻结的基础模型，并已在融合模式和单任务模式下进行了训练。所提出的融合方法被证明是有竞争力的，更节能的任务相比。
2022-12-28 cs.AI cs.CL cs.CV
DS@GT ARC at ImageCLEFmedical 2026: Architectural Diversity for Concept Detection and Foundation-Model Scaling for Caption Prediction in Medical Image Analysis
Georgia Institute of Technology（佐治亚理工学院）
该研究介绍DS@GT团队参与2026年ImageCLEFmedical医学图像分析任务，提交不同模型完成概念检测与字幕预测，其中集成模型在概念检测赛道获第一，各模型覆盖不同规模与成本。
2026-07-31 cs.CV cs.IR cs.LG
