EA-VTR: Event-Aware Video-Text Retrieval
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；ARC Lab, Tencent PCG（腾讯平台与内容事业群ARC实验室）；The University of Hong Kong（香港大学）
针对预训练数据事件信息不足、视频级对比学习难捕捉细粒度事件对齐的问题，该研究提出事件增强策略并构建EA-VTR模型，实现多任务下的性能提升与事件理解能力增强。
2024-07-10 cs.CV
Visual Commonsense-aware Representation Network for Video Captioning
University of Electronic Science and Technology of China（电子科技大学）；Southwest Jiaotong University（西南交通大学）
生成视频的连续描述，即，视频描述要求在生成过程中充分利用视觉表示。现有的视频描述方法集中于探索时空表示及其关系以产生推断。然而，这些方法只利用了视频本身所包含的表面关联，而没有考虑视频数据集中存在的内在视觉常识知识，这可能会影响其知识认知能力，从而导致准确的描述。为了解决这个问题，我们提出了一个简单而有效的方法，称为视觉常识感知表示网络（VCRN），视频描述。具体来说，我们构建了一个视频字典，即插即用的组件，通过将所有视频特征从总数据集中聚类到多个聚类中心而无需额外的注释。每个中心隐式地表示视频域中的视觉常识概念，该视觉常识概念被用于我们提出的视觉概念选择（Visual Concept Selection，简称VCP）中以获得与视频相关的概念特征。接着，提出了一种概念整合生成（CIG）来增强字幕生成。在三个公开的视频描述基准测试：MSVD、MSR-VTT和VATEX上进行的大量实验表明，我们的方法达到了最先进的性能，表明了我们方法的有效性。此外，我们的方法被集成到现有的视频问答的方法，并提高了这种性能，进一步显示了我们的方法的推广。源代码已在https://github.com/zchoi/VCRN上发布。
2022-11-17 cs.CV
ReQuest: Rethinking-based Question-Aware Frame Selection for Long-Form Video QA
提出ReQuest，一种不确定性驱动的、问题自适应的关键帧选择方法，通过轻量级选择器、重新思考路由和不确定性引导的NMS，在固定token预算下提升长视频问答准确率。
2026-07-03 cs.CV
TEEP-RCNN: Texture-Enhanced Edge-aware Perception for Steel Surface Defect Detection via Improved Convolutional Block Attention in Faster R-CNN
针对钢材表面缺陷检测中纹理差异细微和类别不平衡问题，提出基于改进CBAM的Faster R-CNN两阶段检测器TEEP-RCNN，通过注意力增强和推理优化，在NEU-DET上以10个训练周期达到73.3% mAP@50，媲美百周期训练的YOLOv11m。
2026-09-24 cs.CV
LIP: Learning Instance Propagation for Video Object Segmentation
University of Twente（特文特大学）；Wuhan University（武汉大学）
近年来，视频对象分割（VOS），即从背景中分割出前景对象的任务，受到了相当大的关注。在本文中，我们提出了一个端到端的可训练深度神经网络，卷积门控递归Mask-RCNN，用于解决半监督VOS任务。我们利用实例分割网络（Mask-RCNN）和视觉记忆模块（Conv-GRU）来处理VOS任务。实例分割网络为实例预测掩模，而视觉记忆模块学习同时为多个实例选择性地传播信息，处理外观变化、尺度和姿态变化以及对象之间的遮挡。在纯实例分割损失下进行离线和在线训练后，我们的方法能够在没有任何后处理或合成视频数据增强的情况下获得令人满意的结果。在DAVIS 2016数据集和DAVIS 2017数据集上的实验结果证明了该方法对视频对象分割任务的有效性。
2019-09-30 cs.CV
Entity-aware and Motion-aware Transformers for Language-driven Action Localization in Videos
Beijing Laboratory of Intelligent Information Technology（北京智能信息技术实验室）；Beijing Institute of Technology（北京理工大学）
视频中的语义驱动的动作定位是一项具有挑战性的任务，不仅涉及视觉语言匹配，而且还涉及动作边界预测。通过将语言查询与视频片段对齐已经取得了最新进展，但是估计精确的边界仍然没有得到充分的探索。在本文中，我们提出了实体感知和运动感知的Transformers，逐步本地化的行动，在视频中的第一个粗略定位剪辑与实体查询，然后精细预测准确的边界在一个收缩的时间区域与运动查询。实体感知的Transformer通过跨模态和跨帧注意力将文本实体并入视觉表示学习中，以促进与动作相关的视频片段的注意力。运动感知的Transformer通过将长短期记忆集成到自我注意模块中来捕获多个时间尺度上的细粒度运动变化，以进一步提高动作边界预测的精度。在Charades-STA和TACoS数据集上进行的大量实验表明，该方法比现有方法具有更好的性能。
2022-05-12 cs.CV cs.MM
NEWSKVQA: Knowledge-Aware News Video Question Answering
IIIT-Hyderabad（印度国际信息技术研究所海得拉巴分校）；Microsoft（微软）
在视频的背景下提出问题可以帮助视频索引，视频检索系统，视频摘要，学习管理系统和监控视频分析。虽然存在大量关于视觉问答的工作，但是关于视频问答的工作（1）限于电影、电视节目、游戏或人类活动等领域，并且（2）主要基于常识推理。在本文中，我们探索了一个新的前沿视频问答：回答知识为基础的问题，在新闻视频的背景下。为此，我们策划了一个新的12K新闻视频数据集，跨越156小时，1M多项选择问答对覆盖8263个独特的实体。我们将数据集公开提供。使用这个数据集，我们提出了一种新的方法，NEWSKVQA（知识感知新闻视频问答），它执行多模态推理的文本多项选择题，视频，他们的成绩单和知识库，并提出了一个强大的基线。
2022-02-08 cs.CV cs.MM
CDNet is all you need: Cascade DCN based underwater object detection RCNN
Dalian University of Technology（大连理工大学）
目标检测是计算机视觉领域一个非常重要的基础研究方向，也是计算机视觉领域其他高级任务的基本方法。它在目标跟踪、视频行为识别、水下机器人视觉等实际应用中得到了广泛的应用。Cascade-RCNN和Deformable Convolution Network都是经典的、优秀的目标检测算法。在这份报告中，我们评估我们的级联DCN为基础的方法在水下光学图像和声学图像数据集与不同的工程技巧和增强。
2021-11-25 cs.CV eess.IV
Learning Question-Aware Keyframe Selection with Synthetic Supervision for Video Question Answering
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出一种问题感知的关键帧选择框架，通过伪关键帧标签和覆盖正则化提升视频问答的准确率，尤其在时间与因果问题上表现突出。
2026-03-16 cs.AI cs.CV
Vista: Scene-Aware Optimization for Streaming Video Question Answering under Post-Hoc Queries
Vista通过场景感知分割、压缩和召回技术，实现了高效且可扩展的流视频问答，提升了长上下文推理能力，同时保持低延迟和内存效率。
2026-02-09 cs.AI cs.CV
Overview of the NLPCC 2026 Shared Task 1: Difficulty-Aware Multilingual and Multimodal Medical Instructional Video Understanding Evaluation
School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与工程学院）；Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算学系）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
NLPCC 2026的DA - MIVQA共享任务，通过区分问题难度扩展多语言多模态医学视频基准，含三个赛道。其数据集来自公共医学教学渠道，涵盖多种场景并经人工标注难度。该任务为评估医学教学视频问答系统提供实用基准。
2026-07-21 cs.AI cs.CV
Relation-aware Hierarchical Attention Framework for Video Question Answering
Beijing University of Posts and Telecommucations（北京邮电大学）
视频问答（VideoQA）是一项具有挑战性的视频理解任务，因为它需要对问题和视频都有深刻的理解。之前的研究主要集中在提取复杂的视觉和语言嵌入，并通过精致的手工网络将它们融合。然而，不同的框架，对象和模态与问题的相关性是随着时间而变化的，这是大多数现有方法所忽略的。缺乏对对象之间动态关系和交互的理解给视频质量评估带来了巨大的挑战。为了解决这个问题，我们提出了一种新的感知层次注意力（RHA）框架来学习视频中对象的静态和动态关系。特别地，视频和问题首先通过预训练的模型嵌入，以获得视觉和文本特征。然后，基于图的关系编码器被用来提取视觉对象之间的静态关系。为了捕捉多模态对象在不同视频帧中的动态变化，本文综合考虑多模态对象的时间、空间和语义关系，采用分层注意力机制融合多模态特征进行预测。我们在一个大规模的VideoQA数据集上进行了大量的实验，实验结果表明，我们的RHA优于最先进的方法。
2021-05-14 cs.AI cs.CV
A Shortcut-aware Video-QA Benchmark for Physical Understanding via Minimal Video Pairs
FAIR at Meta（Meta旗下的FAIR）；McGill University（麦吉尔大学）
针对现有视频问答基准易因表层捷径导致分数虚高的问题，本文提出含5.5万样本的MVP基准，通过最小变化视频对评估模型物理理解能力，发现当前最优开源模型性能远低于人类。
2025-06-11 cs.CV cs.LG
SurgLLM: A Versatile Large Multimodal Model with Spatial Focus and Temporal Awareness for Surgical Video Understanding
Hong Kong Institute of Science & Innovation（香港科学与工业创新研究院）；CAMP, Technische Universität München（CAMP，慕尼黑技术大学）；Department of Surgery, Faculty of Medicine, The Chinese University of Hong Kong（香港中文大学医学院外科部）
针对现有手术视频理解模型空间感知不足、时间推理弱的问题，提出具备空间聚焦与时间感知的SurgLLM大模型，通过专用预训练、微调与任务动态集成，在多类手术视频理解任务上超越现有最优方法。
2025-08-30 cs.AI cs.CV cs.LG
LongVALE: Vision-Audio-Language-Event Benchmark Towards Time-Aware Omni-Modal Perception of Long Videos
Southern University of Science and Technology（南方科技大学）；University of Birmingham（伯明翰大学）；University of Electronic Science and Technology of China（电子科技大学）；The University of Hong Kong（香港大学）；University of Manchester（曼彻斯特大学）
针对现有视频理解任务粗粒度、单模态及标注数据不足的问题，研究提出自动化构建流程，发布了含8.4K长视频、105K带精确时间边界和关系感知字幕的全模态事件基准LongVALE，并构建基线验证了其在推动视频大模型全模态细粒度时间理解上的有效性。
2025-03-20 cs.CL cs.CV cs.LG
3D Cascade RCNN: High Quality Object Detection in Point Clouds
University of Science and Technology of China（中国科学技术大学）；JD AI Research（京东人工智能研究院）
2D目标检测的最新进展是Cascade RCNN，它利用一系列级联检测器来逐步提高建议质量，以实现高质量的目标检测。然而，还没有证据支持构建用于3D目标检测的这种级联结构，这是具有高度稀疏的LiDAR点云的具有挑战性的检测场景。在这项工作中，我们提出了一个简单而有效的级联架构，名为3D Cascade RCNN，它基于级联范例中的体素化点云分配多个检测器，逐步追求更高质量的3D对象检测器。此外，我们定量地定义了每个对象的3D限界框内的点的稀疏水平作为点完整性得分，该得分被利用作为每个建议的任务权重来指导每个阶段检测器的学习。其背后的精神是为具有相对完整点分布的高质量提案分配更高的权重，而对具有非常稀疏点的提案进行降权，这些点在训练过程中经常会产生噪音。这种完整性感知重新加权的设计优雅地升级了级联范例，以更好地适用于稀疏输入数据，而不增加任何FLOP预算。通过在KITTI数据集和Waymo Open Dataset上的广泛实验，我们验证了我们提出的3D Cascade RCNN与最先进的3D目标检测技术相比的优越性。源代码可在\url{https://github.com/caiqi/Cascasde-3D}上公开获得。
2022-11-15 cs.CV
Detecting key Soccer match events to create highlights using Computer Vision
Northwestern University（西北大学）；Great Learning
研究和数据科学界一直着迷于开发用于检测视频中关键事件的自动系统。该领域特别关注体育视频分析，它可以帮助确定比赛期间的关键事件，并帮助为未来的比赛制定战略。在本文中，我们选择了足球作为一项运动，我们希望通过计算机视觉模型为给定的比赛视频创建亮点，该模型旨在识别足球比赛中的重要事件，以创建比赛的亮点。我们基于Faster RCNN和YoloV5架构构建了模型，并注意到我们用于训练Faster RCNN的数据量在检测比赛中的事件方面比YoloV5做得更好，尽管它慢得多。在更快的RCNN中，使用ResNet50作为基础模型的分类准确率为95.5%，而VGG16作为基础模型的分类准确率为92%，完全优于我们训练数据集的YoloV5。我们用23分钟的原始视频进行了测试，我们的模型可以将其减少到4：50分钟的精彩片段，捕捉比赛中几乎所有重要的事件。
2022-04-06 cs.AI cs.CV
Universal-RCNN: Universal Object Detector via Transferable Graph R-CNN
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；South China University of Technology（华南理工大学）；Sun Yat-Sen University（中山大学）
主要的目标检测方法分别处理每个数据集并适合特定的领域，如果没有广泛的再训练，就不能适应其他领域。在本文中，我们解决了设计一个通用的目标检测模型的问题，该模型利用来自多个领域的不同类别粒度并在一个系统中预测所有类型的类别。现有的工作处理这个问题，通过集成多个检测分支上一个共享的骨干网络。然而，这种范式忽略了多个领域之间的重要语义相关性，如类别层次，视觉相似性和语言关系。为了解决这些缺点，我们提出了一种名为Universal-RCNN的新型通用对象检测器，它结合了图迁移学习，用于在多个数据集上传播相关语义信息，以达到语义一致性。具体来说，我们首先通过整合所有类别的所有高级语义表示来生成全局语义池。然后，域内推理模块在空间感知GCN的引导下学习并传播一个数据集内的稀疏图表示。最后，域间传输模块提出了利用不同的传输依赖关系在所有领域和增强区域特征表示出席和转移语义上下文的全球。大量的实验表明，该方法显着优于多分支模型，并实现了国家的最先进的结果，在多个目标检测基准（mAP：49.1%的COCO）。
2020-02-18 cs.CV
Cost-Aware Evaluation and Model Scaling for LiDAR-Based 3D Object Detection
Carnegie Mellon University（卡内基梅隆大学）
基于LiDAR的3D目标检测已经投入了相当多的研究工作，并且经验性能已经得到显著改善。虽然进展令人鼓舞，但我们注意到一个被忽视的问题：在相同成本下比较不同的3D探测器还不是常见的做法，例如，推理延迟这使得很难量化最近提出的架构设计带来的真正性能增益。这项工作的目标是对基于LiDAR的3D物体探测器进行成本意识评估。具体来说，我们专注于SECOND，一个简单的基于网格的一级检测器，并分析其性能在不同的成本下，通过扩展其原始架构。然后，我们将缩放SECOND系列与最近的3D检测方法（如Voxel R-CNN和PV-RCNN ++）进行比较。结果令人惊讶。我们发现，如果允许使用相同的延迟，SECOND可以匹配PV-RCNN ++的性能，PV-RCNN ++是Waymo开放数据集上当前最先进的方法。Scaled SECOND的性能也轻松优于过去一年中发布的许多最新3D检测方法。我们建议未来的研究在他们的经验比较中控制推理成本，并在提出新的3D检测方法时将缩放SECOND家族作为一个强有力的基线。
2023-03-10 cs.CV
CMS-RCNN: Contextual Multi-Scale Region-based CNN for Unconstrained Face Detection
Carnegie Mellon University（卡内基梅隆大学）
鲁棒的人脸检测是支持各种人脸相关问题的最终组成部分之一，即无约束人脸识别，面部眼周识别，面部标志和姿态估计，面部表情识别，3D人脸模型构建等。尽管人脸检测问题已经被深入研究了几十年，并有各种商业应用，但是由于许多挑战，例如严重的面部遮挡、极低的分辨率、强照明、异常的姿势变化、图像或视频压缩伪影等，它在一些现实世界场景中仍然遇到问题。在本文中，本文提出了一种基于上下文多尺度区域卷积神经网络（CMS-RCNN）的人脸检测方法来解决上述问题。与基于区域的CNN类似，我们提出的网络由区域建议组件和感兴趣区域（RoI）检测组件组成。然而，与该网络相距甚远，我们提出的网络中有两个主要贡献，它们在实现最先进的人脸检测性能方面发挥了重要作用。首先，在区域建议和ROI检测中对多尺度信息进行分组，以处理微小的人脸区域。其次，我们提出的网络允许显式的身体上下文推理的网络灵感来自人类视觉系统的直觉。所提出的方法是基准上最近两个具有挑战性的人脸检测数据库，即WIDER面部数据集，其中包含高度的变化，以及人脸检测数据集和基准（FDDB）。实验结果表明，我们提出的方法在WIDER FACE数据集上训练的性能大大优于WIDER FACE数据集上的强基线，并且与最近最先进的人脸检测方法相比，在FDDB上始终取得有竞争力的结果。
2016-06-17 cs.CV
Temporal Context Network for Activity Localization in Videos
University of Maryland（马里兰大学）；Fudan University（复旦大学）
我们提出了一个时间上下文网络（TCN）的精确时间定位的人类活动。与Faster-RCNN架构类似，提案以相等的间隔放置在跨越多个时间尺度的视频中。我们提出了一种新的表示这些建议的排名。由于池功能只在一个段是不够的，以预测活动的边界，我们构建了一个表示，显式捕捉周围的建议进行排名it.For每个时间段内的建议，功能均匀采样在一对尺度，并输入到一个时间卷积神经网络进行分类。在对建议进行排名之后，应用非最大抑制并执行分类以获得最终检测。TCN在ActivityNet数据集和THUMOS 14数据集上的表现优于最先进的方法。
2017-08-08 cs.CV
BlockCopy: High-Resolution Video Processing with Block-Sparse Feature Propagation and Online Policies
KU Leuven（鲁汶大学）
在本文中，我们提出了BlockCopy，这是一种与标准逐帧处理相比，加速预训练的基于帧的CNN更有效地处理视频的方案。为此，轻量级策略网络确定图像中的重要区域，并使用自定义块稀疏卷积仅对选定区域应用操作。非选定区域的特征仅从前一帧复制，从而减少计算次数和延迟。执行策略是使用强化学习以在线方式训练的，而不需要地面实况注释。我们的通用框架在密集预测任务上进行了演示，例如行人检测，实例分割和语义分割，使用最先进的技术（中心和规模预测器，MGAN，SwiftNet）和标准基线网络（Mask-RCNN，DeepLabV 3+）。BlockCopy实现了显著的FLOPS节省和推理加速，对准确性的影响最小。
2022-08-05 cs.CV
Gaseous Object Detection
Nanjing University（南京大学）
本文提出气态物体检测新任务，构建含600个视频、141,017帧的GOD-Video数据集与基准，并设计受高斯扩散模型启发的VSF及VSF RCNN基线。
2025-02-18 cs.CV
Object Detection in Video with Spatial-temporal Context Aggregation
Huazhong University of Science and Technology（华中科技大学）；Horizon Robotics Inc.（地平线机器人公司）
用于视频目标检测的最新前沿特征聚合范例依赖于推断特征对应性。由于图像质量差、运动模糊等，特征对应估计问题从根本上是困难的，并且特征对应估计的结果是不稳定的。为了避免这个问题，我们提出了一个简单而有效的功能聚合框架，它在对象提议级别上运行。它通过对一个帧内和相邻帧之间的对象建议之间的语义和时空关系建模来学习增强每个建议的功能。在ImageNet VID数据集上进行了实验。在没有任何额外功能的情况下，我们的方法在ImageNet VID数据集上获得了80.3\%的mAP，这优于以前的最先进技术。所提出的特征聚合机制将单帧Faster RCNN基线提高了5.8% mAP。此外，在没有时间后处理的设置下，我们的方法比以前的最先进的1.4%mAP。
2019-07-11 cs.CV
Illumination-aware Faster R-CNN for Robust Multispectral Pedestrian Detection
Zhejiang University（浙江大学）
多光谱图像的颜色热对行人检测显示出比一个单一的颜色通道更有效，特别是在具有挑战性的照明条件下。然而，如何将两种模式有效地融合起来，目前还缺乏研究。在本文中，我们深入比较了六种不同的卷积网络融合架构，并分析了它们的适应性，使香草架构能够获得与最先进结果相当的检测性能。此外，我们发现，行人检测置信度从彩色或热图像与照明条件。考虑到这一点，我们提出了一种照明感知的快速R-CNN（IAF RCNN）。具体来说，引入光照感知网络来给出输入图像的光照度量。然后，我们自适应地合并颜色和热的子网络通过一个门函数定义的照度值。在KAIST多光谱行人基准上的实验结果验证了所提出的IAF R-CNN的有效性。
2018-08-14 cs.CV
Spatio-Temporal Learnable Proposals for End-to-End Video Object Detection
Technical University of Kaiserslautern（凯泽斯劳滕工业大学）
本文提出了一种新的思想，通过利用视频目标检测的时间信息生成对象的建议。现代基于区域的视频对象检测器中的特征聚合严重依赖于从单帧RPN生成的学习建议。这迫切需要引入额外的组件，如NMS，并在低质量帧上产生不可靠的建议。为了解决这些限制，我们提出了SparseVOD，这是一种新颖的视频目标检测流水线，它采用稀疏R-CNN来利用时间信息。特别地，我们在Sparse R-CNN的动态头中引入了两个模块。首先，在时域RoI对齐操作的基础上增加时域特征提取模块，提取RoI提案特征。其次，出于序列级语义聚合的动机，我们将注意力引导的语义建议特征聚合模块，以增强检测前的对象特征表示。所提出的SparseVOD有效地减少了复杂的后处理方法的开销，并使整个管道端到端可训练。大量的实验表明，我们的方法在mAP中将单帧稀疏RCNN显著提高了8%-9%。此外，除了在具有ResNet-50主干的ImageNet VID数据集上实现最先进的80.3% mAP之外，我们的SparseVOD在增加IoU阈值（IoU > 0.5）方面明显优于现有的基于提议的方法。
2022-10-07 cs.CV
Learning a Layout Transfer Network for Context Aware Object Detection
Minjiang University（闽江学院）；ShanghaiTech University（上海科技大学）；Fuzhou University（福州大学）；NetDragon Inc.（网龙公司）
提出了一种基于检索-变换场景布局模型的上下文感知目标检测方法。给定一个输入图像，我们的方法首先检索一个粗糙的场景布局从典型的布局模板的码本。为了处理大的布局变化，我们使用一个变种的空间Transformer网络来转换和细化检索到的布局，从而在一组可解释的和语义上有意义的对象的位置和规模的特征图。上述步骤被实现为布局传输网络，我们将其集成到Faster RCNN中，以允许目标检测和场景布局估计的联合推理。在三个公共数据集上进行的广泛实验验证了我们的方法在交通监控和自动驾驶领域的各种具有挑战性的任务上为最先进的目标检测基线提供了一致的性能改进。
2019-12-09 cs.CV
Privacy-Aware Activity Classification from First Person Office Videos
Bangladesh University of Engineering and Technology (BUET)（孟加拉国工程技术大学）
随着可穿戴人体摄像机的出现，第一人称视频（FPV）中的人类活动分类已经成为各种应用中越来越重要的主题，包括生活记录，执法，体育，工作场所和医疗保健。FPV的挑战性方面之一是其暴露于用户视野内的潜在敏感物体。在这项工作中，我们开发了一个隐私感知的活动分类系统，专注于办公室视频。我们利用具有Inception-ResNet混合的Mask-RCNN作为特征提取器来检测，然后模糊敏感对象（例如，数字屏幕，人脸，纸张）。对于活动分类，我们将递归神经网络（RNN）与基于ResNet，ResNext和DenseNet的特征提取器集成在一起。该系统在FPV办公视频数据集上进行了训练和评估，该数据集包括通过IEEE视频和图像处理（VIP）杯2019比赛提供的18个类别。在原始的无保护FPV上，所提出的活动分类器集成达到了85.078%的准确率，精确度，召回率和F1分数分别为0.88，0.85和0.86。在隐私保护视频上，性能略有下降，准确率，精确率，召回率和F1得分分别为73.68%，0.79，0.75和0.74。该系统在IEEE VIP Cup 2019竞赛中获得三等奖。
2020-06-11 cs.CV
Transferable Adversarial Attacks for Image and Video Object Detection
Tsinghua University（清华大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
对抗性的例子已经被证明威胁到许多计算机视觉任务，包括目标检测。然而，现有的针对目标检测的攻击方法存在两个局限性：可移植性差，即生成的对抗性样本攻击其他类型检测方法的成功率较低;计算代价高，即生成对抗性图像需要较长时间，难以处理视频数据。为了解决这些问题，我们利用生成机制来获得对抗图像和视频。以这种方式，减少了处理时间。为了增强可移植性，我们破坏了从特征网络中提取的特征图，这些特征图通常构成对象检测器的基础。该方法基于生成对抗网络（GAN）框架，将高级类别损失和低级特征损失相结合，共同训练对抗样本生成器。在PASCAL VOC和ImageNet VID数据集上进行的一系列实验表明，我们的方法可以有效地生成图像和视频对抗示例，更重要的是，这些对抗示例具有更好的可移植性，因此能够同时攻击两种代表性的目标检测模型：基于建议的模型，如Faster-RCNN，以及基于回归的模型，如SSD。
2019-05-13 cs.CV
Time-Aware and View-Aware Video Rendering for Unsupervised Representation Learning
University of Central Florida（中佛罗里达大学）
最近在深度学习方面的成功导致了各种有效的视频表示学习方法。然而，目前的视频表示方法需要大量的人类标记数据集进行有效的学习。我们提出了一个无监督的表示学习框架，从多个视点捕获的视频编码场景动态。所提出的框架有两个主要组成部分：表示学习网络（RL-NET），它在混合网络（BL-NET）的帮助下学习表示，和视频渲染网络（VR-NET），它用于视频合成。该框架将来自不同视点和时间的视频剪辑作为输入，学习内部表示，并使用该表示从任意给定的视点和时间渲染视频剪辑。所提出的网络从任意视点和时间渲染视频帧的能力使其能够学习场景动态的有意义和鲁棒的表示。我们证明了所提出的方法在渲染视图感知以及时间感知的视频剪辑在两个不同的现实世界的数据集，包括UCF-101和NTU-RGB+D的有效性。为了进一步验证学习表示的有效性，我们将其用于视图不变活动分类的任务，与现有的最先进的方法相比，我们观察到NTU-RGB+D数据集的性能有显着提高（约26%）。
2018-11-29 cs.CV
Sali4Vid: Saliency-Aware Video Reweighting and Adaptive Caption Retrieval for Dense Video Captioning
Hanyang University（翰阳大学）
针对现有密集视频字幕模型帧权重均等、忽略场景转换的问题，提出Sali4Vid框架，通过显著性感知视频重加权和自适应字幕检索优化任务效果，在两个基准上达SOTA。
2025-09-04 cs.CV
Position-aware Location Regression Network for Temporal Video Grounding
Seoul National University（首尔国立大学）；Electronics and Telecommunications Research Institute (ETRI)（电子与电信研究所（ETRI））
视频监控成功接地的关键是理解与重要角色和对象相对应的语义短语。传统的方法忽略了短语的综合上下文，或者需要对多个短语进行大量计算。为了理解只有一个语义短语的综合上下文，我们提出了位置感知位置回归网络（PLRN），它利用查询和视频的位置感知功能。具体地，PLRN首先使用字和视频片段的位置信息对视频和查询两者进行编码。然后，语义短语特征提取的编码查询与注意。语义短语特征和编码视频被合并，并通过反映局部和全局上下文而成为上下文感知特征。最后，PLRN预测接地边界的开始、结束、中心和宽度值。我们的实验表明，PLRN实现了竞争力的性能比现有的方法具有更少的计算时间和内存。
2022-04-12 cs.CV
Video Relation Detection with Trajectory-aware Multi-modal Features
Beihang University（北京航空航天大学）；YITU Technology（依图科技）
视频关系检测问题是指检测视频中不同对象之间的关系，例如空间关系和动作关系。在本文中，我们提出了视频关系检测与故障感知多模态功能来解决这个问题。考虑到视频中视觉关系检测的复杂性，本文将其分解为三个子任务：目标检测、轨迹建议和关系预测。我们使用最先进的目标检测方法来保证目标轨迹检测的准确性，并使用多模态特征表示来帮助预测目标之间的关系。该方法在ACM Multimedia 2020的Video Relation Understanding Grand Challenge视频关系检测任务中以11.74 mAP的成绩获得第一名，大大优于其他方法。
2021-01-20 cs.CV
DAVIDE: Depth-Aware Video Deblurring
Tampere University（坦佩雷大学）；Huawei Technologies（华为技术有限公司）
本文提出DAVIDE深度感知视频去模糊数据集，研究深度信息注入现有RGB去模糊模型的方式，并构建强基线，证明深度信息可提升去模糊性能但随时间上下文增长而效果减弱。
2024-09-02 cs.CV
Comparing Surface Landmine Object Detection Models on a New Drone Flyby Dataset
Monta Vista High School（蒙塔维斯塔高中）；Mountain View High School（山景城高中）
针对小型地表地雷探测缺乏评估的问题，本文构建POM-2/POM-3无人机数据集，并比较YOLOF等4种视觉基础模型，发现YOLOF在10米高度图像上以0.89 mAP和56分钟训练耗时表现最佳。
2024-10-17 cs.CV cs.LG
Multilevel Semantic-Aware Model for AI-Generated Video Quality Assessment
Zhejiang University（浙江大学）；University of Chinese Academy of Sciences（中国科学院大学）；Huazhong University of Science and Technology（华中科技大学）
针对AI生成视频质量评估难题，提出MSA-VQA多层级语义感知模型，通过CLIP提示词语义监督、交叉注意力及语义突变感知模块，在帧、片段和视频层级建模并取得SOTA性能。
2025-01-06 cs.CV
Semantic-Aware Pretraining for Dense Video Captioning
Southern University of Science and Technology（南方科技大学）；The University of Hong Kong（香港大学）
本报告详细介绍了我们在ActivityNet Challenge 2021中进行事件密集字幕任务的方法。我们提出了一种语义感知的预训练方法密集的视频描述，使学习的功能，以识别高层次的语义概念。不同形式的不同视频特征被馈送到事件字幕模块中以生成准确且有意义的句子。我们最终的集成模型在测试集上获得了10.00的METEOR分数。
2022-04-13 cs.CV
The Pros and Cons: Rank-aware Temporal Attention for Skill Determination in Long Videos
University of Bristol（布里斯托大学）
我们提出了一个新的模型来确定相对技能的长视频，通过学习时间注意模块。技能确定被公式化为一个排名问题，使其适合于常见和通用的任务。然而，对于长视频，视频的部分与评估技能无关，并且在整个视频中展现的技能可能存在可变性。因此，我们提出了一种方法，它评估的相对整体水平的技能，在一个长视频出席其技能相关的部分。我们的方法训练时间注意模块，学习只有视频级的监督，使用一种新的排名感知损失函数。除了关注任务相关的视频部分之外，我们提出的损失联合训练两个注意力模块来分别关注表示较高（优点）和较低（缺点）技能的视频部分。我们在EPIC-Skills数据集上评估了我们的方法，并从YouTube视频中添加了一个更大的数据集，以确定五个以前未探索过的任务的技能。我们的方法在两个数据集上的成对准确率超过4%，在单个任务上的准确率高达12%，优于以前的方法和经典softmax attention。我们还展示了我们的模型的能力，参加排名感知部分的视频。
2019-04-10 cs.CV
Deepfake Detection with Optimized Hybrid Model: EAR Biometric Descriptor via Improved RCNN
Netaji Subhas University of Technology（纳塔吉·苏巴斯科技大学）
本文提出融合增强 RCNN 耳部生物特征描述符、DBN-BiGRU 与 SU-JFO 权重优化的混合 Deepfake 检测模型，并在三类数据集和多种干扰场景下验证其优于多种基线。
2025-03-16 cs.CV cs.MM
Learning Semantic-Aware Dynamics for Video Prediction
UCLA Vision Lab（加州大学洛杉矶分校视觉实验室）；Stanford University（斯坦福大学）
我们提出了一个架构和训练方案来预测视频帧，明确建模dis-occlusion和捕捉视频中语义一致的区域的演变。场景布局（语义图）和运动（光流）被分解成层，这些层被预测并与它们的上下文融合以生成未来的布局和运动。使用共同可见区域中的预测运动从过去的帧中扭曲场景的外观;利用预测的场景布局利用内容感知修复来合成未被遮挡的区域。结果是一个预测模型，它显式地表示对象并学习它们的类特定运动，我们在视频预测基准上进行评估。
2021-04-20 cs.CV
Diversity-aware Multi-Video Summarization
University of California, Riverside（加州大学河滨分校）
大多数视频摘要方法都集中在从单个视频中提取摘要，我们提出了一个无监督的框架来总结一系列视频。我们观察到，集合中的每个视频可能包含一些其他视频没有的信息，因此探索潜在的互补性可能有助于创建多样化的信息摘要。我们开发了一种新的多样性感知的稀疏优化方法的多视频摘要，通过探索视频内的互补性。我们的方法提取多视频摘要，这是有趣的和代表性的描述整个视频集合。为了有效地解决我们的优化问题，我们开发了一种交替最小化算法，该算法每次最小化一个视频的整体目标函数，同时固定其他视频。此外，我们引入了一个新的基准数据集Tour20，它包含140个视频，其中包含多个人类创建的摘要，这些摘要是在一个受控实验中获得的。最后，通过在新的Tour20数据集和其他几个多视点数据集上的大量实验，我们证明了该方法在面向主题的视频摘要和摄像机网络中的多视点视频摘要两个问题上的性能明显优于现有的方法.
2017-06-09 cs.CV
STAU: A SpatioTemporal-Aware Unit for Video Prediction and Beyond
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）；Information Technology R&D Innovation Center of Peking University（北京大学信息技术创新研发中心）
视频预测的目标是通过对视频中复杂的时空动态进行建模来预测未来的帧。然而，大多数现有的方法仅以独立的方式对视频的时间信息和空间信息进行建模，而没有充分探索两者之间的相关性。在本文中，我们提出了一个时空感知单元（STAU）的视频预测和超越探索显着的时空相关性的视频。一方面，运动感知注意力权重从空间状态中学习，以帮助在时间域中聚合时间状态。另一方面，从时间状态学习外观感知注意力权重，以帮助在空间域中聚合空间状态。通过这种方式，时间信息和空间信息可以在两个域中很好地相互感知，在此期间，时空感受野也可以大大拓宽，以实现更可靠的时空建模。实验不仅在传统的视频预测任务上进行，而且在视频预测之外的其他任务上进行，包括早期动作识别和目标检测任务。实验结果表明，我们的STAU可以优于其他方法在所有任务的性能和计算效率。
2022-04-20 cs.CV
Locality-Aware Inter-and Intra-Video Reconstruction for Self-Supervised Correspondence Learning
Beijing University of Posts and Telecommunications（北京邮电大学）；Zhejiang University（浙江大学）；Baidu Research（百度研究院）；Beijing Institute of Technology（北京理工大学）；ETH Zurich（苏黎世联邦理工学院）；University of Technology Sydney（悉尼科技大学）
我们的目标是从未标记的视频中学习视觉对应。我们开发了LIIR，一个局部感知的视频间和视频内重建框架，它填补了三个缺失的部分，即，实例判别，位置意识，空间紧凑性，自我监督对应学习难题。首先，而不是大多数现有的努力只集中在视频内的自我监督，我们利用跨视频的亲和力作为额外的负样本在一个统一的，帧间和帧内的视频重建方案。这使得能够通过将期望的视频内像素关联与负的视频间对应进行对比来进行实例区分性表示学习。其次，我们将位置信息合并到对应匹配中，并设计了一种位置偏移策略，以消除位置编码在视频间亲和力计算中的副作用，使我们的LIIR位置敏感。第三，为了充分利用视频数据的空间连续性，我们对对应匹配施加了基于紧性的约束，从而产生更稀疏和可靠的解决方案。在标签传播任务（包括对象、语义部分和关键点）上，学习到的表示超越了自我监督的最新技术水平。
2022-03-29 cs.CV
Object-aware Feature Aggregation for Video Object Detection
Beihang University（北京航空航天大学）；Capital Normal University（首都师范大学）；The University of Hong Kong（香港大学）；Baidu, Inc.（百度公司）
我们提出了一个用于视频目标检测（VID）的对象感知特征聚合（OFA）模块。我们的方法是出于有趣的属性，视频级的对象感知知识可以作为一个强大的语义之前，帮助对象识别。因此，用这样的先验知识扩充特征可以有效地提高分类和定位性能。为了使功能能够访问整个视频的更多内容，我们首先捕获提案的对象感知知识，并将这些知识与完善的成对上下文相结合。通过在ImageNet VID数据集上的大量实验结果，我们的方法证明了对象感知知识的有效性，ResNet-101和ResNeXt-101分别具有83.93%和86.09%mAP的优异性能。当进一步配备Sequence DIoU NMS时，我们在提交的论文上获得了85.07%和86.88%的最佳报告mAP。用于重现我们结果的代码将在验收后发布。
2020-10-23 cs.CV
Target-Aware Video Diffusion Models
Seoul National University（首尔大学）；RLWRLD
本文提出一种面向目标的视频扩散模型，通过引入目标掩码和特殊标记提升视频生成中演员与目标的互动准确性，并在两个下游任务中验证其有效性。
2026-02-28 cs.CV
Pattern-Aware Data Augmentation for LiDAR 3D Object Detection
University of Toronto（多伦多大学）
自动驾驶数据集通常是偏斜的，并且特别地，缺乏针对距自我车辆更远距离处的对象的训练数据。随着检测到的对象的距离增加，数据的不平衡导致性能下降。在本文中，我们提出了模式感知地面实况采样，一种数据增强技术，根据激光雷达的特性对对象的点云进行下采样。具体来说，我们模仿自然发散点模式的变化，发生在物体的深度，以模拟样本在更远的距离。因此，网络具有更多样的训练样本，并且可以更有效地推广到检测更远的对象。我们对现有的数据增强技术，使用点删除或扰动方法进行评估，发现我们的方法优于所有这些方法。此外，我们建议使用相等的元素AP箱来评估整个距离的3D对象检测器的性能。我们将PV-RCNN在汽车类上的性能提高了0.7%以上，在距离大于25米的KITTI验证分割上。
2021-11-30 cs.CV
Object-aware Aggregation with Bidirectional Temporal Graph for Video Captioning
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）
视频描述旨在自动生成视频内容的自然语言描述，近年来引起了广泛的关注。生成精确、细粒度的字幕不仅需要理解视频的全局内容，还需要捕捉对象的详细信息。同时，视频的表示方法对生成的字幕质量有很大的影响。因此，对于视频描述来说，重要的是捕获具有其详细时间动态的显著对象，并且使用有区别的时空表示来表示它们。在本文中，我们提出了一种新的视频描述方法的基础上，对象感知聚合与双向时间图（OA-BTG），捕捉详细的时间动态视频中的显着对象，并学习歧视性的时空表示通过执行对象感知的局部特征聚合检测到的对象区域。主要创新点和优点是：（1）双向时间图：沿着时间顺序构造和扩展双向时间图，这提供了捕获每个显著对象的时间轨迹的互补方式。(2)对象感知聚合：基于对象的时间轨迹和全局帧序列构建可学习的VLAD模型，进行对象感知的聚合以学习判别表示。为了区分多个对象的不同贡献，本文还提出了一种层次化的注意力机制。在两个广泛使用的数据集上的实验表明，我们的OA-BTG在BLEU@4，METEOR和CIDER指标方面达到了最先进的性能。
2019-06-11 cs.CV
MonoDVPS: A Self-Supervised Monocular Depth Estimation Approach to Depth-aware Video Panoptic Segmentation
Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）
深度感知视频全景分割解决了从视频序列恢复全景3D点云的逆投影问题，其中3D点用语义类和时间一致的实例标识符来增强。我们提出了一种新的解决方案，多任务网络，执行单目深度估计和视频全景分割。由于获取用于深度和图像分割的地面真实标签具有相对较大的成本，因此我们利用具有自监督单目深度估计的未标记视频序列的能力和来自用于视频全景分割的伪标签的半监督学习。为了进一步提高深度预测，我们引入了全景引导的深度损失和一种新的用于移动对象的全景掩蔽方案，以避免破坏训练信号。在Cityscapes-DVPS和SemKITTI-DVPS数据集上的大量实验表明，我们的模型与提出的改进实现了有竞争力的结果和快速的推理速度。
2022-10-14 cs.CV
State-Aware Tracker for Real-Time Video Object Segmentation
Zhejiang University（浙江大学）；Megvii Inc.（旷视科技有限公司）
在这项工作中，我们解决了半监督视频对象分割（VOS）的任务，并探讨如何有效地利用视频属性来应对半监督的挑战。我们提出了一种新的管道称为状态感知跟踪器（SAT），它可以产生准确的分割结果与实时的【形】速度。为了提高效率，SAT利用帧间一致性，并处理每个目标对象作为一个轨迹。为了在视频序列上获得更稳定和鲁棒的性能，SAT可以感知每个状态，并通过两个反馈回路进行自适应。一个循环帮助SAT生成更稳定的轨迹。另一个循环有助于构建更健壮和更全面的目标表示。SAT在DAVIS 2017-Val数据集上实现了72.3%J &F平均值和39 FPS的令人满意的结果，这表明效率和准确性之间的折衷。代码将在github.com/MegviiDetection/video_analyst上发布。
2020-03-01 cs.CV
ScaleVid: Geometry-Aware Video Object Scaling with Mesh-Free Inference
ScaleVid提出无网格推理的两阶段训练框架，实现几何感知视频目标缩放，在野外视频评估中，其几何一致性、前景保真度等优于需显式3D重建的方法，推理更实用。
2026-08-13 cs.CV
Efficient Motion-Aware Video MLLM
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Baichuan Inc.（百川智能）；Renmin University of China（中国人民大学）
针对视频MLLM采样低效与运动感知不足的问题，本文提出利用压缩视频结构的EMA及运动感知GOP编码器，并构建MotionBench，在视频问答与长视频理解上实现高性能和更低推理成本。
2025-03-17 cs.CV
Attribute-aware Identity-hard Triplet Loss for Video-based Person Re-identification
Beihang University（北京航空航天大学）
基于视频的人物再识别（Re-ID）是计算机视觉的一项重要任务。在基于视频的人Re-ID中经常使用的批量硬三重丢失遭受不同阳性之间的距离方差（DVDP）问题。在本文中，我们通过引入一种新的度量学习方法来解决这个问题，该方法称为属性感知的身份硬三重损失（AITL），通过计算属性距离来减少正样本之间的类内变化。为了实现一个完整的基于视频的人的Re-ID模型，一个多任务框架与属性驱动的时空注意力（ASTA）机制也被提出。在MARS和DukeMTMC-VID数据集上的大量实验表明，AITL和ASTA都是非常有效的。通过它们的增强，即使是一个简单的轻量级的基于视频的人Re-ID基线也可以胜过现有的最先进的方法。这些准则已公布在https://github.com/yuange250/Video-based-person-ReID-with-Attribute-information上。
2020-06-13 cs.CV
Hierarchical Boundary-Aware Neural Encoder for Video Captioning
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）
递归神经网络在视频描述中的应用最近得到了广泛的关注，因为它们既可以用于对输入视频进行编码，也可以用于生成相应的描述。在本文中，我们提出了一个经常性的视频编码方案，可以发现和利用视频的层次结构。与经典的编码器-解码器方法不同，在这种方法中，视频由递归层连续编码，我们提出了一种新的LSTM单元，它可以识别帧或片段之间的不连续点，并相应地修改编码层的时间连接。我们评估我们的方法在三个大规模的数据集：蒙特利尔视频注释数据集，MPII电影描述数据集和微软视频描述语料库。实验表明，我们的方法可以发现适当的层次表示的输入视频和提高电影描述数据集上的最先进的结果。
2017-04-10 cs.CV
Query-Aware Sparse Coding for Multi-Video Summarization
鉴于在线视频的爆炸式增长，减轻浏览和管理感兴趣的视频内容的繁琐工作变得越来越重要。视频摘要的目的是提供这样一种技术，将一个或多个视频转换成一个紧凑的。然而，传统的多视频摘要方法往往无法产生令人满意的结果，因为他们忽略了用户的搜索意图。为此，本文提出了一种新的查询感知方法，通过在稀疏编码框架下构造多视频摘要，将查询搜索到的网页图像作为重要的偏好信息，揭示查询意图。为了提供一个用户友好的总结，本文还开发了一个事件的关键帧表示结构，目前的关键帧组的特定事件相关的查询，通过使用无监督的多图融合方法。我们发布了一个名为MVS1K的新公共数据集，其中包含来自10个查询的大约1000个视频及其视频标签、手动注释和相关的Web图像。在MVS1K数据集上进行的大量实验验证了我们的方法可以产生优于最近提出的几种方法的客观和主观结果。
2017-07-13 cs.CV
