CSTA: Spatial-Temporal Causal Adaptive Learning for Exemplar-Free Video Class-Incremental Learning
Shanghai Jiao Tong University（上海交通大学）；Zhongguancun Academy（中关村学院）；Monash University（莫纳什大学）
针对视频类别增量学习中时空信息易脱节、表征效率低的问题，提出带独立时空适配器的无样本CSTA框架，通过因果蒸馏和因果补偿优化，性能超越现有基于样本的方法4.2%。
2025-01-13 cs.CV
Track Facial Points in Unconstrained Videos
Rutgers University（罗格斯大学）；The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
由于随时间变化的非刚性变形，跟踪无约束视频中的面部点具有挑战性。在本文中，我们提出了利用增量学习的人特定的对齐在野生条件下。我们的方法利用基于部分的表示和级联回归，在每个帧上进行鲁棒和高效的对齐。与现有的通常依赖于离线训练的模型的方法不同，我们在一个统一的框架中增量地更新表示子空间和回归量的级联，以实现动态的个性化建模。为了缓解漂移问题，使用深度神经网络评估拟合结果，其中挑选出对齐良好的面部以递增地更新表示和拟合模型。图像和视频数据集被用来验证所提出的方法。结果表明，与现有的方法相比，我们的方法在拟合精度和效率方面的优越性能。
2016-09-09 cs.CV
Hierarchical Augmentation and Distillation for Class Incremental Audio-Visual Video Recognition
School of Information Science and Technology, University of Science and Technology of China（中国科学技术大学信息科学技术学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
本文针对类增量音视频视频识别中的灾难性遗忘问题，提出层次化增强与蒸馏方法HAD，通过分段特征增强和层次化蒸馏分别保留模型与数据中的历史知识，并在多个基准上验证其有效性。
2024-06-07 cs.CV
MCF-VC: Mitigate Catastrophic Forgetting in Class-Incremental Learning for Multimodal Video Captioning
University of Electronic Science and Technology of China（电子科技大学）
本文提出 MCF-VC 方法，通过细粒度敏感性选择与两阶段知识蒸馏缓解多模态视频字幕生成中的类增量灾难性遗忘，并在 MSR-VTT 上验证其有效性。
2024-02-27 cs.CV
Latent Bi-constraint SVM for Video-based Object Recognition
Imperial College London（帝国理工学院）；Stony Brook University, SUNY（纽约州立大学石溪分校）
我们解决了从视频输入中识别对象的任务。与基于图像的对象识别相比，这个重要的问题相对未被探索。为此，我们作出以下贡献。首先，我们介绍了两个用于基于视频的对象识别的综合数据集。其次，我们提出了潜在的双约束SVM（LBSVM），一个基于视频的对象识别的最大间距框架。LBSVM是基于结构化输出SVM，但它扩展到处理噪声视频数据，并确保整个时间的输出决策的一致性。我们应用LBSVM识别办公室对象和博物馆雕塑，我们证明了它的好处，基于图像，基于集合，和其他基于视频的对象识别。
2016-05-31 cs.CV
VideoLT: Large-scale Long-tailed Video Recognition
Fudan University（复旦大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；University of Maryland（马里兰大学）
现实世界中的标签分布通常是长尾和不平衡的，导致模型偏向于主导标签。虽然长尾识别已被广泛研究的图像分类任务，有限的努力已经取得了视频域。在本文中，我们介绍了VideoLT，一个大规模的长尾视频识别数据集，作为迈向真实世界视频识别的一步。我们的VideoLT包含256，218个未修剪的视频，注释为1，004个具有长尾分布的类。通过广泛的研究，我们证明了用于长尾图像识别的最先进的方法在视频域中表现不佳，由于视频数据中的额外的时间维度。这促使我们提出FrameStack，一个简单而有效的方法长尾视频识别任务。特别是，FrameStack在帧级执行采样，以平衡类分布，并且在训练期间使用从网络导出的知识动态确定采样率。实验结果表明，FrameStack可以提高分类性能，而不牺牲整体精度。代码和数据集可在https://github.com/17Skye17/VideoLT上获得。
2021-08-18 cs.CV
Fine-grained Activity Recognition in Baseball Videos
Indiana University（印第安纳大学）
在本文中，我们介绍了一个具有挑战性的新数据集，MLB-YouTube，专为细粒度活动检测而设计。该数据集包含两个设置：分段视频分类以及连续视频中的活动检测。我们实验比较各种识别方法捕捉活动视频的时间结构，通过分类分割的视频和扩展这些方法，以连续的视频。我们还比较了模型的预测从广播棒球视频的音高速度和音高类型的极其困难的任务。我们发现，学习时间结构是有价值的细粒度的活动识别。
2018-04-09 cs.CV
Teacher Agent: A Knowledge Distillation-Free Framework for Rehearsal-based Video Incremental Learning
Nanjing University of Information Science and Technology（南京信息工程大学）；Intellifusion（云天励飞）；Australian Institute for Machine Learning（澳大利亚机器学习研究所）；the University of Adelaide（阿德莱德大学）；University of Electronic Science and Technology of China（电子科技大学）
本文提出无知识蒸馏的 Teacher Agent 框架，通过轻量智能体生成器、自校正损失和统一关键帧采样器提升视频增量学习性能并降低计算开销。
2023-12-11 cs.AI cs.CV
Automated Bridge Component Recognition using Video Data
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了利用视频数据自动识别桥梁结构构件。虽然理解用于结构检查的视频数据对于人类检查员来说是简单的，但是使用机器学习方法来执行相同的任务还没有完全实现。特别地，当图像是特写视图时，不期望诸如卷积神经网络（CNN）的单帧图像处理技术准确地识别结构组件，缺乏关于图像在结构上的何处起源的上下文信息。在视频处理技术的重大进展的启发下，本研究探讨了使用视频数据的自动桥梁组件识别，其中来自过去帧的信息用于增强对当前帧的理解。创建新的模拟视频数据集来训练机器学习算法。然后，卷积神经网络（CNN）与循环结构的设计和应用，以实现自动桥梁构件识别任务。结果模拟视频数据，以及在现场收集的视频。
2018-09-28 cs.CV
A Temporal Attentive Approach for Video-Based Pedestrian Attribute Recognition
Beihang University（北京航空航天大学）
在本文中，我们首先解决的问题，行人属性识别基于视频的方法。其挑战主要在于空间和时间建模以及如何将它们集成以实现有效和动态的行人表示。针对这一问题，提出了一种基于传统神经网络和时间注意策略的多任务模型。由于公开的数据集是罕见的，两个新的大规模的视频数据集与扩展的属性定义，基于视频的行人属性识别方法和所提出的新的网络结构的有效性得到了很好的证明。这两个数据集发布在http://irip.buaa.edu.cn/mars_duke_attributes/index.html上。
2019-10-28 cs.CV
A Forward and Backward Compatible Framework for Few-shot Class-incremental Pill Recognition
National University of Defense Technology (NUDT)（国防科技大学）；College of Intelligence Science and Technology（智能科学与技术学院）；College of Electronic Science and Technology（电子科学与技术学院）
本文提出首个少样本类增量药丸识别框架DBC-FSCIL，通过前向兼容的虚拟类合成与中心三元组损失，以及后向兼容的不确定性量化伪特征合成，有效减少存储需求并提升识别性能，构建了新基准并超越现有SOTA方法。
2024-03-25 cs.AI cs.CV
Domain-Incremental Continual Learning for Mitigating Bias in Facial Expression and Action Unit Recognition
University of Cambridge（剑桥大学）；Binghamton University（宾汉姆顿大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
随着面部表情识别（FER）系统融入我们的日常生活，这些系统需要优先做出公平的决策，而不是以更高的个人准确率为目标。从监测系统到诊断个人的心理和情绪健康状况，这些系统需要平衡准确性与公平性的权衡，以做出不会不公正地歧视特定代表性不足的人口群体的决定。将偏差识别为面部分析系统中的关键问题，已经提出了不同的方法，旨在在数据和算法级别上减轻偏差。在这项工作中，我们提出了新的使用持续学习（CL），特别是，使用域增量学习（域IL）设置，作为一个有力的偏见缓解方法，以提高FER系统的公平性，同时防止偏见所产生的数据分布偏态。我们使用两个流行的基准，RAF-DB和BP 4D数据集，分别比较了不同的非基于CL和基于CL的方法在表情识别和动作单元（AU）检测任务上的分类准确性和公平性得分。我们的实验结果表明，基于CL的方法，平均而言，优于其他流行的偏见缓解技术的准确性和公平性指标。
2021-03-15 cs.CV cs.LG
Domain Generalization for Improved Human Activity Recognition in Office Space Videos Using Adaptive Pre-processing
Bangladesh University of Engineering and Technology (BUET)（孟加拉工程技术大学）；Center for Bioengineering Innovation and Design (CBID)（生物工程创新与设计中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
针对办公视频中训练与测试域不同导致的活动识别难题，提出三种可适配任意视频编码器的预处理技术，结合 MViT 等模型显著提升未见域上的多项指标并优于域适应方法。
2025-03-16 cs.CV
Continual Learning for Class- and Domain-Incremental Semantic Segmentation
Porsche Engineering Services GmbH（保时捷工程服务有限公司）；Fraunhofer IOSB（弗劳恩霍夫光学、系统技术与图像利用研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
持续深度学习领域是一个新兴的领域，已经取得了很多进展。然而，同时，大多数方法仅在图像分类的任务上进行测试，这与智能车辆领域无关。直到最近才提出了类增量语义分割的方法。然而，所有这些方法都是基于某种形式的知识蒸馏。目前，还没有研究基于重放的方法，通常用于在连续设置中的对象识别。与此同时，虽然语义分割的无监督域自适应获得了很大的牵引力，但关于连续设置中的域增量学习的研究并没有得到很好的研究。因此，我们的工作目标是评估和适应既定的解决方案，连续对象识别的任务，语义分割，并提供基线方法和评估协议的任务，连续语义分割。我们首先介绍评估协议的类和域增量分割和分析选定的方法。我们表明，语义分割的任务的性质改变的方法是最有效的，在减轻遗忘相比，图像分类。特别是在类增量学习中，知识蒸馏被证明是一种重要的工具，而在领域增量学习中，重放方法是最有效的方法。
2022-09-16 cs.CV
Use Your Head: Improving Long-Tail Video Recognition
University of Bristol（布里斯托大学）
本文指出现有视频基准缺乏少样本尾部类别，为此提出新基准及Long-Tail Mixed Reconstruction方法，通过重构少样本实例并混合标签学习决策边界，在多个数据集上达到最先进水平。
2023-04-03 cs.CV
An Empirical Study on Activity Recognition in Long Surgical Videos
手术视频中的活动识别是开发下一代设备和工作流程监控系统的关键研究领域。由于手术是具有高度可变长度的长过程，因此用于手术视频的深度学习模型通常包括使用主干和时间序列模型的两阶段设置。在本文中，我们研究了许多最先进的骨干和时间模型，以找到产生最强的性能的外科手术活动识别的架构。我们首先在一个大规模的活动识别数据集上对模型的性能进行基准测试，该数据集包含在多个临床手术室中捕获的800多个手术视频。我们进一步评估了两个较小的公共数据集，Cholec 80和Cataract-101数据集，分别包含80和101个视频。我们根据经验发现，Swin-Transformer+BiGRU时间模型在两个数据集上都有很好的表现。最后，我们调查的适应性的模型，新的领域微调模型，以一个新的医院，并与最近的无监督领域自适应方法进行试验。
2022-09-07 cs.CV
F-SIOL-310: A Robotic Dataset and Benchmark for Few-Shot Incremental Object Learning
The Pennsylvania State University（宾夕法尼亚州立大学）
深度学习通过像ImageNet这样的大规模数据集的可用性在对象识别任务中取得了显着的成功。然而，深度学习系统在增量学习而不重放旧数据时会遭受灾难性遗忘。对于现实世界的应用，机器人还需要逐步学习新对象。此外，由于机器人可获得的人类帮助有限，它们必须仅从几个例子中学习。然而，很少有对象识别数据集和基准测试存在，以测试机器人视觉的增量学习能力。此外，从一些例子来看，没有专门为增量对象学习设计的数据集或基准。为了填补这一空白，我们提出了一个新的数据集称为F-SIOL-310（Few-Shot增量对象学习），这是专门为测试机器人视觉的Few-Shot增量对象学习能力而捕获的。我们还提供了F-SIOL-310上的8种增量学习算法的基准测试和评估，以供将来进行比较。我们的研究结果表明，机器人视觉的Few-Shot增量对象学习问题远未得到解决。
2022-04-20 cs.CV cs.RO
VIPeR: Visual Incremental Place Recognition with Adaptive Mining and Continual Learning
School of Computer Science, Hangzhou Dianzi University（杭州电子科技大学计算机学院）；High-speed Aerodynamics Institute, CARDC（中国空气动力研究与发展中心高速空气动力研究所）；State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD&CG国家重点实验室）；Stevens Institute of Technology（史蒂文斯理工学院）
针对现有视觉地点识别（VPR）方法在未知环境性能下降问题，提出VIPeR方法，通过自适应挖掘策略、类人类记忆库和概率知识蒸馏，实现增量地点识别，在三大数据集上较基线及近期方法性能提升，平均提升达13.65%。
2025-02-12 cs.CV cs.RO
Unsupervised Domain Adaptation for Face Recognition in Unlabeled Videos
NEC Labs America（NEC美国实验室）；UC Merced（加州大学默塞德分校）；Dalian University of Technology（大连理工大学）；UC San Diego（加州大学圣迭戈分校）
尽管人脸识别技术取得了快速的进步，但基于静态图像的人脸识别和基于视频的人脸识别的性能之间仍然存在明显的差距，这是由于这两个领域之间的视觉质量存在巨大差异，以及难以管理各种大规模视频数据集。本文解决了这两个挑战，通过图像到视频的特征级领域自适应的方法，学习歧视性的视频帧表示。该框架利用大规模的未标记的视频数据，以减少不同领域之间的差距，同时从大规模标记的静止图像转移的歧视性知识。给定在图像域中预训练的人脸识别网络，通过（i）通过特征匹配将知识从网络提取到视频自适应网络，（ii）通过合成数据增强执行特征恢复，以及（iii）通过域对抗训练学习域不变特征来实现自适应。我们通过鉴别器引导的特征融合进一步提高性能，该融合提高了高质量帧，同时消除了因视频域特定因素而退化的帧。在YouTube Faces和IJB-A数据集上的实验表明，每个模块都有助于我们的特征级领域自适应框架，并大大提高了视频人脸识别的性能，以达到最先进的准确性。我们定性地证明了网络学习抑制视频中的各种伪影，如姿势，照明或遮挡，而无需对其进行明确的训练。
2017-08-07 cs.AI cs.CV
Multi-language Video Subtitle Dataset for Image-based Text Recognition
Mahasarakham University（玛哈沙拉坎大学）
该研究构建了一个包含4,224张多语言字幕图像的数据集，涵盖157种字符，旨在支持复杂背景下多语言文字识别及深度学习模型的开发与评估。
2024-11-07 cs.AI cs.CV
Continual Learning: Forget-free Winning Subnetworks for Video Representations
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）；School of Computing, KAIST（韩国科学技术院计算机学院）
受彩票假说启发，本文提出将中奖子网络（WSN）及傅里叶子神经算子（FSO）应用于多种持续学习场景，通过稀疏重用预存权重和紧凑编码视频，有效防止过拟合并显著提升各卷积层的任务性能。
2024-12-19 cs.AI cs.CV cs.LG
MoViNets: Mobile Video Networks for Efficient Video Recognition
Google Research（谷歌研究院）
我们提出了移动视频网络（MoViNets），一个家庭的计算和内存高效的视频网络，可以操作流媒体视频在线推理。3D卷积神经网络（CNN）在视频识别方面是准确的，但需要大量的计算和内存预算，并且不支持在线推理，这使得它们难以在移动设备上工作。我们提出了一种三步方法来提高计算效率，同时大幅降低3D CNN的峰值内存使用量。首先，我们设计了一个视频网络搜索空间，并采用神经架构搜索来生成高效且多样化的3D CNN架构。其次，我们介绍了流缓冲区技术，该技术从视频剪辑持续时间中提取内存，允许3D CNN嵌入任意长度的流视频序列，用于训练和推理，并且内存占用量较小。第三，我们提出了一个简单的集成技术，以进一步提高精度，而不牺牲效率。这三种渐进式技术使MoViNets能够在Kinetics，Moments in Time和Charades视频动作识别数据集上实现最先进的准确性和效率。例如，MoViNet-A5-Stream在Kinetics 600上实现了与X3 D-XL相同的精度，但所需的FLOP减少了80%，内存减少了65%。代码将在https://github.com/tensorflow/models/tree/master/official/vision上提供。
2021-04-18 cs.AI cs.CV cs.LG
AdaMML: Adaptive Multi-Modal Learning for Efficient Video Recognition
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Boston University（波士顿大学）；MIT（麻省理工学院）
多模态学习是一种利用各种模态来提高模型性能的学习方法，广泛应用于视频识别中。虽然传统的多模态学习提供了出色的识别结果，但其计算费用限制了其对许多现实世界应用的影响。在本文中，我们提出了一种自适应多模态学习框架，称为AdaMML，它可以根据输入为每个片段选择最佳模态，以实现高效的视频识别。具体来说，给定一个视频片段，使用多模态策略网络来决定识别模型应该使用什么模态进行处理，目标是提高准确性和效率。我们有效地训练的政策网络与识别模型，使用标准的反向传播。在四个具有挑战性的不同数据集上进行的广泛实验表明，与传统的基线相比，我们提出的自适应方法可以减少35%-55%的计算量，而传统的基线只是简单地使用所有的模态，而不考虑输入，同时还实现了与最先进的方法相比准确性的一致提高。
2021-05-12 cs.AI cs.CV cs.LG
When Video Classification Meets Incremental Classes
Zhejiang University（浙江大学）
随着社交媒体的快速发展，每天都有大量的新类别视频产生，这就迫切需要一种能够在有限的存储和计算资源下，在保持旧视频知识的同时不断更新新类别的视频分类方法。作为增量学习任务的一个子领域，灾难性遗忘的挑战在增量视频分类中是不可避免的。为了更好地缓解它，我们利用视频的一些特性。首先，在知识转移过程中，对时空知识进行分解，而不是将其作为一个整体来处理;轨迹也被用来细化分解。其次，我们提出了一个双粒度的样本选择方法，选择和存储代表性的视频实例的旧类和关键帧内的视频在一个紧张的存储预算。我们在Something-Something V2和Kinetics数据集上对我们的方法和以前的SOTA类增量学习方法进行了基准测试，我们的方法明显优于以前的方法。
2021-09-01 cs.CV
Incremental Boosting Convolutional Neural Network for Facial Action Unit Recognition
University of South Carolina（南卡罗来纳大学）
从自发的面部表情中识别面部动作单元仍然是一个具有挑战性的问题。最近，CNN在面部AU识别方面表现出了希望。然而，由于有限的AU编码训练图像，学习的CNN通常过拟合，并且不能很好地推广到看不见的主题。我们提出了一种新的增量提升CNN（IB-CNN），通过增量提升层将提升集成到CNN中，该增量提升层从较低层中选择有区别的神经元，并在连续的小批次上增量更新。此外，提出了一种新的损失函数，该函数考虑了增量增强分类器和单个弱分类器的错误，以微调IB-CNN。在四个基准AU数据库上的实验结果表明，IB-CNN比传统的CNN和没有增量学习的boosting CNN有显著的改进，并且在AU识别中优于最先进的基于CNN的方法。对于在数据库中频率最低的AU来说，这种改进更为显著。
2017-07-17 cs.CV
Unsupervised Incremental Learning of Deep Descriptors From Video Streams
MICC -- University of Florence（MICC——佛罗伦萨大学）
我们提出了一种新的无监督的方法从视频序列的人脸身份学习。该方法利用ResNet深度网络进行人脸检测和VGGface fc7人脸描述符，以及利用视频流中视觉数据的时间一致性的智能学习机制。我们提出了一种新的特征匹配解决方案的基础上反向最近邻和特征遗忘策略，支持增量学习与内存大小控制，而时间的推移。结果表明，所提出的学习过程是渐近稳定的，可以有效地应用于相关的应用，如多人脸跟踪。
2017-08-11 cs.CV
Video Transformer for Deepfake Detection with Incremental Learning
Deepfake的面部伪造在互联网上广泛传播，这引起了严重的社会问题。在本文中，我们提出了一种新的视频Transformer，用于检测深度伪造视频。为了更好地对齐输入的人脸图像，我们使用3D人脸重建方法从单个输入人脸图像生成UV纹理。对齐的人脸图像还可以提供UV纹理图像中无法感知的姿势，眨眼和嘴巴运动信息，因此我们使用人脸图像及其UV纹理图来提取图像特征。我们提出了一种增量学习策略，可以在少量数据上微调所提出的模型，并实现更好的deepfake检测性能。在各种公开的deepfake数据集上的综合实验表明，所提出的具有增量学习的视频Transformer模型在deepfake视频检测任务中实现了最先进的性能，并从序列数据中增强了特征学习。
2021-08-11 cs.CV
Learning a Condensed Frame for Memory-Efficient Video Class-Incremental Learning
Alibaba Group（阿里巴巴集团）
最近的增量学习动作识别通常存储代表性的视频，以减轻灾难性遗忘。然而，由于内存有限，只能存储一些庞大的视频。为了解决这个问题，我们提出了FrameMaker，一个内存高效的视频类增量学习方法，学习为每个选定的视频产生一个压缩帧。具体来说，FrameMaker主要由两个关键组件组成：Frame Condensing和Instance-Specific Prompt。前者是通过只保留一个压缩帧而不是整个视频来减少内存开销，而后者旨在补偿帧压缩阶段丢失的时空细节。通过这种方式，FrameMaker可以显著减少内存，但保留足够的信息，可以应用于后续的增量任务。多个具有挑战性的基准测试的实验结果，即，HMDB 51、UCF 101和Something-Something V2证明了FrameMaker可以在仅占用20%内存的情况下实现比最近的高级方法更好的性能。此外，在相同的内存消耗条件下，FrameMaker的性能明显优于现有的最先进技术。
2022-11-02 cs.CV
Online Action Recognition based on Incremental Learning of Weighted Covariance Descriptors
China University of Geosciences（中国地质大学）；University of Wollongong（卧龙岗大学）
与传统的基于视频片段的动作识别不同，在线动作识别旨在以连续的方式从未分割的数据流中识别动作。在线识别的一种方法是基于随着时间的推移而积累的证据来从流视频中进行预测。本文提出了一种快速有效的方法从噪声骨架数据流中识别动作，并采用一种新的加权协方差描述子来积累证据。特别是，一个快速增量更新方法的加权协方差描述符的时间信息的积累和在线预测。加权协方差描述符考虑了以下原则：过去的帧对识别的贡献较小，最近的和有信息的帧（如关键帧）对识别的贡献较大。在线识别是使用一个简单的最近邻搜索对一组离线训练的动作模型。MSC-12 Kinect手势数据集和我们新构建的在线动作识别数据集上的实验结果证明了所提出的方法的有效性。
2017-07-06 cs.CV
Incremental Few-Shot Learning for Pedestrian Attribute Recognition
Tsinghua University（清华大学）；University of Warwick（华威大学）；Xidian University（西安电子科技大学）
行人属性识别在视频监控应用中具有重要的作用，因此受到越来越多的关注。然而，大多数现有的方法都是为固定的属性集设计的。它们无法处理增量式少样本学习场景，即使经过良好训练的模型适应具有稀缺数据的新添加属性，这在现实世界中普遍存在。在这项工作中，我们提出了一个基于Meta学习的方法来解决这个问题。我们的框架的核心是一个Meta架构，能够解开多个属性信息，并迅速推广到新的属性。通过在增量式Few-Shot设置下对基准数据集PETA和RAP进行广泛的实验，我们证明了我们的方法能够以具有竞争力的性能和低资源需求执行任务。
2019-06-24 cs.CV
Streaming4D: Accelerate 4D World Models via Block-wise Video Generation and Incremental Reconstruction
The Chinese University of Hong Kong（香港中文大学）；The Hong Kong Polytechnic University（香港理工大学）；The University of New South Wales（新南威尔士大学）；Southeast University（东南大学）
Streaming4D提出分块视频生成与增量重建结合的同步流水线，在RTX 4090上实现1.24倍运行时加速，同时保持4D几何与多视图一致性，解决传统4D生成延迟高的问题。
2026-09-11 cs.CV
Video Domain Incremental Learning for Human Action Recognition in Home Environments
College of Design and Innovation, Tongji University（同济大学设计与创新学院）；SUSTech School of Design, Southern University of Science and Technology（南方科技大学设计学院）
针对家庭环境中人类动作识别的挑战，本文形式化了视频域增量学习（VDIL）问题，提出包含三种领域划分的基准，并设计了基于回放和蓄水池采样的基线策略，在有限内存下优于现有持续学习方法。
2024-12-22 cs.CV
OpenIncrement: A Unified Framework for Open Set Recognition and Deep Class-Incremental Learning
Technical University Berlin（柏林工业大学）；Huawei Munich Research Center（华为慕尼黑研究中心）
针对深度增量学习中实际分类器易误识别新样本的问题，提出融合开集识别的OpenIncrement框架，优化增量特征适配距离式开集识别，在增量学习和开集识别任务上均优于现有方法。
2023-10-05 cs.CV cs.LG
Incremental Learning from Low-labelled Stream Data in Open-Set Video Face Recognition
CITIC；Universidade da Coruña（拉科鲁尼亚大学）；CiTIUS；Universidade de Santiago de Compostela（圣地亚哥-德孔波斯特拉大学）
深度学习方法为一般分类问题带来了具有令人印象深刻的性能的解决方案，其中提供了丰富的注释数据用于训练。相比之下，在持续学习的一组非固定类，主要是当应用于流数据的无监督问题，取得了较少的进展。在这里，我们提出了一种新的增量学习方法，该方法将深度特征编码器与SVM的开放集动态集成相结合，以解决从流式人脸数据中识别感兴趣个体（IoI）的问题。从一个简单的弱分类器上训练的几个视频帧，我们的方法可以使用无监督的操作数据来增强识别。我们的方法适应新的模式，避免灾难性遗忘，并部分地治愈自己的适应失误。此外，为了更好地符合现实世界的条件，该系统被设计为在开放设置中运行。结果显示，相对于非自适应最先进的方法，F1分数增加高达15%。
2020-12-17 cs.CV
Slightly Shift New Classes to Remember Old Classes for Video Class-Incremental Learning
University of Electronic Science and Technology of China（电子科技大学）
针对视频类增量学习中的灾难性遗忘问题，本文提出SNRO方法，通过稀疏采样构建记忆集和提前终止训练来偏移新类特征，在相同内存消耗下提升旧类记忆能力。
2024-04-01 cs.CV
PIGEONS: Incremental Long-Video Captioning with Persistent Identity Gallery and Evolving Overarching Narrative Summary
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；The Hong Kong University of Science and Technology（香港科技大学）；Peking University（北京大学）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Nanjing University（南京大学）
针对长视频字幕生成的主体指代不一致、叙事碎片化问题，提出基于持久身份图库与演进式全局叙事摘要的PIGEONS模型，经三阶段训练后在长视频字幕生成上性能显著优于现有方法。
2026-10-14 cs.CV
Evolving from Unknown to Known: Retentive Angular Representation Learning for Incremental Open Set Recognition
针对增量开放集识别中决策边界判别力下降的问题，提出保持角表示学习（RARL），通过虚拟-内在交互训练和分层修正策略，在CIFAR100和TinyImageNet上取得最先进性能。
2025-09-09 cs.CV
Context-driven Active and Incremental Activity Recognition
Università degli Studi di Milano（米兰大学）
基于移动终端传感器数据的人体活动识别是移动计算和普适计算领域的一个研究热点。虽然大多数提出的技术是基于监督学习，半监督的方法正在考虑显着减少初始化识别模型所需的训练集的大小。这些方法通常应用自我训练或主动学习来逐步完善模型，但它们的有效性似乎仅限于有限的身体活动。我们声称围绕用户的上下文（例如，语义位置、与运输路线的接近度、一天中的时间）与关于该上下文和人类活动之间的关系的常识相结合，可以有效地显著增加所识别的活动的集合，所识别的活动包括仅考虑惯性传感器难以区分的活动以及高度依赖于上下文的活动。在本文中，我们提出了CAVIAR，一种新的混合半监督和基于知识的实时活动识别系统。我们的方法将语义推理应用于上下文数据，以改进半监督分类器的预测。上下文细化的预测被用作新的标记样本，以更新分类器结合自训练和主动学习技术。从26个科目获得的真实数据集上的结果显示的有效性的上下文感知方法的识别率和查询的数量由主动学习模块生成的主题。为了评估上下文推理的影响，我们还将CAVIAR与纯统计版本进行了比较，将上下文数据计算的特征视为机器学习过程的一部分。
2019-06-07 cs.CV
DCA: Dividing and Conquering Amnesia in Incremental Object Detection
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；College of Computer Science, Nankai University（南开大学计算机学院）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Harbin Institute of Technology（哈尔滨工业大学）；Tsinghua University（清华大学）
针对Transformer基增量目标检测中定位与识别遗忘不平衡的问题，提出先定位后识别的DCA分治策略，结合预训练语言模型语义锚定减少识别特征漂移，在MS-COCO四步设置下AP提升6.9%，达SOTA性能。
2025-03-19 cs.CV
Learning Binary Features Online from Motion Dynamics for Incremental Loop-Closure Detection and Place Recognition
Georgia Institute of Technology（佐治亚理工学院）；Transylvania University（特兰西瓦尼亚大学）
本文提出了一种简单而有效的在线学习视觉特征的方法，以提高循环闭合检测和位置识别，基于词袋框架。该方法从两个连续帧的一对匹配特征中学习词袋模型中的码字，使得码字对相机运动具有时间导出的视角不变性。该学习算法是有效的：从平均图像块生成二进制描述符，并通过最小化学习特征与两个原始特征之间的类内距离，基于判别投影学习掩模。通过将学习的描述符和掩码打包来生成用于词袋模型的码字，其中定义了掩码汉明距离以测量两个码字之间的距离。然后在数学上证明学习的码字的几何性质。此外，通过匹配码字的时间一致性来施加假设约束，这提高了精度。该方法，集成在一个增量的词袋系统，多个基准数据集上进行验证，并比较国家的最先进的方法。实验表明，改进的精度/召回率优于最先进的技术，在运行时几乎没有损失。
2016-01-25 cs.CV
ESSENTIAL: Episodic and Semantic Memory Integration for Video Class-Incremental Learning
Kyung Hee University（Kyung Hee 大学）；Danggeun Market Inc.（Danggeun Market 公司）；Intel Labs（Intel 实验室）；Korea University（韩国大学）
针对视频类增量学习中内存效率与性能的权衡问题，提出ESSENTIAL方法，通过情景记忆与语义记忆整合及记忆检索模块，在显著降低内存开销的同时保持良好性能。
2025-08-14 cs.CV
MRN: Multiplexed Routing Network for Incremental Multilingual Text Recognition
Fudan University（复旦大学）；Shanghai Collaborative Innovation Center of Intelligent Visual Computing（上海智能视觉计算协同创新中心）；Gaoding AI（稿定人工智能）
提出增量多语言文本识别任务及多路复用路由网络（MRN），通过为每种语言训练识别器并利用语言域预测器加权，有效缓解排练不平衡与灾难性遗忘，在多个数据集上显著超越现有方法。
2023-07-30 cs.CV
InOR-Net: Incremental 3D Object Recognition Network for Point Cloud Representation
Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Northwestern University（西北大学）；Sony AI（索尼人工智能研究院）；Nanjing University of Science and Technology（南京理工大学）；ETH Zurich（苏黎世联邦理工学院）
三维物体识别已经成功地成为现实世界中一个吸引人的研究课题。然而，大多数现有的识别模型不合理地假设，在现实世界中的3D对象的类别不会随着时间的推移而改变。这种不切实际的假设可能会导致它们连续学习3D对象的新类的显著性能下降，这是由于对旧学习类的灾难性遗忘。此外，他们不能探索哪些3D几何特征对于减轻旧类3D对象上的灾难性遗忘是必不可少的。为了解决上述挑战，我们开发了一种新的增量3D对象识别网络（即，InOR-Net），通过克服对旧类的灾难性遗忘，不断识别新类的三维对象。具体而言，类别引导的几何推理提出了理由局部几何结构与独特的3D特征的每个类，利用内在的类别信息。然后，我们提出了一种新的批评引起的几何注意力机制，以区分每个类内的3D几何特征是有益的，以克服旧类的3D对象的灾难性遗忘，同时防止无用的3D特征的负面影响。此外，设计了一种双重自适应公平性补偿策略，通过补偿分类器的偏置权值和预测值来克服类不平衡带来的遗忘。对比实验验证了所提出的InOR-Net模型在几个公共点云数据集上的最新性能。
2023-02-20 cs.CV
InCloud: Incremental Learning for Point Cloud Place Recognition
DATA61, CSIRO（联邦科学与工业研究组织Data61）；Queensland University of Technology（昆士兰科技大学）
位置识别是机器人技术的一个基本组成部分，近年来通过使用深度学习模型，位置识别得到了巨大的改进。当部署在看不见的或高度动态的环境中时，网络可能会经历性能的显著下降，并且需要对收集的数据进行额外的培训。然而，对新的训练分布进行天真的微调可能会导致以前访问过的域的性能严重下降，这种现象称为灾难性遗忘。在本文中，我们解决了点云位置识别的增量学习问题，并介绍了InCloud，一种基于结构感知的蒸馏方法，它保留了网络嵌入空间的高阶结构。我们在四个流行的大规模LiDAR数据集（Oxford，MulRan，In-house和KITTI）上引入了几个具有挑战性的新基准，显示了各种网络架构上点云位置识别性能的广泛改进。据我们所知，这项工作是第一个有效地应用增量学习点云位置识别。本文的数据预处理、训练和评估代码可以在https://github.com/csiro-robotics/InCloud上找到。
2022-11-29 cs.AI cs.CV
Applying Incremental Deep Neural Networks-based Posture Recognition Model for Injury Risk Assessment in Construction
The Pennsylvania State University（宾夕法尼亚州立大学）
监测尴尬的姿势是预防建筑中肌肉骨骼疾病（MSD）的一种积极措施。机器学习（ML）模型已经显示出用于可穿戴传感器的姿势识别的有希望的结果。然而，还需要进一步的研究：i）增量学习（IL），其中训练的模型适应学习新的姿势并控制对已学习姿势的遗忘; ii）对已识别姿势的MSD评估。本研究提出了一个增量卷积长短期记忆（CLN）模型，研究了有效的IL策略，并评估MSDs评估使用公认的姿势。对9名工人的测试表明，具有浅卷积层的CLN模型在个性化（0.87）和广义（0.84）建模下实现了高识别性能（F1得分）。在多对一IL方案下的广义浅层CLN模型可以平衡学习对象的适应（0.73）和遗忘（0.74）。使用从增量CLN模型识别的姿势进行的MSD评估与地面实况存在微小差异，这表明在施工中自动化MSD监测的潜力很大。
2020-08-04 cs.CV cs.LG eess.IV
IncSAR: A Dual Fusion Incremental Learning Framework for SAR Target Recognition
Centre for Research & Technology Hellas（希腊研究与技术中心）
针对SAR目标识别的灾难性遗忘问题，提出双分支双融合的IncSAR增量学习框架，结合去噪、注意力等模块，在多个基准上实现99.63%准确率与89%的知识保留率提升。
2025-01-17 cs.CV
iRAG: Advancing RAG for Videos with an Incremental Approach
University Of Missouri-Kansas City（密苏里大学堪萨斯城分校）；NEC Laboratories America（美国NEC实验室）
针对视频RAG存在的预转文本耗时长、信息损失大的问题，提出带增量工作流的iRAG系统，可快速建库并按需提取视频细节，在保证响应质量与延迟相当的前提下，视频摄入速度提升23至25倍。
2024-08-17 cs.CV cs.IR cs.LG
Remembering by Reconstructing: Domain Incremental Learning With Test-Time Training on Video Streams
ESAT, KU Leuven（ESAT，比利时鲁汶大学）
提出一种结合主任务头和自监督掩码自编码器头的域增量学习方法，通过测试时训练识别最佳LoRA适配器以重新记忆域，适用于视频流数据。
2026-05-29 cs.CV cs.LG
Multiple Moving Object Recognitions in video based on Log Gabor-PCA Approach
Dayananda Sagar College of Engineering（达亚南达·萨加尔工程学院）
视频序列或图像中的目标识别是计算机视觉的一个分支。从视频序列中识别运动目标是一个很有吸引力的课题，在机场安全，入侵监视，视频监控，智能高速公路等领域的应用。运动目标识别是智能视频监控系统中最具挑战性的任务。在这方面，已经基于不同的方法提出了许多技术。尽管它的重要性，在复杂环境中的运动目标识别仍然远远没有完全解决低分辨率视频，雾视频，也暗淡的视频序列。总而言之，这些使得有必要开发非常强大的技术。本文介绍了多个运动目标识别的视频序列的基础上LoG的Gabor-PCA方法和角度的距离相似性措施的技术，用于识别对象作为一个人，车辆等进行了实验的数量为室内和室外的视频序列的标准数据集，也是我们自己收集的视频序列，包括部分夜视视频序列。实验结果表明，我们提出的方法取得了良好的识别率。所得结果令人满意且合格。
2014-07-03 cs.CV
Incremental Tube Construction for Human Action Detection
University of Oxford（牛津大学）；Samsung Research America（三星美国研究院）；Oxford Brookes University（牛津布鲁克斯大学）
当前最先进的动作检测系统是为离线批量处理应用定制的。然而，对于像人机交互这样的在线应用程序，当前的系统却达不到要求，要么是因为它们只能检测每个视频中的一个动作，要么是因为它们假设整个视频都可以提前获得。在这项工作中，我们引入了一个实时和在线的联合标记和关联算法的动作检测，可以逐步构建最具挑战性的动作视频中，同时发生不同的动作类别的时空动作管。与以前的方法相比，我们解决了检测窗口关联和动作标签问题，共同在一个单一的通行证。我们表现出优越的在线关联的准确性和速度（每帧2.2毫秒）相比，目前最先进的离线系统。我们进一步证明，整个动作检测流水线可以很容易地有效地实时工作，使用我们的动作管构造算法。
2018-07-23 cs.CV
ObjectMix: Data Augmentation by Copy-Pasting Objects in Videos for Action Recognition
Nagoya Institute of Technology（名古屋工业大学）
在本文中，我们提出了一个数据增强方法的动作识别使用实例分割。虽然许多数据增强方法已被提出用于图像识别，但其中很少有针对动作识别的。我们提出的方法，ObjectMix，提取每个对象区域从两个视频使用实例分割，并将它们结合起来，以创建新的视频。在UCF 101和HMDB 51两个动作识别数据集上的实验表明了该方法的有效性，并显示了其优于VideoMix的优势。
2022-11-14 cs.CV
Mobile Video Action Recognition
Renmin University of China（中国人民大学）
视频动作识别是计算机视觉和视频分析中的热门话题，旨在将短视频片段分配到预定义的类别，例如梳头或爬楼梯。最近的工作集中在动作识别与深度神经网络，实现国家的最先进的结果，需要高性能的平台。尽管移动计算发展迅速，但移动设备上的视频动作识别尚未得到充分讨论。在本文中，我们专注于新的移动视频动作识别任务，只有移动设备的计算能力是可访问的。我们选择直接从压缩视频中提取多种模态（包括I帧、运动矢量和残差），而不是具有巨大存储空间的原始视频。通过采用MobileNetV2作为骨干，我们提出了一种新的时间三线性池（TTP）模块融合移动视频动作识别的多种形式。除了运动矢量，我们还提供了一个时间融合的方法来明确地诱导时间上下文。在移动终端上的测试结果表明，该模型能够以40 FPS左右的帧速率完成移动视频动作识别。两个基准测试的比较结果表明，我们的模型优于现有的动作识别方法的模型大小和时间消耗，但具有竞争力的准确性。
2019-08-27 cs.CV
An Automatic System for Unconstrained Video-Based Face Recognition
University of Maryland, College Park（马里兰大学帕克分校）
虽然深度学习方法已经实现了基于静态图像的人脸识别的性能超过人类，但由于要处理的大量数据以及姿势、照明、遮挡、场景、模糊、视频质量等的视频内/视频间变化，基于无约束视频的人脸识别仍然是一项具有挑战性的任务。我们考虑了具有挑战性的场景，用于从具有低质量帧的多镜头视频和监控视频中进行无约束的基于视频的人脸识别。为了处理这些问题，我们提出了一个强大的和有效的系统，无约束的基于视频的人脸识别，这是由模块的人脸/基准检测，人脸关联，人脸识别。首先，我们使用多尺度单镜头人脸检测器来有效地定位视频中的人脸。然后通过精心设计的人脸关联方法对检测到的人脸进行分组，特别是对于多镜头视频。最后，人脸识别的建议的人脸匹配器的基础上无监督子空间学习方法和子空间到子空间的相似性度量。对具有挑战性的视频数据集进行了广泛的实验，例如多生物识别大挑战（MBGC），面部和眼部挑战系列（FOCS），低质量监控视频的IARPA Janus监控视频基准（IJB-S）和多镜头视频的IARPA JANUS基准B（IJB-B），实验结果表明，该系统可以准确地从无约束视频中检测和关联人脸，并有效地学习鲁棒性和区分性特征为了得到认可
2019-08-09 cs.CV
Detection and Analysis of Content Creator Collaborations in YouTube Videos using Face- and Speaker-Recognition
Technische Universität Darmstadt（达姆施塔特工业大学）
这项工作讨论并实现了在YouTube视频的合作检测的扬声器识别的应用。CATANA是一个现有的YouTube协作检测和分析框架，它正在利用人脸识别来检测协作者，这在没有出现人脸的视频内容上自然表现不佳。本文提出了一种扩展的CATANA使用主动说话人检测和说话人识别，以提高检测精度。
2018-07-05 cs.CV
