Human Activity Recognition on wrist-worn accelerometers using self-supervised neural networks
Verily Life Sciences, LLC (Alphabet)（Verily生命科学有限责任公司（Alphabet））
日常生活活动能力（ADL）是整体健康的重要指标，但难以在临床上测量。使用腕戴式加速度计的自动化和准确的人类活动识别（HAR）实现了对ADL的实用且具有成本效益的远程监测。开发高质量HAR的关键障碍是缺乏大型标记数据集，以及将在小型策划数据集上训练的模型应用于现实生活中连续的异构数据流时的性能损失。在这项工作中，我们设计了一个自监督学习范例，以创建一个强大的表示加速度计数据，可以概括跨设备和主题。我们证明了这种表示可以分离日常生活活动，并使用很少的标签实现强大的HAR准确性（在多个基准数据集上）。我们还提出了一种分割算法，可以识别显着活动的片段，并在连续的现实生活数据上提高HAR的准确性。
2021-12-22 cs.CV cs.LG
Self-Supervised Visual Place Recognition Learning in Mobile Robots
CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）
位置识别是机器人导航中的一个关键组成部分，它使机器人能够重新建立以前访问过的位置，并同时使用这些信息来纠正其推算估计中发生的漂移。在这项工作中，我们开发了一种自我监督的方法来识别机器人。视觉环路闭合识别的任务被转换为度量学习问题，其中环路闭合的正面和负面示例的标签可以使用机器人已经使用的GPS辅助导航解决方案自举。通过利用传感器之间的同步，我们表明，我们能够学习任意实值图像描述符（包括最先进的CNN模型），这是专门面向移动机器人的视觉识别的适当的距离度量。此外，我们表明，新学习的嵌入可以特别强大的消歧视觉场景的任务，基于视觉的闭环识别移动机器人。
2019-05-11 cs.CV cs.LG cs.RO
Federated Learning for Face Recognition via Intra-subject Self-supervised Learning
KakaoBank Corp.（KakaoBank公司）
本文提出FedFS框架，通过自适应软标签构建和主体内自监督学习两大组件及正则化损失，解决人脸识别联邦学习中自监督学习融合不足和多主体限制问题，在DigiFace-1M和VGGFace数据集上表现优于以往方法。
2024-07-23 cs.AI cs.CV cs.LG
Self-Supervised learning with cross-modal transformers for emotion recognition
情感识别是一项具有挑战性的任务，由于有限的可用性在野生标记数据集。自监督学习已经在语音和自然语言等领域的有限标记数据集的任务上显示出改进。像BERT这样的模型学会了在词嵌入中加入上下文，这转化为在下游任务（如问答）中的性能提高。在这项工作中，我们将自监督训练扩展到多模态应用程序。我们学习多模态表示使用Transformer训练的掩蔽语言建模任务的音频，视觉和文本功能。该模型在情感识别的下游任务上进行了微调。我们在CMU-MOSEI数据集上的结果表明，与基线相比，这种预训练技术可以将情感识别性能提高3%。
2020-11-20 cs.CL cs.LG
Multimodal and self-supervised representation learning for automatic gesture recognition in surgical robotics
The Johns Hopkins University（约翰霍普金斯大学）
自我监督的多模态学习在复杂场景的整体表示方面取得了成功。这对于整合来自具有多种用途的多种模态的信息是有用的。它在手术机器人中的应用可以同时开发对手术过程的通用机器理解，并减少对质量的依赖，通常难以获得的专家注释。我们开发了一个自我监督的，多模态的表示学习范式，学习表示手术手势从视频和运动学。我们使用一个编码器-解码器网络配置，对手术视频的表示进行编码并解码以产生运动学。我们定量地证明了我们学习的表示对手势识别（准确率在69.6%和77.8%之间）、跨多个任务的迁移学习（准确率在44.6%和64.8%之间）和外科医生技能分类（准确率在76.8%和81.2%之间）的功效。此外，我们定性地证明，我们的自我监督表示集群在语义上有意义的属性（外科医生的技能和手势）。
2020-10-31 cs.CV cs.LG cs.RO
Self-supervised Speaker Recognition Training Using Human-Machine Dialogues
Amazon（亚马逊公司）
说话人识别，仅基于语音识别说话人身份，可以实现重要的下游应用，如个性化和身份验证。在监督学习的背景下，说话人表征的学习在很大程度上依赖于干净且足够的标记数据，而这些标记数据通常很难获得。另一方面，噪声未标记数据也提供了有价值的信息，可以使用自监督训练方法加以利用。在这项工作中，我们研究了如何通过利用客户和智能扬声器设备之间的对话来预训练说话人识别模型。然而，这样的对话中的监督信息固有地是嘈杂的，因为多个说话者可能在同一对话的过程中对设备说话。为了解决这个问题，我们提出了一个有效的拒绝机制，选择性地学习对话的基础上，他们的声学同质性。比较了基于重构和基于对比学习的自监督方法。实验表明，该方法提供了显着的性能改善，优于早期的工作。对话预训练时，结合拒绝机制产生27.10%的平等出错率（EER）减少说话人识别，相比没有自我监督的预训练模型。
2022-02-17 cs.LG
Multimodal Semi-Supervised Learning for Text Recognition
AWS AI Labs（亚马逊云科技人工智能实验室）；Technion（以色列理工学院）
直到最近，公开的真实世界文本图像的数量还不足以训练场景文本识别器。因此，大多数现代训练方法依赖于合成数据，并以完全监督的方式运行。然而，最近公开的真实世界文本图像的数量显著增加，其中包括大量未标记的数据。利用这些资源需要半监督方法;然而，现有的几种方法不考虑视觉语言的多模态结构，因此对于最先进的多模态架构来说是次优的。为了弥补这一差距，我们提出了多模态文本识别器（SemiMTR）的半监督学习，它在每个模态训练阶段利用未标记的数据。值得注意的是，我们的方法避免了额外的训练阶段，并保持了当前的三阶段多模式训练过程。我们的算法首先通过将自监督学习与监督训练相结合的单阶段训练来预训练视觉模型。更具体地说，我们扩展了现有的视觉表示学习算法，并提出了第一个基于对比度的场景文本识别方法。在文本语料库上预训练语言模型后，我们通过文本图像的弱增强视图和强增强视图之间的顺序、字符级、一致性正则化来微调整个网络。在一个新的设置中，一致性分别在每个模态上强制执行。大量的实验验证了我们的方法优于当前的训练方案，并在多个场景文本识别基准测试中取得了最先进的结果。
2022-05-08 cs.AI cs.CV cs.LG
Robust Self-Supervised Audio-Visual Speech Recognition
Meta AI
基于音频的自动语音识别（ASR）在噪声环境中会显著降低，并且特别容易受到干扰语音的影响，因为模型无法确定要转录哪个说话者。视听语音识别（AVSR）系统通过用视觉信息补充音频流来提高鲁棒性，视觉信息对噪声是不变的，并且帮助模型聚焦于期望的说话者。然而，以前的AVSR工作只集中在监督学习设置上;因此，可用的标记数据量阻碍了进展。在这项工作中，我们提出了一个自监督AVSR框架上建立的视听休伯特（AV休伯特），一个国家的最先进的视听语音表示学习模型。在最大的AVSR基准数据集LRS 3上，我们的方法在存在串音噪声的情况下使用不到10%的标记数据（433小时与30小时），比现有技术的性能高出约50%（28.0%与14.1%），同时平均将基于音频的模型的WER降低了75%以上（25.8%与5.8%）。
2022-07-14 cs.CV cs.LG cs.SD
Deep Recurrent Semi-Supervised EEG Representation Learning for Emotion Recognition
Queen’s University（女王大学）
基于EEG的情感识别通常需要足够的标记训练样本来构建有效的计算模型。另一方面，标记EEG数据通常昂贵且耗时。为了解决这个问题，并减少在基于EEG的情感识别的背景下对输出标签的需求，我们提出了一个半监督管道，以联合利用未标记和标记的数据来学习EEG表示。我们的半监督框架由无监督和监督组件组成。无监督部分使用自动编码器最大化原始和重构输入数据之间的一致性，而同时监督部分最小化输入和输出标签之间的交叉熵。我们评估我们的框架使用堆叠的自动编码器和基于注意力的经常性自动编码器。我们在大规模SEED EEG数据集上测试了我们的框架，并将我们的结果与其他几种流行的半监督方法进行了比较。我们的半监督框架具有基于深度注意力的递归自动编码器，即使在训练期间输出标签的小子集（3%，5%和10%）可用时，也始终优于基准方法，从而实现了新的最先进的半监督性能。
2021-07-28 cs.LG eess.SP
Self-supervised ECG Representation Learning for Emotion Recognition
我们开发了一个自我监督的深度多任务学习框架，用于基于心电图（ECG）的情感识别。所提出的解决方案包括两个学习阶段：a）学习ECG表示和b）学习对情绪进行分类。ECG表示由信号变换识别网络学习。该网络从未标记的ECG数据中学习高级抽象表示。六种不同的信号变换被应用到ECG信号，并且变换识别被执行为借口任务。在借口任务上训练模型可以帮助网络学习时空表示，这些时空表示可以很好地概括不同的数据集和不同的情感类别。我们将自监督网络的权重转移到情感识别网络，其中卷积层保持冻结，密集层使用标记的ECG数据进行训练。我们表明，与使用全监督学习训练的网络相比，所提出的解决方案大大提高了性能。新的国家的最先进的结果设置在分类的唤醒，效价，情感状态，和压力的四个利用的数据集。进行了大量的实验，提供了有趣的见解的影响，使用多任务的自我监督结构，而不是一个单一的任务模型，以及所需的借口自我监督任务的最佳难度水平。
2020-08-10 cs.LG eess.SP stat.ML
Masked Self-Supervised Pre-Training for Text Recognition Transformers on Large-Scale Datasets
Faculty of Information Technology, Brno University of Technology（布尔诺理工大学信息技术学院）
本文提出掩码自监督预训练方法，通过逐步增加掩码概率并改进损失函数，在5000万未标注文本行上预训练文本识别Transformer，显著降低字符错误率（最高相对降低30%），性能与迁移学习相当且无需额外标注数据。
2025-03-28 cs.AI cs.CV cs.LG
Feature Decoupling in Self-supervised Representation Learning for Open Set Recognition
Florida Institute of Technology（佛罗里达理工学院）
假设在分类过程中可能存在未知类，开集识别（OSR）任务的目标是将实例分类到已知类或将其拒绝为未知类。在本文中，我们使用两个阶段的训练策略的OSR问题。在第一阶段中，我们引入了一种自监督特征解耦方法，该方法从已知类中找到输入样本的内容特征。具体来说，我们的特征解耦方法学习了一种可以分为内容特征和转换特征的表示。在第二阶段，我们用类标签微调内容特征。然后将微调的内容特性用于OSR问题。此外，我们考虑了一个无监督的OSR场景，在那里我们聚类从第一阶段学习的内容特征。为了衡量表示质量，我们引入了帧内-帧间比（IIR）。我们的实验结果表明，我们提出的自监督方法优于其他图像和恶意软件OSR问题。此外，我们的分析表明，IIR与OSR性能相关。
2022-09-28 cs.AI cs.CR cs.CV
SCaLa: Supervised Contrastive Learning for End-to-End Speech Recognition
JD AI Research（京东人工智能研究院）
端到端自动语音识别（ASR）模型通常被训练为优化整个令牌序列的丢失，而忽略显式音素粒度监督。这可能导致由于相似音素混淆或音素减少而导致的识别错误。为了缓解这个问题，我们提出了一个新的框架，基于监督对比学习（SCaLa），以增强音素表征学习的端到端ASR系统。具体来说，我们将自监督的掩蔽对比预测编码（MCPC）扩展到完全监督的设置，其中监督以以下方式应用。首先，SCaLa根据从预先训练的声学模型中提取的给定音素强制对齐的音素边界掩蔽可变长度编码器特征;然后通过对比学习预测掩蔽的特征。强制对齐可以提供音素标签，以减轻自监督MCPC中正负对引入的噪声。阅读和自发语音数据集上的实验表明，我们提出的方法实现了2.8和1.4点字符错误率（CER）的绝对减少相比，基线，分别。
2022-06-20 cs.LG cs.SD eess.AS
Supervised Contrastive Learning for Accented Speech Recognition
Mediatek Singapore（联发科新加坡）
基于神经网络的语音识别系统由于口音语音，特别是不熟悉的口音而遭受性能下降。在本文中，我们研究了有监督的对比学习框架的口音语音识别。为了建立不同的视图（类似的"积极"的数据样本）的对比学习，三个数据增强技术，包括噪声注入，频谱图增强和TTS相同的句子生成进一步研究。通过在Common Voice数据集上的实验，我们已经证明了对比学习有助于构建数据增强不变和发音不变的表示，这在zero-shot和full shot设置中都显着优于传统的联合训练方法。实验结果表明，对比学习比联合训练方法平均提高了3.66%（zero-shot）和3.78%（full-shot）的准确率。
2021-07-02 cs.LG cs.SD eess.AS
Improving Pseudo-label Training For End-to-end Speech Recognition Using Gradient Mask
Bytedance AI Lab（字节跳动人工智能实验室）
在最近的半监督语音识别趋势中，自监督表示学习和伪标记都显示出有希望的结果。在本文中，我们提出了一种新的方法，结合他们的想法，端到端的语音识别模型。在没有任何额外损失函数的情况下，我们在伪标签上训练时使用梯度掩码来优化模型。该方法迫使语音识别模型从掩蔽输入进行预测，以学习强声学表示，并使训练对标签噪声具有鲁棒性。在我们的半监督实验中，该方法可以提高在伪标签上训练时的模型性能，并且在Librispeech 100小时实验中，与其他半监督方法相比，我们的方法取得了有竞争力的结果。
2021-10-08 cs.LG cs.SD eess.AS
Position-Aware Self-supervised Representation Learning for Cross-mode Radar Signal Recognition
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（科学与工程学院，香港中文大学（深圳））
RadarPos通过位置感知自监督学习提升跨模式雷达信号识别的判别能力和鲁棒性。
2026-01-30 cs.AI cs.LG eess.SP
Ensemble Distribution Distillation for Self-Supervised Human Activity Recognition
organization= The University of New South Wales , city= Sydney , country= Australia；organization= The University of New South Wales \& CSIRO , city= Sydney , country= Australia
本文提出一种自监督集成分布蒸馏框架，利用未标记数据和部分监督训练，提升人类活动识别的准确性、不确定性估计和对抗鲁棒性，且不增加推理计算复杂度。
2025-09-10 cs.LG
Assessing the State of Self-Supervised Human Activity Recognition using Wearables
Georgia Institute of Technology（佐治亚理工学院）
自监督学习在基于可穿戴设备的人类活动识别（HAR）领域的出现为解决该领域最紧迫的挑战提供了机会，即利用未标记的数据来获得可靠的识别系统，以适应只能收集少量标记训练样本的情况。因此，自我监督，即，“预训练-然后微调”的范例有可能成为主要的端到端训练方法的强有力的替代方案，更不用说用于经典活动识别链的手工制作的特征了。最近，许多将自监督学习引入HAR领域的贡献，包括多任务自监督，Masked Reconstruction，CPC和Simplified，仅举几例。随着这些方法的初步成功，现在已经到了对该领域潜在的自我监督学习进行系统盘点和分析的时候了。这份文件提供的正是这一点。我们通过引入一个框架来评估自监督HAR研究的进展，该框架对模型性能进行了多方面的探索。我们将框架组织成三个维度，每个维度包含三个组成标准，每个维度都可以捕获性能的特定方面，包括对不同源和目标条件的鲁棒性，数据集特征的影响以及特征空间特征。我们利用这个框架来评估HAR的七种最先进的自监督方法，从而形成对这些技术属性的见解，并建立它们对不同场景的学习表示的价值。
2022-11-19 cs.LG eess.SP
GMSS: Graph-Based Multi-Task Self-Supervised Learning for EEG Emotion Recognition
Xidian University（西安电子科技大学）；Southeast University（东南大学）
以往的脑电信号情感识别依赖于单任务学习，这可能导致过拟合和学习的情感特征缺乏泛化能力。提出了一种基于图的多任务自监督学习模型（GMSS）用于脑电情感识别。GMSS具有通过整合多个自我监督任务（包括空间和频率拼图任务以及对比学习任务）来学习更一般的表征的能力。通过同时从多个任务中学习，GMSS可以找到捕获所有任务的表示，从而减少原始任务上过拟合的机会，即，情绪识别任务特别是，空间拼图任务旨在捕捉不同大脑区域的内在空间关系。考虑到频率信息在脑电情感信号中的重要性，频率拼图任务的目标是探索脑电情感识别的关键频段。为了进一步规范学习的特征并鼓励网络学习固有的表示，在这项工作中采用了对比学习任务，将转换后的数据映射到一个公共的特征空间。建议GMSS的性能进行了比较，与几个流行的无监督和监督的方法。在SEED、SEED-IV和MPED数据集上的实验表明，该模型在学习更有鉴别力和通用性的脑电信号情感特征方面具有显著优势。
2022-04-12 cs.AI cs.LG eess.SP
Reducing Label Dependency in Human Activity Recognition with Wearables: From Supervised Learning to Novel Weakly Self-Supervised Approaches
The University of Texas at Arlington（德克萨斯理工大学）
本文提出了一种新型弱自监督学习框架，通过减少标注依赖性提升可穿戴设备人体活动识别的性能和效率。
2025-12-15 cs.HC cs.LG
Transformer-Based Self-Supervised Learning for Emotion Recognition
Orange Labs（橙色实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔理工学院）
为了利用时间序列信号（例如生理信号）的表示，这些表示从整个信号捕获相关信息是必要的。在这项工作中，我们提出了使用基于变换器的模型来处理心电图（ECG）的情感识别。Transformer的注意力机制可用于构建信号的情境化表示，从而赋予相关部分更多重要性。然后，这些表示可以用完全连接的网络进行处理，以预测情绪。为了克服带有情感标签的数据集相对较小的问题，我们采用了自监督学习。我们收集了几个没有情感标签的ECG数据集来预训练我们的模型，然后我们对AMIGOS数据集进行了微调以进行情感识别。我们表明，我们的方法达到了最先进的性能，使用心电图信号AMIGOS的情感识别。更一般地说，我们的实验表明，Transformers和预训练是很有前途的策略与生理信号的情感识别。
2022-06-03 cs.AI cs.LG eess.SP
FeaRLESS: Feature Refinement Loss for Ensembling Self-Supervised Learning Features in Robust End-to-end Speech Recognition
University of Texas at Dallas（德克萨斯大学达拉斯分校）
自监督学习表示（SSLR）在许多领域中为下游任务提供了鲁棒的功能。最近，几个SSLR在自动语音识别（ASR）基准语料库上显示出有希望的结果。然而，以前的研究只显示了作为ASR模型输入特征的孤立SSLR的性能。在这项研究中，我们建议调查不同的SSLR组合使用各种融合方法在端到端（E2E）ASR模型的有效性。此外，我们将展示这些提取的SSLR之间的相关性。因此，我们进一步提出了去相关的特征细化损失，以有效地组合输入特征集。对于评估，我们表明，建议的“FeaRLESS学习功能”比系统更好地执行没有建议的功能细化损失的华尔街日报和无畏的步骤挑战（FSC）语料库。
2022-06-30 cs.LG cs.SD eess.AS
Watch What You Pretrain For: Targeted, Transferable Adversarial Examples on Self-Supervised Speech Recognition models
Carnegie Mellon University（卡内基梅隆大学）；University of Florida（佛罗里达大学）
有针对性的对抗攻击产生的音频样本可以迫使自动语音识别（ASR）系统输出攻击者选择的文本。为了在真实世界的黑盒设置中利用ASR模型，对手可以利用可转移性属性，即为代理ASR生成的对抗样本也可以欺骗不同的远程ASR。然而，最近的工作表明，对大型ASR模型的可移植性是非常困难的。在这项工作中，我们表明，现代ASR架构，特别是那些基于自监督学习，实际上是脆弱的可转移性。我们通过评估最先进的自监督ASR模型，如Wav2Vec2，HuBERT，Data2Vec和WavLM，成功地证明了这一现象。我们表明，低水平的加性噪声达到30 dB的信噪比，我们可以实现高达80%的准确度的目标转移。接下来，我们1）使用消融研究来表明，自监督学习是这种现象的主要原因，2）我们为这种现象提供了一个解释。通过这一点，我们表明，现代ASR架构是唯一容易受到对抗性的安全威胁。
2022-09-29 cs.CL cs.CR cs.LG
Explaining, Analyzing, and Probing Representations of Self-Supervised Learning Models for Sensor-based Human Activity Recognition
Maastricht University（马斯特里赫特大学）
本文分析了SimCLR和VICReg等自监督学习框架在基于传感器的人类活动识别中的深度表示，通过鲁棒性比较、显著性图和探测方法揭示了其与监督模型在抗噪性、特征同质性和活动编码上的差异。
2023-07-31 cs.HC cs.LG eess.SP
Deep Contextualized Acoustic Representations For Semi-Supervised Speech Recognition
Amazon AWS AI（亚马逊AWS人工智能）
提出了一种新的半监督自动语音识别方法。我们首先通过表示学习利用大量未标记的音频数据，在那里我们从过去和未来的上下文帧中重建滤波器组特征的时间切片。然后使用所得到的深度情境化声学表示（DeCoAR）来使用较少量的标记音频数据训练基于CTC的端到端ASR系统。在我们的实验中，我们表明，在DeCoAR上训练的系统始终优于在传统滤波器组特征上训练的系统，在WSJ eval 92和LibriSpeech test-clean上分别比基线提高了42%和19%。我们的方法可以大大减少所需的标记数据量;在LibriSpeech上进行无监督训练，然后用100小时的标记数据进行监督，其性能与直接在所有960小时上进行训练的性能相当。预训练的模型和代码将在线发布。
2020-04-09 cs.CL cs.LG cs.SD
Adversarial Self-Supervised Learning for Semi-Supervised 3D Action Recognition
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；National University of Singapore（新加坡国立大学）
我们考虑的问题，半监督的3D动作识别，以前很少探索。它的主要挑战在于如何有效地从未标记的数据中学习运动表示。自监督学习（Self-supervised learning，SSL）是一种非常有效的学习方法。然而，对于3D动作识别，几乎没有有效的自监督方法存在，并且直接将SSL应用于半监督学习遭受从SSL和监督学习任务学习的表示的不对准。为了解决这些问题，我们提出了对抗性自监督学习（ASSL），一个新的框架，紧密耦合SSL和半监督方案通过邻居关系探索和对抗性学习。具体来说，我们设计了一个有效的SSL方案，以提高3D动作识别的学习表示的鉴别能力，通过探索一个邻域内的数据关系。我们进一步提出了对抗性正则化来对齐标记和未标记样本的特征分布。为了证明所提出的ASSL在半监督3D动作识别中的有效性，我们在NTU和N-UCLA数据集上进行了广泛的实验。结果证实了其优越的性能超过国家的最先进的半监督方法在几个标签制度的3D动作识别。
2020-07-12 cs.CV
Roweisposes, Including Eigenposes, Supervised Eigenposes, and Fisherposes, for 3D Action Recognition
University of Waterloo（滑铁卢大学）
人体动作识别是计算机视觉和机器学习的重要研究领域之一。虽然已经提出了各种方法用于3D动作识别，其中一些是基本的，一些使用深度学习，但基于广义特征值问题的基本方法的需要被感测到用于动作识别。这种需要是特别敏感的，因为有类似的基本方法在人脸识别领域，如特征脸和Fisherfaces。在本文中，我们提出了Roweisposes，它使用Roweis判别分析的广义子空间学习。该方法包括Fisherposes，特征，监督特征，双监督特征作为其特殊情况。Roweisposes是一个由无限多个动作识别方法组成的家族，它学习一个用于嵌入身体姿势的判别子空间。在TST、UTKinect和UCFKinect数据集上的实验验证了该方法的有效性。
2020-06-28 cs.CV cs.LG stat.ML
Sparse Semi-Supervised Action Recognition with Active Learning
University of Washington（华盛顿大学）
当前基于标签的动作识别方法是有监督的，并且依赖于标签。由于注释和错误标记数据所涉及的挑战，这种依赖限制了性能。已经引入了无监督的方法，但是，它们将序列组织成簇，并且仍然需要标签将簇与动作相关联。在本文中，我们提出了一种新的方法，为基于信标的动作识别，称为SESAR，连接这些方法。SESAR利用来自未标记数据和少数主动选择用于标记的序列的信息，将无监督训练与稀疏监督指导相结合。SESAR由两个主要组件组成，其中第一个组件通过编码器-解码器RNN学习未标记动作序列的潜在表示，该RNN重建序列，第二个组件执行主动学习以基于聚类和分类不确定性选择要标记的序列。当这两个组件同时在基于机器学习的动作序列上训练时，它们对应于一个鲁棒的动作识别系统，只有少数标记的样本。我们在具有多个序列和动作的常见数据集上评估我们的系统，例如NW UCLA，NTU RGB+D 60和UWA 3D。当应用于稀疏标记样本时，我们的结果优于独立的基于基于机器学习的监督，无监督的聚类识别和主动学习方法，低至1%的数据。
2020-12-07 cs.CV cs.LG
SoftCTC -- Semi-Supervised Learning for Text Recognition using Soft Pseudo-Labels
Brno University of Technology（布尔诺理工大学）；Faculty of Information Technology, Brno University of Technology（布尔诺理工大学信息技术学院）
本文提出SoftCTC损失函数，通过同时考虑多个转录变体扩展CTC，省去伪标签半监督学习中的置信度过滤步骤，在手写识别任务上达到与精细过滤流程相当的性能且计算效率显著更高。
2023-09-19 cs.CV cs.LG
TimeBalance: Temporally-Invariant and Temporally-Distinctive Video Representations for Semi-Supervised Action Recognition
University of Central Florida（中佛罗里达大学）
与图像相比，半监督学习更有利于视频领域，因为它具有更高的注释成本和维度。此外，任何视频理解任务都需要在空间和时间维度上进行推理。为了学习半监督动作识别任务的静态和运动相关特征，现有方法依赖于硬输入感应偏差，例如使用两种模态（RGB和光流）或不同回放速率的两个流。我们没有通过不同的输入流使用未标记的视频，而是依赖于自监督视频表示，特别是，我们使用时间不变和时间独特的表示。我们观察到，这些表征根据动作的性质而相互补充。基于这一观察，我们提出了一个学生-教师半监督学习框架TimeBalance，在这个框架中，我们从一个时间不变的和一个时间不同的教师中提取知识。根据未标记的视频的性质，我们动态地结合这两个教师的知识的基础上，一种新的基于时间相似性的重新加权方案。我们的方法在三个动作识别基准测试中达到了最先进的性能：UCF 101，HMDB 51和Kinetics 400。代码：https://github.com/DAVEISHAN/TimeBalance
2023-03-28 cs.CV cs.LG
Self-supervised Contrastive Learning for Audio-Visual Action Recognition
Sun Yat-sen University（中山大学）
音频和视觉模态之间的潜在相关性可以用于学习未标记视频的监督信息。在本文中，我们提出了一个端到端的自我监督框架，名为视听对比学习（AVCL），学习有区别的视听表示动作识别。具体来说，我们设计了一个基于注意力的多模态融合模块（AMFM）融合音频和视觉模态。为了对齐异构视听模态，我们构建了一个新的相关引导表示对齐模块（CGRA）。为了从未标记的视频中学习监督信息，我们提出了一种新的自监督对比学习模块（SelfCL）。此外，我们建立了一个新的视听动作识别数据集，名为Kinetics-Sounds 100。在Kinetics-Sounds 32和Kinetics-Sounds 100数据集上的实验结果表明，我们的AVCL在大规模动作识别基准上优于最先进的方法。
2023-03-20 cs.CV
Action Recognition Using Supervised Spiking Neural Networks
生物神经元使用尖峰以能量和计算高效的方式处理和学习时间动态输入。然而，由于尖峰神经元的激活函数的不可微性，将最先进的基于梯度的监督算法应用于脉冲神经网络（SNN）是一个挑战。采用替代梯度是克服这一挑战的主要解决方案之一。虽然SNN自然地工作在时间域中，但最近的研究集中于开发SNN来解决静态图像分类任务。在本文中，我们采用代理梯度下降学习算法识别12个人的手势记录的动态视觉传感器（DVS）相机。在测试数据上，该神经网络的识别准确率可达97.2%。
2020-01-11 cs.CV cs.NE
Two Stream Self-Supervised Learning for Action Recognition
University of Maryland, College Park（马里兰大学帕克分校）；Honda Research Institute, USA（本田美国研究院）
我们提出了一个自我监督的方法，使用视频帧之间的时空信号的动作识别。一个两流架构被用来纠缠空间和时间的表示学习。我们的任务被制定为序列验证和时空比对任务。前者需要运动时间结构的理解，而后者耦合的空间表示与学习的运动。在动作识别任务上验证了自监督预训练权值的有效性。定量评估显示了三个数据集上的自监督方法能力：HMDB51，UCF101和本田驾驶数据集（HDD）。进一步的研究，以提高性能和推广的有效性仍然需要。
2018-06-16 cs.CV
Comparison of self-supervised in-domain and supervised out-domain transfer learning for bird species recognition
Ghent University（根特大学）
本文比较了鸟类物种识别中自监督域内与监督域外迁移学习，利用VICReg方法实验证明了域内模型和数据集在该任务上的有效性。
2024-04-26 cs.CV cs.LG cs.SD
Semi-Supervised Recognition under a Noisy and Fine-grained Dataset
National Internet Emergency Center(CNCERT)（国家互联网应急中心）；Baidu（百度）
FGVC7是一个具有挑战性的细粒度识别竞赛。这场比赛的难点之一是如何使用未标记的数据。我们采用伪标签数据采掘来增加训练数据的数量。另一个是如何识别相似的鸟类，特别是那些有一个非常小的差异，在例子中相对较小的主体。我们结合一般的图像识别和细粒度的图像识别方法来解决这个问题。所有通用图像识别模型都使用PaddleClas进行训练。利用两种不同方式的深度识别模型相结合，最终获得大赛第三名。
2020-06-18 cs.CV
SSDL: Self-Supervised Domain Learning for Improved Face Recognition
Queen Mary University of London（伦敦玛丽女王大学）
在无约束的环境中的人脸识别是具有挑战性的，由于在照明，传感器的质量，运动模糊等的变化，一个人的脸的外观可以在不同的条件下产生巨大的差距训练（源）和变化的测试（目标）数据。领域差距可能会导致从源到目标的直接知识转移的绩效水平下降。尽管对特定于领域的数据进行微调可能是一种有效的解决方案，但收集和注释所有领域的数据是非常昂贵的。为此，我们提出了一种自监督域学习（SSDL）方案，该方案训练从未标记数据中挖掘的三元组。有效判别学习的一个关键因素是选择信息三元组。在最有信心的预测基础上，我们遵循交替三重挖掘和自我学习的"从易到难"方案。在四个不同的基准测试上的综合实验表明，SSDL在不同的领域都有很好的推广性。
2020-11-26 cs.CV cs.LG
Exploit Clues from Views: Self-Supervised and Regularized Learning for Multiview Object Recognition
University of California, San Diego（加州大学圣地亚哥分校）
多视图识别在文献中得到了很好的研究，并在目标识别和检索任务中取得了不错的性能。然而，大多数以前的工作依赖于监督学习和一些不切实际的基本假设，如在训练和推理时间的所有视图的可用性。在这项工作中，多视图自监督学习（MV-SSL）的问题进行了研究，只有图像对象的关联。在此基础上，提出了一种新的自监督学习的代理任务。通过随机选择一个物体的图像特征作为物体原型，并结合多视点一致性正则化，实现了视点不变的随机原型嵌入（VISPE）。实验结果表明，VISPE在可见和不可见数据上的识别和检索效果优于其他自监督学习方法。VISPE也可以应用于半监督场景，并在有限的数据下表现出强大的性能。代码可在https://github.com/chihhuiho/VISPE上获得
2020-03-28 cs.CV
MS$^2$L: Multi-Task Self-Supervised Learning for Skeleton Based Action Recognition
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所）
在本文中，我们解决了自监督表示学习从人体骨骼动作识别。以前的方法，通常从一个单一的重建任务学习的特征表示，可能会遇到过拟合问题，和功能是不可推广的动作识别。相反，我们建议整合多个任务，以自我监督的方式学习更一般的表示。为了实现这一目标，我们集成了运动预测，拼图识别，和对比学习从不同的角度学习骨架特征。骨架动态可以通过预测未来序列的运动预测来建模。而对于动作识别至关重要的时间模式是通过解决拼图游戏来学习的。通过对比学习进一步正则化特征空间。此外，我们还探索了不同的训练策略，以利用自监督任务的知识进行动作识别。我们评估了我们的多任务自监督学习方法，在不同的配置下训练的动作分类器，包括无监督，半监督和全监督设置。我们在NW-UCLA，NTU RGB+D和PKUMMD数据集上的实验显示了动作识别的显着性能，证明了我们的方法在学习更具鉴别力和一般特征方面的优越性。我们的项目网站是https://langlandslin.github.io/projects/MSL/。
2020-10-14 cs.AI cs.CV
Joint-bone Fusion Graph Convolutional Network for Semi-supervised Skeleton Action Recognition
近年来，图卷积网络（GCN）在基于卷积的人体动作识别中发挥着越来越重要的作用。然而，大多数基于GCN的方法仍然存在两个主要的局限性：1）它们只考虑关节的运动信息或单独处理关节和骨骼，这无法充分挖掘关节和骨骼之间潜在的功能相关性用于动作识别。2)这些工作大多是在监督学习的方式，这在很大程度上依赖于大量的标记训练数据。为了解决这些问题，我们提出了一个半监督的基于candicon的动作识别方法，以前很少利用。我们设计了一种新的相关驱动的关节-骨骼融合图卷积网络（CD-JBF-GCN）作为编码器，使用位姿预测头作为解码器来实现半监督学习。具体地，CD-JBF-GC可以探索关节流和骨流之间的运动传输，从而促进两个流学习更多的区别性特征表示。在自监督训练阶段，基于姿态预测的自动编码器允许网络从未标记的数据中学习运动表示，这对于动作识别至关重要。在NTU-RGB+D和Kinetics-Skeleton两个流行数据集上进行的大量实验表明，我们的模型在半监督的基于动作的动作识别方面达到了最先进的性能，并且对于全监督方法也很有用。
2022-02-08 cs.CV
Iterate & Cluster: Iterative Semi-Supervised Action Recognition
University of Washington（华盛顿大学）
我们提出了一种新的主动半监督基于特征的动作识别系统。给定运动过程中跟踪的特征的时间序列，我们的系统将序列聚类为动作。我们的系统是基于编码器-解码器无监督的方法，通过自回归任务，通过自组织其潜在的表示来执行聚类。这些方法在人类动作识别基准上进行了测试，优于基于非特征的无监督方法，并达到了与基于特征的监督方法相当的准确性。然而，这样的方法依赖于将序列与动作相关联的K最近邻（KNN），并且没有注释数据的一般特征将对应于可以进一步增强的近似聚类。我们的系统提出了一种迭代的半监督方法来解决这一挑战，并积极学习集群和动作的关联。该方法利用潜空间嵌入和聚类的无监督编码器-解码器，以指导选择序列进行注释，在每次迭代。每次迭代，选择的目的是提高动作识别的准确性，同时选择少量的序列进行注释。我们测试的方法对人类的动作识别基准，假设只有我们的方法选择的注释是可用的，并在实验室实验中记录的鼠标运动视频。我们表明，我们的系统可以提高识别性能，只有一小部分的注释。该系统可以用作交互式注释工具，以指导各种对象和动作的“野外”视频的标记工作，以实现鲁棒的识别。
2020-06-12 cs.CV cs.LG eess.IV
SL3D: Self-supervised-Self-labeled 3D Recognition
The University of Hong Kong（香港大学）；TCL AI Lab（TCL人工智能实验室）
深度学习在许多3D视觉识别任务中取得了显着的成功，包括形状分类，目标检测和语义分割。然而，这些结果中的许多依赖于手动收集密集注释的真实世界3D数据，这是非常耗时且昂贵的，限制了3D识别任务的可扩展性。因此，我们研究了无监督的三维识别，并提出了一个自监督-自标记的三维识别（SL 3D）框架。SL 3D同时解决了两个耦合的目标，即，聚类和学习特征表示以生成用于无监督3D识别的伪标记数据。SL 3D是一个通用的框架，可以应用于解决不同的3D识别任务，包括分类，目标检测和语义分割。大量的实验证明了它的有效性。代码可在https://github.com/fcendra/sl3d上获得。
2022-12-16 cs.CV
DiscrimNet: Semi-Supervised Action Recognition from Videos using Generative Adversarial Networks
Georgia Institute of Technology（佐治亚理工学院）；Google（谷歌）
我们提出了一个使用生成对抗网络的动作识别框架。我们的模型涉及使用没有标签信息的大型视频活动数据集训练深度卷积生成对抗网络（DCGAN）。然后，我们使用来自GAN模型的训练后的神经网络作为无监督的预训练步骤，并在标记数据集上微调训练后的神经网络模型以识别人类活动。我们确定了良好的网络架构和超参数设置，以便使用DCGAN的训练模型来学习有用的动作识别表示。我们的半监督框架仅使用外观信息，在两个具有挑战性的视频活动数据集UCF 101和HMDB 51上实现了优于或与当前最先进的半监督动作识别方法相当的性能。
2018-01-22 cs.CV
Exploring Adversarial Learning for Deep Semi-Supervised Facial Action Unit Recognition
University of Science and Technology of China（中国科学技术大学）
目前的工作制定面部动作单元（AU）识别作为一个监督学习的问题，在训练过程中需要完全AU标记的面部图像。为大量的面部图像提供AU注释是具有挑战性的，如果不是不可能的话。幸运的是，AU出现在所有面部图像上，无论是否手动标记，都满足潜在的解剖机制和人类行为习惯。在本文中，我们提出了一个深度半监督框架，用于从部分AU标记的面部图像中识别面部动作单元。具体来说，所提出的深度半监督AU识别方法由深度识别网络和CNOD组成。深度识别网络R从大规模面部图像学习面部表示，并从有限的地面真实AU标签学习AU分类器。引入了AR-3D以加强地面真实AU标签中固有的AU分布与来自标记和未标记面部图像的预测AU标签的分布之间的统计相似性。深度识别网络旨在最大限度地减少标记面部图像的识别损失，忠实地表示标记和未标记面部图像的固有AU分布，并混淆图像。在训练过程中，深度识别网络R和BND交替优化。因此，在训练期间，利用由潜在解剖机制引起的固有AU分布来从部分AU标记的数据构建更好的特征表示和AU分类器。在两个基准数据库上的实验表明，该方法通过对抗学习成功地捕获了AU分布，并优于最先进的AU识别工作。
2021-06-04 cs.CV
Analysis of Semi-Supervised Methods for Facial Expression Recognition
Queen’s University（女王大学）；Ingenuity Labs Research Institute（Ingenuity Labs研究院）
训练用于图像识别的深度神经网络通常需要大规模的人类注释数据。为了减少深度神经解决方案对标记数据的依赖，文献中已经提出了最先进的半监督方法。尽管如此，这种半监督方法的使用在面部表情识别（FER）领域中还是相当罕见的。在本文中，我们提出了一个全面的研究，最近提出的国家的最先进的半监督学习方法的背景下，FER。我们对八种半监督学习方法进行了比较研究，即Pi模型，伪标签，平均教师，增值税，混合匹配，ReMixMatch，UDA和FixMatch，在三个FER数据集（FER 13，RAF-DB和AffectNet）上，当使用不同数量的标记样本时。我们还比较了这些方法与完全监督训练的性能。我们的研究表明，当训练现有的半监督方法时，每个类只有250个标记样本，可以产生与在完整标记数据集上训练的全监督方法相当的性能。为了方便在这一领域的进一步研究，我们将我们的代码公开在：https://github.com/ShuvenduRoy/SSL_FER
2022-07-31 cs.CV
DTG-Net: Differentiated Teachers Guided Self-Supervised Video Action Recognition
Beijing Institute of Technology（北京理工大学）；Swinburne University of Technology（斯威本科技大学）
具有复杂网络架构的最先进的视频动作识别模型已经取得了显着的改进，但这些模型严重依赖于大规模标记良好的数据集。为了减少这种依赖，我们提出了一个自我监督的师生架构，即，差异化教师指导的自我监督网络（DTG-Net）。在DTG-Net中，除了通过自监督学习（SSL）减少标记数据依赖性外，预训练的动作相关模型被用作教师指导，提供先验知识，以减轻SSL中对大量未标记视频的需求。具体而言，利用多年来在与行动有关的任务中的努力，例如，图像分类，基于图像的动作识别，DTG-Net在各种教师指导下学习自监督视频表示，即，那些训练有素的与行动相关的任务模型。同时，采用对比自监督学习的方法对DTG网络进行优化。当两个图像序列分别从同一视频或不同视频中随机采样作为正对或负对时，它们然后被发送到教师和学生网络进行特征嵌入。然后定义每对特征嵌入之间的对比特征一致性，即，正对一致，负对不一致。同时，为了反映不同教师任务的不同导向，我们还探索了不同的教师任务导向权重。最后，DTG-Net以两种方式进行评估：（i）自监督DTG-Net仅用未标记的视频预训练监督动作识别模型;（ii）监督DTG-Net以端到端的方式与监督动作网络联合训练。它的性能优于大多数预训练方法，但与监督动作识别方法相比也具有出色的竞争力。
2020-06-13 cs.CV
Importance of user inputs while using incremental learning to personalize human activity recognition models
University of Oulu（奥卢大学）
在这项研究中，用户输入的重要性进行了研究的背景下，个性化的人类活动识别模型，使用增量学习。使用来自三个身体位置的惯性传感器数据，并且分类基于Learn++集成方法。比较了三种不同的模型更新方法：非监督、半监督和监督。非监督方法完全依赖于预测标签，监督完全依赖于用户标记的数据，而所提出的半监督学习方法是这两者的组合。事实上，我们的实验表明，通过依赖于高置信度的预测标签，并要求用户只标记不确定的观察结果（根据所使用的基本分类器，从12%到26%的观察结果），几乎可以实现与使用监督方法一样低的出错率。事实上，差异小于2%-单位。此外，与非监督方法不同，半监督方法不会遭受剧烈的概念漂移，因此，非监督方法的出错率超过5%，比使用半监督方法高。
2019-05-28 cs.CV cs.HC cs.LG
Revisiting Self-Supervised Contrastive Learning for Facial Expression Recognition
Imperial College London（帝国理工学院）；Shanghai Jiao Tong University（上海交通大学）
大多数先进的面部表情识别工作的成功在很大程度上依赖于大规模的注释数据集。然而，它提出了很大的挑战，在获得干净和一致的面部表情数据集的注释。另一方面，自监督对比学习由于其简单而有效的实例区分训练策略而获得了极大的普及，该策略可以潜在地规避注释问题。然而，实例级鉴别仍然存在固有的缺点，当面对复杂的面部表示时，这甚至更具挑战性。在本文中，我们重新审视了自我监督对比学习的使用，并探讨了三个核心策略，以执行特定的表达，并尽量减少其他面部属性，如身份和面部造型的干扰。实验结果表明，我们提出的方法优于当前国家的最先进的自监督学习方法，在分类和维度的面部表情识别任务。
2022-10-08 cs.CV
Addressing Data Scarcity in Multimodal User State Recognition by Combining Semi-Supervised and Supervised Learning
Bielefeld University（比勒费尔德大学）；Honda Research Institute Europe（欧洲本田研究院）
检测人类用户的精神状态对于开发合作和智能机器人至关重要，因为它使机器人能够理解用户的意图和愿望。尽管它们很重要，但很难获得大量高质量的数据来训练自动识别算法，因为收集和标记这些数据所需的时间和精力非常高。在本文中，我们提出了一个多模态机器学习方法检测不一致/协议和混乱状态的人机交互环境中，只使用少量的手动注释的数据。我们通过进行人机交互研究来收集数据集，并为我们的机器学习方法开发了一种新的预处理管道。通过结合半监督和监督架构，我们能够实现81.1\%的平均F1分数的不一致/不一致检测与少量的标记数据和大量的未标记数据集，同时增加模型的鲁棒性相比，监督的方法。
2022-02-08 cs.CV
Learning from Temporal Gradient for Semi-supervised Action Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）；The City University of New York（纽约城市大学）；Carnegie Mellon University（卡内基梅隆大学）；ByteDance（字节跳动）
半监督视频动作识别往往使深度神经网络即使在标记数据非常有限的情况下也能实现卓越的性能。然而，现有的方法主要是从当前的基于图像的方法（例如，FixMatch）。如果没有专门利用时间动态和固有的多模态属性，他们的结果可能是次优的。为了更好地利用视频中编码的时间信息，本文引入时间梯度作为一种额外的模态，以进行更细致的特征提取。具体地说，我们的方法明确地从时间梯度（TG）中提取细粒度的运动表示，并在不同模态之间施加一致性（即，RGB和TG）。在推理过程中不需要额外的计算和参数，半监督动作识别的性能得到了显著的提高。我们的方法在三个视频动作识别基准上实现了最先进的性能（即，动力学-400，UCF-101和HMDB-51）在几种典型的半监督设置（即，标记数据的不同比率）。
2022-04-23 cs.CV
Augmenting Supervised Emotion Recognition with Rule-Based Decision Model
Louisiana State University（路易斯安那州立大学）
本研究的目的是发展基于规则的情感识别决策模型。这项研究还提出了使用规则，以增强跨语料库识别的准确性，在多模态系统，使用监督学习技术。这种基于学习的识别系统的分类器容易过拟合，并且仅在体内数据上表现良好。为了克服这一局限性，本研究提出使用基于规则的模型作为一个额外的模态。这些规则是使用来自视觉通道的原始特征数据开发的，基于人类注释者协议和将运动和姿势归因于情绪的现有研究。规则评估的结果在情感识别系统的决策阶段被合并。结果表明，基于规则的情感识别提高了基于学习的系统的识别精度，并且还提供了跨语料库情感测试数据的更好的识别率。
2016-07-09 cs.AI cs.CV cs.HC
Semi-supervised Long-tailed Recognition using Alternate Sampling
UC, San Diego（加州大学圣迭戈分校）；Wormpex AI Research（Wormpex AI 研究院）
长尾识别面临的主要挑战是数据分布不平衡和尾类样本稀缺。虽然已经提出了一些技术来实现更平衡的训练损失，并改善尾类数据与合成样本的变化，但我们利用现成的未标记数据来提高识别准确性。这个想法导致了一个新的识别设置，即半监督长尾识别。我们认为，这种设置更好地类似于现实世界的数据汇集和注释过程，因此可以帮助缩小差距，以现实世界的情况。为了解决半监督长尾识别问题，我们提出了一个交替采样框架，结合了这两个研究领域中成功方法的直觉。分类器和特征嵌入分别学习并迭代更新。采用类平衡采样策略对未标记数据进行分类器的训练，使分类器的训练不受伪标记质量的影响。引入了一致性损失，以限制未标记数据的影响，同时利用它们来更新特征嵌入。我们在两个数据集上证明了与其他竞争方法相比的显着准确性提高。
2021-05-01 cs.CV
SoGAR: Self-supervised Spatiotemporal Attention-based Social Group Activity Recognition
本文提出SoGAR方法，利用自监督Transformer和不同帧率视图学习时空一致特征，在JRDB-PAR、NBA和Volleyball三个群体活动识别基准上取得最优结果。
2024-11-18 cs.CV
Unsupervised Human Action Recognition with Skeletal Graph Laplacian and Self-Supervised Viewpoints Invariance
Istituto Italiano di Tecnologia (IIT)（意大利技术研究院）；University of Trento（特伦托大学）
本文提出了一种新的端到端的方法的问题，基于神经网络的无监督人体动作识别。我们提出了一个新的架构与卷积自动编码器，使用图形拉普拉斯正则化模型的动作的时间动态的骨架几何。我们的方法是强大的视点变化，包括一个自我监督的梯度反转层，确保泛化跨相机视图。该方法在NTU-60和NTU-120大规模数据集上进行了验证，在跨主题，跨视图和跨设置协议上，该方法优于所有先前的基于无监督模型的方法。虽然是无监督的，但我们的可学习表示允许我们的方法甚至超过一些基于监督的基于动作的动作识别方法。该代码可在：www.example.com
2022-04-21 cs.CV
UntrimmedNets for Weakly Supervised Action Recognition and Detection
Computer Vision Laboratory, ETH Zurich（苏黎世联邦理工学院计算机视觉实验室）；Department of Information Engineering, The Chinese University of Hong Kong（香港中文大学信息工程系）
目前的动作识别方法严重依赖于修剪视频进行模型训练。然而，这是昂贵的和耗时的获取大规模修剪视频数据集。本文提出了一种新的弱监督架构，称为UntrimmedNet，它能够直接从未修剪的视频中学习动作识别模型，而不需要动作实例的时间注释。我们的UntrimmedNet耦合两个重要的组件，分类模块和选择模块，分别学习动作模型和动作实例的持续时间的原因。这两个组件通过前馈网络实现，因此UntrimmedNet是一个端到端的可训练架构。我们在THUMOS 14和ActivityNet的未修剪视频数据集上利用学习模型进行动作识别（WSR）和检测（WSD）。虽然我们的UntrimmedNet只采用弱监督，但我们的方法在这两个数据集上实现了优于或相当于强监督方法的性能。
2017-05-22 cs.CV
