Self-supervised Video Representation Learning by Context and Motion Decoupling
Alibaba Group（阿里巴巴集团）
自监督视频表示学习的一个关键挑战是如何有效地捕获除上下文偏差之外的运动信息。虽然大多数现有的作品隐含地通过视频特定的借口任务（例如，预测剪辑顺序、时间箭头和速度），我们开发了一种方法，该方法通过精心设计的借口任务明确地将运动监督从上下文偏差中分离出来。具体来说，我们将压缩视频中的关键帧和运动矢量（例如，H.264格式）分别作为上下文和运动的监督源，可以在CPU上以超过500 fps的速度有效地提取。然后，我们设计了两个借口的任务，联合优化：一个上下文匹配任务，成对的对比损失之间的视频剪辑和关键帧功能铸造;和一个运动预测任务，剪辑功能，通过编码器-解码器网络，用于估计运动功能在不久的将来。这两个任务使用共享的视频主干和单独的MLP头。实验表明，我们的方法提高了学习的视频表示的质量比以前的作品，其中我们获得了16.0%和11.1%的视频检索召回UCF 101和HMDB 51，分别绝对增益。此外，我们发现运动预测是视频网络的强正则化，其中使用它作为辅助任务提高了动作识别的准确性，幅度为7.4%~ 13.8%。
2021-04-02 cs.AI cs.CV
Federated Learning for Face Recognition via Intra-subject Self-supervised Learning
KakaoBank Corp.（KakaoBank公司）
本文提出FedFS框架，通过自适应软标签构建和主体内自监督学习两大组件及正则化损失，解决人脸识别联邦学习中自监督学习融合不足和多主体限制问题，在DigiFace-1M和VGGFace数据集上表现优于以往方法。
2024-07-23 cs.AI cs.CV cs.LG
Multimodal Semi-Supervised Learning for Text Recognition
AWS AI Labs（亚马逊云科技人工智能实验室）；Technion（以色列理工学院）
直到最近，公开的真实世界文本图像的数量还不足以训练场景文本识别器。因此，大多数现代训练方法依赖于合成数据，并以完全监督的方式运行。然而，最近公开的真实世界文本图像的数量显著增加，其中包括大量未标记的数据。利用这些资源需要半监督方法;然而，现有的几种方法不考虑视觉语言的多模态结构，因此对于最先进的多模态架构来说是次优的。为了弥补这一差距，我们提出了多模态文本识别器（SemiMTR）的半监督学习，它在每个模态训练阶段利用未标记的数据。值得注意的是，我们的方法避免了额外的训练阶段，并保持了当前的三阶段多模式训练过程。我们的算法首先通过将自监督学习与监督训练相结合的单阶段训练来预训练视觉模型。更具体地说，我们扩展了现有的视觉表示学习算法，并提出了第一个基于对比度的场景文本识别方法。在文本语料库上预训练语言模型后，我们通过文本图像的弱增强视图和强增强视图之间的顺序、字符级、一致性正则化来微调整个网络。在一个新的设置中，一致性分别在每个模态上强制执行。大量的实验验证了我们的方法优于当前的训练方案，并在多个场景文本识别基准测试中取得了最先进的结果。
2022-05-08 cs.AI cs.CV cs.LG
Hierarchically Decoupled Spatial-Temporal Contrast for Self-supervised Video Representation Learning
Indiana University Bloomington（印第安纳大学伯明顿分校）
我们提出了一种新的自监督视频表示学习的技术：（a）解耦的学习目标分为两个对比的子任务，分别强调空间和时间特征，（b）执行它的层次，以鼓励多尺度的理解。出于它们在监督学习中的有效性，我们首先将时空特征学习解耦和分层学习引入到无监督视频学习的背景中。我们通过实验表明，可以将增强操作作为正则化来引导网络在对比学习中学习所需的语义，并且我们提出了一种方法，使模型能够在多个尺度上分别捕获空间和时间特征。我们还介绍了一种方法来克服不同层次的实例不变性的发散水平的问题，通过建模的不变性作为损失权重的客观重新加权。在UCF101和HMDB51上的下游动作识别基准上的实验表明，我们提出的分层解耦时空对比度（HDC）在整体上比直接学习时空特征有了实质性的改进，并且与其他最先进的无监督方法相比，具有竞争力的性能。代码将提供。
2021-08-31 cs.AI cs.CV cs.LG
SS-VAERR: Self-Supervised Apparent Emotional Reaction Recognition from Video
Meta Reality Labs（Meta现实实验室）；Imperial College London（帝国理工学院）
这项工作的重点是明显的情绪反应识别（AERR）从视频只有输入，在自我监督的方式进行。该网络首先在不同的自我监督借口任务上进行预训练，然后在下游目标任务上进行微调。自监督学习有助于使用预训练的架构和较大的数据集，这些数据集可能被认为不适合目标任务，但可能有助于学习信息表示，因此提供有用的初始化，以进一步微调更小更合适的数据。我们提出的贡献是两方面的：（1）分析不同的国家的最先进的（SOTA）借口任务的视频只有明显的情绪反应识别架构，以及（2）分析的各种组合的回归和分类损失，可能会进一步提高性能。这两个贡献一起导致当前最先进的性能的视频只有自发的明显的情绪反应识别与连续的注释。
2022-10-20 cs.CV cs.LG
Weakly-Supervised Surgical Phase Recognition
Verily AI；Google Research（谷歌研究院）
本文提出一种结合图分割与自监督学习的随机游走方法，利用稀疏时间戳或少样本弱监督实现低数据条件下的手术视频阶段识别，并在Cholec80数据集上验证了有效性。
2023-10-26 cs.CV cs.LG
Contrastive Learning with Cross-Modal Knowledge Mining for Multimodal Human Activity Recognition
Maastricht University（马斯特里赫特大学）
人类活动识别是输入数据可以采取多种形式的研究领域。每一种可能的输入方式都以不同的方式描述人类行为，每一种都有自己的优点和缺点。我们探讨的假设，利用多种形式可以导致更好的识别。由于手动注释的输入数据是昂贵和耗时的，重点是自我监督的方法，可以学习有用的功能表示没有任何地面真值标签。我们扩展了一些最近的对比自我监督的方法，人类活动识别的任务，利用惯性和骨架数据。此外，我们提出了一个灵活的，通用的框架进行多模态自监督学习，名为对比多视图编码与跨模态知识挖掘（CMC-CMKM）。该框架利用模态特定的知识，以减轻典型的自我监督框架的局限性。在两个广泛使用的数据集上进行的大量实验表明，所提出的框架在不同的场景下，包括全监督微调，活动检索和半监督学习，显着优于对比单峰和多峰基线。此外，即使与监督方法相比，它也显示出性能竞争力。
2022-05-20 cs.AI cs.CV
SelfGait: A Spatiotemporal Representation Learning Method for Self-supervised Gait Recognition
1 Shanghai Key Lab of Intelligent Information Processing, School of Computer Science 2 Institute of Science
步态识别在身份识别中起着至关重要的作用，因为步态是一种独特的生物特征，可以在一定距离内感知。虽然现有的步态识别方法可以通过不同的方式从步态序列中学习步态特征，但步态识别的性能受到标记数据不足的影响，特别是在与短步态序列或各种服装风格相关的一些实际场景中。对大量的步态数据进行标注是不切实际的。在这项工作中，我们提出了一种自监督步态识别方法，称为SelfGait，它利用大量的，多样的，未标记的步态数据作为预训练过程，以提高时空骨干的表示能力。具体来说，我们采用水平金字塔映射（HPM）和微运动模板生成器（MTB）作为我们的时空骨干捕捉多尺度时空表示。在CASIA-B和OU-MVLP基准步态数据集上的实验表明，与四种最先进的步态识别方法相比，所提出的SelfGait是有效的。源代码已在https://github.com/EchoItLiu/SelfGait上发布。
2021-03-27 cs.CV cs.LG
LAFS: Landmark-based Facial Self-supervised Learning for Face Recognition
Queen Mary University of London（伦敦玛丽女王大学）
针对无标签人脸识别，提出基于 landmarks 的自监督方法 LAFS，利用人脸关键点补丁和特定增强学习关键表示，在多个基准上显著提升性能，尤其在少样本场景。
2024-03-13 cs.AI cs.CV
Position-Aware Self-supervised Representation Learning for Cross-mode Radar Signal Recognition
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（科学与工程学院，香港中文大学（深圳））
RadarPos通过位置感知自监督学习提升跨模式雷达信号识别的判别能力和鲁棒性。
2026-01-30 cs.AI cs.LG eess.SP
Self-Supervised learning with cross-modal transformers for emotion recognition
情感识别是一项具有挑战性的任务，由于有限的可用性在野生标记数据集。自监督学习已经在语音和自然语言等领域的有限标记数据集的任务上显示出改进。像BERT这样的模型学会了在词嵌入中加入上下文，这转化为在下游任务（如问答）中的性能提高。在这项工作中，我们将自监督训练扩展到多模态应用程序。我们学习多模态表示使用Transformer训练的掩蔽语言建模任务的音频，视觉和文本功能。该模型在情感识别的下游任务上进行了微调。我们在CMU-MOSEI数据集上的结果表明，与基线相比，这种预训练技术可以将情感识别性能提高3%。
2020-11-20 cs.CL cs.LG
Temporal Feature Alignment in Contrastive Self-Supervised Learning for Human Activity Recognition
Maastricht University（马斯特里赫特大学）
人体活动自动识别一直是以人为中心的普适计算领域的研究热点。在过去的几年中，已经提出了大量基于深度神经网络的监督学习算法，以使用各种模态来解决这个问题。虽然每种模式都有其自身的局限性，但都存在一个共同的挑战。也就是说，监督学习需要大量的注释数据，这实际上是很难收集的。在本文中，我们受益于自监督学习范式（SSL），通常用于从未标记的数据中学习深度特征表示。此外，我们升级了一个对比SSL框架，即Simplified，广泛应用于各种应用程序中，通过引入一个时间特征对齐过程的人类活动识别。具体来说，我们建议在潜在空间中集成动态时间规整（DTW）算法，以强制在时间维度中对齐特征。已经进行了大量的实验，为单峰的情况下，惯性模态，以及在多模态设置使用惯性和骨架数据。根据所获得的结果，所提出的方法具有很大的潜力，在学习鲁棒的特征表示相比，最近的SSL基线，并明显优于监督模型在半监督学习。单峰情况的代码可通过以下链接获得：www.example.com。
2022-10-07 cs.AI cs.CV cs.MM
Self-Supervised Visual Place Recognition Learning in Mobile Robots
CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）
位置识别是机器人导航中的一个关键组成部分，它使机器人能够重新建立以前访问过的位置，并同时使用这些信息来纠正其推算估计中发生的漂移。在这项工作中，我们开发了一种自我监督的方法来识别机器人。视觉环路闭合识别的任务被转换为度量学习问题，其中环路闭合的正面和负面示例的标签可以使用机器人已经使用的GPS辅助导航解决方案自举。通过利用传感器之间的同步，我们表明，我们能够学习任意实值图像描述符（包括最先进的CNN模型），这是专门面向移动机器人的视觉识别的适当的距离度量。此外，我们表明，新学习的嵌入可以特别强大的消歧视觉场景的任务，基于视觉的闭环识别移动机器人。
2019-05-11 cs.CV cs.LG cs.RO
GMSS: Graph-Based Multi-Task Self-Supervised Learning for EEG Emotion Recognition
Xidian University（西安电子科技大学）；Southeast University（东南大学）
以往的脑电信号情感识别依赖于单任务学习，这可能导致过拟合和学习的情感特征缺乏泛化能力。提出了一种基于图的多任务自监督学习模型（GMSS）用于脑电情感识别。GMSS具有通过整合多个自我监督任务（包括空间和频率拼图任务以及对比学习任务）来学习更一般的表征的能力。通过同时从多个任务中学习，GMSS可以找到捕获所有任务的表示，从而减少原始任务上过拟合的机会，即，情绪识别任务特别是，空间拼图任务旨在捕捉不同大脑区域的内在空间关系。考虑到频率信息在脑电情感信号中的重要性，频率拼图任务的目标是探索脑电情感识别的关键频段。为了进一步规范学习的特征并鼓励网络学习固有的表示，在这项工作中采用了对比学习任务，将转换后的数据映射到一个公共的特征空间。建议GMSS的性能进行了比较，与几个流行的无监督和监督的方法。在SEED、SEED-IV和MPED数据集上的实验表明，该模型在学习更有鉴别力和通用性的脑电信号情感特征方面具有显著优势。
2022-04-12 cs.AI cs.LG eess.SP
Multimodal and self-supervised representation learning for automatic gesture recognition in surgical robotics
The Johns Hopkins University（约翰霍普金斯大学）
自我监督的多模态学习在复杂场景的整体表示方面取得了成功。这对于整合来自具有多种用途的多种模态的信息是有用的。它在手术机器人中的应用可以同时开发对手术过程的通用机器理解，并减少对质量的依赖，通常难以获得的专家注释。我们开发了一个自我监督的，多模态的表示学习范式，学习表示手术手势从视频和运动学。我们使用一个编码器-解码器网络配置，对手术视频的表示进行编码并解码以产生运动学。我们定量地证明了我们学习的表示对手势识别（准确率在69.6%和77.8%之间）、跨多个任务的迁移学习（准确率在44.6%和64.8%之间）和外科医生技能分类（准确率在76.8%和81.2%之间）的功效。此外，我们定性地证明，我们的自我监督表示集群在语义上有意义的属性（外科医生的技能和手势）。
2020-10-31 cs.CV cs.LG cs.RO
Self-supervised Speaker Recognition Training Using Human-Machine Dialogues
Amazon（亚马逊公司）
说话人识别，仅基于语音识别说话人身份，可以实现重要的下游应用，如个性化和身份验证。在监督学习的背景下，说话人表征的学习在很大程度上依赖于干净且足够的标记数据，而这些标记数据通常很难获得。另一方面，噪声未标记数据也提供了有价值的信息，可以使用自监督训练方法加以利用。在这项工作中，我们研究了如何通过利用客户和智能扬声器设备之间的对话来预训练说话人识别模型。然而，这样的对话中的监督信息固有地是嘈杂的，因为多个说话者可能在同一对话的过程中对设备说话。为了解决这个问题，我们提出了一个有效的拒绝机制，选择性地学习对话的基础上，他们的声学同质性。比较了基于重构和基于对比学习的自监督方法。实验表明，该方法提供了显着的性能改善，优于早期的工作。对话预训练时，结合拒绝机制产生27.10%的平等出错率（EER）减少说话人识别，相比没有自我监督的预训练模型。
2022-02-17 cs.LG
Self-supervised ECG Representation Learning for Emotion Recognition
我们开发了一个自我监督的深度多任务学习框架，用于基于心电图（ECG）的情感识别。所提出的解决方案包括两个学习阶段：a）学习ECG表示和b）学习对情绪进行分类。ECG表示由信号变换识别网络学习。该网络从未标记的ECG数据中学习高级抽象表示。六种不同的信号变换被应用到ECG信号，并且变换识别被执行为借口任务。在借口任务上训练模型可以帮助网络学习时空表示，这些时空表示可以很好地概括不同的数据集和不同的情感类别。我们将自监督网络的权重转移到情感识别网络，其中卷积层保持冻结，密集层使用标记的ECG数据进行训练。我们表明，与使用全监督学习训练的网络相比，所提出的解决方案大大提高了性能。新的国家的最先进的结果设置在分类的唤醒，效价，情感状态，和压力的四个利用的数据集。进行了大量的实验，提供了有趣的见解的影响，使用多任务的自我监督结构，而不是一个单一的任务模型，以及所需的借口自我监督任务的最佳难度水平。
2020-08-10 cs.LG eess.SP stat.ML
Deep Recurrent Semi-Supervised EEG Representation Learning for Emotion Recognition
Queen’s University（女王大学）
基于EEG的情感识别通常需要足够的标记训练样本来构建有效的计算模型。另一方面，标记EEG数据通常昂贵且耗时。为了解决这个问题，并减少在基于EEG的情感识别的背景下对输出标签的需求，我们提出了一个半监督管道，以联合利用未标记和标记的数据来学习EEG表示。我们的半监督框架由无监督和监督组件组成。无监督部分使用自动编码器最大化原始和重构输入数据之间的一致性，而同时监督部分最小化输入和输出标签之间的交叉熵。我们评估我们的框架使用堆叠的自动编码器和基于注意力的经常性自动编码器。我们在大规模SEED EEG数据集上测试了我们的框架，并将我们的结果与其他几种流行的半监督方法进行了比较。我们的半监督框架具有基于深度注意力的递归自动编码器，即使在训练期间输出标签的小子集（3%，5%和10%）可用时，也始终优于基准方法，从而实现了新的最先进的半监督性能。
2021-07-28 cs.LG eess.SP
Robust Self-Supervised Audio-Visual Speech Recognition
Meta AI
基于音频的自动语音识别（ASR）在噪声环境中会显著降低，并且特别容易受到干扰语音的影响，因为模型无法确定要转录哪个说话者。视听语音识别（AVSR）系统通过用视觉信息补充音频流来提高鲁棒性，视觉信息对噪声是不变的，并且帮助模型聚焦于期望的说话者。然而，以前的AVSR工作只集中在监督学习设置上;因此，可用的标记数据量阻碍了进展。在这项工作中，我们提出了一个自监督AVSR框架上建立的视听休伯特（AV休伯特），一个国家的最先进的视听语音表示学习模型。在最大的AVSR基准数据集LRS 3上，我们的方法在存在串音噪声的情况下使用不到10%的标记数据（433小时与30小时），比现有技术的性能高出约50%（28.0%与14.1%），同时平均将基于音频的模型的WER降低了75%以上（25.8%与5.8%）。
2022-07-14 cs.CV cs.LG cs.SD
Transformer-Based Self-Supervised Learning for Emotion Recognition
Orange Labs（橙色实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔理工学院）
为了利用时间序列信号（例如生理信号）的表示，这些表示从整个信号捕获相关信息是必要的。在这项工作中，我们提出了使用基于变换器的模型来处理心电图（ECG）的情感识别。Transformer的注意力机制可用于构建信号的情境化表示，从而赋予相关部分更多重要性。然后，这些表示可以用完全连接的网络进行处理，以预测情绪。为了克服带有情感标签的数据集相对较小的问题，我们采用了自监督学习。我们收集了几个没有情感标签的ECG数据集来预训练我们的模型，然后我们对AMIGOS数据集进行了微调以进行情感识别。我们表明，我们的方法达到了最先进的性能，使用心电图信号AMIGOS的情感识别。更一般地说，我们的实验表明，Transformers和预训练是很有前途的策略与生理信号的情感识别。
2022-06-03 cs.AI cs.LG eess.SP
SCaLa: Supervised Contrastive Learning for End-to-End Speech Recognition
JD AI Research（京东人工智能研究院）
端到端自动语音识别（ASR）模型通常被训练为优化整个令牌序列的丢失，而忽略显式音素粒度监督。这可能导致由于相似音素混淆或音素减少而导致的识别错误。为了缓解这个问题，我们提出了一个新的框架，基于监督对比学习（SCaLa），以增强音素表征学习的端到端ASR系统。具体来说，我们将自监督的掩蔽对比预测编码（MCPC）扩展到完全监督的设置，其中监督以以下方式应用。首先，SCaLa根据从预先训练的声学模型中提取的给定音素强制对齐的音素边界掩蔽可变长度编码器特征;然后通过对比学习预测掩蔽的特征。强制对齐可以提供音素标签，以减轻自监督MCPC中正负对引入的噪声。阅读和自发语音数据集上的实验表明，我们提出的方法实现了2.8和1.4点字符错误率（CER）的绝对减少相比，基线，分别。
2022-06-20 cs.LG cs.SD eess.AS
Supervised Contrastive Learning for Accented Speech Recognition
Mediatek Singapore（联发科新加坡）
基于神经网络的语音识别系统由于口音语音，特别是不熟悉的口音而遭受性能下降。在本文中，我们研究了有监督的对比学习框架的口音语音识别。为了建立不同的视图（类似的"积极"的数据样本）的对比学习，三个数据增强技术，包括噪声注入，频谱图增强和TTS相同的句子生成进一步研究。通过在Common Voice数据集上的实验，我们已经证明了对比学习有助于构建数据增强不变和发音不变的表示，这在zero-shot和full shot设置中都显着优于传统的联合训练方法。实验结果表明，对比学习比联合训练方法平均提高了3.66%（zero-shot）和3.78%（full-shot）的准确率。
2021-07-02 cs.LG cs.SD eess.AS
Improving Pseudo-label Training For End-to-end Speech Recognition Using Gradient Mask
Bytedance AI Lab（字节跳动人工智能实验室）
在最近的半监督语音识别趋势中，自监督表示学习和伪标记都显示出有希望的结果。在本文中，我们提出了一种新的方法，结合他们的想法，端到端的语音识别模型。在没有任何额外损失函数的情况下，我们在伪标签上训练时使用梯度掩码来优化模型。该方法迫使语音识别模型从掩蔽输入进行预测，以学习强声学表示，并使训练对标签噪声具有鲁棒性。在我们的半监督实验中，该方法可以提高在伪标签上训练时的模型性能，并且在Librispeech 100小时实验中，与其他半监督方法相比，我们的方法取得了有竞争力的结果。
2021-10-08 cs.LG cs.SD eess.AS
Assessing the State of Self-Supervised Human Activity Recognition using Wearables
Georgia Institute of Technology（佐治亚理工学院）
自监督学习在基于可穿戴设备的人类活动识别（HAR）领域的出现为解决该领域最紧迫的挑战提供了机会，即利用未标记的数据来获得可靠的识别系统，以适应只能收集少量标记训练样本的情况。因此，自我监督，即，“预训练-然后微调”的范例有可能成为主要的端到端训练方法的强有力的替代方案，更不用说用于经典活动识别链的手工制作的特征了。最近，许多将自监督学习引入HAR领域的贡献，包括多任务自监督，Masked Reconstruction，CPC和Simplified，仅举几例。随着这些方法的初步成功，现在已经到了对该领域潜在的自我监督学习进行系统盘点和分析的时候了。这份文件提供的正是这一点。我们通过引入一个框架来评估自监督HAR研究的进展，该框架对模型性能进行了多方面的探索。我们将框架组织成三个维度，每个维度包含三个组成标准，每个维度都可以捕获性能的特定方面，包括对不同源和目标条件的鲁棒性，数据集特征的影响以及特征空间特征。我们利用这个框架来评估HAR的七种最先进的自监督方法，从而形成对这些技术属性的见解，并建立它们对不同场景的学习表示的价值。
2022-11-19 cs.LG eess.SP
Transformer-based Self-supervised Multimodal Representation Learning for Wearable Emotion Recognition
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Institut Mines-Télécom（法国国立高等矿业电信学校联盟）；IMT Nord Europe（法国国立高等矿业电信学校联盟北欧分校）；INSERM（法国国家健康与医学研究院）；University of Lille（里尔大学）
针对可穿戴情感识别中多模态数据融合与标注数据有限导致过拟合的问题，提出一种基于Transformer的自监督学习框架，通过模态特定编码器与共享编码器实现高效多模态融合，并在下游情感分类任务中取得最优性能。
2023-03-29 cs.AI cs.HC cs.SD
Seeing through the Mask: Multi-task Generative Mask Decoupling Face Recognition
Beijing University Of Posts and Telecommunications（北京邮电大学）；Oppo Research Institute（OPPO研究院）
本文提出多任务生成式口罩解耦人脸识别网络MEER，通过口罩解耦模块分离口罩与身份信息，并利用联合训练策略恢复无遮挡面容以优化识别，在真实和合成遮挡基准上优于现有方法。
2023-11-20 cs.CV
Frames2Residual: Spatiotemporal Decoupling for Self-Supervised Video Denoising
本文提出Frames2Residual框架，通过将自监督训练分为盲时序一致性建模和非盲空间纹理恢复两个阶段，解决视频去噪中时空一致性与空间特异性整合难题，提升去噪效果。
2026-06-29 cs.CV
Direct Coloring for Self-Supervised Enhanced Feature Decoupling
West Virginia University（西弗吉尼亚大学）
本文提出一种基于增强数据贝叶斯先验的直接特征着色方法，通过尽早促进有用特征实现自监督特征解耦，以补充白化并避免表示坍缩，性能优于对比与非对比方法。
2024-12-03 cs.CV
Open-set Text Recognition via Character-Context Decoupling
University of Science and Technology Beijing（北京科技大学）
开集文本识别任务是一个新兴的挑战，需要额外的能力，在评估过程中认知新的字符。我们认为，目前的方法有限的性能的一个主要原因是混淆的影响，上下文信息的视觉信息的个人字符。在开集场景下，背景信息中的顽固偏差会传递到视觉信息中，从而影响分类性能。本文提出了一个文本-上下文解耦框架，通过分离上下文信息和字符-视觉信息来缓解这个问题。语境信息可以分解为时间信息和语言信息。在这里，时间信息，模型字符顺序和字长是孤立的分离的时间注意力模块。模型n-gram和其他语言统计的语言信息是分离的解耦上下文锚机制。各种定量和定性的实验表明，我们的方法取得了良好的性能开集，zero-shot，闭集文本识别数据集。
2022-04-12 cs.CV
OLMD: Orientation-aware Long-term Motion Decoupling for Continuous Sign Language Recognition
Zhejiang University of Technology（浙江工业大学）
本文提出OLMD框架，通过长期运动聚合模块和方向解耦机制解决连续手语识别中多方向与长期运动建模难题，并在三个大规模数据集上取得SOTA性能。
2025-03-11 cs.AI cs.CV cs.HC
Dual Stream Independence Decoupling for True Emotion Recognition under Masked Expressions
Nanjing University of Posts and Telecommunications（南京邮电大学）
本文提出基于顶点帧的新型范式和双流独立解耦框架，用于在受遮蔽表情中识别真实情感，通过解耦真实与伪装情感特征提升识别性能。
2026-03-17 cs.CV
DeLightMono: Enhancing Self-Supervised Monocular Depth Estimation in Endoscopy by Decoupling Uneven Illumination
DeLightMono通过解耦照明和反光信息，提升内窥镜图像中低光照区域的自监督单目深度估计性能。
2025-11-25 cs.CV
Decoupling Makes Weakly Supervised Local Feature Better
Sun Yat-Sen University（中山大学）；The Shenzhen Campus of Sun Yat-Sen University（中山大学深圳校区）；National University of Defense Technology（国防科技大学）；University of Oulu（奥卢大学）；Alibaba Group（阿里巴巴集团）
弱监督学习可以帮助局部特征方法克服获取具有密集标记对应的大规模数据集的障碍。然而，由于弱监督不能区分由检测和描述步骤引起的损失，因此在联合描述-然后-检测流水线内直接进行弱监督学习会受到性能的限制。在本文中，我们提出了一种专为弱监督局部特征学习而设计的解耦描述然后检测管道。在我们的流水线中，检测步骤与描述步骤解耦，并推迟到学习了有区别的和鲁棒的描述符。此外，我们引入了一个线到窗口的搜索策略，明确地使用相机的姿态信息，更好的描述符学习。大量的实验表明，我们的方法，即PoSFeat（摄像机姿态监督特征），优于以前的完全和弱监督方法，并在广泛的下游任务上实现了最先进的性能。
2022-03-26 cs.CV
Decoupling Common and Unique Representations for Multimodal Self-supervised Learning
Technical University of Munich（慕尼黑工业大学）；German Aerospace Center（德国航空航天中心）；Munich Center for Machine Learning（慕尼黑机器学习中心）
针对现有方法忽略模态内训练和独特表示的问题，提出DeCUR方法，通过多模态冗余减少区分模态间与模态内嵌入，在三种多模态场景中一致提升性能，适用于多模态及模态缺失设置。
2024-07-19 cs.CV
Decoupling Visual-Semantic Feature Learning for Robust Scene Text Recognition
Huazhong University of Science and Technology（华中科技大学）；Alibaba Group（阿里巴巴集团）
语义信息在场景文本识别中被证明是有效的。大多数现有的方法倾向于在基于注意力的解码器中耦合视觉和语义信息。因此，语义特征的学习容易对训练集的有限词汇产生偏差，这就是词汇依赖。在本文中，我们提出了一种新的视觉语义解耦网络（VSDN）来解决这个问题。我们的VSDN包含一个视觉解码器（VD）和一个语义解码器（SD），分别学习更纯粹的视觉和语义特征表示。此外，语义编码器（SE）的设计，以匹配SD，这可以预先训练在一起，通过一个简单的单词校正任务，额外的廉价的大词汇。从而使语义特征更加公正、准确，指导视觉特征对齐，丰富了最终的字符表示。实验表明，我们的方法实现了最先进的或有竞争力的结果在标准的基准测试，并优于流行的基线的情况下，训练集有一个小的词汇量的大幅度。
2021-11-24 cs.CV
Weakly-supervised High-fidelity Ultrasound Video Synthesis with Feature Decoupling
Shenzhen University（深圳大学）；Shenzhen RayShape Medical Technology Co., Ltd（深圳瑞影医疗科技有限公司）；Huizhou Central People’s Hospital（惠州市中心人民医院）
超声以其实时成像、无辐射、便携等优点被广泛应用。在临床实践中，分析和诊断通常依赖于US序列而不是单个图像来获得动态解剖信息。这对新手来说是一个挑战，因为用来自患者的足够视频进行练习在临床上是不切实际的。在本文中，我们提出了一种新的框架来合成高保真美国视频。具体地，通过基于给定驾驶视频的运动来动画化源内容图像来生成合成视频。我们的亮点有三个方面。首先，利用自监督学习和全监督学习的优点，我们提出的系统以弱监督方式进行关键点检测训练。然后，这些关键点为处理US视频中的复杂高动态运动提供重要信息。其次，我们使用双解码器来解耦内容和纹理学习，以有效地降低模型学习的难度。最后，我们采用带有GAN损失的对抗训练策略，进一步提高生成视频的清晰度，缩小真实视频与合成视频之间的差距。我们验证了我们的方法在一个大的内部骨盆数据集与高动态运动。广泛的评价指标和用户研究证明了我们所提出的方法的有效性。
2022-07-01 cs.AI cs.CV cs.LG
Parameter Decoupling Strategy for Semi-supervised 3D Left Atrium Segmentation
School of Biological Science and Medical Engineering, Beihang University（北京航空航天大学生物科学与医学工程学院）；School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院）；Hefei Innovation Research Institute, Beihang University（北京航空航天大学合肥创新研究院）；Beijing Advanced Innovation Centre for Biomedical Engineering, Beihang University（北京航空航天大学生物医学工程高精尖创新中心）；Beijing Advanced Innovation Centre for Big Data-Based Precision Medicine, Beihang University（北京航空航天大学大数据精准医疗高精尖创新中心）
一致性训练已被证明是一种先进的半监督框架，并通过在输入的不同视图上强制执行预测的不变性，在医学图像分割任务中取得了可喜的成果。然而，随着模型参数的迭代更新，模型往往会达到耦合状态，最终失去利用未标记数据的能力。为了解决这个问题，我们提出了一种新的半监督分割模型的基础上参数解耦策略，鼓励一致的预测，从不同的观点。具体来说，我们首先采用一个双分支网络来同时为每个图像生成预测。在训练过程中，我们通过二次余弦距离将两个预测分支参数解耦，在潜在空间中构建不同的视图。在此基础上，对特征提取器进行约束，以促进分类器在不同特征下生成的概率图的一致性。在整个训练过程中，通过一致性正则化操作和解耦操作交替更新特征提取器和分类器的参数，逐步提高模型的泛化性能。我们的方法在心房分割挑战数据集上取得了比最先进的半监督方法更有竞争力的结果，证明了我们框架的有效性。代码可在https://github.com/BX0903/PDC上获得。
2021-11-09 cs.CV
D$^2$NeRF: Self-Supervised Decoupling of Dynamic and Static Objects from a Monocular Video
University of Cambridge（剑桥大学）；Google Research（谷歌研究院）；Simon Fraser University（西蒙弗雷泽大学）
对于单目视频，在恢复静态环境的同时分割和解耦动态对象是机器智能中广泛研究的问题。现有的解决方案通常在图像域中解决这个问题，限制了它们的性能和对环境的理解。我们介绍了解耦动态神经辐射场（D $^2$ NeRF），一种自监督的方法，采用单目视频，并学习一个3D场景表示，从静态背景中提取移动对象，包括它们的阴影。我们的方法表示的运动物体和静态背景的两个单独的神经辐射场，只有一个允许时间的变化。这种方法的简单实现导致动态组件接管静态组件，因为前者的表示本质上更一般，并且易于过拟合。为此，我们提出了一种新的损失来促进现象的正确分离。我们进一步提出了一个阴影场网络来检测和解耦动态移动的阴影。我们引入了一个新的数据集，包含各种动态对象和阴影，并证明我们的方法可以实现更好的性能比国家的最先进的方法在解耦动态和静态的3D对象，遮挡和阴影去除，图像分割的移动对象。
2022-11-05 cs.CV
DSTED: Decoupling Temporal Stabilization and Discriminative Enhancement for Surgical Workflow Recognition
Univ Rennes, Inserm, LTSI - UMR 1099（里昂大学，Inserm，LTSI - UMR 1099）
DSTED通过解耦时间稳定性和辨别增强，提升手术流程识别的准确性和鲁棒性。
2025-12-22 cs.AI cs.CV
Wavelet-Decoupling Contrastive Enhancement Network for Fine-Grained Skeleton-Based Action Recognition
Beijing Engineering Research Center of Mixed Reality and Advanced Display（北京混合现实与先进显示工程研究中心）；School of Optics and Photonics, Beijing Institute of Technology（北京理工大学光电学院）
针对骨架动作识别中相似动作易混淆的问题，提出小波注意力解耦模块分离显著与细微运动特征，并用细粒度对比增强模块放大轨迹差异，在NTU RGB+D和FineGYM上取得有竞争力的效果。
2024-02-03 cs.CV cs.MM
FlowDepth: Decoupling Optical Flow for Self-Supervised Monocular Depth Estimation
College of Electronical and Information Engineering, Tongji University（同济大学电子与信息工程学院）
FlowDepth 通过动态运动光流模块解耦光流以处理运动物体失配，并结合深度线索感知模糊与代价体稀疏损失缓解高频和低纹理区域的光度误差不公平性，在 KITTI 和 Cityscapes 上取得领先的深度估计性能。
2024-03-28 cs.CV cs.LG
Decoupling and Recoupling Spatiotemporal Representation for RGB-D-based Motion Recognition
Macau University of Science and Technology（澳门科技大学）；Alibaba Group（阿里巴巴集团）；National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）
时空解耦表示是指将时空特征分解为维度无关的因素。虽然先前的基于RGB-D的运动识别方法通过紧密耦合的多模态时空表示取得了很好的性能，但它们仍然存在以下问题：（i）由于时空紧密纠缠的建模，在小数据集下优化困难;（ii）信息冗余，因为它通常包含大量与分类弱相关的边缘信息;以及（iii）由不充分的后期融合引起的多模态时空信息之间的低交互。为了减轻这些缺点，我们提出了解耦和重新耦合的时空表示的RGB-D为基础的运动识别。具体来说，我们将时空表示的学习任务分解为3个子任务：（1）通过解耦的时空建模网络学习高质量和维度无关的特征。(2)重新耦合解耦的表示以建立更强的时空依赖性。(3)引入跨模态自适应后验融合（CAPF）机制来从RGB-D数据中捕获跨模态时空信息。这些新颖的设计的无缝结合形成了一个强大的时空表示，并实现了更好的性能比国家的最先进的方法在四个公共运动数据集。我们的代码可在https://github.com/damo-cv/MotionRGBD上获得。
2021-12-16 cs.CV
DDVR-Net: Degradation-Aware Decoupling and Visibility-Guided Restoration for Historical Document Recognition
Institute of National Security, Minzu University of China（中央民族大学国家安全研究院）；School of Information Engineering, Minzu University of China（中央民族大学信息工程学院）；School of Artificial Intelligence and Computer Science, North China University of Technology（北方工业大学人工智能与计算机学院）
针对历史文档退化导致识别困难的问题，提出DDVR-Net框架，通过特征解耦、可见性引导恢复及构建多语言基准，在三种语言上性能优于现有方法。
2026-10-14 cs.CV
Context Decoupling Augmentation for Weakly Supervised Semantic Segmentation
South China University of Technology（华南理工大学）；Nanyang Technological University（南洋理工大学）
数据增强对于深度学习神经网络至关重要。通过提供大量的训练样本，有助于提高模型的泛化能力。弱监督语义分割（Weakly Supervised Semantic Segmentation，WSSS）是近年来研究的一个具有挑战性的问题，传统的数据增强方法通常采用几何变换、随机裁剪和颜色抖动等方法。然而，仅仅增加相同的上下文语义数据并不能为网络区分对象带来太多增益，例如，对“飞机”的正确图像级分类可能不仅是由于对对象本身的识别，而且是由于其同现上下文（如“天空”），这将导致模型较少地关注对象特征。为此，我们提出了一种上下文解耦增强（CDA）方法，改变对象出现的固有上下文，从而驱动网络消除对象实例与上下文信息之间的依赖。为了验证所提出的方法的有效性，在PASCAL VOC 2012数据集上进行了大量的实验，并使用了几种不同的网络架构，结果表明CDA可以将各种流行的WSSS方法大幅提升到最新的水平。
2021-10-28 cs.CV
Decoupling Representation and Classifier for Long-Tailed Recognition
Facebook AI（脸书人工智能研究院）；National University of Singapore（新加坡国立大学）
视觉世界的长尾分布对基于深度学习的分类模型如何处理类不平衡问题提出了巨大挑战。现有的解决方案通常涉及类平衡策略，例如，通过损失重加权、数据重采样或从头类到尾类的迁移学习，但是它们中的大多数坚持联合学习表示和分类器的方案。在这项工作中，我们将学习过程解耦为表示学习和分类，并系统地探讨了不同的平衡策略如何影响它们的长尾识别。调查结果令人惊讶：（1）数据不平衡可能不是学习高质量表示的问题;（2）使用最简单的实例平衡（自然）采样学习的表示，也可以通过仅调整分类器来实现强大的长尾识别能力。我们进行了广泛的实验，并在ImageNet-LT，Places-LT和iNaturalist等常见长尾基准上设置了新的最先进的性能，表明通过使用简化表示和分类的直接方法，可以超越精心设计的损失，采样策略，甚至是具有内存的复杂模块。我们的代码可在www.example.com上获得。
2020-02-19 cs.CV
ModuSeg: Decoupling Object Discovery and Semantic Retrieval for Training-Free Weakly Supervised Segmentation
South China University of Technology Pengcheng Laboratory（华南理工大学鹏城实验室）
ModuSeg通过解耦目标发现与语义检索，提出无训练弱监督分割框架，利用通用掩码提出器和语义基础模型构建特征库，提升分割精度与鲁棒性。
2026-06-29 cs.CV
Decoupling Deep Learning for Interpretable Image Recognition
Tongji University（同济大学）
神经网络的可解释性近年来受到广泛关注。先前基于原型的可解释网络在推理和解释过程中都涉及原型激活，需要原型的特定可解释结构，从而使网络在获得可解释性时不太准确。为此，提出了解耦原型网络（DProtoNet）来解决这一问题。这个新模型包含编码器、推理和解释模块。在编码器模块中，提出了无约束的特征模板，用于生成富有表现力的特征和原型。在推理模块中，引入了多图像原型学习方法来更新原型，使网络能够学习广义原型。最后，关于解释模块，提出了一种多动态掩模（MDM）解码器来解释神经网络，该解码器利用网络检测节点处的原始图像和掩模图像的一致激活来生成热图。它通过避免使用原型激活来解释网络的决策，以同时提高神经网络的准确性和可解释性，从而简化了基于原型的网络的推理和解释模块。对多个公共的一般和医疗数据集进行了测试，结果证实，与以前的方法相比，我们的方法在准确性和最先进的可解释性方面可以提高5%。
2022-11-19 cs.CV
Robustly Optimized Deep Feature Decoupling Network for Fatty Liver Diseases Detection
School of Computing and Artificial Intelligence, Southwest Jiaotong University（西南交通大学计算机与人工智能学院）；Department of Computer and Information Technology, Purdue University（普渡大学计算机与信息技术系）；School of Computer Science, Chengdu University of Information Technology（成都信息工程大学计算机学院）；University at Albany, State University of New York（纽约州立大学奥尔巴尼分校）
本文提出结合特征解耦与自适应对抗训练的深度学习框架，通过迭代压缩解耦器分离脂肪肝超声图像特征并平衡对抗强度，有效消除分类器识别弱点，将准确率提升至82.95%。
2024-06-25 cs.CV cs.LG eess.IV
MEDN: Motion-Emotion Feature Decoupling Network for Micro-Expression Recognition
School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院）；Xi’an Key Laboratory of Big Data and Intelligent Vision, Xi’an, Shaanxi（西安大数据与智能视觉重点实验室）；Key Laboratory of Collaborative Intelligence Systems, Ministry of Education, Xidian University（教育部协同智能系统重点实验室）；National Engineering Research Center of Educational Big Data and the Faculty of Artificial Intelligence in Education, Central China Normal University（教育大数据国家工程研究中心和华中师范大学人工智能教育学院）
本文提出MEDN网络，通过双分支框架分离运动和情感特征，采用AU检测任务和正交损失减少特征耦合，并引入SEVit和CoFM提升微表情识别性能。
2026-07-17 cs.CV
Cognition Transferring and Decoupling for Text-supervised Egocentric Semantic Segmentation
School of Information and Communication Engineering, University of Electronic Science and Technology of China（电子科技大学信息与通信工程学院）
本文提出CTDN网络，通过认知迁移与前景-背景解耦解决文本监督第一人称语义分割中的关系不敏感和物体干扰问题，在多个基准上显著超越现有方法。
2024-12-23 cs.CV
Beyond the Horizon: Decoupling Multi-View UAV Action Recognition via Partial Order Transfer
针对无人机多视角动作识别中高度增加导致准确率下降的问题，本文提出POG-MVNet，通过偏序引导的视角划分、特征解耦和知识迁移，在多个数据集上显著超越现有方法。
2025-08-19 cs.CV
Semi-Supervised Video Desnowing Network via Temporal Decoupling Experts and Distribution-Driven Contrastive Regularization
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；University of Cambridge（剑桥大学）；The Hong Kong University of Science and Technology（香港科技大学）
针对真实雪视频去雪缺乏成对训练数据的问题，提出半监督视频去雪网络SemiVDN，通过分布驱动对比正则化缩小合成与真实数据分布差距，并利用先验引导时间解耦专家模块分解物理分量，在基准和真实数据上优于现有方法。
2024-10-10 cs.CV
Differentiable Collision-Supervised Tooth Arrangement Network with a Decoupling Perspective
School of Software, Tsinghua University（清华大学软件学院）；Tsinghua University Affiliated Beijing Tsinghua Changgung Hospital, Dental（清华大学附属北京清华长庚医院口腔科）；Peking University Hospital of Stomatology（北京大学口腔医院）
针对现有牙齿排列方法位姿感知与运动回归耦合、易出现牙齿重叠间隙的问题，提出解耦任务与特征的DTAN网络，搭配可微碰撞损失与牙弓宽度引导的C-DTAN，在自建数据集上实现精度与速度的大幅提升。
2024-09-18 cs.CV
Spatiotemporal Decouple-and-Squeeze Contrastive Learning for Semi-Supervised Skeleton-based Action Recognition
Nanjing University of Science and Technology（南京理工大学）
对比学习已被成功地利用来学习动作表示，以解决基于半监督模型的动作识别问题。然而，大多数基于对比学习的方法只对混合时空信息的全局特征进行对比，混淆了帧级和关节级反映不同语义的时空特定信息。因此，我们提出了一种新的时空解耦和挤压对比学习（SDS-CL）框架，全面学习更丰富的表示基于动作的联合对比空间压缩功能，时间压缩功能，和全局功能。在SDS-CL中，我们设计了一种新的时空解耦的内部-内部注意（SIIA）机制，通过计算关节/运动特征之间的空间和时间解耦的内部注意映射，以及关节和运动特征之间的空间和时间解耦的内部注意映射，来获得时空解耦的注意特征，以捕获时空特定的信息。此外，我们提出了一个新的空间压缩时间对比损失（STL），一个新的时间压缩空间对比损失（TSL），和全局对比损失（GL）的对比空间压缩关节和运动特征在帧水平，时间压缩关节和运动特征在关节水平，以及全局关节和运动特征在骨架水平。在四个公共数据集上的实验结果表明，与其他竞争性方法相比，SDS-CL算法具有更好的性能.
2023-02-05 cs.CV
